CloudFormationでRDSを起動する際に、パスワードを隠すにはNoEchoというパラメータをTrueに設定すれば良いということを知りました。
こちらの公式ドキュメントを参考にしました。
パラメータ値をマスクして、コンソール、コマンドラインツール、または API に表示されないようにするかどうか。NoEcho 属性を true に設定すると、CloudFormation は、スタックまたはスタックイベントを記述するすべての呼び出しに対して、アスタリスク (*****) としてマスクされたパラメーター値を返します。
CloudFormationからRDSを作成した経験があまりないので実際に手を動かすイメージがまだ掴めていませんが、秘匿情報の扱いは一つでも多くしておきたいのでNoEchoの設定を知れてよかったです。
また、公式ドキュメントには重要事項として以下の記載もありました。
重要
機密情報は、AWS CloudFormation テンプレートに直接埋め込まずに、スタックテンプレートの動的パラメータを使用して CloudFormation の外部 (AWS Systems Manager のパラメータストアや AWS Secrets Manager など) に保存して管理し、これを参照することをお勧めします。
秘匿情報は直接ymlファイルなどのテンプレートには書かないようにする、ということですかね。
このあたりのベストプラクティスもしっかり学んでいきたいと思います。