いまは曲のファイルと歌詞ファイルをClaude Codeに渡すだけで、動画編集ソフトにそのまま読み込める字幕ファイルが返ってきます。これまで試した英語3曲では、1曲20〜25秒。文字を直す作業はありません。
私はエンジニアではありません。コマンドを打ったこともプログラムを書いたこともなく、何かをインストールしたことすらない。技術的なところは全部、Claude Code（会話しながら開発作業を代わりにやってくれるAI）に任せています。私の持ち場は動画編集ソフトだけです。
曲そのものをどう作っているかはSunoでデュエット曲を作る方法に書いています。
ここまで4段階ありました。変わったのは、Claude Codeに何を渡すかと、返ってきたものを直す手間の量です。
第1段階：秒数を3つ伝えただけの字幕
最初に渡したのは数字3つでした。歌い出しが何秒か、間奏がどこか、曲は何秒か。Claudeはそれだけを材料に、歌詞を均等に割り振った字幕ファイルを作ってくれました。曲は一度も聞いていません。つまり全部あてずっぽうです。
「ねぇ、お月さま」はこの方法でした。当然ずれるので、編集ソフトの上で直す量は多かった。
第2段階：曲を聞かせて、文字はClaudeが差し替えた
次は、曲そのものをWhisper Web（ブラウザで使える無料のWhisper。音声を文字に起こすAI）にかけました。あてずっぽうではなく実際の歌声から秒数が出ます。
ただし聞き取った文字は、そのままでは使えません。そこでClaudeが、聞き間違えた文字を私の確定版の歌詞に差し替えてくれました。私は一文字も直していません。KITSUNE NEONはこのやり方で作っています。
3分49秒の英語詞です。この先に出てくる数字は、全部この1曲から出ています。
残っていた不満は、秒数が行単位までしか取れないこと。1行まるごと出て、まるごと消える。
第3段階：道具を替えたら、単語ひとつずつに秒数が付いた
2026年7月27日、自分のMacの中だけで動く形にしたいとClaude Codeに言いました。伝えたのは、追加でお金のかかるクラウドを使わないこと、手元のMacで動く形にすること。この2つだけです。
出てきたのがWhisperXでした。第2段階のWhisper Webと名前は似ていますが別物で、ブラウザで動くのがWhisper Web、自分のMacに入れて使うのがWhisperXです。入れて設定するところまで、全部Claudeがやりました。私が打ったものは何もありません。手元のMacだけで動くので、何曲作っても追加の料金はかかりません。
道具が替わって、単語ひとつずつに開始と終了の秒数が付くようになりました。カラオケのように一語ずつ出す字幕が作れます。KITSUNE NEONでは217単語すべてに秒数が付きました。
動かしているのはMacBook Air M5（メモリ16GB）です。特別な機械ではありません。
7箇所の聞き間違いも、やはりClaudeが直した
「Neon lanterns」 が 「Real lanterns」。「Dancing wild」 が 「Dance and walk」。「Old regrets」 が 「All regrets」。「this is my night」 は 「this is my dawn」 に化けました。曲名の 「Kitsune neon」 は造語なので毎回ちがう言葉になり、サビの1行はまるごと抜け落ちていました。合計7箇所。
これも確定版の歌詞と突き合わせて、Claudeが全部直しています。ただ、毎回この突き合わせが要ります。秒数の精度は上がったのに、文字を直す工程だけは第2段階から変わっていませんでした。
「way」 が0.14秒で消えて、画面が7.6秒まっさらになった
一語ずつの字幕にして見返したら、言葉が消えていました。行の終わりで長く伸ばして歌う 「way」。表示は0.14秒です。そのあと歌はまだ続いているのに、画面は7.6秒ぶん空っぽ。
「wayのところとか、うぇーいって伸ばしてるけど、字幕は一瞬で消えちゃう」。Claude Codeに伝えたのはそれだけです。返ってきた説明は、位置合わせが子音の終わりを単語の終わりとして記録するので、伸ばしている間は無いものとして扱われている、というもの。そのうえで、次の単語が始まるまで表示を引き延ばす処理を書いてくれました。間奏で一語が居座らないように上限も付いています。
第4段階：聞き取りをやめさせたら、間違いが全部消えた
正しい歌詞が手元にあるのだから、間違いは残らないものだと思っていました。実際は7箇所間違えていたわけです。
分かったのは、やらせていた仕事が2つあったということ。歌詞を聞き取る仕事と、その言葉が何秒に歌われたかを測る仕事。聞き取りは苦手で、測るのは得意。そして私の手元には、どの曲も正しい歌詞があります。
なら聞き取りは要りません。正しい文字をこちらから渡して、測る仕事だけさせればいい。
2026年8月1日、KITSUNE NEONでの結果はこうでした。36行すべてが歌詞ファイルと同じ文字、217単語に秒数が付き、間奏にはみ出した語はゼロ。最初の単語は23.07秒。実際の歌い出しと同じ場所です。7箇所の間違いは消えました。直す工程そのものが無くなった、というのがこの段階の変化です。
英語の曲をあと2つ試して、どちらも同じ。1曲20〜25秒で終わります。
日本語の曲だけ、第2段階の道具がもう一度効いた
同じ方法を日本語の曲でやると、後半が崩れました。1行が25秒も画面に残り、別の行は0.92秒で消える。日本語の時間合わせのモデルが弱いようで、精度の高いものに替えても変わりませんでした。
日本語の歌詞はSunoに歌わせる時点でも引っかかりが多く、そちらはSunoで日本語の歌詞がうまく歌えない時の対処法にまとめています。
効いたのはWhisper Webです。第2段階で使っていた、あの無料のやつ。
日本語の聞き取りはひどいものでした。「この夜に 全部さらけ出す」の1行が、「この夜につも 素敵だす以前 空気出す」になって返ってきます。文字数すら合っていません。調べたら、この部分は歌っているのが4.8秒で、残りの11.7秒はギターソロでした。少なくともこの1箇所では、歌っていないところにも文字を当てていました。
それでも「このあたりで歌っている」という大まかな位置だけは使えます。文字は捨てて、時間の情報だけを地図として渡す。確定版の歌詞といっしょに渡したら、どの行も、画面に出ている時間が2.85秒から8.00秒の間に収まりました。
英語曲は完全に手離れ。日本語曲だけ、この一手間が残っています。
「AIで作った曲や制作の記録」を発信する場所として、ブログもおすすめです。私が実際にブログを開設した手順はこちらにまとめています。
コメント