AIシンガーきりたんって、歌うまいじゃないですか。あの歌を初音ミク(でも好きな音源でも)再現したいと思うときってありますよね。
やってみました。
AIシンガーきりたんのピッチカーブを、VocalShifterで初音ミクに転写しただけなんですが、コツがあるので見てみましょう。
VocalShifterでピッチ転写
VocalShifterでHMM/DNN歌声合成システムで作った音声のピッチを、VOCALOIDの音声に転写する方法は、10年前からある古典的アプローチです。
ですが、実はこれが結構難しい。上手に転写するのはなかなかに骨が折れるんですよね~~。
ポイントは「タイミングを完璧に合わせる」です。
参照元の音声を用意
まずはAIシンガーきりたんで参照元の音声を作ります。これは普通にAIシンガーきりたんを歌わせるだけなので特に難しいことはなし。
そうするとこうなる。
ターゲットの音声を用意
VOCALOIDでターゲットとなるキャラの音声を作ります。今回の場合は初音ミク。基本的にベタ打ちでいいです。唯一いじるのがVEL(ベロシティ)=子音の長さです。
使うのはV5Editor。ここからの作業はV5じゃないと超大変です。
まずはVOCALOIDトラックとオーディオトラック(きりたんの合成結果)を並べます。
V5Editorのエモーションツールを使うと、VOCALOIDの合成波形が表示できるので、波形を見ながらひたすら子音の長さを完璧に合わせます。
厳密に言うと、合わせるのは無声子音だけで充分ですが、まぁできれば全子音を合わせてほしいですね。
これで書き出せばOK。簡単に書いてますが、これがかなり時間を喰う。V4やUTAUだと出力波形が見にくいので、V5かCeVIOくらいしかスムーズにはできない作業です。
VocalShifterで転写
ここまでくればあとは簡単。10年前の解説動画にある通り、AIシンガーきりたんのピッチをコピーして、初音ミクにペーストすれば完成です。
普通はここでいろいろ手直しが入るんですが、子音のタイミングさえ整えてしまえば、ピッチ転写自体ではエラーがほぼ全くでないです。
この作業は30秒で済みます。
こうしてできたのが今回の調声。結構ローコストです。