AIシンガーイタコねぇさんを目指すCF達成 第2ゴールは「アフレコAI」目標

未分類

達成しました。よかった。

東北イタコの歌唱DBを作るクラウドファンディングが6日午後7時に始まったんですが、7日午後10時くらいに目標金額600万円を達成。難しかったCFでしたが、イタコねぇさんが勝利しました。

CFの詳細はこちらでチェック。

"AIシンガー東北イタコ"(CV:木戸衣吹)目指してCFそろそろスタート
東北ずん子陣営が、東北イタコの歌唱DB制作クラウドファンディングを6日に始めます。成功すればだれでもPCで木戸衣吹の歌声を作れる「AIシンガー木戸衣吹」ができるかも。 東北イタコ歌唱DB 「東北イタコ歌唱DB」とは、東北応援キャ...
この記事、将来について書いてあることはくろ州の憶測です。

今後やること

今後はとりあえず歌唱DBを作るために動きます。

・DB用曲選定
・収録
・ひたすらラベリング
・歌声合成ソフトメーカーに営業

東北きりたんの歌唱DBを作ったときは、アイデアが出てから予算確保やなんやらをやった結果、DB公開までに1年ちょっとかかっていたと思うので、その辺の調整がすでに済んでいると考えると6カ月くらいでDB公開になるかも?

今UTAU音源技術勢が独自に進めている歌唱DB制作は2~3カ月くらいでDB完成にこぎつけていたと思うので、そう考えると、東北イタコDBは今年の冬あたりに完成しそうな気配です(あくまで気配)。

「歌声合成ソフトメーカーに営業」というのは、東北ずん子陣営が東北イタコDBをもって歌声合成ソフトメーカーに「音源制作に良いDBがほれここに……」と営業をかけていくことを言います。

https://twitter.com/t_zunko/status/1279424564003368960

どうやら、CeVIO AIのようなAI歌声合成ソフトやSynthVのような(どこかしらに)AIを使っているソフトに何となく視線を向けている様子。

「CeVIO AI 東北イタコ」、超見たくない?

第2ゴール

歌唱DBの600万円は達成しましたが、CFはあと24日続くんですよね。第2ゴールは「読唇術用DB」制作。多分ずん子陣営的にはこっちがやりたいんだと思う。
ずん子陣営がやろうとしているのは「音声と口元のモーションデータがセットになったDB」の制作。
これが使われれば、口の動きがわかる映像をもとに、東北イタコのしゃべり声が合成できる。個人的には勝手に「アフレコAI」って呼んでる。
若干福祉的な感じ。声を失った人が再び声を発するための技術感。音声→音声の変換ではないところがちょっと特殊かなという感じ。
おっさんがしゃべっている映像の音声をイタコねぇさんに差し替えられる、と考えると結構アリ。自分の声すら聴かずにイタコねぇさんの声が出る。
オンラインプログラミングスクールみたいな動画教材サービスだと、「無料アカウントで受けられるのはおっさんの声での授業だけ。金を払うと女声になります」みたいなのがどっかにあったと思うけど、やっぱり女声の需要は強い。性差別的な意味はない。音声学的にも普通に女声のほうが聞きやすいことになってるし。
歌唱DBよりもCF達成は難しそうだが、どうだろうか。VOICEROID勢を味方につけられるかどうかが勝負?
VOICEROID勢に良いと思わせるなら「しゃべってる風の動画が撮れれば、ボイロでいろいろ難しいことしなくてもイタコトークが作れる」かなぁ。
読唇術DBはいけるかな?

ついでにセリフ集もオープンソース化しちゃう

アフレコAI用DBを作るときに、読み上げセリフ(コーパス)も作るらしく、これもついでにオープン化してくれるらしい。研究界隈的には多分これが一番うれしい。
機械学習用のコーパス文といえば「ATR503」ですね。「あらゆる現実をすべで自分のほうへ捻じ曲げたのだ」から始まる503文。
ただこれ、結構ライセンス上の制約が厳しいらしい。

ずん子陣営は、新たにコーパス文を作って、パブリックドメインかCC0(いかなる権利も保有しない)状態にして公開しちゃうらしい。やべぇ。「もうATR503いらねぇな」とかなりかねない。

アフレコAI以上に、個人的にはこっちに投資する価値がかなりでかいと思う。

新コーパスはマジで作るべき。
タイトルとURLをコピーしました