AIシンガーきりたんはリリースから半年でどのくらい進化したか

その他歌声合成

AIシンガーきりたんが登場してから早6カ月。まだ6カ月? 経ちました。なんやかんやいろいろありましたね。

AIシンガーきりたんを激押ししている私ですが、このところ「どうやらAIシンガーきりたんの今の状況がいまいち伝わってない」というか、「2月の時点で情報が更新されてない人がいる」という状況があるように感じております。

AIシンガーきりたん、ちゃんと進化してます。見ていきましょう。

NEUTRINO - Neural singing synthesizer
NEUTRINO はニューラルネットワークを用いた、フリーの歌声シンセサイザーです。 楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などのパラメータを推定し、推定したパラメータをもとにボコーダーで歌声を合成します。

AIシンガーきりたん

AIシンガーきりたん(NEUTRINO)は2月22日に公開されました。バージョンは0.100とか。8月27日現在はバージョン0.320。9月下旬には0.4番台が出る予定です。

この間、かなりちゃんと機能を増やしているのでちゃんと見ていってくださいね。

更新内容まとめ

0.1系

0.1系のテーマは「修正」。

0.101
長い曲を歌わせると後半が爆音になるバグが取れた。

多分多くの人の認識はここで止まっている(早い)。

0.102
・Linuxに対応した
・ロングトーンに若干強くなった
・音域が倍くらいに広がった
・PCへの処理の負担を軽くした
0.103
・Macに対応した
・フレーズ頭で音がかっすかすになるエラーがほぼなくなった

ここまで2週間ちょい。この段階で、NEUTRINOのネガティブ要素はほぼ解消されました。

しばらくはこの0.103が主力でした。流行ということで飛びついた人のうち、2本目3本目の動画を出した人ならここまでは来ていると思います。

sigさんエディタ登場

NEUTRINO本体のアップデートとは別に、支援ツールも登場しました。sigさんがNEUTRINO専用のエディタを作ってくれたのです。

NEUTRINO用Editorが来た! マジ最強なので使い方解説する
NEUTRINOきりたん最大の弱点は「ピッチやタイミングをいじろうにも見やすいEditorがない」というところだった。とっつきにくい。 でも、NEUTRINO用Editorを作ってくれた人がいるんですよ。中でも見やすく感動したのが、s...

これにより、CeVIO程度に調声ができるようになった。それまでのNEUTRINOにはエディタがなかったので、調声するのが難しかったが、sigさんエディタの登場で普通の歌声合成ソフトになったのだ。

音素のタイミングが編集できてピッチが描けて、何ならビブラートも作れるしケロケロもできる。デザインもいい。

こちらもアプデを重ねたことで

・ピッチを編集したらリアルタイムに聞いて確認できる
・音量もコントロールできる
・楽譜の編集もできる

などの機能を追加。マジでCeVIOばりに調声できる環境が整ったのだ。これを知らない人はそこそこいるらしい。

0.2系

0.2系のテーマは「NSF」。

0.200α
・Webブラウザから使えるバージョンができた
・NSFでの音声合成に対応した
・Linux版廃止
・ランダム合成オプションを追加

Linux版がWebブラウザ版になりました。NSFはちょっと専門的な内容になるので説明を全部はしょりますが、音質がより人間っぽくなりました

それまではCeVIOに近い音がなるソフトでしたが、CeVIOっぽさの薄い音も合成できるようになったわけです。

ランダム合成オプションは、合成ボタンを押すたびにちょっと違う音声が合成できる機能ですね。ハモリとかコーラスを作るときにちょっとブレを生み出したい場合に使う。

0.200β
・WindowsでNSFに対応
0.200
・NSF高速化

WindowsでもNSFが使えるようになりました。ただしそこそこのGPUがいる。

0.3系

0.3系のテーマは「高速化」

0.300
・全体的に高速化
・音声ライブラリ「JSUT」登場

GPUを使って全体的に合成が速くなったらしい。あと、「きりたん」「謡子さん」に加えて3人目の「JSUT」(私は“じぇいさっと”って呼んでる)が登場しました。

0.310
・とにかく高速化
・音源をちょっとアプデ
0.320
・まだまだ高速化
・スタイルシフト機能を追加

0.3系はとにかく高速化。うまくいけば3分の音声を45秒で合成できる。

スタイルシフトというのはシステムの理解を完全にスルーするなら「上げると声が強くなり、下げると声が弱くなる」「音が高すぎるときは下げると声が安定し、低すぎるときは上げると安定する」みたいな効果がある機能。

具体的には「歌い方をシフトさせる機能」で、例えばStyleShift=2と指定すると「楽譜を2キー上で打ち込んで、出てきた音声を2キー下にピッチシフトして戻す」という作業をしてくれる。要するに、音程は一緒だけど歌い方だけが2キー上になるということ。

知っておいてほしいこと

AIシンガーきりたん、NEUTRINOに関する知識が2月で止まっている人に知っておいてほしいのはこれだけ。

・音域の狭さと無声化バグはとっくになくなった
・Macでも使える
・エディタができて、CeVIO程度に調声もできる
知っておこう。
タイトルとURLをコピーしました