AmiVoice Techblog

AmiVoiceの音声認識に関する技術情報・活用方法・組み込み方などを発信するアドバンスト・メディアのテックブログです

NPCの実現間近!?VRChat 向け音声対話アバター「AIアバターAOI」開発者インタビュー

 

今夏、アドバンスト・メディアは「AI Avatar AOI(以下AOI)」をリリースしました。AOIは、メタバース空間上での対応を自動化する音声対話アバターで、NPC(ノンプレイヤーキャラクター)が実現するかも!と各所で話題になりました。

 

【AOI紹介記事】

AIがメタバースを案内する時代が到来? VRChatで動くAI音声対話アバター「AOI」を体験してみた(MoguLive)

メタバース店員だけじゃなく、はした金をくれる王様役もやらせてみたくなる対話AIアバター(GIZMODO)

企業が食指を動かす「無人AIアバター」本当の実力(東洋経済オンライン)

 

今回は、開発者に携わった2名(鈴木、竹村)のインタビューをご紹介します。

 

AmiVoice YouTubeチャンネル動画から引用

>AOIのリリース後の反響は?

■鈴木 : 予想をはるかに超える反響でした。VR系の記者さんのツイートがかなり拡散して、その後もSNSでどんどん広がりました。AOIの体験漫画などもあわせるとかなり周知できたと思います。

体験会2日間で400人以上のユーザーに参加頂きました。そのため、24時間AOIに叩き起こされる生活をしていました(笑)。特に夜は一気に50人くらい参加者が来たので大変でした。

VR界隈は発展中ですが、横の繋がりも強く、口コミでどんどん広がっていきます。ユーザーから「こういうものを作ってみたい」、「こういう3Dモデルでやるのが夢だった」、という声が多くて、ユーザーの夢をかなえるきっかけになってよかったなと感じてます。

 

■竹村 :  鈴木さんがとても大変そうだったので大きな反響があるんだな、と感じてました。ただ、それに対する不安もあります。

プロジェクトが始まったのが今年の初めで、私が加わったのが4月末で、まだ半年しか経っていません。正直まだアラも多いです(笑)。その状態でいいね!どんどん進めていこう!となっているので、まだ開発中というのは念頭に置かないと、というのはあります。嬉しさ3割、恐怖7割かもしれません(笑)。

 

■鈴木 :  日経電子版にAOIが掲載された後は、企業からも沢山問合せがありました。開発担当のはずが、製品説明の会議が沢山入り営業の予定みたいになってます(笑)。大手銀行や保険会社、ゲームエンジンの会社やフリーランス、個人の方の問合せも多々ありました。

VRに新たに参戦したい企業や、VRメタバースの組み合わせを実現したい、などの声もあります。

 

>AOIの開発のきっかけについて教えてください。

■鈴木 : 入社当初に、3Dモデルに会話をさせるという開発に携わったのですが、サイネージやSiriなど、人と機械が直接話すのは心理的なハードルが高いなと思っていました。

VRであれば話す相手はアバターなので、中身が人からAIに変わっても違和感なく話せるのでは、と気づき、それで作ってみようと思ったのが始まりです。今年の頭に初めてVR上でアバター作ってみました。

 

■竹村 :  僕は去年入社したのですが、鈴木さんがやっていたプロジェクトに乗っかりました(笑)。入社前からキャラクターを用いたAI音声対話をやりたいと思っていて、加えてVRという面白い要素ももっていたのでぜひ加えてくださいと志願しました。

 

■鈴木 : それまで1人でやっていたので、竹村君の合流で開発スピードが2倍にも3倍にも上がりましたね。

 

 

>それぞれどのような開発をしているの?

■鈴木 : 従来は全て1人でやっていたのですが、VRChat上で3Dキャラクターやオブジェクトをどう動かすかどう表示するかといったことやクライアントアプリと連携する窓口部分の開発が僕の仕事です。それ以外の部分は竹村君にやってもらいました。

VRChatと連携するシステム開発は僕が作っていたのですが、中身が単純なものだったので、そこをソフトウェアとして落とし込んでくれたのが竹村君です。

 

■竹村 :  僕は音声認識音声合成システムとの連携やチャットボット部分、UIの開発をしています。音声認識の開発については基本的にAmiVoice Cloud Platformの「AmiVoice API」に音声を流し込むだけで、特に何もしていません(笑)。音声認識部分はとても簡単に開発できました。

 

【AI Avatar AOI、デモ動画】

 

>開発で難しかったところはどこですか?

■鈴木 : VRChat上で3Dモデルを綺麗に動かすにはどうしたらいいか分からなかったので、VRに精通している外部の人に教えてもらいながら作業する必要がありました。

1番難しいのは、VRChat上の音声を取得して、AOI側がマイクとして認識する、仮想オーディオデバイスのシステム構成です。

趣味で元々作っていたコンテンツがあったので、モーションアクターをやっていた方に全身モーションを依頼したりなど、VRChat上での知り合いや繋がりも増え、色々と力を貸してもらいました。また、実際のデモなども見て貰って意見も貰い、開発を進めました。

ユーザーの反応がリアルタイムでくるのがAIアバターの本質というか、直接VRのユーザーが求めている事が分かるのが1番の強みだと思っています。

 

■竹村 :  外部ソフトをくっつけてくっつけてくっつけて開発したので、そこの連携が大変でしたね。AOIに話しかけられた内容からどう応答するか判断する自然言語処理の部分も、私が研修で作った簡単なものを使っているので、そのブラッシュアップも今後必要だと思っています。

 

AmiVoice YouTubeチャンネル動画から引用


>AOIにどのような機能・役割を持たせたいですか?

■鈴木 : 1番は連れ歩き機能です。今はAOIがユーザーを案内するという形ですが、逆にユーザーについていくというシステムにしようかと思っています。ユーザーが今いる場所について、「ここはどこ?」と聞くと付き人のように案内してくれるほうがどのワールドでも活躍できるので、連れ歩き機能を作るならどうしようとかと相談中です。

 

■竹村 :  AOIがワールド内を動き回って案内する、ゲーム内のNPCという役割に喜んでもらえたので、直近では対話系のブラッシュアップはあと回しで、AOIを移動させる機能をよくしたいなと思っています。あと、AOI専用のマイクとスピーカーシステムを構築するのは、早くやらないといけないな、と。会話のキャッチボールを可能とするシナリオ制御が出来るようにしたいので、こちらも将来的に対応していきたいです。

 

■鈴木 : AIとの音声対話は、スマートホームやスピーカーで実証実験されていますが、イラストや3Dモデルなどを使った見た目のあるキャラクターを用いた実験は数が少なく、社内でAI対話の実験が難しかったのですが、体験会を通して膨大のデータが取得できました。これは研究的な側面でも価値があります。開発の前にユーザー需要や反応などの実地試験も今後沢山やっていきたいです。

 

>今後の展開やアップデートの予定を教えてください。

■竹村 :  現在はVRチャットのみですが、別のプラットフォームでも利用できるようにする等、進めていきたいと考えています。もう少し先になると思いますが。

また、連れ歩き機能や会話のブラッシュアップに加え、キャラクターIPを持っている企業とコラボすることで皆さんの夢を叶えることができるかと思いますので是非積極的に開発を進めていきたいです。

 

■鈴木 : まだまだAI音声対話システムと人間のコミュニケーションには未知数な部分も多いので、見分を深めていき、人とキカイが自然なコミュニケーションができる未来を作りたいです。そういう意味でも、AIと人間が同じ場所で共存できる空間として、VRでのAIアバターの開発を進めていきたいと思います。

また、11月上旬に池袋サンシャインシティで開催された「コールセンター/CRM デモ&コンファレンス in 東京」への参考出展でも、多くのお客様にAOIを体験して貰い、様々な声を頂きました。
近いうちに、AOIのTwitterの開設も予定していて、VRChatでの体験会も再度実施予定です。多くの皆さんにAOIに接してもらいながら、今後も開発を進めていく予定です。是非期待してください。

展示会への出展の様子