'Saya, a transfer student for a day' at Kamakura Jogakuin High School.
博報堂と博報堂アイ・スタジオと共同で開発を行った「TalktoSaya」を鎌倉女学院高等学校で実施しました。
2019年１月より博報堂アイ・スタジオが技術開発に参画し、このたび、TELYUKAが制作する超高精細3DCGでのリップシンクによる発話機能「Talk to Saya」を新たに付加することで、Sayaとリアルタイムに「会話」することが可能になりました。
■「Talk To Saya」リップシンクの仕組み：
1. マイクを通して生徒の声を取得
2. 音声データをテキストデータに変換（Speech to Text）
3. テキストデータを解析し返答文章を生成
4. 返答文章を音声データに変換（Text to Speech）
5. 返答文章および音声データを元に口の動きを生成
6. 生成した口の動きと音声データを組み合わせて発話
その結果、口の動きと声を限りなく人間の自然な動きに近づけることができます。
「1日転校生Saya」は、教室の大型ディスプレイや班ごとに与えられた小型デバイスを介して生徒たちがSayaとの質問・相槌などの会話を通して、AI技術の仕組みを知り、AIの成長プロセスに参加することで、バーチャルヒューマンと共生する未来の日常生活を疑似体験し、AI技術の活用例を学ぶことができるプログラムです。
2019年11月28日に、学校法人鎌倉女学院高等学校の協力のもと、「1日転校生Saya」の体験授業を実施いたしました。Sayaが１日限りの転校生として2年生の生徒とともに「情報」の授業に参加し、生徒たちはAIとの会話体験「Sayaとトーク」をしたり、生徒の会話からSayaが思考し、その考えをSaya自身が発表する「Sayaの考えを聞いてみよう」などの体験を行いました。AI技術の基礎を学びつつ、複数のデモ体験を通じて最新テクノロジーを体験、複合的な技術の組み合わせによるバーチャルヒューマンの未来の姿を考える授業となりました。
201/11/27.28
TalktoSaya, developed in collaboration with Hakuhodo and Hakuhodo i-studio, was implemented at Kamakura Jogakuin High School.
Hakuhodo i-studio has been involved in the development of the technology since January 2019, and now, with the new addition of 'Talk to Saya', a lip-synced speech function in ultra-high definition 3DCG produced by TELYUKA, it is possible to 'talk' to Saya in real time The new system has been developed.
■ How 'Talk To Saya' lip-sync works.
1. acquire the student's voice through the microphone
2. voice data is converted to text data (Speech to Text)
3. text data is analysed and a response is generated
4. converting the reply text into speech data (Text to Speech)
5. generate mouth movements based on the reply text and speech data
6. speech combining the generated mouth movements and speech data
As a result, mouth movements and voice can be made as close as possible to natural human movements.
In the 'Saya for a day transfer student' project, students learn about the mechanisms of AI technology and participate in the process of AI growth through conversations with Saya on the classroom's large display and on small devices given to each group, thereby simulating a future daily life in which they live in harmony with virtual humans. This programme enables participants to learn about examples of AI technology applications.
On 28 November 2019, with the cooperation of Kamakura Jogakuin High School, a one-day transfer student Saya took part in an 'Information' class with second-year students as a one-day transfer student, where students experienced a conversation with AI, 'Saya and While learning the basics of AI technology, students were able to experience the latest technology through multiple demo experiences, and learn how to use a combination of technologies to create a virtual The class was a thought-provoking look at the future of human beings.
201/11/27.28