人間の演奏に対するテンポや弾き方を解析し、人間の弾き方に合わせて伴奏を自動で弾いてくれたり、他の装置を制御してくれたりするシステムです。自宅で一人で練習する際に豪華な伴奏をつける、ライブ演奏で照明や映像のマニピュレーションを自動化する、といったことが可能になります。

演奏にあったテンポで合わせてくれる

音声波形や演奏動作を解析し、人間が弾いている楽曲の楽譜データと照合することで、演奏されているテンポやタイミングを瞬時に追従します。バイオリンやフルートだけでなく、ピアノや複数人の演奏、オーケストラといった複雑な音でも追従できます。

演奏にあった表情で合わせてくれる

演奏を解析することで、人間が弾いている表情を推測し、強弱やアーティキュレーションに合わせてくれます。力強く弾いたら力強く、繊細に弾いたら繊細に応えたり、演奏表情に応じてリアルタイムに照明効果を切り替えたりすることができます。

自然に合わせてくれる

ただ合うだけでなく、人間同士が互いに聞き合う過程を考慮しながら、人間が弾きやすい挙動で合わせてくれます。また、あなたの演奏を徐々に覚えていき、あなたの特性をより反映して合わせてくれるようになります

仕組み

音声信号をマイク等で入力すると、人間が弾いている楽曲の楽譜情報を参照しながら、「模範的」な演奏との逸脱を追従します。

今後の展開

時間場所を問わず伴奏してくれるシステムへの展開や、ライブ演出におけるマニピュレータのミスを削減するためのソリューションとして応用を考えていきます。

関連リンク

Yamaha AI Project YOO