menu

人工知能合奏技術

技術について

AIが人間の演奏に合わせる技術

人間の演奏のテンポや弾き方をリアルタイムに解析し、人間の弾き方に合わせて伴奏を自動で弾いてくれたり、ライブ演奏での照明や映像など他の装置のマニュピュレーションを可能にする技術です。

テンポを合わせてくれる

音声波形や演奏動作を解析し、人間が弾いている楽曲の楽譜データと照合することで、演奏されているテンポやタイミングを瞬時に追従します。バイオリンやフルートだけでなく、ピアノや複数人の演奏、オーケストラといった複雑な音でも追従できます。

演奏表情を合わせてくれる

演奏を解析することで、人間が弾いている表情を推測し、強弱やアーティキュレーションに合わせてくれます。力強く弾いたら力強く、繊細に弾いたら繊細に応えたり、演奏表情に応じてリアルタイムに照明効果を切り替えたりすることができます。

自然に合わせてくれる

ただ合うだけでなく、人間同士が互いに聞き合う過程を考慮しながら、人間が弾きやすい挙動で合わせてくれます。また、あなたの演奏を徐々に覚えていき、あなたの特性をより反映して合わせてくれるようになります。

仕組み

音声信号をマイク等で入力すると、人間が弾いている楽曲の楽譜情報を参照しながら、「模範的」な演奏との逸脱を追従します。

今後の展開

時間場所を問わず伴奏してくれるシステムへの展開や、ライブ演出におけるマニピュレータのミスを削減するためのソリューションとして応用を考えていきます。

論文

International Conference

  • Akira Maezawa. “Using AI to inspire musicians.” AIxMusic Industry Application Oriented Research Session, Ars Electronica Festival. 2019.
    2019
  • Akira Maezawa, Kazuhiko Yamamoto, Takuya Fujishima. "Rendering Music Performance With Interpretation Variations Using Conditional Variational RNN." Proceedings of the Internal Conference on Music Information Retrieval (ISMIR), pp. 855-861, 2019.
    2019
  • Akira Maezawa. "Deep Linear Autoregressive Model for Interpretable Prediction of Expressive Tempo." Proceedings of the Sound and Music Computing Conference (SMC), pp. 364-371, 2019.
    2019
  • Bochen Li, Akira Maezawa, and Zhiyao Duan, "Skeleton Plays Piano: Online Generation of Pianist body Movements from MIDI Performance”, in Proc. International Society for Music Information Retrieval (ISMIR), 2018.
    2018
  • Akira Maezawa, Kazuhiko Yamamoto. “MuEns: A Multimodal Human-Machine Music Ensemble for Live Concert Performance.” Proceedings of the 2017 ACM CHI Conference on Human Factors in Computing Systems (CHI ’17; 25% acceptance rate), pp. 4290–4301, 2017.
    2017
  • Akira Maezawa, Kazuhiko Yamamoto, "Automatic music accompaniment based on audio-visual score following" in ISMIR 2016 Late-breaking
    2016
  • Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno. “Unified inter- and intra-recording duration model for multiple music audio alignment” Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2015
    2015

Domestic Conference

  • 前澤 陽, Bochen Li: MIDI2Pose: 鍵盤演奏情報を用いたオンライン演奏動作生成, 情報処理学会 音楽情報処理研究会 2018-MUS-118, 2018.
    2018
  • 前澤 陽: 人と息を合わせて演奏するための合奏技術, 第27回 Generative Music Informatics (GMI) Workshop, 2018
    2018
  • 前澤 陽: コンピュータと人間による合奏: 人と息を合わせて演奏するとは, IPSJ-ONE, 2018
    2018
  • 前澤 陽: 楽譜と演奏履歴を用いた深層自己回帰過程に基づく演奏タイミング予測, 情報処理学会 音楽情報処理研究会 2017-MUS-116, 2017.
    2017
  • 前澤 陽: ヤマハ株式会社におけるAIへの取り組み, 第4回HEPTコンソーシアムフォーラム, 2017.
    2017
  • 前澤 陽: ベルリンフィルと人工知能合奏技術による共演の試み. 日本電子キーボード音楽学会第12回全国大会. 2016.
    2016
  • 前澤 陽: 自動合奏のための演奏タイミング結合モデル, 情報処理学会 音楽情報処理研究会 2016-MUS-112, 2016.
    2016

関連項目

技術出展

  • Ars Electronica 2019 / AI x Music Concert
  • サラダ音楽祭 2019 / 揮者体験 バーチャルオーケストラを指揮しよう!
  • [横浜芸術アクション事業] だれでもピアニスト だれでもアーティスト
  • サラダ音楽祭 2018 / 音楽とAIのワークショップ 〜あなた×AIと都響で弾く、はじめての即興「カノン」〜
  • SXSW 2018 / Duet with YOO
  • 舞・飛天遊
  • 2017 DIGITAL CONTENT EXPO / みらいのアンサンブル
  • 音舞の調べ~超越する時間と空間~
  • Blue Line Tokyo Creative Exhibition
  • ニコニコ超会議