研究開発

短時間音響類似度解析技術「BEAST」と応用アプリ「LoopMash」

LoopMash操作画面イメージ

Steinberg社の音楽制作ソフト「Cubase5」以降に搭載されているプラグイン「Loop Mash」は、複数のオーディオループを動的に再構成して、多彩なリズムパターンを生成することのできるリズムトラック制作システムです。ロードしたすべてのオーディオループに対して「強弱」や「音色」といった音楽音響的な特徴を詳細に数値解析し、類似度とパラメータに基づいて瞬時に組み合わせを決定することにより、基準となるループのニュアンスを維持しつつも大胆に再構成されたリズムパターンを即座に作り出すことを可能にしています。


「Loop Mash」開発の背景は、PCの性能向上とともに一般的となったDAW(Digital Audio Workstation)において、ループを使用した音楽制作が全盛となったことでした。トラックのテンポや音の高さを自由に編集できるループ・シーケンサーによって、音をある程度自由に並べることができるようになった時、次に課題となったのが「いかに新しいループを作るか」でした。そこで、元波形を1つの音、1拍のビートに分解し新たなリズムトラックを再構成するというブレークビーツの方法論と、最先端の音楽音響解析技術とを結合するという発想が生まれてきました。これが、ユーザ自身の想像をも超える多彩なリズムパターンを生み出しうるギア、「LoopMash」として結実したのです。


リズムパターンが得られるまで


ユーザの操作により「LoopMash」がループを解析・再構成しリズムパターンを作り出すまでのステップは、次のようになっています。


  1. オーディオループのビートスライシング

  2. ビートスライスごとの音楽音響特徴量の解析

  3. 音楽音響特徴量と感度パラメータに基づく、類似ビートスライスの選択

  4. マスターループ再生に連動して、類似ビートスライスを再生

1:オーディオループのビートスライシング


「LoopMash」にユーザが数小節のオーディオ・ループ素材を読み込むたび、「LoopMash」は全自動で拍の位置を解析し、ループを半拍単位に分割します。分割された一つ一つの音の素片を、ビートスライスと呼びます。

2:ビートスライスごとの音楽音響特徴量の解析


「LoopMash」は続いて、各ビートスライスの音楽音響特徴量を自動解析します。
音楽音響特徴量は、音色、強弱、またそれらの時間変化などからなっています。この特徴量は、ビートスライスの「音の個性」を表すもので、特徴量の数値が近いということは、似たような音の響きをもつビートスライスだということになります。

ビートスライスの特徴量計算

図1:ビートスライスの特徴量計算

3:音楽音響特徴量と感度パラメータに基づく、類似ビートスライスの選択


「LoopMash」が備えるもう一つの機構は、こうして計算されたビートスライス固有の音楽音響特徴量と、ユーザがGUIやコントローラでリアルタイムに設定できる重みパラメータとを組み合わせた特殊な類似度計算手法により、聴感上類似したビートスライスを選び出すメカニズムです。重みパラメータにより、類似度をどれだけ重要視するかが決められます。

「LoopMash」は、トラックの再生中、常に重みパラメータの最新の設定を読み取っており、この機構によりリアルタイムに類似ビートスライス選択を続けます。したがって、再生中でも、パラメータを変えると直ちにビートスライスの選択条件に反映され、音の違いとなって現れるのです。

4:マスターループ再生に連動して、類似ビートスライスを再生


ユーザは、「LoopMash」にロードした複数のオーディオループ素材の中から、「マスターループ」を一つ指定します。マスターループは、リズムパターン生成のテンプレートの役割を果たします。
つづいて「LoopMash」の再生を開始すると、「LoopMash」は、マスターループのビートスライス(マスタービートスライス)を再生しようとする直前、マスターループ以外のすべてのループ中のすべてのビートスライスに対して類似度計算を実行し適切なものを選択して、マスタービートスライスのタイミングで再生します。これにより、マスターループと同じようなリズムやダイナミクスを持つ新しいリズムパターンが生成されるのです。



LoopMashの仕組み

図2:LoopMashの仕組み


絶妙なバランスチューニング – 短時間音楽音響解析技術 BEASTの開発と応用 -


「LoopMash」システムは、人間の感覚を考慮した絶妙なバランスチューニングの上に成り立っています。その要素は、時間方向の分解能、感覚に適合する音楽音響特徴量の開発、そして、感覚に適合しかつリアルタイムの操作性を損なわない類似度算出アルゴリズムです。


まず時間方向の分解能です。短すぎると、単位となるスライスの音響特徴が不明瞭になり、長すぎると、リズムパターンとしての明瞭性が損なわれます。音響特徴の精度、操作性、計算量を含めた総合的な検討の結果、オーディオループを半拍にスライスするという現在の設計に到達しました。
2番目は、人間の感覚に適合する音楽音響特徴量の開発です。この課題をクリアするため、この分野の世界屈指の研究拠点であるPompeu Fabra Universityの知見をふんだんに投入した音楽音響解析技術「BEAST」を新規に開発しました。BEASTは、ビートという一瞬の音を、人間の専門家並みの正確さ・緻密さで数値解析し、人間の感覚に適合する音楽音響特徴量を算出します。数多くの候補の中から、音の主要な要素である「音色」「ダイナミクス」をとらえるものを中心に、計算量と精度のバランスをみきわめて数十の特徴量が採用されました。


3番目は、類似度の計算アルゴリズムでした。人間の感覚に適合する特性と計算量すなわちレスポンスの関係が相反するものであったため、研究チームは共同研究者であるMaarten de Boer, Fokke de Jongとともに根気強く調整作業を繰り返すことになりました。このこだわりの調整の甲斐があって、「LoopMash」は、「プレイアブル・オーディオ(演奏できる、自由自在に遊べるオーディオ)」のコンセプトにふさわしいレスポンスを実現することができたのです。

操作性確保の試み

研究チームのこだわりは、音だけにとどまりませんでした。開発当初、チームは、分厚い音を出すといった核心部分に注力してきました。ところが、アーティストに試作品を提示したとき、大きな課題が浮かび上がってきました。内部の演算の状態がまったくみえない試作品では、操作が難しかったのです。今までにない原理で動くものだけに、当然のことでした。研究チームは、操作性の確保のためには、UIの構成や視覚化が重要だということを認識し、さまざまな試作に取り組みました。ビートスライスの類似度がレベルメータのようにリアルタイムに表示される仕組みや、一つ一つのビートスライスがループの中で類似度に応じて明滅する仕組みは、こうした取り組みから生まれてきたのです。

このようにして生み出されたLoopMashは、Steinberg社により 採用され、Cubase 5でデビュー。先進的なユーザから寄せられた数多くのアイデアを取り込み、2011年には Cubase 6においてエキサイティングなライブパフォーマンスが可能なLoopMash2に進化をとげました。同時にiPhoneアプリにも展開し、今後ますます多くの人々に、かつてない音の体験を提供できるものと期待されています。ぜひ、CubaseやiPhoneアプリに採用されているLoopMashシステムに触れてみてください。

関連サイト

Cubase(Steinberg社のWebサイトに飛びます)

LoopMashアプリ(iTunes ストアのWebサイトに飛びます)

関連技術一覧

関連技術の記事はありません。

ページトップへ戻るReturn to Top