[1]
本発明はテルミン演奏ロボットに係り、特にテルミンの特性が周囲の環境によって変化した場合であっても、所望の楽曲の演奏を行うことができるテルミン演奏ロボットに関する。
[2]
近年の制御理論、画像処理、音声認識技術の向上により、ロボットは工業用からエンターテインメント用途にも応用が広がっている。例えば、ソニー株式会社のペットロボットAIBOや株式会社タカラトミーのヒューマノイドロボットi-SOBOTなど多くのエンターテインメントロボットが発売されている。エンターテインメントロボットの中でも音楽に関連するロボット(以下、音楽ロボットと呼ぶ。)は、現在音楽がレジャーとして重要な位置を占め今後も成長が期待されることから、今後重要になると期待されている。
[3]
音楽ロボットの中でも楽器演奏ロボットは、人とロボットとが共に演奏することで、インタラクティブなエンターテインメントを提供できる有望な分野である。
音楽ロボットの表現方法は、(1)歌などの音声、(2)ダンスなどの動作、(3)楽器演奏に分類できる。
[4]
分類(1)の歌うロボットとして、非特許文献1にはビートを数えるロボット、非特許文献2にはビートに合わせて足踏みをしながら歌う2足歩行ロボットが開示されている。いずれも、ロボットに装着されたマイクから得られた音を入力音に用いている。
分類(2)のダンスロボットとして、非特許文献3には人の全身動作を模倣して踊る2足歩行ロボット、非特許文献4には腕と車輪移動で社交ダンスを行うロボット、非特許文献5には自分で聞いた音に合わせて足踏みするロボットが開示されている。
分類(3)の楽器演奏ロボットには、単独演奏と合奏の報告がある。単独演奏に関して、非特許文献6にはキーボードを演奏する歩行機能のない全身人型ロボットWABOT-2、非特許文献7には両腕と上半身をもつ人型バイオリン演奏ロボット、非特許文献8には人工唇を用いているが人型ではないトロンボーン演奏ロボットが開示されている。非特許文献6のWABOT-2を除くほとんどのロボットがメロディではなく単一の音の演奏を扱っていたが、近年では非特許文献9の人型フルート演奏ロボットWF-4RIVや非特許文献10の人工唇と指のみのサックス演奏ロボットWAS-1が、実際に複雑なメロディの演奏を行っている。これらのロボットはMIDI形式の楽譜や目標音高を入力し、それを忠実に演奏することをタスクとしていた。人との合奏に関して、非特許文献11には交互に演奏する形式の簡単な合奏ロボット、非特許文献12,13には即興的な合奏ロボットが開示されている。
[5]
テルミンが従来研究で扱われていた楽器と比較して最も異なる点は、楽器とロボットとの物理的接触なしに演奏が可能なことである。したがって、フルートとサックスの演奏に必要な人工唇や、キーボード演奏に必要な精密な指の機構のような特殊なハードウェアを必要としない。このため、テルミンは腕が2本あるという要件を満たす多くのロボットで演奏可能である。従って、テルミン演奏システムは既存の多くのロボットに実装出来るという点で高い移植性を持つことが期待できる。
[6]
テルミンを演奏する際の困難な点は、以下の2点である。
(A1)ピアノの鍵盤やギターのフレットのような、演奏時の基準となる物理的な基準点が存在しないこと。
(A2)テルミンの音高、音量と両腕の位置の関係(以降、音高特性、音量特性と呼ぶ。)が気温や人の数といった周囲の環境(以降、環境キャパシタンスと呼ぶ。)に応じて敏感に変化すること。言い換えれば、適応的な制御が要求されることである。なぜなら、音高特性、音量特性は環境キャパシタンスによって変化するので、仮に事前に十分な準備ができたとしても、その環境は刻々と変化してしまうからである。環境に関する情報が事前に分かる場合は作り込み可能ではあるものの、様々な環境で実演するためには少数の測定で未知環境に適応できる演奏法が不可欠である。
[7]
特に合奏の場合には、他の演奏者が環境キャパシタンスに影響を与えるので、適応的な演奏法が合奏の鍵になる。
通常、合奏では相手が近くにいるので、テルミン演奏ロボットはそのような状況でメロディを演奏することが必要である。これを実現するための要求条件は次の2点である。
テルミン演奏ロボットの要求条件:
(1) 素早い腕の制御
(2) 異なる環境キャパシタンスへの適応
項目(1)はメロディ演奏で要求される。テルミンは連続的に音が変化するので、素早く目標位置へ腕を移動させて移動先で静止しなければ、聴衆はロボットが演奏している音列を認識できない。項目(2)は、他の演奏者が近くにいる合奏で要求される。
[8]
これらの要求条件に鑑みて、従来、音高の定量的な制御を行うことが研究されている。音高制御へのアプローチには大きく分けて、非特許文献14などに示すフィードバック制御と非特許文献15などに示すフィードフォワード制御の2種類がある。
[9]
フィードバック制御は、演奏時にテルミンの音を聞いて腕位置を調整するので正確な音高制御が可能である。しかし、フィードバック制御は次の2つの理由で先の要求条件(1),(2)を満たさない。
第1に、目標音高に到達するまでの時間が長いので、曲によっては1秒未満で次々と目標値が変化するメロディを演奏できない。
第2に、フィードバック制御を実現するには徐々に音高を変化させなければならないが、それでは演奏しているメロディを聴衆が認識できない。
[10]
それに対してフィードフォワード制御は、素早い腕の制御が可能なので要求条件(1)を満たすが、腕の目標位置の予測に用いるモデルのロバスト性(要求条件(2))への対応が不可欠である。なぜなら、フィードフォワード制御を行うには適切な目標位置を実際の音を聞かずに予測する必要があるが、変化する環境キャパシタンスをモデルに組み込まなければ予測がずれていくからである。
[11]
非特許文献15には、ルックアップテーブルに基づくフィードフォワード制御手法が提案されている。この手法は、事前に演奏するすべての音名(C3、D4など)に対して適切な間接角度を出力するテーブルを作成しておき、演奏時はテーブルに基づいて腕を制御する。
[12]
Mizumoto, T., Takeda, R., Yoshii, K., Komatani, K., Ogata, T. and Okuno, H.G.: A Robot Listens to Music and Counts Its Beats Aloud by Separating Music from Counting Voice, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp. 1538-1543 (2008). Murata, K., Nakadai, K., Yoshii, K., Takeda, R., Torii, T. and Okuno, H.G.: A Robot Uses Its Own Microphone to Synchronize Its Steps to Musical Beats While Scatting and Singing, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp. 2459-2464 (2008). Nakaoka, S., Nakazawa, A., Kanehiro, F., Kaneko, K., Morisawa, M. and Ikeuchi, K.: Task model of Lower Body Motion for a Biped Humanoid Robot to Imitate Human Dances, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp.2769-2774 (2005). Kosuge, K., Hayashi, T., Hirata, Y. and Tobiyama, R.: Dance partner root - Ms Dance R, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp. 3459-3464 (2003). Yoshii, K., Nakadai, K., Torii, T., Hasegawa, Y., Tsujino, H., Komatani, K., Ogata, T. and Okuno, H.G.: A Biped Robot that Keeps Steps in Time with Musical Beats while Listening to Music with Its Own Ears., Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp.1743-1750 (2007). Sugano, S. and Kato, I.: WABOT-2: Autonomous robot with dexterous finger-arm - Fingerarm coordination control in keyboard performance -, Proc. of IEEE Intl. Conf. on Robotics and Automation (ICRA), pp.90-97 (1987). Shibuya, K., Matsuda, S. and Takahara, A.: Toward Developing a Violin Playing Robot - Bowing by Anthropomorphic Robot Arm and Sound Analysis -, Proc. of IEEE Intl. Symp. on Robots and Human Interactive Communication (RO-MAN), pp.763-768 (2007). Kaneko, Y., Mizutani, K. and K.Nagai: Pitch controller for automatic trombone blower, Proc. of Intl. Symp. on Musical Acoustics (ISMA), pp.5-8 (2004). Solis, J., Bergamasco, M., Chiba, K., Isoda, S. and Takanishi, A.: The Anthropomorphic Flutist Robot WF-4 Teaching Flute Playing to Beginner Students, Proc. of IEEE Intl. Conf. on Robotics and Automation (ICRA), pp.146-151 (2004). Solis, J., Petersen, K., Ninomiya, T., Takeuchi, M. and Takanishi, A.: Development of Anthropomorphic Musical Performance Robots: From Understanding the Nature of Music Performance to Its Application to Entertainment Robotics, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp.2309-2314 (2009). Petersen, K., Solis, J. and Takanishi, A.: Development of a Aural Real-Time Rhythmical and Harmonic Tracking to Enable the Musical Interaction with the Waseda Flutist Robot, Proc. of IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS), pp.2303-2308 (2009). Weinberg, G. and S. Driscoll: The Interactive Robotic Percussionist - New Developments in Form, Mechanics, Perception and Interaction Design, Proc. of ACM/IEEE Intl. Conf. on Human-Robot Interaction (HRI), pp.456-461 (2007). Weinberg, G., Raman, A. and Mallikarjuna, T.: Interactive Jamming with Simon: A Social Robotic Musician, Proc. of ACM/IEEE Intl. Conf. on Human-Robot Interaction (HRI), pp. 233-234 (2009). Frank van der Hulst: Robotic Theremin Player, Proc. of National Advisory Committee on Computing Qualifications, p.534 (2004). Alford, A., Northrup, S., Kawamura, K., w. Chan, K. and Barile, J.: A Music Playing Robot, Proc. of Intl. Conf. on Field and Service Robotics (FSR), pp.29-31 (1999). Marquardt, D.: An algorithm for least-squares estimation of nonlinear parameters, SIAM Journal on Applied Mathematics, Vol.11, No.2, pp.431-441 (1963). Madsen, K., Nielsen, H.B. and Tingleff, O.: Methods for Non-Linear Least Squares Problems (2nd ed.), Informatics and Mathematical Modeling, TechnicalUniversity of Denmark, DTU (2004). Skeldon, K. D., Reid, L. M., McInally, V., Dougan, B. and Fulton, C.: Physics of the Theremin, American Journal of Physics, Vol.66, No.11, pp.945-955 (1998). Camacho, A.: SWIPE: A sawtooth waveform inspired pitch estimator for speech and music, PhD Thesis, University of Florida (2007). Toussaint, M., Gienger, M. and Goerick, C.: Optimization of sequential attractor-based movement for compact behaviour generation, Proc. of IEEE/RAS Intl. Conf. on Humanoid Robots (Humanoids) (2007). Saitou, T., Unoki, M. and Akagi, M.: Development of an F0 control model based on F0 dynamic characteristics for singing-voice…
