JP3813919B2 - Sound information generation system and sound information generation method - Google Patents

Sound information generation system and sound information generation method Download PDF

Info

Publication number
JP3813919B2
JP3813919B2 JP2002324106A JP2002324106A JP3813919B2 JP 3813919 B2 JP3813919 B2 JP 3813919B2 JP 2002324106 A JP2002324106 A JP 2002324106A JP 2002324106 A JP2002324106 A JP 2002324106A JP 3813919 B2 JP3813919 B2 JP 3813919B2
Authority
JP
Japan
Prior art keywords
image
sound information
information
objects
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002324106A
Other languages
Japanese (ja)
Other versions
JP2004157394A (en
Inventor
晋久 岸川
俊一 沼崎
高広 原島
功雄 三原
美和子 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002324106A priority Critical patent/JP3813919B2/en
Publication of JP2004157394A publication Critical patent/JP2004157394A/en
Application granted granted Critical
Publication of JP3813919B2 publication Critical patent/JP3813919B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の入力に基づいて音情報を生成する音情報生成システム及び音情報生成方法に関する。
【０００２】
【従来の技術】
楽器ではない一般物体を使って音楽の演奏を行う方法に関する従来技術には以下のものが挙げられる。
【０００３】
第１の従来技術は最も原始的な手段であり、単純に物体同士を衝突させた時の音を利用するものが挙げられる。
【０００４】
しかし、衝突させる物体の大きさや材質に制限があり、音色や音程を自由に変化させることは困難である。
【０００５】
第２の従来技術は、対象物体に発音装置を付加する方法である。楽器ではない一般物体に、物理的または電子的に発音する装置を取り付け、対象物体の運動に対応して発音させる。この技術では、装置の構造が簡単である、物体の運動に忠実に対応して発音できる等の長所を持つ。
【０００６】
しかし、演奏に使用する物体には予め発音装置を取り付けておく必要があり、任意の物体を自由に利用することは出来ない。また、物体の形状や外観的などの外的特徴情報を捉えられず、これらの外的特徴情報の変化に対応した発音が困難である。
【０００７】
第３の従来技術は、対象物体にセンサー類を付加する方法である（例えば、非特許文献１，２参照）。楽器ではない一般物体に加速度センサーや無線タグなどを取り付け、これらのセンサーが計測した情報を情報処理装置に送信して処理することで音情報を生成して発音する。この技術では、音情報を情報処理装置内で合成するため、音色や音階を自由に設定出来るという長所を持つ。
【０００８】
しかし、演奏に使用する物体には予めセンサー類を取り付けておく必要があり、任意の物体を自由に利用することは出来ない。また、物体の形状や外観的な特徴情報を捉えられず、これらの外的特徴情報の変化に対応した発音が困難である。
【０００９】
【非特許文献１】
ｈｔｔｐ：／／ｓｅｇａ．ｊｐ／ｄｃ／ｄｂ／０００４０１．ｈｔｍｌ
【００１０】
【非特許文献２】
ｈｔｔｐ：／／ｓｅｇａ．ｊｐ／ａｒｃａｄｅ／ｓｙａｋａｃｈｕ／ｈｏｍｅ．ｈｔｍｌ
【００１１】
【発明が解決しようとする課題】
楽器ではない一般物体を使って音楽の演奏を行う方法を考えた場合、従来技術には以下の問題点が存在する。
【００１２】
第１の従来技術は非常に原始的なもので、利用できる物体および発音される音質の両方に大きな制限が有る。
【００１３】
第２の従来技術および第３の従来技術においては、物体側に仕掛けが必要であるため、任意の物体を自由に利用することは出来ない。
【００１４】
また、第２の従来技術、第３の従来技術においては、物体の外観情報を取得していないため、例えば物体の色の違いを発音される音の質に反映させることが出来ない。
【００１５】
本発明は、上記事情を考慮してなされたもので、本来は楽器ではない一般物体を入力デバイスとして使用した音楽あるいは楽器の演奏などを可能にする音情報生成システム及び音情報生成方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムであって、前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測する計測手段と、前記計測手段により計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈手段と、前記解釈手段により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成手段と、前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする。
【００１７】
また、本発明は、ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムであって、前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測する計測手段と、前記計測手段により前記複数の物体の各々について計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈手段と、前記解釈手段により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成手段と、前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする。
【００１８】
好ましくは、前記音情報生成手段が前記音情報を生成するにあたって基とする前記第１及び第２の特徴情報と、当該第１及び第２の特徴情報に基づいて生成される前記音情報との間の関係（関連性、規則性）が、利用者に秘匿されているようにしてもよい。
【００２０】
また、本発明は、ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムにおける音情報生成方法であって、前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測し、これにより得られた前記第１及び第２の特徴情報を即時的に連続して解釈し、これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、生成された前記音情報を出力することを特徴とする。
【００２１】
また、本発明は、ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムにおける音情報生成方法であって、前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測し、これにより前記複数の物体の各々について得られた前記第１及び第２の特徴情報を即時的に連続して解釈し、これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、生成された前記音情報を出力することを特徴とする。
【００２２】
また、本発明は、ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムとしてコンピュータを機能させるためのプログラムであって、前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測する計測機能と、前記計測機能により計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈機能と、前記解釈機能により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成機能と、前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラムである。
【００２３】
また、本発明は、ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムとしてコンピュータを機能させるためのプログラムであって、前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測する計測機能と、前記計測機能により前記複数の物体の各々について計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈機能と、前記解釈機能により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成機能と、前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラムである。
【００２４】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００２５】
本発明では、楽器ではない一般物体の外観、立体形状、運動などの外的特徴情報を簡便かつ安定的に取得し、それらの変化を捉えて、対応する音情報を生成、発音することで、本来は楽器のように扱えない一般物体を利用して、例えば一般物体を楽器のように利用して楽しむなど、仮想的に音色を楽しむことが可能になる。
【００２６】
また、外的特徴情報を高速に連続して取得することで、外的特徴情報の計測から音情報に変換して発音するまでの処理を即時化することができる。例えば、反射光による測距技術を用いて、楽器ではない一般物体の形状や運動の外的特徴情報を取得し、およびまたは楽器ではない一般物体の画像を動画として連続撮影し、情報処理装置を用いて画像を解析することで、物体の外観などの外的特徴情報を取得し、それらの変化を捉えて対応する音情報を生成して発音する。これによって、本来は楽器ではない一般物体を使って、音楽演奏の様に即時性が要求される用途にも対応するなど、今までに無い娯楽性や芸術性を提供、向上することができ、その効果は絶大である。
【００２７】
また、本発明では、対象物側に仕組みを必要としないため、任意の物体を自由に利用出来るという長所を持つ。また、音情報を情報処理装置内で合成するため、音色や音階を自由に設定出来るという長所も持つ。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００２９】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る情報処理システムの構成例を示す。また、図２に、本実施形態の概観図の一例を示す。また、図３に、本情報処理システムの動作手順の一例を示す。
【００３０】
図１に示されるように、本情報処理システムは、反射光画像取得部１１１０と自然光画像取得部１１２０を含む情報取得装置１１００、形状情報解析部１２１０と外観情報解析部１２２０と形状情報記憶部１２３０と形状情報記憶部１２４０と音情報生成部１２５０とデジタル−アナログ変換部１２６０を含む情報処理装置１２００、アンプ部１３１０とスピーカー部１３２０とを含む情報呈示装置１３００を備えている。なお、図１の例では、デジタル−アナログ変換部１２６０は情報処理装置１２００に含まれるが、デジタル−アナログ変換部１２６０を情報呈示装置１３００に含ませる構成例も可能である。
【００３１】
まず、本実施形態の音情報生成システムの基本的な構成について説明する。
【００３２】
対象物体１０００は、本実施形態の音情報生成システムの利用者が任意に選択する被写物体であり、情報取得装置１１００で情報取得が可能な物体であれば何でもよい。本実施形態では、一例として、対象物体１０００は、高さ２０ｃｍ程度のぬいぐるみとする。
【００３３】
情報取得装置１１００は、反射光画像と通常の自然光画像の両方を撮像する撮像装置である。情報取得装置１１００において、反射光画像取得部１１１０は、対象に対して光を照射し、その反射光による画像を取得するためのものである。他方、自然光画像取得部１１２０は、通常の自然光による画像を取得するためのものである。
【００３４】
情報処理装置１２００は、マイクロプロセッサー等の論理演算回路によって実現されるコンピュータ等の情報処理装置である。情報処理装置１２００において、形状情報解析部１２１０は、反射光画像から対象物体の立体的な形状情報を取得するためのものである。外観情報解析部１２２０は、自然光画像から対象物体の見かけの画像情報を取得するためのものである。形状情報記憶部１２３０は、対象物体の立体的な形状情報を蓄積するためのものである。形状情報記憶部１２４０は、対象物体の見かけの画像情報を蓄積するためのものである。音情報生成部１２５０は、上記の蓄積された立体的な形状情報および見かけの画像情報を参照し、任意に定められた手順に従って、音情報を生成する。デジタル−アナログ変換部１２６０は、デジタル信号で構成される音情報をアナログの音波信号に変換するためのものである。本実施形態では、一例として、情報処理装置１２００は、マイクロプロセッサーを搭載するゲーム機とする。
【００３５】
なお、反射光画像から対象の立体的な形状情報を取得する原理については後述する。
【００３６】
情報呈示装置１３００は、情報処理装置１２００が出力する音情報を外部に呈示するための装置である。情報呈示装置１３００において、アンプ部１３１０は、アナログの音波信号を増幅するためのものである。スピーカー部１３２０は、音波信号を物理的な音波として出力するためのものである。なお、情報呈示装置１３００は、音情報以外の情報を呈示する機構を併せて持つ構成であっても構わない。本実施形態では、一例として、情報呈示装置１３００は、ゲーム機を接続するテレビとする。
【００３７】
次に、反射光画像から対象の立体的な形状情報を取得する原理について説明する。
【００３８】
一般に、反射光の強度は距離の２乗に反比例する性質がある。これにより、対象物体に光を照射してその反射光の強弱を測定すると、光源から対象の各部までの距離が算出可能となる。しかし、自然光が存在する通常の環境下では反射光画像だけを撮影することが出来ない。よって、対象が自然光と照射光の両方に照らされている状態、および対象が自然光のみに照らされている状態の２種類の画像を撮影し、２種類の画像の差分を取ることによって、照射光のみによって照らされた対象の反射光画像を得る。これにより、自然光が存在する通常の環境下でも反射光による画像を撮影し、対象の各部分の距離情報が取得出来る。
【００３９】
次に、情報取得装置１１００の構成例について説明する。
【００４０】
図４に、情報取得装置１１００の構成例を示す。
【００４１】
図４に示されるように、本情報取得装置１１００は、反射光画像を取得するための反射光画像取得部１１１０、自然光画像を取得するための自然光画像取得部１１２０、反射光画像を撮像するために必要な照射光を照射する発光部１１４０、それら各部の動作を制御する撮像動作制御部１１３０を備えている。また、反射光画像取得部１１１０は、反射光画像撮像部１１１１と反射光画像処理部１１１２と反射光画像出力部１１１３を含み、自然光画像取得部１１２０は、自然光画像撮像部１１２１と自然光画像出力部１１２２を含む。
【００４２】
自然光画像取得部１１２０は、対象物体が自然光に照らされた状態の画像を取得し、これを出力する。まず、自然光画像撮像部１１２１が撮像動作制御部１１３０からの制御信号に従って、自然光に照らされた状態の対象物体の画像を撮像し、これを自然光画像出力部１１２２に送信する。
【００４３】
自然光画像出力部１１２２は、自然光画像撮像部１１２１が撮像した画像を、外部のシステムおよび反射光画像処理部１１１２に対して画像データとして出力する。
【００４４】
反射光画像取得部１１１０は、対象物体が照射光に照らされた状態の画像を取得し、これを出力する。まず、反射光画像撮像部１１１１が撮像動作制御部１１３０からの制御信号に従って、照射光および自然光の両方に照らされた状態の対象物体の画像を撮像し、これを反射光画像処理部１１１２に送信する。
【００４５】
反射光画像処理部１１１２は、反射光画像撮像部１１１１が撮影した画像データと、自然光画像撮像部１１２１が撮像した画像のデータの両方を参照し、差分処理を行うことで、発光部１１４０が対象に対して照射した光のみによって照らされた状態の対象物体の反射光画像データを生成する。
【００４６】
反射光画像出力部１１１３は、反射光画像処理部１１１２で生成された反射光画像データを外部のシステムに対して出力する。
【００４７】
次に、本実施形態における音情報生成システムの動作について説明する。
【００４８】
まず、情報取得装置１１００が対象物体であるぬいぐるみの反射光画像と自然光画像を撮影し、情報処理装置１２００に送信する（ステップＳ１）。
【００４９】
情報処理装置１２００内部では、情報取得装置１１００から送信された反射光画像と自然光画像の情報を処理し、対象物体であるぬいぐるみの外観、立体形状の情報として整理し、記憶蓄積する（ステップＳ１）。
【００５０】
情報処理装置１２００内部では、さらに、逐次更新される対象物体の立体形状および外観の情報を、記憶蓄積されている過去の立体形状および外観の情報と比較し、対象物体の移動や変形などの変化を算定する（ステップＳ２）。
【００５１】
ここで、対象物体であるぬいぐるみの立体形状や外観に関してしきい値以上の変化が計算された場合、予め定められた手順（例えば、ユーザにより対象物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された情報が得られた場合に、該特定の箇所に対する特定の操作について、予め規定された音情報を生成すべきことを規定した生成規則）、もしくは別の即興的な手順により、上記の変化の情報に対応した音の情報を発生させる（ステップＳ３）。
【００５２】
上記の音の情報を、情報呈示装置１３００等を通じて人間が聞くことのできる一般的な音波として出力する（ステップＳ４）ことで、利用者側からは対象物体であるぬいぐるみの形状や外観の変化が音の発生を引き起こしたかのように認識される。
【００５３】
情報取得装置１１００及び情報処理装置１２００は、即時的に連続して動作するため、利用者が対象物体であるぬいぐるみを叩いたり引っ張ったりした際にも、ほぼ遅延無しで発音可能であるため、音楽演奏の様に即時性が要求される用途にも対応可能である。
【００５４】
以上で述べたように、本実施形態による音情報生成システムを使用することで、楽器ではない、ぬいぐるみのような一般物体を使って発生させた音で音楽の演奏を行うなど、今までに無い娯楽性の提供が可能となる。
【００５５】
もちろん、本実施形態における音情報生成の方法によれば、これまで示した作用効果にとどまらない。
【００５６】
情報処理装置１２００は、立体形状および外観の両方の情報を連続的に処理しているため、例えば、対象物体であるぬいぐるみの変形に対して、変形した部位やその変化量、変化ベクトルなどの情報を抽出することが可能である。
【００５７】
これにより、利用者がぬいぐるみを引っ張った際の変形の情報の詳細を参照して、例えば頭に近い部位を引っ張れば高い音程の音が発音され（図５（ａ）の３１００）、足を引っ張った場合には低い音程の音が発音される（図５（ｂ）の３２００）などの脚色が可能となる。
【００５８】
ところで、ユーザが対象物体に何らかの操作を加えたときの音情報の発生の方法には、種々のバリエーションが可能である。
【００５９】
例えば、対象物体の立体形状などの形状のみが変化した場合に、音情報を生成するものとし、この場合に、その形状の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の形状が変化したか、色、色の変化、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。また、例えば、対象物体の色などの外観のみが変化した場合に、音情報を生成するものとし、この場合に、その外観の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の外観が変化したか、形状、形状の変化、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。また、例えば、対象物体の立体形状などの形状および色などの外観の両方が変化した場合に、音情報を生成するものとし、この場合に、その形状および外観の変化のみに対応する音情報を生成してもよいし、他の情報（例えば、対象物体のどの部位の形状が変化したか、対象物体の全体的な大きさ、対象物体の当該装置からの距離、その都度変化し得る所定の情報、他のアプリケーションプログラムからの指示、ユーザからの指示、など）をもパラメータとして、対応する音情報を生成するようにしてもよい。
【００６０】
また、対象物体が予め定められた特徴（例えば、形状およびまたは外観）を有する部位を持つものである場合に、当該予め定められた特徴の部位にユーザからの特定の操作が加えられたことが解析されたときに、対応する音情報を生成する方法も可能である。
【００６１】
また、対象物体として予め定められた種類のものを想定し、当該予め定められた種類の対象物体の特定の部位にユーザからの特定の操作が加えられたことが解析されたときに、対応する音情報を生成する方法も可能である。
【００６２】
また、例えば、現実の１又は複数種類の特定の楽器と同一若しくは類似の音情報を生成するものであってもよい。この場合、特定の楽器を音階の出せる楽器とし、ユーザが対象物体のどの部位を操作するかおよびまたはどのような動きを加えるか、などに応じて、異なる音程や音量や音色の音情報を生成するようにしてもよい。複数種類の特定の楽器と同一若しくは類似の音情報を生成する場合には、ユーザが対象物体のどの部位を操作するかおよびまたはどのような動きを加えるか、などに応じて、どの楽器と同一若しくは類似の音情報を生成するかを決定するようにしてもよい。もちろん、特定の楽器は、音階を出せない楽器であってもよい。また、複数種類の特定の楽器と同一若しくは類似の音情報を生成する場合に、音階の出せる楽器と音階を出せない楽器が混在してもよい。
【００６３】
また、例えば、現実の楽器とは異なる音を用いて、現存しない仮想的な楽器のような音情報を生成するものであってもよい。
【００６４】
上記の他にも、種々のバリエーションが可能である。
【００６５】
以上説明してきたように、本実施形態による音情報生成システムを使用することで、例えば、手持ちのぬいぐるみを使って様々な音程の音を出すという対話的な操作を楽しんだり、さらに音程の違いを利用して音楽を演奏するなど、対象物体単体では実現不可能な娯楽性や芸術性を実現することとなり、その効果は絶大である。
【００６６】
（第２の実施形態）
図６に、本発明の第２の実施形態に係る情報処理システムの構成例を示す。また、図７に、本実施形態の概観図の一例を示す。本情報処理システムの動作手順の一例は図３と同様である。
【００６７】
図６に示されるように、本情報処理システムは、反射光画像取得部５１１０と自然光画像取得部５１２０を含む情報取得装置５１００、形状情報解析部５２１０と外観情報解析部５２２０と形状情報記憶部５２３０と形状情報記憶部５２４０と音情報生成部５２５０を含む情報処理装置５２００、デジタル−アナログ変換部５３１０とアンプ部５３２０とスピーカー部５３３０とを含む情報呈示装置５３００を備えている。なお、図６の例では、デジタル−アナログ変換部５３１０は情報呈示装置５３００に含まれるが、デジタル−アナログ変換部５３１０を情報処理装置５２００に含ませる構成例も可能である。
【００６８】
まず、本実施形態の音情報生成システムの基本的な構成について説明する。
【００６９】
対象物体５０００は、第１の実施形態における対象物体１０００と同様に、音情報生成システムの利用者が任意に選択する被写物体であり、音情報生成システムで情報取得が可能な物体であれば何でもよいが、本実施形態では、複数個を同時に使用するものとする。本実施形態では、一例として、対象物体５０００は、高さ５〜２０ｃｍ程度の複数のぬいぐるみ（図６、図７では、４つのぬいぐるみ５０１０〜５０４０）とする。
【００７０】
情報取得装置５１００の基本構成は、第１の実施形態における情報取得装置１１００の基本構成と同じである。
【００７１】
情報処理装置５２００は、マイクロプロセッサー等の論理演算回路によって実現されるコンピュータ等の情報処理装置である。情報処理装置５２００において、形状情報解析部５２１０は、反射光画像から対象物体の立体的な形状情報を取得するためのものである。外観情報解析部５２２０は、自然光画像から対象物体の見かけの画像情報を取得するためのものである。形状情報記憶部５２３０は、対象物体の立体的な形状情報を蓄積するためのものである。形状情報記憶部５２４０は、対象物体の見かけの画像情報を蓄積するためのものである。音情報生成部５２５０は、上記の蓄積された立体的な形状情報および見かけの画像情報を参照し、任意に定められた手順に従って音情報を生成するためのものである。
【００７２】
本実施形態では、一例として、情報処理装置５２００は、パーソナルコンピュータ（ＰＣ）の一式とする。
【００７３】
なお、反射光画像から対象の立体的な形状情報を取得する原理については、第１の実施形態で説明した内容と同じである。
【００７４】
情報呈示装置５３００は、情報処理装置１２００が出力する音情報を外部に呈示するための装置である。情報呈示装置５３００は、デジタル−アナログ変換部５３１０は、デジタル信号で構成される音情報をアナログの音波信号に変換するためのものである。アンプ部５３２０は、アナログの音波信号を増幅するためのものである。スピーカー部５３３０は、音波信号を物理的な音波として出力するためのものである。本実施形態では、一例として、情報呈示装置５３００は、ＰＣ本体のＵＳＢ端子に接続するデジタルオーディオスピーカーとする。
【００７５】
次に、本実施形態における音情報生成システムの動作について説明する。
【００７６】
まず、情報取得装置５１００が対象物体であるぬいぐるみの反射光画像と自然光画像を撮影し、情報処理装置５２００に送信する（ステップＳ１）。
【００７７】
情報処理装置５２００では、情報取得装置５１００から送信された反射光画像および自然光画像の情報を処理し（ステップＳ２）、音情報の生成に必要な参照情報の抽出および音情報の生成を行う（ステップＳ３）。
【００７８】
具体的な処理手順は以下の通りである。
（１）反射光画像から画像中の奥行き情報を取得する。
（２）取得した奥行き情報を利用して、画像中の背景領域と物体領域を切り分ける。
（３）切り分けた物体領域の情報と自然光画像の情報の両方を参照し、画像中の物体領域を物体それぞれの領域に切り分ける。
（４）それぞれの物体の形状や外観の情報に注目し、連続的に記録する。
（５）それぞれの物体の形状や外観の情報に変化が発生した場合、その変化の内容や量を算定する。
（６）算定された変化の量がしきい値以上であった場合、予め決められた手順に従い、変化に対応した音情報を生成する。
【００７９】
情報呈示装置５３００は、情報処理装置５２００が生成した音情報をデジタル信号として受信し、内部でデジタル−アナログ変換を行ってアナログの音波波形に変換した後、アンプ、スピーカーを経由して人間が聞くことのできる一般的な音波として出力する（ステップＳ４）。
【００８０】
これにより、利用者側からは対象物体であるぬいぐるみの形状や外観の変化に連動して音が発生したかのように認識される。
【００８１】
情報取得装置５１００及び情報処理装置５２００は即時的に連続して動作するため、利用者が対象物体である複数のぬいぐるみを個別に叩いたり引っ張ったりした際にも、ほぼ遅延無しでそれぞれのぬいぐるみに対応した音が発音可能である。
【００８２】
これにより、音楽演奏の様に即時性が要求される用途にも対応可能である。
【００８３】
本実施形態では、例えば小さいぬいぐるみ（図７の５０１０）には高い音程を割り当て、大きいぬいぐるみ（図７の５０４０）には低い音程を割り当てておくことで、それぞれのぬいぐるみが叩かれたり振られたりした時に、それぞれのぬいぐるみに設定された音程で発音されることとなり、ハンドベルやグラスハープのように同種の複数の物体を鳴らし分ける形態での音楽演奏が可能となる。
【００８４】
ところで、ユーザが対象物体に何らかの操作を加えたときの音情報の発生の方法には、種々のバリエーションが可能である。本実施形態では、第１の実施形態で述べたものに加えて、複数の対象物体の利用方法のバリエーションが存在する。
【００８５】
例えば、同一の楽器の音情報を生成するものとし、異なる対象物体に異なる音（例えば、音階、音色、音量の少なくとも一つが異なるもの）を割り当てることも可能である。この場合に、１つの対象物体に１つの音を割り当てることも可能であるし、１つの対象物体に複数の音を割り当てることも可能である。もちろん、同一の音が複数の対象物体に重複して割り当てられてもよいし、排他的に割り当てられてもよい。
【００８６】
また、例えば、複数の楽器の音情報を生成するものとし、複数の対象物体に、異なる楽器を割り当てることも可能である。もちろん、同一の楽器が複数の対象物体に重複して割り当てられてもよいし、排他的に割り当てられてもよい。
【００８７】
また、例えば、複数の楽器の音情報を生成するものとし、同一の楽器を複数の対象物体に割り当てるとともに、同一の楽器を割り当てられた複数の対象物体に異なる音を割り当てることも可能である。
【００８８】
また、例えば、１又は複数の対象物体に現実の楽器と同一若しくは類似の音情報を割り当て、他の１又は複数の対象物体に仮想的な楽器の音情報を割り当てるようにすることも可能である。
【００８９】
また、複数の対象物体は、同一の種類のものであってもよいし、その全部又は一部が互いに異なる種類のものであってもよい。
【００９０】
上記の他にも、種々のバリエーションが可能である。
【００９１】
以上説明してきたように、本実施形態による音情報生成システムを使用することで、例えばぬいぐるみのように、楽器ではない一般物体を複数個使って複数の音色を発生させ、ハンドベルやグラスハープのように音楽の演奏を行うことが可能になるなど、今までに無い娯楽性や芸術性の提供が可能となる。
【００９２】
（第３の実施形態）
本発明の第３の実施形態は、第１の実施形態や第２の実施形態において、対象物体に対する音色や音程の割り当て方法を変形したバリエーションである。
【００９３】
本実施形態における音情報生成システムの構成例は、第１または第２の実施形態における音情報生成システムの構成例と同じである。本情報処理システムの動作手順の一例は図３と同様である。また、本実施形態における音情報の生成方法は、第１または第２の実施形態における音情報の生成方法と同じである。
【００９４】
以下、本実施形態について、第１の実施形態や第２の実施形態と相違する点を中心に説明する。
【００９５】
第１、第２の実施形態の情報処理装置（第１の実施形態の場合、図１の１２００、第２の実施形態の場合、図６の５２００）は、対象物体に対して音色や音程を割り当てることが可能であるが、本実施形態においては、対象物に対する音色や音程の設定を情報処理装置（第１の実施形態の場合、図１の１２００、第２の実施形態の場合、図６の５２００）内で決定し、その規則を利用者に秘匿とする。
【００９６】
これにより、例えば、利用者が持ち込んだ物体が、利用者にも予想不可能な意外な音色を発生させることとなり、様々な物体を取り替えて望みの音色を探したり、音色や音程の設定規則を推理したりという音当てゲームのような使用方法が可能となる。
【００９７】
以上説明したように、本実施形態による音情報生成システムを使用することで、例えば新しく買ってきたぬいぐるみの音色を試してみるなど、音を使用したゲームとしての娯楽性を提供し、その効果は絶大である。
【００９８】
ところで、第１〜第３の実施形態では、対象物体を、本実施形態の構成との関係では何の仕掛けもない一般物体（上記した具体例では、一般のぬいぐるみ）として説明してきたが、もちろん、対象物体を、当該システムのための専用の物体として、当該専用の物体に、さらに各種の仕掛けを組み込んで、より娯楽性や芸術性などの効果を高めることも可能である（例えば、専用の対象物体（上記した具体例では、専用のぬいぐるみ）に、ユーザが当該システムに所定の指示を入力するための仕組みを設け、当該システムはユーザからの所定の指示の入力を受けた場合には、これに応じて所定の処理を行う、など）。
【００９９】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０１００】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、関連を持つ２以上の装置についての発明、システム全体としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０１０１】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１０２】
【発明の効果】
本発明によれば、本来は楽器ではない一般物体を入力デバイスとして使用した音楽あるいは楽器の演奏などが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る情報処理システムの構成例を示す図
【図２】同実施形態に係る情報処理システムの概観の一例を示す図
【図３】同実施形態に係る情報処理システムの動作手順の一例を示すフローチャート
【図４】同実施形態に係る情報処理システムの情報取得装置の内部構成例を示す図
【図５】同実施形態に係る情報処理システムの音情報生成の一例について説明するための図
【図６】同実施形態に係る情報処理システムの他の構成例を示す図
【図７】同実施形態に係る情報処理システムの概観の他の一例を示す図
【符号の説明】
１０００，５０００…対象物体
１１００，５１００…情報取得装置
１１１０…反射光画像取得部
１１１１…反射光画像撮像部
１１１２…反射光画像処理部
１１１３…反射光画像出力部
１１２０…自然光画像取得部
１１２１…自然光画像撮像部
１１２２…自然光画像出力部
１１３０…撮像動作制御部
１１４０…発光部
１２００，５２００…情報処理装置
１２１０，５２１０…形状情報解析部
１２２０，５２２０…外観情報解析部
１２３０，５２３０…形状情報記憶部
１２４０，５２４０…形状情報記憶部
１２５０，５２５０…音情報生成部
１２６０，５３１０…デジタル−アナログ変換部
１３００，５３００…情報呈示装置
１３１０，５３２０…アンプ部
１３２０，５３３０…スピーカー部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a sound information generation system and a sound information generation method for generating sound information based on a predetermined input.
[0002]
[Prior art]
Conventional techniques relating to a method of performing music using general objects that are not musical instruments include the following.
[0003]
The first prior art is the most primitive means, and there is one that simply uses sound when objects collide with each other.
[0004]
However, the size and material of the object to be collided are limited, and it is difficult to freely change the tone color and pitch.
[0005]
The second prior art is a method of adding a sounding device to a target object. A physical or electronic sounding device is attached to a general object that is not a musical instrument, and sound is generated according to the movement of the target object. This technology has advantages such as a simple structure of the device and sound generation corresponding to the movement of the object faithfully.
[0006]
However, it is necessary to attach a sounding device in advance to an object used for performance, and any object cannot be used freely. Also, it cannot capture any external feature information such as the shape or appearance of the object, and it is difficult to produce a sound corresponding to the change in the external feature information.
[0007]
The third prior art is a method of adding sensors to a target object (for example, see Non-Patent Documents 1 and 2). An acceleration sensor, a wireless tag, or the like is attached to a general object that is not a musical instrument, and information measured by these sensors is transmitted to an information processing device for processing to generate and generate sound information. This technique has an advantage that tone color and scale can be freely set because sound information is synthesized in the information processing apparatus.
[0008]
However, it is necessary to attach sensors to an object used for performance in advance, and any object cannot be used freely. In addition, it is difficult to capture the shape and appearance feature information of the object, and it is difficult to generate pronunciation corresponding to the change in the external feature information.
[0009]
[Non-Patent Document 1]
http: // sega. jp / dc / db / 000401. html
[0010]
[Non-Patent Document 2]
http: // sega. jp / arcade / syakachu / home. html
[0011]
[Problems to be solved by the invention]
When considering a method of performing music using a general object that is not a musical instrument, the following problems exist in the prior art.
[0012]
The first prior art is very primitive and has significant limitations on both the available objects and the sound quality that can be pronounced.
[0013]
In the second conventional technology and the third conventional technology, since a device is required on the object side, an arbitrary object cannot be used freely.
[0014]
Further, in the second and third prior arts, since the appearance information of the object is not acquired, for example, the difference in the color of the object cannot be reflected on the quality of the sound to be pronounced.
[0015]
The present invention has been made in view of the above circumstances, and provides a sound information generation system and a sound information generation method that enable music or musical instrument performance using a general object that is not originally a musical instrument as an input device. For the purpose.
[0016]
[Means for Solving the Problems]
The present invention continuously captures an object to be operated by a user as a moving image, and outputs sound information generated based on feature information obtained from the image of the object after the user operates the object. A sound information generation system that immediately performs the above-described processing, wherein a first image in a state where the object is illuminated by both natural light and irradiation light, and a second image in a state where the object is illuminated only by the natural light And taking the difference between the first image and the second image to obtain a third image in a state where the object is illuminated only by the irradiation light. A series of procedures for obtaining first feature information relating to the appearance of the object from the second image and obtaining second feature information relating to the shape of the object from the third image. Immediate for each frame that composes By performing the measurement, the measurement unit that immediately and continuously measures the first and second feature information of the object, and the first and second feature information measured by the measurement unit are continuously continuous. Interpreting means for interpreting, sound information generating means for generating corresponding sound information based on interpretation results for the first and second feature information interpreted by the interpreting means, and generated by the sound information generating means And sound information presenting means for outputting the sound information.
[0017]
In addition, the present invention continuously shoots a plurality of independent objects to be operated by the user as moving images, and based on feature information obtained from an image of the object after the user operates the object. A sound information generation system that immediately performs output of generated sound information, wherein the plurality of objects are illuminated with both natural light and irradiation light, and the plurality of objects are The second image in a state illuminated only by the natural light is photographed by the same imaging device, and the difference between the first image and the second image is taken, whereby the plurality of objects are irradiated with the irradiation light. Obtaining a third image illuminated by only the first image, obtaining first feature information relating to the appearance of each of the plurality of objects from the second image, and obtaining the plurality of the plurality of images from the third image. In the shape of each of the objects The first and second feature information for each of the plurality of objects is instantly obtained by performing a series of procedures for obtaining the second feature information for each frame constituting the moving image immediately. Measurement means for continuously measuring, interpretation means for immediately and continuously interpreting the first and second feature information measured for each of the plurality of objects by the measurement means, and interpretation by the interpretation means Sound information generating means for generating corresponding sound information based on the interpretation results for the first and second feature information, and sound information presenting means for outputting the sound information generated by the sound information generating means It is characterized by comprising.
[0018]
Preferably, the sound information generating means includes the first and second feature information based on which the sound information is generated and the sound information generated based on the first and second feature information. The relationship (relevance, regularity) between them may be kept secret from the user.
[0020]
In addition, the present invention continuously captures an object to be operated by the user as a moving image, and obtains sound information generated based on feature information obtained from the image of the object after the user operates the object. A sound information generation method in a sound information generation system that immediately performs output until outputting, wherein the object is illuminated with both natural light and irradiation light, and the object is only in the natural light. A state in which the second image in the illuminated state is photographed by the same imaging apparatus, and the object is illuminated only by the irradiation light by taking the difference between the first image and the second image A series of steps for obtaining first feature information relating to the appearance of the object from the second image and obtaining second feature information relating to the shape of the object from the third image. Steps to configure the video The first and second feature information of the object is measured immediately and continuously, and the first and second feature information obtained thereby is immediately obtained. And corresponding sound information is generated on the basis of the interpretation results for the first and second feature information obtained thereby, and the generated sound information is output. .
[0021]
In addition, the present invention continuously shoots a plurality of independent objects to be operated by the user as moving images, and based on feature information obtained from an image of the object after the user operates the object. A sound information generation method in a sound information generation system that immediately performs output of generated sound information, wherein the plurality of objects are illuminated by both natural light and irradiation light; and Taking the second image in a state where the plurality of objects are illuminated only by the natural light with the same imaging device and taking the difference between the first image and the second image, A third image in a state where the object is illuminated only by the irradiation light is obtained, and first feature information regarding the appearance of each of the plurality of objects is obtained from the second image, and the third image is obtained. The plurality of objects First and second feature information for each of the plurality of objects is obtained by immediately performing a series of procedures for obtaining second feature information on the shape of each of the frames for each frame constituting the moving image. Are measured immediately and continuously, and the first and second feature information obtained for each of the plurality of objects is immediately and continuously interpreted, and the first and second obtained thereby are obtained. Based on the interpretation result for the second feature information, corresponding sound information is generated, and the generated sound information is output.
[0022]
In addition, the present invention continuously captures an object to be operated by the user as a moving image, and obtains sound information generated based on feature information obtained from the image of the object after the user operates the object. A program for causing a computer to function as a sound information generation system that immediately performs output until outputting, wherein the object is illuminated with both natural light and irradiation light, and the object The second image in a state illuminated only by natural light is photographed by the same imaging device, and the difference between the first image and the second image is taken, so that the object is illuminated only by the irradiation light. A third image in the generated state is obtained, first feature information relating to the appearance of the object is obtained from the second image, and second feature information relating to the shape of the object is obtained from the third image. A series of requests By performing the procedure immediately for each frame constituting the moving image, the first and second feature information of the object is measured immediately and continuously, and the measurement function measures the first and second feature information. In addition, an interpretation function that interprets the first and second feature information immediately and continuously, and corresponding sound information based on an interpretation result for the first and second feature information interpreted by the interpretation function. Is a program for causing a computer to realize a sound information generation function for generating sound and a sound information presentation function for outputting the sound information generated by the sound information generation function.
[0023]
In addition, the present invention continuously shoots a plurality of independent objects to be operated by the user as moving images, and based on feature information obtained from an image of the object after the user operates the object. A program for causing a computer to function as a sound information generation system that immediately outputs generated sound information, wherein the plurality of objects are illuminated by both natural light and irradiation light. By taking an image and a second image in which the plurality of objects are illuminated only by the natural light with the same imaging device, and taking the difference between the first image and the second image, A third image in a state in which the plurality of objects are illuminated only by the irradiation light is obtained, and first feature information regarding the appearance of each of the plurality of objects is obtained from the second image, and the first image is obtained. 3 A series of procedures for obtaining second feature information related to the shape of each of the plurality of objects from the image is immediately performed for each frame constituting the moving image, whereby each of the plurality of objects is A measurement function that immediately and continuously measures the first and second feature information, and the first and second feature information measured for each of the plurality of objects by the measurement function An interpretation function that interprets the sound information, a sound information generation function that generates corresponding sound information based on the interpretation results for the first and second feature information interpreted by the interpretation function, and a sound information generation function And a sound information presenting function for outputting the sound information.
[0024]
The present invention relating to the apparatus is also established as an invention relating to a method, and the present invention relating to a method is also established as an invention relating to an apparatus.
Further, the present invention relating to an apparatus or a method has a function for causing a computer to execute a procedure corresponding to the invention (or for causing a computer to function as a means corresponding to the invention, or for a computer to have a function corresponding to the invention. It is also established as a program (for realizing) and also as a computer-readable recording medium on which the program is recorded.
[0025]
In the present invention, external feature information such as the appearance, three-dimensional shape, movement, etc. of a general object that is not a musical instrument is acquired easily and stably, capturing those changes, and generating corresponding sound information, It is possible to virtually enjoy a timbre by using a general object that cannot be handled like a musical instrument, such as using a general object like a musical instrument.
[0026]
In addition, by acquiring external feature information continuously at high speed, it is possible to immediately perform processing from measurement of external feature information to sound information. For example, by using distance measurement technology using reflected light, the external feature information of the shape and movement of a general object that is not a musical instrument is acquired, and / or images of a general object that is not a musical instrument are continuously captured as a moving image, By using the image to analyze the external feature information such as the appearance of the object, the change is captured and the corresponding sound information is generated and pronounced. As a result, it is possible to provide and improve unprecedented entertainment and artistry, such as using a general object that is not originally a musical instrument, and supporting applications such as music performance that require immediateness. The effect is enormous.
[0027]
Further, the present invention does not require a mechanism on the object side, and therefore has an advantage that any object can be freely used. In addition, since the sound information is synthesized in the information processing apparatus, there is an advantage that a tone color and a scale can be freely set.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the invention will be described with reference to the drawings.
[0029]
(First embodiment)
FIG. 1 shows a configuration example of an information processing system according to the first embodiment of the present invention. FIG. 2 shows an example of an overview diagram of the present embodiment. FIG. 3 shows an example of the operation procedure of the information processing system.
[0030]
As shown in FIG. 1, the information processing system includes an information acquisition device 1100 including a reflected light image acquisition unit 1110 and a natural light image acquisition unit 1120, a shape information analysis unit 1210, an appearance information analysis unit 1220, and a shape information storage unit 1230. And an information presenting apparatus 1300 including an information processing apparatus 1200 including a shape information storage section 1240, a sound information generation section 1250, and a digital-analog conversion section 1260, and an amplifier section 1310 and a speaker section 1320. In the example of FIG. 1, the digital-analog converter 1260 is included in the information processing apparatus 1200, but a configuration example in which the digital-analog converter 1260 is included in the information presentation apparatus 1300 is also possible.
[0031]
First, the basic configuration of the sound information generation system of this embodiment will be described.
[0032]
The target object 1000 is a subject that is arbitrarily selected by the user of the sound information generation system of this embodiment, and may be any object that can be acquired by the information acquisition apparatus 1100. In the present embodiment, as an example, the target object 1000 is a stuffed toy having a height of about 20 cm.
[0033]
The information acquisition device 1100 is an imaging device that captures both a reflected light image and a normal natural light image. In the information acquisition device 1100, the reflected light image acquisition unit 1110 is for irradiating light on the object and acquiring an image by the reflected light. On the other hand, the natural light image acquisition unit 1120 is for acquiring an image by normal natural light.
[0034]
The information processing apparatus 1200 is an information processing apparatus such as a computer that is realized by a logical operation circuit such as a microprocessor. In the information processing apparatus 1200, the shape information analysis unit 1210 is for acquiring the three-dimensional shape information of the target object from the reflected light image. The appearance information analysis unit 1220 is for acquiring apparent image information of the target object from the natural light image. The shape information storage unit 1230 is for accumulating the three-dimensional shape information of the target object. The shape information storage unit 1240 is for accumulating apparent image information of the target object. The sound information generation unit 1250 refers to the accumulated three-dimensional shape information and apparent image information, and generates sound information according to an arbitrarily determined procedure. The digital-analog conversion unit 1260 is for converting sound information composed of digital signals into analog sound wave signals. In the present embodiment, as an example, the information processing apparatus 1200 is a game machine equipped with a microprocessor.
[0035]
The principle of acquiring the target three-dimensional shape information from the reflected light image will be described later.
[0036]
The information presenting apparatus 1300 is an apparatus for presenting sound information output from the information processing apparatus 1200 to the outside. In the information presentation device 1300, the amplifier unit 1310 is for amplifying an analog sound wave signal. The speaker unit 1320 is for outputting a sound wave signal as a physical sound wave. Note that the information presenting apparatus 1300 may be configured to have a mechanism for presenting information other than sound information. In this embodiment, as an example, the information presentation apparatus 1300 is a television to which a game machine is connected.
[0037]
Next, the principle of acquiring the target three-dimensional shape information from the reflected light image will be described.
[0038]
In general, the intensity of reflected light has a property that is inversely proportional to the square of the distance. Thus, when the target object is irradiated with light and the intensity of the reflected light is measured, the distance from the light source to each part of the target can be calculated. However, only a reflected light image cannot be taken under a normal environment where natural light exists. Therefore, the irradiation light is obtained by taking two types of images of the state in which the object is illuminated by both natural light and irradiation light and the state in which the object is only illuminated by natural light and taking the difference between the two types of images. A reflected light image of the object illuminated only by is obtained. Thereby, the image by reflected light can be image | photographed also in the normal environment where natural light exists, and the distance information of each part of object can be acquired.
[0039]
Next, a configuration example of the information acquisition apparatus 1100 will be described.
[0040]
FIG. 4 shows a configuration example of the information acquisition device 1100.
[0041]
As shown in FIG. 4, the information acquisition apparatus 1100 captures a reflected light image, a reflected light image acquisition unit 1110 for acquiring a reflected light image, a natural light image acquisition unit 1120 for acquiring a natural light image, and the reflected light image. A light emitting unit 1140 for irradiating necessary irradiation light, and an imaging operation control unit 1130 for controlling the operation of each unit. The reflected light image acquiring unit 1110 includes a reflected light image capturing unit 1111, a reflected light image processing unit 1112, and a reflected light image output unit 1113, and the natural light image acquiring unit 1120 is a natural light image capturing unit 1121 and a natural light image output unit. 1122 is included.
[0042]
The natural light image acquisition unit 1120 acquires an image in a state where the target object is illuminated with natural light, and outputs this. First, the natural light image capturing unit 1121 captures an image of the target object illuminated by natural light in accordance with a control signal from the image capturing operation control unit 1130, and transmits this to the natural light image output unit 1122.
[0043]
The natural light image output unit 1122 outputs the image captured by the natural light image capturing unit 1121 as image data to the external system and the reflected light image processing unit 1112.
[0044]
The reflected light image acquisition unit 1110 acquires an image of the state in which the target object is illuminated by the irradiation light, and outputs this. First, the reflected light image capturing unit 1111 captures an image of the target object illuminated by both irradiation light and natural light in accordance with a control signal from the image capturing operation control unit 1130, and transmits this to the reflected light image processing unit 1112. To do.
[0045]
The reflected light image processing unit 1112 refers to both the image data captured by the reflected light image capturing unit 1111 and the image data captured by the natural light image capturing unit 1121, and performs difference processing to thereby target the light emitting unit 1140. The reflected light image data of the target object in a state illuminated only by the light irradiated on is generated.
[0046]
The reflected light image output unit 1113 outputs the reflected light image data generated by the reflected light image processing unit 1112 to an external system.
[0047]
Next, the operation of the sound information generation system in this embodiment will be described.
[0048]
First, the information acquisition apparatus 1100 captures a reflected light image and a natural light image of a stuffed animal that is a target object, and transmits the captured image to the information processing apparatus 1200 (step S1).
[0049]
Inside the information processing apparatus 1200, the information of the reflected light image and the natural light image transmitted from the information acquisition apparatus 1100 is processed, arranged as information on the appearance and three-dimensional shape of the stuffed animal as the target object, and stored and stored (step S1). .
[0050]
In the information processing apparatus 1200, the information on the three-dimensional shape and appearance of the target object that is sequentially updated is compared with the past three-dimensional shape and appearance information that is stored and stored, and changes such as movement and deformation of the target object are performed. Is calculated (step S2).
[0051]
Here, when a change greater than the threshold value is calculated regarding the three-dimensional shape and appearance of the stuffed toy that is the target object, a predetermined procedure (for example, that a specific operation has been performed on a specific part of the target object by the user) , When information reflecting a specific operation for the specific location is obtained, a generation rule that specifies that pre-defined sound information should be generated for the specific operation for the specific location), Alternatively, sound information corresponding to the change information is generated by another improvisational procedure (step S3).
[0052]
By outputting the above sound information as a general sound wave that can be heard by a human through the information presenting apparatus 1300 or the like (step S4), the user changes the shape and appearance of the stuffed toy that is the target object. It is recognized as if it caused the generation of sound.
[0053]
Since the information acquisition device 1100 and the information processing device 1200 operate immediately and continuously, even when the user strikes or pulls the stuffed animal that is the target object, the information acquisition device 1100 and the information processing device 1200 can generate sound with almost no delay. It can also be used for applications that require immediacy such as performance.
[0054]
As described above, by using the sound information generation system according to the present embodiment, music has not been played with sounds generated using general objects such as stuffed animals that are not musical instruments. Amusement can be provided.
[0055]
Of course, the sound information generation method according to the present embodiment is not limited to the functions and effects described so far.
[0056]
Since the information processing apparatus 1200 continuously processes both information of the three-dimensional shape and the appearance, for example, information on a deformed part, a change amount thereof, a change vector, and the like with respect to the deformation of the stuffed animal that is the target object. Can be extracted.
[0057]
As a result, referring to details of the deformation information when the user pulls the stuffed toy, for example, if a portion close to the head is pulled, a high pitched sound is produced (3100 in FIG. 5A), and the foot is pulled. In such a case, a low-pitch sound can be generated (3200 in FIG. 5B), for example.
[0058]
By the way, various variations are possible for the method of generating sound information when the user performs some operation on the target object.
[0059]
For example, sound information is generated when only the shape such as the three-dimensional shape of the target object changes. In this case, sound information corresponding only to the change in the shape may be generated, or other information may be generated. (For example, which part of the target object has changed in shape, color, color change, overall size of the target object, distance of the target object from the device, predetermined information that can change each time, other Corresponding sound information may be generated using parameters from an application program, an instruction from the user, and the like as parameters. Also, for example, when only the appearance such as the color of the target object changes, sound information is generated. In this case, sound information corresponding only to the change in the appearance may be generated. Information (for example, which part of the target object has changed appearance, shape, shape change, overall size of the target object, distance of the target object from the device, predetermined information that can change each time, etc. The corresponding sound information may be generated using parameters from the application program of FIG. Also, for example, sound information is generated when both the shape such as the three-dimensional shape of the target object and the appearance such as the color change. In this case, the sound information corresponding only to the change of the shape and the appearance is displayed. Other information (for example, the shape of which part of the target object has changed, the overall size of the target object, the distance of the target object from the device, and a predetermined value that can change each time. Information, instructions from other application programs, instructions from users, etc.) may also be used as parameters to generate corresponding sound information.
[0060]
In addition, when the target object has a part having a predetermined characteristic (for example, shape and / or appearance), a specific operation from the user has been added to the predetermined characteristic part. A method of generating corresponding sound information when analyzed is also possible.
[0061]
Further, it is assumed that a predetermined type of target object is assumed and it is analyzed that a specific operation from the user is applied to a specific part of the predetermined type of target object. A method of generating sound information is also possible.
[0062]
Further, for example, sound information that is the same as or similar to that of one or more kinds of actual specific instruments may be generated. In this case, a specific musical instrument is used as a musical instrument that can produce a musical scale, and sound information of different pitches, volumes, and timbres is generated depending on which part of the target object the user operates and what movement is applied. You may make it do. When generating sound information that is the same as or similar to multiple types of specific musical instruments, it is the same as which musical instrument depending on which part of the target object the user operates and what kind of movement is applied. Or you may make it determine whether similar sound information is produced | generated. Of course, the specific instrument may be an instrument that cannot produce a scale. In addition, when sound information that is the same as or similar to a plurality of types of specific musical instruments is generated, musical instruments that can produce a musical scale and musical instruments that cannot produce a musical scale may be mixed.
[0063]
Further, for example, sound information such as a virtual musical instrument that does not exist may be generated using a sound different from that of an actual musical instrument.
[0064]
In addition to the above, various variations are possible.
[0065]
As described above, by using the sound information generation system according to the present embodiment, for example, it is possible to enjoy an interactive operation of producing sounds of various pitches using a stuffed toy on hand, and to further reduce the pitch difference. Playing music using it will achieve entertainment and artistic abilities that cannot be achieved with the target object alone, and its effects are enormous.
[0066]
(Second Embodiment)
FIG. 6 shows a configuration example of an information processing system according to the second embodiment of the present invention. FIG. 7 shows an example of an overview diagram of the present embodiment. An example of the operation procedure of the information processing system is the same as in FIG.
[0067]
As shown in FIG. 6, the information processing system includes an information acquisition device 5100 including a reflected light image acquisition unit 5110 and a natural light image acquisition unit 5120, a shape information analysis unit 5210, an appearance information analysis unit 5220, and a shape information storage unit 5230. And an information presentation device 5200 including a shape information storage unit 5240 and a sound information generation unit 5250, and an information presentation device 5300 including a digital-analog conversion unit 5310, an amplifier unit 5320, and a speaker unit 5330. In the example of FIG. 6, the digital-analog conversion unit 5310 is included in the information presentation device 5300, but a configuration example in which the digital-analog conversion unit 5310 is included in the information processing device 5200 is also possible.
[0068]
First, the basic configuration of the sound information generation system of this embodiment will be described.
[0069]
Similar to the target object 1000 in the first embodiment, the target object 5000 is a subject that is arbitrarily selected by the user of the sound information generation system, and can be any object that can be acquired by the sound information generation system. Any number may be used, but in this embodiment, a plurality are used simultaneously. In this embodiment, as an example, the target object 5000 is a plurality of stuffed animals having a height of about 5 to 20 cm (four stuffed animals 5010 to 5040 in FIGS. 6 and 7).
[0070]
The basic configuration of the information acquisition device 5100 is the same as the basic configuration of the information acquisition device 1100 in the first embodiment.
[0071]
The information processing device 5200 is an information processing device such as a computer realized by a logical operation circuit such as a microprocessor. In the information processing apparatus 5200, the shape information analysis unit 5210 is for acquiring the three-dimensional shape information of the target object from the reflected light image. The appearance information analysis unit 5220 is for acquiring apparent image information of the target object from the natural light image. The shape information storage unit 5230 is for accumulating the three-dimensional shape information of the target object. The shape information storage unit 5240 is for accumulating apparent image information of the target object. The sound information generation unit 5250 is for generating sound information according to an arbitrarily defined procedure with reference to the accumulated three-dimensional shape information and apparent image information.
[0072]
In this embodiment, as an example, the information processing apparatus 5200 is a set of personal computers (PCs).
[0073]
The principle of acquiring the target three-dimensional shape information from the reflected light image is the same as the content described in the first embodiment.
[0074]
The information presenting apparatus 5300 is an apparatus for presenting sound information output from the information processing apparatus 1200 to the outside. In the information presentation device 5300, the digital-analog conversion unit 5310 is for converting sound information formed of a digital signal into an analog sound wave signal. The amplifier unit 5320 is for amplifying an analog sound wave signal. The speaker unit 5330 is for outputting a sound wave signal as a physical sound wave. In this embodiment, as an example, the information presentation device 5300 is a digital audio speaker connected to the USB terminal of the PC main body.
[0075]
Next, the operation of the sound information generation system in this embodiment will be described.
[0076]
First, the information acquisition apparatus 5100 captures a reflected light image and a natural light image of the stuffed animal that is the target object, and transmits the captured image to the information processing apparatus 5200 (step S1).
[0077]
The information processing device 5200 processes the reflected light image and natural light image information transmitted from the information acquisition device 5100 (step S2), extracts reference information necessary for generating sound information, and generates sound information (step S2). S3).
[0078]
The specific processing procedure is as follows.
(1) Obtain depth information in the image from the reflected light image.
(2) Using the acquired depth information, the background area and the object area in the image are separated.
(3) With reference to both the information of the cut object area and the information of the natural light image, the object area in the image is cut into the respective object areas.
(4) Pay attention to information on the shape and appearance of each object and record them continuously.
(5) When a change occurs in the shape and appearance information of each object, the content and amount of the change are calculated.
(6) If the calculated amount of change is equal to or greater than the threshold value, sound information corresponding to the change is generated according to a predetermined procedure.
[0079]
The information presenting device 5300 receives the sound information generated by the information processing device 5200 as a digital signal, performs digital-analog conversion inside to convert it into an analog sound wave waveform, and then listens to it via an amplifier and a speaker. A general sound wave that can be output is output (step S4).
[0080]
Thereby, it is recognized from the user side as if the sound is generated in conjunction with the change in the shape and appearance of the stuffed animal as the target object.
[0081]
Since the information acquisition device 5100 and the information processing device 5200 operate immediately and continuously, even when the user individually taps or pulls a plurality of stuffed animals that are target objects, the stuffed toys are almost without delay. The corresponding sound can be pronounced.
[0082]
Thereby, it can respond also to the use for which immediacy is required like music performance.
[0083]
In this embodiment, for example, by assigning a high pitch to a small stuffed animal (5010 in FIG. 7) and assigning a low pitch to a large stuffed animal (5040 in FIG. 7), each stuffed animal is hit or shaken. When it does, it will be sounded with the pitch set for each stuffed animal, and it will be possible to perform music in the form of multiple sounds of the same kind like handbells and grass harp.
[0084]
By the way, various variations are possible for the method of generating sound information when the user performs some operation on the target object. In the present embodiment, in addition to the ones described in the first embodiment, there are variations in the method of using a plurality of target objects.
[0085]
For example, it is possible to generate sound information of the same musical instrument, and it is also possible to assign different sounds (for example, ones having different scales, timbres, and volumes) to different target objects. In this case, one sound can be assigned to one target object, and a plurality of sounds can be assigned to one target object. Of course, the same sound may be assigned to a plurality of target objects in an overlapping manner, or may be assigned exclusively.
[0086]
Further, for example, sound information of a plurality of musical instruments is generated, and different musical instruments can be assigned to a plurality of target objects. Of course, the same musical instrument may be assigned to a plurality of target objects in an overlapping manner, or may be assigned exclusively.
[0087]
Further, for example, sound information of a plurality of musical instruments is generated, and the same musical instrument can be assigned to a plurality of target objects, and different sounds can be assigned to a plurality of target objects to which the same musical instrument is assigned.
[0088]
In addition, for example, sound information that is the same as or similar to a real musical instrument may be assigned to one or more target objects, and sound information of a virtual instrument may be assigned to other one or more target objects. .
[0089]
Further, the plurality of target objects may be of the same type, or all or a part of them may be of different types.
[0090]
In addition to the above, various variations are possible.
[0091]
As described above, by using the sound information generation system according to the present embodiment, a plurality of general objects that are not musical instruments, such as stuffed animals, are used to generate a plurality of timbres, such as a hand bell or a glass harp. This makes it possible to provide entertainment and arts that have never been seen before.
[0092]
(Third embodiment)
The third embodiment of the present invention is a variation obtained by modifying the timbre and pitch assignment method for the target object in the first embodiment and the second embodiment.
[0093]
The configuration example of the sound information generation system in the present embodiment is the same as the configuration example of the sound information generation system in the first or second embodiment. An example of the operation procedure of the information processing system is the same as in FIG. The sound information generation method in the present embodiment is the same as the sound information generation method in the first or second embodiment.
[0094]
Hereinafter, the present embodiment will be described focusing on differences from the first embodiment and the second embodiment.
[0095]
The information processing apparatuses of the first and second embodiments (1200 in the case of the first embodiment, 1200 in FIG. 1 in the case of the second embodiment, 5200 in FIG. 6) provide timbres and pitches to the target object. In this embodiment, the timbre and pitch setting for the object are set in the information processing apparatus (1200 in the first embodiment, 1200 in FIG. 1, and 6 in the second embodiment). 5200), and the rule is kept secret from the user.
[0096]
As a result, for example, an object brought in by a user generates an unexpected timbre that cannot be predicted by the user, and various objects can be replaced to search for a desired timbre, or a timbre or pitch setting rule can be set. It can be used like a sound guessing game.
[0097]
As described above, by using the sound information generation system according to the present embodiment, for example, a newly purchased stuffed toy tone is tried, and entertainment as a game using sound is provided. It is huge.
[0098]
By the way, in the first to third embodiments, the target object has been described as a general object having no device in relation to the configuration of the present embodiment (in the above-described specific example, a general stuffed animal). It is also possible to enhance the effects such as entertainment and artisticity by incorporating the target object as a dedicated object for the system and incorporating various devices into the dedicated object. When the target object (in the specific example described above, a dedicated stuffed animal) is provided with a mechanism for the user to input a predetermined instruction to the system, the system receives an input of the predetermined instruction from the user, In accordance with this, predetermined processing is performed).
[0099]
Each function described above can be realized as software.
The present embodiment can also be implemented as a program for causing a computer to execute predetermined means (or for causing a computer to function as predetermined means, or for causing a computer to realize predetermined functions), The present invention can also be implemented as a computer-readable recording medium on which the program is recorded.
[0100]
Note that the configuration illustrated in the embodiment of the present invention is an example, and is not intended to exclude other configurations, and a part of the illustrated configuration may be replaced with another or one of the illustrated configurations. Other configurations obtained by omitting a part, adding another function or element to the illustrated configuration, or combining them are also possible. Also, another configuration that is logically equivalent to the exemplified configuration, another configuration that includes a portion that is logically equivalent to the exemplified configuration, another configuration that is logically equivalent to the main part of the illustrated configuration, and the like are possible. is there. Further, another configuration that achieves the same or similar purpose as the illustrated configuration, another configuration that achieves the same or similar effect as the illustrated configuration, and the like are possible.
In addition, various variations of various components illustrated in the embodiment of the present invention can be implemented in appropriate combination.
Further, the embodiment of the present invention is an invention of an invention as an individual device, an invention of two or more related devices, an invention of the entire system, an invention of components within an individual device, or a method corresponding thereto. The invention includes inventions according to various viewpoints, stages, concepts, or categories.
Therefore, the present invention can be extracted from the contents disclosed in the embodiments of the present invention without being limited to the exemplified configuration.
[0101]
The present invention is not limited to the embodiment described above, and can be implemented with various modifications within the technical scope thereof.
[0102]
【The invention's effect】
According to the present invention, music using a general object that is not originally a musical instrument as an input device or a musical instrument can be played.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of an information processing system according to an embodiment of the present invention.
FIG. 2 is a view showing an example of an overview of the information processing system according to the embodiment;
FIG. 3 is a flowchart showing an example of an operation procedure of the information processing system according to the embodiment;
FIG. 4 is a diagram showing an example of the internal configuration of an information acquisition device of the information processing system according to the embodiment
FIG. 5 is a view for explaining an example of sound information generation in the information processing system according to the embodiment;
FIG. 6 is a view showing another configuration example of the information processing system according to the embodiment;
FIG. 7 is a view showing another example of the overview of the information processing system according to the embodiment;
[Explanation of symbols]
1000, 5000 ... Target object
1100, 5100 ... Information acquisition device
1110: Reflected light image acquisition unit
1111 ... Reflected light image capturing unit
1112 ... Reflected light image processing unit
1113: Reflected light image output unit
1120: Natural light image acquisition unit
1121 ... Natural light image capturing unit
1122 ... Natural light image output unit
1130. Imaging operation control unit
1140. Light emitting part
1200, 5200 ... Information processing apparatus
1210, 5210 ... Shape information analysis unit
1220, 5220 ... Appearance information analysis unit
1230, 5230 ... Shape information storage unit
1240, 5240 ... Shape information storage unit
1250, 5250 ... Sound information generation unit
1260, 5310: Digital-analog converter
1300, 5300 ... Information presentation device
1310, 5320 ... Amplifier section
1320, 5330 ... Speaker section

Claims (14)

ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムであって、
前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測する計測手段と、
前記計測手段により計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈手段と、
前記解釈手段により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成手段と、
前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする音情報生成システム。 Immediately after the user manipulates the object as a moving image, the user operates the object and outputs sound information generated based on the feature information obtained from the object image. A sound information generation system
A first image in a state where the object is illuminated by both natural light and irradiation light and a second image in a state where the object is illuminated only by the natural light are photographed by the same imaging device, by taking the difference between the first image and the second image, we obtain the third image in a state where said object is illuminated by only該照Shako, from the second image, the first related to the appearance of the object A series of procedures for obtaining the feature information of 1 and for obtaining the second feature information on the shape of the object from the third image for each frame constituting the moving image, Measuring means for measuring the first and second feature information of the object immediately and continuously ;
Interpretation means for immediately and continuously interpreting the first and second characteristic information measured by the measurement means;
Sound information generating means for generating corresponding sound information based on the interpretation results for the first and second feature information interpreted by the interpreting means;
A sound information generating system comprising: sound information presenting means for outputting the sound information generated by the sound information generating means. ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムであって、
前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測する計測手段と、
前記計測手段により前記複数の物体の各々について計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈手段と、
前記解釈手段により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成手段と、
前記音情報生成手段により生成された前記音情報を出力する音情報呈示手段とを備えたことを特徴とする音情報生成システム。A plurality of independent objects to be operated by the user are continuously captured as moving images, and sound information generated based on feature information obtained from the image of the object is output after the user operates the object. A sound information generation system that immediately performs the process until
A first image in which the plurality of objects are illuminated by both natural light and irradiation light and a second image in which the plurality of objects are illuminated only by the natural light are captured by the same imaging device. Then, by obtaining a difference between the first image and the second image, a third image in a state where the plurality of objects are illuminated only by the irradiation light is obtained, and from the second image, A series of procedures for obtaining first feature information relating to the appearance of each of the plurality of objects and obtaining second feature information relating to the shape of each of the plurality of objects from the third image, Measuring means for immediately and continuously measuring the first and second feature information for each of the plurality of objects by performing immediately for each frame constituting the image ;
Interpretation means for immediately and continuously interpreting the first and second feature information measured for each of the plurality of objects by the measurement means;
Sound information generating means for generating corresponding sound information based on the interpretation results for the first and second feature information interpreted by the interpreting means;
A sound information generating system comprising: sound information presenting means for outputting the sound information generated by the sound information generating means. 前記音情報生成手段は、前記第１及び第２の特徴情報に対する解釈結果が、前記複数の物体のいずれがユーザにより操作されたかを示しているかに応じて、生成すべき前記音情報を異ならせることを特徴とする請求項２に記載の音情報生成システム。  The sound information generation unit varies the sound information to be generated depending on whether an interpretation result of the first and second feature information indicates which of the plurality of objects has been operated by a user. The sound information generating system according to claim 2. 前記第１の特徴情報は、前記物体の色に関する特徴を示す情報又は前記物体の色の変化に関する特徴を示す情報のうち少なくとも一つであることを特徴とする請求項１ないし３のいずれか１項に記載の音情報生成システム。  4. The device according to claim 1, wherein the first feature information is at least one of information indicating a feature related to the color of the object or information indicating a feature related to a change in the color of the object. The sound information generation system according to item. 前記第２の特徴情報は、前記物体の立体形状に関する特徴を示す情報若しくは前記物体の立体形状の変化に関する特徴を示す情報又は前記物体の動きに関する特徴を示す情報のうち少なくとも一つであることを特徴とする請求項１ないし４のいずれか１項に記載の音情報生成システム。  The second feature information is at least one of information indicating a feature related to the three-dimensional shape of the object, information indicating a feature related to a change in the three-dimensional shape of the object, or information indicating a feature related to the movement of the object. The sound information generation system according to claim 1, wherein the sound information generation system is a sound information generation system. 前記音情報生成手段は、第１及び第２の特徴情報と生成すべき音情報との関係について予め定められた生成規則を、前記解釈手段により解釈された第１及び第２の特徴情報に適用することによって、対応する音情報を生成することを特徴とする請求項１ないし５のいずれか１項に記載の情報入出力装置。  The sound information generation means applies a generation rule predetermined for the relationship between the first and second feature information and the sound information to be generated to the first and second feature information interpreted by the interpretation means. 6. The information input / output device according to claim 1, wherein the corresponding sound information is generated by performing the operation. 前記生成規則は、ユーザにより前記物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された前記第１及び第２の特徴情報が得られた場合に、該特定の箇所に対する特定の操作について、予め規定された音情報を生成すべきことを示す規則であることを特徴とする請求項６に記載の音情報生成システム。  The generation rule is when the first and second feature information reflecting the specific operation on the specific part is obtained by the user performing a specific operation on the specific part of the object. The sound information generation system according to claim 6, wherein the sound information generation system is a rule indicating that predetermined sound information should be generated for a specific operation with respect to the specific portion. 前記生成規則は、ユーザにより前記物体の特定の箇所に特定の操作がなされたことによって、該特定の箇所に対する特定の操作が反映された前記第１及び第２の特徴情報が得られた場合に、該特定の箇所に対する特定の操作の内容と当該物体に関する所定の属性情報及び又は当該物体とは関係のない他の所定の情報とにより規定された音情報を生成すべきことを示す規則であることを特徴とする請求項６に記載の音情報生成システム。The generation rule is when the first and second feature information reflecting the specific operation on the specific part is obtained by the user performing a specific operation on the specific part of the object. is the rule shown that it should generate sound information defined by the other prescribed information not related to the predetermined attribute information and or the object about the content and the object of certain operations on the particular location The sound information generation system according to claim 6. 前記音情報生成手段は、現実の１又は複数種類の特定の楽器と同一若しくは類似の音情報を生成するものであることを特徴とする請求項１ないし８のいずれか１項に記載の音情報生成システム。  9. The sound information according to claim 1, wherein the sound information generating means generates sound information that is the same as or similar to an actual one or more types of specific musical instruments. Generation system. 前記音情報生成手段が前記音情報を生成するにあたって基とする前記第１及び第２の特徴情報と、当該第１及び第２の特徴情報に基づいて生成される前記音情報との間の関係が、利用者に秘匿されていることを特徴とする請求項１ないし９のいずれか１項に記載の音情報生成システム。Relationship between the first and second feature information based on which the sound information generating means generates the sound information and the sound information generated based on the first and second feature information but sound information generation system according to any one of claims 1 to 9, characterized in that it is concealed to the user. ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムにおける音情報生成方法であって、
前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測し、
これにより得られた前記第１及び第２の特徴情報を即時的に連続して解釈し、
これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、
生成された前記音情報を出力することを特徴とする音情報生成方法。 Immediately after the user manipulates the object as a moving image, the user operates the object and outputs sound information generated based on the feature information obtained from the object image. A sound information generation method in the sound information generation system
A first image in a state where the object is illuminated by both natural light and irradiation light and a second image in a state where the object is illuminated only by the natural light are photographed by the same imaging device, by taking the difference between the first image and the second image, we obtain the third image in a state where said object is illuminated by only該照Shako, from the second image, the first related to the appearance of the object A series of procedures for obtaining the feature information of 1 and for obtaining the second feature information on the shape of the object from the third image for each frame constituting the moving image, Measuring the first and second characteristic information of the object immediately and continuously ,
Interpreting the first and second feature information obtained thereby immediately and continuously ,
Based on the interpretation result for the first and second feature information obtained thereby, corresponding sound information is generated,
A sound information generation method, characterized by outputting the generated sound information. ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムにおける音情報生成方法であって、
前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成 する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測し、
これにより前記複数の物体の各々について得られた前記第１及び第２の特徴情報を即時的に連続して解釈し、
これにより得られた前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成し、
生成された前記音情報を出力することを特徴とする音情報生成方法。A plurality of independent objects to be operated by the user are continuously captured as moving images, and sound information generated based on feature information obtained from the image of the object is output after the user operates the object. A sound information generation method in a sound information generation system that performs immediately until
A first image in which the plurality of objects are illuminated by both natural light and irradiation light and a second image in which the plurality of objects are illuminated only by the natural light are captured by the same imaging device. Then, by obtaining a difference between the first image and the second image, a third image in a state where the plurality of objects are illuminated only by the irradiation light is obtained, and from the second image, A series of procedures for obtaining first feature information relating to the appearance of each of the plurality of objects and obtaining second feature information relating to the shape of each of the plurality of objects from the third image, Immediately and continuously measuring the first and second feature information for each of the plurality of objects by performing immediately for each frame constituting the image ,
Thus, the first and second feature information obtained for each of the plurality of objects is immediately and continuously interpreted,
Based on the interpretation result for the first and second feature information obtained thereby, corresponding sound information is generated,
A sound information generation method, characterized by outputting the generated sound information. ユーザによる操作の対象となる物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムとしてコンピュータを機能させるためのプログラムであって、
前記物体が自然光と照射光との両方に照らされた状態の第１の画像と、該物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該物体の外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該物体の形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該物体の第１及び第２の特徴情報を即時的に連続して計測する計測機能と、
前記計測機能により計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈機能と、
前記解釈機能により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成機能と、
前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラム。 Immediately after the user manipulates the object as a moving image, the user operates the object and outputs sound information generated based on the feature information obtained from the object image. A program for causing a computer to function as a sound information generation system
A first image in a state where the object is illuminated by both natural light and irradiation light and a second image in a state where the object is illuminated only by the natural light are photographed by the same imaging device, by taking the difference between the first image and the second image, we obtain the third image in a state where said object is illuminated by only該照Shako, from the second image, the first related to the appearance of the object A series of procedures for obtaining the feature information of 1 and for obtaining the second feature information on the shape of the object from the third image for each frame constituting the moving image, A measurement function for measuring the first and second feature information of the object immediately and continuously ;
An interpretation function for immediately and continuously interpreting the first and second feature information measured by the measurement function;
A sound information generation function for generating corresponding sound information based on the interpretation results for the first and second feature information interpreted by the interpretation function;
A program for causing a computer to realize a sound information presenting function for outputting the sound information generated by the sound information generating function. ユーザによる操作の対象となる互いに独立した複数の物体を動画像として連続撮影するとともに、ユーザが該物体を操作してから、該物体の画像から得られる特徴情報に基づいて生成した音情報を出力するまでを即時的に行う音情報生成システムとしてコンピュータを機能させるためのプログラムであって、
前記複数の物体が自然光と照射光との両方に照らされた状態の第１の画像と、該複数の物体が該自然光のみに照らされた状態の第２の画像とを同一の撮像装置により撮影し、該第１の画像と該第２の画像との差分を取ることによって、該複数の物体が該照射光のみによって照らされた状態の第３の画像を求め、該第２の画像から、該複数の物体の各々についての外観に関する第１の特徴情報を求めるとともに、該第３の画像から、該複数の物体の各々についての形状に関する第２の特徴情報を求める一連の手順を、前記動画像を構成する各フレームごとに即時的に行うことによって、該複数の物体の各々についての第１及び第２の特徴情報を即時的に連続して計測する計測機能と、
前記計測機能により前記複数の物体の各々について計測された前記第１及び第２の特徴情報を即時的に連続して解釈する解釈機能と、
前記解釈機能により解釈された前記第１及び第２の特徴情報に対する解釈結果に基づいて、対応する音情報を生成する音情報生成機能と、
前記音情報生成機能により生成された前記音情報を出力する音情報呈示機能とをコンピュータに実現させるためのプログラム。A plurality of independent objects to be operated by the user are continuously captured as moving images, and sound information generated based on feature information obtained from the image of the object is output after the user operates the object. A program for causing a computer to function as a sound information generation system that performs immediately until
A first image in which the plurality of objects are illuminated by both natural light and irradiation light and a second image in which the plurality of objects are illuminated only by the natural light are captured by the same imaging device. Then, by obtaining a difference between the first image and the second image, a third image in a state where the plurality of objects are illuminated only by the irradiation light is obtained, and from the second image, A series of procedures for obtaining first feature information relating to the appearance of each of the plurality of objects and obtaining second feature information relating to the shape of each of the plurality of objects from the third image, A measurement function that immediately and continuously measures the first and second feature information of each of the plurality of objects by performing immediately for each frame constituting the image ;
An interpretation function for immediately and continuously interpreting the first and second feature information measured for each of the plurality of objects by the measurement function;
A sound information generation function for generating corresponding sound information based on the interpretation results for the first and second feature information interpreted by the interpretation function;
A program for causing a computer to realize a sound information presenting function for outputting the sound information generated by the sound information generating function.
JP2002324106A 2002-11-07 2002-11-07 Sound information generation system and sound information generation method Expired - Fee Related JP3813919B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002324106A JP3813919B2 (en) 2002-11-07 2002-11-07 Sound information generation system and sound information generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002324106A JP3813919B2 (en) 2002-11-07 2002-11-07 Sound information generation system and sound information generation method

Publications (2)

Publication Number Publication Date
JP2004157394A JP2004157394A (en) 2004-06-03
JP3813919B2 true JP3813919B2 (en) 2006-08-23

Family

ID=32803795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002324106A Expired - Fee Related JP3813919B2 (en) 2002-11-07 2002-11-07 Sound information generation system and sound information generation method

Country Status (1)

Country Link
JP (1) JP3813919B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660679B2 (en) 2010-12-02 2014-02-25 Empire Technology Development Llc Augmented reality system
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing

Also Published As

Publication number Publication date
JP2004157394A (en) 2004-06-03

Similar Documents

Publication Publication Date Title
US9529566B2 (en) Interactive content creation
Winkler Making motion musical: Gesture mapping strategies for interactive computer music
TWI486904B (en) Method for rhythm visualization, system, and computer-readable memory
JP6805422B2 (en) Equipment, programs and information processing methods
JP2009070400A (en) Device for interacting with real-time streams of content
JP4127561B2 (en) GAME DEVICE, OPERATION EVALUATION METHOD, AND PROGRAM
JP2011529580A (en) Learning device
WO2009007512A1 (en) A gesture-controlled music synthesis system
JP6268287B2 (en) Moving image generating apparatus, moving image generating method, and program
JP3813919B2 (en) Sound information generation system and sound information generation method
JP6313003B2 (en) Karaoke apparatus, image output method, and program
JP5318016B2 (en) GAME SYSTEM, GAME SYSTEM CONTROL METHOD, AND PROGRAM
JP2006217183A (en) Data processor and program for generating multimedia data
JP2000047675A (en) Singing sound device and action expression deciding method
Borchers et al. MICON: a music stand for interactive conducting
Hamilton Perceptually coherent mapping schemata for virtual space and musical method
WO2018070487A1 (en) Spatial sound generation device, spatial sound generation system, spatial sound generation method, and spatial sound generation program
Martin Touchless gestural control of concatenative sound synthesis
TW201220818A (en) characterized by combining a first real image with a first virtual image to display a first combined picture at a plurality of second ends
Zaveri et al. Aero Drums-Augmented Virtual Drums
JP4580812B2 (en) Video generation method, stand-alone video playback device, and network distribution video playback system
Grond et al. Virtual Auditory Myography of Timpani-playing Avatars
JP2023154236A (en) Information processing system, information processing method, and program
Magrini et al. Real Time System for Gesture Tracking in Psycho-motorial Rehabilitation.
JP3535360B2 (en) Sound generation method, sound generation device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060601

LAPS Cancellation because of no payment of annual fees