JP4849121B2 - 情報処理システムおよび情報処理方法 - Google Patents

Description

この発明は、ディスプレイ上に画像を表示し、イヤホンまたはヘッドホンによって音声を出力する情報処理システム、および、この情報処理システムでの情報処理方法に関する。

携帯型のディスプレイ装置で動画などの画像を見ながら、イヤホンやヘッドホンによって音楽などの音声を聴くことが多くなっている。

また、下記の特許文献１や特許文献２には、イヤホンやヘッドホンによって音楽を聴く場合に、リスナー頭部の回転を検出し、その検出結果に応じて音像定位を制御して、リスナー頭外の定められた位置に音像を定位させることが示されている。

また、下記の特許文献３には、映像および音声を再生する場合に、ディスプレイ画面上の所定位置に音像を定位させることが示されている。

上に挙げた先行技術文献は、以下の通りである。
特開平９−７００９４号公報 特開平１１−２０５８９２号公報 特開平９−９３７００号公報

しかしながら、上記の従来の音像定位方法では、ディスプレイ装置が固定的に常設されることが前提とされているため、携帯電話端末などに代表される携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合、当該ディスプレイの状態の変化とは無関係に音像が所定位置に固定的に定位されてしまう。

具体的には、イヤホンやヘッドホンを装着したリスナーが携帯電話端末などのディスプレイ装置を、リスナー自身に近づけても、逆にリスナー自身から遠ざけても、あるいはリスナー自身に対して傾けても、当該音声の音像が定位される位置は変わらない。このため、例えば、映画館において、前の方の座席で映画を鑑賞した場合、逆に後ろの方の座席で映画を鑑賞した場合、あるいはスクリーンに対して斜めの方向で映画を鑑賞した場合に体感できるような臨場感は、携帯型のディスプレイ装置を用いて音声を聴く場合には得られない。

そこで、この発明は、手元にある携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合に、当該ディスプレイ装置を移動または回転させたとき、映画館で座席を移動して映画を鑑賞するときのような臨場感が得られるように音像定位の制御を行うものである。

かかる課題を解決するため本発明においては、情報処理システムに、ディスプレイと、当該ディスプレイの移動または回転を検出するためのディスプレイ用センサと、イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、当該トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、ディスプレイ用センサの出力と、ディスプレイと視聴者頭部との初期状態の位置関係で音像を定位させた場合のディスプレイ用センサのセンサ出力とから、ディスプレイの移動方向および移動距離、または回転方向および回転角を算出し、当該算出結果に応じて、ディスプレイと視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と視聴者頭部との位置関係に写像するように、音声処理部における音声信号の処理を制御する演算制御部とを設けるようにした。

また本発明においては、情報処理システムに、ディスプレイと、当該ディスプレイの移動または回転を検出するためのディスプレイ用センサと、イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、当該トランスデューサ装置に取り付けられた、視聴者頭部の移動または回転を検出するためのトランスデューサ用センサと、トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、ディスプレイ用センサおよびトランスデューサ用センサの出力と、ディスプレイと視聴者頭部との初期状態の位置関係で音像を定位させた場合のディスプレイ用センサおよびトランスデューサ用センサのセンサ出力とから、ディスプレイおよびトランスデューサ装置の移動方向および移動距離、または回転方向および回転角を算出し、当該算出結果に応じて、ディスプレイと視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と視聴者頭部との位置関係に写像するように、音声処理部における音声信号の処理を制御する演算制御部とを設けるようにした。

したがって本発明では、情報処理システムにおいて、視聴者がディスプレイを、自身に近づけ、逆に自身から遠ざけ、あるいは自身に対して傾けたとき、仮想視聴空間において、自身が画像表示面に近づき、逆に画像表示面から遠ざかり、あるいは画像表示面の左側または右側に移動して画像表示面に対して斜めの方向に位置するように、音像が定位される。

よって本発明では、音像定位についても、映画館で座席を移動して映画を鑑賞するときのような臨場感が得られる。

また、多くの音楽ソースは前方のスピーカがメインとされているので、ディスプレイを近づけることによって音量が上がり、ディスプレイを遠ざけることによって音量が下がって、結果的に、キーやスイッチなどの操作手段によらないボリューム調整インタフェースとして機能させることもできる。

以上のように、この発明によれば、手元にある携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合に、ディスプレイ装置を移動または回転させたとき、音像を定位させる位置を変化させて、映画館で座席を移動して映画を鑑賞するときのような臨場感を得ることができる。

［１．第１の実施形態：図１〜図１３］
第１の実施形態として、リスナーが自身は移動も回転もせず、ディスプレイのみを移動または回転させる場合を示す。

（１−１．システム構成：図１〜図４）
＜１−１−１．システムの外観構成：図１＞
図１に、第１の実施形態の情報処理システムの一例の外観構成を示す。

この例の情報処理システム１００は、情報処理装置１０およびイヤホン装置５０によって構成される。

情報処理装置１０は、動画などの画像、および音楽などの音声を再生できるもので、外観的には、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ１１、および操作キーや操作ダイヤルなどからなる操作部１２を備える。

イヤホン装置５０は、左イヤホン部６０および右イヤホン部７０を備え、コード５５の一端側の分岐されたコード部分５６および５７が左イヤホン部６０および右イヤホン部７０に接続される。

図１では省略しているが、コード５５の他端側にはプラグが取り付けられ、そのプラグが情報処理装置１０に設けられたジャックに挿入されることによって、イヤホン装置５０が情報処理装置１０に有線接続される。

＜１−１−２．システムの接続機能構成：図２＞
図２に、この場合の情報処理装置１０の接続機能構成を示す。

情報処理装置１０は、バス１４に、上記の操作部１２のほかに、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７および不揮発メモリ１９が接続される。

ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，
ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，である。

ＲＯＭ１６には、ＣＰＵ１５が実行すべき各種のプログラムや必要な固定データが、あらかじめ書き込まれる。ＲＡＭ１７は、ＣＰＵ１５のワークエリアなどとして機能するものである。

ＣＰＵ１５、ＲＯＭ１６およびＲＡＭ１７は、後述のディスプレイ１１の移動および回転に係る演算およびその演算結果による音像定位処理の制御を行う演算制御部２１を構成する。

不揮発メモリ１９は、情報処理装置１０に内蔵された、または情報処理装置１０に装着されるもので、これには、動画などの画像データや音楽などの音声データなどが記録される。

さらに、バス１４には、画像処理部２２および音声処理部２４が接続される。ただし、画像処理部２２および音声処理部２４は、それぞれ、ＣＰＵ１５、ＲＯＭ１６およびＲＡＭ１７を含んで構成される。

画像処理部２２は、不揮発メモリ１９から読み出された動画などの画像データを、圧縮されているものについては伸長した上で、アナログ画像信号に変換する。

音声処理部２４は、不揮発メモリ１９から読み出された音楽などの音声データに対して、圧縮されているものについては伸長した上で、後述のような音像定位処理を行う。

画像処理部２２からの画像信号は、駆動回路部２３でディスプレイ駆動信号に変換されて、ディスプレイ１１に供給される。

音声処理部２４からの左右のデジタル音声データは、ＤＡＣ２５および２６でアナログ音声信号に変換される。その変換後の左右の音声信号は、音声増幅回路２７および２８で増幅されて、イヤホン装置５０の左右のトランスデューサ６１および７１に供給される。

ＤＡＣ：Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ，である。

トランスデューサ６１および７１は、それぞれ音楽などの音声信号を音響に変換するものである。

さらに、この例では、情報処理装置１０に、ディスプレイ１１の移動、すなわち情報処理装置１０の移動を検出するための加速度センサ３１、および、ディスプレイ１１の回転、すなわち情報処理装置１０の回転を検出するためのジャイロセンサ３２、を設ける。

具体的に、加速度センサ３１は、後述の基準面内の互いに直交する２つの軸（Ｘ軸およびＹ軸）の方向の移動の加速度を検出するものとし、ジャイロセンサ３２は、その基準面に垂直な軸（Ｚ軸）の回りの回転の角速度を検出するものとする。

加速度センサ３１およびジャイロセンサ３２の出力信号は、それぞれ、ＡＤＣ３３および３４でサンプリングされ、デジタルデータに変換されて、バス１４に取り込まれる。

ＡＤＣ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ，である。

＜１−１−３．仮想視聴空間：図３＞
情報処理装置１０では、ディスプレイ１１上に画像を表示し、イヤホン装置５０によって音声を出力するに当たって、仮想シアターのような仮想視聴空間を想定する。図３に、仮想視聴空間の一例を示す。

この例の仮想視聴空間１は、基準面（図３の紙面に平行な面）上で見て長方形の空間で、リスナーから見て前方側に、画像表示面２、センターのスピーカ３および左右のスピーカ４，５が設置され、左右の側方の前方寄りの位置に、スピーカ６，７が設置されたものである。

ただし、この例のスピーカ数およびスピーカ配置位置は一例であって、スピーカ数およびスピーカ配置位置は任意に設定することができる。

画像表示面２は、スクリーンとして投射によって、またはディスプレイとして、画像が表示される面である。

位置Ｐｏは、仮想視聴空間１の中心位置であり、リスナー頭部９の実線で示す状態は、リスナー頭部９が位置Ｐｏにおいて画像表示面２に正対している状態である。

リスナーが位置Ｐｏから位置Ｐｆに移動することは、実際のシアターで前方側の席に移動することに相当し、位置Ｐｏから位置Ｐｂに移動することは、実際のシアターで後方側の席に移動することに相当する。

リスナーが位置Ｐｏから位置Ｐｌに移動することは、実際のシアターで左側の席に移動することに相当し、位置Ｐｏから位置Ｐｒに移動することは、実際のシアターで右側の席に移動することに相当する。

この仮想視聴空間１の左右方向をＸ軸方向、前後方向をＹ軸方向、基準面（図３の紙面に平行な面）に垂直な方向をＺ軸方向とする。

＜１−１−４．音像定位処理：図４＞
図４に、図３のように仮想視聴空間１が想定された場合の情報処理装置１０の音声処理部２４の音像定位処理に係る構成の一例を示す。

音声信号ＳＣ，ＳＬ，ＳＲ，ＳＥおよびＳＦは、それぞれ、図３に示した仮想視聴空間１に設置された仮想のスピーカ３，４，５，６および７から出力されるチャンネルの、圧縮されているデータについては伸長した後のデジタル音声データである。

音声信号ＳＣは、デジタルフィルタ４３Ｌおよび４３Ｒに供給され、音声信号ＳＬは、デジタルフィルタ４４Ｌおよび４４Ｒに供給され、音声信号ＳＲは、デジタルフィルタ４５Ｌおよび４５Ｒに供給される。

音声信号ＳＥは、デジタルフィルタ４６Ｌおよび４６Ｒに供給され、音声信号ＳＦは、デジタルフィルタ４７Ｌおよび４７Ｒに供給される。

デジタルフィルタ４３Ｌは、スピーカ３の位置からリスナー頭部９の左耳に至る伝達関数ＨＣＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４３Ｒは、スピーカ３の位置からリスナー頭部９の右耳に至る伝達関数ＨＣＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４４Ｌは、スピーカ４の位置からリスナー頭部９の左耳に至る伝達関数ＨＬＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４４Ｒは、スピーカ４の位置からリスナー頭部９の右耳に至る伝達関数ＨＬＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４５Ｌは、スピーカ５の位置からリスナー頭部９の左耳に至る伝達関数ＨＲＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４５Ｒは、スピーカ５の位置からリスナー頭部９の右耳に至る伝達関数ＨＲＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４６Ｌは、スピーカ６の位置からリスナー頭部９の左耳に至る伝達関数ＨＥＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４６Ｒは、スピーカ６の位置からリスナー頭部９の右耳に至る伝達関数ＨＥＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４７Ｌは、スピーカ７の位置からリスナー頭部９の左耳に至る伝達関数ＨＦＬを時間領域に変換したインパルス応答を畳み込むフィルタである。

デジタルフィルタ４７Ｒは、スピーカ７の位置からリスナー頭部９の右耳に至る伝達関数ＨＦＲを時間領域に変換したインパルス応答を畳み込むフィルタである。

加算回路４１で、デジタルフィルタ４３Ｌ，４４Ｌ，４５Ｌ，４６Ｌおよび４７Ｌの出力の音声信号が加算される。加算回路４２で、デジタルフィルタ４３Ｒ，４４Ｒ，４５Ｒ，４６Ｒおよび４７Ｒの出力の音声信号が加算される。

加算回路４１の出力の音声信号は、図２に示したＤＡＣ２５でアナログ音声信号に変換される。その変換後の音声信号が、左音声信号として、音声増幅回路２７で増幅されて、トランスデューサ６１に供給される。

加算回路４２の出力の音声信号は、図２に示したＤＡＣ２６でアナログ音声信号に変換される。その変換後の音声信号が、右音声信号として、音声増幅回路２８で増幅されて、トランスデューサ７１に供給される。

（１−２．情報処理方法：図５〜図１３）
第１の実施形態では、ディスプレイ１１を移動または回転させたとき、その移動後または回転後のディスプレイ１１とリスナー頭部との位置関係を仮想視聴空間１での画像表示面２とリスナー頭部との位置関係に写像するように、音像定位を制御する。

＜１−２−１．初期状態：図５＞
このように音像定位を制御するためには、初期状態の設定が必要である。

図５に、実際の視聴空間の初期状態設定時の状態の一例を示す。

リスナーは、情報処理システム１００によって画像および音声を視聴するとき、自身に対してディスプレイ１１が或る位置および或る方向にある状態で、操作部１２での操作によって情報処理装置１０に初期状態を設定させる。

図５は、リスナーが、自身の正面側の自身の頭部９の位置Ｈｏに対して或る距離Ｌｏを隔てた位置Ｄｏにディスプレイ１１が存在するように情報処理装置１０を手に持ち、ディスプレイ１１を自身に正対させた状態で、設定操作をした場合である。

このとき、情報処理装置１０は、ディスプレイ１１の画面左右方向に延長してディスプレイ１１の画面と所定角度で交差する面を基準面とし、この基準面上の画面左右方向をＸ軸方向、これに垂直な方向をＹ軸方向、基準面に垂直な方向をＺ軸方向とする。

図２に示した加速度センサ３１は、このＸ軸方向およびＹ軸方向の移動の加速度を検出し、ジャイロセンサ３２は、Ｚ軸方向の回転の角速度を検出する。

ディスプレイ１１とリスナー頭部９との初期距離Ｌｏは、任意であるが、一般に人がディスプレイを手に持ってディスプレイ画面を見るときの距離としては３０ｃｍ程度である。

この初期状態は、図３に示したようにリスナーが仮想視聴空間１内の所定位置、例えば中心位置Ｐｏの席で、映画などの画像および音声を視聴する状態とする。

そのため、ディスプレイ１１とリスナー頭部９との位置関係が初期状態とされた状態にあるときには、リスナーが仮想音源のスピーカ３〜７に対して図３に示すような位置Ｐｏおよび方向で音声を聴取するように、音像定位を制御する。

＜１−２−２．ディスプレイを移動させた場合：図６および図７＞
第１の実施形態の第１の方法は、リスナーがディスプレイ１１を、上記のＸ軸方向またはＹ軸方向に移動させた場合である。

図６に、リスナーがディスプレイ１１を、上記の初期状態から、参照符号１１ｍで示すように、Ｘ軸方向にはＸ軸プラス方向に距離Ｄｘだけ移動させ、Ｙ軸方向にはＹ軸マイナス方向に距離Ｄｙだけ移動させた場合を示す。

Ｘ軸プラス方向は、画面右方向であり、Ｘ軸マイナス方向は、画面左方向であり、Ｙ軸プラス方向は、リスナー頭部９から遠ざかる方向であり、Ｙ軸マイナス方向は、リスナー頭部９に近づく方向である。

位置Ｄｏは、ディスプレイ１１の初期位置であり、位置Ｄｍは、ディスプレイ１１の移動後の位置である。

距離Ｌｍは、ディスプレイ１１の移動後のディスプレイ１１とリスナー頭部９との距離であり、初期距離Ｌｏが３０ｃｍなどというように設定されれば、図６中の式（１）によって算出することができる。

情報処理装置１０の演算制御部２１は、加速度センサ３１の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して、ディスプレイ１１のＸ軸方向の移動距離ＤｘおよびＹ軸方向の移動距離Ｄｙを算出する。

さらに、情報処理装置１０の演算制御部２１は、移動後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。

写像変換のために、一つの方法として、Ｘ軸方向の変換率およびＹ軸方向の変換率を、それぞれＫとして、距離Ｑｘ，Ｑｙとして、Ｑｘ＝Ｋ・Ｄｘ，Ｑｙ＝Ｋ・Ｄｙ，を算出する。

仮想視聴空間１の範囲や、画像表示面２と中心位置Ｐｏとの距離は、実際の視聴空間でリスナーの腕を最大に伸ばせる範囲や、実際の視聴空間での上記の距離Ｌｏに比べて、十分に大きいので、変換率Ｋは１より大きくする。

実際の視聴空間でディスプレイ１１が、Ｘ軸プラス方向に距離Ｄｘだけ移動し、Ｙ軸マイナス方向に距離Ｄｙだけ移動したことは、仮想視聴空間１ではリスナー頭部９が、Ｘ軸マイナス方向に距離Ｑｘだけ移動し、Ｙ軸プラス方向に距離Ｑｙだけ移動したことに相当する。

そのため、図７に示すように、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして、中心位置Ｐｏから、Ｘ軸マイナス方向に距離Ｑｘだけ移動し、Ｙ軸プラス方向に距離Ｑｙだけ移動した位置を算出する。

位置Ｐｍは、仮想視聴空間１の画像表示面２から見ると、Ｙ軸マイナス方向に対して時計方向に、図６中の式（２）で表される角度αだけ回転した方向である。

別の方法として、上記の距離Ｌｍと角度αとから、仮想視聴空間１でのリスナー頭部９の位置Ｐｍを算出することもできる。

すなわち、この場合、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度αだけ回転した方向に、画像表示面２の左右方向の中心から、上記の距離Ｌｍに変換率Ｋを乗じた距離ｌｍだけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。

変換率Ｋは、仮想視聴空間１のＸ軸方向（左右方向）の幅Ｃｘ、またはＹ軸方向（前後方向）の奥行きＣｙを考慮して決定することもできる。

例えば、人の腕の長さを５０ｃｍとし、実際の視聴空間ではディスプレイ１１とリスナー頭部９との距離Ｌｍが最大で５０ｃｍになるとする。

この距離Ｌｍの最大値をＬｍｍａｘとすると、奥行きＣｙを考慮した場合としては、
ｌｍ：Ｌｍ＝Ｃｙ：Ｌｍｍａｘ ‥‥‥（５）
すなわち、
ｌｍ＝Ｃｙ×Ｌｍ／Ｌｍｍａｘ ‥‥‥（６）
とする。

また、幅Ｃｘを考慮した場合としては、
ｌｍ：Ｌｍ＝Ｃｘ／２：Ｌｍｍａｘ ‥（７）
すなわち、
ｌｍ＝Ｃｘ×Ｌｍ／２×Ｌｍｍａｘ ‥（８）
とする。

＜１−２−３．ディスプレイを回転させた場合：図８および図９＞
第１の実施形態の第２の方法は、リスナーがディスプレイ１１を、上記のＺ軸の回りに回転させた場合である。

図８に、リスナーがディスプレイ１１を、図５に示した初期状態に対して、参照符号１１ｒで示すように、上記の位置Ｄｏを回転中心としてＺ軸の回りに、上方（紙面の手前側）から見て反時計方向に角度φだけ回転させた場合を示す。

情報処理装置１０の演算制御部２１は、ジャイロセンサ３２の出力の、Ｚ軸の回りの回転の角速度を積分して、回転角φを算出する。

さらに、情報処理装置１０の演算制御部２１は、回転後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。

具体的に、実際の視聴空間でディスプレイ１１が反時計方向に角度φだけ回転したことは、仮想視聴空間１ではリスナー頭部９が時計方向に角度φだけ回転したことに相当する。

そのため、この場合、図９に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度φだけ回転した方向に、画像表示面２の左右方向の中心から、上記の距離Ｌｏに変換率Ｋを乗じた距離ｌｏだけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。

リスナー頭部９の向きは、画像表示面２の左右方向の中心を向く方向とする。

＜１−２−４．ディスプレイを移動かつ回転させた場合：図１０および図１１＞
第１の実施形態の第３の方法は、リスナーがディスプレイ１１を、移動かつ回転させた場合である。

一例として、図１０に、リスナーがディスプレイ１１を、図５に示した初期状態から、参照符号１１ｍｒで示すように、Ｘ軸プラス方向に距離Ｄｘ、Ｙ軸マイナス方向に距離Ｄｙ、移動させるとともに、Ｚ軸の回りに、反時計方向に角度φだけ回転させた場合を示す。

すなわち、この例は、ディスプレイ１１を、図６に示したように移動させ、かつ図８に示したように回転させた場合である。

この場合、図１１に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度β（＝φ＋α）だけ回転した方向に、画像表示面２の左右方向の中心から距離ｌｍ（＝Ｋ×Ｌｍ）だけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。

＜１−２−５．演算制御の処理：図１２および図１３＞
図１２に、第１の実施形態で情報処理装置１０の演算制御部２１が実行する一連の処理の一例を示す。

この例では、まずステップ１１１で、上記のようにリスナーの操作に基づいて初期状態を設定する。

次に、ステップ１１２で、加速度センサ３１の２軸の出力信号、およびジャイロセンサ３２の出力信号を、サンプリングし、デジタルデータに変換して、ディスプレイ１１のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、およびディスプレイ１１のＺ軸の回りの回転の角速度を示すデータを得る。

次に、ステップ１１３で、図１３の式（１１）、式（１２）および式（１３）によって、ディスプレイ１１のＸ軸方向の移動距離Ｄｘ、Ｙ軸方向の移動距離Ｄｙ、およびＺ軸の回りの回転角φを算出する。

次に、ステップ１１４で、その算出結果をもとに、図４に示したデジタルフィルタ４３Ｌ，４３Ｒ，４４Ｌ，４４Ｒ，４５Ｌ，４５Ｒ，４６Ｌ，４６Ｒ，４７Ｌおよび４７Ｒのフィルタ係数を決定する。

次に、ステップ１１５で、音声処理部２４において、その決定されたフィルタ係数によって音像定位処理を実行する。

次に、ステップ１１６で、一連の処理を終了するか否かを判断し、リスナーの終了操作などによって一連の処理を終了する場合を除いて、ステップ１１６からステップ１１２に戻って、ステップ１１２〜１１５の処理を繰り返す。

［２．第２の実施形態：図１４〜図１９］
第２の実施形態として、第１の実施形態のようにディスプレイを移動または回転させるだけでなく、リスナー自身も移動または回転する場合を示す。

（２−１．システム構成：図１４および図１５）
第２の実施形態でも、例えば、図１に示したように、情報処理システム１００は情報処理装置１０およびイヤホン装置５０によって構成される。

情報処理装置１０が外観的にディスプレイ１１および操作部１２を備えることも、第１の実施形態と同じである。

さらに、第２の実施形態では、イヤホン装置５０は、リスナー頭部の移動または回転を検出できるセンサが取り付けられたものとして構成する。図１４に、その一例を示す。

左イヤホン部６０は、インナーフレーム６２の一端側に、上記のトランスデューサ６１およびグリル６３が取り付けられ、他端側に、コードブッシング６４が取り付けられる。

左イヤホン部６０の耳から出る部分には、加速度センサ６５、ジャイロセンサ６６およびハウジング６７が取り付けられる。左イヤホン部６０の耳の中に入る部分には、イヤピース６９が取り付けられる。

右イヤホン部７０は、左イヤホン部６０と同様に、インナーフレーム７２の一端側に、上記のトランスデューサ７１およびグリル７３が取り付けられ、他端側に、コードブッシング７４が取り付けられる。

右イヤホン部７０の耳から出る部分には、ハウジング７７が取り付けられる。右イヤホン部７０の耳の中に入る部分には、イヤピース７９が取り付けられる。

加速度センサ６５は、後述の基準面内の互いに直交する２つの軸（Ｘ軸およびＹ軸）の方向の移動の加速度を検出するものとし、ジャイロセンサ６６は、その基準面に垂直な軸（Ｚ軸）の回りの回転の角速度を検出するものとする。

情報処理装置１０は、図１５に示すように、第１の実施形態の場合の図２に示した構成に加えて、バス１４に、イヤホン装置５０の加速度センサ６５およびジャイロセンサ６６の出力信号をそれぞれデジタルデータに変換するＡＤＣ３５および３６が接続される。

第２の実施形態でも、例えば、図３に示したような仮想視聴空間１を想定し、情報処理装置１０の音声処理部２４では、図４に示したような音像定位処理を実行する。

（２−２．情報処理方法：図１６〜図１９）
第２の実施形態でも、情報処理装置１０は、リスナーの操作によって初期状態を設定する。初期状態は、例えば、図５に示した状態である。

第２の実施形態では、ディスプレイ１１およびリスナー自身の移動または回転の組合せとして、
（ａ）ディスプレイ１１を移動し、リスナー自身も頭部を移動する場合、
（ｂ）ディスプレイ１１を移動し、リスナー自身は頭部を回転させる場合、
（ｃ）ディスプレイ１１を回転させ、リスナー自身は頭部を移動する場合、
（ｄ）ディスプレイ１１を回転させ、リスナー自身も頭部を回転させる場合、
（ｅ）ディスプレイ１１を移動かつ回転させ、リスナー自身も頭部を移動かつ回転させる場合、
が存在する。

いずれの場合も、実際の視聴空間でのディスプレイ１１とリスナー頭部９との位置関係を仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像するように、音像定位を制御する。

図１６に、上記（ｅ）の場合として、リスナーがディスプレイ１１を移動かつ回転させるとともに、リスナー自身が頭部を移動かつ回転させた場合を示す。

具体的に、ディスプレイ１１は、図１０に示したように移動かつ回転させ、リスナー頭部９は、Ｘ軸プラス方向に距離Ｈｘだけ移動させ、Ｙ軸マイナス方向に距離Ｈｙだけ移動させ、Ｚ軸の回りにディスプレイ１１とは逆に時計方向に角度θだけ回転させた場合を示す。

位置Ｄｏ、距離Ｌｏ、位置Ｄｍ、距離Ｄｘ、距離Ｄｙおよび回転角φは、図５、図６、図８および図１０に示したそれと同じである。

位置Ｈｏは、この場合にはリスナー頭部９の初期位置であり、位置Ｈｍは、リスナー頭部９の移動後の位置である。

ディスプレイ１１のＸ軸方向の移動距離ＤｘおよびＹ軸方向の移動距離Ｄｙは、第１の実施形態でも示したように、加速度センサ３１の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して算出する。

リスナー頭部９のＸ軸方向の移動距離ＨｘおよびＹ軸方向の移動距離Ｈｙは、加速度センサ６５の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して算出する。

ディスプレイ１１の回転角φは、第１の実施形態でも示したように、ジャイロセンサ３２の出力の角速度を積分して算出する。

リスナー頭部９の回転角θは、ジャイロセンサ６６の出力の角速度を積分して算出する。

ディスプレイ１１およびリスナー頭部９の移動後のディスプレイ１１とリスナー頭部９との距離Ｌｍは、初期距離Ｌｏが３０ｃｍなどというように設定されれば、図１６中の式（３）によって算出することができる。図１６中の角度αは、図１６中の式（４）で表される。

情報処理装置１０の演算制御部２１は、以上のような移動回転後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。

具体的に、実際の視聴空間でディスプレイ１１が反時計方向に角度φだけ回転したことは、仮想視聴空間１ではリスナー頭部９が時計方向に角度φだけ回転したことに相当する。

さらに、実際の視聴空間でリスナー頭部９が時計方向に角度θだけ回転したことは、仮想視聴空間１でもリスナー頭部９が時計方向に角度θだけ回転したことに相当する。

そのため、この場合、図１７に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度（φ＋θ）だけ回転した方向に、画像表示面２の左右方向の中心から距離ｌｍ（＝Ｋ×Ｌｍ）だけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。

リスナー頭部９の向きは、画像表示面２の左右方向の中心を向く方向とする。

図１８に、第２の実施形態で情報処理装置１０の演算制御部２１が実行する一連の処理の一例を示す。

この例では、まずステップ１２１で、上記のようにリスナーの操作に基づいて初期状態を設定する。

次に、ステップ１２２で、加速度センサ３１の２軸の出力信号、ジャイロセンサ３２の出力信号、加速度センサ６５の２軸の出力信号、ジャイロセンサ６６の出力信号を、サンプリングし、デジタルデータに変換して、ディスプレイ１１のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、ディスプレイ１１のＺ軸の回りの回転の角速度を示すデータ、リスナー頭部９のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、およびリスナー頭部９のＺ軸の回りの回転の角速度を示すデータを得る。

次に、ステップ１２３で、図１９の式（１１）、式（１２）および式（１３）によって、ディスプレイ１１のＸ軸方向の移動距離Ｄｘ、Ｙ軸方向の移動距離Ｄｙ、およびＺ軸の回りの回転角φを算出するとともに、図１９の式（２１）、式（２２）および式（２３）によって、リスナー頭部９のＸ軸方向の移動距離Ｈｘ、Ｙ軸方向の移動距離Ｈｙ、およびＺ軸の回りの回転角θを算出する。

次に、ステップ１２４で、その算出結果をもとに、図４に示したデジタルフィルタ４３Ｌ，４３Ｒ，４４Ｌ，４４Ｒ，４５Ｌ，４５Ｒ，４６Ｌ，４６Ｒ，４７Ｌおよび４７Ｒのフィルタ係数を決定する。

次に、ステップ１２５で、音声処理部２４において、その決定されたフィルタ係数によって音像定位処理を実行する。

次に、ステップ１２６で、一連の処理を終了するか否かを判断し、リスナーの終了操作などによって一連の処理を終了する場合を除いて、ステップ１２６からステップ１２２に戻って、ステップ１２２〜１２５の処理を繰り返す。

［３．他の実施形態：図２０］
図２０に示すように、情報処理システム１００を、ディスプレイ装置８０、情報処理装置９０およびイヤホン装置５０によって構成してもよい。この場合、ディスプレイ装置８０と情報処理装置９０との接続、および情報処理装置９０とイヤホン装置５０との接続を、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線によって行うように構成すると、好適である。

情報処理装置９０は、ホームサーバとして、ハードディスクなどに画像データや音楽データを蓄積し、画像処理、および上記の音像定位を含む音声処理を実行するものである。

ディスプレイ装置８０は、ディスプレイ１１および操作部１２を備え、ディスプレイ１１の移動を検出するための加速度センサや、ディスプレイ１１の回転を検出するためのジャイロセンサなどを備え、センサの出力信号を情報処理装置９０に送信するものとする。

イヤホン装置５０は、回路装置部５１に、バッテリー、無線通信モジュールおよびボリュームなどを設け、第２の実施形態のようにリスナー頭部の移動または回転に対応させる場合には、左イヤホン部６０または右イヤホン部７０に加速度センサやジャイロセンサなどを取り付ける。

なお、図１に示したように情報処理システム１００を情報処理装置１０およびイヤホン装置５０によって構成する場合でも、情報処理装置１０とイヤホン装置５０との接続を無線によって行うように構成してもよい。

また、トランスデューサ装置としては、イヤホン装置に限らず、ヘッドホン装置でもよい。

この発明の情報処理システムの一例の外観構成を示す図である。 第１の実施形態の情報処理装置の接続機能構成を示す図である。 仮想視聴空間の一例を示す図である。 音像定位処理に係る構成の一例を示す図である。 初期状態設定時の状態の一例を示す図である。 第１の実施形態でディスプレイを移動させた場合の一例を示す図である。 図６の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。 第１の実施形態でディスプレイを回転させた場合の一例を示す図である。 図８の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。 第１の実施形態でディスプレイを移動かつ回転させた場合の一例を示す図である。 図１０の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。 第１の実施形態で情報処理装置の演算制御部が実行する一連の処理の一例を示す図である。 第１の実施形態での移動距離および回転角の算出の説明に供する図である。 第２の実施形態のイヤホン装置の一例を示す図である。 第２の実施形態の情報処理装置の接続機能構成の一例を示す図である。 第２の実施形態でディスプレイおよびリスナー頭部を移動かつ回転させた場合の一例を示す図である。 図１６の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。 第２の実施形態で情報処理装置の演算制御部が実行する一連の処理の一例を示す図である。 第２の実施形態での移動距離および回転角の算出の説明に供する図である。 この発明の情報処理システムの他の例を示す図である。

符号の説明

主要部については図中に記述したので、ここでは省略する。

Claims (6)

1. ディスプレイと、
   上記ディスプレイの移動または回転を検出するためのディスプレイ用センサと、
   イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、
   上記トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、
   上記ディスプレイ用センサの出力と、上記ディスプレイと視聴者頭部との初期状態の位置関係で上記音像を定位させた場合の上記ディスプレイ用センサのセンサ出力とから、上記ディスプレイの移動方向および移動距離、または回転方向および回転角を算出し、当該算出結果に応じて、上記ディスプレイと上記視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と上記視聴者頭部との位置関係に写像するように、上記音声処理部における上記音声信号の処理を制御する演算制御部と
   を備える情報処理システム。
2. 上記ディスプレイ、上記ディスプレイ用センサ、上記音声処理部および上記演算制御部を備える情報処理装置と、上記トランスデューサ装置とによって構成された
   請求項１に記載の情報処理システム。
3. 上記ディスプレイおよび上記ディスプレイ用センサを備えるディスプレイ装置と、上記トランスデューサ装置と、上記音声処理部および上記演算制御部を備える情報処理装置とによって構成された
   請求項１に記載の情報処理システム。
4. ディスプレイと、
   上記ディスプレイの移動または回転を検出するためのディスプレイ用センサと、
   イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、
   上記トランスデューサ装置に取り付けられた、視聴者頭部の移動または回転を検出するためのトランスデューサ用センサと、
   上記トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、
   上記ディスプレイ用センサおよび上記トランスデューサ用センサの出力と、上記ディスプレイと上記視聴者頭部との初期状態の位置関係で上記音像を定位させた場合の上記ディスプレイ用センサおよび上記トランスデューサ用センサのセンサ出力とから、上記ディスプレイおよび上記トランスデューサ装置の移動方向および移動距離、または回転方向および回転角を算出し、当該算出結果に応じて、上記ディスプレイと上記視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と上記視聴者頭部との位置関係に写像するように、上記音声処理部における上記音声信号の処理を制御する演算制御部と
   を備える情報処理システム。
5. ディスプレイと、当該ディスプレイの移動または回転を検出するためのディスプレイ用センサと、イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、当該トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部とを備える情報処理システムが実行する情報処理方法として、
   上記ディスプレイ用センサの出力と、上記ディスプレイと視聴者頭部との初期状態の位置関係で上記音像を定位させた場合の上記ディスプレイ用センサのセンサ出力とから、上記ディスプレイの移動方向および移動距離、または回転方向および回転角を算出する演算工程と、
   上記演算工程の上記算出結果に応じて、上記ディスプレイと上記視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と上記視聴者頭部との位置関係に写像するように、上記音声処理部における上記音声信号の処理を制御する制御工程と
   を備える情報処理方法。
6. ディスプレイと、当該ディスプレイの移動または回転を検出するためのディスプレイ用センサと、イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、当該トランスデューサ装置に取り付けられた、視聴者頭部の移動または回転を検出するためのトランスデューサ用センサと、上記トランスデューサ装置を装着して音声を聴取する視聴者の頭外の位置に音像を定位させるように音声信号を処理する音声処理部とを備える情報処理システムが実行する情報処理方法として、
   上記ディスプレイ用センサおよび上記トランスデューサ用センサの出力と、上記ディスプレイと上記視聴者頭部との初期状態の位置関係で上記音像を定位させた場合の上記ディスプレイ用センサおよび上記トランスデューサ用センサのセンサ出力とから、上記ディスプレイおよび上記トランスデューサ装置の移動方向および移動距離、または回転方向および回転角を算出する演算工程と、
   上記演算工程の上記算出結果に応じて、上記ディスプレイと上記視聴者頭部との位置関係を想定された仮想視聴空間での画像表示面と上記視聴者頭部との位置関係に写像するように、上記音声処理部における上記音声信号の処理を制御する制御工程と
   を備える情報処理方法。

Images