JP3796776B2 - 映像音声再生装置 - Google Patents
映像音声再生装置 Download PDFInfo
- Publication number
- JP3796776B2 JP3796776B2 JP25097895A JP25097895A JP3796776B2 JP 3796776 B2 JP3796776 B2 JP 3796776B2 JP 25097895 A JP25097895 A JP 25097895A JP 25097895 A JP25097895 A JP 25097895A JP 3796776 B2 JP3796776 B2 JP 3796776B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- head
- audio
- signal processing
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、頭部に装着することにより映像及び音声を視聴できる映像音声再生装置に関する。
【０００２】
【従来の技術】
従来、映像音声再生システムにおける現実感の再現は、大画面映像、マルチスピーカ再生による系の大型化が主であったが、近時、図２２に示すように、小型化された頭部装着型の映像表示部１０１とそれに付加する音声再生部１０２によるパーソナル化、小型化が図られた映像音声再生装置１００が用いられるようになった。
【０００３】
映像表示部１０１は、図２３に示すように、映像入力端子１０３から映像入力信号が供給された駆動回路１０４により駆動されて映像を表示する。
【０００４】
音声再生部１０２は、同じく図に示すように、音声入力端子１０５から入力された音声入力信号を増幅器１０６Ｌ及び１０６Ｒで増幅して、左耳用発音体１０７Ｌ及び右耳用発音体１０７Ｒに供給し、装着者に音声を与えている。
【０００５】
ここで、音声再生部１０２は、音像を装着者の頭内に定位させているので、上記映像表示部１０１が映し出す映像と一致することなく現実感の再現という意味では大変不自然であった。
【０００６】
そこで、体の動きに応じて上記映像及び音声をリアルタイムで更新し、更に音声においては現実に近い音場感を例えばディジタル信号処理ユニットにより畳み込んで現実に近い視聴環境を再現する試みが行われている。
【０００７】
【発明が解決しようとする課題】
ところで、上述したような試みでは、特に音声処理において莫大な数の信号処理を必要とし、それ自体で頭部に装着できる大きさにはなり得ず、かつ動き検出手段も高価なものを使用しなければならず実用的ではなかった。
【０００８】
また、仮に、音像の頭外定位を実現して音声において現実に近い音場感を得ることができたとしても、映像系が従来通り頭部の動きに追従して視聴環境内で移動した場合、音像位置と映像位置の間には、大きなずれが発生し、不自然な映像音声再生となってしまう。
【０００９】
また、特殊なソースを用いて映像内容を頭部の動きに応じて更新する場合でも映像系、音声系ともに莫大な装置を必要とし、また高価なシステムになってしまう。
【００１０】
本発明に係る映像音声再生装置は、上記実情に鑑みてなされたものであり、特殊なソースを不要としながらも安価に音像位置と映像位置を一致させることのできる映像音声再生装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る映像音声再生装置は、上記課題を解決するために、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させる。また上記音声再生手段の音声信号処理部が再生音像を頭外に定位させ、該音像方向を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きと同期させて移動させる。
【００１２】
また、本発明に係る映像音声再生装置では、上記課題を解決するために、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示し、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させる。また、音声再生手段の音声信号処理部は複数の音声入力信号に２系統のインパルス応答を畳み込む二つのディジタルフィルタの各出力に上記頭部回転運動に応じた頭部回転角度に基づいて時間差又は位相差、或いはレベル差又は周波数特性を付加し、かつ頭部回転運動が一定範囲内にあるときには音像方向を試聴環境の一定方向に固定させ、さらに頭部回転運動が所定範囲範囲を超えたときは、音像方向を頭部の動きと同期させて移動させる。
【００１３】
また、本発明に係る映像音声再生装置は、上記課題を解決するために、頭部装着部上を除いた場所に配設された映像音声信号生成手段が回転角検出手段で検出された頭部の回転運動に応じた頭部位置情報を基に、映像入力信号の一部を選択的に表示させて、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させ、さらに、再生音像を頭外に定位させ、該音像方向を視聴環境の一方向に固定させるような信号処理を行わせ、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きに同期させて移動させる。
【００１４】
【発明の実施の形態】
以下、本発明に係る映像音声再生装置のいくつかの実施の形態について図面を参照しながら説明する。
【００１５】
先ず、第１の実施の形態は、音像の頭外定位を実現して入力音声を再生する音声再生部２と、映像の一定方向への固定を実現して入力映像を再生する映像再生部１０と、頭部の回転運動を検出する回転角速度センサ１６とを例えばヘッドバンド又はヘルメット状の頭部装着部１５に一体的に備えて成る頭部装着型映像音声再生装置１である。
【００１６】
音声再生部２は、回転角速度センサ１６での検出結果に応じて上記入力音声を頭部装着部１５装着者の頭外に音像定位させ、かつ音像方向の頭部回転運動への追随を防いで該音像方向を視聴環境の一定方向に固定させる演算を行う音声信号処理部５を備える。音声信号入力端子３から入力された音声信号は、Ａ／Ｄ変換器４でディジタル信号に変換されてからこの音声信号処理部５に供給される。音声信号処理部５からの出力結果は、左右それぞれの耳用に対応したＤ／Ａ変換器６L及び６Rに出力される。このＤ／Ａ変換器６L及び６Rでアナログ信号に変換された音声信号は、ヘッドホン駆動用の左右それぞれの耳用に対応した増幅器７L及び７Rを介して左右の耳の位置に配設される左耳用発音体８Lと右耳用発音体８Ｒに供給される。
【００１７】
映像再生部１０は、回転角速度センサ１６での検出結果に応じて上記入力映像を頭部装着部１５装着者の視聴環境の一定方向に固定させる映像信号処理部１２を備える。映像信号入力端子１１から入力された映像信号は、この映像信号処理部１２に供給される。この映像信号処理部１２で処理された映像信号は、映像表示駆動部１３L及び映像表示駆動部１３Rを介して左右両眼の前方近傍に配置される左眼用映像表示部１４Lと右眼用映像表示部１４Rに供給される。
【００１８】
回転角速度センサ１６は、頭部装着部１５装着者の頭部の回転角速度を検出し、該検出結果をマイクロプロセッサ１７に供給する。マイクロプロセッサ１７は、頭部装着部１５装着者の正面方向からの回転運動角度を計算し、該計算結果を音声信号処理部５及び映像信号処理部１２に供給する。
【００１９】
ここで、音声信号処理部５は、図２に示すように、入力端子２０1、２０2を介して受け取った２チャンネルの入力音声信号に、実際の２個の音源から頭部装着部１５装着者の両耳に至る頭部伝達関数を使ったインパルス応答を畳み込み演算する４個のディジタルフィルタ２１L、２１R、２２L及び２２Rと、この２チャンネルのうちＬ、Ｒ極性の同じ出力同士を加算する一対の加算器２３L及び２３Rと、この一対の加算器２３L及び２３Rに接続される一対の時間差付加回路２４L及び２４Rと、この一対の時間差付加回路２４L及び２４Rに接続される一対のレベル差付加回路２５L及び２５Rとを備え、上記回転角速度センサ１６及びマイクロプロセッサ１７を介して得られた回転運動角度に応じて上記一対の時間差付加回路２４L及び２４Rと上記一対のレベル差付加回路２５L及び２５Rとで付加する時間差及びレベル差の増減方向を逆にする。
【００２０】
具体的に、この音声信号処理部５では、図３に示すような状態を想定して、発音体８L、８Rに音声信号を供給している。すなわち、入力音声信号は、正面範囲１８０゜に定位させるべきものとして音源３０1、音源３０2からの２チャンネルを考慮した。
【００２１】
先ず、入力端子２０1及び２０2より入力されたディジタル音声信号には、それぞれ初期状態において前方のある方向に定位するのに相当する音源３０1、音源３０2から両耳への頭部伝達関数に相当するインパルスレスポンスがディジタルフィルタ２１L、２１R、２２L及び２２Rによって畳み込まれ、Ｌ側出力が加算器２３Lで加算されて時間差付加回路２４L及びレベル差付加回路２５Lを介して出力端子２６Lから出力され、Ｒ側出力が加算器２３Rで加算されて時間差付加回路２４R及びレベル差付加回路２５Rを介して出力端子２６Rから出力される。
【００２２】
ここで、音源３０1、音源３０2から聴取者Ｍの両耳ｌ，ｒへの頭部伝達関数は、図３に示すようなＨLl、ＨLr、ＨRl、ＨRrが考慮される。そして、Ｌチャンネル、Ｒチャンネルの各々のスピーカから出力される信号をＳL、ＳRとすると、左耳ｌにはＳLＨLl＋ＳRＨRlが、右耳ｒにはＳRＨRr＋ＳLＨLrが供給されるように、インパルスレスポンスがディジタルフィルタ２１L、２１R、２２L及び２２Rによって畳み込まれた音声が発音体８L及び８Rによって頭部装着部１５装着者の両耳に与えられる。
【００２３】
なお、聴取者Ｍが頭部を例えば左側に動かすと、左耳ｌは音源３０1及び３０2から遠ざかることになり、右耳ｒは音源３０1及び３０2に近づくことになる。このため、左耳ｌと右耳ｒに達する音声入力信号には時間差及びレベル差が生ずることになる。この時間差及びレベル差を生じさせるのが上記一対の時間差付加回路２４L及び２４Rと、上記一対のレベル差付加回路２５L及び２５Rである。
【００２４】
Ｌ側用の時間差付加回路２４Lで付加される遅延時間は、図４の遅延時間特性の一点鎖線の特性カーブＴbで示され、Ｒ側用の時間差付加回路２４Rで付加される遅延時間は、図４の遅延時間特性の破線の特性カーブＴaで示される。特性カーブＴa及びＴbは聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。これにより聴取者Ｍが前方１８０゜の範囲内に置かれた音源からの音を頭を左右に回転させながら聞いた場合と同様の音源から両耳までの時間変化が入力端子２０1及び２０2から入力された信号に付加されることになる。
【００２５】
また、Ｌ側用のレベル差付加回路２５Lで付加されるレベル差は、図５の相対レベル特性の破線の特性カーブＬaで示され、Ｒ側用のレベル差付加回路２５Rで付加されるレベル差は、図５の相対レベル特性の一点鎖線の特性カーブＬbで示される。この図５は、頭の回転位置が０゜の状態からの相対レベルを示している。特性カーブＬa及びＬbは聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。すなわち、レベル差付加回路２５Lでは特性カーブＬaのレベル変化、レベル差付加回路２５Rでは特性カーブＬbのレベル変化が付加されるので前方の音源を実際に聞くのと同様の音量変化が入力端子２０1及び２０2からの入力信号に付加される。
【００２６】
以上より、音声再生部２により再生される音声信号は実際の音を頭を動かしながら聞く場合と同様の変化をし、このため試聴環境に対して頭外の一定方向に前方を含めて定位することになる。また、上記２チャンネル以上の複数の音声信号を用いれば、任意の位置に音像が定位する立体的な音場再生が可能となる。
【００２７】
次に、映像信号処理部１２は、図６に示すように、入力端子３１を介して受け取った映像入力信号をＡ／Ｄ変換器３２でディジタル信号に符号化して画像メモリ３３上に格納し、映像の表示位置を頭部の回転角度に応じて変化するように処理する。
【００２８】
画像メモリ３３に符号化映像信号である映像データを格納する格納アドレスは、マイクロプロセッサ１７で計算された回転運動角度に応じてメモリコントローラ３７により決定される。このため、画像メモリ３３は、上記映像データを表示エリアの一部として取り込む。映像データが取り込まれない画像メモリ３３には黒色或いは他の一定色を表示するデータが保存される。Ｄ／Ａ変換器３４は画像メモリ３３全体が表示されるような映像信号として上記映像データをアナログ信号に変換する。この映像信号は映像出力増幅器３５を介して出力端子３６から図１に示す映像表示駆動部１３L及び１３Rに供給される。そして、映像表示部１４L及び１４Rに表示される。このため、画像メモリ３３上での映像データ配置位置が頭部の回転角度に応じて変化し、両眼の前方近傍に配置された映像表示部１４L及び１４R上には視聴環境の一定方向に固定されたような映像が表示される。
【００２９】
ここで、映像表示部１４L及び１４R上の表示エリアは、図７に示すような構成となっている。すなわち、表示エリアは６４０×４８０ドットであり、各ドットに画像メモリ３３の独立した記憶エリアが対応している。ここで、各ドットに対して確保する記憶容量は、ディジタル信号として扱う場合のビット長、カラー表示有り無し等で決まってくる。
【００３０】
上記表示エリアの中で、映像データをさらに３２０×２００ドットの解像度で限定表示する場合を考慮する。先ず、上記表示エリアの左上隅の座標を（０、０）とし、上記限定表示エリアの初期状態での左上隅の座標を（ｘ1，ｙ1）とする。頭部が左に回転した場合、映像が視聴環境の一定位置にとどまるためには映像位置は上記限定表示エリア上で右方向つまり（ｘ2、ｙ1）「ただし、ｘ2＞ｘ1」に移動しなければならない。ここで、移動量ｘ2−ｘ1は頭部の回転角度θ（rad）と頭部回転中心から表示装置までの距離ｒで決定し、θが小さいときはおよそｘ2−ｘ1＝ｒθで計算される。これを実現するためメモリコントローラ３７は映像データを表示エリア上の座標が（ｘ2、ｙ1）、（ｘ2、ｙ1＋２００）、（ｘ2＋３２０、ｙ1＋３２０）、（ｘ2＋３２０、ｙ1）で囲まれる領域に対応する画像メモリ３３上に格納位置を移動させる。
【００３１】
以上、本発明の第１の実施の形態である頭部装着型映像音声再生装置１は、マイクロプロセッサ１７で計算された頭部の回転運動角度に応じて音声信号処理部５と映像信号処理部１２とで音像定位位置及び映像位置を頭外及び視聴環境の一定方向にとどまるよう信号処理するので、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、表示装置上に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな映像音声再生が可能となる。
【００３２】
なお、この頭部装着型映像音声再生装置１では、音声再生部２の音声信号処理部５を図８、図１０及び図１２のように構成してもよい。
【００３３】
図８に示す音声信号処理部５は、図２に示した一対のレベル差付加回路２５L及び２５Rの代わりに一対の周波数特性制御回路２７L及び２７Rを一対の時間差付加回路２４L及び２４Rの出力側に接続してなる。
【００３４】
ここで、一対の周波数特性制御回路２７L及び２７Rは、図９に示すような周波数特性を頭部装着部装着者の頭部の回転角度に応じて上記入力信号に与えて、周波数特性を制御するものである。頭部を正面前方に固定したまま（０゜と図示する。）であれば実線で示すように周波数ｆが高くなってもレスポンスは一定であるが、例えば右側に９０゜回転した場合と左側に９０゜回転した場合では、周波数ｆが高くなるに従い両耳に達する音声信号のレポンス差が生じる。頭部を右側に９０゜回転した場合（＋９０゜と図示する。）一点鎖線で示すように、左耳に達する音声信号は右耳に達する音声信号に比べて周波数ｆが高くなるほどレスポンスは上昇する。これに対して、頭部を左側に９０゜回転した場合（−９０゜と図示する。）、破線で示すように、周波数ｆが高くなるほどレスポンスは減少する。両者は頭部を正面方向に固定した際の実線で示すレスポンス特性を軸にして上下対称となっている。
【００３５】
したがって、図８に示した音声信号処理部５は、前方２チャンネルの２個の音源からの入力信号に、一対の時間差付加回路２４L及び２４Rで頭部回転角度に応じて付加する時間差の増減方向を逆にして与え、一対の周波数特性制御回路２７L及び２７Rで頭部回転角度に応じて制御する周波数特性の変化方向を逆にするで、前方音声信号に対して実際の音源を音を頭を動かしながら聞くのと同等の両耳間の時間差、及び周波数特性を実現でき、あらゆる方向に良好な頭外音像定位を実現できる。
【００３６】
次に、図１０に示す音声信号処理部５は、図２に示した一対の時間差付加回路２４L及び２４Rの代わりに一対の位相差付加回路２８L及び２８Rを一対のレベル差付加回路２５L及び２５Rの入力側に接続してなる。
【００３７】
ここで、一対の位相差付加回路２８L及び２８Rは、図１１に示すような位相変化特性に応じた位相差を装着者の頭部の回転角度に応じて上記入力信号に与える。頭部を正面前方に固定したままで（０゜と図示する。）であれば実線で示すような位相差θとなるが、例えば頭部が右側に９０゜回転した場合と左側に９０゜回転した場合では、位相差が左右にシフトする。頭部を右側に９０゜回転した場合（＋９０゜と図示する。）、一点鎖線で示すように位相は進む。これに対して、頭部を左側に９０゜回転した場合（−９０゜と図示する。）、破線で示すように位相は遅れる。
【００３８】
したがって、図１０に示した音声信号処理部５を用いた頭部装着型映像音声再生装置１によれば、前方２チャンネルの音源からの入力信号に、一対の位相差付加回路２８L及び２８Rで頭部回転角度に応じて付加する位相差の増減方向を逆にして与え、一対のレベル差付加回路２５L及び２５Rで頭部回転角度に応じて付加するレベル差の増減方向を逆にして与えるので、前方音声信号に対して実際の音源を音を頭を動かしながら聞くのと同等の両耳間の位相差特性、及びレベル差特性を再現できるので、あらゆる方向に良好な頭外音像定位を実現できる。
【００３９】
さらに次に、図１２に示す音声信号処理部５は、図８に示した一対の時間差付加回路２４L及び２４Rの代わりに一対の位相差付加回路２８L及び２８Rを一対の周波数特性制御回路２７L及び２７Rの入力側に接続してなる。
【００４０】
ここで、一対の位相差付加回路２８L及び２８Rは、図１１に示すような位相変化特性に応じた位相差を頭部装着型映像音声再生装置１装着者の回転角度に応じて上記入力信号に与える。
【００４１】
また、一対の周波数特性制御回路２７L及び２７Rは、図９に示すような周波数特性を上記装置１装着者の頭部の回転角度に応じて上記入力信号に与えて、周波数特性を制御するものである。
【００４２】
したがって、図１２に示した音声信号処理部５を用いた頭部装着型映像音声再生装置１によれば、前方２チャンネルの２個の音源からの入力信号に、一対の位相差付加回路２８L及び２８ R で頭部回転角度に応じて付加する位相差の増減方向を逆にして与え、一対の周波数特性制御回路２７L及び２７ R で頭部回転角度に応じて制御する周波数特性の変化方向を逆にするので、前方音声信号に対しても、後方音声信号に対しても実際の音源を音を頭を動かしながら聞くのと同等の両耳間の位相差、及び周波数特性を実現できるので、あらゆる方向に良好な頭外音像定位を実現できる。
【００４３】
ここで、図１に示した回転角速度センサ１６について説明しておく。回転角速度センサ１６は、頭部装着部１５を装着している装着者の頭部の回転角速度を検出する。特に、第１の実施の形態となる頭部装着型映像音声再生装置では、回転角速度センサ１６として図１３に示すような圧電振動ジャイロ装置８０を用いている。この圧電振動ジャイロ装置８０は、運動体の揺動運動を圧電素子により検出する装置である。図１３において、正方形断面の振動用四角柱からなる振動用圧電素子８１は種々の振動体から構成される。この振動用圧電素子８１の対向する２面には、検出用圧電素子８２及び８３、駆動用圧電素子８４及び８５が取り付けられている。
【００４４】
駆動用圧電素子８４及び８５には駆動用信号源８６が接続され、交番信号を供給するように構成されている。検出用圧電素子８２及び８３の出力は、差動増幅器８７に供給される。この差動増幅器８７の差動出力と駆動用信号源８６の出力とが乗算器又は位相検波器８８に供給され、乗算又は位相検波される。乗算器又は位相検波器８８の出力は、図１に示すマイクロプロセッサ１７に供給される。
【００４５】
このように構成された圧電ジャイロ装置８０は、以下のように動作する。先ず、駆動用圧電素子８４及び８５に振動用圧電素子８１の固有振動周波数の交番信号を印加すると、振動用圧電素子８１は図示の振動波形に基づいて強制振動される。この振動は一定のモードで共振を発生させるものである。
【００４６】
この場合、外力が加わらない状態では、検出用圧電素子８２及び８３の出力はないが、振動用圧電素子８１に対して軸方向に角速度ωの回転力が加わると、コリオリの力により、搬送波としての強制振動用の交番信号が振幅変調され、検出信号となって検出される。この場合の振幅の大きさは、軸に及ぼされる回転の角速度ωに比例し、回転方向は駆動用信号に対する検出信号の位相ずれ方向に対応する。
【００４７】
従って、振幅変調された検出信号と、駆動用信号との積をとり、その信号を低域フィルタとしての帯域制限フィルタで搬送波成分を除去し、検出信号とすることが行われている。
【００４８】
また、回転角速度センサ１６は、図１４に示すようなアナログ角度検出器９０でもよい。このアナログ角度検出器９０は、頭部装着部１５に設けられ、頭部の動きを検出する。アナログ角度検出器９０では、頭部装着部１５の中央部にＣＤＳやフォトダイオード等の光の強さにより抵抗値が変化する受光素子からなる受光器９１を取り付けている。この受光器９１と対向して電球や発光ダイオード等の発光器９３が設けられていて、この発光器９３により一定の強さの光を受光器９１に向けて照射するようになっている。
【００４９】
その際、この発光器９３の投射光の通路間に回転角度のより投射光の透過度が変化するような可動シャッター９２が設けられており、この可動シャッター９２は磁針９４と共に回転するようになっている。従って、受光器９１に一定の電流を流すとき、受光器９１の受光素子両端の電圧は磁針９４の示す南北方向を基準として、頭部装着部１５装着者の方向を含む頭の動きを示すアナログ出力が取り出される。
【００５０】
また、回転角速度センサ１６は、図１５に示すようなディジタル角度検出器９５でもよい。このディジタル角度検出器９５は、頭部装着部１５に設けられ、頭部の動きを検出する。このディジタル角度検出器９５では、頭部装着部１５の中央部にロータリーエンコーダ９６が、その入力軸が垂直となるように設けられていると共に、その入力軸に、磁針９７が設けられている。従って、ロータリーエンコーダ９６からは、磁針９７の示す南北方向を基準として、頭部装着部１５装着者の方向を含む頭の動きを示す出力が取り出される。
【００５１】
また、回転角速度センサ１６は、前方或いは周囲に置かれた発光器と頭部装着部１５に設けられた少なくとも２個の光強度センサの出力比により回転角を算出するようにしてもよい。
【００５２】
また、この回転角速度センサ１６は、頭部装着部１５上の離れた２カ所に取り付けられたマイクロホンで、前方或いは周囲に置かれた超音波発振器とから断続的に発生されるバースト信号を、読み取りそれぞれの受信信号の時間差から回転角度を算出するようにしてもよい。
【００５３】
次に、第２の実施の形態について説明する。この第２の実施の形態は、図１６に示すように、音像の頭外定位を実現して入力音声を再生する音声再生部４２と、映像の一定方向への固定を実現して入力映像を再生する映像再生部４８と、頭部の回転運動を検出する回転角速度センサ４５とを頭部装着部４７に一体的に備えて成り、映像再生部４８に表示する映像を両眼視差を利用した立体映像とした頭部装着型映像音声再生装置４０である。
【００５４】
音声再生部４２の構成は、第１の実施の形態の音声再生部１０と同様である。すなわち、音声信号処理部５を図２、図８、図１０又は図１２のように構成し、入力端子４３を介して入力された入力音声信号に上述した音声信号処理を施し、Ｄ／Ａ変換及び増幅器を介して発音体４４L及び４４Rに供給する。
【００５５】
映像再生部４８には、図１７に示すように同一被写体５５を両眼カメラ（左用）５６L及び両眼カメラ（右用）５６Rにより撮影して得られた両眼視差の生じた左目用の映像信号及び右目用の映像信号が入力端子４９L及び４９Rを介して入力される。左目用の映像信号は、左目用の映像信号処理部５０Lに供給され、ここで回転角速度センサ４５での検出結果に応じて視聴環境の一定方向に固定されるように処理される。また、右目用の映像信号は、右目用の映像信号処理部５０Rに供給され、ここで上記検出結果に応じて視聴環境の一定方向に固定されるように処理される。すなわち、映像信号処理部５０L及び映像信号処理部５０Rは、頭部の回転角度に応じて上記左目用の映像信号及び上記右目用の映像信号の表示位置が映像表示部５２L及び映像表示部５２Rで変化するように処理する。頭部が右側に回転しているときは上記左目用の映像信号及び上記右目用の映像信号のフレーム合成位置は映像表示部５２L及び映像表示部５２R内で左側に移動し、逆に頭部が左側に回転しているときは上記フレーム合成位置は映像表示部５２L及び映像表示部５２R内で右側に移動する。このため映像は、視聴環境内で一定方向にとどまっているように見える。又、映像信号は上述したように両眼視差を写すので遠近感のある立体的な映像として知覚される。
【００５６】
なお、映像信号処理部５０L及び５０Rは、上記図６に示したと同様の構成である。また、映像表示部５２L及び５２Rの表示エリアは、上記図７に示したと同様の構成である。ここでは説明を省略する。
【００５７】
以上、本発明の第２の実施の形態である頭部装着型映像音声再生装置４０は、マイクロプロセッサ４６で計算された頭部の回転運動角度に応じて音声信号処理部と映像信号処理部５０L及び５０Rとで音像定位位置及び両眼視差の生じている映像位置を頭外及び視聴環境の一定方向にとどまるように信号処理するので、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、ディスプレイ上に立体的に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに立体映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな立体映像音声再生が可能となる。
【００５８】
次に、第３の実施の形態について説明する。この第３の実施の形態は、上記図１に示した頭部装着型映像音声再生装置１と同様の構成となるが、映像信号処理部１２が映像信号の一部を選択的に出力するような映像信号処理を行う。
【００５９】
つまり、回転角速度センサ１６が検出した回転角速度からマイクロプロセッサ１７が計算した頭部回転角度に応じて、映像表示部１４L及び１４Rに表示される内容があたかも視聴環境の一定方向に固定しているかのように変化する。
【００６０】
このような映像エリアの選択の様子を図１８を参照しながら説明する。初期状態で映像信号処理部１２が映像表示部１４L及び１４Rに映像信号内容全エリア５７の内、表示エリア５８を出力していた後、視聴者の頭部が右に回転すると映像信号処理部１２は連続的にその回転角度に見合った映像である表示エリア５９を映像表示部１４L及び１５Rに出力する。逆に頭部がこの状態から左側に回転した場合は表示エリア５８の方向に向かう。
【００６１】
映像信号処理部１２は、上記図６に示したと同様の構成となるが、上記第１の実施の形態が映像データを画像メモリ３３上に展開する方法をそのメモリ３３の一部としたのに対して、映像データを画像メモリ３３の全領域に格納し、実際の表示エリアをその中の一部を切り出して表示している。
【００６２】
音声再生部２の構成及び動作は、図１に示した音声再生部２と同様であるのでここでは説明を省略する。
【００６３】
このように、映像信号処理部１２は、表示内容を視聴環境内で一定方向にとどめておくので、この第３の実施の形態は映像と音像方向を一致した映像音声再生を可能とする。
【００６４】
次に、第４の実施の形態について説明する。この第４の実施の形態は、図１９に示すように、頭部装着部６５とは別に設けた映像音声信号生成部６１に頭部装着部６５装着者の位置情報を入力し、該位置情報に応じて映像信号及び音声信号を映像音声環境が固定するように出力する頭部装着型映像音声再生装置６０である。
【００６５】
頭部装着部６５に設けられた回転角速度センサ６６により検出された頭部回転角度はマイクロプロセッサ６７に入力されここで位置情報制御信号に変換される。この位置情報制御信号は、位置情報出力端子６８を介して映像音声信号生成部６１に供給される。
【００６６】
映像音声信号生成部６１は上記位置情報制御信号に応じて頭部装着部６５装着者の位置情報を知り、映像信号及び音声信号の内容を更新する。ここで、映像音声信号生成部６１は、映像信号をコンピュータグラフィック等の手法により合成して出力すると共に、音声信号を予め大規模メモリ等に記憶し、該大規模メモリから選択的に抽出して出力する。このため、映像音声信号生成部６１は、上記頭部装着部６５装着者の頭部位置に応じて更新した上記コンピュータグラフィック等の手法により合成した上記映像信号を映像入力端子６２を介して映像表示駆動部６３L及び６３Rに供給する。また、映像音声信号生成部６１は、上記頭部装着部６５装着者の頭部位置に応じて更新した上記大規模メモリから選択的に抽出した上記音声信号を音声入力端子６９を介して音声再生部７０に供給する。
【００６７】
音声再生部７０は、上記音声信号に対して図１の音声再生部１が行ったと同様の音声信号処理を施し、頭部装着部６５にヘッドホンを構成するように配設されている発音体７１L及び７１Rに供給する。したがって、音声信号は視聴者の頭部の動きに応じて音像が頭外の一定位置に固定されるように処理される。また、複数の音声信号を用いることにより任意の位置に複数の音像が定位する立体的な音場再生が可能となる。
【００６８】
一方、映像入力端子６２を介して上記映像信号が入力された映像表示駆動部６３L及び６３Rは、上記映像信号を上記頭部装着部６５にあって両目の近傍の位置となるように配設された映像表示部６４L及び６４Rに供給する。映像表示部６４L及び６４Rは、上記映像信号をその内容自体が視聴環境内で固定されるように表示する。すなわち、頭部が右側に回転しているときは映像は右側にパンするような映像内容となり、逆に頭部が左側に回転しているときは映像は左側にパンして移動する内容になる。このため、表示内容は視聴環境内で一定方向にとどまっているように見える。
【００６９】
このように、第４の実施の形態となる頭部装着型映像音声再生装置６０は、映像及び音場が親近感も含めて映像上の発音源に実際の音像が定位するように構成できるので極めてリアリティーの高い映像音声再生が可能となる。
【００７０】
次に、第５の実施の形態について説明する。この第５の実施の形態は、上記第３の実施の形態と同様に上記図１に示した頭部装着型映像音声再生装置１のような構成となり、映像信号処理部１２が映像信号の一部を選択的に出力するような映像信号処理を行うと共に、表示エリアが映像信号内容の限界に達した場合は映像及び音像定位位置を頭の動きと同期させ視聴環境に対して回転させる。
【００７１】
すなわち、初期状態で映像信号処理部１２が映像表示部１４L及び１４Rに映像信号内容全エリア５７の内、表示エリア５８を出力していた後、視聴者の頭部が右に回転すると映像信号処理部１２は連続的にその回転角度に見合った映像である表示エリア５９を映像表示部１４L及び１５Rに出力する。逆に頭部がこの状態から左側に回転した場合は表示エリア５８の方向に向かう。
【００７２】
ここで、図２０に示すように、表示エリア５８が映像信号内容全エリア５７の限界に達した場合は、その時点で映像及び音像定位位置は頭部の動きと同期して視聴環境に対して回転すなわち頭部に対して固定して動き表示エリア７２（７３）となり、この状態で頭部が逆方向に回転した場合はまた、映像信号内容全エリア５７が許す限り映像、音像共に視聴環境に対して固定される。
【００７３】
このように、視聴者が通常既存の映画等のソフトをこの第５の実施の形態を装着して鑑賞するような場合、すべての範囲内で映像及び音声が固定される必要はなく、例えば図２１に示すような視聴者Ｍの前方Ｆの一定範囲内Ｗで上記映像位置の固定を実現すれば実用上充分な範囲で映像位置と音像位置が固定されることになり、この範囲内Ｗで表示内容は視聴環境内で一定方向にとどまっているように見え、映像と音像方向が一致した映像音声再生が可能となる。また、音声信号に対する頭部の動きによる両耳間の時間差及びレベル差も実音源を聞くのと同様に付加されるので音像は頭外のしかも前方向も含めた状態で定位が可能となる。
【００７４】
なお、上記音声入力信号は、ワイヤレスで頭部装着部上の上記音声再生手段に供給されてもよい。また、上記映像入力信号は、ワイヤレスで頭部装着部上の上記映像再生手段に供給されてもよい。
【００７５】
【発明の効果】
本発明に係る映像音声再生装置は、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させることができる。また上記音声再生手段の音声信号処理部が再生音像を頭外に定位させ、該音像方向を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きと同期させて移動させるので、音像を頭外、特に従来定位が難しいとされた前方方向に対して定位可能とする。また映像位置が一定位置にとまるので音像定位位置と映像位置が重なり両者の不一致による違和感を解消できる。また、映像及び音像定位位置を頭の動きと同期させ視聴環境に対して移動することができる。さらに映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな映像音声再生が可能となる。さらにまた、音像頭外定位処理を簡単な構成の信号処理で実現できるので、可搬性にすぐれた廉価な装置を小型に構成できる。
【００７６】
また、入力させる映像信号に両眼視差をもたせてあれば、遠近間のある立体的な映像を再生することができ、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、ディスプレイ上に立体的に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに立体映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな立体映像音声再生が可能となる。
【００７７】
また、映像再生手段は、映像信号の一部を選択的に表示できるので、頭部の一定範囲の動きに対して視聴者の見ている映像量を減らすことなく音像定位位置と映像位置の視聴環境に対する固定化を実現できる。
【００７８】
また、この発明によれば例えばコンピュータグラフィックのようにリアルタイムで映像を合成できるシステムに応用し映像内容自体の内容を頭部の回転運動に応じて更新して表示できるようにしたので頭部の一定範囲の動きに対して視聴者の見ている映像量を減らすことなく音像定位位置と映像質の視聴環境に対する固定化を実現できる。
【００７９】
また、音声再生手段、映像再生手段は、頭部の動きに応じて正面方向を中心としてある範囲内でのみ音像方向を視聴環境の一定方向に固定させ、その範囲を越えた場合は頭部の動きに応じて音声方向を移動させるようにできるので、頭の動きに応じて表示内容が変化することの無い映像を見る場合にも音像方向を視聴環境の一定方向に固定する範囲の限定を行っているので、映像方向と音像方向が大きくずれることがなく、かつ動的な音声信号処理による音像の前方定位を可能とし例えば映画鑑賞のような広い映像表示範囲を必要とせず通常動きの少ない状態で鑑賞する映像音声ソースでも充分なリアリティと臨場感を持った映像音声再生を容易とする。
【００８０】
また、本発明では頭部装着部に回転検出手段及び音声再生手段を備え、頭部の動きを検出し、正面方向を中心としてある範囲内でのみ映像方向と音像方向とが視聴環境の一定方向に固定しているかのように変化させ、その範囲を越えた場合は頭部の動きに応じて映像方向、音像方向共に移動するので、頭部の動きに応じて表示内容の変化する映像の持つ情報容量が限られている場合にも頭部の回転運動範囲を限定して場合には映像方向と音像方向を視聴環境の一定方向に固定することができる。また、動的な音声信号処理による音像の前方定位を可能とし、例えば映画鑑賞のような広い映像表示範囲を必要とせず通常の動きの少なく状態で鑑賞するシステムには充分なリアリティと臨場感ある映像音声再生を容易に構成できる。
【００８１】
また、音声再生手段を頭部装着部に内蔵することにより、バイノーラル録音等の特殊な録音によらないで従来の普通の音声信号ソースを持つ映像音声信号をそのまま入力して頭外定位を持った臨場感ある音声再生が可能となり、可搬性にすぐれた仮想現実システムを小型に構成できる。
【００８２】
また、回転角検出手段のかわりに、または同時に位置検出手段を頭部装着部に設けることにより、装着者が回転した場合の制御だけでなく、その視聴環境において位置を移動した場合の映像、音像制御も可能となりよりリアリティのある仮想現実システムを小型に構成できる。
【図面の簡単な説明】
【図１】本発明に係る映像音声再生装置の第１の実施の形態の概略構成を示すブロック図である。
【図２】上記第１の実施の形態に用いられる音声信号処理部の詳細な構成を示すブロック図である。
【図３】上記第１の実施の形態に用いられる音声信号処理部が想定している聴取環境を示す模式図である。
【図４】上記第１の実施の形態に用いられる音声信号処理部の時間差付加回路で付加される遅延時間の特性図である。
【図５】上記第１の実施の形態に用いられる音声信号処理部のレベル差付加回路で付加されるレベル差の特性図である。
【図６】上記第１の実施の形態に用いられる映像信号処理部の詳細な構成を示すブロック図である。
【図７】上記第１の実施の形態に用いられる映像再生部の表示エリアの模式図である。
【図８】 上記音声信号処理部が時間差付加回路と周波数特性制御回路を用いた場合のブロック図である。
【図９】 上記周波数特性制御回路で行われる周波数制御の特性図である。
【図１０】上記音声信号処理部が位相差付加回路とレベル差付加回路を用いた場合のブロック図である。
【図１１】上記位相差付加回路で付加される位相差の変化特性図である。
【図１２】上記音声信号処理部が位相差付加回路と周波数特性制御回路を用いた場合のブロック図である。
【図１３】上記第１の実施の形態で使われる回転角速度センサに適用できる圧伝振動ジャイロ装置の概略構成図である。
【図１４】上記第１の実施の形態で使われる回転角速度センサに適用できるアナログ角度検出器の概略構成図である。
【図１５】上記第１の実施の形態で使われる回転角速度センサに適用できるディジタルグ角度検出器の概略構成図である。
【図１６】本発明に係る映像音声再生装置の第２の実施の形態の概略構成を示すブロック図である。
【図１７】上記第２の実施の形態に入力される両眼視差の生じた映像信号を説明するための模式図である。
【図１８】上記第３の実施の形態の映像再生部の動作を説明するための模式図である。
【図１９】本発明に係る映像音声再生装置の第４の実施の形態を説明するための模式図である。
【図２０】本発明に係る映像音声再生装置の第５の実施の形態の映像再生部の動作を説明するための模式図である。
【図２１】上記第５の実施の形態の動作を説明するための模式図である。
【図２２】従来の頭部装着型映像音声再生装置の模式図である。
【図２３】従来の映像音声再生装置のブロック図である。
【符号の説明】
１ 頭部装着型映像音声再生装置
２ 音声再生部
５ 音声信号処理部
１０ 映像再生部
１２ 映像信号処理部
１４ 映像表示部
１５ 頭部装着部
１６ 回転角速度センサ
１７ マイクロプロセッサ
【発明の属する技術分野】
本発明は、頭部に装着することにより映像及び音声を視聴できる映像音声再生装置に関する。
【０００２】
【従来の技術】
従来、映像音声再生システムにおける現実感の再現は、大画面映像、マルチスピーカ再生による系の大型化が主であったが、近時、図２２に示すように、小型化された頭部装着型の映像表示部１０１とそれに付加する音声再生部１０２によるパーソナル化、小型化が図られた映像音声再生装置１００が用いられるようになった。
【０００３】
映像表示部１０１は、図２３に示すように、映像入力端子１０３から映像入力信号が供給された駆動回路１０４により駆動されて映像を表示する。
【０００４】
音声再生部１０２は、同じく図に示すように、音声入力端子１０５から入力された音声入力信号を増幅器１０６Ｌ及び１０６Ｒで増幅して、左耳用発音体１０７Ｌ及び右耳用発音体１０７Ｒに供給し、装着者に音声を与えている。
【０００５】
ここで、音声再生部１０２は、音像を装着者の頭内に定位させているので、上記映像表示部１０１が映し出す映像と一致することなく現実感の再現という意味では大変不自然であった。
【０００６】
そこで、体の動きに応じて上記映像及び音声をリアルタイムで更新し、更に音声においては現実に近い音場感を例えばディジタル信号処理ユニットにより畳み込んで現実に近い視聴環境を再現する試みが行われている。
【０００７】
【発明が解決しようとする課題】
ところで、上述したような試みでは、特に音声処理において莫大な数の信号処理を必要とし、それ自体で頭部に装着できる大きさにはなり得ず、かつ動き検出手段も高価なものを使用しなければならず実用的ではなかった。
【０００８】
また、仮に、音像の頭外定位を実現して音声において現実に近い音場感を得ることができたとしても、映像系が従来通り頭部の動きに追従して視聴環境内で移動した場合、音像位置と映像位置の間には、大きなずれが発生し、不自然な映像音声再生となってしまう。
【０００９】
また、特殊なソースを用いて映像内容を頭部の動きに応じて更新する場合でも映像系、音声系ともに莫大な装置を必要とし、また高価なシステムになってしまう。
【００１０】
本発明に係る映像音声再生装置は、上記実情に鑑みてなされたものであり、特殊なソースを不要としながらも安価に音像位置と映像位置を一致させることのできる映像音声再生装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る映像音声再生装置は、上記課題を解決するために、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させる。また上記音声再生手段の音声信号処理部が再生音像を頭外に定位させ、該音像方向を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きと同期させて移動させる。
【００１２】
また、本発明に係る映像音声再生装置では、上記課題を解決するために、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示し、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させる。また、音声再生手段の音声信号処理部は複数の音声入力信号に２系統のインパルス応答を畳み込む二つのディジタルフィルタの各出力に上記頭部回転運動に応じた頭部回転角度に基づいて時間差又は位相差、或いはレベル差又は周波数特性を付加し、かつ頭部回転運動が一定範囲内にあるときには音像方向を試聴環境の一定方向に固定させ、さらに頭部回転運動が所定範囲範囲を超えたときは、音像方向を頭部の動きと同期させて移動させる。
【００１３】
また、本発明に係る映像音声再生装置は、上記課題を解決するために、頭部装着部上を除いた場所に配設された映像音声信号生成手段が回転角検出手段で検出された頭部の回転運動に応じた頭部位置情報を基に、映像入力信号の一部を選択的に表示させて、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させ、さらに、再生音像を頭外に定位させ、該音像方向を視聴環境の一方向に固定させるような信号処理を行わせ、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きに同期させて移動させる。
【００１４】
【発明の実施の形態】
以下、本発明に係る映像音声再生装置のいくつかの実施の形態について図面を参照しながら説明する。
【００１５】
先ず、第１の実施の形態は、音像の頭外定位を実現して入力音声を再生する音声再生部２と、映像の一定方向への固定を実現して入力映像を再生する映像再生部１０と、頭部の回転運動を検出する回転角速度センサ１６とを例えばヘッドバンド又はヘルメット状の頭部装着部１５に一体的に備えて成る頭部装着型映像音声再生装置１である。
【００１６】
音声再生部２は、回転角速度センサ１６での検出結果に応じて上記入力音声を頭部装着部１５装着者の頭外に音像定位させ、かつ音像方向の頭部回転運動への追随を防いで該音像方向を視聴環境の一定方向に固定させる演算を行う音声信号処理部５を備える。音声信号入力端子３から入力された音声信号は、Ａ／Ｄ変換器４でディジタル信号に変換されてからこの音声信号処理部５に供給される。音声信号処理部５からの出力結果は、左右それぞれの耳用に対応したＤ／Ａ変換器６L及び６Rに出力される。このＤ／Ａ変換器６L及び６Rでアナログ信号に変換された音声信号は、ヘッドホン駆動用の左右それぞれの耳用に対応した増幅器７L及び７Rを介して左右の耳の位置に配設される左耳用発音体８Lと右耳用発音体８Ｒに供給される。
【００１７】
映像再生部１０は、回転角速度センサ１６での検出結果に応じて上記入力映像を頭部装着部１５装着者の視聴環境の一定方向に固定させる映像信号処理部１２を備える。映像信号入力端子１１から入力された映像信号は、この映像信号処理部１２に供給される。この映像信号処理部１２で処理された映像信号は、映像表示駆動部１３L及び映像表示駆動部１３Rを介して左右両眼の前方近傍に配置される左眼用映像表示部１４Lと右眼用映像表示部１４Rに供給される。
【００１８】
回転角速度センサ１６は、頭部装着部１５装着者の頭部の回転角速度を検出し、該検出結果をマイクロプロセッサ１７に供給する。マイクロプロセッサ１７は、頭部装着部１５装着者の正面方向からの回転運動角度を計算し、該計算結果を音声信号処理部５及び映像信号処理部１２に供給する。
【００１９】
ここで、音声信号処理部５は、図２に示すように、入力端子２０1、２０2を介して受け取った２チャンネルの入力音声信号に、実際の２個の音源から頭部装着部１５装着者の両耳に至る頭部伝達関数を使ったインパルス応答を畳み込み演算する４個のディジタルフィルタ２１L、２１R、２２L及び２２Rと、この２チャンネルのうちＬ、Ｒ極性の同じ出力同士を加算する一対の加算器２３L及び２３Rと、この一対の加算器２３L及び２３Rに接続される一対の時間差付加回路２４L及び２４Rと、この一対の時間差付加回路２４L及び２４Rに接続される一対のレベル差付加回路２５L及び２５Rとを備え、上記回転角速度センサ１６及びマイクロプロセッサ１７を介して得られた回転運動角度に応じて上記一対の時間差付加回路２４L及び２４Rと上記一対のレベル差付加回路２５L及び２５Rとで付加する時間差及びレベル差の増減方向を逆にする。
【００２０】
具体的に、この音声信号処理部５では、図３に示すような状態を想定して、発音体８L、８Rに音声信号を供給している。すなわち、入力音声信号は、正面範囲１８０゜に定位させるべきものとして音源３０1、音源３０2からの２チャンネルを考慮した。
【００２１】
先ず、入力端子２０1及び２０2より入力されたディジタル音声信号には、それぞれ初期状態において前方のある方向に定位するのに相当する音源３０1、音源３０2から両耳への頭部伝達関数に相当するインパルスレスポンスがディジタルフィルタ２１L、２１R、２２L及び２２Rによって畳み込まれ、Ｌ側出力が加算器２３Lで加算されて時間差付加回路２４L及びレベル差付加回路２５Lを介して出力端子２６Lから出力され、Ｒ側出力が加算器２３Rで加算されて時間差付加回路２４R及びレベル差付加回路２５Rを介して出力端子２６Rから出力される。
【００２２】
ここで、音源３０1、音源３０2から聴取者Ｍの両耳ｌ，ｒへの頭部伝達関数は、図３に示すようなＨLl、ＨLr、ＨRl、ＨRrが考慮される。そして、Ｌチャンネル、Ｒチャンネルの各々のスピーカから出力される信号をＳL、ＳRとすると、左耳ｌにはＳLＨLl＋ＳRＨRlが、右耳ｒにはＳRＨRr＋ＳLＨLrが供給されるように、インパルスレスポンスがディジタルフィルタ２１L、２１R、２２L及び２２Rによって畳み込まれた音声が発音体８L及び８Rによって頭部装着部１５装着者の両耳に与えられる。
【００２３】
なお、聴取者Ｍが頭部を例えば左側に動かすと、左耳ｌは音源３０1及び３０2から遠ざかることになり、右耳ｒは音源３０1及び３０2に近づくことになる。このため、左耳ｌと右耳ｒに達する音声入力信号には時間差及びレベル差が生ずることになる。この時間差及びレベル差を生じさせるのが上記一対の時間差付加回路２４L及び２４Rと、上記一対のレベル差付加回路２５L及び２５Rである。
【００２４】
Ｌ側用の時間差付加回路２４Lで付加される遅延時間は、図４の遅延時間特性の一点鎖線の特性カーブＴbで示され、Ｒ側用の時間差付加回路２４Rで付加される遅延時間は、図４の遅延時間特性の破線の特性カーブＴaで示される。特性カーブＴa及びＴbは聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。これにより聴取者Ｍが前方１８０゜の範囲内に置かれた音源からの音を頭を左右に回転させながら聞いた場合と同様の音源から両耳までの時間変化が入力端子２０1及び２０2から入力された信号に付加されることになる。
【００２５】
また、Ｌ側用のレベル差付加回路２５Lで付加されるレベル差は、図５の相対レベル特性の破線の特性カーブＬaで示され、Ｒ側用のレベル差付加回路２５Rで付加されるレベル差は、図５の相対レベル特性の一点鎖線の特性カーブＬbで示される。この図５は、頭の回転位置が０゜の状態からの相対レベルを示している。特性カーブＬa及びＬbは聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。すなわち、レベル差付加回路２５Lでは特性カーブＬaのレベル変化、レベル差付加回路２５Rでは特性カーブＬbのレベル変化が付加されるので前方の音源を実際に聞くのと同様の音量変化が入力端子２０1及び２０2からの入力信号に付加される。
【００２６】
以上より、音声再生部２により再生される音声信号は実際の音を頭を動かしながら聞く場合と同様の変化をし、このため試聴環境に対して頭外の一定方向に前方を含めて定位することになる。また、上記２チャンネル以上の複数の音声信号を用いれば、任意の位置に音像が定位する立体的な音場再生が可能となる。
【００２７】
次に、映像信号処理部１２は、図６に示すように、入力端子３１を介して受け取った映像入力信号をＡ／Ｄ変換器３２でディジタル信号に符号化して画像メモリ３３上に格納し、映像の表示位置を頭部の回転角度に応じて変化するように処理する。
【００２８】
画像メモリ３３に符号化映像信号である映像データを格納する格納アドレスは、マイクロプロセッサ１７で計算された回転運動角度に応じてメモリコントローラ３７により決定される。このため、画像メモリ３３は、上記映像データを表示エリアの一部として取り込む。映像データが取り込まれない画像メモリ３３には黒色或いは他の一定色を表示するデータが保存される。Ｄ／Ａ変換器３４は画像メモリ３３全体が表示されるような映像信号として上記映像データをアナログ信号に変換する。この映像信号は映像出力増幅器３５を介して出力端子３６から図１に示す映像表示駆動部１３L及び１３Rに供給される。そして、映像表示部１４L及び１４Rに表示される。このため、画像メモリ３３上での映像データ配置位置が頭部の回転角度に応じて変化し、両眼の前方近傍に配置された映像表示部１４L及び１４R上には視聴環境の一定方向に固定されたような映像が表示される。
【００２９】
ここで、映像表示部１４L及び１４R上の表示エリアは、図７に示すような構成となっている。すなわち、表示エリアは６４０×４８０ドットであり、各ドットに画像メモリ３３の独立した記憶エリアが対応している。ここで、各ドットに対して確保する記憶容量は、ディジタル信号として扱う場合のビット長、カラー表示有り無し等で決まってくる。
【００３０】
上記表示エリアの中で、映像データをさらに３２０×２００ドットの解像度で限定表示する場合を考慮する。先ず、上記表示エリアの左上隅の座標を（０、０）とし、上記限定表示エリアの初期状態での左上隅の座標を（ｘ1，ｙ1）とする。頭部が左に回転した場合、映像が視聴環境の一定位置にとどまるためには映像位置は上記限定表示エリア上で右方向つまり（ｘ2、ｙ1）「ただし、ｘ2＞ｘ1」に移動しなければならない。ここで、移動量ｘ2−ｘ1は頭部の回転角度θ（rad）と頭部回転中心から表示装置までの距離ｒで決定し、θが小さいときはおよそｘ2−ｘ1＝ｒθで計算される。これを実現するためメモリコントローラ３７は映像データを表示エリア上の座標が（ｘ2、ｙ1）、（ｘ2、ｙ1＋２００）、（ｘ2＋３２０、ｙ1＋３２０）、（ｘ2＋３２０、ｙ1）で囲まれる領域に対応する画像メモリ３３上に格納位置を移動させる。
【００３１】
以上、本発明の第１の実施の形態である頭部装着型映像音声再生装置１は、マイクロプロセッサ１７で計算された頭部の回転運動角度に応じて音声信号処理部５と映像信号処理部１２とで音像定位位置及び映像位置を頭外及び視聴環境の一定方向にとどまるよう信号処理するので、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、表示装置上に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな映像音声再生が可能となる。
【００３２】
なお、この頭部装着型映像音声再生装置１では、音声再生部２の音声信号処理部５を図８、図１０及び図１２のように構成してもよい。
【００３３】
図８に示す音声信号処理部５は、図２に示した一対のレベル差付加回路２５L及び２５Rの代わりに一対の周波数特性制御回路２７L及び２７Rを一対の時間差付加回路２４L及び２４Rの出力側に接続してなる。
【００３４】
ここで、一対の周波数特性制御回路２７L及び２７Rは、図９に示すような周波数特性を頭部装着部装着者の頭部の回転角度に応じて上記入力信号に与えて、周波数特性を制御するものである。頭部を正面前方に固定したまま（０゜と図示する。）であれば実線で示すように周波数ｆが高くなってもレスポンスは一定であるが、例えば右側に９０゜回転した場合と左側に９０゜回転した場合では、周波数ｆが高くなるに従い両耳に達する音声信号のレポンス差が生じる。頭部を右側に９０゜回転した場合（＋９０゜と図示する。）一点鎖線で示すように、左耳に達する音声信号は右耳に達する音声信号に比べて周波数ｆが高くなるほどレスポンスは上昇する。これに対して、頭部を左側に９０゜回転した場合（−９０゜と図示する。）、破線で示すように、周波数ｆが高くなるほどレスポンスは減少する。両者は頭部を正面方向に固定した際の実線で示すレスポンス特性を軸にして上下対称となっている。
【００３５】
したがって、図８に示した音声信号処理部５は、前方２チャンネルの２個の音源からの入力信号に、一対の時間差付加回路２４L及び２４Rで頭部回転角度に応じて付加する時間差の増減方向を逆にして与え、一対の周波数特性制御回路２７L及び２７Rで頭部回転角度に応じて制御する周波数特性の変化方向を逆にするで、前方音声信号に対して実際の音源を音を頭を動かしながら聞くのと同等の両耳間の時間差、及び周波数特性を実現でき、あらゆる方向に良好な頭外音像定位を実現できる。
【００３６】
次に、図１０に示す音声信号処理部５は、図２に示した一対の時間差付加回路２４L及び２４Rの代わりに一対の位相差付加回路２８L及び２８Rを一対のレベル差付加回路２５L及び２５Rの入力側に接続してなる。
【００３７】
ここで、一対の位相差付加回路２８L及び２８Rは、図１１に示すような位相変化特性に応じた位相差を装着者の頭部の回転角度に応じて上記入力信号に与える。頭部を正面前方に固定したままで（０゜と図示する。）であれば実線で示すような位相差θとなるが、例えば頭部が右側に９０゜回転した場合と左側に９０゜回転した場合では、位相差が左右にシフトする。頭部を右側に９０゜回転した場合（＋９０゜と図示する。）、一点鎖線で示すように位相は進む。これに対して、頭部を左側に９０゜回転した場合（−９０゜と図示する。）、破線で示すように位相は遅れる。
【００３８】
したがって、図１０に示した音声信号処理部５を用いた頭部装着型映像音声再生装置１によれば、前方２チャンネルの音源からの入力信号に、一対の位相差付加回路２８L及び２８Rで頭部回転角度に応じて付加する位相差の増減方向を逆にして与え、一対のレベル差付加回路２５L及び２５Rで頭部回転角度に応じて付加するレベル差の増減方向を逆にして与えるので、前方音声信号に対して実際の音源を音を頭を動かしながら聞くのと同等の両耳間の位相差特性、及びレベル差特性を再現できるので、あらゆる方向に良好な頭外音像定位を実現できる。
【００３９】
さらに次に、図１２に示す音声信号処理部５は、図８に示した一対の時間差付加回路２４L及び２４Rの代わりに一対の位相差付加回路２８L及び２８Rを一対の周波数特性制御回路２７L及び２７Rの入力側に接続してなる。
【００４０】
ここで、一対の位相差付加回路２８L及び２８Rは、図１１に示すような位相変化特性に応じた位相差を頭部装着型映像音声再生装置１装着者の回転角度に応じて上記入力信号に与える。
【００４１】
また、一対の周波数特性制御回路２７L及び２７Rは、図９に示すような周波数特性を上記装置１装着者の頭部の回転角度に応じて上記入力信号に与えて、周波数特性を制御するものである。
【００４２】
したがって、図１２に示した音声信号処理部５を用いた頭部装着型映像音声再生装置１によれば、前方２チャンネルの２個の音源からの入力信号に、一対の位相差付加回路２８L及び２８ R で頭部回転角度に応じて付加する位相差の増減方向を逆にして与え、一対の周波数特性制御回路２７L及び２７ R で頭部回転角度に応じて制御する周波数特性の変化方向を逆にするので、前方音声信号に対しても、後方音声信号に対しても実際の音源を音を頭を動かしながら聞くのと同等の両耳間の位相差、及び周波数特性を実現できるので、あらゆる方向に良好な頭外音像定位を実現できる。
【００４３】
ここで、図１に示した回転角速度センサ１６について説明しておく。回転角速度センサ１６は、頭部装着部１５を装着している装着者の頭部の回転角速度を検出する。特に、第１の実施の形態となる頭部装着型映像音声再生装置では、回転角速度センサ１６として図１３に示すような圧電振動ジャイロ装置８０を用いている。この圧電振動ジャイロ装置８０は、運動体の揺動運動を圧電素子により検出する装置である。図１３において、正方形断面の振動用四角柱からなる振動用圧電素子８１は種々の振動体から構成される。この振動用圧電素子８１の対向する２面には、検出用圧電素子８２及び８３、駆動用圧電素子８４及び８５が取り付けられている。
【００４４】
駆動用圧電素子８４及び８５には駆動用信号源８６が接続され、交番信号を供給するように構成されている。検出用圧電素子８２及び８３の出力は、差動増幅器８７に供給される。この差動増幅器８７の差動出力と駆動用信号源８６の出力とが乗算器又は位相検波器８８に供給され、乗算又は位相検波される。乗算器又は位相検波器８８の出力は、図１に示すマイクロプロセッサ１７に供給される。
【００４５】
このように構成された圧電ジャイロ装置８０は、以下のように動作する。先ず、駆動用圧電素子８４及び８５に振動用圧電素子８１の固有振動周波数の交番信号を印加すると、振動用圧電素子８１は図示の振動波形に基づいて強制振動される。この振動は一定のモードで共振を発生させるものである。
【００４６】
この場合、外力が加わらない状態では、検出用圧電素子８２及び８３の出力はないが、振動用圧電素子８１に対して軸方向に角速度ωの回転力が加わると、コリオリの力により、搬送波としての強制振動用の交番信号が振幅変調され、検出信号となって検出される。この場合の振幅の大きさは、軸に及ぼされる回転の角速度ωに比例し、回転方向は駆動用信号に対する検出信号の位相ずれ方向に対応する。
【００４７】
従って、振幅変調された検出信号と、駆動用信号との積をとり、その信号を低域フィルタとしての帯域制限フィルタで搬送波成分を除去し、検出信号とすることが行われている。
【００４８】
また、回転角速度センサ１６は、図１４に示すようなアナログ角度検出器９０でもよい。このアナログ角度検出器９０は、頭部装着部１５に設けられ、頭部の動きを検出する。アナログ角度検出器９０では、頭部装着部１５の中央部にＣＤＳやフォトダイオード等の光の強さにより抵抗値が変化する受光素子からなる受光器９１を取り付けている。この受光器９１と対向して電球や発光ダイオード等の発光器９３が設けられていて、この発光器９３により一定の強さの光を受光器９１に向けて照射するようになっている。
【００４９】
その際、この発光器９３の投射光の通路間に回転角度のより投射光の透過度が変化するような可動シャッター９２が設けられており、この可動シャッター９２は磁針９４と共に回転するようになっている。従って、受光器９１に一定の電流を流すとき、受光器９１の受光素子両端の電圧は磁針９４の示す南北方向を基準として、頭部装着部１５装着者の方向を含む頭の動きを示すアナログ出力が取り出される。
【００５０】
また、回転角速度センサ１６は、図１５に示すようなディジタル角度検出器９５でもよい。このディジタル角度検出器９５は、頭部装着部１５に設けられ、頭部の動きを検出する。このディジタル角度検出器９５では、頭部装着部１５の中央部にロータリーエンコーダ９６が、その入力軸が垂直となるように設けられていると共に、その入力軸に、磁針９７が設けられている。従って、ロータリーエンコーダ９６からは、磁針９７の示す南北方向を基準として、頭部装着部１５装着者の方向を含む頭の動きを示す出力が取り出される。
【００５１】
また、回転角速度センサ１６は、前方或いは周囲に置かれた発光器と頭部装着部１５に設けられた少なくとも２個の光強度センサの出力比により回転角を算出するようにしてもよい。
【００５２】
また、この回転角速度センサ１６は、頭部装着部１５上の離れた２カ所に取り付けられたマイクロホンで、前方或いは周囲に置かれた超音波発振器とから断続的に発生されるバースト信号を、読み取りそれぞれの受信信号の時間差から回転角度を算出するようにしてもよい。
【００５３】
次に、第２の実施の形態について説明する。この第２の実施の形態は、図１６に示すように、音像の頭外定位を実現して入力音声を再生する音声再生部４２と、映像の一定方向への固定を実現して入力映像を再生する映像再生部４８と、頭部の回転運動を検出する回転角速度センサ４５とを頭部装着部４７に一体的に備えて成り、映像再生部４８に表示する映像を両眼視差を利用した立体映像とした頭部装着型映像音声再生装置４０である。
【００５４】
音声再生部４２の構成は、第１の実施の形態の音声再生部１０と同様である。すなわち、音声信号処理部５を図２、図８、図１０又は図１２のように構成し、入力端子４３を介して入力された入力音声信号に上述した音声信号処理を施し、Ｄ／Ａ変換及び増幅器を介して発音体４４L及び４４Rに供給する。
【００５５】
映像再生部４８には、図１７に示すように同一被写体５５を両眼カメラ（左用）５６L及び両眼カメラ（右用）５６Rにより撮影して得られた両眼視差の生じた左目用の映像信号及び右目用の映像信号が入力端子４９L及び４９Rを介して入力される。左目用の映像信号は、左目用の映像信号処理部５０Lに供給され、ここで回転角速度センサ４５での検出結果に応じて視聴環境の一定方向に固定されるように処理される。また、右目用の映像信号は、右目用の映像信号処理部５０Rに供給され、ここで上記検出結果に応じて視聴環境の一定方向に固定されるように処理される。すなわち、映像信号処理部５０L及び映像信号処理部５０Rは、頭部の回転角度に応じて上記左目用の映像信号及び上記右目用の映像信号の表示位置が映像表示部５２L及び映像表示部５２Rで変化するように処理する。頭部が右側に回転しているときは上記左目用の映像信号及び上記右目用の映像信号のフレーム合成位置は映像表示部５２L及び映像表示部５２R内で左側に移動し、逆に頭部が左側に回転しているときは上記フレーム合成位置は映像表示部５２L及び映像表示部５２R内で右側に移動する。このため映像は、視聴環境内で一定方向にとどまっているように見える。又、映像信号は上述したように両眼視差を写すので遠近感のある立体的な映像として知覚される。
【００５６】
なお、映像信号処理部５０L及び５０Rは、上記図６に示したと同様の構成である。また、映像表示部５２L及び５２Rの表示エリアは、上記図７に示したと同様の構成である。ここでは説明を省略する。
【００５７】
以上、本発明の第２の実施の形態である頭部装着型映像音声再生装置４０は、マイクロプロセッサ４６で計算された頭部の回転運動角度に応じて音声信号処理部と映像信号処理部５０L及び５０Rとで音像定位位置及び両眼視差の生じている映像位置を頭外及び視聴環境の一定方向にとどまるように信号処理するので、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、ディスプレイ上に立体的に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに立体映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな立体映像音声再生が可能となる。
【００５８】
次に、第３の実施の形態について説明する。この第３の実施の形態は、上記図１に示した頭部装着型映像音声再生装置１と同様の構成となるが、映像信号処理部１２が映像信号の一部を選択的に出力するような映像信号処理を行う。
【００５９】
つまり、回転角速度センサ１６が検出した回転角速度からマイクロプロセッサ１７が計算した頭部回転角度に応じて、映像表示部１４L及び１４Rに表示される内容があたかも視聴環境の一定方向に固定しているかのように変化する。
【００６０】
このような映像エリアの選択の様子を図１８を参照しながら説明する。初期状態で映像信号処理部１２が映像表示部１４L及び１４Rに映像信号内容全エリア５７の内、表示エリア５８を出力していた後、視聴者の頭部が右に回転すると映像信号処理部１２は連続的にその回転角度に見合った映像である表示エリア５９を映像表示部１４L及び１５Rに出力する。逆に頭部がこの状態から左側に回転した場合は表示エリア５８の方向に向かう。
【００６１】
映像信号処理部１２は、上記図６に示したと同様の構成となるが、上記第１の実施の形態が映像データを画像メモリ３３上に展開する方法をそのメモリ３３の一部としたのに対して、映像データを画像メモリ３３の全領域に格納し、実際の表示エリアをその中の一部を切り出して表示している。
【００６２】
音声再生部２の構成及び動作は、図１に示した音声再生部２と同様であるのでここでは説明を省略する。
【００６３】
このように、映像信号処理部１２は、表示内容を視聴環境内で一定方向にとどめておくので、この第３の実施の形態は映像と音像方向を一致した映像音声再生を可能とする。
【００６４】
次に、第４の実施の形態について説明する。この第４の実施の形態は、図１９に示すように、頭部装着部６５とは別に設けた映像音声信号生成部６１に頭部装着部６５装着者の位置情報を入力し、該位置情報に応じて映像信号及び音声信号を映像音声環境が固定するように出力する頭部装着型映像音声再生装置６０である。
【００６５】
頭部装着部６５に設けられた回転角速度センサ６６により検出された頭部回転角度はマイクロプロセッサ６７に入力されここで位置情報制御信号に変換される。この位置情報制御信号は、位置情報出力端子６８を介して映像音声信号生成部６１に供給される。
【００６６】
映像音声信号生成部６１は上記位置情報制御信号に応じて頭部装着部６５装着者の位置情報を知り、映像信号及び音声信号の内容を更新する。ここで、映像音声信号生成部６１は、映像信号をコンピュータグラフィック等の手法により合成して出力すると共に、音声信号を予め大規模メモリ等に記憶し、該大規模メモリから選択的に抽出して出力する。このため、映像音声信号生成部６１は、上記頭部装着部６５装着者の頭部位置に応じて更新した上記コンピュータグラフィック等の手法により合成した上記映像信号を映像入力端子６２を介して映像表示駆動部６３L及び６３Rに供給する。また、映像音声信号生成部６１は、上記頭部装着部６５装着者の頭部位置に応じて更新した上記大規模メモリから選択的に抽出した上記音声信号を音声入力端子６９を介して音声再生部７０に供給する。
【００６７】
音声再生部７０は、上記音声信号に対して図１の音声再生部１が行ったと同様の音声信号処理を施し、頭部装着部６５にヘッドホンを構成するように配設されている発音体７１L及び７１Rに供給する。したがって、音声信号は視聴者の頭部の動きに応じて音像が頭外の一定位置に固定されるように処理される。また、複数の音声信号を用いることにより任意の位置に複数の音像が定位する立体的な音場再生が可能となる。
【００６８】
一方、映像入力端子６２を介して上記映像信号が入力された映像表示駆動部６３L及び６３Rは、上記映像信号を上記頭部装着部６５にあって両目の近傍の位置となるように配設された映像表示部６４L及び６４Rに供給する。映像表示部６４L及び６４Rは、上記映像信号をその内容自体が視聴環境内で固定されるように表示する。すなわち、頭部が右側に回転しているときは映像は右側にパンするような映像内容となり、逆に頭部が左側に回転しているときは映像は左側にパンして移動する内容になる。このため、表示内容は視聴環境内で一定方向にとどまっているように見える。
【００６９】
このように、第４の実施の形態となる頭部装着型映像音声再生装置６０は、映像及び音場が親近感も含めて映像上の発音源に実際の音像が定位するように構成できるので極めてリアリティーの高い映像音声再生が可能となる。
【００７０】
次に、第５の実施の形態について説明する。この第５の実施の形態は、上記第３の実施の形態と同様に上記図１に示した頭部装着型映像音声再生装置１のような構成となり、映像信号処理部１２が映像信号の一部を選択的に出力するような映像信号処理を行うと共に、表示エリアが映像信号内容の限界に達した場合は映像及び音像定位位置を頭の動きと同期させ視聴環境に対して回転させる。
【００７１】
すなわち、初期状態で映像信号処理部１２が映像表示部１４L及び１４Rに映像信号内容全エリア５７の内、表示エリア５８を出力していた後、視聴者の頭部が右に回転すると映像信号処理部１２は連続的にその回転角度に見合った映像である表示エリア５９を映像表示部１４L及び１５Rに出力する。逆に頭部がこの状態から左側に回転した場合は表示エリア５８の方向に向かう。
【００７２】
ここで、図２０に示すように、表示エリア５８が映像信号内容全エリア５７の限界に達した場合は、その時点で映像及び音像定位位置は頭部の動きと同期して視聴環境に対して回転すなわち頭部に対して固定して動き表示エリア７２（７３）となり、この状態で頭部が逆方向に回転した場合はまた、映像信号内容全エリア５７が許す限り映像、音像共に視聴環境に対して固定される。
【００７３】
このように、視聴者が通常既存の映画等のソフトをこの第５の実施の形態を装着して鑑賞するような場合、すべての範囲内で映像及び音声が固定される必要はなく、例えば図２１に示すような視聴者Ｍの前方Ｆの一定範囲内Ｗで上記映像位置の固定を実現すれば実用上充分な範囲で映像位置と音像位置が固定されることになり、この範囲内Ｗで表示内容は視聴環境内で一定方向にとどまっているように見え、映像と音像方向が一致した映像音声再生が可能となる。また、音声信号に対する頭部の動きによる両耳間の時間差及びレベル差も実音源を聞くのと同様に付加されるので音像は頭外のしかも前方向も含めた状態で定位が可能となる。
【００７４】
なお、上記音声入力信号は、ワイヤレスで頭部装着部上の上記音声再生手段に供給されてもよい。また、上記映像入力信号は、ワイヤレスで頭部装着部上の上記映像再生手段に供給されてもよい。
【００７５】
【発明の効果】
本発明に係る映像音声再生装置は、映像再生手段の映像信号処理部が回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させることができる。また上記音声再生手段の音声信号処理部が再生音像を頭外に定位させ、該音像方向を視聴環境の一定方向に固定させるような信号処理を行い、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きと同期させて移動させるので、音像を頭外、特に従来定位が難しいとされた前方方向に対して定位可能とする。また映像位置が一定位置にとまるので音像定位位置と映像位置が重なり両者の不一致による違和感を解消できる。また、映像及び音像定位位置を頭の動きと同期させ視聴環境に対して移動することができる。さらに映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな映像音声再生が可能となる。さらにまた、音像頭外定位処理を簡単な構成の信号処理で実現できるので、可搬性にすぐれた廉価な装置を小型に構成できる。
【００７６】
また、入力させる映像信号に両眼視差をもたせてあれば、遠近間のある立体的な映像を再生することができ、従来のように音像定位位置と映像位置が重なり両者の不一致による違和感を解消でき、ディスプレイ上に立体的に映し出される映像上の発音源と実際の音像の位置を常に一致させることができる。さらに立体映像と音像の相乗効果により音声だけの場合に比べてより明確な音像定位が得られリアルな立体映像音声再生が可能となる。
【００７７】
また、映像再生手段は、映像信号の一部を選択的に表示できるので、頭部の一定範囲の動きに対して視聴者の見ている映像量を減らすことなく音像定位位置と映像位置の視聴環境に対する固定化を実現できる。
【００７８】
また、この発明によれば例えばコンピュータグラフィックのようにリアルタイムで映像を合成できるシステムに応用し映像内容自体の内容を頭部の回転運動に応じて更新して表示できるようにしたので頭部の一定範囲の動きに対して視聴者の見ている映像量を減らすことなく音像定位位置と映像質の視聴環境に対する固定化を実現できる。
【００７９】
また、音声再生手段、映像再生手段は、頭部の動きに応じて正面方向を中心としてある範囲内でのみ音像方向を視聴環境の一定方向に固定させ、その範囲を越えた場合は頭部の動きに応じて音声方向を移動させるようにできるので、頭の動きに応じて表示内容が変化することの無い映像を見る場合にも音像方向を視聴環境の一定方向に固定する範囲の限定を行っているので、映像方向と音像方向が大きくずれることがなく、かつ動的な音声信号処理による音像の前方定位を可能とし例えば映画鑑賞のような広い映像表示範囲を必要とせず通常動きの少ない状態で鑑賞する映像音声ソースでも充分なリアリティと臨場感を持った映像音声再生を容易とする。
【００８０】
また、本発明では頭部装着部に回転検出手段及び音声再生手段を備え、頭部の動きを検出し、正面方向を中心としてある範囲内でのみ映像方向と音像方向とが視聴環境の一定方向に固定しているかのように変化させ、その範囲を越えた場合は頭部の動きに応じて映像方向、音像方向共に移動するので、頭部の動きに応じて表示内容の変化する映像の持つ情報容量が限られている場合にも頭部の回転運動範囲を限定して場合には映像方向と音像方向を視聴環境の一定方向に固定することができる。また、動的な音声信号処理による音像の前方定位を可能とし、例えば映画鑑賞のような広い映像表示範囲を必要とせず通常の動きの少なく状態で鑑賞するシステムには充分なリアリティと臨場感ある映像音声再生を容易に構成できる。
【００８１】
また、音声再生手段を頭部装着部に内蔵することにより、バイノーラル録音等の特殊な録音によらないで従来の普通の音声信号ソースを持つ映像音声信号をそのまま入力して頭外定位を持った臨場感ある音声再生が可能となり、可搬性にすぐれた仮想現実システムを小型に構成できる。
【００８２】
また、回転角検出手段のかわりに、または同時に位置検出手段を頭部装着部に設けることにより、装着者が回転した場合の制御だけでなく、その視聴環境において位置を移動した場合の映像、音像制御も可能となりよりリアリティのある仮想現実システムを小型に構成できる。
【図面の簡単な説明】
【図１】本発明に係る映像音声再生装置の第１の実施の形態の概略構成を示すブロック図である。
【図２】上記第１の実施の形態に用いられる音声信号処理部の詳細な構成を示すブロック図である。
【図３】上記第１の実施の形態に用いられる音声信号処理部が想定している聴取環境を示す模式図である。
【図４】上記第１の実施の形態に用いられる音声信号処理部の時間差付加回路で付加される遅延時間の特性図である。
【図５】上記第１の実施の形態に用いられる音声信号処理部のレベル差付加回路で付加されるレベル差の特性図である。
【図６】上記第１の実施の形態に用いられる映像信号処理部の詳細な構成を示すブロック図である。
【図７】上記第１の実施の形態に用いられる映像再生部の表示エリアの模式図である。
【図８】 上記音声信号処理部が時間差付加回路と周波数特性制御回路を用いた場合のブロック図である。
【図９】 上記周波数特性制御回路で行われる周波数制御の特性図である。
【図１０】上記音声信号処理部が位相差付加回路とレベル差付加回路を用いた場合のブロック図である。
【図１１】上記位相差付加回路で付加される位相差の変化特性図である。
【図１２】上記音声信号処理部が位相差付加回路と周波数特性制御回路を用いた場合のブロック図である。
【図１３】上記第１の実施の形態で使われる回転角速度センサに適用できる圧伝振動ジャイロ装置の概略構成図である。
【図１４】上記第１の実施の形態で使われる回転角速度センサに適用できるアナログ角度検出器の概略構成図である。
【図１５】上記第１の実施の形態で使われる回転角速度センサに適用できるディジタルグ角度検出器の概略構成図である。
【図１６】本発明に係る映像音声再生装置の第２の実施の形態の概略構成を示すブロック図である。
【図１７】上記第２の実施の形態に入力される両眼視差の生じた映像信号を説明するための模式図である。
【図１８】上記第３の実施の形態の映像再生部の動作を説明するための模式図である。
【図１９】本発明に係る映像音声再生装置の第４の実施の形態を説明するための模式図である。
【図２０】本発明に係る映像音声再生装置の第５の実施の形態の映像再生部の動作を説明するための模式図である。
【図２１】上記第５の実施の形態の動作を説明するための模式図である。
【図２２】従来の頭部装着型映像音声再生装置の模式図である。
【図２３】従来の映像音声再生装置のブロック図である。
【符号の説明】
１ 頭部装着型映像音声再生装置
２ 音声再生部
５ 音声信号処理部
１０ 映像再生部
１２ 映像信号処理部
１４ 映像表示部
１５ 頭部装着部
１６ 回転角速度センサ
１７ マイクロプロセッサ
Claims (23)
- 両耳に対向するように配置した二つの発音体から音声信号を再生する音声再生手段と、両眼の前方近傍に映像を表示する映像再生手段と、頭部の回転運動を検出する回転角検出手段とを頭部装着部に配設してなる映像音声再生装置であって、
上記映像再生手段は映像信号処理部を有し、該映像信号処理部に上記回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させ、
上記音声再生手段は音声信号処理部を有し、該音声信号処理部に再生音像を頭外に定位させ、該音像方向を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きと同期させて移動させること
を特徴とする映像音声再生装置。 - 上記映像再生手段は、左右異なった映像を両眼の前方近傍に表示することを特徴とする請求項１記載の映像音声再生装置。
- 上記映像信号処理部は、上記回転角度検出部により検出された頭部回転運動に応じて表示内容が視聴環境の一定方向に固定するように映像信号を合成して出力することを特徴とする請求項１記載の映像音声再生装置。
- 上記回転角検出手段の代わり、或いは同時に位置検出手段を上記頭部装着部に設け、頭部の位置による音像の定位位置の補正を行えるようにしたことを特徴とする請求項１記載の映像音声再生装置。
- 上記回転角検出手段には角速度センサである圧電振動ジャイロを用いることを特徴とする請求項１記載の映像音声再生装置。
- 上記回転角検出手段には地磁気方位センサを用いることを特徴とする請求項１記載の映像音声再生装置。
- 上記回転角検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部回転運動を算出することを特徴とする請求項１記載の映像音声再生装置。
- 上記位置検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部位置を算出することを特徴とする請求項４記載の映像音声再生装置。
- 上記回転角検出手段及び上記位置検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部回転運動及び頭部位置を算出することを特徴とする請求項４記載の映像音声再生装置。
- 上記音声入力信号は、ワイヤレスで頭部装着部上の上記音声再生手段に供給される事を特徴とする請求項１記載の映像音声再生装置。
- 上記映像入力信号は、ワイヤレスで頭部装着部上の上記映像再生手段に供給される事を特徴とする請求項１記載の映像音声再生装置。
- 両耳に対向するように配置した二つの発音体から音声信号を再生する音声再生手段と、両眼の前方近傍に映像を表示する映像再生手段と、頭部の回転運動を検出する回転角検出手段とを頭部装着部に配設してなる映像音声再生装置であって、
上記映像再生手段は映像信号処理部を有し、該映像信号処理部に上記回転角検出手段により検出された頭部回転運動に応じて映像入力信号の一部を選択的に表示させて、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させ、
上記音声再生手段は、複数の音声入力信号に２系統のインパルス応答を畳み込む二つのディジタルフィルタの各出力に上記頭部回転運動に応じた頭部回転角度に基づいて時間差又は位相差、或いはレベル差又は周波数特性を付加する音声信号処理部を有し、上記頭部回転運動が一定範囲内にあるときには該音声信号処理部による音像方向を試聴環境の一定方向に固定させる信号処理を施し、かつ頭部回転運動が上記所定範囲範囲を超えたときは、音像方向を頭部の動きと同期させて移動させること
を特徴とする映像音声再生装置。 - 上記映像再生手段は、左右異なった映像を両眼の前方近傍に表示することを特徴とする請求項１２記載の映像音声再生装置。
- 上記映像信号処理部は、上記回転角度検出部により検出された頭部回転運動に応じて表示内容が視聴環境の一定方向に固定するように映像信号を合成して出力することを特徴とする請求項１２記載の映像音声再生装置。
- 上記回転角検出手段の代わり、或いは同時に位置検出手段を頭部装着部に設け、頭部の位置による音像の定位位置の補正を行えるようにしたことを特徴とする請求項１２記載の映像音声再生装置。
- 上記回転角検出手段には角速度センサである圧電振動ジャイロを用いることを特徴とする請求項１２記載の映像音声再生装置。
- 上記回転角検出手段には地磁気方位センサを用いることを特徴とする請求項１２記載の映像音声再生装置。
- 上記回転角検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部回転運動を算出するようにしたことを特徴とする請求項１２記載の映像音声再生装置。
- 上記位置検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部位置を算出するようにしたことを特徴とする請求項１５記載の映像音声再生装置。
- 上記回転角検出手段及び上記位置検出手段は、前方或いは周囲に置かれた発光手段と上記頭部装着部に設けられた少なくとも２個の光強度センサの出力比により頭部回転運動及び頭部位置を算出することを特徴とする請求項１５記載の映像音声再生装置。
- 上記音声入力信号は、ワイヤレスで頭部装着部上の上記音声再生手段に供給される事を特徴とする請求項１２記載の映像音声再生装置。
- 上記映像入力信号は、ワイヤレスで頭部装着部上の上記映像再生手段に供給される事を特徴とする請求項１２記載の映像音声再生装置。
- 両耳に対向するように配置した二つの発音体と、両眼の前方近傍で映像を表示する映像表示部と、頭部の回転運動を検出する回転角検出手段を頭部装着部に配設してなる映像音声再生装置であって、
上記回転角検出手段で検出された頭部の回転運動に応じた頭部位置情報を基に、映像入力信号の一部を選択的に表示させて、映像知覚位置を視聴環境の一定方向に固定させるような信号処理を行わせ、かつ頭部回転運動が所定範囲を超えて表示エリアが映像信号内容の限界を超えたときは、映像方向を頭部の動きと同期させて移動させ、
さらに、再生音像を頭外に定位させ、該音像方向を視聴環境の一方向に固定させるような信号処理を行わせ、かつ頭部回転運動が上記所定範囲を超えたときは、音像方向を頭部の動きに同期させて移動させる映像音声信号生成手段を上記頭部装着部上を除いた場所に配設してなることを特徴とする映像音声再生装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25097895A JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
| US08/715,083 US5959597A (en) | 1995-09-28 | 1996-09-19 | Image/audio reproducing system |
| KR1019960041359A KR100445513B1 (ko) | 1995-09-28 | 1996-09-20 | 영상음성재생장치 |
| CN96121166A CN1104137C (zh) | 1995-09-28 | 1996-09-27 | 图象/音频再现系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25097895A JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0993700A JPH0993700A (ja) | 1997-04-04 |
| JP3796776B2 true JP3796776B2 (ja) | 2006-07-12 |
Family
ID=17215861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25097895A Expired - Fee Related JP3796776B2 (ja) | 1995-09-28 | 1995-09-28 | 映像音声再生装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5959597A (ja) |
| JP (1) | JP3796776B2 (ja) |
| KR (1) | KR100445513B1 (ja) |
| CN (1) | CN1104137C (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013272A1 (ja) * | 2014-07-23 | 2016-01-28 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
| CN107925838A (zh) * | 2015-08-06 | 2018-04-17 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| WO2018186004A1 (ja) * | 2017-04-04 | 2018-10-11 | キヤノン株式会社 | 電子機器及びその制御方法 |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10197825A (ja) * | 1997-01-10 | 1998-07-31 | Sharp Corp | 頭部搭載型ディスプレイ |
| TW362207B (en) * | 1997-05-08 | 1999-06-21 | Shimadzu Corp | Display system |
| JPH11275696A (ja) * | 1998-01-22 | 1999-10-08 | Sony Corp | ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置 |
| AUPP271598A0 (en) * | 1998-03-31 | 1998-04-23 | Lake Dsp Pty Limited | Headtracked processing for headtracked playback of audio signals |
| JP4744695B2 (ja) * | 1999-01-28 | 2011-08-10 | ソニー株式会社 | 仮想音源装置 |
| US6839041B2 (en) * | 2001-08-01 | 2005-01-04 | Thermwood Corporation | Virtual reality viewing system and method |
| US20040091120A1 (en) * | 2002-11-12 | 2004-05-13 | Kantor Kenneth L. | Method and apparatus for improving corrective audio equalization |
| JP4642400B2 (ja) * | 2004-07-20 | 2011-03-02 | オリンパス株式会社 | 情報表示システム |
| GB0427450D0 (en) * | 2004-12-15 | 2005-01-19 | Bp Oil Int | Process |
| EP1930871B1 (en) * | 2005-09-29 | 2019-11-13 | Nikon Corporation | Content reproduction system |
| KR100818660B1 (ko) * | 2007-03-22 | 2008-04-02 | 광주과학기술원 | 근거리 모델을 위한 3차원 음향 생성 장치 |
| JP4557035B2 (ja) * | 2008-04-03 | 2010-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
| JP5380945B2 (ja) * | 2008-08-05 | 2014-01-08 | ヤマハ株式会社 | 音響再生装置およびプログラム |
| JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
| JP4849121B2 (ja) * | 2008-12-16 | 2012-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
| JP5676487B2 (ja) * | 2009-02-13 | 2015-02-25 | コーニンクレッカ フィリップス エヌ ヴェ | モバイル用途のための頭部追跡 |
| EP2288178B1 (en) * | 2009-08-17 | 2012-06-06 | Nxp B.V. | A device for and a method of processing audio data |
| JP5499633B2 (ja) | 2009-10-28 | 2014-05-21 | ソニー株式会社 | 再生装置、ヘッドホン及び再生方法 |
| US8854531B2 (en) * | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
| US9247286B2 (en) * | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
| US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
| US20110157322A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
| JP5672741B2 (ja) * | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| US8587631B2 (en) * | 2010-06-29 | 2013-11-19 | Alcatel Lucent | Facilitating communications using a portable communication device and directed sound output |
| KR20120053587A (ko) * | 2010-11-18 | 2012-05-29 | 삼성전자주식회사 | 디스플레이장치 및 그 사운드 제어방법 |
| EP2475193B1 (en) * | 2011-01-05 | 2014-01-08 | Advanced Digital Broadcast S.A. | Method for playing a multimedia content comprising audio and stereoscopic video |
| NL2006997C2 (en) * | 2011-06-24 | 2013-01-02 | Bright Minds Holding B V | Method and device for processing sound data. |
| US8183997B1 (en) * | 2011-11-14 | 2012-05-22 | Google Inc. | Displaying sound indications on a wearable computing system |
| GB2501768A (en) | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Head mounted display |
| GB2501767A (en) * | 2012-05-04 | 2013-11-06 | Sony Comp Entertainment Europe | Noise cancelling headset |
| US9213403B1 (en) * | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
| WO2014174839A1 (ja) * | 2013-04-24 | 2014-10-30 | 日産自動車株式会社 | 車両用音響制御装置、車両用音響制御方法 |
| JP5881897B2 (ja) * | 2013-05-17 | 2016-03-09 | 三菱電機株式会社 | 映像合成装置および方法 |
| US9146618B2 (en) | 2013-06-28 | 2015-09-29 | Google Inc. | Unlocking a head mounted device |
| DK201370793A1 (en) * | 2013-12-19 | 2015-06-29 | Gn Resound As | A hearing aid system with selectable perceived spatial positioning of sound sources |
| JP2015125502A (ja) * | 2013-12-25 | 2015-07-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム |
| US9967668B2 (en) * | 2014-08-21 | 2018-05-08 | Eears LLC | Binaural recording system and earpiece set |
| JP6600186B2 (ja) * | 2015-07-21 | 2019-10-30 | キヤノン株式会社 | 情報処理装置、制御方法およびプログラム |
| CN105120421B (zh) * | 2015-08-21 | 2017-06-30 | 北京时代拓灵科技有限公司 | 一种生成虚拟环绕声的方法和装置 |
| CN108762496B (zh) * | 2015-09-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105216715A (zh) * | 2015-10-13 | 2016-01-06 | 湖南七迪视觉科技有限公司 | 一种汽车驾驶员视觉辅助增强系统 |
| JP6651231B2 (ja) * | 2015-10-19 | 2020-02-19 | このみ 一色 | 携帯情報端末、情報処理装置、及びプログラム |
| US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
| JP6701673B2 (ja) * | 2015-10-30 | 2020-05-27 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ |
| JP2017097306A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社リコー | ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイシステムにおける表示制御方法 |
| US9918177B2 (en) * | 2015-12-29 | 2018-03-13 | Harman International Industries, Incorporated | Binaural headphone rendering with head tracking |
| WO2017175366A1 (ja) * | 2016-04-08 | 2017-10-12 | 株式会社日立製作所 | 映像表示装置および映像表示方法 |
| WO2017181365A1 (zh) * | 2016-04-20 | 2017-10-26 | 华为技术有限公司 | 一种耳机声道控制方法、相关设备及系统 |
| US11182930B2 (en) | 2016-05-02 | 2021-11-23 | Waves Audio Ltd. | Head tracking with adaptive reference |
| WO2017191631A1 (en) | 2016-05-02 | 2017-11-09 | Waves Audio Ltd. | Head tracking with adaptive reference |
| AU2017305249B2 (en) * | 2016-08-01 | 2021-07-22 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
| DE102017208600A1 (de) * | 2017-05-22 | 2018-11-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Bereitstellung eines räumlich wahrnehmbaren Akustiksignals für einen Zweiradfahrer |
| CN107192562B (zh) * | 2017-06-07 | 2020-02-07 | 哈尔滨工业大学（威海） | 减振器异响故障快速定位及诊断试验装置 |
| EP3422151A1 (en) | 2017-06-30 | 2019-01-02 | Nokia Technologies Oy | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality |
| US10375506B1 (en) * | 2018-02-28 | 2019-08-06 | Google Llc | Spatial audio to enable safe headphone use during exercise and commuting |
| EP3985482A1 (en) * | 2020-10-13 | 2022-04-20 | Koninklijke Philips N.V. | Audiovisual rendering apparatus and method of operation therefor |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4028725A (en) * | 1976-04-21 | 1977-06-07 | Grumman Aerospace Corporation | High-resolution vision system |
| US4446480A (en) * | 1981-12-14 | 1984-05-01 | The United States Of America As Represented By The Secretary Of The Navy | Head position and orientation sensor |
| GB2143948B (en) * | 1983-07-23 | 1986-08-06 | Ferranti Plc | Apparatus for determining the direction of a line of sight |
| US4649504A (en) * | 1984-05-22 | 1987-03-10 | Cae Electronics, Ltd. | Optical position and orientation measurement techniques |
| US4817149A (en) * | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
| US5222059A (en) * | 1988-01-06 | 1993-06-22 | Lucasfilm Ltd. | Surround-sound system with motion picture soundtrack timbre correction, surround sound channel timbre correction, defined loudspeaker directionality, and reduced comb-filter effects |
| US4897715A (en) * | 1988-10-31 | 1990-01-30 | General Electric Company | Helmet display |
| US5457641A (en) * | 1990-06-29 | 1995-10-10 | Sextant Avionique | Method and apparatus for determining an orientation associated with a mobile system, especially a line of sight inside a helmet visor |
| EP0479605B1 (en) * | 1990-10-05 | 1995-09-20 | Texas Instruments Incorporated | Method and apparatus for providing a portable visual display |
| US5647016A (en) * | 1995-08-07 | 1997-07-08 | Takeyama; Motonari | Man-machine interface in aerospace craft that produces a localized sound in response to the direction of a target relative to the facial direction of a crew |
-
1995
- 1995-09-28 JP JP25097895A patent/JP3796776B2/ja not_active Expired - Fee Related
-
1996
- 1996-09-19 US US08/715,083 patent/US5959597A/en not_active Expired - Lifetime
- 1996-09-20 KR KR1019960041359A patent/KR100445513B1/ko not_active IP Right Cessation
- 1996-09-27 CN CN96121166A patent/CN1104137C/zh not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013272A1 (ja) * | 2014-07-23 | 2016-01-28 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
| JPWO2016013272A1 (ja) * | 2014-07-23 | 2017-04-27 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
| US10269184B2 (en) | 2014-07-23 | 2019-04-23 | Sony Corporation | Information processing apparatus, information processing method, and image display system |
| US10692300B2 (en) | 2014-07-23 | 2020-06-23 | Sony Corporation | Information processing apparatus, information processing method, and image display system |
| CN107925838A (zh) * | 2015-08-06 | 2018-04-17 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN107925838B (zh) * | 2015-08-06 | 2021-03-09 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| WO2018186004A1 (ja) * | 2017-04-04 | 2018-10-11 | キヤノン株式会社 | 電子機器及びその制御方法 |
| CN110494915A (zh) * | 2017-04-04 | 2019-11-22 | 佳能株式会社 | 电子装置及其控制方法 |
| GB2574780A (en) * | 2017-04-04 | 2019-12-18 | Canon Kk | Electronic device and method for controlling same |
| US11100903B2 (en) | 2017-04-04 | 2021-08-24 | Canon Kabushiki Kaisha | Electronic device and control method for controlling a display range on a display |
| CN110494915B (zh) * | 2017-04-04 | 2022-02-18 | 佳能株式会社 | 电子装置及其控制方法和计算机可读介质 |
| GB2574780B (en) * | 2017-04-04 | 2022-09-21 | Canon Kk | Electronic device and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1158047A (zh) | 1997-08-27 |
| KR970019732A (ko) | 1997-04-30 |
| KR100445513B1 (ko) | 2004-12-04 |
| JPH0993700A (ja) | 1997-04-04 |
| US5959597A (en) | 1999-09-28 |
| CN1104137C (zh) | 2003-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3796776B2 (ja) | 映像音声再生装置 | |
| US5796843A (en) | Video signal and audio signal reproducing apparatus | |
| JP3577798B2 (ja) | ヘッドホン装置 | |
| US5696831A (en) | Audio reproducing apparatus corresponding to picture | |
| JP3422026B2 (ja) | オーディオ再生装置 | |
| US20050275913A1 (en) | Binaural horizontal perspective hands-on simulator | |
| CN109691141B (zh) | 空间化音频系统以及渲染空间化音频的方法 | |
| JPH09284676A (ja) | 身体の動きに同期した映像及び音声処理方法と映像表示装置 | |
| JP2010056589A (ja) | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 | |
| JPH08191419A (ja) | 頭部装着型表示システム | |
| JPH04249500A (ja) | オンラインで指向性音響を提供する方法並びに装置 | |
| JP2017201742A (ja) | 処理装置および画像決定方法 | |
| JP6538003B2 (ja) | アクチュエータ装置 | |
| JP2550832B2 (ja) | 仮想現実感生成装置 | |
| JPH06269096A (ja) | 音像制御装置 | |
| JPH06105400A (ja) | ３次元空間再現システム | |
| WO2022038929A1 (ja) | 情報処理方法、プログラム、及び、音響再生装置 | |
| JP4955718B2 (ja) | 立体表示制御装置、立体表示システムおよび立体表示制御方法 | |
| JP3573797B2 (ja) | ステレオ音声再生装置 | |
| JPH08140200A (ja) | 立体音像制御装置 | |
| JP6518620B2 (ja) | 位相差増幅装置 | |
| JPH06289772A (ja) | 仮想現実体験機 | |
| JPH1155800A (ja) | 情報表示装置 | |
| JP2003061195A (ja) | 音声信号再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060410 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |