JP4735993B2 - 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 - Google Patents
音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 Download PDFInfo
- Publication number
- JP4735993B2 JP4735993B2 JP2008216120A JP2008216120A JP4735993B2 JP 4735993 B2 JP4735993 B2 JP 4735993B2 JP 2008216120 A JP2008216120 A JP 2008216120A JP 2008216120 A JP2008216120 A JP 2008216120A JP 4735993 B2 JP4735993 B2 JP 4735993B2
- Authority
- JP
- Japan
- Prior art keywords
- rotation
- user
- head
- detection
- sound image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
Description
再生対象の音声信号に対して、予め求められる頭部伝達関数に応じて音像定位処理を施す音像定位処理手段と、
使用者の耳に対して装着され、前記音像定位処理手段により音像定位処理された音声信号の供給を受けて、当該音声信号に応じた音声を放音するイヤホンと、
前記イヤホンに対して設けられ、当該イヤホンが装着された使用者の頭部の回転を検出する回転検出手段と、
前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに対して設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、前記音像定位処理手段を制御し、音像の定位位置を調整する調整手段と
を備えたものである。
この発明は、原理的にマルチチャンネルの音声処理装置に適用することができるものである。しかし、以下に説明する第1の実施の形態においては、説明を簡単にするため、左右2チャンネルの音声処理装置に適用した場合を例にして説明する。
なお、上述した第1の実施の形態のイヤホンシステム1において、加速度センサ17は3軸のものを用いるようにしたが、これに限るものではない。加速度センサ17は、1軸のものであっても、2軸のものであってもよい。
(1)イヤホン15Lに設けられるジャイロセンサ16を通じて、イヤホン15Lが装着されたユーザの頭部の回転を検出し、
(2)イヤホン15Lに設けられる加速度センサ17を通じて、ジャイロセンサ16の傾きを検出し、
(3)加速度センサ17が検出したジャイロセンサ16の傾きに基づいて、ジャイロセンサ16の検出したユーザの頭部の回転についての検出結果を補正し、
(4)補正されたジャイロセンサ16が検出したユーザの頭部の回転についての検出結果に基づいて、再生対象の音声信号に対して施される音像定位処理を調整し、音像定位位置を調整するというように、上記(1)〜(4)の工程を行うものが、この発明の音像定位位置調整方法である。
次に、この発明をいわゆるヘッドマウントディスプレイと呼ばれるユーザの頭部に装着して使用する小型のディスプレイ装置を用いた映像処理装置に適用した場合について説明する。
なお、上述した第1の実施の形態のヘッドマウントディスプレイ部2において、加速度センサ23は3軸のものを用いるようにしたが、これに限るものではない。加速度センサ23は、1軸のものであっても、2軸のものであってもよい。
(A)ヘッドマウントディスプレイ部2に設けられるジャイロセンサ22を通じて、ヘッドマウントディスプレイ部2が装着されたユーザの頭部の回転を検出し、
(B)ヘッドマウントディスプレイ部2に設けられる加速度センサ23を通じて、ジャイロセンサ22の傾きを検出し、
(C)加速度センサ23が検出したジャイロセンサ22の傾きに基づいて、ジャイロセンサ22の検出したユーザの頭部の回転についての検出結果を補正し、
(D)補正されたジャイロセンサ22が検出したユーザの頭部の回転についての検出結果に基づいて、映像再生部31がユーザの頭部の回転に応じた範囲の映像データをハードディスクに記録されている例えば水平方向に360度分の映像データから切り出して、ヘッドマウントディスプレイ部2に供給するというように、上記(A)〜(D)の工程を行うものが、この発明の映像処理方法である。
また、上述したように、第1の実施の形態においては、この発明の音声処理装置が適用されたイヤホンシステム1を、また、第2の実施の形態においては、ヘッドマウントディスプレイ部2をするこの発明の映像処理装置が適用された映像処理装置を説明した。
Claims (10)
- 再生対象の音声信号に対して、予め求められる頭部伝達関数に応じて音像定位処理を施す音像定位処理手段と、
使用者の耳に対して装着され、前記音像定位処理手段により音像定位処理された音声信号の供給を受けて、当該音声信号に応じた音声を放音するイヤホンと、
前記イヤホンに対して設けられ、当該イヤホンが装着された使用者の頭部の回転を検出する回転検出手段と、
前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、前記音像定位処理手段を制御し、音像の定位位置を調整する調整手段と
を備えた音声処理装置。 - 請求項1に記載の音声処理装置であって、
前記傾き検出手段は、N(Nは1以上の整数)軸の加速度センサである音声処理装置。 - 請求項2に記載の音声処理装置であって、
前記傾き検出手段は、前記回転検出手段における回転の検出軸が前記加速度センサにおける加速度の一検出軸と一致するよう前記イヤホンに設けられている音声処理装置。 - 請求項1に記載の音声処理装置であって、
前記イヤホンは、挿入型、イントラコンカ型、耳かけ型のものである音声処理装置。 - 請求項1に記載の音声処理装置であって、
使用者の操作を受け付ける操作手段をさらに有し、
前記調整手段は、前記操作手段を介して使用者の操作を受け付けた時点における使用者の頭部の位置を基準位置として前記音像定位処理手段を制御し、音像の定位位置を調整する音声処理装置。 - 使用者の耳に対して装着されるイヤホンに設けられる回転検出手段を通じて、前記イヤホンが装着された使用者の頭部の回転を検出する回転検出工程と、
前期回転検出手段に対し予め決められた位置関係となるよう前記イヤホンに設けられる傾き検出手段を通じて、前記回転検出手段の重力方向に対する傾きを検出する傾き検出工程と、
前記傾き検出工程において検出した前記回転検出手段の傾きに基づいて、前記回転検出工程において検出した使用者の頭部の回転についての検出結果を補正する補正工程と、
前記補正工程において補正された前記回転検出工程において検出した使用者の頭部の回転についての検出結果に基づいて、再生対象の音声信号に対して施される音像定位処理を調整し、音像定位位置を調整する調整工程と
を有する音像定位位置調整方法。 - 使用者の頭部に装着される耳かけ型の表示手段と、
当該表示手段に対して設けられ、当該表示部が装着された使用者の頭部の回転を検出する回転検出手段と、
前期回転検出手段に対し予め決められた位置関係となるよう当該表示手段に設けられ、前記回転検出手段の重力方向に対する傾きを検出する傾き検出手段と、
前記傾き検出手段の検出結果に基づいて、前記回転検出手段からの検出結果を補正する回転補正手段と、
前記回転補正手段により補正された前記回転検出手段からの検出結果に基づいて、人の視野角以上の範囲の映像データから使用者の頭部の回転に応じた範囲の映像データを切り出して、前記表示手段に供給する映像処理手段と
を備える映像処理装置。 - 請求項7に記載の映像処理装置であって、
前記傾き検出手段は、N(Nは1以上の整数)軸の加速度センサである映像処理装置。 - 請求項8に記載の映像処理装置であって、
前記傾き検出手段は、前記回転検出手段における回転の検出軸が前記加速度センサにおける加速度の一検出軸と一致するよう前記イヤホンに設けられている映像処理装置。 - 使用者の頭部に装着される耳かけ型の表示手段に対して設けられる回転検出手段を通じて、当該表示部が装着された使用者の頭部の回転を検出する回転検出工程と、
前期回転検出手段に対し予め決められた位置関係となるよう当該表示手段に設けられる傾き検出手段を通じて、前記回転検出手段の重力方向に対する傾きを検出する傾き検出工程と、
前記傾き検出工程において検出した前記回転検出手段の傾きに基づいて、前記回転検出工程において検出した使用者の頭部の回転についての検出結果を補正する補正工程と、
前記補正工程において補正された前記回転検出工程において検出した使用者の頭部の回転についての検出結果に基づいて、映像処理手段が、人の視野角以上の範囲の映像データから使用者の頭部の回転に応じた範囲の映像データを切り出して、前記表示手段に供給する映像処理工程と
を有する映像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008216120A JP4735993B2 (ja) | 2008-08-26 | 2008-08-26 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
CN2009101612220A CN101662720B (zh) | 2008-08-26 | 2009-07-24 | 声音处理装置、声像定位位置调节方法及视频处理装置 |
US12/545,956 US8472653B2 (en) | 2008-08-26 | 2009-08-24 | Sound processing apparatus, sound image localized position adjustment method, video processing apparatus, and video processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008216120A JP4735993B2 (ja) | 2008-08-26 | 2008-08-26 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010056589A JP2010056589A (ja) | 2010-03-11 |
JP4735993B2 true JP4735993B2 (ja) | 2011-07-27 |
Family
ID=41724705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008216120A Active JP4735993B2 (ja) | 2008-08-26 | 2008-08-26 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8472653B2 (ja) |
JP (1) | JP4735993B2 (ja) |
CN (1) | CN101662720B (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201205431A (en) * | 2010-07-29 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Head wearable display system with interactive function and display method thereof |
CN102568535A (zh) * | 2010-12-23 | 2012-07-11 | 美律实业股份有限公司 | 互动式声音录放装置 |
JP5085763B2 (ja) | 2011-04-27 | 2012-11-28 | 株式会社東芝 | 音信号処理装置、及び音信号処理方法 |
EP2783292A4 (en) * | 2011-11-21 | 2016-06-01 | Empire Technology Dev Llc | AUDIO INTERFACE |
US9910490B2 (en) | 2011-12-29 | 2018-03-06 | Eyeguide, Inc. | System and method of cursor position control based on the vestibulo-ocular reflex |
CN102789313B (zh) * | 2012-03-19 | 2015-05-13 | 苏州触达信息技术有限公司 | 一种用户交互系统和方法 |
CN104205880B (zh) * | 2012-03-29 | 2019-06-11 | 英特尔公司 | 基于取向的音频控制 |
CN102779000B (zh) * | 2012-05-03 | 2015-05-20 | 苏州触达信息技术有限公司 | 一种用户交互系统和方法 |
US9292086B2 (en) * | 2012-09-26 | 2016-03-22 | Grinbath, Llc | Correlating pupil position to gaze location within a scene |
US9351090B2 (en) * | 2012-10-02 | 2016-05-24 | Sony Corporation | Method of checking earphone wearing state |
EP4329338A3 (en) | 2013-04-26 | 2024-05-22 | Sony Group Corporation | Audio processing device, method, and program |
EP2991383B1 (en) | 2013-04-26 | 2021-01-27 | Sony Corporation | Audio processing device and audio processing system |
EP2830327A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio processor for orientation-dependent processing |
WO2015012122A1 (ja) | 2013-07-24 | 2015-01-29 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
WO2015068756A1 (ja) * | 2013-11-11 | 2015-05-14 | シャープ株式会社 | イヤホンシステム |
CN105208501A (zh) | 2014-06-09 | 2015-12-30 | 杜比实验室特许公司 | 对电声换能器的频率响应特性进行建模 |
CN104284291B (zh) * | 2014-08-07 | 2016-10-05 | 华南理工大学 | 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置 |
CN104284268A (zh) * | 2014-09-28 | 2015-01-14 | 北京塞宾科技有限公司 | 一种可采集数据信息的耳机及数据采集方法 |
US9544679B2 (en) * | 2014-12-08 | 2017-01-10 | Harman International Industries, Inc. | Adjusting speakers using facial recognition |
EP3048818B1 (en) * | 2015-01-20 | 2018-10-10 | Yamaha Corporation | Audio signal processing apparatus |
EP3304927A4 (en) | 2015-06-03 | 2018-07-18 | Razer (Asia-Pacific) Pte. Ltd. | Headset devices and methods for controlling a headset device |
CN105183421B (zh) * | 2015-08-11 | 2018-09-28 | 中山大学 | 一种虚拟现实三维音效的实现方法及系统 |
CN108141684B (zh) | 2015-10-09 | 2021-09-24 | 索尼公司 | 声音输出设备、声音生成方法以及记录介质 |
CN105578355B (zh) * | 2015-12-23 | 2019-02-26 | 惠州Tcl移动通信有限公司 | 一种增强虚拟现实眼镜音效的方法及系统 |
WO2017175366A1 (ja) * | 2016-04-08 | 2017-10-12 | 株式会社日立製作所 | 映像表示装置および映像表示方法 |
JP6634976B2 (ja) * | 2016-06-30 | 2020-01-22 | 株式会社リコー | 情報処理装置、及びプログラム |
KR102197544B1 (ko) | 2016-08-01 | 2020-12-31 | 매직 립, 인코포레이티드 | 공간화 오디오를 가진 혼합 현실 시스템 |
CN107979807A (zh) * | 2016-10-25 | 2018-05-01 | 北京酷我科技有限公司 | 一种模拟环绕立体声的方法及系统 |
JP6326573B2 (ja) * | 2016-11-07 | 2018-05-23 | 株式会社ネイン | 多機能イヤホンによる自律型アシスタントシステム |
CN107182011B (zh) * | 2017-07-21 | 2024-04-05 | 深圳市泰衡诺科技有限公司上海分公司 | 音频播放方法及系统、移动终端、WiFi耳机 |
CN111543068A (zh) * | 2018-01-11 | 2020-08-14 | 索尼公司 | 声音处理装置、声音处理方法和程序 |
GB201800920D0 (en) * | 2018-01-19 | 2018-03-07 | Nokia Technologies Oy | Associated spatial audio playback |
CN111630877B (zh) * | 2018-01-29 | 2022-05-10 | 索尼公司 | 声音处理装置、声音处理方法和程序 |
US10440462B1 (en) * | 2018-03-27 | 2019-10-08 | Cheng Uei Precision Industry Co., Ltd. | Earphone assembly and sound channel control method applied therein |
US11523246B2 (en) | 2018-07-13 | 2022-12-06 | Sony Corporation | Information processing apparatus and information processing method |
US11785411B2 (en) | 2018-08-08 | 2023-10-10 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
CN110213004A (zh) * | 2019-05-20 | 2019-09-06 | 雷欧尼斯(北京)信息技术有限公司 | 基于数字音频广播方式的浸入式观影方法及装置 |
JP7342451B2 (ja) * | 2019-06-27 | 2023-09-12 | ヤマハ株式会社 | 音声処理装置および音声処理方法 |
US10735885B1 (en) * | 2019-10-11 | 2020-08-04 | Bose Corporation | Managing image audio sources in a virtual acoustic environment |
CN111158492B (zh) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | 视频剪辑方法及头戴式设备 |
CN115002611A (zh) * | 2022-08-03 | 2022-09-02 | 广州晨安网络科技有限公司 | 一种超声波指向性颈戴式音响系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2671327B2 (ja) * | 1987-11-04 | 1997-10-29 | ソニー株式会社 | オーディオ再生装置 |
JP2550832B2 (ja) * | 1992-07-21 | 1996-11-06 | 株式会社セガ・エンタープライゼス | 仮想現実感生成装置 |
EP0674467B1 (en) * | 1993-10-04 | 2006-11-29 | Sony Corporation | Audio reproducing device |
JP2900985B2 (ja) * | 1994-05-31 | 1999-06-02 | 日本ビクター株式会社 | ヘッドホン再生装置 |
JP3796776B2 (ja) * | 1995-09-28 | 2006-07-12 | ソニー株式会社 | 映像音声再生装置 |
JPH1098798A (ja) * | 1996-09-20 | 1998-04-14 | Murata Mfg Co Ltd | 角度計測装置およびこれを搭載したヘッドマウントディスプレイ装置 |
JP3994296B2 (ja) | 1998-01-19 | 2007-10-17 | ソニー株式会社 | オーディオ再生装置 |
JPH11275696A (ja) * | 1998-01-22 | 1999-10-08 | Sony Corp | ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置 |
JP3624805B2 (ja) * | 2000-07-21 | 2005-03-02 | ヤマハ株式会社 | 音像定位装置 |
JP4737804B2 (ja) * | 2000-07-25 | 2011-08-03 | ソニー株式会社 | 音声信号処理装置及び信号処理装置 |
JP3435156B2 (ja) * | 2001-07-19 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置 |
GB0419346D0 (en) * | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
US7876903B2 (en) * | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
-
2008
- 2008-08-26 JP JP2008216120A patent/JP4735993B2/ja active Active
-
2009
- 2009-07-24 CN CN2009101612220A patent/CN101662720B/zh active Active
- 2009-08-24 US US12/545,956 patent/US8472653B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8472653B2 (en) | 2013-06-25 |
US20100053210A1 (en) | 2010-03-04 |
CN101662720A (zh) | 2010-03-03 |
CN101662720B (zh) | 2013-04-03 |
JP2010056589A (ja) | 2010-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4735993B2 (ja) | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 | |
JP6799141B2 (ja) | 空間化オーディオを用いた複合現実システム | |
JP3687099B2 (ja) | 映像信号及び音響信号の再生装置 | |
KR100445513B1 (ko) | 영상음성재생장치 | |
US7817806B2 (en) | Sound pickup method and apparatus, sound pickup and reproduction method, and sound reproduction apparatus | |
JP4849121B2 (ja) | 情報処理システムおよび情報処理方法 | |
JP3422026B2 (ja) | オーディオ再生装置 | |
EP3354045A1 (en) | Differential headtracking apparatus | |
US11546703B2 (en) | Methods for obtaining and reproducing a binaural recording | |
JP2008160265A (ja) | 音響再生システム | |
WO2016190460A1 (ko) | 입체 음향 재생 방법 및 장치 | |
JP3433513B2 (ja) | 回転角度検出機能を備えたヘッドホン装置 | |
KR102534802B1 (ko) | 멀티-채널 바이노럴 기록 및 동적 재생 | |
WO2023058162A1 (ja) | 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法 | |
JP2023080769A (ja) | 再生制御装置、頭外定位処理システム、及び再生制御方法 | |
JPH03214899A (ja) | ヘッドホン装置 | |
JP2000350299A (ja) | 音響信号再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100701 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110413 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4735993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |