JPWO2017061278A1 - 信号処理装置、信号処理方法及びコンピュータプログラム - Google Patents
信号処理装置、信号処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2017061278A1 JPWO2017061278A1 JP2017544446A JP2017544446A JPWO2017061278A1 JP WO2017061278 A1 JPWO2017061278 A1 JP WO2017061278A1 JP 2017544446 A JP2017544446 A JP 2017544446A JP 2017544446 A JP2017544446 A JP 2017544446A JP WO2017061278 A1 JPWO2017061278 A1 JP WO2017061278A1
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- content
- sound
- processing apparatus
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
Abstract
Description
1.本開示の実施の形態
1.1.概要
1.2.第1の構成例及び動作例
1.3.第2の構成例及び動作例
1.4.第3の構成例及び動作例
1.5.第4の構成例及び動作例
1.6.第5の構成例
1.7.変形例
2.まとめ
[1.1.概要]
まず、本開示の実施の形態の概要について説明する。図1は、本開示の実施の形態の概要について説明する説明図である。
まず、本開示の実施の形態に係る信号処理装置100の第1の構成例及び動作例を説明する。図3は、本開示の実施の形態に係る信号処理装置100の第1の構成例を示す説明図である。図3に示した第1の構成例は、(表示装置20、または信号処理装置100で)再生中のコンテンツに、現実空間の音に対するエフェクトのパラメータやエフェクト名などのメタ情報を予め付与しておき、そのコンテンツからメタ情報を抽出することで、現実空間の音に対するエフェクト処理のパラメータを設定するものである。
次に、本開示の実施の形態に係る信号処理装置100の第2の構成例及び動作例を説明する。図5は、本開示の実施の形態に係る信号処理装置100の第2の構成例を示す説明図である。図5に示した第2の構成例は、(表示装置20、または信号処理装置100で)再生中のコンテンツに対する画像認識処理を行って、その画像認識処理の結果から、現実空間の音に対するエフェクト処理のパラメータを設定するものである。
次に、本開示の実施の形態に係る信号処理装置100の第3の構成例及び動作例を説明する。図7は、本開示の実施の形態に係る信号処理装置100の第2の構成例を示す説明図である。図7に示した第3の構成例は、(表示装置20、または信号処理装置100で)再生中のコンテンツに対する音声認識処理を行って、その音声認識処理の結果から、現実空間の音に対するエフェクト処理のパラメータを設定するものである。
次に、本開示の実施の形態に係る信号処理装置100の第4の構成例及び動作例を説明する。ここまでの説明では、いずれもエフェクト設定部120が、再生中のコンテンツの内容に基づいて、現実空間の音に対するエフェクト処理のパラメータを設定していた。エフェクト設定部120は、現実空間の音に対するエフェクト処理のパラメータを設定する際に、ネットワーク上のサーバから、エフェクト処理のパラメータを検索してもよい。
ここまでは、再生中のコンテンツからメタ情報を抽出したり、再生中のコンテンツに対して映像や音声の認識処理を行ったりすることで、エフェクト処理のパラメータを設定する信号処理装置100の構成例及び動作例を説明した。次の例は、コンテンツに予め音響特性が付与されており、その音響特性に対応するエフェクト処理のパラメータを設定する信号処理装置100の構成例を説明する。
上述した信号処理装置100は、いずれもコンテンツからメタ情報を抽出したり、コンテンツの映像や音声を解析したりすることで、現実空間の音に対するエフェクト処理のパラメータを設定していた。この他にも、例えば信号処理装置100は、ユーザの行動に応じて現実空間の音に対するエフェクト処理のパラメータを設定してもよい。
以上説明したように本開示の実施の形態によれば、現実空間において再生されているコンテンツの音響特性を、現実空間で集音された音に加えることで、現実空間において再生されているコンテンツの空間を現実空間にまで拡張させた感覚をコンテンツの視聴者に感じさせることが可能な信号処理装置100が提供される。
(1)
集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加える制御部を備える、信号処理装置。
(2)
前記制御部は、再生されているコンテンツに応じて音響特性を決定する場合、前記コンテンツのシーンに応じて音響特性を決定する、前記(1)に記載の信号処理装置。
(3)
前記制御部は、前記コンテンツの画像または音を解析することで前記コンテンツのシーンを判定する、前記(2)に記載の信号処理装置。
(4)
前記制御部は、前記コンテンツに付与されたメタデータに基づいて前記コンテンツのシーンを判定する、前記(2)に記載の信号処理装置。
(5)
前記制御部は、再生されているコンテンツに応じて音響特性を決定する場合、前記コンテンツに付与された音響特性を前記周囲音に加える、前記(1)〜(4)のいずれかに記載の信号処理装置。
(6)
前記制御部は、ユーザの行動に応じて音響特性を決定する場合、前記ユーザが携帯または装着するセンサが出力するセンシングデータに応じて音響特性を決定する、前記(1)に記載の信号処理装置。
(7)
前記制御部は、ユーザの行動に応じて音響特性を決定する場合、前記ユーザが選択した音響特性を前記周囲音に加える、前記(1)に記載の信号処理装置。
(8)
前記制御部は、前記周囲音を取得するマイクが置かれている空間の音響特性を考慮して音響特性を決定する、前記(1)〜(7)のいずれかに記載の信号処理装置。
(9)
集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加える処理をプロセッサが実行することを含む、信号処理方法。
(10)
集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加えることをコンピュータに実行させる、コンピュータプログラム。
11 テーブル
12、12a、12b スピーカ
100 信号処理装置
Claims (10)
- 集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加える制御部を備える、信号処理装置。
- 前記制御部は、再生されているコンテンツに応じて音響特性を決定する場合、前記コンテンツのシーンに応じて音響特性を決定する、請求項1に記載の信号処理装置。
- 前記制御部は、前記コンテンツの画像または音を解析することで前記コンテンツのシーンを判定する、請求項2に記載の信号処理装置。
- 前記制御部は、前記コンテンツに付与されたメタデータに基づいて前記コンテンツのシーンを判定する、請求項2に記載の信号処理装置。
- 前記制御部は、再生されているコンテンツに応じて音響特性を決定する場合、前記コンテンツに付与された音響特性を前記周囲音に加える、請求項1に記載の信号処理装置。
- 前記制御部は、ユーザの行動に応じて音響特性を決定する場合、前記ユーザが携帯または装着するセンサが出力するセンシングデータに応じて音響特性を決定する、請求項1に記載の信号処理装置。
- 前記制御部は、ユーザの行動に応じて音響特性を決定する場合、前記ユーザが選択した音響特性を前記周囲音に加える、請求項1に記載の信号処理装置。
- 前記制御部は、前記周囲音を取得するマイクが置かれている空間の音響特性を考慮して音響特性を決定する、請求項1に記載の信号処理装置。
- 集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加える処理をプロセッサが実行することを含む、信号処理方法。
- 集音されたユーザの周囲音を、異なる音響特性の空間で前記ユーザに聴取させるための所定の音響特性を、再生されているコンテンツまたはユーザの行動に応じて決定して、決定した音響特性を前記周囲音に加えることをコンピュータに実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015200900 | 2015-10-09 | ||
JP2015200900 | 2015-10-09 | ||
PCT/JP2016/077869 WO2017061278A1 (ja) | 2015-10-09 | 2016-09-21 | 信号処理装置、信号処理方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017061278A1 true JPWO2017061278A1 (ja) | 2018-07-26 |
JP6897565B2 JP6897565B2 (ja) | 2021-06-30 |
Family
ID=58487550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544446A Active JP6897565B2 (ja) | 2015-10-09 | 2016-09-21 | 信号処理装置、信号処理方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10674304B2 (ja) |
EP (1) | EP3361756B1 (ja) |
JP (1) | JP6897565B2 (ja) |
CN (1) | CN108141693B (ja) |
WO (1) | WO2017061278A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109327795B (zh) * | 2018-11-13 | 2021-09-14 | Oppo广东移动通信有限公司 | 音效处理方法及相关产品 |
JP7267096B2 (ja) * | 2019-05-17 | 2023-05-01 | 株式会社ソニー・インタラクティブエンタテインメント | オーディオエフェクト制御システム、オーディオエフェクト制御装置、受信装置、オーディオエフェクト制御方法、受信装置の制御方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01130700A (ja) * | 1987-11-17 | 1989-05-23 | Victor Co Of Japan Ltd | Avサラウンドシステム |
JPH04306100A (ja) * | 1991-04-03 | 1992-10-28 | Fujitsu Ten Ltd | 音場再生用コンパクトディスク及び音場制御装置 |
JP2000194460A (ja) * | 1998-12-25 | 2000-07-14 | Mitsubishi Electric Corp | メニュ―選択装置 |
US20090106670A1 (en) * | 2007-10-20 | 2009-04-23 | Philipp Christian Berndt | Systems and methods for providing services in a virtual environment |
JP2013243619A (ja) * | 2012-05-22 | 2013-12-05 | Toshiba Corp | 音響処理装置及び音響処理方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5559891A (en) * | 1992-02-13 | 1996-09-24 | Nokia Technology Gmbh | Device to be used for changing the acoustic properties of a room |
US5729613A (en) * | 1993-10-15 | 1998-03-17 | Industrial Research Limited | Reverberators for use in wide band assisted reverberation systems |
US5559892A (en) * | 1994-03-28 | 1996-09-24 | Knowles Electronics, Inc. | Impedence buffering MOS circuit with dynamically reduced threshold voltage, as for use in an output buffer of a hearing aid amplifier |
JP2003087712A (ja) * | 2001-09-14 | 2003-03-20 | Jisedai Joho Hoso System Kenkyusho:Kk | スポーツ映像のダイジェスト作成方法およびダイジェスト作成装置 |
US7521623B2 (en) * | 2004-11-24 | 2009-04-21 | Apple Inc. | Music synchronization arrangement |
JP2005252467A (ja) * | 2004-03-02 | 2005-09-15 | Sony Corp | 音響再生方法、音響再生装置および記録メディア |
CN1969589B (zh) * | 2004-04-16 | 2011-07-20 | 杜比实验室特许公司 | 用于创建音频场景的设备和方法 |
JP2006025281A (ja) * | 2004-07-09 | 2006-01-26 | Hitachi Ltd | 情報源選択システム、および方法 |
JP4222276B2 (ja) * | 2004-08-27 | 2009-02-12 | ソニー株式会社 | 再生システム |
JP4873316B2 (ja) * | 2007-03-09 | 2012-02-08 | 株式会社国際電気通信基礎技術研究所 | 音響空間共有装置 |
WO2008125593A2 (en) | 2007-04-14 | 2008-10-23 | Musecom Ltd. | Virtual reality-based teleconferencing |
CN102568535A (zh) * | 2010-12-23 | 2012-07-11 | 美律实业股份有限公司 | 互动式声音录放装置 |
US9694282B2 (en) * | 2011-04-08 | 2017-07-04 | Disney Enterprises, Inc. | Importing audio to affect gameplay experience |
JP6202003B2 (ja) * | 2012-11-02 | 2017-09-27 | ソニー株式会社 | 信号処理装置、信号処理方法 |
EP2916567B1 (en) * | 2012-11-02 | 2020-02-19 | Sony Corporation | Signal processing device and signal processing method |
CN104010265A (zh) * | 2013-02-22 | 2014-08-27 | 杜比实验室特许公司 | 音频空间渲染设备及方法 |
JP6204682B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
US20160210775A1 (en) * | 2015-01-21 | 2016-07-21 | Ford Global Technologies, Llc | Virtual sensor testbed |
US10484598B2 (en) * | 2015-08-20 | 2019-11-19 | Sony Corporation | System and method for controlling capture of images |
-
2016
- 2016-09-21 WO PCT/JP2016/077869 patent/WO2017061278A1/ja unknown
- 2016-09-21 CN CN201680057456.9A patent/CN108141693B/zh active Active
- 2016-09-21 EP EP16853432.9A patent/EP3361756B1/en active Active
- 2016-09-21 JP JP2017544446A patent/JP6897565B2/ja active Active
- 2016-09-21 US US15/761,647 patent/US10674304B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01130700A (ja) * | 1987-11-17 | 1989-05-23 | Victor Co Of Japan Ltd | Avサラウンドシステム |
JPH04306100A (ja) * | 1991-04-03 | 1992-10-28 | Fujitsu Ten Ltd | 音場再生用コンパクトディスク及び音場制御装置 |
JP2000194460A (ja) * | 1998-12-25 | 2000-07-14 | Mitsubishi Electric Corp | メニュ―選択装置 |
US20090106670A1 (en) * | 2007-10-20 | 2009-04-23 | Philipp Christian Berndt | Systems and methods for providing services in a virtual environment |
JP2013243619A (ja) * | 2012-05-22 | 2013-12-05 | Toshiba Corp | 音響処理装置及び音響処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3361756B1 (en) | 2024-04-17 |
CN108141693A (zh) | 2018-06-08 |
JP6897565B2 (ja) | 2021-06-30 |
WO2017061278A1 (ja) | 2017-04-13 |
US10674304B2 (en) | 2020-06-02 |
CN108141693B (zh) | 2021-10-29 |
EP3361756A1 (en) | 2018-08-15 |
EP3361756A4 (en) | 2019-06-05 |
US20180352361A1 (en) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101844388B1 (ko) | 개인용 오디오의 전달을 위한 시스템들 및 방법들 | |
KR100739723B1 (ko) | 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치 | |
KR20190028697A (ko) | 가상, 증강, 및 혼합 현실 | |
CN109644314A (zh) | 在数字音频信号处理双耳渲染环境中产生头戴式耳机驱动信号 | |
US10798518B2 (en) | Apparatus and associated methods | |
McGill et al. | Acoustic transparency and the changing soundscape of auditory mixed reality | |
KR20160015317A (ko) | 오디오 장면 장치 | |
TW201820315A (zh) | 改良型音訊耳機裝置及其聲音播放方法、電腦程式 | |
JP6246922B2 (ja) | 音響信号処理方法 | |
US7327848B2 (en) | Visualization of spatialized audio | |
EP4080910A1 (en) | Impulse response generation system and method | |
JP2021520760A (ja) | 音源の位置特定 | |
WO2017061278A1 (ja) | 信号処理装置、信号処理方法及びコンピュータプログラム | |
JPWO2014112206A1 (ja) | 記憶制御装置、再生制御装置および記録媒体 | |
RU2616161C2 (ru) | Способ обработки аудиосигнала для улучшенного преобразования | |
JP2015065541A (ja) | 音響制御装置及び方法 | |
JP2016067817A (ja) | シミュレーションゲームシステム、情報処理方法及びプログラム | |
CN105979468A (zh) | 一种音频处理方法及装置 | |
WO2023085186A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20230251718A1 (en) | Method for Generating Feedback in a Multimedia Entertainment System | |
WO2023084933A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2022113393A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
WO2022113394A1 (ja) | ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法 | |
WO2018105254A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20150005438A (ko) | 오디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6897565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |