JP6926640B2 - 目標位置設定装置及び音像定位装置 - Google Patents
目標位置設定装置及び音像定位装置 Download PDFInfo
- Publication number
- JP6926640B2 JP6926640B2 JP2017088857A JP2017088857A JP6926640B2 JP 6926640 B2 JP6926640 B2 JP 6926640B2 JP 2017088857 A JP2017088857 A JP 2017088857A JP 2017088857 A JP2017088857 A JP 2017088857A JP 6926640 B2 JP6926640 B2 JP 6926640B2
- Authority
- JP
- Japan
- Prior art keywords
- target position
- sound image
- listener
- radius
- setting device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、本実施形態において前提となるGUI画面について説明する。
半球状のドーム52の表面における音像の目標位置を例えば黒丸Oで表示し、スライダ55,57の移動に応じて黒丸Oを移動させることで、リスナーに対する音像目標位置を容易にイメージすることができる。
図2は、本実施形態における目標位置設定装置の表示部50に表示されるGUI画面を示す。GUI画面は、リスナーを中心とする半球状のドーム52を天頂方向から見た平面図60、つまり半球状のドーム52をリスナーの位置する水平面に投影した投影図と、リスナーの左側から見た側面図62、つまり、半球状のドーム52を垂直面に投影した投影図62と、スライドバー64,66,68から構成される。
実施形態では、マウスを用いて音像の目標位置を設定しているが、表示部50をタッチパネルで構成し、タッチ操作によって目標位置を設定してもよい。具体的には、ユーザは図3において所望の位置をタッチし、その後、中心に向かって指を移動させればよい。この場合、タッチパネルが第1操作部及び第2操作部として機能する。なお、タッチパネルのタッチ操作は、半径R(最大距離)の設定操作として機能するため、半径Rの設定後、タッチパネルから指を離して再度タッチをした場合、半径Rの設定が変更されることになる。よって、設定した半径Rを変更せずに黒丸Oの位置(音像位置)のみを変更する操作を可能にするために、例えば、タッチパネルのダブルタッチを検出した場合には、半径Rを設定する操作であると認識して、半径Rを設定し、シングルタッチを検出をした場合には、黒丸Oのドラッグ操作指示であると認識して、半径Rを変更することなく黒丸Oのドラッグ操作を可能にしてもよい。
実施形態では、図9に示すように、音像定位装置はコンピュータ10と音源信号処理装置30から構成されているが、これらは互いに同一の筐体内に組み込まれている場合の他、互いに別筐体として有線あるいは無線でデータ送受可能に接続されていてもよい。例えば、コンピュータ10をタブレットあるいはスマートフォンで構成し、ユーザがタブレットやスマートフォンをタッチ操作して音像の目標位置を設定し、無線で目標位置データを音源信号処理装置30に出力する等である。
実施形態では、図7、図8に示すような音像の軌跡を示したが、これら以外にも例えばリスナーに対して音像の目標位置をランダムに移動させることも可能である。
実施形態では、GUI画面において音像の目標位置を黒丸Oで示しているが、形状及び色彩は任意に設定し得る。要するに、ユーザが視認可能なマークを表示すればよく、スライドバーやマウス等の操作部で当該マークを移動可能、あるいはタッチ操作で当該マークを移動可能に構成すればよい。
実施形態では、リスナーを中心とする半球状のドーム52を水平面に投影した表象図60bとしてリスナーを中心とする円を示しているが、この円の領域内にグラデーションを施してその高さを視覚的に表現してもよく、3次元の高さを2次元表現する任意の表現方法を用い得る。
実施形態では、リスナーを中心とする半球状のドーム52を水平面に投影した表象図60bとしてリスナーを中心とする円を示しているが、図11に示すようにこの円は楕円にしてもよい。人間の聴覚は、音の左右の移動に対しては敏感に反応するが、音の前後の移動については比較的反応が鈍いといった傾向が見られる。よって、表象図60bとして、左右方向の半径が長く、前後方向の半径が短い楕円とすることで、聴覚バランスを取ることが考えられる。この場合、「半球状」には「半回転楕円体状」も含まれるものとする。すなわち、半径Rは厳密に一定である必要はない。
Claims (7)
- リスナーを示す第1表象図と、前記リスナーを中心とする半径Rの半球状ドームを水平面に投影して得られる第2表象図と、前記第2表象図に関連付けて目標位置を示すマークを表示する表示部と、
前記半径Rを指定する第1操作部と、
前記マークを前記第2表象図の範囲内で任意に移動させる第2操作部と、
前記リスナーを基準とする前記マークの3次元位置データを音像定位用の目標位置データとして出力する制御部と、
を備える目標位置設定装置。 - 前記表示部は、さらに、前記半径Rの半球状ドームを垂直面に投影して得られる第3表象図を表示するとともに、前記第3表象図に関連付けて前記マークを表示する
請求項1に記載の目標位置設定装置。 - 前記第2表象図の大きさは前記リスナーを基準とする音像の距離を示し、前記マークの位置は前記リスナーを基準とする音像の左右方向、前後方向、及び高さ方向の位置を示す
請求項1,2のいずれかに記載の目標位置設定装置。 - 前記第1操作部及び前記第2操作部はマウスであり、前記マウスのクリック操作により前記半径Rを指定し、前記マウスのドラッグ操作により前記マークを移動させる
請求項1〜3のいずれかに記載の目標位置設定装置。 - 前記第1操作部及び前記第2操作部はタッチパネルであり、前記タッチパネルでのタッチ操作により前記半径Rを指定し、前記タッチパネルでの指の移動により前記マークを移動させる
請求項1〜3のいずれかに記載の目標位置設定装置。 - 前記第1操作部及び前記第2操作部は前記表示部に表示されるスライドバーである
請求項1〜3のいずれかに記載の目標位置設定装置。 - 請求項1〜6のいずれかに記載の目標位置設定装置と、
前記目標位置設定装置から出力された前記目標位置データを用いて音源信号を処理して音像定位信号を出力する音源信号処理装置と、
を備える音像定位装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017088857A JP6926640B2 (ja) | 2017-04-27 | 2017-04-27 | 目標位置設定装置及び音像定位装置 |
US15/899,975 US10754610B2 (en) | 2017-04-27 | 2018-02-20 | Target position setting apparatus and sound image localization apparatus |
CN201810163862.4A CN108810794B (zh) | 2017-04-27 | 2018-02-27 | 目标位置设定装置及声像定位装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017088857A JP6926640B2 (ja) | 2017-04-27 | 2017-04-27 | 目標位置設定装置及び音像定位装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018186471A JP2018186471A (ja) | 2018-11-22 |
JP6926640B2 true JP6926640B2 (ja) | 2021-08-25 |
Family
ID=63915743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017088857A Active JP6926640B2 (ja) | 2017-04-27 | 2017-04-27 | 目標位置設定装置及び音像定位装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10754610B2 (ja) |
JP (1) | JP6926640B2 (ja) |
CN (1) | CN108810794B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020102994A1 (zh) * | 2018-11-20 | 2020-05-28 | 深圳市欢太科技有限公司 | 3d音效实现方法、装置、存储介质及电子设备 |
JP7088408B2 (ja) * | 2019-03-25 | 2022-06-21 | ヤマハ株式会社 | オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法 |
EP3742271B1 (en) * | 2019-05-23 | 2024-02-28 | Nokia Technologies Oy | A control element |
KR102227489B1 (ko) | 2019-07-10 | 2021-03-15 | 김영언 | 음원 시각화 장치 및 방법 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5440639A (en) * | 1992-10-14 | 1995-08-08 | Yamaha Corporation | Sound localization control apparatus |
US5521981A (en) * | 1994-01-06 | 1996-05-28 | Gehring; Louis S. | Sound positioner |
GB2374506B (en) * | 2001-01-29 | 2004-11-17 | Hewlett Packard Co | Audio user interface with cylindrical audio field organisation |
JP2004193877A (ja) | 2002-12-10 | 2004-07-08 | Sony Corp | 音像定位信号処理装置および音像定位信号処理方法 |
EP1791394B1 (en) | 2004-09-16 | 2011-11-09 | Panasonic Corporation | Sound image localization apparatus |
US7774707B2 (en) * | 2004-12-01 | 2010-08-10 | Creative Technology Ltd | Method and apparatus for enabling a user to amend an audio file |
CN101116374B (zh) | 2004-12-24 | 2010-08-18 | 松下电器产业株式会社 | 声像定位装置 |
JP2006203850A (ja) | 2004-12-24 | 2006-08-03 | Matsushita Electric Ind Co Ltd | 音像定位装置 |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
US8190438B1 (en) * | 2009-10-14 | 2012-05-29 | Google Inc. | Targeted audio in multi-dimensional space |
US8908874B2 (en) * | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
US9420394B2 (en) * | 2011-02-16 | 2016-08-16 | Apple Inc. | Panning presets |
CA3151342A1 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3d audio authoring and rendering |
US10321252B2 (en) * | 2012-02-13 | 2019-06-11 | Axd Technologies, Llc | Transaural synthesis method for sound spatialization |
DE102012224454A1 (de) * | 2012-12-27 | 2014-07-03 | Sennheiser Electronic Gmbh & Co. Kg | Erzeugung von 3D-Audiosignalen |
JP5958717B2 (ja) | 2013-07-19 | 2016-08-02 | パナソニックIpマネジメント株式会社 | 指向性制御システム、指向性制御方法、収音システム及び収音制御方法 |
JP6330325B2 (ja) * | 2013-09-12 | 2018-05-30 | ヤマハ株式会社 | ユーザインタフェース装置及び音響制御装置 |
US9998847B2 (en) * | 2016-11-17 | 2018-06-12 | Glen A. Norris | Localizing binaural sound to objects |
-
2017
- 2017-04-27 JP JP2017088857A patent/JP6926640B2/ja active Active
-
2018
- 2018-02-20 US US15/899,975 patent/US10754610B2/en active Active
- 2018-02-27 CN CN201810163862.4A patent/CN108810794B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018186471A (ja) | 2018-11-22 |
US10754610B2 (en) | 2020-08-25 |
US20180314488A1 (en) | 2018-11-01 |
CN108810794A (zh) | 2018-11-13 |
CN108810794B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6926640B2 (ja) | 目標位置設定装置及び音像定位装置 | |
US11494158B2 (en) | Augmented reality microphone pick-up pattern visualization | |
EP2891955B1 (en) | In-vehicle gesture interactive spatial audio system | |
CN110337318B (zh) | 混合现实装置中的虚拟和真实对象记录 | |
EP2920983B1 (en) | Methods and apparatuses for representing a sound field in a physical space | |
EP3005736B1 (en) | Audio reproduction system and method for reproducing audio data of at least one audio object | |
CN108540899B (zh) | 包含用户交互式听觉显示器的听觉设备 | |
US20190116452A1 (en) | Graphical user interface to adapt virtualizer sweet spot | |
EP2831873A1 (en) | A method, an apparatus and a computer program for modification of a composite audio signal | |
JP7083024B2 (ja) | 空間オーディオに関する方法、装置およびコンピュータプログラム | |
WO2021003376A1 (en) | User interface for controlling audio rendering for extended reality experiences | |
EP3312718A1 (en) | Changing spatial audio fields | |
JP7439131B2 (ja) | 空間オーディオをキャプチャする装置および関連する方法 | |
US11070933B1 (en) | Real-time acoustic simulation of edge diffraction | |
CN106658344A (zh) | 一种全息音频渲染控制方法 | |
US9674634B2 (en) | User interface device, sound control apparatus, sound system, sound control method, and program | |
JP6111045B2 (ja) | 音響制御装置、ミキサー、djコントローラー、音響制御装置の制御方法、プログラム | |
JP6456171B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6907613B2 (ja) | 情報処理装置および情報処理方法 | |
JP2016109971A (ja) | 信号処理装置および信号処理装置の制御方法 | |
TW201412147A (zh) | 多媒體處理系統及音訊信號調整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6926640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |