JPWO2018163545A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents
情報処理装置、情報処理方法及び記録媒体 Download PDFInfo
- Publication number
- JPWO2018163545A1 JPWO2018163545A1 JP2019504328A JP2019504328A JPWO2018163545A1 JP WO2018163545 A1 JPWO2018163545 A1 JP WO2018163545A1 JP 2019504328 A JP2019504328 A JP 2019504328A JP 2019504328 A JP2019504328 A JP 2019504328A JP WO2018163545 A1 JPWO2018163545 A1 JP WO2018163545A1
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- sound
- information processing
- moving body
- operation mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 136
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000005236 sound signal Effects 0.000 claims abstract description 114
- 230000008859 change Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 78
- 238000010586 diagram Methods 0.000 abstract description 23
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 44
- 238000004891 communication Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 19
- 238000000926 separation method Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 16
- 230000001629 suppression Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000010248 power generation Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/50—Systems of measurement, based on relative movement of the target
- G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/50—Systems of measurement, based on relative movement of the target
- G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S15/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse-modulated waves and based upon the Doppler effect resulting from movement of targets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/50—Systems of measurement, based on relative movement of the target
- G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S15/588—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52023—Details of receivers
- G01S7/52025—Details of receivers for pulse systems
- G01S7/52026—Extracting wanted echo signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
1.概要
2.機能構成
3.技術的特徴
3.1.音声信号の取得
3.2.動作モードの設定
3.3.対象音源の選択
3.4.音声信号の生成
3.5.音声信号の出力
4.具体的な信号処理例
5.補足
6.応用例
7.まとめ
図1は、本開示の一実施形態に係る情報処理装置の一例を説明するための図である。図1に示すように、音源20A及び20Bの周囲を移動体10が走行している。
図2は、本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。図2に示すように、本実施形態に係る情報処理装置100は、センサ部110、出力部120、通信部130、記憶部140及び処理部150を含む。
センサ部110は、多様な情報を検出する機能を有する。センサ部110は、検出したセンサ情報を処理部150に出力する。
出力部120は、多様な情報を出力する機能を有する。出力部120は、処理部150による制御に基づいて情報を出力する。
通信部130は、他の装置との間で信号を送受信する機能を有する。例えば、通信部130は、4G若しくは5G等のセルラー通信、無線LAN(Local Area Network)、Wi−Fi(登録商標)又はBluetooth(登録商標)等の任意の通信規格を用いて通信し得る。とりわけ、移動体が車である場合、通信部130は、V2X(Vehicle to Everything)通信を用いて通信し得る。
記憶部140は、情報処理装置100の動作のための情報を一時的に又は恒久的に記憶する機能を有する。例えば、記憶部140は、後述する既知音源情報を記憶する。
処理部150は、情報処理装置100の様々な機能を提供する。処理部150は、取得部151、設定部153、生成部155及び出力制御部157を含む。なお、処理部150は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、処理部150は、これらの構成要素の動作以外の動作も行い得る。取得部151、設定部153、生成部155及び出力制御部157の各々の構成要素の機能は、後に詳しく説明する。
<3.1.音声信号の取得>
まず、情報処理装置100(例えば、取得部151)は、移動体の外部に存在する音源からの音声信号(即ち、外音を表す信号)を取得する。例えば、情報処理装置100は、図1に示したマイク110A〜110Dにより検出された、移動体の外部に存在する音源において実際に鳴っている音の音声信号を取得する。
音声信号の取得後、情報処理装置100(例えば、設定部153)は、動作モードを設定する。
動作モード群は、移動体の内部空間への出力が行われない第1の動作モードを含んでいてもよい。情報処理装置100は、第1の動作モードで動作することで、外音の車内空間への取り込みを停止することができる。
情報処理装置100(例えば、設定部153)は、多様な基準に基づいて動作モードを設定(換言すると、切り替え)し得る。
情報処理装置100は、移動体の外部に存在する音源からの音声信号に基づいて動作モードを設定してもよい。具体的には、情報処理装置100は、外音の有無、大きさ又は種別等に応じて、第1の動作モードと第2の動作モードとを切り替え得る。
情報処理装置100は、既知音源情報に基づいて動作モードを設定してもよい。
情報処理装置100は、外部機器からの情報に基づいて動作モードを設定してもよい。
例えば、外部機器は、車、歩行者(pedestrian)が携帯するデバイス、又はRSU(Road Side Unit)等の、V2X(Vehicle to Everything)通信可能な装置であってもよい。例えば、情報処理装置100は、運転者の死角を走行する車の存在をRSUからの情報に基づき認識し、第4の動作モードを設定してかかる車からの音を車内空間に取り込むことで、事故を未然に防止することが可能である。
情報処理装置100は、ユーザ操作に基づいて動作モードを設定してもよい。例えば、情報処理装置100は、ユーザによる動作モードの選択操作に応じた動作モードを設定してもよい。
動作モードの設定後、情報処理装置100(例えば、生成部155)は、設定された動作モードに従い、移動体の周囲に存在する音源(未知音源及び/又は既知音源)から、車内空間への取り込み対象となる音源を対象音源として選択する。もちろん、音源がすべて対象音源として選択されてもよい。なお、第3のモード又は第5のモードにおいて、既知音源が対象音源として選択されない場合があってもよいし、既知音源は常に対象音源として選択されてもよい。
情報処理装置100は、音源のうち移動体との距離が移動体の速度に応じた距離である音源を、対象音源として選択してもよい。
情報処理装置100は、音源の種類に応じて、音源を前記対象音源とするか否かを選択してもよい。例えば、情報処理装置100は、人の声を選択的に車内空間に取り込んだり、車外で鳴る音楽を車内空間に取り込まなかったりする。このような切り替えにより、情報処理装置100は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
情報処理装置100は、音源からの音の対象が移動体であるか否かに応じて、音源を対象音源とするか否かを選択してもよい。例えば、情報処理装置100は、移動体に向けて鳴らされたクラクションを選択的に車内空間に取り込んだり、他の車に向けて鳴らされたクラクションを車内空間に取り込まなかったりする。かかる切り替えは、例えばクラクションを鳴らした車の向き等に基づいて行われ得る。このような切り替えにより、情報処理装置100は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
対象音源の選択後、情報処理装置100(例えば、生成部155)は、対象音源からの音声信号を、取得された音声信号に基づいて生成する。
対象音源からの音声信号を生成後、情報処理装置100(例えば、出力制御部157)は、生成された音声信号を移動体の内部空間に向けて出力させる。例えば、情報処理装置100は、図1に示したスピーカ120A〜120Dにより、生成された音声信号を出力する。
以下、図6〜図12を参照しながら、具体的な信号処理の一例を説明する。
図6は、本実施形態に係る情報処理装置100による信号処理の一例を説明するための図である。図6に示すように、情報処理装置100は、センサ部110に含まれる複数のマイク(例えば、マイクアレイ)により検出された複数の音声信号を、ハウリング抑制部161に入力する。
ハウリング抑制部161は、ハウリングを抑制する処理を行う。ハウリングとは、スピーカから放出された信号が再度マイクに入力されるフィードバックループが形成されることによって発振する現象である。ハウリング抑制処理について、図7を参照して説明する。
図6に示すように、情報処理装置100は、ハウリング抑制処理を適用後の信号を、風雑音除去部162に入力する。風雑音除去部162は、風雑音を除去する処理を行う。
図6に示すように、情報処理装置100は、風雑音除去処理を適用後、処理群170に含まれる各処理を行う。処理群170における処理は、設定された動作モードごとに異なる。図6に示した処理群170は、第5の動作モードにおいて実行される処理を含んでいる。
既知音源制御部171は、既知音源に関する信号処理を制御する。詳しくは、既知音源制御部171は、位置情報、時刻、及び既知音源情報172のうちマップ情報に基づいて、外音信号分離・選択部173A、外音信号補正フィルタ174A及びアンプ175Aを制御する。なお、処理群170に入力された信号は、外音信号分離・選択部173A、外音信号補正フィルタ174A及びアンプ175Aの順に通過する。なお、既知音源制御部171は、アンプ175Aによる増幅量を0にして(即ち、振幅を0にする)、既知音源に関する信号の再生を停止することで、第1の動作モード又は第4の動作モードでの動作を実現してもよい。
未知音源制御部176は、未知音源に関する信号処理を制御する。詳しくは、未知音源制御部176は、車速(即ち、移動体の速度)及びマイク音圧に基づいて、外音信号分離・選択部173B、外音信号補正フィルタ174B及びアンプ175Bを制御する。なお、処理群170に入力された信号は、外音信号分離・選択部173B、外音信号補正フィルタ174B及びアンプ175Bの順に通過する。なお、未知音源制御部176は、アンプ175Bによる増幅量を0にして(即ち、振幅を0にする)、未知音源に関する信号の再生を停止することで、第1の動作モード又は第3の動作モードでの動作を実現してもよい。
外音信号分離・選択部173(173A又は173B)は、外音信号(外音の音声信号)の分離及び/又は選択を行う。外音信号分離・選択部173は、従来から知られているビームフォーミング技術又は音源分離技術を採用することができる。以下、図8を参照しながら、その一例を説明する。
外音信号補正フィルタ174(174A又は174B)は、外音信号を補正する処理を行う。外音信号補正フィルタによる外音信号補正処理について、図9を参照して説明する。
Z=SMGAD …(1)
G=1/MAD …(2)
アンプ175(175A又は175B)は、入力された信号を増幅して出力する。増幅量は、既知音源制御部171又は未知音源制御部176により制御される。
図6に示すように、情報処理装置100は、処理群170から出力された、既知音源に関する処理が適用された信号と未知音源に関する処理が適用された信号とを、加算器163により加算する。
オーディオミキサ164は、所定の信号を、加算器165を介して外音取り込みのための信号に加算する。ここでの所定の信号としては、既知音源情報172に含まれる付加音声、カーナビゲーション装置から出力されたナビ音声信号、及び音楽再生装置から出力されたオーディオ信号等が挙げられる。
図10は、本実施形態に係る情報処理装置100による信号処理の一例を説明するための図である。図10では、NC(noise cancelling)機能付き第3の動作モードにおける信号処理が示されている。図10に示すように、NC機能付き第3の動作モードでは、図6を参照して上記説明した第5の動作モードにおける信号処理から、未知音源に関するブロック(即ち、未知音源制御部176、外音信号分離・選択部173B、外音信号補正フィルタ174B及びアンプ175B)が削除されている。一方で、図10に示すように、NC機能付き第3の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、NC制御部177及びNCフィルタ178が追加されている。
図11は、本実施形態に係る情報処理装置100による信号処理の一例を説明するための図である。図11では、NC機能付き第4の動作モードにおける信号処理が示されている。図11に示すように、NC機能付き第4の動作モードでは、図6を参照して上記説明した第5の動作モードにおける信号処理から、既知音源に関するブロック(即ち、既知音源制御部171、既知音源情報172、外音信号分離・選択部173A、外音信号補正フィルタ174A及びアンプ175A)が削除されている。一方で、図11に示すように、NC機能付き第4の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、NC制御部177及びNCフィルタ178が追加されている。
図12は、本実施形態に係る情報処理装置100による信号処理の一例を説明するための図である。図12では、NC機能付き第5の動作モードにおける信号処理が示されている。図12に示すように、NC機能付き第5の動作モードでは、図6を参照して上記説明したNC機能無しの第5の動作モードにおける信号処理に、ノイズキャンセリングのための信号処理を行うブロックである、NC制御部177及びNCフィルタ178、並びにスイッチ166及び加算器167が追加されている。
上記では、情報処理装置100が、外音を車内空間に取り込む技術について説明した。これと反対に、情報処理装置100は、車内空間の音(即ち、内音)を車外空間に放出してもよい。内音を車外空間に放出する動作モードを、以下では第6の動作モードとも称する。
これにより、例えば車内の人が車外の人に対して話をすることが可能となる。第6の動作モードは、多様な基準に基づいて動作モードを設定され得る。例えば、第6の動作モードは、内音の有無若しくは大きさ、又はユーザ操作等に応じて設定され得る。
本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置100は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、情報処理装置100の少なくとも一部の構成要素は、車両に搭載される装置のためのモジュール(例えば、1つのダイで構成される集積回路モジュール)において実現されてもよい。
以上、図1〜図14を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置100は、移動体の外部に存在する音源からの音声信号を取得し、音源のうち移動体との距離が移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成して、移動体の内部空間に向けて出力する。これにより、移動体の内部空間に外音を取り込むことが可能となる。さらには、移動体の速度に応じた適切な音源からの外音を選択的に移動体に内部空間に取り込むことが可能となる。具体的に車に関して言えば、車の壁が無いかのような臨場感のある音環境を車内空間に実現することが可能となる。また、車内空間のいる人は適切に選択された音源からの外音を聞くことが可能であるので、例えば事故防止等の運転支援用途にも効果的であるし、遊園地の乗り物において効果音を聞く等の娯楽用途にも効果的である。
(1)
移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
を備える情報処理装置。
(2)
前記情報処理装置は、前記内部空間に向けての出力が行われない第1の動作モードと行われる第2の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、前記(1)に記載の情報処理装置。
(3)
前記第2の動作モードは、既知音源を前記対象音源とする第3の動作モード及び未知音源を前記対象音源とする第4の動作モードを含む、前記(2)に記載の情報処理装置。
(4)
前記第2の動作モードは、既知音源及び未知音源を前記対象音源とする第5の動作モードを含む、前記(2)又は(3)に記載の情報処理装置。
(5)
前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、前記(3)又は(4)に記載の情報処理装置。
(6)
前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、前記(5)に記載の情報処理装置。
(7)
前記取得部は、既知音源に関する予め記憶された音声信号を取得する、前記(3)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記設定部は、外部機器からの情報に基づいて動作モードを設定する、前記(2)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記生成部は、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化に基づいて判断する、前記(9)に記載の情報処理装置。
(11)
前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の時系列変化に基づいて判断する、前記(9)又は(10)に記載の情報処理装置。
(12)
前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の絶対値に基づいて判断する、前記(9)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記窓は、透過性を制御可能なビデオシースルーディスプレイである、前記(15)に記載の情報処理装置。
(17)
前記内部空間は、前記移動体に人が滞在するための空間である、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記移動体は自動車である、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
移動体の外部に存在する音源からの音声信号を取得することと、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
を含む情報処理方法。
(20)
コンピュータを、
移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
20 音源
100 情報処理装置
110 センサ部、マイク
120 出力部、スピーカ
130 通信部
140 記憶部
150 処理部
151 取得部
153 設定部
155 生成部
157 出力制御部
Claims (20)
- 移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
を備える情報処理装置。 - 前記情報処理装置は、前記内部空間に向けての出力が行われない第1の動作モードと行われる第2の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、請求項1に記載の情報処理装置。
- 前記第2の動作モードは、既知音源を前記対象音源とする第3の動作モード及び未知音源を前記対象音源とする第4の動作モードを含む、請求項2に記載の情報処理装置。
- 前記第2の動作モードは、既知音源及び未知音源を前記対象音源とする第5の動作モードを含む、請求項2に記載の情報処理装置。
- 前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、請求項3に記載の情報処理装置。
- 前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、請求項5に記載の情報処理装置。 - 前記取得部は、既知音源に関する予め記憶された音声信号を取得する、請求項3に記載の情報処理装置。
- 前記設定部は、外部機器からの情報に基づいて動作モードを設定する、請求項2に記載の情報処理装置。
- 前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択する、請求項1に記載の情報処理装置。
- 前記生成部は、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化に基づいて判断する、請求項9に記載の情報処理装置。
- 前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の時系列変化に基づいて判断する、請求項9に記載の情報処理装置。
- 前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の絶対値に基づいて判断する、請求項9に記載の情報処理装置。
- 前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、請求項1に記載の情報処理装置。
- 前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、請求項1に記載の情報処理装置。
- 前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、請求項1に記載の情報処理装置。
- 前記窓は、透過性を制御可能なビデオシースルーディスプレイである、請求項15に記載の情報処理装置。
- 前記内部空間は、前記移動体に人が滞在するための空間である、請求項1に記載の情報処理装置。
- 前記移動体は自動車である、請求項1に記載の情報処理装置。
- 移動体の外部に存在する音源からの音声信号を取得することと、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
を含む情報処理方法。 - コンピュータを、
移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017044901 | 2017-03-09 | ||
JP2017044901 | 2017-03-09 | ||
PCT/JP2017/044081 WO2018163545A1 (ja) | 2017-03-09 | 2017-12-07 | 情報処理装置、情報処理方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018163545A1 true JPWO2018163545A1 (ja) | 2020-01-09 |
JP7040513B2 JP7040513B2 (ja) | 2022-03-23 |
Family
ID=63447478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019504328A Active JP7040513B2 (ja) | 2017-03-09 | 2017-12-07 | 情報処理装置、情報処理方法及び記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11543521B2 (ja) |
EP (1) | EP3595331A1 (ja) |
JP (1) | JP7040513B2 (ja) |
KR (1) | KR20190125304A (ja) |
CN (1) | CN110366852B (ja) |
WO (1) | WO2018163545A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113614807B (zh) * | 2019-03-15 | 2023-09-19 | 本田技研工业株式会社 | 车辆通信装置和存储有程序的计算机可读非暂时性存储介质 |
JP7304955B2 (ja) * | 2019-08-28 | 2023-07-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、システム、画像処理方法および画像処理プログラム |
CN113496694A (zh) * | 2020-03-19 | 2021-10-12 | 上汽通用汽车有限公司 | 一种车辆声学系统、车辆用座椅以及车辆 |
KR20210136569A (ko) * | 2020-05-08 | 2021-11-17 | 삼성전자주식회사 | 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008149917A (ja) * | 2006-12-18 | 2008-07-03 | Denso Corp | 車両用周囲音報知装置 |
JP2009051333A (ja) * | 2007-08-27 | 2009-03-12 | Nissan Motor Co Ltd | 車両用聴覚モニタ装置 |
JP2009251799A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車外情報提供装置及び車外情報提供方法 |
JP2013256249A (ja) * | 2012-06-14 | 2013-12-26 | Mitsubishi Electric Corp | 音声伝達装置 |
US20150137998A1 (en) * | 2013-11-21 | 2015-05-21 | Harman International Industries, Incorporated | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04358936A (ja) * | 1991-05-31 | 1992-12-11 | Sony Corp | 車両用音声伝達装置 |
JP3163868B2 (ja) * | 1993-09-20 | 2001-05-08 | 富士通株式会社 | 音選択再生装置 |
US20020150262A1 (en) * | 2001-03-29 | 2002-10-17 | Carter Jerome D. | Method and apparatus for communicating to vehicle occupants |
WO2006006553A1 (ja) * | 2004-07-14 | 2006-01-19 | Matsushita Electric Industrial Co., Ltd. | 報知装置 |
JP3949701B1 (ja) * | 2006-03-27 | 2007-07-25 | 株式会社コナミデジタルエンタテインメント | 音声処理装置、音声処理方法、ならびに、プログラム |
CN101464168B (zh) * | 2009-01-20 | 2010-06-16 | 清华大学 | 一种车辆加速噪声的噪声源识别方法 |
JP2011252853A (ja) | 2010-06-03 | 2011-12-15 | Toyota Motor Corp | 音源方向検出装置 |
JP5533897B2 (ja) * | 2012-01-20 | 2014-06-25 | 日産自動車株式会社 | 車両用聴覚モニタ装置 |
JP2014061786A (ja) * | 2012-09-21 | 2014-04-10 | Sony Corp | 移動体およびプログラム |
JP2015173369A (ja) | 2014-03-12 | 2015-10-01 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
US11162832B2 (en) | 2016-02-04 | 2021-11-02 | Micro Motion, Inc. | Pressure compensation for a vibrating flowmeter and related method |
CN106023617A (zh) * | 2016-06-01 | 2016-10-12 | 乐视控股(北京)有限公司 | 车辆行驶安全的检测方法和装置 |
-
2017
- 2017-12-07 JP JP2019504328A patent/JP7040513B2/ja active Active
- 2017-12-07 WO PCT/JP2017/044081 patent/WO2018163545A1/ja unknown
- 2017-12-07 EP EP17899809.2A patent/EP3595331A1/en not_active Withdrawn
- 2017-12-07 CN CN201780087599.9A patent/CN110366852B/zh active Active
- 2017-12-07 US US16/482,626 patent/US11543521B2/en active Active
- 2017-12-07 KR KR1020197023857A patent/KR20190125304A/ko not_active Application Discontinuation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008149917A (ja) * | 2006-12-18 | 2008-07-03 | Denso Corp | 車両用周囲音報知装置 |
JP2009051333A (ja) * | 2007-08-27 | 2009-03-12 | Nissan Motor Co Ltd | 車両用聴覚モニタ装置 |
JP2009251799A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車外情報提供装置及び車外情報提供方法 |
JP2013256249A (ja) * | 2012-06-14 | 2013-12-26 | Mitsubishi Electric Corp | 音声伝達装置 |
US20150137998A1 (en) * | 2013-11-21 | 2015-05-21 | Harman International Industries, Incorporated | Using external sounds to alert vehicle occupants of external events and mask in-car conversations |
JP2015101332A (ja) * | 2013-11-21 | 2015-06-04 | ハーマン インターナショナル インダストリーズ, インコーポレイテッド | 外部事象を車両乗員にアラートし、車内会話をマスクするための外部音響の使用 |
Also Published As
Publication number | Publication date |
---|---|
US11543521B2 (en) | 2023-01-03 |
EP3595331A4 (en) | 2020-01-15 |
WO2018163545A1 (ja) | 2018-09-13 |
CN110366852A (zh) | 2019-10-22 |
US20210286073A1 (en) | 2021-09-16 |
EP3595331A1 (en) | 2020-01-15 |
JP7040513B2 (ja) | 2022-03-23 |
CN110366852B (zh) | 2021-12-21 |
KR20190125304A (ko) | 2019-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110691299B (zh) | 音频处理系统、方法、装置、设备及存储介质 | |
JP7040513B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
US11003414B2 (en) | Acoustic control system, apparatus and method | |
CN104658548B (zh) | 用外部声音向车辆驾乘人员警告外部事件并掩蔽车内谈话 | |
JP6102117B2 (ja) | 移動体、システム、プログラム、および情報処理装置 | |
CN107018467A (zh) | 用于车辆的外部声音合成的系统和方法 | |
JP2013198065A (ja) | 音声提示装置 | |
US11024280B2 (en) | Signal processing apparatus, method, and program | |
US11190155B2 (en) | Learning auxiliary feature preferences and controlling the auxiliary devices based thereon | |
CN109960764A (zh) | 行车信息提示方法、装置、电子设备和介质 | |
WO2020120754A1 (en) | Audio processing device, audio processing method and computer program thereof | |
US10854202B2 (en) | Dynamic microphone system for autonomous vehicles | |
US20210006926A1 (en) | Electronic device, method and computer program | |
KR101487474B1 (ko) | 자동차의 가상 음향 발생 장치 및 이를 이용한 자동차의 가상 음향 발생 방법 | |
KR20210151089A (ko) | 차량 시스템의 음성 제어 | |
JP6981095B2 (ja) | サーバ装置、記録方法、プログラム、および記録システム | |
WO2021175735A1 (en) | Electronic device, method and computer program | |
CN110139205B (zh) | 用于辅助信息呈现的方法及装置 | |
WO2023204076A1 (ja) | 音響制御方法及び音響制御装置 | |
US20230026188A1 (en) | Remote support device, remote support system, and remote support method | |
WO2023090057A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
WO2023000206A1 (zh) | 语音声源定位方法、装置及系统 | |
WO2018062476A1 (ja) | 車載装置、出力方法及びプログラム | |
CN117789741A (zh) | 语音信号处理方法、装置、车辆及存储介质 | |
CN115179930A (zh) | 车辆控制方法、装置、车辆及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7040513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |