JP7040513B2 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JP7040513B2
JP7040513B2 JP2019504328A JP2019504328A JP7040513B2 JP 7040513 B2 JP7040513 B2 JP 7040513B2 JP 2019504328 A JP2019504328 A JP 2019504328A JP 2019504328 A JP2019504328 A JP 2019504328A JP 7040513 B2 JP7040513 B2 JP 7040513B2
Authority
JP
Japan
Prior art keywords
sound source
moving body
information processing
sound
operation mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019504328A
Other languages
English (en)
Other versions
JPWO2018163545A1 (ja
Inventor
慶一 大迫
宏平 浅田
徹徳 板橋
一馬 吉井
堅一 牧野
康信 村田
繁利 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018163545A1 publication Critical patent/JPWO2018163545A1/ja
Application granted granted Critical
Publication of JP7040513B2 publication Critical patent/JP7040513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S15/523—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/588—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
近年、ノイズキャンセリング技術等の静音性を確保する技術が向上する一方で、静音性の向上の弊害が指摘されている。例えば、ユーザがヘッドホンを装着して音楽を聴きながら街を歩く場合、周囲に存在する音源からの外音が聞こえ辛くなる。そのため、例えばユーザが接近する自動車に気付かず危険であることや、周囲と隔絶され閉塞感を覚えてしまうこと等が指摘されている。
このような指摘への対策として、例えば、下記特許文献１では、ヘッドホンにおいて外音を取り込むことで、ユーザが感じる閉塞感を低減する技術が開示されている。
特開２０１５－１７３３６９号公報
同様の事情が自動車等の移動体に関してもあると考えられる。例えば、自動車のエンジン音や走行音による内部空間への影響を減らすために、車体の遮音性能が飛躍的に向上している一方で、外音が聞こえないことに起因する危険や閉塞感の発生といった弊害も生じていると考えられる。
そこで、本開示では、適切な音源からの外音を選択的に移動体に内部空間に取り込む仕組みを提供する。
本開示によれば、移動体の外部に存在する音源からの音声信号を取得する取得部と、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、を備え、前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、情報処理装置が提供される。
また、本開示によれば、移動体の外部に存在する音源からの音声信号を取得することと、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、を含み、前記生成することは、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、情報処理方法が提供される。
また、本開示によれば、コンピュータを、移動体の外部に存在する音源からの音声信号を取得する取得部と、前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、として機能させ、前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、ためのプログラムが記録された記録媒体が提供される。
本開示によれば、移動体の内部空間に向けて、移動体の外部に存在する音源から取得された音声信号に基づいて生成された信号が出力される。これにより、移動体の内部空間に外音を取り込むことが可能となる。さらには、移動体の速度に応じた適切な音源からの外音を選択的に取り込むことが可能となる。
以上説明したように本開示によれば、適切な音源からの外音を選択的に移動体に内部空間に取り込む仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の一例を説明するための図である。 本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る動作モードの設定の一例を説明するための図である。 本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。 本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係るハウリング抑制処理の一例を説明するための図である。 本実施形態に係る外音信号の分離・選択処理の一例を説明するための図である。 本実施形態に係る外音信号補正処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る情報処理装置による信号処理の一例を説明するための図である。 本実施形態に係る内音の車外空間への放出処理の一例を説明するための図である。 車両システムの概略的な構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概要
２．機能構成
３．技術的特徴
３．１．音声信号の取得
３．２．動作モードの設定
３．３．対象音源の選択
３．４．音声信号の生成
３．５．音声信号の出力
４．具体的な信号処理例
５．補足
６．応用例
７．まとめ
＜＜１．概要＞＞
図１は、本開示の一実施形態に係る情報処理装置の一例を説明するための図である。図１に示すように、音源２０Ａ及び２０Ｂの周囲を移動体１０が走行している。
移動体１０は、移動体１０に人が滞在するための空間である内部空間を有している。図１に示した移動体１０には、内部空間に座席が設けられており、運転者や同乗者等が滞在することが可能である。
図１に示した例では、移動体１０は、自動車である。移動体１０は、人が滞在する内部空間を有する任意の移動体であってもよく、例えば工事用車両、船、飛行機、電車、遊園地における乗り物、又は遊具等であってもよい。
音源２０Ａは時計台であり、定刻に時報を鳴らす。音源２０Ｂは歩行者であり、話声や足音等を突発的に鳴らす。しかしながら、これらの車外空間の音（以下、外音とも称する）は、車１０の内部空間が外部空間と隔絶されていること起因して、車内にいる人にとって聞こえ辛いものとなる。なお、以下では、移動体１０の内部空間を車内空間とも称し、外部空間を車外空間とも称する。
そこで、本実施形態に係る情報処理装置は、外音を車内空間に向けて再生する、即ち外音を車内空間に取り込む処理を行う。例えば、本実施形態に係る情報処理装置は、マイク１１０Ａ～１１０Ｄにより外音を検出して、検出された外音を表す音声信号に所定の信号処理を適用し、スピーカ１２０Ａ～１２０Ｄにより車内空間に出力する。これにより、車に関しては、車の壁が無いかのような臨場感のある音環境を車内空間に実現することが可能となる。
外音の取り込みは、例えば運転支援用途のために行われ得る。外音が内部空間へ取り込まれることで、運転者は周囲の状況を知得することが可能となる。例えば、運転者は、歩行者２０Ｂの音を聞いて、歩行者２０Ｂの道路への飛び出しに備えてスピードを落とす等して事故を防止することが可能である。
外音の取り込みは、例えば娯楽用途のためにも行われ得る。例えば、サファリパークにおける専用車等、天候や安全性確保のためにガラス張りされた乗り物においては、ガラスの影響で外音の音圧や特性が変化し、臨場感を著しく失うことになる。そのような場合に、外音の取り込みが行われることで、あたかもガラスが無いような音環境が実現されて、車内空間の人は臨場感のある体験を享受することが可能となる。
なお、本実施形態に係る情報処理装置は、移動体に搭載され、又は移動体と通信可能なサーバ装置として実現され、外音の取り込み処理を制御する。以下では、本実施形態に係る情報処理装置が移動体１０に搭載されるものとして説明する。
＜＜２．機能構成＞＞
図２は、本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１００は、センサ部１１０、出力部１２０、通信部１３０、記憶部１４０及び処理部１５０を含む。
（１）センサ部１１０
センサ部１１０は、多様な情報を検出する機能を有する。センサ部１１０は、検出したセンサ情報を処理部１５０に出力する。
センサ部１１０は、移動体の外部空間の情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の外部空間の情報として、外音を検出する。外音を検出するセンサは、図１に示したマイク１１０Ａ～１１０Ｄのように、複数のマイクを含み得る。もちろん、マイクはひとつであってもよい。外音を検出するマイクは、典型的には振動板等の構成の少なくとも一部が外部空間に露出した状態（即ち、外気に触れる状態）で移動体に設置される。例えば、外音を検出するマイクは、車体の外壁に設置される。その他、センサ部１１０は、移動体の外部空間の情報として、撮像画像や深度情報、赤外線画像等を検出してもよい。
センサ部１１０は、移動体の状態に関する情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の状態に関する情報として、移動体の速度、加速度、又は位置情報等を検出する。
センサ部１１０は、移動体の内部空間の情報を検出するセンサを含み得る。例えば、センサ部１１０は、移動体の内部空間の情報として、内部空間にいる人による入力情報、音声、撮像画像、又は生体情報等を検出する。
センサ部１１０は、時刻情報を検出する時計を含み得る。
（２）出力部１２０
出力部１２０は、多様な情報を出力する機能を有する。出力部１２０は、処理部１５０による制御に基づいて情報を出力する。
出力部１２０は、移動体の内部空間に情報を出力し得る。例えば、出力部１２０は、図１に示したスピーカ１２０Ａ～１２０Ｄのように、複数のスピーカを含み得る。もちろん、スピーカはひとつであってもよい。スピーカは、典型的にはドアの内側等の車内空間に設置される。その他、出力部１２０は、画像（静止画像又は動画像）又は振動等を出力してもよい。
（３）通信部１３０
通信部１３０は、他の装置との間で信号を送受信する機能を有する。例えば、通信部１３０は、４Ｇ若しくは５Ｇ等のセルラー通信、無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の任意の通信規格を用いて通信し得る。とりわけ、移動体が車である場合、通信部１３０は、Ｖ２Ｘ（Vehicle to Everything）通信を用いて通信し得る。
（４）記憶部１４０
記憶部１４０は、情報処理装置１００の動作のための情報を一時的に又は恒久的に記憶する機能を有する。例えば、記憶部１４０は、後述する既知音源情報を記憶する。
（５）処理部１５０
処理部１５０は、情報処理装置１００の様々な機能を提供する。処理部１５０は、取得部１５１、設定部１５３、生成部１５５及び出力制御部１５７を含む。なお、処理部１５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、処理部１５０は、これらの構成要素の動作以外の動作も行い得る。取得部１５１、設定部１５３、生成部１５５及び出力制御部１５７の各々の構成要素の機能は、後に詳しく説明する。
＜＜３．技術的特徴＞＞
＜３．１．音声信号の取得＞
まず、情報処理装置１００（例えば、取得部１５１）は、移動体の外部に存在する音源からの音声信号（即ち、外音を表す信号）を取得する。例えば、情報処理装置１００は、図１に示したマイク１１０Ａ～１１０Ｄにより検出された、移動体の外部に存在する音源において実際に鳴っている音の音声信号を取得する。
＜３．２．動作モードの設定＞
音声信号の取得後、情報処理装置１００（例えば、設定部１５３）は、動作モードを設定する。
情報処理装置１００（設定部１５３）は、複数の動作モードを含む動作モード群から動作モードを選択して、設定する。以下、動作モード群に含まれる動作モードの一例を説明する。
（１）動作モード群
動作モード群は、移動体の内部空間への出力が行われない第１の動作モードを含んでいてもよい。情報処理装置１００は、第１の動作モードで動作することで、外音の車内空間への取り込みを停止することができる。
動作モード群は、移動体の内部空間への出力が行われる第２の動作モードを含んでいてもよい。情報処理装置１００は、第２の動作モードで動作することで、外音の車内空間への取り込みを実施することができる。第２の動作モードは、以下に説明する第３～第５の動作モードに細分化され得る。
第２の動作モードは、既知音源を対象音源とする第３の動作モードを含んでいてもよい。情報処理装置１００は、第３の動作モードで動作することで、既知音源からの外音の車内空間への取り込みを実施することができる。既知音源とは、予め定められた条件に応じて音を発する音源である。既知音源としては、例えば図１に示した時計台２０Ａ、花火大会、及び踏切等の、場所や時間といった条件に応じて予定通りに音を発する音源が挙げられる。第３の動作モードでは、観光名所の時計台からの音や踏切音といった音を車内空間へ取り込むことが可能となる。そのため、第３の動作モードは、運転支援用途にも娯楽用途にも効果的であると言える。
第２の動作モードは、未知音源を対象音源とする第４の動作モードを含んでいてもよい。情報処理装置１００は、第４の動作モードで動作することで、未知音源からの外音の車内空間への取り込みを実施することができる。未知音源とは、突発的に音を発する音源である。未知音源としては、例えば図１に示した歩行者２０Ｂ、及び対向車等が考えられる。第４の動作モードでは、歩行者や対向車からの音といった突発的に発生する音を車内空間へ取り込むことが可能となる。そのため、第４の動作モードは、とりわけ運転支援用途に効果的である。
第２の動作モードは、既知音源及び未知音源を対象音源とする第５の動作モードを含んでいてもよい。情報処理装置１００は、第５の動作モードで動作することで、既知音源及び未知音源の双方からの外音の車内空間への取り込みを実施することができる。
（２）動作モードの設定
情報処理装置１００（例えば、設定部１５３）は、多様な基準に基づいて動作モードを設定（換言すると、切り替え）し得る。
・外音
情報処理装置１００は、移動体の外部に存在する音源からの音声信号に基づいて動作モードを設定してもよい。具体的には、情報処理装置１００は、外音の有無、大きさ又は種別等に応じて、第１の動作モードと第２の動作モードとを切り替え得る。
・既知音源情報
情報処理装置１００は、既知音源情報に基づいて動作モードを設定してもよい。
既知音源情報は、例えばマップ情報を含み得、情報処理装置１００は、既知音源の位置を示すマップ情報と移動体の位置情報に基づいて動作モードを設定してもよい。
マップ情報は、既知音源からの音を取り込むべき範囲を示す情報を含む。既知音源からの音を取り込むべき範囲は、例えば既知音源の位置及び当該位置を中心とする円として規定されてもよく、その場合、既知音源からの音を取り込むべき範囲を示す情報は、既知音源の位置情報及び当該円の半径の距離情報を含む。マップ情報に基づく動作モード設定の一例を、図３を参照して説明する。図３は、本実施形態に係る動作モードの設定の一例を説明するための図である。図３では、マップ情報３０の一例が示されており、マップ情報３０は、既知音源の位置３１を示す位置情報及び既知音源から所定距離内である範囲３２を示す情報を含む。例えば、情報処理装置１００は、マップ情報３０を参照して、範囲３２内に移動体が位置する場合に第３の動作モードを設定し、範囲３２外に移動体が位置する場合に第４の動作モードを設定する。
マップ情報は、既知音源が音を発する時間帯を示す情報をさらに含んでいてもよく、その場合、情報処理装置１００は、現在時刻にさらに基づいて動作モードを設定する。例えば、情報処理装置１００は、既知音源からの音を取り込むべき範囲内に移動体が位置し、且つ、既知音源が音を発する時間帯に現在時刻が含まれる場合に、第３の動作モードを設定する。これにより、情報処理装置１００は、既知音源が音を発する時間帯に合わせてピンポイントに既知音源からの音を車内空間に取り込むことが可能となる。
また、マップ情報は、一般道、高速道路、高架、及び地下道等の道路の種別を示す情報を含んでいてもよく、情報処理装置１００は、かかる情報に基づいて動作モードを設定してもよい。
既知音源情報は、付加音声を含んでいてもよい。付加音声とは、既知音源に関連付けられた音声信号であり、記憶部１４０又は外部のサーバ装置等に予め記憶される。情報処理装置１００は、第３のモード又は第５のモードにおいて、既知音源に関する予め記憶された付加音声を取得して、出力する。付加音声は、例えば図１に示した例における時計台２０Ａの歴史等の既知音源に関する説明、又は遊園地における効果音等である。例えば、情報処理装置１００は、図１に示した例において、時計台２０Ａが鳴る時間帯に時計台２０Ａから所定距離内に車１０が位置する場合に、時計台２０Ａで実際に鳴っている音を車内空間に取り込みつつ、時計台２０Ａの歴史を説明する音声を出力する。このように、付加音声により、娯楽用途における娯楽性を高めることが可能である。
なお、既知音源情報の記憶場所は任意である。例えば、既知音源情報は情報処理装置１００に記憶されてもよいし、インターネット上のサーバ装置に記憶されていてもよい。また、既知音源情報のうちマップ情報が情報処理装置１００に記憶され、付加音声はサーバ装置に記憶されていてもよく、必要に応じてダウンロードされてもよい。
・外部機器からの情報
情報処理装置１００は、外部機器からの情報に基づいて動作モードを設定してもよい。
例えば、外部機器は、車、歩行者（pedestrian）が携帯するデバイス、又はＲＳＵ（Road Side Unit）等の、Ｖ２Ｘ（Vehicle to Everything）通信可能な装置であってもよい。例えば、情報処理装置１００は、運転者の死角を走行する車の存在をＲＳＵからの情報に基づき認識し、第４の動作モードを設定してかかる車からの音を車内空間に取り込むことで、事故を未然に防止することが可能である。
・ユーザ操作
情報処理装置１００は、ユーザ操作に基づいて動作モードを設定してもよい。例えば、情報処理装置１００は、ユーザによる動作モードの選択操作に応じた動作モードを設定してもよい。
＜３．３．対象音源の選択＞
動作モードの設定後、情報処理装置１００（例えば、生成部１５５）は、設定された動作モードに従い、移動体の周囲に存在する音源（未知音源及び／又は既知音源）から、車内空間への取り込み対象となる音源を対象音源として選択する。もちろん、音源がすべて対象音源として選択されてもよい。なお、第３のモード又は第５のモードにおいて、既知音源が対象音源として選択されない場合があってもよいし、既知音源は常に対象音源として選択されてもよい。
対象音源の選択基準は多様に考えられる。以下、その一例を説明する。情報処理装置１００は、以下に説明する判断基準のひとつ又は複数を組み合わせて用いてもよい。
・距離
情報処理装置１００は、音源のうち移動体との距離が移動体の速度に応じた距離である音源を、対象音源として選択してもよい。
詳しくは、情報処理装置１００は、移動体の速度が速いほど移動体から遠い音源を対象音源として選択し、移動体の速度が遅いほど移動体から近い音源を対象音源として選択する。典型的には、車速が速い場合、移動体は近くの音源からすぐに離れてしまうので、遠くの音源からの音の方が有用であると考えられる。一方で、車速が遅い場合、遠くの音源に近づくまで時間がかかるので、近くの音源からの音の方が有用であると考えられる。情報処理装置１００は、移動体の速度に応じた距離の音源を対象音源とすることで、より有用な音を車内空間に取り込むことが可能となる。
移動体と音源との距離の判断基準は多様に考えられる。以下、図４及び図５を参照してその一例を説明する。なお、情報処理装置１００は、以下に説明する判断基準のひとつ又は複数を組み合わせて用いてもよい。
図４及び図５は、本実施形態に係る移動体と音源との距離の判断処理の一例を説明するための図である。図４及び図５では、移動体１０のある時点（以下、基準時点とも称する）における位置４１、及びそのｔ秒後の位置４２、並びに基準時点において移動体１０から近い音源２０Ａと遠い音源２０Ｂが示されている。そして、図４は移動体１０の速度が速い場合の例であり、図５は移動体１０の速度が遅い場合の例である。
例えば、情報処理装置１００は、移動体と音源との距離を、移動体を基準とする音源の方位の時系列変化に基づいて判断してもよい。図４を参照すると、移動体１０の速度が速い場合、移動体１０を基準とする音源２０Ａの方位のｔ秒間の時系列変化（角度４３から角度４４まで）は大きい。また、図４を参照すると、移動体１０の速度が速い場合、移動体１０を基準とする音源２０Ｂの方位のｔ秒間の時系列変化（角度４５から角度４６まで）は小さい。そこで、情報処理装置１００は、移動体１０の速度が速い場合、移動体を基準とする方位の時系列変化が大きい音源との距離は近いと判断し、小さい音源との距離は遠いと判断することができる。なお、基準時点とｔ秒後における音源の同一性の判断は、例えば音のスペクトル形状に基づいて行われてもよい。
例えば、情報処理装置１００は、移動体と音源との距離を、音源からの音圧の時系列変化に基づいて判断してもよい。図４を参照すると、移動体１０の速度が速い場合、音源２０Ａからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ａとの距離が大きく変わるので大きい。また、図４を参照すると、移動体１０の速度が速い場合、音源２０Ｂからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ｂとの距離があまり変わらないので小さい。そこで、情報処理装置１００は、移動体１０の速度が速い場合、音圧の時系列変化が大きい音源との距離は近いと判断し、小さい音源との距離は遠いと判断することができる。
ここで、図５を参照すると、移動体１０の速度が遅い場合、音源の方位の時系列変化も音圧の時系列変化も、移動体と音源との距離が遠い場合と近い場合とで差が少ないと考えられる。具体的には、移動体１０の速度が遅い場合、移動体１０を基準とする音源２０Ａの方位のｔ秒間の時系列変化（角度４３から角度４４まで）は小さいし、音源２０Ｂの方位のｔ秒間の時系列変化（角度４５から角度４６まで）も小さい。また、移動体１０の速度が遅い場合、音源２０Ａからの音圧のｔ秒間の時系列変化は、移動体１０と音源２０Ａとの距離があまり変わらないので小さいし、音源２０Ｂからの音圧のｔ秒間の時系列変化も、移動体１０と音源２０Ｂとの距離があまり変わらないので小さい。
そこで、情報処理装置１００は、移動体と音源との距離を、音源からの音圧の絶対値に基づいて判断してもよい。例えば、音圧の絶対値は、移動体と音源との距離が近いほど大きく、遠いほど小さいと考えられる。そのため、情報処理装置１００は、移動体の速度が遅い場合は、音圧の絶対値を参照することで、移動体と音源との距離を判断することが可能となる。もちろん、情報処理装置１００は、移動体の速度が速い場合にも音圧の絶対値を参照することで、判断精度を高めることが可能である。
なお、上記では、情報処理装置１００が、音源のうち移動体との距離が移動体の速度に応じた距離である音源を、対象音源として選択するものと説明したが、ここでの移動体の速度は、音源との相対速度であってもよい。例えば、情報処理装置１００は、移動体と音源とが並走する等して相対速度が小さい場合、上述した移動体の速度が遅い場合の判断基準で、移動体との距離を判断し得る。また、情報処理装置１００は、移動体と音源とが対向して走行する等して相対速度が大きい場合、上述した移動体の速度が速い場合の判断基準で、移動体との距離を判断し得る。
・種類
情報処理装置１００は、音源の種類に応じて、音源を前記対象音源とするか否かを選択してもよい。例えば、情報処理装置１００は、人の声を選択的に車内空間に取り込んだり、車外で鳴る音楽を車内空間に取り込まなかったりする。このような切り替えにより、情報処理装置１００は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
・対象
情報処理装置１００は、音源からの音の対象が移動体であるか否かに応じて、音源を対象音源とするか否かを選択してもよい。例えば、情報処理装置１００は、移動体に向けて鳴らされたクラクションを選択的に車内空間に取り込んだり、他の車に向けて鳴らされたクラクションを車内空間に取り込まなかったりする。かかる切り替えは、例えばクラクションを鳴らした車の向き等に基づいて行われ得る。このような切り替えにより、情報処理装置１００は、車内空間に取り込むべき音のみを、選択的に取り込むことが可能となる。
＜３．４．音声信号の生成＞
対象音源の選択後、情報処理装置１００（例えば、生成部１５５）は、対象音源からの音声信号を、取得された音声信号に基づいて生成する。
対象音源からの音声信号の生成は、取得された音声信号にいわゆるビームフォーミング処理を適用することによって行われ得る。例えば、情報処理装置１００は、取得された音声信号に対して、対象音源からの音以外をキャンセルする信号処理を適用してもよい。また、情報処理装置１００は、取得された音声信号に対して、対象音源からの音を強調する信号処理を適用してもよい。
なお、上述したように、第３又は第５の動作モードにおいては、情報処理装置１００は、対象音源からの音声信号として、上記の信号処理による生成に代えて又は共に、付加音声を用いてもよい。
＜３．５．音声信号の出力＞
対象音源からの音声信号を生成後、情報処理装置１００（例えば、出力制御部１５７）は、生成された音声信号を移動体の内部空間に向けて出力させる。例えば、情報処理装置１００は、図１に示したスピーカ１２０Ａ～１２０Ｄにより、生成された音声信号を出力する。
＜＜４．具体的な信号処理例＞＞
以下、図６～図１２を参照しながら、具体的な信号処理の一例を説明する。
（１）第１の例
図６は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図６に示すように、情報処理装置１００は、センサ部１１０に含まれる複数のマイク（例えば、マイクアレイ）により検出された複数の音声信号を、ハウリング抑制部１６１に入力する。
・ハウリング抑制部１６１
ハウリング抑制部１６１は、ハウリングを抑制する処理を行う。ハウリングとは、スピーカから放出された信号が再度マイクに入力されるフィードバックループが形成されることによって発振する現象である。ハウリング抑制処理について、図７を参照して説明する。
図７は、本実施形態に係るハウリング抑制処理の一例を説明するための図である。図７に示すように、マイク１１０から入力された音声信号に対して、ハウリング抑制部１６１によるハウリング抑制処理が適用され、信号処理部２０１による信号処理が適用され、アンプ１７５Ａ又は１７５Ｂにより増幅され、スピーカ１２０から出力される。なお、図７では、図６に示した他の信号処理に関しては簡略化又は省略されており、信号処理部２０１は図６に示した風雑音除去部１６２等を含む。ハウリング抑制部１６１は、事前に空間伝達関数Ｈを測定しておく。そして、ハウリング抑制部１６１は、スピーカ１２０から再生される信号Ｘを監視し、信号Ｘが空間伝達関数Ｈを通って再度マイク１１０に入る信号Ｙを推定する。ハウリング抑制部１６１は、信号Ｙの周波数特性を分析し、フィードバックされる信号Ｙのゲインが規定値を超えた場合に、規定値を超えた帯域の信号を抑制することで、ハウリングを抑制する。例えば、ハウリング抑制部１６１は、ノッチフィルタを適用することで、規定値を超えた帯域の信号を抑制する。なお、ハウリング抑制部１６１は、ノッチフィルタではハウリングの抑制が困難な場合は、再生を停止したりゲインを下げたりすることによって、ハウリングを抑制する。
・風雑音除去部１６２
図６に示すように、情報処理装置１００は、ハウリング抑制処理を適用後の信号を、風雑音除去部１６２に入力する。風雑音除去部１６２は、風雑音を除去する処理を行う。
風圧音除去は、固定フィルタにより行われてもよい。風雑音は、エネルギーが低い周波数帯域に集中しているという特徴を持っている。従って、風雑音除去部１６２は、２００～３００Ｈｚ以下を低減するハイパスフィルタを適用することによって、風雑音を除去することができる。
風雑音除去は、信号処理により行われてもよい。風雑音は、音波というよりはマイク近辺で発生する空気の乱流に起因するものであるため、マイクごとに異なる雑音が入力される。すなわち、マイク間の相関が風雑音は低く、通常の音波は高いという特徴を有する。そこで、風雑音除去部１６２は、周波数帯域ごとにマイク間の相関を計算し、相関値がある閾値を下回った時に風雑音が存在すると判定し、風雑音が存在する時間及び帯域のゲインを下げるような処理を行うことで、動的に風雑音の除去を行うことができる。
・処理群１７０
図６に示すように、情報処理装置１００は、風雑音除去処理を適用後、処理群１７０に含まれる各処理を行う。処理群１７０における処理は、設定された動作モードごとに異なる。図６に示した処理群１７０は、第５の動作モードにおいて実行される処理を含んでいる。
・既知音源制御部
既知音源制御部１７１は、既知音源に関する信号処理を制御する。詳しくは、既知音源制御部１７１は、位置情報、時刻、及び既知音源情報１７２のうちマップ情報に基づいて、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａを制御する。なお、処理群１７０に入力された信号は、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａの順に通過する。なお、既知音源制御部１７１は、アンプ１７５Ａによる増幅量を０にして（即ち、振幅を０にする）、既知音源に関する信号の再生を停止することで、第１の動作モード又は第４の動作モードでの動作を実現してもよい。
・未知音源制御部
未知音源制御部１７６は、未知音源に関する信号処理を制御する。詳しくは、未知音源制御部１７６は、車速（即ち、移動体の速度）及びマイク音圧に基づいて、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂを制御する。なお、処理群１７０に入力された信号は、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂの順に通過する。なお、未知音源制御部１７６は、アンプ１７５Ｂによる増幅量を０にして（即ち、振幅を０にする）、未知音源に関する信号の再生を停止することで、第１の動作モード又は第３の動作モードでの動作を実現してもよい。
・外音信号分離・選択部
外音信号分離・選択部１７３（１７３Ａ又は１７３Ｂ）は、外音信号（外音の音声信号）の分離及び／又は選択を行う。外音信号分離・選択部１７３は、従来から知られているビームフォーミング技術又は音源分離技術を採用することができる。以下、図８を参照しながら、その一例を説明する。
図８は、本実施形態に係る外音信号の分離・選択処理の一例を説明するための図である。図８に示すように、移動体１０の周囲に音源２０Ａ、２０Ｂ及び２０Ｃが存在する。
２以上の複数のマイクを用いる音源分離技術としては、例えば下記の第１～第３の方法がある。
第１の方法は、方向性に基づいて特定の音を抽出する方法である。第１の方法によれば、例えば音源２０Ａだけを抽出することができる。第１の方法は、例えば、遅延型ビームフォーミング（DS：Delay and Sum Beamforming）である。
第２の方法は、方向性に基づいて特定の音を除去する方法である。第２の方法によれば、例えば音源２０Ａだけを除去し、音源２０Ｂ及び２０Ｃを抽出することができる。第２の方法は、例えば、死角制御型ビームフォーミング（NBF：Null Beamforming）である。
第３の方法は、音源特徴は未知だが、得られた信号の中から統計的に独立となるよう分離する方法である。第３の方法によれば、音源２０Ａ、２０Ｂ及び２０Ｃを個別に抽出することができる。第３の方法は、例えば、独立成分分析（ICA：Independent Component Analysis）である。
１つ又は２以上の複数のマイクを用いる音源分離技術としては、例えば下記の第４の方法がある。
第４の方法は、音源のスペクトル特徴に基づいて、音源ごとに抽出する方法である。第４の方法によれば、音源２０Ａ、２０Ｂ及び２０Ｃを個別に抽出することができる。第４の方法は、例えば、非負値行列因子分解（NMF：Non-negative Matrix Factorization）である。
以上、ビームフォーミング技術又は音源分離技術の一例を説明した。
例えば、外音信号分離・選択部１７３Ａは、既知音源に関しては、移動体１０の位置情報とマップ情報を用いて、取得したい既知音源がある方向を計算する。また、外音信号分離・選択部１７３Ｂは、未知音源に関しては、未知音源がある方向を、入力信号の位相差に基づいて推定する。次いで、外音信号分離・選択部１７３は、計算によって得られた方向の音を取得するために、遅延型ビームフォーミングの係数を計算する。そして、外音信号分離・選択部１７３は、マイク入力に遅延型ビームフォーミングの係数をかけ、取得したい既知音源又は未知音源の音声信号を外音信号補正フィルタ１７４に出力する。
・外音信号補正フィルタ
外音信号補正フィルタ１７４（１７４Ａ又は１７４Ｂ）は、外音信号を補正する処理を行う。外音信号補正フィルタによる外音信号補正処理について、図９を参照して説明する。
図９は、本実施形態に係る外音信号補正処理の一例を説明するための図である。図９に示すように、マイク１１０により検出された入力信号Ｓは、外音信号補正フィルタ１７４、アンプ１７５及びスピーカ１２０を通過し、再生信号Ｚとして再生される。なお、図９では、図６に示した他の信号処理に関しては簡略化又は省略されている。
入力信号Ｓは上述した経路を通過して再生信号Ｚとなるので、再生信号Ｚは、当該経路の特性を持つ信号となる。マイク特性をＭとし、フィルタ特性をＧとし、アンプ特性をＡとし、スピーカ特性をＤとすると、再生信号Ｚは下記の数式で表される。
Ｚ＝ＳＭＧＡＤ …（１）
外音信号補正フィルタとは、再生信号Ｚが入力信号Ｓと同じになるように補正するフィルタである。よって、上記数式（１）においてＺ＝Ｘとすると、フィルタ係数Ｇは次式で表される。
Ｇ＝１／ＭＡＤ …（２）
このように、特性ＭＡＤをキャンセルするものが外音信号補正フィルタとなる。これらの特性は事前計測によって得られ、フィルタ係数もあらかじめ設定される。
・アンプ
アンプ１７５（１７５Ａ又は１７５Ｂ）は、入力された信号を増幅して出力する。増幅量は、既知音源制御部１７１又は未知音源制御部１７６により制御される。
・加算器１６３
図６に示すように、情報処理装置１００は、処理群１７０から出力された、既知音源に関する処理が適用された信号と未知音源に関する処理が適用された信号とを、加算器１６３により加算する。
・オーディオミキサ１６４
オーディオミキサ１６４は、所定の信号を、加算器１６５を介して外音取り込みのための信号に加算する。ここでの所定の信号としては、既知音源情報１７２に含まれる付加音声、カーナビゲーション装置から出力されたナビ音声信号、及び音楽再生装置から出力されたオーディオ信号等が挙げられる。
情報処理装置１００は、上記説明した一連の処理を行った音声信号を、スピーカ１２０から出力する。
（２）ＮＣ機能付き第３の動作モード
図１０は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１０では、ＮＣ（noise cancelling）機能付き第３の動作モードにおける信号処理が示されている。図１０に示すように、ＮＣ機能付き第３の動作モードでは、図６を参照して上記説明した第５の動作モードにおける信号処理から、未知音源に関するブロック（即ち、未知音源制御部１７６、外音信号分離・選択部１７３Ｂ、外音信号補正フィルタ１７４Ｂ及びアンプ１７５Ｂ）が削除されている。一方で、図１０に示すように、ＮＣ機能付き第３の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８が追加されている。
ＮＣ制御部１７７は、ノイズキャンセリングのための信号処理を制御する。詳しくは、ＮＣ制御部１７７は、予め設定されたＮＣ設定に基づいて、ＮＣフィルタ１７８のフィルタ係数を設定する。ＮＣフィルタ１７８は、処理群１７０に入力された信号に対してフィルタを適用する。ＮＣ制御部１７７は、ＦＢ（Feedforward）方式、ＦＦ（Feedforward）方式又はＡＦＦ（Adaptive Feedforward）方式等の任意の方式でノイズを低減し得る。
加算器１６３は、処理群１７０から出力された、既知音源に関する処理が適用された信号とＮＣフィルタ１７８から出力されたノイズキャンセル信号とを加算する。
（３）ＮＣ機能付き第４の動作モード
図１１は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１１では、ＮＣ機能付き第４の動作モードにおける信号処理が示されている。図１１に示すように、ＮＣ機能付き第４の動作モードでは、図６を参照して上記説明した第５の動作モードにおける信号処理から、既知音源に関するブロック（即ち、既知音源制御部１７１、既知音源情報１７２、外音信号分離・選択部１７３Ａ、外音信号補正フィルタ１７４Ａ及びアンプ１７５Ａ）が削除されている。一方で、図１１に示すように、ＮＣ機能付き第４の動作モードでは、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８が追加されている。
加算器１６３は、処理群１７０から出力された、ＮＣフィルタ１７８から出力されたノイズキャンセル信号と未知音源に関する処理が適用された信号とを加算する。
（４）ＮＣ機能付き第５の動作モード
図１２は、本実施形態に係る情報処理装置１００による信号処理の一例を説明するための図である。図１２では、ＮＣ機能付き第５の動作モードにおける信号処理が示されている。図１２に示すように、ＮＣ機能付き第５の動作モードでは、図６を参照して上記説明したＮＣ機能無しの第５の動作モードにおける信号処理に、ノイズキャンセリングのための信号処理を行うブロックである、ＮＣ制御部１７７及びＮＣフィルタ１７８、並びにスイッチ１６６及び加算器１６７が追加されている。
図１２に示したＮＣフィルタ１７８は、予め設定されたＮＣ設定に基づくＮＣ制御部１７７による制御に応じて、マイク１１０により検出された音声信号にフィルタを適用する。
加算器１６７は、加算器１６３から出力された、既知音源に関する処理が適用された信号と未知音源に関する処理が適用された信号とが加算された信号に、ノイズキャンセル信号を加算して、加算器１６５に出力する。スイッチ１６６は、ＮＣフィルタ１７８から出力されたノイズキャンセル信号を再生するか否かを切り替えることができる。
＜＜５．補足＞＞
上記では、情報処理装置１００が、外音を車内空間に取り込む技術について説明した。これと反対に、情報処理装置１００は、車内空間の音（即ち、内音）を車外空間に放出してもよい。内音を車外空間に放出する動作モードを、以下では第６の動作モードとも称する。
第６の動作モードにおいては、情報処理装置１００は、移動体１０の内部空間に存在する音源（例えば、運転者等の人）からの音声信号を移動体１０の外部に向けて出力する。
これにより、例えば車内の人が車外の人に対して話をすることが可能となる。第６の動作モードは、多様な基準に基づいて動作モードを設定され得る。例えば、第６の動作モードは、内音の有無若しくは大きさ、又はユーザ操作等に応じて設定され得る。
第６の動作モードは、上述した第２の動作モードと併用され得る。これにより、車内の人と車外の人とが会話することが可能となる。よって、例えばガソリンスタンドで窓を開けずに給油サービスを受けることが可能となる。支払いも電子マネーを介して窓を開けずに行うことが可能である。また、車内の人は窓を閉めたまま車外の人と会話できるので、防犯上のメリットがある。
以下、図１３を参照して、内音の車外空間への放出処理について説明する。
図１３は、本実施形態に係る内音の車外空間への放出処理の一例を説明するための図である。図１３に示すように、移動体１０の内部空間の人（運転者）がいて、声を発している。情報処理装置１００は、移動体１０の内部空間に設けられたマイク１１０により検出された音声信号を、移動体１０のドア外面に設けられたスピーカ１２０により出力させる。ここで、情報処理装置１００は、移動体１０に設けられた窓１１へのタッチ操作に応じて、第６の動作モードに切り替えて内音を放出してもよい。例えば、図１３に示すように運転者が窓１１をタッチすると第６の動作モードに切り替えられ、運転者が窓１１から手を放すと他の動作モードに切り替えられてもよい。これにより、運転者は、車外の人に対して話をしたり辞めたりすることが容易に可能となる。
窓１１（１１Ａ及び１１Ｂ）は、ビデオシースルーディスプレイであってもよい。例えば、窓１１は、車外の映像を車内側に表示しつつ、車外側には黒一色の画面を表示する。これにより、車内の人は窓１１がガラス製である場合と同様に車外の様子を見ることが可能であるし、車外の人からの覗き見を防止することが可能である。さらに、窓１１は、透過性を制御可能なビデオシースルーディスプレイであってもよい。例えば、窓１１は、通常時は透過性を低くし、車内側には車外の映像を表示して車外側には黒一色の画面を表示する。一方で、図１３の窓１１Ｂに示すように、窓１１は、第６の動作モードで動作する場合に透過性を高くし、車内の人と車外の人とが互いに視認しあうことを可能にし得る。これにより、車内の人と車外の人との会話を円滑にすることが可能となる。
＜＜６．応用例＞＞
本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置１００は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、情報処理装置１００の少なくとも一部の構成要素は、車両に搭載される装置のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。
図１４は、本開示に係る技術が適用され得る車両制御システム９００の概略的な構成の一例を示すブロック図である。車両制御システム９００は、電子制御ユニット９０２、ストレージ装置９０４、入力装置９０６、車外センサ９０８、車両状態センサ９１０、搭乗者センサ９１２、通信ＩＦ９１４、出力装置９１６、動力生成装置９１８、制動装置９２０、ステアリング９２２及びランプ作動装置９２４を備える。
電子制御ユニット９０２は、演算処理装置及び制御装置として機能し、各種プログラムに従って車両制御システム９００内の動作全般を制御する。電子制御ユニット９０２は、後述するストレージ装置９０４と合わせて、ＥＣＵ（Electronic Control Unit）として形成され得る。ＥＣＵ（即ち、電子制御ユニット９０２及びストレージ装置９０４）は、車両制御システム９００内に複数含まれてもよい。例えば、各種センサ類又は各種駆動系の各々に、それらを制御するためのＥＣＵが設けられ、それら複数のＥＣＵを協調的に制御するＥＣＵがさらに設けられてもよい。これら複数のＥＣＵ間は、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘｒａｙ等の任意の規格に準拠した車載通信ネットワークを介して接続される。電子制御ユニット９０２は、例えば、図２に示す処理部１５０を形成し得る。
ストレージ装置９０４は、車両制御システム９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０４は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０４は、電子制御ユニット９０２が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０４は、例えば、図２に示す記憶部１４０を形成し得る。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、搭乗者（ドライバー又は同乗者）によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。また、入力装置９０６は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、電子制御ユニット９０２に出力する入力制御回路などを含んでいてもよい。搭乗者は、この入力装置９０６を操作することにより、車両制御システム９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図２に示すセンサ部１１０を形成し得る。
車外センサ９０８は、車外の情報を検出するセンサによって実現される。例えば、車外センサ９０８は、ソナー装置、レーダ装置、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置、カメラ、ステレオカメラ、ＴｏＦ（Time Of Flight）カメラ、赤外線センサ、環境センサ、マイク等を含んでいてもよい。車外センサ９０８は、例えば、図２に示すセンサ部１１０を形成し得る。
車両状態センサ９１０は、車両状態に関する情報を検出するセンサによって実現される。例えば、車両状態センサ９１０は、アクセル開度、ブレーキ踏圧力、又はステアリング操舵角等の運転者による操作を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、内燃機関又はモータの回転数又はトルク等の、動力源の状態を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、ジャイロセンサ又は加速度センサ等の車両の動きに関する情報を検出するためのセンサを含んでいてもよい。また、車両状態センサ９１０は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。なお、位置情報に関しては、車両状態センサ９１０は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、又は近距離通信等により位置を検知するものであってもよい。車両状態センサ９１０は、例えば、図２に示すセンサ部１１０を形成し得る。
搭乗者センサ９１２は、搭乗者に関する情報を検出するセンサによって実現される。例えば、搭乗者センサ９１２は、車内に設けられたカメラ、マイク、環境センサを含んでいてもよい。また、搭乗者センサ９１２は、搭乗者の生体情報を検出する生体センサを含んでいてもよい。生体センサは、例えば座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングを握るドライバーの生体情報を検出可能である。搭乗者センサ９１２は、例えば、図２に示すセンサ部１１０を形成し得る。
なお、車外センサ９０８、車両状態センサ９１０、及び搭乗者センサ９１２といった各種センサは、それぞれ検出結果を示す情報を電子制御ユニット９０２へ出力する。これら各種センサは、電子制御ユニット９０２による制御に基づいて、センシング範囲又は精度等の設定を行ってもよい。また、これら各種センサは、例えば撮像された撮像画像に含まれる白線位置に基づいて、道路における自車両の走行位置を認識する処理等の、生データに基づく認識処理を行う認識モジュールを含んでいてもよい。
通信ＩＦ９１４は、車両制御システム９００による他の装置との通信を仲介する通信インタフェースである。通信ＩＦ９１４は、例えばＶ２Ｘ通信モジュールを含み得る。なお、Ｖ２Ｘ通信とは、車車間（Vehicle to Vehicle）通信及び路車間（Vehicle to Infrastructure）通信を含む概念である。他にも、通信ＩＦ９１４は、無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、ＬＴＥ（Long Term Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）のための通信モジュールを含んでいてもよい。この通信ＩＦ９１４は、例えばインターネット又は車外の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信ＩＦ９１４は、例えば、図２に示す通信部１３０を形成し得る。
出力装置９１６は、取得した情報を搭乗者又は外部に対して視覚的又は聴覚的に通知することが可能な装置で実現される。このような装置として、インストルメントパネル、ヘッドアップディスプレイ、プロジェクタ又はランプ等の表示装置や、スピーカ又はヘッドホン等の音声出力装置がある。具体的には、表示装置は、車両制御システム９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。その際、ＡＲ（Augmented Reality）オブジェクト等の仮想的なオブジェクトが表示されてもよい。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９１６は、例えば、図２に示す出力部１２０を形成し得る。
動力生成装置９１８は、車両の駆動力を生成するための装置である。動力生成装置９１８は、例えば内燃機関により実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づいて、始動制御、停止制御、スロットルバルブの開度の制御、燃料噴射制御、又はＥＧＲ（Exhaust Gas Recirculation）制御等を行う。また、動力生成装置９１８は、例えばモータ、インバータ及びバッテリーにより実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づき、インバータを介してバッテリーからモータへ電力を供給し、正のトルクを出力させるモータ動作（いわゆる力行）と、モータにトルクを吸収させて発電し、インバータを介してバッテリーの充電を行う回生動作と、を行い得る。
制動装置９２０は、車両に制動力を付与し、あるいは、車両を減速又は停止させるための装置である。制動装置９２０は、例えば各ホイールに設置されるブレーキ、及びブレーキペダルの踏圧力をブレーキに伝達するためのブレーキパイプ又は電気回路等を含み得る。また、制動装置９２０は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等のブレーキ制御による滑走又は横滑り防止機構を作動させるための制御装置を含んでいてもよい。
ステアリング９２２は、車両の進行方向（操舵角）を制御するための装置である。ステアリング９２２は、例えばステアリングホイール、ステアリングシャフト、ステアリングギア、及びタイロッド等を含み得る。また、ステアリング９２２は、ドライバーによる操舵を支援するためのパワーステアリングを含み得る。さらに、ステアリング９２２は、自動的な操舵を実現するためのモータ等の動力源を含み得る。
ランプ作動装置９２４は、ヘッドライト、ウィンカー、車幅灯、フォグライト、又はストップランプ等の各種ランプの作動させる装置である。ランプ作動装置９２４は、例えばランプの明滅、光量、又は照射方向等を制御する。
なお、動力生成装置９１８、制動装置９２０、ステアリング９２２、及びランプ作動装置９２４は、ドライバーによる手動操作に基づいて動作してもよいし、電子制御ユニット９０２による自動操作に基づいて動作してもよい。
以上、本実施形態に係る情報処理装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＥＣＵ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜７．まとめ＞＞
以上、図１～図１４を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、移動体の外部に存在する音源からの音声信号を取得し、音源のうち移動体との距離が移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成して、移動体の内部空間に向けて出力する。これにより、移動体の内部空間に外音を取り込むことが可能となる。さらには、移動体の速度に応じた適切な音源からの外音を選択的に移動体に内部空間に取り込むことが可能となる。具体的に車に関して言えば、車の壁が無いかのような臨場感のある音環境を車内空間に実現することが可能となる。また、車内空間のいる人は適切に選択された音源からの外音を聞くことが可能であるので、例えば事故防止等の運転支援用途にも効果的であるし、遊園地の乗り物において効果音を聞く等の娯楽用途にも効果的である。
本技術は多様に応用され得る。その一例を以下に説明する。
例えば、本技術は、街中を走行する観光バスに適用され得る。観光バスにおいて、観光名所の時計台の鐘の音又はアトラクションの効果音等の既知音源や、車窓から見える海辺の波の音又は横を走る電車の音等の未知音源からの音を車内空間に取り込むことで、臨場感を高めることが可能である。また、自動運転技術が進みバスガイドや運転手が同乗しないようになった場合にも、外音を自動的に取り込むことが可能である。
例えば、本技術は、非オープンカーに適用され得る。その場合、空調温度が安定しておりホコリや虫が入ってこないという非オープンカーの長所を生かしつつ、あたかもオープンカーを運転しているかのような外音やエンジン音を搭乗者に提供することが可能である。
例えば、本技術は、遊園地の乗り物に適用され得る。外壁が透明な乗り物の車内に外音を取り込むことで、例えば疑似的なワープ体験を提供したり、危険な野生生物が生活する区域で安全且つ臨場感のある走行体験を提供したりすることが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
を備える情報処理装置。
（２）
前記情報処理装置は、前記内部空間に向けての出力が行われない第１の動作モードと行われる第２の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記第２の動作モードは、既知音源を前記対象音源とする第３の動作モード及び未知音源を前記対象音源とする第４の動作モードを含む、前記（２）に記載の情報処理装置。
（４）
前記第２の動作モードは、既知音源及び未知音源を前記対象音源とする第５の動作モードを含む、前記（２）又は（３）に記載の情報処理装置。
（５）
前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、前記（３）又は（４）に記載の情報処理装置。
（６）
前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、前記（５）に記載の情報処理装置。
（７）
前記取得部は、既知音源に関する予め記憶された音声信号を取得する、前記（３）～（６）のいずれか一項に記載の情報処理装置。
（８）
前記設定部は、外部機器からの情報に基づいて動作モードを設定する、前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
前記生成部は、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化に基づいて判断する、前記（９）に記載の情報処理装置。
（１１）
前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の時系列変化に基づいて判断する、前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記生成部は、前記移動体と前記音源との距離を、前記音源からの音圧の絶対値に基づいて判断する、前記（９）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記窓は、透過性を制御可能なビデオシースルーディスプレイである、前記（１５）に記載の情報処理装置。
（１７）
前記内部空間は、前記移動体に人が滞在するための空間である、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記移動体は自動車である、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
移動体の外部に存在する音源からの音声信号を取得することと、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
を含む情報処理方法。
（２０）
コンピュータを、
移動体の外部に存在する音源からの音声信号を取得する取得部と、
前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
１０ 移動体
２０ 音源
１００ 情報処理装置
１１０ センサ部、マイク
１２０ 出力部、スピーカ
１３０ 通信部
１４０ 記憶部
１５０ 処理部
１５１ 取得部
１５３ 設定部
１５５ 生成部
１５７ 出力制御部

Claims (16)

  1. 移動体の外部に存在する音源からの音声信号を取得する取得部と、
    前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
    前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
    を備え、
    前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、
    情報処理装置。
  2. 前記情報処理装置は、前記内部空間に向けての出力が行われない第１の動作モードと行われる第２の動作モードとを含む、動作モード群から動作モードを設定する設定部をさらに備える、請求項１に記載の情報処理装置。
  3. 前記第２の動作モードは、既知音源を前記対象音源とする第３の動作モード及び未知音源を前記対象音源とする第４の動作モードを含む、請求項２に記載の情報処理装置。
  4. 前記第２の動作モードは、既知音源及び未知音源を前記対象音源とする第５の動作モードを含む、請求項２に記載の情報処理装置。
  5. 前記設定部は、既知音源の位置を示すマップ情報と前記移動体の位置情報に基づいて前記動作モードを設定する、請求項３に記載の情報処理装置。
  6. 前記マップ情報は、既知音源が音を発する時間帯を示す情報を含み、
    前記設定部は、現在時刻にさらに基づいて前記動作モードを設定する、請求項５に記載の情報処理装置。
  7. 前記取得部は、既知音源に関する予め記憶された音声信号を取得する、請求項３に記載の情報処理装置。
  8. 前記設定部は、外部機器からの情報に基づいて動作モードを設定する、請求項２に記載の情報処理装置。
  9. 前記生成部は、前記音源の種類に応じて、前記音源を前記対象音源とするか否かを選択する、請求項１に記載の情報処理装置。
  10. 前記生成部は、前記音源からの音の対象が前記移動体であるか否かに応じて、前記音源を前記対象音源とするか否かを選択する、請求項１に記載の情報処理装置。
  11. 前記出力制御部は、前記移動体に設けられた窓へのタッチ操作に応じて、前記内部空間に存在する音源からの音声信号を前記移動体の外部に向けて出力させる、請求項１に記載の情報処理装置。
  12. 前記窓は、透過性を制御可能なビデオシースルーディスプレイである、請求項１１に記載の情報処理装置。
  13. 前記内部空間は、前記移動体に人が滞在するための空間である、請求項１に記載の情報処理装置。
  14. 前記移動体は自動車である、請求項１に記載の情報処理装置。
  15. 移動体の外部に存在する音源からの音声信号を取得することと、
    前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、取得された音声信号に基づいて生成することと、
    生成された音声信号を前記移動体の内部空間に向けて出力装置により出力させることと、
    を含み、
    前記生成することは、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、
    情報処理方法。
  16. コンピュータを、
    移動体の外部に存在する音源からの音声信号を取得する取得部と、
    前記音源のうち前記移動体との距離が前記移動体の速度に応じた距離である対象音源からの音声信号を、前記取得部により取得された音声信号に基づいて生成する生成部と、
    前記生成部により生成された音声信号を前記移動体の内部空間に向けて出力させる出力制御部と、
    として機能させ、
    前記生成部は、前記移動体の速度が速いほど前記移動体から遠い前記音源を前記対象音源として選択し、前記移動体の速度が遅いほど前記移動体から近い前記音源を前記対象音源として選択し、前記移動体と前記音源との距離を、前記移動体を基準とする前記音源の方位の時系列変化、前記音源からの音圧の時系列変化、または、前記音源からの音圧の絶対値、に基づいて判断する、
    ためのプログラムが記録された記録媒体。
JP2019504328A 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体 Active JP7040513B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017044901 2017-03-09
JP2017044901 2017-03-09
PCT/JP2017/044081 WO2018163545A1 (ja) 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018163545A1 JPWO2018163545A1 (ja) 2020-01-09
JP7040513B2 true JP7040513B2 (ja) 2022-03-23

Family

ID=63447478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019504328A Active JP7040513B2 (ja) 2017-03-09 2017-12-07 情報処理装置、情報処理方法及び記録媒体

Country Status (6)

Country Link
US (1) US11543521B2 (ja)
EP (1) EP3595331A1 (ja)
JP (1) JP7040513B2 (ja)
KR (1) KR20190125304A (ja)
CN (1) CN110366852B (ja)
WO (1) WO2018163545A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188941A1 (ja) * 2019-03-15 2020-09-24 本田技研工業株式会社 車両用コミュニケーション装置及びプログラム
WO2021038752A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法および画像処理プログラム
CN113496694A (zh) * 2020-03-19 2021-10-12 上汽通用汽车有限公司 一种车辆声学系统、车辆用座椅以及车辆
KR20210136569A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008149917A (ja) 2006-12-18 2008-07-03 Denso Corp 車両用周囲音報知装置
JP2009051333A (ja) 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2009251799A (ja) 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2013256249A (ja) 2012-06-14 2013-12-26 Mitsubishi Electric Corp 音声伝達装置
US20150137998A1 (en) 2013-11-21 2015-05-21 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04358936A (ja) 1991-05-31 1992-12-11 Sony Corp 車両用音声伝達装置
JP3163868B2 (ja) * 1993-09-20 2001-05-08 富士通株式会社 音選択再生装置
US20020150262A1 (en) * 2001-03-29 2002-10-17 Carter Jerome D. Method and apparatus for communicating to vehicle occupants
CN1984799A (zh) * 2004-07-14 2007-06-20 松下电器产业株式会社 报知装置
JP3949701B1 (ja) * 2006-03-27 2007-07-25 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、ならびに、プログラム
CN101464168B (zh) * 2009-01-20 2010-06-16 清华大学 一种车辆加速噪声的噪声源识别方法
JP2011252853A (ja) * 2010-06-03 2011-12-15 Toyota Motor Corp 音源方向検出装置
JP5533897B2 (ja) * 2012-01-20 2014-06-25 日産自動車株式会社 車両用聴覚モニタ装置
JP2014061786A (ja) * 2012-09-21 2014-04-10 Sony Corp 移動体およびプログラム
JP2015173369A (ja) 2014-03-12 2015-10-01 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US11162832B2 (en) 2016-02-04 2021-11-02 Micro Motion, Inc. Pressure compensation for a vibrating flowmeter and related method
CN106023617A (zh) * 2016-06-01 2016-10-12 乐视控股（北京）有限公司 车辆行驶安全的检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008149917A (ja) 2006-12-18 2008-07-03 Denso Corp 車両用周囲音報知装置
JP2009051333A (ja) 2007-08-27 2009-03-12 Nissan Motor Co Ltd 車両用聴覚モニタ装置
JP2009251799A (ja) 2008-04-03 2009-10-29 Nissan Motor Co Ltd 車外情報提供装置及び車外情報提供方法
JP2013256249A (ja) 2012-06-14 2013-12-26 Mitsubishi Electric Corp 音声伝達装置
US20150137998A1 (en) 2013-11-21 2015-05-21 Harman International Industries, Incorporated Using external sounds to alert vehicle occupants of external events and mask in-car conversations
JP2015101332A (ja) 2013-11-21 2015-06-04 ハーマン インターナショナル インダストリーズ， インコーポレイテッド 外部事象を車両乗員にアラートし、車内会話をマスクするための外部音響の使用

Also Published As

Publication number Publication date
KR20190125304A (ko) 2019-11-06
CN110366852A (zh) 2019-10-22
EP3595331A4 (en) 2020-01-15
US11543521B2 (en) 2023-01-03
EP3595331A1 (en) 2020-01-15
US20210286073A1 (en) 2021-09-16
WO2018163545A1 (ja) 2018-09-13
JPWO2018163545A1 (ja) 2020-01-09
CN110366852B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
JP7040513B2 (ja) 情報処理装置、情報処理方法及び記録媒体
EP3121064B1 (en) Vehicle control device and vehicle control method thereof
CN110691299B (zh) 音频处理系统、方法、装置、设备及存储介质
JP6102117B2 (ja) 移動体、システム、プログラム、および情報処理装置
US11190155B2 (en) Learning auxiliary feature preferences and controlling the auxiliary devices based thereon
JP2013198065A (ja) 音声提示装置
KR102358968B1 (ko) 신호 처리 장치, 방법 및 프로그램
WO2020120754A1 (en) Audio processing device, audio processing method and computer program thereof
US20220408212A1 (en) Electronic device, method and computer program
CN113596705A (zh) 一种发声装置的控制方法、发声系统以及车辆
JP6981095B2 (ja) サーバ装置、記録方法、プログラム、および記録システム
KR101487474B1 (ko) 자동차의 가상 음향 발생 장치 및 이를 이용한 자동차의 가상 음향 발생 방법
WO2021175735A1 (en) Electronic device, method and computer program
KR20210151089A (ko) 차량 시스템의 음성 제어
KR102023995B1 (ko) 차량 제어 방법
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
US20230026188A1 (en) Remote support device, remote support system, and remote support method
US10812924B2 (en) Control apparatus configured to control sound output apparatus, method for controlling sound output apparatus, and vehicle
WO2023000206A1 (zh) 语音声源定位方法、装置及系统
WO2023090057A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR102053200B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
WO2018062476A1 (ja) 車載装置、出力方法及びプログラム
JP2023169054A (ja) 遠隔支援システム、車両、及び遠隔支援方法
CN115179930A (zh) 车辆控制方法、装置、车辆及可读存储介质
CN117789741A (zh) 语音信号处理方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R151 Written notification of patent or utility model registration

Ref document number: 7040513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151