JP6767082B2 - 車内通話制御装置、車内通話システムおよび車内通話制御方法 - Google Patents

車内通話制御装置、車内通話システムおよび車内通話制御方法 Download PDF

Info

Publication number
JP6767082B2
JP6767082B2 JP2019505649A JP2019505649A JP6767082B2 JP 6767082 B2 JP6767082 B2 JP 6767082B2 JP 2019505649 A JP2019505649 A JP 2019505649A JP 2019505649 A JP2019505649 A JP 2019505649A JP 6767082 B2 JP6767082 B2 JP 6767082B2
Authority
JP
Japan
Prior art keywords
vehicle
occupant
determination unit
seat
occupants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019505649A
Other languages
English (en)
Other versions
JPWO2018167949A1 (ja
Inventor
源 西川
源 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018167949A1 publication Critical patent/JPWO2018167949A1/ja
Application granted granted Critical
Publication of JP6767082B2 publication Critical patent/JP6767082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Description

この発明は、車両の乗員同士で行われる車内通話の機能を制御する車内通話制御装置、車内通話システムおよび車内通話制御方法に関する。
近年、車内に設けたマイクとスピーカとを用いて乗員同士で行われる通話機能である、いわゆる、インカーコミュニケーション(以下、InCarComと記載する)が普及し始めている。例えば、特許文献1には、InCarCom機能を有した従来の車載装置が記載されている。この車載装置は、前部座席の乗員から後部座席の乗員への会話動作があると判定したとき、前部座席の乗員の音声データが後部座席へ出力され、会話動作がないと判定したときは、前部座席の乗員の音声データが後部座席へ出力されないように、音声データ出力部を制御する。
特開2015−71320号公報
特許文献1に記載された車載装置では、前部座席の乗員の視線または顔の向きの検知結果に基づいて、前部座席の乗員から後部座席の乗員への会話動作があるか否かを判定している。前部座席の乗員の視線または顔の向きは、乗員が撮像された画像データを画像解析して検知される。このため、画像データを得る車載カメラと、画像データを画像解析して乗員の視線または顔の向きを検知する手段とが必要であるという課題があった。
この発明は上記課題を解決するもので、乗員の会話動作の検知が不要であり、乗員同士で行われる車内通話の機能を適切に起動させることができる車内通話制御装置、車内通話システムおよび車内通話制御方法を得ることを目的とする。
この発明に係る車内通話制御装置は、車内で集音された音データに基づいて、車両の特定の乗員による発話の有無を判定する判定部と、判定部によって特定の乗員の発話があったと判定された場合に、車両の乗員同士で行われる車内通話の機能を起動する制御部とを備え、特定の乗員は、車両の走行前に車両の乗員から選択された1または複数の乗員である。
また、この発明に係る車内通話システムは、車内に設けられた音入力装置と、車内に設けられた音出力装置と、音入力装置によって集音された音データに基づいて、車両の特定の乗員による発話の有無を判定する判定部と、判定部によって特定の乗員の発話があったと判定された場合に、音出力装置を用いて車両の乗員同士で行われる車内通話の機能を起動する制御部とを備え、特定の乗員は、車両の走行前に車両の乗員から選択された1または複数の乗員である。
また、この発明に係る車内通話制御方法は、判定部が、車内で集音された音データに基づいて、車両の特定の乗員による発話の有無を判定するステップと、制御部が、判定部によって特定の乗員の発話があったと判定された場合に、車両の乗員同士で行われる車内通話の機能を起動するステップとを備え、特定の乗員は、車両の走行前に車両の乗員から選択された1または複数の乗員である。
この発明によれば、車内で集音された音データに基づいて特定の乗員による発話の有無を判定するので、前部座席の乗員から後部座席の乗員への会話動作の検知が不要である。さらに、乗員同士で行われる車内通話の機能を、乗員を相手に会話する特定の乗員の発話があったと判定されたときに適切に起動させることができる。
この発明の実施の形態1に係る車内通話システムの構成を示すブロック図である。 図2Aは、実施の形態1に係る車内通話制御装置の機能を実現するハードウェア構成を示すブロック図である。図2Bは、実施の形態1に係る車内通話制御装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態1に係る車内通話制御方法を示すフローチャートである。 この発明の実施の形態2に係る車内通話システムの構成を示すブロック図である。 音声データ登録処理を示すフローチャートである。 乗員ごとの音声データと車両の座席の対応付け処理を示すフローチャートである。 実施の形態2に係る車内通話制御方法を示すフローチャートである。 この発明の実施の形態3に係る車内通話システムの構成を示すブロック図である。 実施の形態3に係る車内通話制御方法を示すフローチャートである。 この発明の実施の形態4に係る車内通話システムの構成を示すブロック図である。 実施の形態4に係る車内通話制御方法を示すフローチャートである。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る車内通話システム1の構成を示すブロック図である。車内通話システム1は、車両のInCarCom機能を制御するシステムであり、例えば、InCarCom機能を有した車載システムに設けられる。車載システムとしては、カーナビゲーションシステムなどが挙げられる。図1において、車内通話システム1は、車内通話制御装置2、InCarCom部3、マイク4、増幅器5およびスピーカ6を備える。
車内通話制御装置2は、特定の乗員の発話があった場合にInCarCom部3を起動させる。特定の乗員は、車両の乗員のうちから選択された1または複数の乗員であって、例えば、不図示の入力装置を用いて車両の走行前に車内通話制御装置2に設定される。
後部座席の乗員から運転者への声かけは、運転の集中の邪魔になる可能性があるため、特定の乗員として運転者を設定するとよい。
InCarCom部3は、マイク4およびスピーカ6を用いたInCarCom機能を実行する。例えば、マイク4が前部座席の周辺に配置され、スピーカ6が後部座席の周辺に配置されている場合に、InCarCom部3は、マイク4によって集音された乗員の音声データに対して、エコーキャンセル、ノイズキャンセルなどの音声信号処理を施してから、増幅器5を通してスピーカ6から音声出力させる。また、InCarCom部3が停止すると、マイク4の集音は継続されるが、マイク4によって集音された音データは、スピーカ6から出力されない。
マイク4は、車内に設けられた音声入力装置であり、既存の車載機器が備えるマイクであってもよい。増幅器5は、スピーカ6へ出力される信号の強度を増幅する。スピーカ6は、車内に設けられた音声出力装置であり、車載用スピーカであってもよい。
また、マイク4およびスピーカ6は、車内通話制御装置2と無線または有線の通信接続が可能な携帯端末が備えるものを使用してもよい。
なお、図1では、特定の乗員の発話を集音するマイク4と会話相手の乗員へ音声を出力するスピーカ6とを1つずつ示したが、マイクとスピーカとを乗員ごとに設けてもよい。すなわち、マイク4で集音された特定の乗員の発話音声は、会話相手の乗員の座席に設けられたスピーカ6から出力され、会話相手の乗員の発話音声は、この乗員の座席に設けられたマイクで集音され、特定の乗員の座席に設けられたスピーカから出力される。
車内通話制御装置2は、図1に示すように、判定部7および制御部8を備える。
判定部7は、車内で集音された音データに基づいて特定の乗員による発話の有無を判定する。判定部7には、車両の乗員のうちから選択された特定の乗員が設定されている。
例えば、判定部7は、マイク4によって集音された音データに基づいて、特定の乗員による発話の有無を判定する。
制御部8は、InCarCom部3を制御する制御部であり、判定部7によって特定の乗員の発話があったと判定された場合にInCarCom部3を起動する。
なお、InCarCom部3は、前述したようにInCarCom機能を実行する構成であるので、“InCarCom部3を起動すること”と、“InCarCom機能を起動すること”は同意であるものとする。
図2Aは、車内通話制御装置2の機能を実現するハードウェア構成を示すブロック図である。図2Aにおいて、信号処理装置100と処理回路101は、例えば、バスで互いに接続されている。信号処理装置100は、InCarCom部3を実現する装置である。
図2Bは、車内通話制御装置2の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図2Bにおいて、信号処理装置100、CPU(Central Processing Unit)102およびメモリ103は、例えば、バスで互いに接続されている。
車内通話制御装置2における判定部7および制御部8の各機能は、処理回路により実現される。すなわち、車内通話制御装置2は、図3に示すステップST1からステップST3までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであっても、メモリに記憶されたプログラムを実行するCPUであってもよい。
例えば、判定部7を専用の信号処理装置で実現し、制御部8を、InCarCom部3を制御する専用の制御装置として構成してもよい。
判定部7、制御部8およびInCarCom部3を、SoC(System On a Chip)として1つのチップに集積してもよい。
処理回路が図2Aに示す専用のハードウェアである場合、処理回路101は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)またはこれらを組み合わせたものが該当する。判定部7および制御部8のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
処理回路が図2Bに示すCPU102である場合に、判定部7および制御部8の各機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ103に記憶される。
CPU102は、メモリ103に記憶されたプログラムを読み出して実行することにより各部の機能を実現する。すなわち、車内通話制御装置2は、CPU102によって実行されるときに、図3に示すステップST1からステップST3までの処理が結果的に実行されるプログラムを記憶するためのメモリ103を備える。これらのプログラムは、判定部7および制御部8の手順または方法をコンピュータに実行させるものである。
メモリ103には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
なお、判定部7および制御部8の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、判定部7については、専用のハードウェアとしての処理回路でその機能を実現し、制御部8についてはCPU102がメモリ103に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
次に動作について説明する。
図3は、実施の形態1に係る車内通話制御方法を示すフローチャートであって、車両のInCarCom機能を起動するまでの一連の処理を示している。
判定部7が、マイク4によって集音された音データを取得する(ステップST1)。
次に、判定部7は、取得した音データに基づいて、特定の乗員による発話の有無を判定する(ステップST2)。特定の乗員は、前部座席の乗員などが挙げられる。
特定の乗員による発話がないと判定した場合(ステップST2;NO)、車内通話制御装置2は、ステップST1の処理に戻る。
特定の乗員による発話があったと判定した場合(ステップST2;YES)、判定部7は、特定の乗員による発話があったことを制御部8に通知する。
制御部8は、判定部7から上記通知を受けると、InCarCom部3を起動する(ステップST3)。すなわち、InCarCom機能が起動される。
以上のように、実施の形態1に係る車内通話システム1および車内通話制御装置2は、判定部7および制御部8を備える。判定部7は、車内で集音された音データに基づいて、車両の特定の乗員による発話の有無を判定する。制御部8は、判定部7によって特定の乗員の発話があったと判定された場合にInCarCom部3を起動する。
これらの構成を備えることによって、マイク4によって集音された音データに基づいて特定の乗員による発話の有無が判定されるので、前部座席の乗員から後部座席の乗員への会話動作の検知が不要である。さらに、InCarCom機能を、乗員を相手に会話する特定の乗員の発話があったと判定されたときに適切に起動させることができる。
実施の形態2.
図4は、この発明の実施の形態2に係る車内通話システム1Aの構成を示すブロック図であり、図1と同一の構成要素には同一の符号を付して説明を省略する。
車内通話システム1Aは、実施の形態1で示したシステムと同様に、InCarCom機能を制御するシステムであり、カーナビゲーションシステムなどに設けられる。
図4に示すように、車内通話システム1Aは、車内通話制御装置2A、InCarCom部3、マイク4、増幅器5、スピーカ6、記憶装置9および入力装置10を備える。
車内通話制御装置2Aは、図4に示すように、判定部7Aおよび制御部8を備える。
判定部7Aは、マイク4によって集音された音データ、車内の座席と乗員との対応関係を示す情報および車両の乗員ごとの音声データに基づいて、特定の乗員による発話の有無を判定する。判定部7Aには、座席に応じて特定の乗員が設定される。例えば、運転者を特定の乗員とする場合、判定部7Aには、判定基準として“運転席”が設定される。
記憶装置9は、車両の乗員ごとの音声データを記憶している。乗員ごとの音声データとは、事前に集音された乗員ごとの発話音声データである。
既存の車載機器が備えるメモリを記憶装置9として用いてもよい。例えば、乗員ごとの音声データを、カーナビゲーションシステムが備えるメモリに記憶する。
入力装置10は、車内通話制御装置2Aに情報を入力するための装置であり、例えば、カーナビゲーションシステムが備えるタッチパネルあるいはハードウェアボタンを用いた入力装置である。車内通話制御装置2Aには、入力装置10を用いて、車内の座席と乗員との対応関係を示す情報が設定される。判定部7Aは、この設定情報を参照することで、車内のどの座席にどの乗員が着座しているのかを認識できる。
実施の形態1と同様に、車内通話制御装置2Aにおける、判定部7Aおよび制御部8の各機能は、処理回路によって実現される。すなわち、車内通話制御装置2Aは、これらの機能を実行するための処理回路を備えている。処理回路は、図2Aおよび図2Bに示したように、専用のハードウェアであってもメモリに格納されるプログラムを実行するCPUであってもよい。
次に動作について説明する。
図5は、音声データ登録処理を示すフローチャートである。
まず、車内通話システム1Aは、マイク4で集音された乗員ごとの発話音声を取得する(ステップST1a)。記憶装置9は、取得された音声データを記憶する(ステップST2a)。例えば、記憶装置9は、乗員ごとの音声データを、乗員の識別情報に対応付けて記憶する。
次に、記憶装置9は、全ての乗員の音声データを記憶したか否かを確認する(ステップST3a)。例えば、入力装置10を用いて音声データ登録の完了が通知されると、記憶装置9は、全ての乗員の音声データを記憶したと判断する。
記憶装置9に記憶されていない乗員の音声データがある場合(ステップST3a;NO)、ステップST1aの処理に戻る。
一方、全ての乗員の音声データが記憶装置9に記憶されると(ステップST3a;YES)、車内通話システム1Aは、処理を終了する。
図6は、乗員ごとの音声データと車両の座席との対応付け処理を示すフローチャートである。判定部7Aは、記憶装置9に記憶されている音声データのうちから、車両の乗員の音声データを選択する(ステップST1b)。
次に、判定部7Aは、入力装置10を用いて入力された車内の座席と乗員との対応関係を示す情報を取得する(ステップST2b)。例えば、不図示のディスプレイに座席選択用画面を表示し、乗員が、タッチパネルなどの入力装置10を用いて着座する座席を選択してもよい。
判定部7Aは、車内の座席と乗員との対応関係を示す情報を参照して、記憶装置9から選択した音声データと車両の座席とを対応付ける(ステップST3b)。例えば、判定部7Aは、乗員の音声データとこの乗員が着座した座席とが対応付けられた参照用データを作成して保持する。
この後、判定部7Aは、全ての乗員について座席と音声データとを対応付けたか否かを確認する(ステップST4b)。
座席と音声データとを対応付けていない乗員がある場合(ステップST4b;NO)、ステップST1bに戻って、未処理の乗員の音声データを選択する。
一方、全ての乗員について座席と音声データとを対応付けた場合(ステップST4b;YES)、判定部7Aは、処理を終了する。
なお、記憶装置9に音声データが既に記憶されている乗員は、図5に示した音声データ登録処理を省略して、図6に示した座席との対応付け処理のみを行ってもよい。
また、図5に示した音声データ登録処理を実行してから、図6に示した対応付け処理を実行する場合を示したが、実行順序を入れ替えてもよい。例えば、座席を設定してから、その座席に着座する乗員が発話して音声データを登録してもよい。
図7は、実施の形態2に係る車内通話制御方法を示すフローチャートであって、車両のInCarCom機能を起動するまでの一連の処理を示している。判定部7Aには、特定の乗員として運転者が設定されており、判定基準として“運転席”が設定されているものとする。まず、判定部7Aが、マイク4で集音された音データを取得する(ステップST1c)。
次に、判定部7Aは、記憶装置9から選択した音声データから、マイク4で集音された音データに対応する音声データを推定し、推定した音声データに対応する座席を推定する(ステップST2c)。例えば、判定部7Aは、マイク4によって集音された音データと記憶装置9から選択した乗員ごとの音声データとの周波数特性とスペクトルを比較して、どの乗員の発話音声がマイク4で集音されたかを推定する。続いて、判定部7Aは、乗員の音声データとこの乗員が着座した座席とが対応付けられた上記参照用データを参照することで、発話が集音されたと推定した乗員が着座している座席を推定する。
次に、判定部7Aは、特定の乗員による発話の有無を判定する(ステップST3c)。
例えば、判定部7Aは、ステップST2cで推定した座席が判定基準である“運転席”に一致するか否かを判定する。特定の乗員による発話がない、すなわち、推定した座席が運転席ではないと判定した場合(ステップST3c;NO)、車内通話制御装置2Aは、ステップST1cの処理に戻る。
特定の乗員による発話があった、すなわち、推定した座席が運転席であると判定した場合(ステップST3c;YES)、判定部7Aは、特定の乗員による発話があったことを制御部8に通知する。
制御部8は、判定部7Aから上記通知を受けると、InCarCom部3を起動する(ステップST4c)。すなわち、InCarCom機能が起動される。
以上のように、実施の形態2に係る車内通話システム1Aおよび車内通話制御装置2Aにおいて、判定部7Aが、車内で集音された音データ、車内の座席と乗員との対応関係を示す情報および車両の乗員ごとの音声データに基づいて、特定の乗員による発話の有無を判定する。このように構成しても、マイク4によって集音された音データに基づいて特定の乗員による発話の有無が判定されるので、前部座席の乗員から後部座席の乗員への会話動作の検知が不要である。さらに、InCarCom機能を、乗員を相手に会話する特定の乗員の発話があったと判定されたときに適切に起動させることができる。
特に、車両の座席を判定基準としたので、後部座席に着座する乗員が発話しても、InCarCom機能を起動せず、前部座席に着座する乗員が発話したときだけ、InCarCom機能を起動させる、といった座席ごとの制御が容易になる。
実施の形態3.
図8は、この発明の実施の形態3に係る車内通話システム1Bの構成を示すブロック図であり、図1と同一の構成要素には同一の符号を付して説明を省略する。
車内通話システム1Bは、実施の形態1で示したシステムと同様に、InCarCom機能を制御するシステムであり、カーナビゲーションシステムなどに設けられる。
図8に示すように、車内通話システム1Bは、車内通話制御装置2B、InCarCom部3、マイク4a,4b、増幅器5およびスピーカ6を備える。
マイク4a,4bは、車内の複数箇所に配置された音声入力装置であり、例えば、車両の前部座席側と後部座席側に配置される。なお、実施の形態3では、マイクが車内の複数箇所に配置されていればよく、座席ごとにマイクが配置されてもよい。
車内通話制御装置2Bは、図8に示すように、判定部7Bおよび制御部8を備える。
判定部7Bは、マイク4a,4bの音データの集音タイミングまたは音量が最も大きい音を集音したマイクの位置に基づいて、特定の乗員による発話の有無を判定する。
判定部7Bには、座席に応じて特定の乗員が設定される。例えば、運転者を特定の乗員とする場合、判定部7Bには、判定基準として“運転席”が設定される。
判定部7Bは、マイク4a,4bの音データの集音タイミングまたは音量が最も大きい音を集音したマイクの位置に基づいて、発話した乗員の座席を推定し、推定した座席と、判定基準として設定された座席とを比較して特定の乗員による発話の有無を判定する。
車内で乗員の一人が発話した場合、その発話音声は、この乗員に最も近いマイクに最短時間で到達して集音され、反対に、この乗員から最も遠いマイクには最長時間で到達して集音される。そこで、判定部7Bは、マイク位置に応じた音声の集音タイミングの違い(音声の到達時間差)に基づいて、発話した乗員の座席を推定する。
また、車内で乗員の一人が発話した場合、その発話音声は、この乗員に最も近いマイクに最も大きな音量で集音され、反対に、この乗員から離れたマイクには、減衰して小さい音量で集音される。そこで、判定部7Bは、マイク位置に応じた集音音量の違いに基づいて、発話した乗員の座席を推定してもよい。
実施の形態1と同様に、車内通話制御装置2Bにおける、判定部7Bおよび制御部8の各機能は、処理回路によって実現される。すなわち、車内通話制御装置2Bは、これらの機能を実行するための処理回路を備えている。処理回路は、図2Aおよび図2Bに示したように、専用のハードウェアであってもメモリに格納されるプログラムを実行するCPUであってもよい。
次に動作について説明する。
図9は、実施の形態3に係る車内通話制御方法を示すフローチャートであって、車両のInCarCom機能を起動するまでの一連の処理を示している。判定部7Bには、特定の乗員として運転者が設定されており、判定基準として“運転席”が設定されているものとする。まず、判定部7Bが、マイク4a,4bによって集音された音データを取得する(ステップST1d)。
続いて、判定部7Bは、マイク4a,4bによる音データの集音タイミング、または、マイク4a,4bのうち、音量が最も大きい音データを集音したマイクを推定する(ステップST2d)。
例えば、判定部7Bは、複数のマイクのそれぞれで同じ乗員から発話された音声が集音されると、集音時刻をそれぞれ測定する。そして、判定部7Bは、音声の到達時間が最も短いマイクを推定し、推定したマイクに最も近い座席を推定する。
あるいは、判定部7Bは、複数のマイクのそれぞれで同じ乗員から発話された音声が集音されると、集音された音量をそれぞれ測定する。そして、判定部7Bは、集音した音声の音量が最も大きかったマイクを推定し、推定したマイクに最も近い座席を推定する。
次に、判定部7Bは、特定の乗員による発話の有無を判定する(ステップST3d)。
例えば、判定部7Bは、ステップST2dで推定した座席が判定基準である“運転席”に一致するか否かを判定する。特定の乗員による発話がない、すなわち、推定した座席が運転席ではないと判定した場合(ステップST3d;NO)、車内通話制御装置2Bは、ステップST1dの処理に戻る。
特定の乗員による発話があった、すなわち、推定した座席が運転席であると判定した場合(ステップST3d;YES)、判定部7Bは、特定の乗員による発話があったことを制御部8に通知する。
制御部8は、判定部7Aから上記通知を受けると、InCarCom部3を起動する(ステップST4d)。すなわち、InCarCom機能が起動される。
なお、マイク4a,4bによる音データの集音タイミング、または、マイク4a,4bのうち、音量が最も大きい音データを集音したマイクを推定する場合を示したが、これらの基準を組み合わせてもよい。
例えば、判定部7Bが、音声の到達時間が最も短いマイクを推定し、さらに、集音した音声の音量が最も大きかったマイクを推定して、これらのマイクが一致した場合に、発話した乗員に最も近いマイクであると推定してもよい。これにより、マイクの推定の信頼性を高めることができる。
以上のように、実施の形態3に係る車内通話システム1Bおよび車内通話制御装置2Bにおいて、判定部7Bは、マイク4a,4bの音データの集音タイミング、あるいは音量が最も大きい音を集音したマイクの位置に基づいて、特定の乗員による発話の有無を判定する。このように構成しても、マイク4a,4bによって集音された音データに基づいて特定の乗員による発話の有無が判定されるので、前部座席の乗員から後部座席の乗員への会話動作の検知が不要である。さらに、InCarCom機能を、乗員を相手に会話する特定の乗員の発話があったと判定されたときに適切に起動させることができる。
特に、マイク4a,4bの集音タイミングまたは音量を判定基準としたので、乗員ごとの音声データの事前登録および座席位置と乗員との対応付けを省略することができる。
実施の形態4.
図10は、この発明の実施の形態4に係る車内通話システム1Cの構成を示すブロック図であり、図1および図4と同一の構成要素には同一の符号を付して説明を省略する。
車内通話システム1Cは、実施の形態1で示したシステムと同様に、InCarCom機能を制御するシステムであり、カーナビゲーションシステムなどに設けられる。
図10に示すように、車内通話システム1Cは、車内通話制御装置2C、InCarCom部3、マイク4a,4b、増幅器5、スピーカ6、記憶装置9および入力装置10を備える。
車内通話制御装置2Cは、図10に示すように、判定部7C、制御部8A、および音声認識部11を備える。
判定部7Cは、マイク4a,4bによって集音された音データ、車内の座席と乗員との対応関係を示す情報、および車両の乗員ごとの音声データに基づいて、特定の乗員による発話の有無を判定する。
判定部7Cには、座席に応じて特定の乗員が設定されている。例えば、運転者を特定の乗員とする場合、判定部7Cには、判定基準として“運転席”が設定される。
制御部8Aは、音声認識部11による認識結果に基づいて、特定の乗員によって起動用キーワードが発話されたと判定した場合に、InCarCom部3を起動し、停止用キーワードが発話されたと判定した場合にInCarCom部3を停止する。
音声認識部11は、マイク4a,4bのそれぞれで集音された音データを音声認識することで、乗員の発話音声に起動用キーワードまたは停止用キーワードが含まれるか否かを確認する。
実施の形態1と同様に、車内通話制御装置2Cにおける判定部7C、制御部8Aおよび音声認識部11の各機能は、処理回路によって実現される。すなわち、車内通話制御装置2Cは、これらの機能を実行するための処理回路を備えている。処理回路は、図2Aおよび図2Bに示したように、専用のハードウェアであってもメモリに格納されるプログラムを実行するCPUであってもよい。
次に動作について説明する。
図11は、実施の形態4に係る車内通話制御方法を示すフローチャートであって、車両のInCarCom機能を起動または停止するまでの一連の処理を示している。
判定部7Cには、特定の乗員が設定されており、判定基準としてその座席が設定されているものとする。まず、判定部7Cが、マイク4a,4bによって集音された音データを取得する(ステップST1e)。
次に、判定部7Cは、記憶装置9から選択した音声データのうち、マイク4a,4bで集音された音データに対応する音声データを推定し、推定した音声データに対応する座席を推定する(ステップST2e)。
例えば、判定部7Cは、マイク4a,4bによって集音された音データのそれぞれと、記憶装置9から選択した乗員ごとの音声データとの周波数特性とスペクトルを比較して、どの乗員の発話音声がマイク4a,4bで集音されたかを推定する。
続いて、判定部7Cは、乗員の音声データとこの乗員が着座した座席とが対応付けられた参照用データを参照することで、発話が集音されたと推定した乗員が着座している座席を推定する。
次に、判定部7Cは、特定の乗員による発話の有無を判定する(ステップST3e)。
例えば、判定部7Cは、ステップST2eで推定した座席が判定基準の座席に一致するか否かを判定する。特定の乗員による発話がないと判定した場合(ステップST3e;NO)、車内通話制御装置2Cは、ステップST1eの処理に戻る。
特定の乗員による発話があったと判定すると(ステップST3e;YES)、判定部7Cは、特定の乗員の発話音声であると判定した音声データを音声認識部11に出力する。
音声認識部11は、判定部7Cから入力した音声データを音声認識する(ステップST4e)。音声認識部11による認識結果は、制御部8Aに出力される。
制御部8Aは、音声認識部11による認識結果に基づいて、特定の乗員によって起動用キーワード、停止用キーワードおよびその他のワードのいずれが発話されたかを判定する(ステップST5e)。特定の乗員によってその他のワードが発話されたと判定されると(ステップST5e;その他)、制御部8Aは、処理を終了する。
一方、特定の乗員によって起動用キーワードが発話されたと判定すると(ステップST5e;起動用キーワード)、制御部8Aは、InCarCom部3を起動する(ステップST6e)。
ここで、3列座席の車両において、座席ごとにInCarCom部3を設け、前部座席(1列目の座席)に着座した乗員を特定の乗員とし、起動用キーワードとして異なる複数のキーワードを用意した場合を例に挙げる。
制御部8Aは、前部座席の乗員が起動用キーワードである“2列目オン”を発話したと判定した場合、前部座席と2列目の座席との間のInCarCom部3を起動する。これにより、前部座席の乗員と2列目の座席の乗員とのInCarComが可能となる。
また、制御部8Aは、前部座席の乗員が起動用キーワードである“3列目オン”を発話したと判定すると、前部座席と3列目の座席との間のInCarCom部3を起動する。これにより、前部座席の乗員と3列目の座席の乗員とのInCarComが可能となる。
さらに、制御部8Aが、前部座席の乗員が起動用キーワードである“全部オン”を発話したと判定すると、前部座席と2列目の座席と3列目の座席との間のInCarCom部3を起動する。これにより、前部座席の乗員と2列目の座席の乗員と3列目の座席の乗員とのInCarComが可能となる。
一方、特定の乗員によって停止用キーワードが発話されたと判定すると(ステップST5e;停止用キーワード)、制御部8Aは、InCarCom部3を停止する(ステップST7e)。
ここで、3列座席の車両において、座席ごとにInCarCom部3を設け、前部座席(1列目の座席)に着座した乗員を特定の乗員とし、停止用キーワードとして異なる複数のキーワードを用意した場合を例に挙げる。
制御部8Aは、前部座席の乗員が停止用キーワードである“2列目オフ”を発話したと判定した場合、前部座席と2列目の座席との間のInCarCom部3を停止する。
また、制御部8Aは、前部座席の乗員が停止用キーワードである“3列目オフ”を発話したと判定すると、前部座席と3列目の座席との間のInCarCom部3を停止する。
さらに、制御部8Aが、前部座席の乗員が停止用キーワードである“全部オフ”を発話したと判定すると、前部座席と2列目の座席と3列目の座席との間のInCarCom部3を停止する。
以上のように、実施の形態4に係る車内通話システム1Cおよび車内通話制御装置2Cにおいて、制御部8Aが、音声認識部11による認識結果に基づいて、特定の乗員によって起動用キーワードが発話されたと判定した場合にInCarCom部3を起動し、停止用キーワードが発話されたと判定した場合にInCarCom部3を停止する。
このように構成しても、マイク4a,4bによって集音された音データに基づいて特定の乗員による発話の有無が判定されるので、前部座席の乗員から後部座席の乗員への会話動作の検知が不要である。さらに、InCarCom機能を、乗員を相手に会話する特定の乗員の発話があったと判定されたときに適切に起動させることができる。
特に、キーワードを、InCarCom機能の起動および停止の判定基準としたので、キーワードに応じた様々な条件でInCarCom機能を起動または停止させることができ、InCarComの利便性を高めることができる。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る車内通話制御装置は、乗員の会話動作の検知が不要であり、InCarCom機能を適切に起動させることができるので、InCarCom機能を有した車載機器に適用することができる。
1,1A〜1C 車内通話システム、2,2A〜2C 車内通話制御装置、3 InCarCom部、4,4a,4b マイク、5 増幅器、6 スピーカ、7,7A〜7C 判定部、8,8A 制御部、9 記憶装置、10 入力装置、11 音声認識部、100 信号処理装置、101 処理回路、102 CPU、103 メモリ。

Claims (8)

  1. 車内で集音された音データに基づいて、車両の特定の乗員による発話の有無を判定する判定部と、
    前記判定部によって特定の乗員の発話があったと判定された場合に、車両の乗員同士で行われる車内通話の機能を起動する制御部と
    を備え
    前記特定の乗員は、前記車両の走行前に前記車両の乗員から選択された1または複数の乗員であることを特徴とする車内通話制御装置。
  2. 前記判定部は、車内で集音された音データ、車内の座席と乗員との対応関係を示す情報および事前に記憶された車両の乗員ごとの音声データに基づいて、特定の乗員による発話の有無を判定すること
    を特徴とする請求項1記載の車内通話制御装置。
  3. 前記判定部は、車内に設けられた複数のマイクのそれぞれの音データの集音タイミングの差に基づいて、特定の乗員による発話の有無を判定することを特徴とする請求項1記載の車内通話制御装置。
  4. 前記判定部は、車内に設けられた複数のマイクのうち、音量が最も大きい音を集音したマイクの位置に基づいて、特定の乗員による発話の有無を判定すること
    を特徴とする請求項1記載の車内通話制御装置。
  5. 車内で集音された音データを音声認識する音声認識部を備え、
    前記制御部は、前記音声認識部による認識結果に基づいて、特定の乗員によって起動用キーワードが発話されたと判定した場合に、車内通話の機能を起動すること
    を特徴とする請求項1記載の車内通話制御装置。
  6. 車内で集音された音データを音声認識する音声認識部を備え、
    前記制御部は、前記音声認識部による認識結果に基づいて、特定の乗員によって停止用キーワードが発話されたと判定した場合に、車内通話の機能を停止すること
    を特徴とする請求項1記載の車内通話制御装置。
  7. 車内に設けられた音入力装置と、
    車内に設けられた音出力装置と、
    前記音入力装置によって集音された音データに基づいて、車両の特定の乗員による発話の有無を判定する判定部と、
    前記判定部によって特定の乗員の発話があったと判定された場合に、前記音出力装置を用いて車両の乗員同士で行われる車内通話の機能を起動する制御部と
    を備え
    前記特定の乗員は、前記車両の走行前に前記車両の乗員から選択された1または複数の乗員であることを特徴とする車内通話システム。
  8. 判定部が、車内で集音された音データに基づいて、車両の特定の乗員による発話の有無を判定するステップと、
    制御部が、前記判定部によって特定の乗員の発話があったと判定された場合に、車両の乗員同士で行われる車内通話の機能を起動するステップと
    を備え
    前記特定の乗員は、前記車両の走行前に前記車両の乗員から選択された1または複数の乗員であることを特徴とする車内通話制御方法。
JP2019505649A 2017-03-17 2017-03-17 車内通話制御装置、車内通話システムおよび車内通話制御方法 Active JP6767082B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010951 WO2018167949A1 (ja) 2017-03-17 2017-03-17 車内通話制御装置、車内通話システムおよび車内通話制御方法

Publications (2)

Publication Number Publication Date
JPWO2018167949A1 JPWO2018167949A1 (ja) 2019-07-18
JP6767082B2 true JP6767082B2 (ja) 2020-10-14

Family

ID=63521908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505649A Active JP6767082B2 (ja) 2017-03-17 2017-03-17 車内通話制御装置、車内通話システムおよび車内通話制御方法

Country Status (5)

Country Link
US (1) US11094315B2 (ja)
JP (1) JP6767082B2 (ja)
CN (1) CN110402584B (ja)
DE (1) DE112017007280T5 (ja)
WO (1) WO2018167949A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017213241A1 (de) * 2017-08-01 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, mobiles Anwendergerät, Computerprogramm zur Steuerung eines Audiosystems eines Fahrzeugs
US11167693B2 (en) * 2018-11-19 2021-11-09 Honda Motor Co., Ltd. Vehicle attention system and method
CN109391928A (zh) * 2018-11-23 2019-02-26 泰安宇祺通讯技术有限公司 一种轨道交通对讲系统及其使用方法
JP7386076B2 (ja) * 2019-12-26 2023-11-24 株式会社デンソーテン 車載装置及び応答出力制御方法
CN111132089B (zh) * 2019-12-31 2023-05-23 东软睿驰汽车技术(沈阳)有限公司 一种车内通话接听方法及系统
CN113766057A (zh) * 2021-10-08 2021-12-07 中国第一汽车股份有限公司 一种车内通话方法、装置、系统及车辆

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094389A (ja) * 2004-09-27 2006-04-06 Yamaha Corp 車内会話補助装置
JP2007043356A (ja) * 2005-08-02 2007-02-15 Nissan Motor Co Ltd 音量自動調節装置および音量自動調節方法
JP2007208828A (ja) * 2006-02-03 2007-08-16 Denso Corp 車両用音声入出力制御装置
US20090055178A1 (en) * 2007-08-23 2009-02-26 Coon Bradley S System and method of controlling personalized settings in a vehicle
US9305555B2 (en) 2012-06-25 2016-04-05 Mitsubishi Electric Corporation Onboard information device
CN103841242A (zh) * 2012-11-27 2014-06-04 德尔福电子(苏州)有限公司 一种车内通话系统
JP6284331B2 (ja) 2013-10-01 2018-02-28 アルパイン株式会社 会話支援装置、会話支援方法及び会話支援プログラム
US20160039356A1 (en) * 2014-08-08 2016-02-11 General Motors Llc Establishing microphone zones in a vehicle
CN105472128B (zh) * 2015-11-16 2019-06-18 Oppo广东移动通信有限公司 一种通话控制方法及装置
US9697824B1 (en) * 2015-12-30 2017-07-04 Thunder Power New Energy Vehicle Development Company Limited Voice control system with dialect recognition
US20170217445A1 (en) * 2016-01-29 2017-08-03 GM Global Technology Operations LLC System for intelligent passenger-vehicle interactions
CN106027746A (zh) * 2016-05-23 2016-10-12 北京京东尚科信息技术有限公司 一种通话控制装置及通话控制方法

Also Published As

Publication number Publication date
CN110402584A (zh) 2019-11-01
US20200043470A1 (en) 2020-02-06
DE112017007280T5 (de) 2019-11-28
JPWO2018167949A1 (ja) 2019-07-18
CN110402584B (zh) 2021-11-23
WO2018167949A1 (ja) 2018-09-20
US11094315B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
JP6767082B2 (ja) 車内通話制御装置、車内通話システムおよび車内通話制御方法
US11437020B2 (en) Techniques for spatially selective wake-up word recognition and related systems and methods
US20230178077A1 (en) Techniques for wake-up work recognition and related systems and methods
JP3910898B2 (ja) 指向性設定装置、指向性設定方法及び指向性設定プログラム
WO2017081960A1 (ja) 音声認識制御システム
JP4779748B2 (ja) 車両用音声入出力装置および音声入出力装置用プログラム
US20160127827A1 (en) Systems and methods for selecting audio filtering schemes
JP2017090612A (ja) 音声認識制御システム
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
CN111199735A (zh) 车载装置以及语音识别方法
JP2017090614A (ja) 音声認識制御システム
US11932256B2 (en) System and method to identify a location of an occupant in a vehicle
CN109243457B (zh) 基于语音的控制方法、装置、设备及存储介质
WO2020016927A1 (ja) 音場制御装置および音場制御方法
JPWO2006025106A1 (ja) 音声認識システム、音声認識方法およびそのプログラム
JP6995254B2 (ja) 音場制御装置及び音場制御方法
JP7407665B2 (ja) 音声出力制御装置および音声出力制御プログラム
US20210061102A1 (en) Operation restriction control device and operation restriction control method
JP7242873B2 (ja) 音声認識補助装置および音声認識補助方法
US20240212689A1 (en) Speaker-specific speech filtering for multiple users
JP6820086B2 (ja) 音声認識装置および音声認識方法
WO2024029192A1 (ja) 音声コマンド受付装置、および音声コマンド受付方法
JP2008309865A (ja) 音声認識装置および音声認識方法
JP2024022448A (ja) 音声コマンド受付装置、および音声コマンド受付方法
JP2020030322A (ja) 音声操作装置および音声操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6767082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250