JP2024004716A - 異常情報出力装置及び異常情報出力方法 - Google Patents

異常情報出力装置及び異常情報出力方法 Download PDF

Info

Publication number
JP2024004716A
JP2024004716A JP2022104482A JP2022104482A JP2024004716A JP 2024004716 A JP2024004716 A JP 2024004716A JP 2022104482 A JP2022104482 A JP 2022104482A JP 2022104482 A JP2022104482 A JP 2022104482A JP 2024004716 A JP2024004716 A JP 2024004716A
Authority
JP
Japan
Prior art keywords
vehicle
abnormality
voice
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022104482A
Other languages
English (en)
Inventor
慎一 宮本
Shinichi Miyamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2022104482A priority Critical patent/JP2024004716A/ja
Publication of JP2024004716A publication Critical patent/JP2024004716A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

Figure 2024004716000001
【課題】車両周囲の適切な位置に配置されたマイクロフォンを選択的に用いて異常の検知を行うことができる異常情報出力装置を提供する。
【解決手段】異常情報出力装置10は、収音した複数の音声を含む車両周囲情報を取得する車両周囲情報取得部11と、車両の走行状態に関する情報を取得する車両走行情報取得部12と、車両の走行状態に関する情報に基づいて、前記複数の音声のうち少なくともひとつの音声を選択する音声選択部13と、選択した音声を認識し、車両に発生する異常を示す音声が含まれるか否かを判定する音声認識部14と、判定結果に基づいて、車両に発生する異常を異常情報として出力する異常情報出力部15と、を備える。
【選択図】図1

Description

本発明は、異常情報出力装置及び異常情報出力方法に関する。
車両内の運転席周辺の所定位置に配置されたマイクロフォンにて音声を検出し、予め登録されたキーワードが含まれていることを検知して、設定されている緊急通報先へ緊急情報、位置情報、音声及び動画像を送信する技術が知られている。(例えば特許文献1)
特開2016-133963号公報
特許文献1に記載される通信型ドライブレコーダは、検出した車両内の音声に予め登録されたキーワードが含まれていることを検知した場合に、緊急連絡先に動画像を含む情報を送信するものである。音声を集音するマイクロフォンは運転席周辺の所定位置に配置されており、車両の乗員が特定のキーワードを発声することにより、緊急通報を行うことができる。しかしながら、車両に発生する異常事態を検知するためのマイクロフォンの配置場所は、運転席周辺が最適であるとは限らない。車両に発生する異常事態を音声によって検知する場合には、想定される異常事態毎に、適切な位置に配置されたマイクロフォンを選択的に用いて異常の検知を行うことが望まれる。
本発明は、上記に鑑みてなされたものであって、車両周辺の複数の位置に配置されたマイクロフォンから複数の音声を収音し、適切な音声を選択して音声認識処理を行って車両に発生した異常を検出し、異常発生時の画像を記録する制御を行うことができる異常情報出力装置及び異常情報出力方法を提供するものである。
上記目的を達成するため、本発明に係る異常情報出力装置は、収音した複数の音声を含む車両周囲情報を取得する車両周囲情報取得部と、車両の走行状態に関する情報を取得する車両走行情報取得部と、車両の走行状態に関する情報に基づいて、複数の音声のうち少なくともひとつの音声を選択する音声選択部と、選択した音声を認識し、車両に発生する異常を示す音声が含まれるか否かを判定する音声認識部と、判定に基づいて、車両に発生する異常を異常情報として出力する異常情報出力部と、を備えることを特徴とする。
上記目的を達成するため、本発明に係る異常情報出力方法は、コンピュータが、収音した複数の音声を含む車両周囲情報を取得するステップと、車両の走行状態に関する情報を取得するステップと、車両の走行状態に関する情報に基づいて、複数の音声のうち少なくともひとつの音声を選択するステップと、選択した音声を認識し、車両に発生する異常を示す音声が含まれるか否かを判定するステップと、判定に基づいて、車両に発生する異常を異常情報として出力するステップと、を実行する。
本発明によれば、車両周囲の適切な位置に配置されたマイクロフォンを選択的に用いて異常の検知を行うことができる異常情報出力装置及び異常情報出力方法を提供することができる。
実施形態1に係る異常情報出力装置の構成の一例を示すブロック図である。 実施形態1に係る異常情報出力の処理手順の一例を示すフローチャートである。 実施形態2に係る異常情報出力装置の構成の一例を示すブロック図である。
以下に、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。
<実施形態1>
図1を用いて、本発明の実施形態1について説明する。図1は、実施形態1に係る異常情報出力システム1の構成の一例を示すブロック図である。異常情報出力システム1は、異常情報出力装置10と、収音部20と、撮像部30と、センサ類40と、記録部50と、を備える。
収音部20は、車両内部、車両外部及び車両周囲などの様々な位置に配置され、車両周囲の音や、人物の発声を収音するマイクロフォンである。収音部20は、車両内部の運転席近傍や後部座席近傍、荷室内、エンジンルームなど、様々な場所に配置されてよい。収音部20は、車両外部においても、車体の下部や車両ボンネットやドアミラーの近傍、車体前面や後部などの様々な場所に配置されてよい。収音部20は、駐車状態である場合に、車両乗員が車両周囲に手動で配置してもよく、駐車場内に、例えば監視カメラと同時に固定的に配置される形態であってもよく、車両周囲の路面などに接地させた状態で配置されてもよい。
撮像部30は、車両内部や車両外部に配置され、車両周囲の画像を撮像するカメラである。車両内部を含む範囲の画像を撮像してもよい。このとき画像とは、静止画像及び動画像のいずれであってもよい。撮像部30は、複数のカメラで構成されてもよい。撮像部30は、駐車場に固定的に配置される監視カメラであってもよい。
センサ類40は、車両の走行状態をセンシングするセンサである。センサ類40は、車両の車速パルスセンサ、車両の速度センサ、加速度センサ、ドア開閉センサ、着座センサなどの単体センサであってもよく、これらのセンサを複数備えたセンサ群として構成されてもよい。また、上述した収音部20や撮像部30を音声センサまたはイメージセンサとして用い、後述する車両走行情報取得部において、取得した画像や音声から、車両の静止状態を判定してもよい。
記録部50は、後述する記録制御部16の制御により車両に関する情報を記録する。記録部50は、一例としてメモリカードなどの記憶媒体、異常情報出力装置10に内蔵されるフラッシュメモリなどの不揮発性メモリ、またはハードディスクドライブ、SSD(Solid State Drive)等の記憶装置である。なお、記録部50は、異常情報出力装置10に必ずしも必須の構成要素ではなく、無くともよい。
異常情報出力装置10は、車両周囲情報取得部11と、車両走行情報取得部12と、音声選択部13と、音声認識部14と、異常情報出力部15と、を備える。
車両周囲情報取得部11は、収音部20が収音した複数の音声を含む車両周囲情報を取得する。より詳しくは、車両周囲情報取得部11は、車両内部、車両外部及び車両周囲などの様々な位置に配置された、複数の収音部20が収音した複数の音声を取得する。車両周囲情報取得部11は、音声を取得する他に、車両または車両周囲に配置された撮像部30が撮像した画像や、図示しない位置情報取得部が取得した、車両の現在位置に関する情報を取得してもよい。車両周囲情報取得部11は、複数の収音部20や撮像部30と有線または無線で接続される形態の他、車両周囲情報取得部11が複数の収音部20や撮像部30を含んで構成される形態であってもよい。
車両周囲情報取得部11は、取得した複数の音声を含む車両周囲情報を、音声選択部13に出力する。
車両走行情報取得部12は、車両に備えられたセンサ類40から車両の走行状態に関する情報を取得する。ここで取得する車両走行状態に関する情報とは、車両が走行状態であるか静止状態であるか、または車両が駐車状態であるか、などの車両の状態を示す情報または車両の状態を判定する材料となる情報であり、一例として、車速パルス信号、加速度センサ出力、エンジンONOFF情報、ドア開閉情報、着座センサ情報などの情報である。この他に、車両の走行速度や、車両が加速している状態であるか減速している状態であるかなどの、車両の状態に関する様々な情報を取得してよい。また車両走行情報取得部12は、取得した車両走行状態に関する情報を、そのまま車両の走行状態を示すものとして用いてもよく、取得した複数の情報を組み合わせて車両の走行状態を判定し、車両の走行状態を示すものとして用いてもよい。
車両走行情報取得部12は、センサ類40から車両の走行状態に関する情報を取得する他に、CAN(Controller Area Network)を介して車両から、車両の走行状態に関する情報または車両の状態を判定する材料となる情報を取得してもよい。CANを介して車両から取得する情報とは、例えば、シフトポジション情報、サイドブレーキ状態情報、エンジンONOFF情報、車両速度情報、ドアロック情報などである。
車両走行情報取得部12は、取得または判定した車両の走行状態に関する情報を、音声選択部13に出力する。
車両走行情報取得部12は、例えば、車両のシフトポジションがパーキング位置にあること、サイドブレーキが引かれていること、車両のエンジンがOFF状態であること、などの情報を取得して、車両が駐車状態であるか否かを判定する。この他に、車両内に乗員が居ないこと、車両のドアが車両外から施錠されたこと、車両速度がゼロである期間が予め定めた所定の時間以上であること、などの情報を取得して、車両が駐車状態であるか否かの判定に用いてもよい。
音声選択部13は、車両走行情報取得部12が出力した車両の走行状態に関する情報を受け付けて、車両の走行状態に基づいて、車両周囲情報取得部11が取得した複数の音声のうち、少なくとも一つの音声を選択する。
音声選択部13は、例えば、車両が駐車している状態である場合に、複数の収音部20のうち、車両外部に配置した収音部20が収音した音声を選択する。より好ましくは、車両外部に複数配置した収音部20のうち、より車両下部に近い位置に配置した収音部20が収音した音声を選択する。
音声選択部13は、選択した音声を、音声認識部14に出力する。
音声選択部13は、車両が予め定めた所定値以上の車両速度で走行中である場合に、複数の収音部20のうち、車室内に配置した収音部20が収音した音声を選択し、車両外部に配置した収音部20が収音した音声を選択しないことが好ましい。車両が所定値以上の速度で走行中である場合、車両外部では風切り音が発生し、車両に発生する異常を示す音声が風切り音に埋没してしまい正確な判定ができなくなる虞がある。
音声選択部13は、車両が駐車状態ではない状態での停止中もしくは予め定めた所定値(例えば10km/h)未満の走行速度での走行中である場合には、車両外部に配置した収音部20が収音した音声、及び、室内に配置した収音部20が収音した音声を、ともに選択してもよい。
車両が停止中もしくは予め定めた所定値未満の走行速度での走行中である場合には、車両を駐車する操作を行っている最中である場合、歩行者を回避している場合、狭い道路でのすれ違いの場合などの、徐行走行が必要な場合であることが想定される。このような状況では、車両同士の接触や路上に設置された設置物との接触などの異常が発生する可能性が高く、また車両速度が低い場合には、車両に搭載される加速度センサなどの衝突検知信号の出力値が低くなる傾向があるため、衝突検知信号による、車両に発生する異常の検出が不十分になる場合がある。このため、車両外部で発生するきしみや接触音などの異常音、車両室内の乗員が発する叫び声や注意喚起の発声などを選択し、後述する音声認識部14にて音声認識することでの、車両に発生する異常の判定が有効である。
音声認識部14は、音声選択部13が選択した音声を認識し、車両に発生する異常を示す音声が含まれるか否かを判定する。音声認識部14は、音声認識用辞書として音声認識用の学習済モデルを備えており、認識対象音声を認識する音声認識処理を行う。
音声認識部14は、車両に発生する異常を示す音声を認識する音声認識用辞書に音声選択部13が選択した音声を入力する。音声認識用辞書は、入力した音声に、車両に発生する異常を示す音声、例えば、衝突音、破壊音、エンジンが発する異音、車体が傷つけられる際に発生する音などが含まれている可能性を、1から0の間の値として出力する。出力値が1に近いほど、入力された音声に車両に発生する異常を示す音声が含まれている可能性が高く、出力値が0に近いほど、入力された音声に車両に発生する異常を示す音声が含まれている可能性が低い。この出力値が予め定められた閾値である、例えば0.8以上である場合、音声認識部14は、音声選択部13が選択した音声に、車両の異常を示す音声が含まれていると判定する。
音声認識部14は、判定結果を異常情報出力部15に出力する。
音声認識用辞書とは、予め生成した大量の入力データをニューラルネットワークに入力して、機械学習させた学習済モデルである。車両に発生する異常を示す音声を認識する音声認識用辞書の場合、収音した音声と、その音声が車両に発生する異常を示す音声であるか否かを示す教師データと、を一対のセットとしたデータを、学習用の入力データとする。この場合の教師データとは、その音声が車両に発生する異常を示す音声である場合に1とし、その音声が車両に発生する異常を示す音声でない場合に0とするラベル付けを行ったデータである。
音声認識部14は、車両に発生する異常を示す音声として、車両に近づく人物の足音や、車両の周囲で発生する物音、人物の悲鳴などの音声を認識してもよい。言い換えると、音声認識部14が認識する車両に発生する異常を示す音声とは、車両に異常が発生した際に生じる物音などの音声に限定されず、不審な音声または車両に異常が発生する予兆となる可能性がある音声を含む。この場合、収音した音声と、車両に近づく人物の足音・車両の周囲で発生する物音・人物の悲鳴などの音声であることを示す教師データと、をセットとしたデータを入力データとして学習させた、車両に発生する異常を示す音声を認識する音声認識用辞書を生成して、音声認識処理に用いる。
音声認識部14は、上述の形態のほか、例えばパターンマッチングなどの公知の技術を用いて、認識対象音声を認識しても良い。音声認識部14は、音声認識の精度を高めるため、音声選択部13が選択した音声にノイズ低減処理や話者分離などの、公知の技術を用いた前処理を行ってもよい。
異常情報出力部15は、音声認識部14が出力する音声認識の判定結果に基づいて、車両に異常が発生しているか否かに関する情報を出力する。
異常情報出力部15は、音声認識部14から、音声選択部13が選択した音声に車両の異常を示す音声が含まれているか否かを判定した結果を示す信号を受け付けて、車両に異常が発生したことを示す異常情報として、後述する記録制御部16や、通信部17、図示しない報知制御部などに向けて出力する。出力先は任意でよく、限定されない。
記録制御部16は、異常情報出力部15が出力した異常情報に基づいて、車両周囲情報取得部11が取得した音声及び画像の少なくともいずれかを含む車両周囲情報を、記録部50に記録する制御を行う。記録制御部16は、異常情報出力部15が出力した異常情報に基づいて、車両走行情報取得部12が取得した車両走行状態に関する車両の加速度や車両速度などの情報を、記録部50に記録する制御を行ってもよい。なお、記録制御部16は、異常情報出力装置10に必ずしも必須の構成要素ではなく、無くともよい。
通信部17は、異常情報出力部15が出力した異常情報に基づいて、車両周囲情報取得部11が取得した音声及び画像の少なくともいずれかである車両周囲情報を、予め定められた図示しない外部サーバや、車両の乗員または車両の管理者が保持する通信機器などの外部機器に送信する。通信部17は、異常情報出力部15が出力した異常情報に基づいて、車両走行情報取得部12が取得した車両走行状態に関する情報を、同様に外部機器に送信してもよい。
通信部17は、異常情報出力部15が出力した異常情報自体を、予め定められた外部機器に送信してもよい。なお、通信部17は、異常情報出力装置10に必ずしも必須の構成要素ではなく、無くともよい。
図示しない報知制御部は、異常情報出力部15が出力した異常情報に基づいて、図示しないスピーカ、ブザー、車両のクラクションを介した、音声による異常の報知を制御してもよい。報知制御部は、異常情報出力部15が出力した異常情報に基づいて、図示しないモニタやLED(Light Emitting Diode)などの表示機器または車両のヘッドライトを介した、表示や光による異常の報知を制御してもよい。なお、報知制御部は、異常情報出力装置10に必ずしも必須の構成要素ではなく、無くともよい。
次に、上述した実施形態1に係る異常情報出力装置10の処理手順を、図2に示すフローチャートを参照して説明する。
初めに、ステップS10において、車両周囲情報取得部11は、複数の音声を含む車両の周囲情報を取得し、音声選択部13に出力する。その後ステップS11に進む。
ステップS11において、車両走行情報取得部12は、車両の走行状態に関する情報、例えば、車両が駐車状態にあるか否かに関する情報を取得し、音声選択部13に出力する。その後ステップS12に進む。
ステップS12において、音声選択部13は、車両走行情報取得部12が取得した車両の走行状態に関する情報に基づいて、車両周囲情報取得部11が取得した複数の音声のうち、少なくともひとつの音声を選択する。例えば、車両が駐車状態にある場合、車両外部に配置した収音部20が収音した音声を選択し、音声認識部14に出力する。その後ステップS13に進む。
ステップS13において、音声認識部14は、音声選択部13が選択した音声を認識し、車両に発生した異常を示す音声が含まれているか否かを判定する、音声認識処理を行う。音声認識部14は、判定した結果を、異常情報出力部15に出力する。その後ステップS14に進む。
ステップS14において、異常情報出力部15は、音声認識部14の出力が、車両に発生した異常を示す場合(S14でYes)、ステップS15に進む。音声認識部14の出力が、車両に発生した異常を示さない場合(S14でNo)、ステップS10に戻り、処理を繰り返す。
ステップS15において、異常情報出力部15は、異常情報を出力する。出力先は、記録制御部16や、通信部17、図示しない報知制御部などである。その後ステップS10に戻り、処理を繰り返す。
なおこのフローにおいて、車両走行情報取得部12が取得した車両走行に関する情報に基づいて、処理を終了するステップがあってもよい。例えば、車両が走行状態から駐車状態に移行したことを示す車両走行に関する情報に基づいて、処理を終了する形態があってもよい。
上述したように、実施形態1によれば、異常情報出力装置10は、車両の走行情報に基づいて、車両周囲に複数配置した収音部20からの音声を少なくともひとつ選択し、音声認識処理を行うことで、車両に発生する異常をより適切に判定し、出力することができる。例えば車両が駐車状態である場合には、車両外部で発生する衝突や傷付け、または車両に近づく人物の足音などを、車両外部に配置した収音部20から収音した音声を選択し、音声認識することで、より正確に車両に発生する異常を判定することができる。また、車両が駐車状態である場合に、車両室内に配置した収音部20から収音した音声を選択しないようにすることで、音声認識処理にかかる負荷を軽減し、より少ない消費電力で車両に発生する異常を判定することができる。
<実施形態2>
本発明の実施形態2について、図3を用いて説明する。実施形態2に係る異常情報出力装置10aは、実施形態1に係る異常情報出力装置10と、以下の点で異なる構成を有する。
すなわち、音声認識部14aは、音声認識に用いる音声認識用辞書を選択する機能を有する。異常情報出力装置10aにおいて、車両周囲情報取得部11,車両走行情報取得部12、音声選択部13及び異常情報出力部15は、実施形態1に係る異常情報出力装置10と同様の構成および機能を有するため、その詳細な説明は省略する。
音声認識部14aは、車両走行情報取得部12が取得した車両走行に関する情報に基づいて、音声認識に用いる複数の音声認識用辞書のうちから、適切な音声認識用辞書を選択する、音声認識用辞書選択部141を備える。音声認識用辞書選択部141は、車両の走行状態ごとに、異なる音声を学習させた音声認識用辞書を選択する。
車両の走行状態によって、車両に発生する異常、または、車両に発生する可能性が高い異常の種類が異なるため、異常が発生する際に生じる音声や異常の予兆となる音声の種類も異なる。このため、音声認識用辞書選択部141が備える複数の音声認識用辞書は、それぞれに異なる種類の音声を機械学習させる。言い換えると、複数の音声認識用辞書は、それぞれの走行状態に応じてより適切に異常を判定できる音声を多く登録して学習し、また、それぞれの走行状態に対して適切でない異常を判定できる音声を学習させないことで、異なる車両の走行状態ごとに適切な音声認識用辞書とする。
音声認識用辞書選択部141は、車両の走行状態ごとに認識する音声の種類を適切に選択する機能を有し、音声認識部14aは、選択された音声認識用辞書を用いることで、より適切に車両に発生する異常を判定する。
音声認識部14aは、例えば、車両走行に関する情報が車両の駐車状態を示す場合、駐車状態である車両に発生する可能性が高い異常を示す音声を認識するための音声を登録し学習させた音声認識用辞書を選択して用い、車両に発生する異常を判定する。ここで駐車状態である車両に発生する可能性が高い異常を示す音声とは、例えば人物による車体への傷付け音や、人物が車両に近づく足音、車両の近傍での会話音声などである。
音声認識部14aは、例えば、車両走行に関する情報が車両の所定値以上の走行速度での走行状態を示す場合、上述したような、駐車状態である車両に発生する可能性が高い異常を示す音声であり、かつ、車両が走行中である場合には発生しづらい音声を認識するための音声を排除して学習させた音声認識用辞書を選択して用い、車両に発生する異常を判定する。
音声認識用辞書選択部141は、音声選択部13が選択した音声に基づいて、音声認識に用いる複数の音声認識用辞書のうちから適切な音声認識用辞書を選択してもよい。より詳細には、音声認識用辞書選択部141は、音声選択部13が選択した音声が車両周囲のどこに配置された収音部20であるかに基づいて、収音部20が配置された位置ごとに発生しやすい車両異常を判定する際に適切である音声をより多く登録し、不適切な音声を排除または削減した音声認識用辞書を選択する形態であってもよい。
音声認識部14aは、例えば、音声選択部13が選択した音声が車両外部の車体下部に配置された収音部20が収音した音声であった場合、人物が車両に近づく足音をより多く登録して学習させた音声認識用辞書を選択して音声認識処理を行う。また音声選択部13が選択した音声が車両外部のボンネットやドアミラー付近に配置された収音部20が収音した音声であった場合、人物による車体への傷付け音や車両の近傍での会話音声をより多く登録して学習させた音声認識用辞書を選択して音声認識処理を行う。
上述したように、実施形態2によれば、異常情報出力装置10aは、車両の走行情報または選択した音声に基づいて、音声認識処理に用いる音声認識用辞書を選択する。この構成により、車の走行状態や、収音する音声が車両のどの位置に配置された収音部20が収音した音声であるかに基づいて、より適切な音声認識用辞書を用いた、車両に発生する異常を判定し、出力することができる。
<変形例>
音声認識部14aは、音声選択部13が選択した音声が車両周囲の路面に配置した収音部20が収音した音声であった場合、路面を伝わる伝導性の音声を認識する音声認識用辞書を選択してもよい。
この場合に選択される音声認識用辞書は、路面に接地させた収音部20が収音した路面を伝わる伝導性の音声と、その音声が車両に発生する異常を示すか否かを示す教師データと、を一対のセットとしたデータを、入力データとして学習させた音声認識用辞書である。なお上述したように、車両に発生する異常を示す音声とは、車両周囲で発生する不審な音声または注意を要する異常を示す音声を含む。
本変形例においては、収音部20は予め車両周囲の路面に接地させて配置される。例えば車両の駐車スペース内の路面に配置されて、Bluetooth(登録商標)などの無線通信によって異常情報出力装置10と接続されてもよい。また収音部20は、車両の乗員などによって、車両を駐車した際に手動で路面に接地されて配置されてもよい。収音部20は、図示しない位置制御機構によって、車両が駐車状態である場合にワイヤ等を用いて路面に接地させるよう自動で配置され、車両が走行状態になる際に自動で巻き上げられて、所定の位置に格納されてもよい。
本変形例において、音声選択部13は、車両走行情報取得部12が車両が駐車状態であることを示す情報を取得した場合、路面に接地させて配置された収音部20が集音した音声を選択し、音声認識部14aに出力する。
音声認識部14aは、選択された音声が、車両走行情報取得部12が車両が駐車状態であることを示す情報を取得した場合、または、車両周囲の路面に接地させて配置された収音部20が収音した音声であった場合、地面を伝わる伝導性の音声を登録して学習させた、伝導性の音声を認識する音声認識用辞書を選択して、車両に発生する異常を判定する。
このような構成とすることで、本変形例における異常情報出力装置10aは、車両に近づく人物の足音や他車両の走行音を伝導性の音声として認識し、より正確に車両に発生する異常として判定することができる。また認識する音声が、地面を伝わる伝導性の音声であることにより、風の音や雨音、動物の鳴き声などの伝導性でない音声を、車両に発生する異常として誤判定する可能性を抑制することができる。
<その他の実施形態>
本発明において上述した実施形態1、実施形態2及び実施形態2の変形例に示す具体例等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。
なお本発明は、実施形態1、実施形態2及び実施形態2の変形例に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、実施形態1、実施形態2及び実施形態2の変形例において、車両走行情報取得部12が取得した車両走行情報に基づいて、図示しない音声制御部が、収音部20が収音した音声のゲイン調整を行う実施形態があってもよい。例えば、車両が駐車状態である場合に、図示しない音声制御部が、車両外部の車体下部に配置した収音部20が収音した音声のゲインを、車両外部のボンネットやドアミラー近傍に配置した収音部20が収音した音声のゲインと比較して高く設定することで、車両に近づく人物の足音をより正確に認識可能な音声とすることができる。また車両が駐車状態である場合に、図示しない音声制御部が、車両外部の車体下部に配置した収音部20が収音した音声のゲインを、車両外部のボンネットやドアミラー近傍に配置した収音部20が収音した音声のゲインと比較して低く設定することにより、車両に発生する傷付け音をより正確に認識可能な音声とすることができる。図示しない音声制御部のこれらの設定は、車両の乗員が任意に設定できることが好ましい。また、予め定めた所定値以上の車両速度で走行中である場合に、車両外部に配置した収音部20が収音した音声のゲインを抑制する制御を行ってもよい。
実施形態1、実施形態2及び実施形態2の変形例においては、音声選択部13が選択した音声から車両に発生する異常を判定するために音声認識処理を行ったが、音声認識用辞書を用いて音声認識処理を行う代わりに、選択した音声の音量や周波数解析などの手段を用いて、車両に発生する異常を判定してもよい。このとき、選択した音声の音量が、選択した音声が車両のどの位置に配置された収音部20が収音した音声かを示す情報毎に予め定めた所定値を超えた場合に、車両に異常が発生すると判定する。または、選択した音声の周波数の各帯域ごとの音量が、選択した音声が車両のどの位置に配置された収音部20が収音した音声かを示す情報毎に予め定めた、音声の各帯域ごとの所定値を超えた場合に、車両に異常が発生すると判定する。このような構成とすることで、音声認識処理に必要となる処理を大幅に抑制し、簡易な構成かつ低消費電力で、車両に発生する異常を判定し、出力することができる。
上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含み、例えば、ハードディスクドライブ等の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリを含む。半導体メモリは、書き換え可能な様々な種類のROM(Read Only Memory)やRAM(Random Access Memory)とすることもでき、またSSD(Solid State Drive)として提供されるものも含む。また、プログラムは、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によって電線及び光ファイバ等の有線通信路、又は無線通信路を介してコンピュータに供給されてもよく、例えば電気信号、光信号、及び電磁波を含む。
特許請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「初めに」、「次に」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
10,10a 異常情報出力装置
11 車両周囲情報取得部
12 車両走行情報取得部
13 音声選択部
14,14a 音声認識部
141 音声認識用辞書選択部
15 異常情報出力部
20 収音部(マイクロフォン)
30 撮像部(カメラ)
40 センサ類
50 記録部

Claims (4)

  1. 収音した複数の音声を含む車両周囲情報を取得する車両周囲情報取得部と、
    車両の走行状態に関する情報を取得する車両走行情報取得部と、
    前記車両の走行状態に関する情報に基づいて、前記複数の音声のうち少なくともひとつの音声を選択する音声選択部と、
    前記選択した音声を認識し、前記車両に発生する異常を示す音声が含まれるか否かを判定する音声認識部と、
    前記判定に基づいて、前記車両に発生する異常を異常情報として出力する異常情報出力部と、
    を備える異常情報出力装置。
  2. 前記音声選択部は、前記車両の走行状態に関する情報が前記車両の駐車状態を示す場合、前記車両の外部に配置した収音部20が収音した音声を選択し、前記車両の走行状態に関する情報が予め定めた所定値以下の車両速度での前記車両の走行状態を示す場合、前記車両の外部及び前記車両の室内にそれぞれ配置した複数の前記収音部20が収音した音声を共に選択する、
    請求項1記載の異常情報出力装置。
  3. 前記車両周囲情報取得部は、前記複数の音声を制御する音声制御部をさらに備え、
    前記音声制御部は、前記車両走行情報取得部が取得した前記車両の走行速度に関する情報に基づいて、前記複数の音声にそれぞれ異なるゲイン制御を行う、
    請求項1または2に記載の異常情報出力装置。
  4. コンピュータが、
    収音した複数の音声を含む車両周囲情報を取得するステップと、
    車両の走行状態に関する情報を取得するステップと、
    前記車両の走行状態に関する情報に基づいて、前記複数の音声のうち少なくともひとつの音声を選択するステップと、
    前記選択した音声を認識し、前記車両に発生する異常を示す音声が含まれるか否かを判定するステップと、
    前記判定に基づいて、前記車両に発生する異常を異常情報として出力するステップと、
    を実行する異常情報出力方法。

JP2022104482A 2022-06-29 2022-06-29 異常情報出力装置及び異常情報出力方法 Pending JP2024004716A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022104482A JP2024004716A (ja) 2022-06-29 2022-06-29 異常情報出力装置及び異常情報出力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022104482A JP2024004716A (ja) 2022-06-29 2022-06-29 異常情報出力装置及び異常情報出力方法

Publications (1)

Publication Number Publication Date
JP2024004716A true JP2024004716A (ja) 2024-01-17

Family

ID=89539736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022104482A Pending JP2024004716A (ja) 2022-06-29 2022-06-29 異常情報出力装置及び異常情報出力方法

Country Status (1)

Country Link
JP (1) JP2024004716A (ja)

Similar Documents

Publication Publication Date Title
US10207638B2 (en) Systems and methods for use in a vehicle for detecting external events
US20210103747A1 (en) Audio-visual and cooperative recognition of vehicles
WO2020020311A1 (en) Use of sound with assisted or autonomous driving
CN107031628A (zh) 使用听觉数据的碰撞规避
CN107031624A (zh) 钻车缝摩托车的检测
CN107128304A (zh) 使用听觉数据的碰撞避免
WO2018233300A1 (zh) 语音识别方法和语音识别装置
CN111051171A (zh) 对自主车辆的内部的异常的检测
US11951997B2 (en) Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
JPH08202999A (ja) 車両用周囲状況監視装置
US11021147B2 (en) Vehicles and methods for determining objects of driver focus
JP2024004716A (ja) 異常情報出力装置及び異常情報出力方法
JP2024004717A (ja) 異常情報出力装置及び異常情報出力方法
CN116324659A (zh) 自主载具的紧急警笛检测
JP2020093575A (ja) 制御装置及び制御システム
Lupinska-Dubicka et al. Vehicle passengers detection for onboard eCall-compliant devices
JP2015135594A (ja) 車載情報記録装置
WO2022269948A1 (ja) 情報記録装置及び情報記録方法
JP2007200237A (ja) 異常走行車両撮像システム、異常走行車両撮像方法及び撮像制御装置
JP2019174757A (ja) 音声認識装置
US20230406101A1 (en) Vehicle and method of controlling the same
US20180336913A1 (en) Method to improve temporarily impaired speech recognition in a vehicle
Alqudah et al. Audition ability to enhance reliability of autonomous vehicles: Allowing cars to hear
KR20230087658A (ko) 이동장치 내 위험상황 자동대처 방법 및 이를 위한 시스템
Gabrielli et al. An advanced multimodal driver-assistance prototype for emergency-vehicle detection