JP6385624B2 - 車載情報処理装置、車載装置および車載情報処理方法 - Google Patents

車載情報処理装置、車載装置および車載情報処理方法 Download PDF

Info

Publication number
JP6385624B2
JP6385624B2 JP2018522222A JP2018522222A JP6385624B2 JP 6385624 B2 JP6385624 B2 JP 6385624B2 JP 2018522222 A JP2018522222 A JP 2018522222A JP 2018522222 A JP2018522222 A JP 2018522222A JP 6385624 B2 JP6385624 B2 JP 6385624B2
Authority
JP
Japan
Prior art keywords
vehicle
operator
information
control unit
input operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018522222A
Other languages
English (en)
Other versions
JPWO2017212569A1 (ja
Inventor
友美 保科
友美 保科
太郎 熊谷
太郎 熊谷
敬 平野
敬 平野
政信 大沢
政信 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6385624B2 publication Critical patent/JP6385624B2/ja
Publication of JPWO2017212569A1 publication Critical patent/JPWO2017212569A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、車載装置に対する操作入力を制御する技術に関するものである。
車両に搭載されたナビゲーション機器およびオーディオ機器等は、車両の運転席および助手席の間に配置されたタッチパネルまたはハードウェアスイッチ等の入力操作装置を介して、運転席に着座した運転者、または助手席および後部座席に着座した同乗者による入力操作を受け付ける。従来より、操作者による入力操作が車両走行の妨げにならないように、車両が走行状態にある場合には所定の入力操作を制限する技術が用いられている。
例えば、特許文献１に記載された入力操作装置は、操作者がタッチパネル付ディスプレイに接触した手の形状を検出し、検出された手の形状からタッチパネル付ディスプレイを操作した操作者が運転席に着座している可能性があると判断し、且つ車両が走行中である場合に、当該操作者の操作は車両の走行の妨げになると判断して、操作を受け入れないように処理を行っている。
特開２０１２−３２８７９号公報
上記特許文献１に記載された入力操作装置では、車両が走行中である場合には運転者の手動操作を受け入れないため、運転者がタッチパネル付きディスプレイを操作するためには、車両を停止させる、または同乗者にタッチパネル付きディスプレイの操作を依頼する必要がある。
一方、運転者は手動操作が制限されている場合でも、ナビゲーション機器に搭載された音声認識機能を用いて、運転者は音声操作によりナビゲーション機器またはオーディオ機器等を操作することも可能である。しかし、この場合、運転者がタッチパネル付きディスプレイに指を近づけることにより、ナビゲーション装置またはオーディオ機器に対して操作を行う意図を明示しているにも関わらず、再度ハンドル等に設置されている発話開始ボタン等を押下する必要があるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、運転者の手動操作が受け付けられなかった場合に、安全運転を確保しつつ、運転者の音声操作を受け付けることを目的とする。
この発明に係る車載情報処理装置は、操作者の入力動作を検知したことを示す検知情報を取得する検知情報取得部と、車両の走行状態を示す車両情報を取得する車両情報取得部と、入力動作を行った操作者を特定する特定処理部と、車両情報、または車両情報および特定処理部の特定結果に基づいて、検知情報の出力または操作者の音声を認識する音声認識処理の開始を制御する制御部とを備え、検知情報は、操作者の入力動作を撮像した撮像画像であり、制御部は、車両情報から車両が走行中であると判断した場合に、操作者の入力動作を撮像した撮像画像から操作者の特徴量を抽出し、特定処理部は、制御部が抽出した操作者の特徴量の照合を行い、操作者が運転者であるかの特定を行うものである。
この発明によれば、安全運転を確保しつつ、運転者の音声操作を受け付けることができる。
実施の形態１に係る車載情報処理装置の構成を示すブロック図である。 実施の形態１に係る車載情報処理装置のハードウェア構成例を示す図である。 実施の形態１に係る車載情報処理装置の動作を示すフローチャートである。 実施の形態１に係る車載情報処理装置の制御部により音声認識処理の開始が指示された場合の表示例を示す図である。 実施の形態２に係る車載情報処理装置の構成を示すブロック図である。 実施の形態２に係る車載情報処理装置の動作を示すフローチャートである。 実施の形態３に係る車載情報処理装置の構成を示すブロック図である。 実施の形態３に係る車載情報処理装置の動作を示すフローチャートである。 実施の形態３に係る車載情報処理装置のその他の構成を示すブロック図である。 実施の形態１に係る車載情報処理装置の構成要素を用いた車載装置の構成を示すブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る車載情報処理装置の構成を示すブロック図である。
車載情報処理装置１００は、検知情報取得部１０１、車両情報取得部１０２、制御部１０３、特定処理部１０４および特定データベース１０５を備えて構成される。また、図１に示すように、車載情報処理装置１００は、タッチパネル２００、車載装置３００、表示装置４００、スピーカ５００、マイク６００および音声認識装置７００と接続されている。
検知情報取得部１０１は、タッチパネル２００から検知情報を取得する。タッチパネル２００は、操作者の身体または指等（以下、物体という）の近接または接触を検知すると、検知情報を出力する。タッチパネル２００は、物体の近接または接触を検知可能な静電容量方式、あるいは物体の接触を検知可能な抵抗膜方法等が適用されて構成される。タッチパネル２００は、操作者が操作入力を行うために物体を当該タッチパネル２００に近接または接触させる入力動作を検知する。タッチパネル２００には、操作者の入力動作を検知する領域に予め座標値が付されており、入力動作を検知した位置または範囲を示す情報を検知情報として出力する。
図１の例では、検知情報取得部１０１がタッチパネル２００から検知情報を取得する例を示したが、タッチパッド等から検知情報を取得するように構成してもよい。
車両情報取得部１０２は、図示しない車載ネットワーク等を介して、車両の速度、またはパーキングブレーキの状態情報など、車両の走行状態を示す情報を取得する。
制御部１０３は、検知情報取得部１０１から入力動作の検知情報が入力されると、車両情報取得部１０２が取得した車両の走行状態を示す情報に応じた処理を行う。制御部１０３は、車両の走行状態を示す情報から、車両が停車または駐車していると判断した場合に、検知情報取得部１０１から入力された入力動作時の検知情報を制御情報として車載装置３００に出力する。
一方、制御部１０３は、車両が走行中であると判断した場合に、入力動作時の検知情報の解析を行い、入力動作を行った物体の特徴量を抽出して特定処理部１０４に出力する。制御部１０３は、特定処理部１０４から入力される操作者の特定結果を参照し、車両が走行中であり、且つ操作者が同乗者の場合は、検知情報取得部１０１から入力された入力動作時の検知情報を制御情報として車載装置３００に出力する。また、制御部１０３は、特定処理部１０４から入力される操作者の特定結果を参照し、車両が走行中であり、且つ操作者が運転者の場合には、音声認識装置７００に対して音声認識処理の開始を指示する。
ここで、制御部１０３が抽出する入力動作時の物体の特徴量とは、例えば入力動作として操作者が人差し指でタッチパネル２００のボタンを押下しようとする場合に、操作者の手および指の形状、または操作者の人差し指の頂点および操作者の手および指の形状の組み合わせ等である。なお、上述した特徴量は一例であり、入力動作を行った物体を特定可能な情報であれば、特徴量として用いることができる。
なお、制御部１０３のより詳細な制御内容については後述する。
特定処理部１０４は、制御部１０３で抽出された入力動作を行った物体の特徴量と、特定データベース１０５に格納された特徴量との照合を行い、入力動作を行った操作者が運転者であるか、または運転者以外の同乗者であるか特定を行う。特定処理部１０４は、入力動作を行った操作者の特定結果を制御部１０３に出力する。
具体的には、車両が右ハンドルの場合を例に説明すると、特定処理部１０４は、抽出された入力動作を行ったの物体の特徴量と、特定データベース１０５に格納された左手で入力動作を行った場合に想定される左手の形状の特徴量との一致度が閾値以上である場合には、操作者は運転者であると特定する。また、特定処理部１０４は、抽出された入力動作時の物体の特徴量と、特定データベース１０５に格納された右手で入力動作を行った場合に想定される右手の形状の特徴量との一致度が閾値以上である場合には、操作者は同乗者であると特定する。
特定データベース１０５は、運転者が入力動作を行った場合に想定される物体の特徴量、および助手席の同乗者が入力動作を行った場合に想定される物体の特徴量を格納している。例えば、特定データベース１０５は、車両が右ハンドルである場合に、助手席の同乗者が右手でタッチパネル２００を操作する場合に、タッチパネル２００に近接または接近した右手から抽出されると推定される手の形状、指の指し示す方向および手の角度等を格納している。同様に、運転席の運転者が左手でタッチパネル２００を操作する場合に、タッチパネル２００に近接または接近した左手から抽出されると推定される形状の特徴量、指の指し示す方向および手の角度等格納している。手の角度とは、例えばタッチパネル２００の辺に対する傾きである。
なお、車両が左ハンドルの場合には、特定データベース１０５に、運転者と右手の形状の特徴量等とを対応付け、同乗者と左手の形状の特徴量等とを対応付けて記憶させればよい。
車載装置３００は、車両に搭載されたナビゲーション装置およびオーディオ装置等である。車載装置３００は、制御部１０３から入力される検知情報に示された入力動作が検知された位置または範囲を示す情報に基づいて、自装置の制御を行う。
表示装置４００は、例えば液晶ディスプレイ、または有機ＥＬ（エレクトロルミネッセンス）等で構成され、車載情報処理装置１００および車載装置３００から入力される制御情報に基づいて、運転者および同乗者に通知するための情報を表示する。具体的には、表示装置４００は、車載装置３００がナビゲーション装置である場合、車載情報処理装置１００から入力される制御情報に基づいて、例えば地図、出発地、目的地および案内経路などの情報を表示する。また、表示装置４００は、車載装置３００から入力される情報に基づいて、音声認識処理の開始、および音声認識結果等を通知する画面等を表示する。さらに表示装置４００は、車載装置３００がナビゲーション装置である場合、例えば地図、出発地、目的地および案内経路などの情報を表示する。
なお、表示装置４００とタッチパネル２００とを一体化し、タッチパネル２００への入力を、表示装置４００に表示された情報を選択する操作として受け付ける構成としてもよい。
スピーカ５００は、車載情報処理装置１００および車載装置３００から入力される制御情報に基づいて、運転者および同乗者に通知するための情報を音声出力する。具体的には、制御部１０３から入力される制御情報に基づいて、音声認識処理の開始、および音声認識結果等を通知する音声を出力する。
マイク６００は、車両内の乗員の音声を集音する。マイク６００は、例えば、全指向性のマイク、複数の全指向性のマイクをアレイ状に配列して指向特性を調整したアレイマイク、または一方向にのみ指向性を有する単一指向性マイク等を適用可能である。
音声認識装置７００は、音声情報取得部７０１および音声認識部７０２を備える。車載情報処理装置１００から音声認識装置７００に音声認識処理の開始を指示する制御情報が入力されると、音声情報取得部７０１は、マイク６００が集音した音声情報を取得し、例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）によりＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換する。なお、音声情報取得部７０１はマイク６００が備え、常時音声情報をＡ／Ｄ変換するように構成してもよい。
音声認識部７０２は、音声情報取得部７０１によりＡ／Ｄ変換された音声信号から、ユーザが発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、抽出した特徴量に基づいて音声認識辞書を用いて認識処理を行い、認識結果を車載装置３００に出力する。認識処理としては、例えばＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）法のような一般的な方法を用いて行えばよい。
なお、音声認識装置７００は、車載情報処理装置１００からの制御情報に基づいて音声認識処理を開始する以外にも、例えば、タッチパネルまたはハンドル等に設置された音声認識の開始を指示するボタンが押下された場合に、当該ボタンの押下を示す情報に応じて、マイク６００が集音した音声情報の音声認識処理を開始してもよい。
次に、車載情報処理装置１００のハードウェア構成例を説明する。
図２は、実施の形態１に係る車載情報処理装置１００のハードウェア構成例を示す図である。
車載情報処理装置１００における検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４は、処理回路により実現される。すなわち、検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４は、入力動作の検知情報から物体の特徴点を抽出して、操作者が運転者であるか同乗者であるかの特定を行い、運転者であった場合に音声認識処理の開始を指示する処理回路を備える。
処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。
処理回路がＣＰＵ（Central Processing Unit）の場合、処理回路は図２に示すメモリ１２０に格納されるプログラムを実行するＣＰＵ１１０である。検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１２０に格納される。ＣＰＵ１１０は、メモリ１２０に記憶されたプログラムを読み出して実行することにより、検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４の各機能を実現する。即ち、検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４は、ＣＰＵ１１０により実行されるときに、後述する図３に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１２０を備える。また、これらのプログラムは、検知情報取得部１０１、車両情報取得部１０２、制御部１０３および特定処理部１０４の手順または方法をコンピュータに実行させるものであるともいえる。
ここで、ＣＰＵ１１０は、例えば、中央処理装置、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１２０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
次に、制御部１０３の制御内容をより詳細に説明する。
以下では、車両の走行状態および操作者の特定結果に応じて、３つに場合分けを行って説明する。
（１−１）車両が停車または駐車している場合
制御部１０３は、車両情報取得部１０２から取得した車両の走行状態を参照し、車速が「０」、またはパーキングブレーキがＯＮである場合に、車両が停車または駐車していると判断する。
制御部１０３は、検知情報取得部１０１が取得した検知情報に記載された、入力動作が検知された位置または範囲を示す情報を、車載装置３００に出力する。
車載装置３００は、入力された位置または範囲を示す情報に基づいて、操作者の操作を特定し、特定した操作に対応する処理を実行する。
（１−２）車両が走行中、且つ操作者の特定結果が同乗者である場合
制御部１０３は、車両情報取得部１０２から取得した車両の走行状態を参照し、予め設定された車速以上の状態が、所定の時間継続している場合に、車両が走行中であると判断する。ここで、予め設定された車速とは、例えば時速５ｋｍ等である。また所定の時間とは、例えば３秒等である。
さらに、制御部１０３は、特定処理部１０４から入力された操作者の特定結果を参照し、操作者が同乗者であると判定した場合に、検知情報取得部１０１が取得した検知情報に記載された、入力動作が検知された位置または範囲を示す情報を、車載装置３００に出力する。即ち、制御部１０３は、タッチパネル２００を介した操作者の操作を受け付ける。
車載装置３００は、入力された位置または範囲を示す情報に基づいて、操作者の操作を特定し、特定した操作に対応する処理を実行する。
（１−３）車両が走行中、且つ操作者の特定結果が運転者である場合
制御部１０３は、車両情報取得部１０２から取得した車両の走行状態を参照し、予め設定された車速以上の状態が、所定の時間継続している場合に、車両が走行中であると判断する。
さらに、制御部１０３は、特定処理部１０４から入力された操作者の特定結果を参照し、操作者が運転者であると判定した場合に、音声認識装置７００に対して音声認識処理の開始を指示する制御情報を出力する。即ち、制御部１０３は、タッチパネル２００を介した操作者の操作を受け付けず、音声認識処理へ移行させる。
車載装置３００は、音声認識装置７００から入力される音声認識結果に基づいて、操作者の操作を特定し、特定した操作に対応する処理を実行する。
次に、車載情報処理装置１００の動作について説明する。
図３は、実施の形態１に係る車載情報処理装置１００の動作を示すフローチャートである。
車載情報処理装置１００が起動されると、車載情報処理装置１００の設定値が初期化される（ステップＳＴ１）。次に、検知情報取得部１０１は、物体がタッチパネル２００に近接または接触したことを示す入力動作の検知情報を取得したか否か判定を行う（ステップＳＴ２）。入力動作の検知情報を取得していない場合（ステップＳＴ２；ＮＯ）、ステップＳＴ２の判定処理を繰り返す。
一方、入力動作の検知情報を取得した場合（ステップＳＴ２；ＹＥＳ）、検知情報取得部１０１は取得した入力動作の検知情報を制御部１０３に出力する。制御部１０３は、入力動作の検知情報が入力されると、車両情報取得部１０２から常時あるいは所定間隔で入力される車両の走行状態を示す情報とを参照して、車両が走行中であるか判定を行う（ステップＳＴ３）。車両が走行中でない場合（ステップＳＴ３；ＮＯ）、制御部１０３は後述するステップＳＴ８の処理に進む。一方、車両が走行中である場合（ステップＳＴ３；ＹＥＳ）、制御部１０３は、入力動作の検知情報の解析を行い、物体の形状を検出し、検出した形状の特徴量を抽出する（ステップＳＴ４）。特定処理部１０４は、ステップＳＴ４で抽出された特徴量と、特定データベース１０５に格納された特徴量との照合を行い、操作者が運転者であるか同乗者であるか特定を行う（ステップＳＴ５）。制御部１０３は、操作者の特定結果を参照し、操作者は運転者であるか否か判定を行う（ステップＳＴ６）。
操作者が運転者である場合（ステップＳＴ６；ＹＥＳ）、制御部１０３は、音声認識処理の開始を指示する制御情報を、音声認識装置７００に出力する（ステップＳＴ７）。その後、フローチャートはステップＳＴ２の処理に戻る。一方、操作者が運転者でない場合（ステップＳＴ６；ＮＯ）、制御部１０３は入力動作の検知情報を車載装置３００に出力する（ステップＳＴ８）。その後、フローチャートはステップＳＴ２の処理に戻る。
ステップＳＴ７において、制御部１０３が音声認識装置７００に音声認識処理の開始を指示する制御情報を出力すると、音声認識装置７００は、マイク６００を介して集音された音声情報の音声認識処理を開始する。その場合、音声認識装置７００は、車載装置３００を介して、表示装置４００に音声認識処理が開始されたこと、即ち音声操作が可能になったことを示す情報を表示する。同様に、音声認識装置７００は、車載装置３００を介して、スピーカ５００に音声認識処理が開始されたことを、即ち音声操作が可能になったことを示す情報を音声出力する。
図４は、実施の形態１に係る車載情報処理装置１００の制御部１０３による音声認識処理の開始が指示された後の表示例を示している。
表示装置４００の画面４０１には、音声入力を受け付けていることを通知するアイコン４０２またはメッセージ４０３の少なくとも一方が表示される。運転者は、アイコン４０２またはメッセージ４０３に従って発話を行う。
以上のように、この実施の形態１によれば、操作者の入力動作を検知したことを示す検知情報を取得する検知情報取得部１０１と、車両の走行状態を示す車両情報を取得する車両情報取得部１０２と、入力動作を行った操作者を特定する特定処理部１０４と、車両情報、または車両情報および特定処理部１０４の特定結果に基づいて、検知情報の出力または操作者の音声を認識する音声認識処理の開始を制御する制御部１０３とを備えるように構成したので、煩雑な操作を行うことなく、安全運転を確保しつつ、運転者の音声操作を受け付けることができる。
また、この実施の形態１によれば、制御部１０３は、車両情報から車両が走行中であると判断した場合に、検知情報から操作者の特徴量を抽出し、特定処理部１０４は、制御部１０３が抽出した操作者の特徴量の照合を行い、操作者が運転者であるかの特定を行い、制御部１０３は、特定処理部１０４が、操作者が運転者であると特定した場合に、音声認識処理の開始を制御するように構成したので、運転者の手動操作を受け付けない場合に、煩雑な操作を行うことなく、安全運転を確保しつつ、運転者の音声操作を受け付けることができる。
実施の形態２．
上述した実施の形態２では、タッチパネル２００を介して入力された入力動作の操作者を、タッチパネル２００から入力される検知情報を用いて特定する構成を示したが、この実施の形態２では、赤外線カメラの撮像画像から得られる検知情報を用いて操作者の特定を行う構成を示す。
図５は、実施の形態２に係る車載情報処理装置１００ａの構成を示すブロック図である。
実施の形態２の車載情報処理装置１００ａの検知情報取得部１０１ａは、タッチパネル２００およびハードウェアスイッチ（以下、Ｈ／Ｗスイッチという）２０１から検知情報を取得し、赤外線カメラ２０２から撮像画像を取得する。なお、以下では、実施の形態１に係る車載情報処理装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。また、検知情報取得部１０１ａは、タッチパネル２００およびＨ／Ｗスイッチ２０１以外にも、タッチパッド等から検知情報を取得してもよい。
タッチパネル２００は、操作者の物体の近接または接触を検知すると、検知情報取得部１０１ａに対して入力動作を検知した位置または範囲を示す情報を検知情報として出力する。また、Ｈ／Ｗスイッチ２０１は、スイッチが押下されると、検知情報取得部１０１ａに対して入力動作を検知したスイッチの情報を検知情報として出力する。
赤外線カメラ２０２は、操作者が入力動作を行う領域を撮影し、検知情報取得部１０１ａに対して撮像画像を出力する。赤外線カメラ２０２は、例えばタッチパネル２００の上部、ダッシュボードに嵌め込まれた車載装置３００の上部、または表示装置４００の上部等に設置される。赤外線カメラ２０２は、操作者が入力動作を行う領域を撮影することができるように、広範囲の領域を撮像可能に構成する。具体的には、赤外線カメラ２０２は、タッチパネル２００、Ｈ／Ｗスイッチ２０１またはタッチパッド等を撮影可能に複数台配置される、高画角のカメラが適用される。
検知情報取得部１０１ａは、タッチパネル２００またはＨ／Ｗスイッチ２０１から検知情報を取得する。また、検知情報取得部１０１ａは、赤外線カメラ２０２から撮像画像を取得する。検知情報取得部１０１ａは、赤外線カメラ２０２の撮像画像を参照し、物体がタッチパネル２００に近接または接触したことを示す撮像画像、または物体がＨ／Ｗスイッチ２０１を押下したことを示す撮像画像を検知情報として取得する。この場合、検知情報取得部１０１ａは、赤外線カメラ２０２の撮像画像内に入力動作を行う物体が撮像されると予め設定された領域を記憶しておき、当該領域の撮像画像において、所定の輝度以上の部分が所定時間（例えば、１秒など）以上検出された場合に、物体がタッチパネル２００またはＨ／Ｗスイッチ２０１に近接または接触していると判断し、その撮像画像を検知情報として取得する。
撮像画像の輝度は、例えば「０」から「２５４」の値を用いて２５５段階で示される。検知情報取得部１０１ａは、撮影画像の予め設定された領域における輝度値が、例えば「１５０」以上である場合に、入力動作を行う物体が撮像されたと判断する等、輝度と、物体の近接状態または接触状態を予め対応付けておく。
また、赤外線カメラ２０２がタッチパネル２００またはＨ／Ｗスイッチ２０１を撮像可能な位置に配置される場合には、検知情報取得部１０１ａは、赤外線カメラ２０２の撮像画像内にタッチパネル２００またはＨ／Ｗスイッチ２０１の配置位置に相当する領域を記憶しておき、当該領域の撮像画像において所定の輝度以上が所定時間以上検出されたか判断する。
制御部１０３は、検知情報取得部１０１ａからタッチパネル２００またはＨ／Ｗスイッチ２０１の検知情報が入力され、車両情報取得部１０２が取得した車両の走行状態を示す情報から車両が停車または駐車していると判断した場合に、タッチパネル２００またはＨ／Ｗスイッチ２０１の検知情報を制御情報として車載装置３００に出力する。
一方、制御部１０３は、検知情報取得部１０１ａからタッチパネル２００またはＨ／Ｗスイッチ２０１の検知情報が入力され、車両情報取得部１０２が取得した車両の走行状態を示す情報から車両が走行中であると判断した場合に、検知情報取得部１０１ａから入力された赤外線カメラ２０２の撮像画像から取得した検知情報の解析を行い、入力動作を行った物体の特徴量を抽出して特定処理部１０４に出力する。
ここで、制御部１０３が抽出する入力動作時の物体の特徴量とは、例えば、操作者の手および指の形状、操作者の手および指の形状と操作者の腕の到来方向の組み合わせ、操作者の人差し指の頂点と操作者の手および指の形状の組み合わせ、操作者の人差し指の頂点と操作者の手および指の形状と操作者の腕の到来方向の組み合わせ等である。なお、上述した特徴量は一例であり、操作者の入力動作を特定可能な情報であれば、特徴量として用いることができる。
制御部１０３は、赤外線カメラ２０２からの撮像画像を検知情報として取得することにより、手および指の形状の検知に加えて、腕の到来方向を特徴量として抽出することができる。
次に、制御部１０３が、赤外線カメラ２０２の撮像画像から取得した検知情報から特徴量を抽出する処理を具体的に説明する。
制御部１０３は、操作者の手の形状から特徴量を抽出する場合、検知情報である撮像画像の解析を行い、輝度値が所定値以上である領域の特徴量を抽出する。撮像画像の輝度値を０から２５４の２５５段階で示した場合に、制御部１０３は、輝度値が例えば１５０以上の値を示す領域を抽出し、この領域から手および指の輪郭の形状、または各指の頂点の位置を特徴量として抽出する。
制御部１０３は、操作者の腕の到来方向から特徴量を抽出する場合、検知情報である撮像画像の解析を行い、輝度値が所定値以上である領域の特徴量を抽出する。制御部１０３は、輝度値が例えば１５０以上の値を示す領域を抽出し、この領域から手および指の輪郭の形状、または各指の頂点の位置を特徴量として抽出すると共に、腕部に相当する領域を矩形領域に近似させ、近似させた矩形領域の傾きを特徴量として抽出する。矩形領域の傾きは、例えば撮像画像の縦軸または横軸に対する傾きである。
特定処理部１０４は、制御部１０３が抽出した特徴量と、特定データベース１０５に格納された特徴量との照合を行い、操作者の特定を行う。
この場合、特定データベース１０５には、物体の特徴量として、手の形状および腕部の到来方向などが格納されている。
特定処理部１０４は、実施の形態１と同様に、抽出された手の形状の特徴量と、特定データベース１０５に格納された特徴量との照合を行い、操作者が運転者であるか特定を行う。または、特定処理部１０４は、操作者の手の形状および腕の到来方向の特徴量と、特定データベース１０５に格納された特徴量との照合を行い、操作者が運転者であるか特定を行う。
特定処理部１０４は、運転者であるかの特定において、手の形状に加えて腕の到来方向を用いた照合を行うことにより、操作者を特定する際の精度を向上させることができる。
次に、車載情報処理装置１００ａの動作について説明する。
図６は、実施の形態２に係る車載情報処理装置１００ａの動作を示すフローチャートである。
なお、以下では、実施の形態１に係る車載情報処理装置１００と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
検知情報取得部１０１ａは、物体がタッチパネル２００に近接または接触したこと、または物体がＨ／Ｗスイッチ２０１を押下したことを示す入力動作の検知情報を取得したか否か判定を行う（ステップＳＴ２）。入力動作の検知情報を取得していない場合（ステップＳＴ２；ＮＯ）、ステップＳＴ２の判定処理を繰り返す。
ステップＳＴ２において、検知情報取得部１０１ａが入力動作の検知情報を取得すると（ステップＳＴ２；ＹＥＳ）、さらに検知情報取得部１０１ａは、赤外線カメラ２０２の撮像画像から入力動作の検知情報を取得する（ステップＳＴ１１）。検知情報取得部１０１ａは、取得した入力動作の検知情報を制御部１０３に出力する。制御部１０３は、入力動作の検知情報が入力されると、車両情報取得部１０２から常時あるいは所定間隔で入力される車両の走行状態を示す情報とを参照して、車両が走行中であるか判定を行う（ステップＳＴ３）。車両が走行中でない場合（ステップＳＴ３；ＮＯ）、制御部１０３は後述するステップＳＴ８ａの処理に進む。
一方、車両が走行中である場合（ステップＳＴ３；ＹＥＳ）、制御部１０３は、入力動作の検知情報のうち撮像画像から取得した検知情報の解析を行い、物体の形状を検出し、検出した形状の特徴量を抽出する（ステップＳＴ４ａ）。特定処理部１０４は、ステップＳＴ４ａで抽出された特徴量と、特定データベース１０５に格納された特徴量との照合を行い、操作者が運転者であるか同乗者であるか特定を行う（ステップＳＴ５）。制御部１０３は、操作者の特定結果を参照し、操作者は運転者であるか否か判定を行う（ステップＳＴ６）。
操作者が運転者である場合（ステップＳＴ６；ＹＥＳ）、制御部１０３は、音声認識処理の開始を指示する制御情報を、音声認識装置７００に出力する（ステップＳＴ７）。その後、フローチャートはステップＳＴ２の処理に戻る。一方、操作者が運転者でない場合（ステップＳＴ６；ＮＯ）、制御部１０３は入力動作の検知情報のうちタッチパネル２００またはＨ／Ｗスイッチ２０１から取得された検知情報を車載装置３００に出力する（ステップＳＴ８ａ）。その後、フローチャートはステップＳＴ２の処理に戻る。
以上のように、この実施の形態２によれば、検知情報取得部１０１が操作者の入力動作を撮像した撮像画像を取得し、制御部１０３が撮像画像から操作者の特徴量を抽出するように構成したので、車載装置をＨ／Ｗスイッチを介して操作する場合にも、走行中に運転者がＨ／Ｗスイッチを操作した場合に、運転者を煩わせることなく音声操作に移行させることができる。よって、煩雑な操作を行うことなく、安全運転を確保しつつ、運転者の音声操作を受け付けることができる。
また、この実施の形態２よれば、検知情報取得部１０１が操作者が入力動作を行う領域を撮像した撮像画像を取得し、制御部１０３が入力動作時の物体の特徴量として、操作者の腕の到来方向も考慮するように構成したので、操作者を特定する際の精度を向上させることができる。
実施の形態３．
この実施の形態３では、車両の走行開始を予測し、予測結果を用いて音声認識処理を開始するかを判定する構成を示す。
図７は、実施の形態３に係る車載情報処理装置１００ｂの構成を示すブロック図である。実施の形態３の車載情報処理装置１００ｂは、走行予測部１０６を追加して備え、制御部１０３を制御部１０３ａに置き換えて構成している。なお、以下では、実施の形態１に係る車載情報処理装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
走行予測部１０６は、外部のカメラ８０１が自車両の前方を走行する車両（以下、前方車両という）を撮像した撮像画像、または路側機８０２から受信する信号の灯火情報等の少なくとも１つを取得する。カメラ８０１は、例えば自車両の前方に、前報車両のブレーキランプを撮像可能に設置される。路側機８０２は、信号の点灯を制御する情報を配信している。
走行予測部１０６は、取得した前方車両の撮像画像または信号の灯火情報等の少なくとも１つの情報から、自車両の走行開始を予測する。走行予測部１０６は、例えば前方車両の撮像画像を参照し、前方車両のブレーキランプが点灯状態から消灯状態に変わった場合に、自車両の走行が開始されると予測する。また、走行予測部１０６は、信号の灯火情報を参照し、所定時間（例えば、３秒など）経過後に青信号に変わる場合に、自車両の走行が開始されると予測する。走行予測部１０６は、予測結果を制御部１０３ａに出力する。
なお、前方車両の撮像画像および信号の灯火情報以外にも、自車両の走行開始を予測することが可能な情報があれば、その情報を参照して自車両の走行開始を予測することが可能である。
制御部１０３ａは、車速が「０」、またはパーキングブレーキがＯＮである場合に、さらに走行予測部１０６の予測結果を参照し、車両の走行が開始されると予測されているか判定を行う。制御部１０３ａは、車両の走行が開始されると予測されている場合に、車両が走行中であるとみなす。一方、制御部１０３ａは、車両の走行が開始されると予測されていない場合に、車両が走行中でないと判断する。
次に、車載情報処理装置１００ｂの動作について説明する。
図８は、実施の形態３に係る車載情報処理装置１００ｂの動作を示すフローチャートである。
なお、以下では、実施の形態１に係る車載情報処理装置１００と同一のステップには図３で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップＳＴ３において制御部１０３ａは車両が走行中でないと判定した場合に（ステップＳＴ３；ＮＯ）、制御部１０３ａはさらに走行予測部１０６の予測結果を参照し、車両の走行開始が予測されているか判定を行う（ステップＳＴ２１）。車両の走行開始が予測されている場合（ステップＳＴ２１；ＹＥＳ）、制御部１０３ａは車両が走行中であるとみなし、ステップＳＴ４の処理に進む。一方、車両の走行開始が予測されていない場合（ステップＳＴ２１；ＮＯ）、制御部１０３ａは車両が走行中でないと判断してステップＳＴ８の処理に進む。
以上のように、この実施の形態３によれば、走行中でない車両の走行開始を予測する走行予測部１０６を備え、制御部１０３ａは、車両情報が車両の停止を示し、且つ走行予測部１０６が車両の走行開始を予測している場合には、車両が走行中であると判断するように構成したので、車両が走行中でない場合であっても、車両の走行開始を予測して音声認識処理の開始を制御することができ、運転者の操作性を向上させることができる。
なお、上述した実施の形態３では、実施の形態１で示した車載情報処理装置１００に走行予測部１０６を追加して設ける構成を示したが、実施の形態２で示した車載情報処理装置１００ａに走行予測部１０６を追加して設ける構成としてもよい。
また、上述した実施の形態３では、車載情報処理装置１００ａ内の走行予測部１０６が、路側機から送信される信号の灯火情報を取得し、取得した情報から自車両の走行開始を予測する構成を示したが、外部サーバにおいて信号の灯火情報と自車両の位置情報等に基づいて自車両の走行開始を予測して予測結果を車載情報処理装置１００ｂに入力する構成としてもよい。
図９は、サーバ装置８０３を備え、当該サーバ装置８０３から自車両の走行開始の予測結果を車載情報処理装置１００ｂの制御部１０３ａに入力する構成を示している。車載情報処理装置１００ｂは、サーバ装置８０３に対して自車両の位置情報等を送信する。サーバ装置８０３は、格納している信号機の灯火情報と、車載情報処理装置１００ｂから送信された自車両の位置情報等とから、自車両の走行開始を予測し、予測結果を車載情報処理装置１００ｂに送信する。
カメラ８０１は前方車両を撮像し、撮像画像が走行予測部１０６に入力される。走行予測部１０６は、入力された画像から車両の走行開始を予測する。制御部１０３ａは、サーバ装置８０３から入力された予測結果と、走行予測部１０６から入力された予測結果とに基づいて、車両の走行開始が予測されているかの判定を行う。また、図９で示したサーバ装置８０３が、音声認識装置７００の機能を備える構成としてもよい。
さらに、図１０に示すように、実施の形態１から実施の形態３で示した車載情報処理装置１００，１００ａ、１００ｂの機能を備えた車載装置として構成することも可能である。図１０は、実施の形態１で示した各構成要素を用いた車載装置３０１の構成を示すブロック図である。
図１０で示した検知情報取得部１０１、車両情報取得部１０２、制御部１０３、特定処理部１０４、特定データベース１０５、音声情報取得部７０１および音声認識部７０２は、実施の形態１で示した構成要素と同一であるため、同一の符号を付して説明を省略する。
情報処理部３０２は、ナビゲーション機能、オーディオ再生機能および情報出力制御機能等を備える。情報処理部３０２は、制御部１０３から入力される制御情報または音声認識処理部７０３から入力される音声認識結果に基づいて、経路探索および経路案内等の情報処理、地図情報の表示等の表示制御、オーディオ情報の出力制御、および車両の乗員に通知すべき情報の表示制御および音声出力制御等を行う。ナビゲーション情報の表示制御および音声出力制御、オーディオ情報の出力制御、およびユーザに通知すべき情報の表示制御および音声出力制御を行う。
表示装置４００は、情報処理部３０２の制御に従い、ナビゲーション情報、オーディオ情報、およびユーザに通知すべき情報等を表示する。
スピーカ５００は、情報処理部３０２の制御に従い、ナビゲーション情報、オーディオ情報、ユーザに通知すべき情報を音声出力する。
なお、図１０では、実施の形態１で示した車載情報処理装置１００の機能を備えた車載装置３０１を示したが、実施の形態２または実施の形態３で示した車載情報処理装置１００ａ，１００ｂの機能を備えた車載装置として構成することも可能である。
なお、上述した実施の形態１から実施の形態３では、同乗者には、助手席に着座した同乗者、および後部座席に着座した同乗者が含まれるものとしている。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る車載情報処理装置は、車両が走行している際に運転者の操作を受け付けると音声認識処理が開始するため、車載のナビゲーション装置またはオーディオ装置に適用し、操作性を向上させるのに適している。
１００，１００ａ，１００ｂ 車載情報処理装置、１０１，１０１ａ 検知情報取得部、１０２ 車両情報取得部、１０３，１０３ａ 制御部、１０４ 特定処理部、１０５ 特定データベース、１０６ 走行予測部、２００ タッチパネル、２０１ Ｈ／Ｗスイッチ、２０２ 赤外線カメラ、３００，３０１ 車載装置、３０２ 情報処理部、４００ 表示装置、５００ スピーカ、６００ マイク、７００ 音声認識装置、７０１ 音声情報取得部、７０２ 音声認識部、７０３ 音声認識処理部、８０１ カメラ、８０２ 路側機、８０３ サーバ装置。

Claims (9)

  1. 操作者の入力動作を検知したことを示す検知情報を取得する検知情報取得部と、
    車両の走行状態を示す車両情報を取得する車両情報取得部と、
    前記入力動作を行った操作者を特定する特定処理部と、
    前記車両情報、または前記車両情報および前記特定処理部の特定結果に基づいて、前記検知情報の出力または前記操作者の音声を認識する音声認識処理の開始を制御する制御部とを備え、
    前記検知情報は、操作者の入力動作を撮像した撮像画像であり、
    前記制御部は、前記車両情報から前記車両が走行中であると判断した場合に、前記操作者の入力動作を撮像した撮像画像から前記操作者の特徴量を抽出し、
    前記特定処理部は、前記制御部が抽出した前記操作者の特徴量の照合を行い、前記操作者が運転者であるかの特定を行うことを特徴とする車載情報処理装置。
  2. 前記制御部は、前記特定処理部が、前記操作者が運転者であると特定した場合に、前記音声認識処理の開始を制御することを特徴とする請求項１記載の車載情報処理装置。
  3. 前記制御部は、前記特定処理部が、前記操作者が運転者でないと特定した場合に、前記検知情報の出力を制御することを特徴とする請求項１記載の車載情報処理装置。
  4. 前記制御部は、前記車両情報から前記車両が走行中でないと判断した場合に、前記検知情報の出力を制御することを特徴とする請求項１記載の車載情報処理装置。
  5. 前記制御部が前記車両情報から走行中でないと判断した前記車両の走行開始を予測する走行予測部を備え、
    前記制御部は、前記走行予測部が走行を開始すると予測した前記車両を、走行中であるとみなすことを特徴とする請求項１記載の車載情報処理装置。
  6. 前記走行予測部は、前記車両の前方を走行する車両を撮像した撮像画像、または信号機の灯火情報の少なくとも一方を用いて前記車両の走行開始を予測することを特徴とする請求項５記載の車載情報処理装置。
  7. 前記制御部は、信号機の灯火情報に基づいて、前記車両が走行を開始するかを予測した情報を外部サーバから取得することを特徴とする請求項５記載の車載情報処理装置。
  8. 操作者の入力動作を検知したことを示す検知情報を取得する検知情報取得部と、
    車両の走行状態を示す車両情報を取得する車両情報取得部と、
    前記入力動作を行った操作者を特定する特定処理部と、
    前記車両情報、または前記車両情報および前記特定処理部の特定結果に基づいて、前記検知情報の出力または前記操作者の音声を認識する音声認識処理の開始を制御する制御部と、
    前記制御部の制御に基づいて前記操作者の発話音声の音声認識を行う音声認識処理部と、
    前記制御部の制御および前記音声認識処理部の音声認識結果に基づいて情報の処理および情報の提示を行い、前記音声認識処理部による音声認識処理が開始されると、前記音声認識処理の開始を通知する情報の提示を行う情報処理部とを備え、
    前記検知情報は、操作者の入力動作を撮像した撮像画像であり、
    前記制御部は、前記車両情報から前記車両が走行中であると判断した場合に、前記操作者の入力動作を撮像した撮像画像から前記操作者の特徴量を抽出し、
    前記特定処理部は、前記制御部が抽出した前記操作者の特徴量の照合を行い、前記操作者が運転者であるかの特定を行うことを特徴とする車載装置。
  9. 検知情報取得部が、操作者の入力動作を検知したことを示す検知情報を取得するステップと、
    車両情報取得部が、車両の走行状態を示す車両情報を取得するステップと、
    制御部が、前記車両情報から前記車両が走行中であるかを判断するステップと、
    特定処理部が、前記車両が走行中であると判断された場合に、前記入力動作を行った操作者を特定するステップと、
    前記制御部が、前記車両情報、または前記車両情報および前記操作者を特定した特定結果に基づいて、前記検知情報の出力または前記操作者の音声を認識する音声認識処理の開始を制御するステップとを備え、
    前記検知情報は、操作者の入力動作を撮像した撮像画像であり、
    前記制御部は、前記車両情報から前記車両が走行中であると判断した場合に、前記操作者の入力動作を撮像した撮像画像から前記操作者の特徴量を抽出し、
    前記特定処理部は、前記制御部が抽出した前記操作者の特徴量の照合を行い、前記操作者が運転者であるかの特定を行うことを特徴とする車載情報処理方法。
JP2018522222A 2016-06-08 2016-06-08 車載情報処理装置、車載装置および車載情報処理方法 Expired - Fee Related JP6385624B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/067052 WO2017212569A1 (ja) 2016-06-08 2016-06-08 車載情報処理装置、車載装置および車載情報処理方法

Publications (2)

Publication Number Publication Date
JP6385624B2 true JP6385624B2 (ja) 2018-09-05
JPWO2017212569A1 JPWO2017212569A1 (ja) 2018-10-11

Family

ID=60577709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018522222A Expired - Fee Related JP6385624B2 (ja) 2016-06-08 2016-06-08 車載情報処理装置、車載装置および車載情報処理方法

Country Status (5)

Country Link
US (1) US20190147261A1 (ja)
JP (1) JP6385624B2 (ja)
CN (1) CN109313040A (ja)
DE (1) DE112016006824B4 (ja)
WO (1) WO2017212569A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020111289A (ja) * 2019-01-16 2020-07-27 本田技研工業株式会社 車両用入力装置
CN113918112A (zh) * 2021-10-12 2022-01-11 上海仙塔智能科技有限公司 Hud的显示处理方法、装置、电子设备与存储介质
US20230316782A1 (en) * 2022-03-31 2023-10-05 Veoneer Us Llc Driver monitoring systems and methods with indirect light source and camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007001342A (ja) * 2005-06-21 2007-01-11 Denso Corp 映像表示装置
JP2012032879A (ja) * 2010-07-28 2012-02-16 Nissan Motor Co Ltd 入力操作装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1811341A (zh) * 2005-01-27 2006-08-02 乐金电子（惠州）有限公司 车载导航装置及其工作方法
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
US8249627B2 (en) * 2009-12-21 2012-08-21 Julia Olincy “I am driving/busy” automatic response system for mobile phones
US9648107B1 (en) * 2011-04-22 2017-05-09 Angel A. Penilla Methods and cloud systems for using connected object state data for informing and alerting connected vehicle drivers of state changes
US9113230B2 (en) * 2011-12-21 2015-08-18 Sony Corporation Method, computer program, and reception apparatus for delivery of supplemental content
US8914014B2 (en) * 2012-02-12 2014-12-16 Joel Vidal Phone that prevents concurrent texting and driving
KR101972089B1 (ko) * 2012-05-15 2019-04-24 엘지전자 주식회사 정보 제공 방법 및 그 장치
DE112012006617B4 (de) * 2012-06-25 2023-09-28 Hyundai Motor Company Bord-Informationsvorrichtung
JP6537780B2 (ja) * 2014-04-09 2019-07-03 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
KR20160090047A (ko) * 2015-01-21 2016-07-29 현대자동차주식회사 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
US20180270344A1 (en) * 2015-03-19 2018-09-20 Mitsubishi Electric Corporation Unconfirmed-information output apparatus, and unconfirmed-information output method
CN107031403A (zh) * 2015-09-30 2017-08-11 法拉第未来公司 可编程车载接口

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007001342A (ja) * 2005-06-21 2007-01-11 Denso Corp 映像表示装置
JP2012032879A (ja) * 2010-07-28 2012-02-16 Nissan Motor Co Ltd 入力操作装置

Also Published As

Publication number Publication date
DE112016006824T5 (de) 2019-02-07
CN109313040A (zh) 2019-02-05
WO2017212569A1 (ja) 2017-12-14
US20190147261A1 (en) 2019-05-16
DE112016006824B4 (de) 2020-10-29
JPWO2017212569A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
EP2862125B1 (en) Depth based context identification
US9753459B2 (en) Method for operating a motor vehicle
US10710457B2 (en) Gesture and facial expressions control for a vehicle
US9656690B2 (en) System and method for using gestures in autonomous parking
KR101537936B1 (ko) 차량 및 그 제어방법
JP6584731B2 (ja) ジェスチャ操作装置及びジェスチャ操作方法
CN108698550B (zh) 停车辅助装置
CN108399044B (zh) 用户界面、运输工具和用于区分用户的方法
US11118934B2 (en) Method and system of route guidance for a towing vehicle
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6604151B2 (ja) 音声認識制御システム
JP2017090613A (ja) 音声認識制御システム
CN110520915B (zh) 通知控制装置及通知控制方法
JP6385624B2 (ja) 車載情報処理装置、車載装置および車載情報処理方法
JP2017090614A (ja) 音声認識制御システム
JP2006208460A (ja) 音声認識型機器制御装置および車両
JP2008309966A (ja) 音声入力処理装置および音声入力処理方法
JP5136948B2 (ja) 車両用操作装置
JP6524510B1 (ja) 自動運転車
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
CN111511599A (zh) 用于运行辅助系统的方法和汽车用辅助系统
JP2018158701A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
WO2017017938A1 (ja) ジェスチャ操作システム、方法およびプログラム
KR20190071104A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20130076214A (ko) 운전자의 포인팅 제스처를 이용한 차량 구동 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180523

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R150 Certificate of patent or registration of utility model

Ref document number: 6385624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees