JP6316559B2 - 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム - Google Patents

情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム Download PDF

Info

Publication number
JP6316559B2
JP6316559B2 JP2013188625A JP2013188625A JP6316559B2 JP 6316559 B2 JP6316559 B2 JP 6316559B2 JP 2013188625 A JP2013188625 A JP 2013188625A JP 2013188625 A JP2013188625 A JP 2013188625A JP 6316559 B2 JP6316559 B2 JP 6316559B2
Authority
JP
Japan
Prior art keywords
detection
user
detected
unit
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013188625A
Other languages
English (en)
Other versions
JP2015055999A (ja
Inventor
晋太郎 高田
晋太郎 高田
孝志 松原
孝志 松原
森　直樹
直樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2013188625A priority Critical patent/JP6316559B2/ja
Priority to CN201480010315.2A priority patent/CN105009032B/zh
Priority to US14/769,896 priority patent/US9696814B2/en
Priority to EP14844118.1A priority patent/EP3046006A4/en
Priority to PCT/JP2014/061742 priority patent/WO2015037268A1/ja
Publication of JP2015055999A publication Critical patent/JP2015055999A/ja
Application granted granted Critical
Publication of JP6316559B2 publication Critical patent/JP6316559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K35/10—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60K2360/11—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/21—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Description

本発明は、例えば、車両内に設けられた車載機器を身振り手振りで操作する情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムに関する。
車両内における車載機器の操作は現状では画面のタッチ操作やジョグダイアル、ハンドルに取り付けられたスイッチ操作などが広く普及している。また、操作の対象となる車載機器はセンターディスプレイに設置されたナビや空調、オーディオに加えて近年では車のフロントガラスに情報を投影するHead Up Display(HUD)が普及しようとしている。このような背景のもと、車載機器の操作は直感的な操作が可能であることや、操作の手間が減ること、操作の際に視線を外す時間が減るという観点などからジェスチャーによる操作が導入されつつある。
例えば、特許文献１には、カメラがスイッチ操作部を表示する画像表示装置に向けた運転者の手の動きを撮影し、その画像情報に基づいてその操作がスイッチ操作部に対する操作であると判断された場合に、スイッチ操作部が操作されたことを示す応答表示をするコンピュータにおいて、センサが操作開始のスタート動作と操作終了の終了動作を検出するし、その検出信号でカメラを撮影開始、撮影終了とする技術が開示されている。
また、特許文献２には、電気機器に対する動作として、制御部が、撮像部が撮像した画像に基づいてユーザの視線方向や動作を検知し、検知したユーザの視線方向や動作に応じて電気機器の状態を制御する処理を行う技術が開示されている。
特開２０１０−１８４６００号公報 特開２００７−０３４５１５号公報
しかしながら前述した特許文献１に開示された技術では、ジェスチャーを検出するためにスタートの動作を必要とするため、迅速でシームレスな操作ができない。また、ジェスチャーの終了時にも終了の動作が必要であり、操作の手間が増してしまう。また、ドライバーが車外の歩行者やドライバーへ向けて行ったハンドジェスチャーと、車内の機器（例えばHUDの表示内容）を操作することを意図して行ったジェスチャーとを混同して認識してしまい、機器の誤操作・誤動作を引き起こす。
また、特許文献２に開示された技術では、視線方向を検知するため、ジェスチャーの誤認識による機器の誤操作・誤動作を引き起こすことは軽減され得る。しかしながら、視線はピンポイントでその方向が定まるため、機器に対して正確な方向に視線を向けなければ、機器が動作しない場合があるという問題があった。
本発明は、上記に鑑みてなされたものであって、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能なジェスチャー検出装置、ジェスチャー検出方法、およびジェスチャー検出プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出部と、前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作を検出する検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、表示部に前記情報処理装置の虚像を表示し、表示された虚像の領域である虚像領域を算出する虚像領域算出部と、前記注視領域算出部が算出した前記注視領域と、前記虚像領域算出部が算出した前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、ユーザを撮像する撮像部によって撮像された画像からユーザの動作を検出する第１の検出部と、外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、前記注視領域と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
また、本発明は、上記情報処理装置で実行されるジェスチャー検出方法、およびジェスチャー検出プログラムとしても把握される。
本発明によれば、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能となる。
本発明の第一実施例における車載機システムの構成図（視線方向判別）である。 本発明の第一実施例における車載機システムの構成図（顔方向判別）である。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線方向判別）。 ナビが置かれている位置を含む周辺領域を拡張した判別領域の例を示す図である。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（顔方向判別）。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線、顔をそらした場合）。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 本発明の第二実施例における車載機システムの構成図である。 左目と右目の各視線方向の交点からドライバーの視距離を算出する例を示す図である。 本発明の第二実施例におけるジェスチャー検出時の動作フローである（視線方向）。 本発明の第二実施例におけるジェスチャー検出時の動作フローである（顔方向）。 ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。 ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。 本発明の第三実施例における車載機システムの構成図である。 本発明の第三実施例におけるジェスチャー検出時の動作フローである（視線方向）。 本発明の第三実施例におけるジェスチャー検出時の動作フローである（顔方向）。 ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。 ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。
以下に添付図面を参照して、本発明にかかる情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムの実施の形態を詳細に説明する。
（第一実施例）
図１Ａは、本実施例におけるジェスチャー検出装置１０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置１０１を含む車載機１０２と、表示装置１０３と、入力装置１０４とを有して構成されている。
入力装置１０４は、視線検出装置１０５とカメラ１０６を備え、視線検出装置１０５は、カメラ１０６が撮像した画像からドライバーの左右それぞれの眼球の黒目の方向を識別し視線方向の情報を出力するものである。視線検出装置１０５は、一例としては、赤外線を照射するＬＥＤ（Light Emitting Diode）と赤外光のみを取得するＩＲ（Infrared）カメラから構成される。表示装置１０３は、ナビ画面１０７とHead Up Display(ＨＵＤ)１０８を有して構成され、ＨＵＤ１０８は車のフロントガラスに様々な情報を投影し、表示するものである。
車載機１０２は、ジェスチャー検出装置１０１と、車載機制御部１１４と、表示内容制御部１１５とを有している。車載機制御部１１４は、車載機自体の動作の制御を行い、表示内容制御部１１５は表示装置１０３に表示する内容の制御、具体的には表示する情報の内容や表示する映像のレイアウトの決定、ドライバーに表示内容を認識させる像（虚像）の位置の決定や、ユーザから指示された操作の結果を反映した内容の表示などを行う。車載機制御部１１４は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置から構成される。また、表示内容制御部１１５は、ＨＵＤ１０８に表示する情報をジェスチャー検出装置１０１に送信する。また、車載機１０２は、カーナビゲーションとしての基本的な機能を実行するものとする。
ジェスチャー検出装置１０１は、ジェスチャー検出制御部１０９と、視線方向算出部１１０と、動作検出部１１１と、機器位置情報記録部１１２と、検出動作判定部１１３とを有して構成される。ジェスチャー検出制御部１０９は、ジェスチャーを検出し、その検出結果が機器を操作したかどうか判定するまでの一連の動作を制御する。視線方向算出部１１０は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているかを算出する。動作検出部１１１は、カメラ１０６から得られた動画像情報からドライバーの動きがあらかじめ規定された動作パターンと一致しているかどうかを判別し、規定の動作を認識検出する。機器位置情報記憶部１１２は、車室内において、ナビ画面１０７とＨＵＤ１０８がどこに設置されているか、３次元の座標で記憶する。検出動作判定部１１３は、動作検出部１１１、視線方向算出部１１０、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
図２Ａの動作フローを用いて、ドライバーが機器を操作することを意図して行ったジェスチャーを検出する処理（ジェスチャー検出処理）の処理手順ついて詳細に説明する。なお、以下に示す視線方向の検出処理や顔方向の検出処理については、例えば、特開２０１２−１８７１９０号公報に記載されている方法を用いることができる。
まず、車載機１０２の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。例えば、動作検出部１１１は、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ２０１）、規定の動作が検出されたと判別しない場合（Ｓ２０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向を算出する。
次に、検出動作判定部１１３は、視線方向算出部１１０が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ２０２）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ナビ画面の３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からナビ画面に向けた方向と一致しているかどうかを判別する。図３Ａのように、検出動作判定部１１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ２０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０３）。
一方、検出動作判定部１１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ２０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの視線がＨＵＤを向いていたかどうかを判別する（Ｓ２０４）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からＨＵＤに向けた方向と一致しているかどうかを判別する。図３Ｂのように、検出動作判定部１１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ２０５）。
一方、検出動作判定部１１３が、図３Ｃのようにドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０６）。その後、ジェスチャーの検出を続けない場合（Ｓ２０７：Ｙｅｓ）は、本処理を終了する。
なお、本構成においてはドライバーの視線を検知する視線検出装置１０５および、視線方向算出部１１０を使用したが、図１Ｂに示すように、これらとともにあるいはこれらの代わりに、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１を用いて顔方向の情報を出力し、顔方向検出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。なお、入力映像からドライバーの顔の方向を検知する手法については、例えば、顔方向検出部１１０１が、顔の特徴部位（目、鼻、口など）を抽出し、その特徴部位が中心から対称となっているか否か、あるいはこれらの特徴部位が非対象となっている程度によって顔の方向やその程度を判定したり、顔画像の陰影の濃度によって顔の方向やその程度を判定する等、様々な技術を用いることが可能である。
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、検出動作判定部１１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよい。これによって、ドライバーの視線がうまく検出できないような状況においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができる。
さらには、視線方向が上手く検知できない場合は、前述した顔方向検出部１１０１を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。具体的には、検出動作判定部１１３は、ＨＵＤの方向を見ているか否かについて、顔方向が、ＨＵＤが存在する領域に向いているか否かによって判別し、ナビを見ているか否かは、ナビが存在する領域を水平方向に拡張した判別領域Ｒ（拡張領域）内に対してドライバーの顔方向が向いているか否かによって判別を行う。具体的には、検出動作判定部１１３は、図２Ｂに示すように、ナビが置かれている位置を含む周辺領域を拡張した判別領域として判別の対象とし、図２Ｃに示す手順によって、視線が検出できない場合を考慮してジェスチャー検出処理を行うことも可能である。例えば、ナビが存在する領域に対して、横方向に一定の割合で判別する領域を拡張する。拡張する割合は、一般的にユーザがナビを注視している際の顔向きが示す方向が拡張した領域に含まれるように拡張し、拡張した領域を判別領域とする。図２Ｃに示すジェスチャー検出処理において、ステップＳ２０１〜Ｓ２０７については、図２Ａに示した処理と同様であるため、ここではその説明を省略している。
図２Ｃに示すように、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ１１０１）。
そして、視線方向算出部１１０が、ドライバーの視線が検出可能であったと判定した場合（Ｓ１１０１；Ｙｅｓ）、Ｓ２０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３は、顔方向算出部１１０１が算出したドライバーの顔方向と、上述した拡張領域とから、ドライバーの顔が拡張領域以外の方向を向いていたか否かを判別する（Ｓ１１０２）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、拡張領域の座標を読み出して、検出した顔方向のベクトルが、顔からナビ画面に向けた方向と一致しているかどうかを判別する。
検出動作判定部１１３は、視線方向における判定と同様に、顔方向が拡張領域の方向を向いていたと判別した場合（Ｓ１１０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０３と同様の処理を行う（Ｓ１１０３）。
一方、検出動作判定部１１３が、顔方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ１１０２：Ｙｅｓ）、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別する（Ｓ１１０４）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
検出動作判定部１１３は、視線方向における判定と同様に、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ１１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ２０５と同様の処理を行う（Ｓ１１０５）。
一方、検出動作判定部１１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ１１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０６と同様の処理を行う（Ｓ１１０６）。
このように、視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。これによって、ＨＵＤに表示する内容が動的に変化するような場合においても、より正確にドライバーがＨＵＤに視線を向けているかどうかを判別することができる。
例えば、図２Ｂでは、拡張領域が、ナビが存在する領域を水平方向に拡張した判別領域Ｒである前提で説明したが、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によって拡張領域をＲ’のように右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、拡張領域をＲ”のように高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。このように、ドライバーとナビとの相対的な位置やドライバーの特徴に応じて拡張領域を設定することによって、機器の誤認識を軽減しつつ、ドライバーにとってより容易な操作を可能とすることができる。また、このような拡張領域を、ドライバーごとに設定してもよい。この場合、ドライバーが複数いる場合（例えば、車両をシェアして利用する場合等）であっても、ドライバーごとに拡張領域を設定することができる。
また、図２Ｃに示したＳ１１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ１１０１〜Ｓ１１０６の処理を先に行うこととしてもよい。この場合、視線方向が検出されない可能性の高い処理を省略して顔方向を判定するので、ジェスチャーを検出するまでの処理を短縮することができる。
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、必ずしもこのような構成である必要はなく、例えば、視線検出装置１０５や顔検出装置１０５１を車載器１０２に設ける等、適宜構成を変更することも可能である。すなわち、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。さらには、車載機器に搭載することに限定するものではなく、ジェスチャーによって機器の表示内容や状態を操作できるもの、例えば、デジタルサイネージやインタラクションホワイトボード、テレビなどの機器へ搭載することも可能である。この場合、本発明を適用することで、ユーザが機器を操作することを意図しない動作を、誤ってジェスチャーであると認識してしまう事態を防ぐことが可能となる。
（第二実施例）
上述した第一実施例では、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、ドライバーの視線方向や顔方向がナビ画面やＨＵＤ方向に向いていなくとも、ＨＵＤの虚像の方向を見て操作を行う場合も存在する。そこで、そのような場合に備え、以下では、ドライバーがＨＵＤの虚像の方向を見て操作を行う場合のジェスチャー検出処理について説明する。
図４Ａは本実施例におけるジェスチャー検出装置４０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置４０１を含む車載機４０２と、表示装置１０３、入力装置１０４とから構成されている。また、車載機４０２は、ジェスチャー検出装置４０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置４０１は、視線方向・視距離算出部４０１１と、注視領域算出部４０１２と、第一実施例とは異なる検出動作判定部４０１３と、ＨＵＤ虚像位置算出部４０１１とを有している点で、第一実施例のジェスチャー検出装置１０１とは異なっている。以下では、第一実施例と同一の構成要素には同一の符号を付してその説明を省略している。
視線方向・視距離算出部４０１１は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているか算出するとともに、図４Ｂに示すように、左目と右目の各視線方向の交点からドライバーの視距離を算出する。注視領域算出部４０１２は、視線方向・視距離算出部４０１１から得られたドライバーの視線方向と視距離から、ドライバーが注視している領域の３次元の空間座標を算出する。
検出動作判定部４０１３は、第一実施例における処理と同様の処理を行うほか、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、ＨＵＤ虚像位置算出部４０１４、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。ＨＵＤ虚像位置算出部４０１４は、ＨＵＤ１０８に表示された内容の虚像が、どの領域に表示されているか、表示内容制御部４０９から得られた情報を基に３次元の座標で算出する。
図５Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（５０１）、規定の動作が検出されないと判別した場合（Ｓ５０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
次に、検出動作判定部４０１３は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ５０２）。検出動作判定部４０１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ５０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信し、以降第一実施例の場合と同様の処理を行う（Ｓ５０３）。
一方、検出動作判定部４０１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ５０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ５０４）。検出動作判定部４０１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ５０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ５０５）。
一方、検出動作判定部４０１３が、第一実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ５０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ５０６）。また、ＨＵＤ虚像位置算出部４０６は、ＨＵＤに表示された内容の虚像の位置を表示内容制御部４０９から得られた情報をもとに、虚像の３次元の座標を算出する（Ｓ５０７）。
次に、検出動作判定部４０１３は、ドライバーの注視領域の中に、ＨＵＤの虚像が含まれているか否かを判別する（Ｓ５０８）。図６Ａのように、ドライバーの注視領域６０２の中に表示領域６０３に表示されたＨＵＤ虚像６０１が含まれていないと判別した場合（Ｓ５０８：Ｎｏ）、検出動作判定部４０１３は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ５０９）。
一方、図６Ｂのように、検出動作判定部４０１３は、ドライバーの注視領域の中にＨＵＤの虚像が含まれていたと判別した場合（Ｓ５０８：ＹＥＳ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部４０８に送信し、第一実施例の場合と同様の処理を行う（Ｓ５１０）。その後、ジェスチャーの検出を続けない場合（Ｓ５１１：Ｙｅｓ）は、本処理を終了する。
なお、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第一実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ５０８における判別処理は顔方向の先にＨＵＤの虚像が表示されているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
例えば、図５Ｂに示すように、第一実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ２１０１）。
そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ２１０１；Ｙｅｓ）、Ｓ５０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ２１０１；Ｎｏ）、検出動作判定部４０１３は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、ＨＵＤの虚像の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ２１０２）。具体的には、検出動作判定部４０１３は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
検出動作判定部４０１３は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ２１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ５０３と同様の処理を行う（Ｓ２１０３）。
一方、検出動作判定部４０１３が、顔方向がＨＵＤの虚像の表示領域以外の方向を向いていたと判別した場合（Ｓ２１０２：Ｙｅｓ）、第一実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ２１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ５０５と同様の処理を行う（Ｓ２１０５）。
一方、検出動作判定部４０１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第一実施例の場合と同様に、以降Ｓ５１０、Ｓ５１１に進む。
このように、第二実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
また、第一実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
また、第一実施例の場合と同様に、図５Ｂに示したＳ２１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部４０１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ２１０１〜Ｓ２１０５の処理を先に行うこととしてもよい。
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第一実施例の場合と同様に、検出動作判定部４０１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第一実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第一実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
（第三実施例）
第一実施例、第二実施例では、車外の状況にかかわらず、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、実際には、ドライバーは、人や他の車両の動き等、車外の状況に影響を受けることも多い。そこで、そのような場合に備え、以下では、ドライバーが車外の状況に影響を受けた場合におけるジェスチャー検出処理について説明する。
図７は本実施例におけるジェスチャー検出装置７０１を搭載した車載機システムの構成図である。本車載機システムは、ジェスチャー検出装置７０１を含む車載機７０２と、表示装置１０３、入力装置７０３とから構成されている。また、車載機７０２は、ジェスチャー検出装置７０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置７０１は、第二実施例とは異なる検出動作判定部７０１１と、車外認識部（移動体位置算出部）７０１２とを有している点で、第二実施例のジェスチャー検出装置４０１とは異なっている。また、入力装置７０３は、車外用カメラ７０３１を備えている点で、第二実施例の入力装置１０４とは異なっている。以下では、第二実施例と同一の構成要素には同一の符号を付してその説明を省略している。
検出動作判定部７０１１は、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、車外認識部７０１２、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
車外認識部７０１２は、車外用カメラ７０３１から得られた車外の映像から、歩行者や他車等の車外部の移動体が存在するかどうかを認識し、検出した物体の３次元の座標を算出する。例えば、あらかじめ認識対象となる物体の映像データを保持しておき、入力された映像内に一致する物が存在するかどうかを判定するパターンマッチング処理などを行う。なお、本実施例では、移動体の例として歩行者や他車を例に説明しているが、自転車、自動二輪車等、他の移動体も含まれるものとする。
図８Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ８０１）、規定の動作が検出されないと判別した場合（Ｓ８０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
次に、検出動作判定部７０１１は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がナビ画面１０７を向いていたか否かを判別する（Ｓ８０２）。検出動作判定部７０１１は、視線方向がナビ画面の方向を向いていた場合（Ｓ８０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、以降第二実施例の場合と同様の処理を行う（Ｓ８０３）。
一方、検出動作判定部７０１１が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ８０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ８０４）。検出動作判定部７０１１が、視線方向がＨＵＤの方向を向いていなかったと判定した場合（Ｓ８０４：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ８０５）。
一方、検出動作判定部７０１１が、第二実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判定した場合（Ｓ８０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ８０６）。また、車外認識部７０１２は、車外用カメラ７０３１から得られた映像から、車外の歩行者や他車等の移動体が存在するかどうかを認識し、検出した物体の位置を３次元の座標で算出する（Ｓ８０７）。
次に、検出動作判定部７０１１は、ドライバーの注視領域の中に、歩行者や他車等の移動体が含まれているか否かを判別する（Ｓ８０８）。図９Ａのように、ドライバーの注視領域９０３の中に歩行者や他車等の移動体が含まれていたと判別した場合（Ｓ８０８：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ８０９）。
一方、図９Ｂのように、検出動作判定部７０１１は、ドライバーの注視領域の中に歩行者や他車等の移動体が含まれていなかったと判別した場合（Ｓ８０８：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、第二実施例の場合と同様の処理を行う（Ｓ８１０）。その後、ジェスチャーの検出を続けない場合（Ｓ８１１：Ｙｅｓ）は、本処理を終了する。
なお、本構成においてはドライバーの注視領域内に車外の歩行者や他車等の移動体が含まれているかどうかの判定を行ったが、代わりに注視領域を算出せずにドライバーの視線方向の先に歩行者や他車等の移動体が存在するかどうかの判定を行うような構成としてもよい。これによって、ドライバーの注視領域を算出する必要がなくなり、注視領域がうまく取得できないような場合でも、検出した動作の判定を行うことができる。
また、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第二実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ８０８における判別処理は顔方向の先に歩行者や他車等の移動体が存在しているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
例えば、図８Ｂに示すように、第二実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ３１０１）。
そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ３１０１；Ｙｅｓ）、Ｓ８０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、車外の歩行者や他車等の移動体の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ３１０２）。具体的には、検出動作判定部７０１１は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔から車外の歩行者や他車等の移動体に向けた方向と一致しているかどうかを判別する。
検出動作判定部７０１１は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ３１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ８０３と同様の処理を行う（Ｓ３１０３）。
一方、検出動作判定部７０１１が、顔方向が車外の歩行者や他車等の移動体の表示領域以外の方向を向いていたと判別した場合（Ｓ３１０２：Ｙｅｓ）、第二実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ３１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ３１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ８０５と同様の処理を行う（Ｓ３１０５）。
一方、検出動作判定部７０１１が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ３１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第二実施例の場合と同様に、以降Ｓ８１０、Ｓ８１１に進む。
このように、第三実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
また、第二実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
また、第二実施例の場合と同様に、図８Ｂに示したＳ３１０１において視線が検出されなかった場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ３１０１〜Ｓ３１０５の処理を先に行うこととしてもよい。
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第二実施例の場合と同様に、検出動作判定部７０１１は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第二実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第二実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
また、上述した第一実施例〜第三実施例では、ドライバーの視線方向や顔方向を検知してナビやＨＵＤに対する操作であるか否かを判別したが、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらしてしまう場合も存在する。そのような場合に備え、例えば、視線方向算出部や視線方向・視距離算出部、または検出動作判定部が、算出したドライバーの視線方向や顔方向、視距離の座標データを、１秒毎に機器位置情記録部１１２に時系列に蓄積して記録しておき、検出動作判定部が視線方向や顔方向、視距離が、ナビ画面やＨＵＤの方向、距離でないと判定した場合であっても、その直前あるいは直後の視線方向や顔方向、視距離がナビ画面やＨＵＤの方向、距離である場合には、上述した理由によってドライバーが視線や顔をナビ画面やＨＵＤの方向から外したと判断し、その間の操作はナビ画面やＨＵＤに対する操作として続行させることとしてもよい。
例えば、第一実施例において、図２Ｄに示すように、検出動作判定部１１３が、視線方向がナビ以外に向いていたと判定した場合（Ｓ２０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の視線方向がナビ以外に向いていたか否かを判定し（Ｓ２０２１）、機器位置情報記憶部１１２に記録された直前の視線方向がナビに向いていたと判定した場合（Ｓ２０２１；Ｎｏ）、Ｓ２０３に進んで検出した動作をナビへの操作として反映させたり、検出動作判定部１１３が、顔方向がナビ以外に向いていたと判定した場合（Ｓ１１０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の顔方向がナビ以外に向いていたか否かを判定し（Ｓ１１０２１）、機器位置情報記憶部１１２に記録された直前の顔方向がナビに向いていたと判定した場合（Ｓ１１０２１；Ｎｏ）、Ｓ１１０３に進んで検出した動作をナビへの操作として反映することとしてもよい。第二実施例、第三実施例についても同様に処理することができる。このように、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらした場合であっても、正しくナビやＨＵＤに対する操作を行うことができる。
なお、上述した各実施例における処理はプログラムによって実行され、これらのプログラムは、上述した各部（例えば、視線方向判定部、動作検出部、検出動作判定部等の各部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記記録媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、視線方向判定部、動作検出部、検出動作判定部等の各部が主記憶装置上に生成されるようになっている。
さらに、上述した各実施例では特に説明していないが、上述した各プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＦＤ、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供したり、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供したり、配布するように構成しても良い。上述した各プログラムを、ＲＯＭ等に予め組み込んで提供するように構成することももちろん可能である。
１０１、４０１、７０１ ジェスチャー検出装置
１０２、４０２、７０２ 車載機
１０３ 表示装置
１０４ 入力装置
１０５ 視線検出装置
１０５１ 顔検出装置
１０６ カメラ
１０７ ナビ画面
１０８ Head Up Display(ＨＵＤ)
１０９ ジェスチャー検出制御部
１１０ 視線方向算出部
１１０１ 顔方向算出部
１１１ 動作検出部
１１２ 機器位置情報記録部
１１３、４０１３、７０１１ 検出動作判定部
１１４ 車載機制御部
１１５ 表示内容制御部
３０２ ＨＵＤ
３０３ フロントガラス
４０１１ 視線方向・視距離算出部
４０１２ 注視領域算出部
４０１４ ＨＵＤ虚像位置算出部
６０１ ＨＵＤ虚像
６０２、９０３ ドライバー注視領域
６０３、９０４ ＨＵＤ表示領域
７０１２ 車外認識部
７０３１ 車外用カメラ
９０１ 歩行者
９０２ 他車。

Claims (6)

  1. ユーザの動作を検出する情報処理装置であって、
    撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向と前記ユーザの視線方向とを検出する第１の検出部と、
    外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、
    前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、
    所定のガラスに投影して虚像を表示する表示装置と、
    前記第１の検出部で検出された前記ユーザの顔方向と前記ユーザの視線方向と、を用いて、前記ユーザの注視領域を算出する注視領域算出部と、
    前記表示装置によって表示された虚像の領域である虚像領域を算出する虚像領域算出部と、
    前記注視領域算出部が算出した前記注視領域が、前記虚像領域算出部が算出した前記虚像領域に含まれており、且つ前記移動体位置算出部が算出した前記移動体の位置が前記注視領域に含まれていない場合、前記第１の検出部が検出したユーザの動作が前記情報処理装置に対する操作であると判定する検出動作判定部と、
    前記検出動作判定部が、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記ユーザの動作を前記表示装置に反映させる表示内容制御部と、
    を備えることを特徴とする情報処理装置。
  2. 前記検出動作判定部は、前記第１の検出部により、前記ユーザの視線が検出されなかった場合、または前記ユーザの視線が連続して検出されなかった場合には、その回数をカウントし、その回数が所定値に達した場合、前記顔方向による判定を前記視線方向による判定よりも先に実行する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記表示内容制御部は、前記ユーザと前記情報処理装置との相対的な位置、または前記ユーザの特徴によって前記虚像の表示領域を定める、
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 前記検出動作判定部は、前記顔方向の座標データを時系列に蓄積して記憶部に記録し、前記第１の検出部が検出した動作が前記情報処理装置に対する操作でないと判定した場合であっても、前記記憶部に記憶されている直前または直後の顔方向が前記情報処理装置の方向である場合には、前記第１の検出部が検出した動作は前記情報処理装置に対する操作であると判定する、
    ことを特徴とする請求項１に記載の情報処理装置。
  5. ユーザの動作を検出するジェスチャー検出方法であって、
    撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向と前記ユーザの視線方向とを検出する第１の検出ステップと、
    前記第１の検出ステップで検出された前記ユーザの顔方向と前記ユーザの視線方向と、を用いて、前記ユーザの注視領域を算出する注視領域算出ステップと、
    外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出ステップと、
    前記第２の検出ステップで検出された前記移動体の位置を算出する移動体位置算出ステップと、
    所定のガラスに投影して虚像を表示する表示装置によって表示された虚像の領域である虚像領域を算出する虚像領域算出ステップと、
    前記注視領域算出ステップにおいて算出された前記注視領域が、前記虚像領域算出ステップにおいて算出された前記虚像領域に含まれており、且つ前記移動体位置算出ステップで算出された前記移動体の位置が前記注視領域に含まれていない場合、前記第１の検出ステップにおいて検出されたユーザの動作が情報処理装置に対する操作であると判定する検出動作判定ステップと、
    前記検出動作判定ステップにおいて、前記第１の検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記ユーザの動作を前記表示装置に反映させる表示内容制御ステップと、
    を含むことを特徴とするジェスチャー検出方法。
  6. コンピュータに、
    撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向と前記ユーザの視線方向とを検出する第１の検出ステップと、
    前記第１の検出ステップで検出された前記ユーザの顔方向と前記ユーザの視線方向と、を用いて、前記ユーザの注視領域を算出する注視領域算出ステップと、
    外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出ステップと、
    前記第２の検出ステップで検出された前記移動体の位置を算出する移動体位置算出ステップと、
    所定のガラスに投影して虚像を表示する表示装置によって表示された虚像の領域である虚像領域を算出する虚像領域算出ステップと、
    前記注視領域算出ステップにおいて算出された前記注視領域が、前記虚像領域算出ステップにおいて算出された前記虚像領域に含まれており、且つ前記移動体位置算出ステップで算出された前記移動体の位置が前記注視領域に含まれていない場合、前記第１の検出ステップにおいて検出されたユーザの動作が情報処理装置に対する操作であると判定する検出動作判定ステップと、
    前記検出動作判定ステップにおいて、前記第１の検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記ユーザの動作を前記表示装置に反映させる表示内容制御ステップと、
    を実行させることを特徴とするジェスチャー検出プログラム。
JP2013188625A 2013-09-11 2013-09-11 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム Active JP6316559B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013188625A JP6316559B2 (ja) 2013-09-11 2013-09-11 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
CN201480010315.2A CN105009032B (zh) 2013-09-11 2014-04-25 信息处理装置和姿势检测方法
US14/769,896 US9696814B2 (en) 2013-09-11 2014-04-25 Information processing device, gesture detection method, and gesture detection program
EP14844118.1A EP3046006A4 (en) 2013-09-11 2014-04-25 Information processing device, gesture detection method, and gesture detection program
PCT/JP2014/061742 WO2015037268A1 (ja) 2013-09-11 2014-04-25 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013188625A JP6316559B2 (ja) 2013-09-11 2013-09-11 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム

Publications (2)

Publication Number Publication Date
JP2015055999A JP2015055999A (ja) 2015-03-23
JP6316559B2 true JP6316559B2 (ja) 2018-04-25

Family

ID=52665393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013188625A Active JP6316559B2 (ja) 2013-09-11 2013-09-11 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム

Country Status (5)

Country Link
US (1) US9696814B2 (ja)
EP (1) EP3046006A4 (ja)
JP (1) JP6316559B2 (ja)
CN (1) CN105009032B (ja)
WO (1) WO2015037268A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
US20160231812A1 (en) * 2015-02-06 2016-08-11 The Eye Tribe Aps Mobile gaze input system for pervasive interaction
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
CN106327680B (zh) * 2015-06-19 2019-05-31 昆达电脑科技(昆山)有限公司 自动贩卖机
JPWO2017038241A1 (ja) * 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
CN110825237B (zh) 2016-04-20 2024-02-23 日产自动车株式会社 信息显示方法和显示控制装置
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
EP3361352B1 (en) 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
CN107219921B (zh) 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
DE102017216737A1 (de) * 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Senden von Informationen von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer sowie zum Empfangen von Informationen, die von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer gesendet worden sind
EP3797345A4 (en) * 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
WO2020019231A1 (en) * 2018-07-26 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for use with vehicle
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
JP6907250B2 (ja) * 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
WO2020170916A1 (ja) * 2019-02-22 2020-08-27 パナソニックＩｐマネジメント株式会社 状態検知装置及び状態検知方法
DE112019007195T5 (de) 2019-04-12 2022-03-31 Mitsubishi Electric Corporation Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
JP7247901B2 (ja) * 2020-01-07 2023-03-29 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、およびプログラム
JP7354056B2 (ja) * 2020-05-27 2023-10-02 本田技研工業株式会社 車両制御システム、及び車両制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
JP2007034515A (ja) 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP4622794B2 (ja) * 2005-10-07 2011-02-02 株式会社デンソー 画面移動型表示装置
JP2008157661A (ja) * 2006-12-21 2008-07-10 Denso It Laboratory Inc ナビゲーション装置
JP4826506B2 (ja) * 2007-02-27 2011-11-30 日産自動車株式会社 視線推定装置
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP4702437B2 (ja) * 2008-11-25 2011-06-15 トヨタ自動車株式会社 車両用表示装置
JP2010127673A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp 車両用入力装置
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP5150610B2 (ja) * 2009-12-03 2013-02-20 本田技研工業株式会社 注視判定装置
JP5316430B2 (ja) * 2010-01-13 2013-10-16 株式会社デンソー 車両用ヘッドアップディスプレイ装置及びその製造方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
JP5626039B2 (ja) 2011-03-09 2014-11-19 富士通株式会社 視線検出装置及び視線検出方法
JP2013019964A (ja) * 2011-07-07 2013-01-31 Panasonic Corp 車両用画像表示装置
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US20130187845A1 (en) 2012-01-20 2013-07-25 Visteon Global Technologies, Inc. Adaptive interface system

Also Published As

Publication number Publication date
JP2015055999A (ja) 2015-03-23
EP3046006A4 (en) 2017-08-02
US9696814B2 (en) 2017-07-04
EP3046006A1 (en) 2016-07-20
US20160004321A1 (en) 2016-01-07
CN105009032B (zh) 2017-10-03
WO2015037268A1 (ja) 2015-03-19
CN105009032A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
JP6316559B2 (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP6232759B2 (ja) 情報処理装置、接近対象物通知方法及びプログラム
EP2974909A1 (en) Periphery surveillance apparatus and program
US20170269684A1 (en) Vehicle display device
US20140136054A1 (en) Vehicular image system and display control method for vehicular image
US11741630B2 (en) Vehicle system with no-control operation
WO2018061413A1 (ja) ジェスチャ検出装置
WO2015001606A1 (ja) 撮像システム
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
CN109415018B (zh) 用于数字后视镜的方法和控制单元
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
JP2017097608A (ja) 画像認識装置
WO2017022262A1 (ja) 作業機械の周囲監視装置
TWI636395B (zh) 基於深度值之手勢操作方法及其系統
JP6700502B2 (ja) 車両用表示制御装置および表示制御方法
JP6234701B2 (ja) 車両用周囲モニタ装置
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
JP7163649B2 (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
CN110015292B (zh) 车辆控制装置及车辆控制方法
JP2009110065A (ja) 運転支援装置
JPWO2018167815A1 (ja) 表示制御装置及び表示制御方法
KR20150056235A (ko) 헤드업 디스플레이 장치 및 그 디스플레이 방법
JP2024018746A (ja) データ処理装置及びデータ処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180328

R150 Certificate of patent or registration of utility model

Ref document number: 6316559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150