JP3933139B2 - Command input device - Google Patents

Command input device Download PDF

Info

Publication number
JP3933139B2
JP3933139B2 JP2004065708A JP2004065708A JP3933139B2 JP 3933139 B2 JP3933139 B2 JP 3933139B2 JP 2004065708 A JP2004065708 A JP 2004065708A JP 2004065708 A JP2004065708 A JP 2004065708A JP 3933139 B2 JP3933139 B2 JP 3933139B2
Authority
JP
Japan
Prior art keywords
hand
occupant
command
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004065708A
Other languages
Japanese (ja)
Other versions
JP2005254851A (en
Inventor
靖志 中島
最実 太田
誠 岩島
正樹 廣田
裕一 猪狩
康弘 福山
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2004065708A priority Critical patent/JP3933139B2/en
Publication of JP2005254851A publication Critical patent/JP2005254851A/en
Application granted granted Critical
Publication of JP3933139B2 publication Critical patent/JP3933139B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enhance operability of a command input device for receiving input of a command with respect to an in-vehicle apparatus represented by movement of a part of a body of an occupant such as a hand. <P>SOLUTION: This command input device is provided with an image taking means 1 for taking an image of a predetermined detection region in a vehicle, a detection means 2 for detecting at least one of a position, a shape or movement of a detection target in the detection region from the taken image, a virtual switch generation means 4 for displaying a virtual image of an operation switch in a space inside the vehicle and generating a virtual switch wherein air is blown to the displayed virtual image of the operation switch, a command recognition means 3 for recognizing the command from the image of the operation switch displayed by the virtual switch generation means 4 and the image of the detection target detected by the detection means 2, and an execution means 5 for executing the recognized command. <P>COPYRIGHT: (C)2005,JPO&amp;NCIPI

Description

本発明は、車載機器に対するコマンドであって、乗員の手など体の一部の動きにより表現されるコマンドの入力を受け付けるコマンド入力装置に関し、特に、虚像の操作スイッチを表示し、この操作スイッチに向けてエアーが吹き出される仮想スイッチを用いたコマンド入力装置に関する。 The present invention relates to a command for vehicle equipment, relates to a command input device that receives an input command represented by a portion of the movement of the body such as the passenger's hand, in particular, displays an operation switch of the virtual image, this operation switch about the command input device using a virtual switch that air is blown out.

ホログラムを用いて操作スイッチパネルの3次元立体虚像の仮想スイッチを生成し、スイッチ選択を受け付ける選択装置がある(特許文献1参照)。 Using a hologram produces a virtual switch three-dimensional virtual image of the operating switch panel, there is a selection device for accepting a switch selection (see Patent Document 1). この選択装置によれば、センターコンソールの張り出しを抑え、車内の居住空間の拡張を図ることができる。 According to the selection device, to suppress the bulging of the center console, it is possible to expand the interior of the living space.

しかしながら、虚像の操作スイッチに対して入力操作を行うため、ユーザは操作スイッチへの物理的接触が得られず、入力操作を行っている実感が得られないという問題があった。 However, for performing an input operation to the operation switch of the virtual image, the user can not be obtained physical contact with the operation switch, the feeling that performs an input operation has can not be obtained. このため、どの部分を操作すればよいかを知覚するのが難しく、コマンド入力時の操作性が劣るという不都合があった。 Therefore, it is difficult to perceive whether may operate which part, there is a disadvantage that operability during command input is poor.
特開平9−190278号公報 JP-9-190278 discloses

本発明は、操作性の高いコマンド入力装置を提供することを目的とする。 The present invention aims at providing a high operability command input device.
この発明によれば、車両に搭載され、乗員により表現されるコマンドの入力を受け付けるコマンド入力装置であって、車内の所定の検出領域を撮像する撮像手段と、前記撮像手段により撮像された画像から、前記検出領域にある検出対象の位置、形状または動きのいずれか一つ以上を検出する検出手段と、車内の空間に虚像の操作スイッチを表示するとともに、表示された操作スイッチの虚像に向けてエアーが吹き出される仮想スイッチを生成する仮想スイッチ生成手段と、前記仮想スイッチ生成手段により表示された操作スイッチの像と、前記検出手段により検出された前記検出対象の像とから、前記コマンドを認識するコマンド認識手段と、前記コマンド認識手段により認識されたコマンドを実行させる実行手段とを有するコマンド入力 According to the present invention is mounted on a vehicle, a command input device that receives an input command represented by the occupant, an imaging unit for imaging the predetermined detection areas of the vehicle, from the image captured by the image pickup means , the position of the detection object in the detection region, a detection means for detecting one or more of the shape or movement, displays an operation switch of the virtual image to the vehicle space, towards the virtual image of the operating switch displayed from the virtual switch generating means for generating a virtual switch air is blown, and the image of the operation switch which is displayed by the virtual switch generating means, the detection target image detected by said detecting means, recognizes the command command input with a command recognizing means for, and execution means for executing a recognized command by the command recognition unit 置が提供される。 Location is provided.
これにより、虚像の操作スイッチに対する視覚的認識とエアーによる物理的認識とにより、ユーザはどの部分を操作すればよいのかを認識できるため、操作性の高いコマンド入力装置を提供することができる。 Thus, the physical recognition by visual recognition and air for the operation switch of the virtual image, since the user can recognize whether may operate which portion, it is possible to provide a high operability command input device.

以下、本発明の実施形態を図面に基づいて説明する。 It will be described below with reference to embodiments of the present invention with reference to the drawings.
本実施形態のコマンド入力装置100は、車両の乗員、具体的には運転するドライバにより表現されるコマンドの入力を受け付ける。 Command input device 100 of the present embodiment receives an input command represented by driver vehicle occupant, in particular to drive. コマンド入力装置100は、これらの車載装置と車載LANにより情報授受が可能なように接続されている。 Command input device 100 is connected so as to enable information exchange these vehicle apparatus and the in-vehicle LAN. すなわち、コマンド入力装置100が受け付けたコマンドは、車載LANを介して、命令実行のため各装置に向けて送出される。 That is, the command command input device 100 has received via the vehicle LAN, is sent toward the device for instruction execution. なお、コマンド入力手段100を操作するのはドライバに限定されるものではなく、コマンド入力装置100に手の届く乗員のハンドコマンドの入力を受け付けるようにすることもできる。 Incidentally, to operate the command input unit 100 is not limited to the driver, it is also possible to accept the input of the occupant's hand command of reach to the command input device 100. 本実施形態のコマンドは、乗員、例えばドライバが車載装置を制御するコンピュータに与える命令であり、車両に搭載されたナビゲーション装置200、オーディオ装置300、エアコン制御装置400、通信装置500に対する制御命令である。 Command of this embodiment, the occupant is an instruction giving for example a computer for the driver to control the vehicle apparatus, the navigation apparatus 200 is mounted on a vehicle, the audio system 300, air conditioning control device 400, is a control command for communication device 500 . コマンドは、乗員の腕、乗員の肘、乗員の手若しくは乗員の指の形態、又は乗員の腕、乗員の肘、乗員の手若しくは乗員の指の動きによって表現される。 Command, the passenger's arm, is represented by an occupant of the elbow, the passenger's hands or occupant of a finger in the form or the passenger's arm, the occupant of the elbow, the passenger's hands or occupant finger movement.

本実施形態のコマンド入力装置100のブロック構成を図1に示した。 The block structure of the command input device 100 of the present embodiment shown in FIG. 図1に示すように、コマンド入力装置100は、撮像手段1と、検出手段2と、コマンド認識手段3と、仮想スイッチ生成手段4と、実行手段5を備えている。 As shown in FIG. 1, the command input device 100 includes an imaging unit 1, a detection unit 2, the command recognition unit 3, a virtual switch generating unit 4, and a running unit 5.

「撮像手段1」は、所定の検出領域を撮像する。 "Imaging device 1" captures the predetermined detection area. 本実施形態では、撮像手段1として赤外線カメラ11を用いた。 In the present embodiment, using an infrared camera 11 as the imaging device 1. 赤外線カメラ11は、検出対象が発する赤外線を撮像し、輝度値の分布として赤外線画像を出力する。 Infrared camera 11 captures the infrared where the target emits and outputs the infrared image as a distribution of luminance values. 赤外線カメラ11の設置位置を図2に示した。 The installation position of the infrared camera 11 shown in FIG. 図2に示すように、本実施形態の赤外線カメラ11は車両のセンターコンソールに設けられる。 As shown in FIG. 2, the infrared camera 11 of this embodiment is provided in the center console of the vehicle. この赤外線カメラ11は、図2に示す、車両のステアリングを含む「所定の検出領域11A」を撮像する。 The infrared camera 11 shown in FIG. 2, to image the "predetermined detection areas 11A" including steering of the vehicle. つまり、赤外線カメラ11は、ステアリングを握る乗員の手をその撮像領域に含むように設置されている。 That is, the infrared camera 11 is installed so as to include the passenger's hands gripping the steering on the imaging area. 赤外線カメラ11は、撮像において運転する乗員の妨げとなる照明手段を必要としないため、車載のコマンド入力装置に適している。 Infrared camera 11, since it does not require illumination means the occupant hinder the operation in the image pickup, are suitable for automotive command input device. もちろん、撮像手段1は赤外線カメラ11に限定されず、検出対象の像を取得できるCCDカメラ12を用いてもよい。 Of course, the imaging device 1 is not limited to the infrared camera 11 may be a CCD camera 12 can obtain an image of the detection target.

「検出手段2」は、撮像手段1により撮像された画像から、検出領域にある検出対象の位置、形状または動きのいずれか1以上を検出する。 "Detector 2", from the image captured by the imaging unit 1, the position of the detection object in the detection region, to detect one or more or any shape or motion. 検出手段2は、検出対象の位置を検出する位置検出部21と、検出対象の形状を検出する形状検出部22と、検出対象の動きを検出する動き検出部23とを有している。 Detecting means 2 includes a position detector 21 for detecting the position of the detection object, the shape detection unit 22 for detecting the shape of the detection target, and a motion detector 23 for detecting movement of a detection target.

位置検出部21は、撮像手段1により撮像された二次元画像により検出領域面に沿った検出対象の2次元位置(xy座標上の位置)を求める。 Position detecting unit 21 obtains the two-dimensional position of the detection object along the detection region surface by a two-dimensional image captured by the imaging unit 1 (the position on the xy coordinates). また、撮像手段1が赤外線カメラ11である場合、赤外線画像における検出対象の輝度値に基づいて、検出領域面に対して垂直方向の検出対象の3次元位置(z軸方向の位置)を求める。 Also, when the imaging unit 1 is an infrared camera 11, based on the luminance value of the detection target in the infrared image, determining the three-dimensional position of the detection object in the vertical direction (z-axis direction position) with respect to the detection region surface.

撮像手段1(赤外線カメラ11)がステアリングを握る乗員の手を撮像する場合における、検索手段2の位置検出部21の機能を図3に基づいて説明する。 When the image pickup means 1 (infrared camera 11) to image the occupant of the hand gripping the steering will be described with reference to function of the position detection unit 21 of the search unit 2 in FIG. 図3に示すように、検出領域11Aはステアリングの車両中央側の一部を含む。 As shown in FIG. 3, the detection areas 11A includes a portion of the steering of the vehicle center side. 11Bは検出領域11Aの空間座標である。 11B is the spatial coordinates of the detection area 11A. 赤外線カメラ11は、コマンドの入力処理を行う前にステアリング40を握る乗員50の手53を撮像する。 Infrared camera 11 takes an image of a hand 53 of the occupant 50 that grips the steering 40 before performing the input command processing. ステアリング40の位置は固定されているので、本実施形態では、ステアリング40を握る乗員50の手53の位置を基準位置とし、この時の手53が発する赤外線の輝度値を基準輝度値とする。 Since the position of the steering 40 is fixed, in the present embodiment, the position of the hand 53 of the occupant 50 that grips the steering 40 and the reference position, the luminance value of infrared hand 53 at this time utters reference brightness value. 検出領域11Aの中で乗員が手53を動かした場合の手の位置を検出する手法を説明する。 Occupant in the detection region 11A will be described a method for detecting the position of the hand when moving the hands 53. まず、撮像した赤外線画像から検出対象となる手53(ステアリングから動かされた手)のx-y座標位置を取得する。 First, to obtain the x-y coordinate position of the hand 53 to be detected from the infrared image captured (hand moved from the steering). そして、検出対象となる手53(ステアリングから動かされた手)の輝度値と基準輝度値(乗員50がステアリング40を握っているときの手53の輝度値)とを比較することにより、基準位置に対する手53の距離を求めることができ、z座標位置(検出領域面に対して垂直な方向)を得ることができる。 By luminance value and the reference luminance value of the hand 53 to be detected (hand moved from the steering) is compared with (occupant 50 luminance values ​​of the hand 53 when you are behind the wheel 40), the reference position it is possible to obtain the distance of the hand 53 against, can be obtained (the direction perpendicular to the detection region surface) z-coordinate position. 基準位置と基準輝度に基づいて検出対象の位置を判断できるため、正確な位置を検出することができる。 Since the position of the detection object can be determined based on the reference position and the reference luminance, it is possible to detect the accurate position.

また、位置検出部21は、検出した腕、肘又は手の位置に基づいて、乗員の腕と乗員の手との位置関係を求め、それから乗員の手の向きを得ることが出来る。 The position detector 21 detects the arm, on the basis of the position of the elbow or hand, obtains the positional relationship between the occupant's arm and the passenger's hand, then it is possible to obtain the orientation of the occupant's hand.

形状検出部22は、所定の又は所定範囲の輝度値を有する画素の形状から検出対象の形状を検出する。 Shape detection unit 22 detects the shape of the detection target from the shape of the pixel having the luminance value of a predetermined or given range. ここで検出対象の形状は、乗員の腕、肘、手又は指の形状を含み、ジャンケンの「パー」「グー」「チョキ」などの手の形状や、5本指のうちのいずれか1以上の指を伸ばした形状、人差し指と親指で丸を作るといった手によって表現されるさまざまな形状を含む。 Wherein the detection target shape comprises occupant's arm, elbow, the shape of the hand or finger, and shape of the hand, such as "par", "rock", "scissors" of rock-paper-scissors, any one or more of the five fingers including the shape of extended fingers, a variety of shapes represented by the hand, such as making a circle with the index finger and thumb. 検出対象の形状は、一般的なパターンマッチングにより判定してもよい。 The shape of the detection target may be determined by a general pattern matching. 動き検出部23は、形状検出部22により検出された検出対象の形状の経時的変化に基づいて検出対象の動きを検出する。 Motion detecting unit 23 detects the movement of the detection object based on temporal changes in the shape of the detection target detected by the shape detection unit 22.

「仮想スイッチ生成手段4」は、操作スイッチ表示部41とエアー吹き出し部42とを有し、車内の空間に虚像の操作スイッチを表示するとともに、表示された操作スイッチの虚像に向けてエアーが吹き出される仮想スイッチを生成する。 "Virtual Switch generating unit 4", and an operation switch display unit 41 and the air blowout portion 42, and displays an operation switch of the virtual image to the vehicle space, the air toward the virtual image of the operating switch displayed blown is is to generate a virtual switch. 仮想スイッチは、各車載装置200〜500のインタフェースとして機能する。 Virtual switch acts as an interface of each vehicle device 200-500.

操作スイッチ表示部41は、車内の空間に虚像の操作スイッチを表示する。 Operation switch display section 41 displays an operation switch of the virtual image in the car space. 本実施形態の操作スイッチ表示部41は、ホログラムを用いて車内空間に三次元虚像の操作スイッチを生成する。 Operation switch display unit 41 of the present embodiment generates an operation switch of the three-dimensional virtual image in space inside the vehicle with the hologram. 操作スイッチ表示部41は、図2に示すように、車両のセンターコンソールに設けられ、乗員に向かって操作スイッチの虚像4Aを生成する。 Operation switch display section 41, as shown in FIG. 2, is provided in the center console of the vehicle, and generates a virtual image 4A of the operation switch toward the occupant. この操作スイッチの虚像の一例を図4に示した。 An example of a virtual image of the operating switch illustrated in FIG. 図4に示す操作スイッチの虚像4Aは、エアコン制御装置400の温度を調節する「TEMP」を上下させる操作スイッチと、オーディオ装置300のボリュームを調節する「Volume」を上下させる操作スイッチと、オーディオ装置300の選局又は再生コンテンツの選択を行う「Select」を遷移させる操作スイッチとを備えている。 Virtual image 4A of the operation switch shown in FIG. 4, an operation switch for up and down the "TEMP" for adjusting the temperature of the air conditioner control apparatus 400, an operation switch for up and down the "Volume" to adjust the volume of the audio device 300, audio device for selecting the channel selection or reproduction content 300 and an operation switch for shifting the "select".

操作スイッチ表示部41は、位置決定部411と表示制御部412とを有している。 Operation switch display section 41, and a display control unit 412 and the position determining unit 411. 位置決定部411は、検出手段2により検出された検出対象の位置に応じて、操作スイッチの虚像の表示位置を決定する。 Position determining portion 411, depending on the position of the detection object detected by the detecting unit 2 determines the display position of the virtual image of the operating switch. 具体的には、乗員の腕と乗員の手との位置関係を検出し、乗員の手の向きに応じて操作スイッチの向きを、乗員の手の位置に応じて操作スイッチの空間位置を決定する。 Specifically, to detect the positional relationship between the occupant's arm and the passenger's hand, the direction of the operation switch according to the orientation of the occupant's hand, to determine the spatial position of the operation switch in accordance with the position of the occupant's hand .

図5に操作スイッチの表示例を示した。 Showing a display example of the operation switch in FIG. 図5は、車両の運転席に座る運転者50を頭上から見た図である。 Figure 5 is a view of a driver 50 sitting on the driver's seat of the vehicle from the overhead. 位置決定部411は、検出された運転者50の腕51と肘52と手53(検出対象)との位置関係を求め、操作スイッチの虚像面が、運転者50の肘52から手53への方向Xに対して所定の角度となるように、操作スイッチの虚像を表示する。 Position determining unit 411 determines the positional relationship between the arm 51 and the elbow 52 and the hand 53 of the detected driver 50 (detection target), the virtual image plane of the operation switch, from the elbow 52 of the driver 50 to the hand 53 to a predetermined angle with respect to the direction X, and displays a virtual image of the operating switch. 本実施形態では、運転者50の手の向き(肘52から手53への方向X)に対して略垂直となるように、操作スイッチの虚像を表示する。 In the present embodiment, the orientation of the hand of the driver 50 so as to be substantially perpendicular to the (direction X to the hand 53 from the elbow 52), displays a virtual image of the operating switch. 表示制御部412は、位置決定部411が決定した位置に操作スイッチを表示する。 The display control unit 412 displays an operation switch to the position determining unit 411 has determined. 決定した位置は、図3のような座標系において特定される。 Determined position is specified in the coordinate system as shown in Figure 3.

表示制御部412は、検出手段2により検出された検出対象の形状又は動きに応じて操作スイッチの表示を開始又は終了する。 The display control unit 412, the start or end the display of the operation switch according to the shape or motion of the detection target detected by the detection unit 2. 本実施形態の表示制御部412は、所定の形状の検出対象(乗員の腕、肘、手、指など)や所定の動きを示す検出対象(乗員の腕、肘、手、指など)と操作スイッチの表示開始又は表示終了とを対応づけ、所定の形状又は動きの検出対象を手の形状等が検出された場合、操作スイッチの表示を開始又は終了する。 The display control unit 412 of the present embodiment, the detection target having a predetermined shape (the passenger's arm, elbow, hand, finger, etc.) detected indicating the or predetermined motion (passenger's arm, elbow, hand, finger, etc.) and operations association and a display start or display end switch, if the shape of the hand detected in a predetermined shape or motion is detected, the start or end the display of the operation switch. 具体的に、ジャンケンの「パー」が検出されると表示制御部412は操作スイッチの表示を開始させ、ジャンケンの「グー」が検出されると表示制御部412の操作スイッチの表示を終了させる。 Specifically, the display control unit 412 and the "par" is detected in the RPS is to initiate the display of the operation switch, "rock" of rock-paper-scissors to terminate the display of the operation switch of the display control unit 412 to be detected. もちろん、操作スイッチの表示開始又は表示終了の命令は、手の形状の代わりに、手の動きによって行うことも可能である。 Of course, the display start or display end instruction of the operation switch, instead of the hand shape, it is also possible to carry out the movement of the hand. 例えば人差し指でボタンを押すようなしぐさをすれば、操作スイッチの表示を開始し、表示された操作スイッチ4Aを払いのけるような動作をすれば操作スイッチ4Aの表示を終了するようにしてもよい。 For example, if the gesture, such as pressing a button with the index finger to start the display of the operation switch, may be end the display of the operation switch 4A if the operation as dispel displayed operation switch 4A . この場合、しぐさの画像パターン、動作の画像パターンを予め取得し、この基準となるパターンとの比較によりしぐさや動作を判断する。 In this case, image patterns of gestures, previously obtained image pattern of operation, determining the gesture and operation by comparison with the pattern serving as the reference.

なお、本実施形態では、運転者50だけでなく、助手席搭乗者による操作も可能である。 In the present embodiment, not only the driver 50, it is also possible manipulation by a passenger seat occupant. この場合は操作スイッチの表示位置(向き、位置)を助手席搭乗者の手の位置に応じて決定する。 Display position (orientation, position) in this case is the operation switch is determined according to the position of the hand of the passenger-seat occupant. 助手席搭乗者の手の位置を検出するために、例えばアームレスト上に仮想スイッチ生成手段4の起動用ボタンを設けておき、起動用ボタンを押す助手席搭乗者の手の輝度値を基準として助手席搭乗者の手の位置を検出することが好ましい。 In order to detect the position of the hand of the passenger-seat occupant, for example may be provided a start button of the virtual switch generating means 4 on the armrest, the passenger luminance value of the hand of the passenger-seat occupant to push the start button as a reference it is preferable to detect the position of the hand of the seat occupant. このボタンを押すことで操作スイッチの虚像4Aを表示させ、助手席方向からのコマンド入力を可能とすることができる。 To display a virtual image 4A of the operation switch by pressing the button, it is possible to enable command input from the passenger seat direction.

「エアー吹き出し部42」は、操作スイッチ表示部41により表示された操作スイッチの虚像に向けて、エアーを吹き出す。 "Air blow-out section 42" is, toward the virtual image of the operation switch, which is displayed by the operation switch display unit 41, blowing air. エアー吹き出し口421は、図2に示すようにセンターコンソールに設けられている。 Air outlet 421 is provided in the center console, as shown in FIG. エアー吹き出し部42は、エアーを吹き出す吹き出し口421と、エアー制御部422とを有している。 Air blowout portion 42 includes a outlet 421 blowing out air, and air control unit 422. 操作スイッチの虚像は車内空間に表示され、乗員はその操作スイッチを操作しても物理的な知覚を得ることができない。 Virtual image of the operating switches appear in the vehicle space, the passenger can not be operated the operation switch obtain physical perception. このため、乗員は操作スイッチを操作しても実感がなく操作性が低かった。 Therefore, the occupant was less operability without feeling even by operating the operation switch. 本実施形態では、表示された虚像の操作スイッチに向けてエアーを吹き出すエアー吹き出し部42を設けた。 In the present embodiment, it is provided an air blow-out portion 42 for blowing air toward the operation switch of the displayed virtual image. このエアー吹き出し部42から吹き出されるエアーはドライバの手の触覚により知覚される。 Air blown out from the air blowout portion 42 is perceived by tactile hand driver. ドライバは操作スイッチに向けて吹きだされるエアーの物理的な知覚に基づいて、操作スイッチへの入力を確認することができる。 The driver is based on the physical perception of air to be blown out toward the operation switch, it is possible to check the input to the operation switch. エアー吹き出し部42から供給されるエアーは指向性を有し、乗員の手に所定の圧力を与えるため、乗員は手に物理的な触覚を得ることができる。 Air supplied from an air blowout portion 42 has a directivity, for applying a predetermined pressure to the occupant's hand, the occupant can obtain physical tactile hand. 特に限定されないが、本実施形態のエアー吹き出し部42は、エアーが検出対象(ドライバの手)に衝突する際の圧力が0.1MPa以下となるようにエアーを供給する。 But it is not limited to, air blowout section 42 of the present embodiment supplies air so that the pressure at which air strikes the detection target (the driver's hand) is 0.1MPa or less. ドライバは、エアー吹き出し手段から供給されるエアーを手がかりに操作スイッチを操作することができる。 The driver can operate the operation switch clues air supplied from the air blowout means.

本実施形態のエアー吹き出し部42は、車両室内の空調に用いられるエアーを取り込んで、操作スイッチに向けてエアーを吹き出す。 Air blowout section 42 of the present embodiment takes in air used for air conditioning of the vehicle compartment, blowing air toward the operation switch. また、エアー吹き出し部42は、エアーを吹き出す吹き出し口421を有する。 Further, an air blow-out portion 42 has the outlet 421 blowing out air. 吹き出し口421は、空調に用いられるエアーを取り込むエアー流路の端部に設けられる。 Outlet 421 is provided on an end of the air flow path to take the air used for air conditioning. エアー流路は吹き出し口421に近づくに従い狭められており、吹き出し口421から絞られたエアーが吹き出される。 Air flow path is narrowed in accordance with approaching the outlet opening 421, the air that has been squeezed from the air outlet 421 is blown out. 吹き出し口421の形態は特に限定されず、操作スイッチの位置に応じて適宜設計する。 Form of outlet 421 is not particularly limited, it is suitably designed in accordance with the position of the operating switch. 好ましくは、各操作スイッチを示す領域よりも狭い領域にエアーが流れるように吹き出し口421を絞ることが好ましい。 Preferably, it is preferable to narrow the outlet 421 to flow air within a region smaller than the region showing each operation switch.

図6に、仮想スイッチ生成手段4により生成されたスイッチ1〜スイッチ3が示された操作スイッチの虚像4Aと、エアー吹き出し部42とを示した。 Figure 6 shows a virtual image 4A of the operating switch the switch 1 to switch 3 is shown which is generated by the virtual switch generating means 4, and air blow-out portion 42. 本例では、3つのエアー吹き出し部42を設けた。 In the present example, it is provided with three air blow-out portion 42. このエアー吹き出し部42の3つの吹き出し口421A〜421Cから、それぞれエアーが吹き出される。 Three outlet 421A~421C of the air blowout portion 42, air is respectively blown. エアー吹き出し口421Aはスイッチ1に向けてエアー42A1を吹き出し、エアー吹き出し口421Bはスイッチ2に向けてエアー42A2を吹き出し、エアー吹き出し口421Cはスイッチ3に向けてエアー42A3を吹き出す。 An air outlet opening 421A is blowing air 42A1 toward the switch 1, an air outlet opening 421B is blowing air 42A2 toward the switch 2, the air outlet opening 421C is blowing air 42A3 toward the switch 3. 乗員は、3つの指向性のあるエアーの流れを知覚することにより、スイッチ1〜スイッチ3を正確に識別することができる。 Occupant by perceive the flow of air with three directional, it is possible to accurately identify the switch 1 to switch 3.

エアー制御部422は、エアーを吹き出すタイミングと、エアーの方向を制御する。 Air control unit 422, the timing for blowing air, to control the direction of air. エアー制御部422は、位置決定部411が決定した操作スイッチの表示位置の情報を取得し、表示される操作スイッチに向けてエアーが吹き出されるように吹き出し口421の吹き出し方向を調節する。 Air control unit 422 obtains the information of the display position of the operation switch position determination unit 411 is determined, to adjust the blowing direction of the air outlet 421 as air is blown toward the operation switch to be displayed. また、エアー制御部422は、表示制御部412による操作スイッチの表示のオン/オフに応じてエアーの吹き出しのオン/オフを制御する。 Further, an air control unit 422 controls the air blowing on / off according to the display on / off of the operation switch by the display control unit 412. つまり、操作スイッチの表示が開始されたらエアーの吹き出しを開始し、操作スイッチの表示が終了したらエアーの吹き出しを停止する。 In other words, to start the balloon After the display of the operation switch is the start of the air, the display of the operation switch to stop the blow-out of the air when you are finished. これにより必要な場合にだけエアーの吹き出しを行えるため、エネルギーを節約することができる。 Since only allows the balloon of air when Thereby necessary, it is possible to save energy.

「コマンド認識手段3」は、仮想スイッチ生成手段4により表示された操作スイッチの像と、検出手段2により検出された検出対象(乗員の腕、肘、手又は指)の像とからコマンドを認識する。 "Command recognition unit 3", recognizes the image of the operation switch which is displayed, the detection target detected by the detecting means 2 a command from the image of (the passenger's arm, elbow, hand or finger) by the virtual switch generating means 4 to. コマンド認識手段3は、操作スイッチの像と検出対象の像とを比較する像比較部31を有する。 Command recognition unit 3 has an image comparison section 31 for comparing the image of the detection target image of the operation switch. 像比較部31は、操作スイッチの像と検出対象の像とを比較し、検出手段2によって検出された検出対象(乗員の手、指等)の位置が、操作スイッチ表示部41により表示された操作スイッチの像の位置と一致したか否かを判断する。 Image comparison section 31 compares the image of the detection target image of the operation switch, the position of the detected by the detecting means 2 the detection target (the occupant's hand, finger, etc.), displayed by the operation switch display section 41 It determines whether matches the position of the image of the operation switch. 本実施形態では、乗員の手(検出対象)が操作スイッチの位置に一致したか否かにより、乗員が操作スイッチを操作したか否かを判断する。 In this embodiment, depending on whether the passenger's hand (detection target) matches the position of the operation switch, it is determined whether the passenger has operated the operation switch. つまり、乗員の手(像)の位置が操作スイッチMの位置と略一致した場合、乗員は操作スイッチMを操作したと判断し、操作スイッチMに対応するコマンドが入力されたと判断する。 That is, when the position of the occupant's hand (image) is positioned substantially coincides operation switch M, the occupant is determined to have operated the operation switch M, it is determined that the command corresponding to the operation switch M is input. 本実施形態では、操作スイッチは乗員の手の位置によって操作するものであったが、乗員の指の先の位置で乗員からのコマンドを認識してもよい。 In this embodiment, the operation switch has been to operate the position of the occupant's hand, may recognize a command from the occupant in the previous position of the occupant's fingers.

なお、コマンド認識手段3は、乗員のコマンドを認識した場合、認識完了の信号を仮想スイッチ生成手段4に送出することが好ましい。 Incidentally, the command recognizing means 3, when recognizing the passenger commands, it is preferable to send a signal of recognition completion virtual switch generating means 4. 認識完了の信号を受け付けた操作スイッチ表示部41は、操作スイッチの色を変化させ、または認識完了に信号を受け付けたエアー吹き出し部42は、エアー風量の変化若しくはエアーの一時停止を行い、コマンドを認識したことを乗員に報知する。 Operation switch display section 41 that has received the signal of recognition completion, changing the color of the operation switch air blowout section 42 or accepts the signal recognition completion, performs the change or suspension of air the air flow rate, the command notifying that recognized the occupant.

「実行手段5」はコマンド認識手段3により認識されたコマンドを、対応する外部装置(200〜500)に送出し、そのコマンドを実行させる。 The "execution means 5" was recognized by the command recognition unit 3 commands sent to the corresponding external device (200-500) to execute the command.

以上のように構成された本実施形態のコマンド入力装置100の制御手順を図7に基づいて説明する。 It will be described with reference to FIG. 7 the control procedure of the command input device 100 of the present embodiment configured as described above. 図7は、コマンド入力装置100のコマンド入力時のフローチャートである。 Figure 7 is a flow chart of command input command input device 100. ステップS1において、赤外線カメラ11は検出領域11Aの撮像を開始する。 In step S1, the infrared camera 11 starts imaging a detection area 11A. 検出領域11Aにはステアリングが含まれ、ステアリングを握る乗員の肩から指先までの、腕、肘、手、指等が撮像される(図2、図3を参照)。 The detection region 11A is include steering, from the passenger's shoulder to grip the steering fingertips, arms, elbows, hands, fingers and the like are captured (see Figure 2, Figure 3).

ステップS2では、検出手段2が検出対象を検出する。 In step S2, the detection means 2 detects the detection target. 本例では検出対象として、乗員の腕、肘、手若しくは指の位置、輝度、形状若しくは動き、又は腕若しくは手の向き、その他の乗員の腕又は手の状態を検出する。 As the detection target in the present example, the passenger's arm, elbow, hand position or fingers, brightness, shape or motion, or arm or hand orientation, detecting the other occupants of the arm or hand state. 検出対象の検出処理は、一般に用いられる手法を利用する。 Detection processing of the detection target is generally utilize technique used.

ステップS3において、検出手段2が乗員の手がステアリングを握っているか否かを判断する。 In step S3, the detection unit 2 determines whether the occupant of the hand is gripping the steering wheel. 乗員がステアリングを握っていることを検出した場合には、ステップS4に進み、検出しなければ再びステップS2に戻る。 If the occupant is detected that is holding the steering, the process proceeds to step S4, returns to step S2 to be detected.

ステップS4において、検出手段2は、乗員の手がステアリングを握っている状態における手の基準位置・手の基準輝度値を記憶する。 In step S4, the detection unit 2 stores the reference brightness values ​​of the reference position and the hand of the hand in the state where the occupant of the hand is gripping the steering wheel. これらステップS2〜S4を行うことにより、基準位置と基準輝度を随時更新することができ、緩やかではあるが手の温度が刻々と変化することにより基準輝度がずれる影響を避けることができる。 By performing these steps S2 to S4, it is possible to occasionally update the reference position and the reference brightness, there is a gradual but can avoid the effect of the reference luminance is shifted by the temperature of the hand is changed from moment to moment.

ステップS5において、検出手段2は検出対象が開始コマンドに対応づけられた所定の形状であるか否かを判断する。 In step S5, the detection unit 2 determines whether the detection target is a predetermined shape associated with the start command. 本例では、検出した検出対象である手の形状がジャンケンの「パー」であるか否かを判断し、手の形状が「パー」であることを検出すると、ステップS6に進む。 In this example, when the shape of the hand is detected the detection target is judged whether the "par" of the Janken, hand shape detecting that the "par", the flow proceeds to step S6. 他方、開始コマンドが乗員から表現されない場合は、ステップS2に戻る。 On the other hand, if the start command is not represented by the occupant, the process returns to step S2.

ステップS6において、検出手段2は取得した赤外線画像から検出領域面に沿った検出対象の二次元位置を求める。 In step S6, the detection unit 2 obtains the two-dimensional position of the detection object along the detection region surface from the infrared image obtained. また検出手段2は取得した赤外線画像の輝度値とステップS4にて取得した基準輝度値とを比較することよって、検出領域面に垂直方向の三次元位置を検出する。 The detecting means 2 is I'm by comparing the reference luminance value acquired by the luminance value and the step S4 of infrared images obtained, to detect the three-dimensional position in the vertical direction in the detection area surface. そして、検出手段2は、検出された乗員の腕と乗員の手との位置関係(二次元位置、三次元位置)から手の向きを検出する。 The detection means 2 detects the orientation of the hand from the positional relationship between the detected occupant's arm and the passenger's hand (two-dimensional position, three-dimensional position).

ステップS7において、仮想スイッチ生成手段4は、検出手段により検出された検出対象の位置に応じて操作スイッチの虚像の表示位置を決定する。 In step S7, the virtual switch generating unit 4 determines the display position of the virtual image of the operation switch in accordance with the position of the detection object detected by the detecting means. 具体的に、操作スイッチ表示部41の位置決定部411は、検出された乗員の腕と乗員の手との位置関係に基づいて、操作スイッチの虚像の表示位置を決定する。 Specifically, the position determining unit 411 of the operation switch display unit 41 based on the position relationship between the detected occupant's arm and the passenger's hand, determines the display position of the virtual image of the operating switch. 表示位置には操作スイッチ面の向きも含まれる。 The display position also includes the orientation of the operating switch planes. また、エアー制御部422は、決定された表示位置に表示された操作スイッチに向けて吹き出し口421からエアーを吹き出させる。 Further, an air control unit 422 causes blown air from the blowing port 421 toward the operation switch which is displayed on the determined display position.

ステップS8において、表示制御部412は、位置決定部411により決定された位置に操作スイッチを表示する。 In step S8, the display control unit 412 displays an operation switch to positions determined by the position determination unit 411.

ステップS9において、エアー制御部422は、エアーの吹き出し方向を決定する。 In step S9, the air control unit 422 determines the blowing direction of the air. エアーの吹き出し方向は、ステップS7において決定された位置に表示された操作スイッチに向けた方向である。 Blowing direction of the air is a direction toward the operating switch displayed on the determined position in step S7.

ステップS10において、エアー制御部422は、ステップS9にて決定された方向に向けてエアーの吹き出しを開始させる。 In step S10, an air control unit 422 starts the balloon of air in the direction determined in step S9.

このようにして、虚像の操作スイッチと操作スイッチの向けてエアーが吹き出された仮想スイッチが乗員に向けて提示される(S11)。 In this manner, virtual switch air is blown out of the operating switch and the operation switch of the virtual image is presented toward the vehicle occupant (S11).

続くステップS12において、コマンド認識手段3は、検出手段2により検出された乗員の指(像)の位置が、いずれかの操作スイッチ(像)の位置と略一致したか否かを判断し、コマンドの認識処理を行い、コマンドを認識したか否かを判断する。 Followed in step S12, the command recognizing means 3, position of the finger of the occupant detected by the detecting means 2 (image) is, and determines whether the position substantially matching one of the operation switches (the image), the command performs recognition processing, determines whether it has recognized the command. 他方、コマンドの認識がされず(S12でNo)、ステップS18にて一定時間経過経過したことが検出されれば自動的にステップS16に進み、仮想スイッチの提示を終了し、ステップS1に戻る。 On the other hand, is not the recognition of the command (No in S12), the process proceeds to automatically step S16 if it is detected that a predetermined time has elapsed elapsed at step S18, and terminates the presentation of the virtual switch, the flow returns to step S1.

ステップ13において、コマンド認識手段3は、コマンドを認識したことを乗員に報知する。 In step 13, command recognition means 3, to inform the passenger that the recognized command. さらに、ステップ14において、実行手段5は、認識されたコマンドを各種車載機器200〜500に入力する。 Further, in step 14, execution unit 5 inputs the recognized command to various vehicle devices 200-500.

仮想スイッチ生成手段4は、「終了命令」に対応する手の「グー」の形状が検出されたら、仮想スイッチの提示(操作スイッチの表示とエアーの吹き出し)を終了し(ステップS16)、ステップS1へ戻る。 The virtual switch generating unit 4 ends the When the shape of the "rock" in the corresponding hand "end command" is detected, (balloon display and air operation switch) presents a virtual switch (step S16), and step S1 to return.

本実施形態のコマンド入力装置100は、以上のように構成され機能するので、以下の効果を奏する。 Command input device 100 of the present embodiment, the functions are constructed as described above, the following effects.

本実施形態では、撮像手段1により検出領域を撮像し、検出対象(たとえば乗員の腕、肘、手、又は指のいずれか1以上)を検出し、操作スイッチを表示するとともに、表示された操作スイッチの虚像に向けてエアーが吹きだされる仮想スイッチを生成する。 Operation In the present embodiment, imaging the detection area by the imaging unit 1, the detection target (e.g. passenger's arm, elbow, hand, or any one or more fingers) detects, displays an operation switch, which is displayed to generate a virtual switch that air is blown towards the virtual image of the switch. このため、吹きだされるエアーが物理的な知覚を乗員に与え、乗員の手を操作スイッチに誘導することができる。 Therefore, it is possible to air blown out gives physical perception to the passenger, to induce an occupant hand operation switch. つまり、乗員は虚像の操作スイッチにより操作スイッチの位置を視覚的に認識することができるとともに、エアーによって操作スイッチの位置を触覚的に認識することができる。 In other words, the occupant makes it possible to visually recognize the position of the operation switch by operating the switch of the virtual image, it is possible to recognize tactilely the position of the operation switch by the air. これにより、乗員にとって操作性の高いコマンド入力装置を提供することができる。 Thus, it is possible to provide a highly operability command input device for the occupant.

本実施形態によれば、検出対象の位置に応じて操作スイッチの虚像の表示位置を決定するため、乗員が操作しやすい位置(向きを含む)に仮想スイッチを生成することができ、操作性の高いコマンド入力装置100を提供することができる。 According to this embodiment, for determining the display position of the virtual image of the operation switch in accordance with the position of the detection object, it is possible to generate a virtual switch occupant easy operation position (including the orientation), the operability it is possible to provide a high command input device 100.

仮想スイッチの提示を、所定の形状の検出対象又は所定の動きをする検出対象を検出した場合に開始又は終了するため、コマンド入力時にだけ仮想スイッチを提示することができ、車内の空間を視覚的に拡張することできる。 The presentation of the virtual switch, for initiating or ending when detecting a target for the detection target or predetermined motion of a predetermined shape, it is possible to present a virtual switch only when the command input, visually interior space It can be extended to.

撮像手段として、照明手段を必要としない赤外線カメラを用いることにより、乗員の視覚に影響を与えないようにすることができる。 As the imaging means, by using an infrared camera that does not require illumination means, it is possible so as not to affect the occupant visually.

本実施形態では、赤外線カメラにより取得した赤外線画像から検出領域面に沿った検出対象の2次元位置を求めるとともに、検出対象の輝度値から検出領域面に対して垂直方向の検出対象の三次元位置を求めることにより、検出対象(例えば乗員の腕、肘、手又は指)の空間位置を求めることができる。 In the present embodiment, the obtaining a two-dimensional position of the detection object along the detection region surface from the infrared image obtained by the infrared camera, the three-dimensional position of the detection object in the vertical direction with respect to the detection region surface from luminance values ​​of the detection object by obtaining the can determine the spatial position of the detection object (e.g., passenger's arm, elbow, hand or finger).

本実施形態は、ステアリングを握る乗員の手の位置を基準位置として、またステアリングを握る乗員の手の輝度を基準輝度として取得するため、検出対象(例えば乗員の腕、肘、手又は指)の正確な位置を求めることができる。 This embodiment, as the reference position the position of the occupant's hand gripping the steering, and to obtain the luminance of the occupant's hand gripping the steering as reference luminance, the detection target (e.g., the passenger's arm, elbow, hand or finger) it can be obtained an accurate position.

この基準位置と基準輝度に基づいて、検出対象となる乗員の手の輝度値から撮像領域面に対して垂直方向の位置(3次元位置)を取得することができ、乗員の手の正確な空間位置を取得することができる。 Based on the reference position and the reference luminance, it is possible to obtain the position in the vertical direction (three-dimensional position) relative to the imaging area surface of the brightness value of the occupant's hand to be detected, precise spatial occupant's hand position can be obtained.

このように求められた、検出対象(例えば乗員の腕、肘、手又は指)の三次元位置に基づいて操作スイッチを表示するため、操作がしやすい位置に操作スイッチを表示することができる。 Thus obtained, the detection target (e.g., the passenger's arm, elbow, hand or finger) to display the operation switch based on the three-dimensional position, it is possible to display the operation switch in the operation is easy position. また、検出対象(例えば乗員の腕、肘、手又は指)の三次元位置に基づいてコマンドを認識することができるため、コマンドを正確に認識することができる。 Further, it is possible to recognize a command based on the three-dimensional position of the detection object (e.g., passenger's arm, elbow, hand or finger), it is possible to accurately recognize the command.

撮像手段および/または仮想スイッチ生成手段4をセンターコンソールに設けたため、車内の居住空間を拡張することができる。 Due to the provision of the imaging means and / or the center console virtual switch generating means 4, it is possible to extend the interior living space.

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。 Incidentally, the embodiments described above, which has been described to facilitate understanding of the present invention and were not described to limit the present invention. したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 Therefore, the elements disclosed in the above embodiments are intended to embrace all design changes and equivalents belonging to the technical scope of the present invention.

本実施形態のコマンド入力装置のブロック構成図である。 It is a block diagram of a command input device of the present embodiment. 撮像手段、仮想スイッチ生成手段の配置例を示す図である。 Imaging means is a diagram showing an arrangement example of the virtual switch generating means. 検出手段の処理を説明するための図である。 It is a diagram for explaining the process of detecting means. 操作スイッチの一例を示す図である。 Is a diagram showing an example of an operation switch. 操作スイッチの表示位置の決定処理を説明するための図である。 It is a diagram for illustrating processing for determining a display position of the operation switch. エアー吹き出し処理を説明するための図である。 It is a diagram for explaining an air balloon process. 本実施形態の制御手順を示すフローチャート図である。 Is a flowchart showing the control procedure of this embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

100…コマンド入力装置 1…撮像手段 11…赤外線カメラ 2…検出手段 21…位置検出部 22…形状検出部 23…動き検出部 3…コマンド認識手段 31…像比較部 4…仮想スイッチ生成手段 41…操作スイッチ表示部 411…位置決定部 412…表示制御部 42…エアー吹き出し部 421…吹き出し口 422…エアー制御部 5…実行手段200・・・ナビゲーション装置300・・・オーディオ装置400・・・エアコン制御装置500・・・通信装置 100 ... command input device 1 ... imaging unit 11 ... infrared camera 2 ... detection unit 21 ... position detection unit 22 ... shape detection unit 23 ... motion detecting portion 3 ... command recognition means 31 ... image comparison section 4 ... virtual switch generating means 41 ... operation switch display section 411 ... position determination unit 412 ... display control unit 42 ... air blowout portion 421 ... outlet 422 ... air controller 5 ... execution unit 200 ... navigation device 300 ... audio device 400 ... air conditioner control device 500 ... communication device

Claims (9)

  1. 車両に搭載され、乗員により表現されるコマンドの入力を受け付けるコマンド入力装置であって、 Is mounted on a vehicle, a command input device that receives an input command represented by the occupant,
    車内の所定の検出領域を撮像する赤外線カメラと、 An infrared camera that captures a predetermined detection areas of the vehicle,
    前記赤外線カメラにより撮像された赤外線画像から、前記検出領域にある検出対象の位置、形状または動きのいずれか一つ以上を検出するとともに、前記赤外線画像に基づいて、前記検出対象の前記検出領域面に沿うx−y座標位置を求めるとともに、前記検出対象の輝度値に基づいて前記検出対象の前記検出領域面に対して垂直方向のz座標位置を検出する検出手段と、 From the infrared image imaged by the infrared camera, the position of the detection object in the detection area, and detects any one or more of the shape or motion, on the basis of the infrared image, the detection region surface of the detection target together determine the x-y coordinate position along a detecting means for detecting the z-coordinate position in the vertical direction with respect to the detection region surface of the detection target based on the luminance value of the detection target,
    前記検出手段により検出された前記検出対象のxyz座標位置に応じて決定された車内空間の表示位置に虚像の操作スイッチを表示するとともに、表示された虚像の操作スイッチに向かってエアーが吹き出される仮想スイッチを生成する仮想スイッチ生成手段と、 And displays the virtual image operation switch of the display position of the determined vehicle space in accordance with the detected xyz coordinate position of the detection target by the detection unit, air is blown toward the operation switch of the displayed virtual image a virtual switch generating means for generating a virtual switch,
    前記仮想スイッチ生成手段により表示された操作スイッチの像と、前記検出手段により検出された前記検出対象の像とから、前記コマンドを認識するコマンド認識手段と、 An image of the operation switch which is displayed by the virtual switch generating means, and a detected image of the detection target by the detection means, recognizing the command recognizing means said command,
    前記コマンド認識手段により認識されたコマンドを実行させる実行手段とを有するコマンド入力装置。 Command input device having an execution unit for executing a recognized command by the command recognition unit.
  2. 前記検出対象は、乗員の腕、肘、手又は指のいずれか一つ以上である請求項1に記載のコマンド入力装置。 The detection target, occupant's arms, elbows, command input device according to claim 1 is any one or more of the hand or finger.
  3. 前記検出手段は、前記検出領域に含まれる乗員の腕、肘、手又は指の位置関係を検出し、 Said detecting means detects the occupant's arm included in the detection region, the elbow, the positional relationship between the hand or finger,
    前記仮想スイッチ生成手段は、前記検出手段により検出された乗員の腕と乗員の手との位置関係に基づいて、前記操作スイッチの虚像の表示位置を決定する請求項1又は2に記載のコマンド入力装置。 The virtual switch generating means, on the basis of the positional relationship between the arm and the passenger's hand of the occupant detected by the detecting means, the command input according to claim 1 or 2 for determining the display position of the virtual image of the operating switch apparatus.
  4. 前記検出手段は、前記乗員の腕と乗員の手との位置関係に基づいて、乗員の肘から手への方向を検出し、 Said detecting means, on the basis of the positional relationship between the occupant's arm and the passenger's hand, and detect the direction of the hand from the occupant's elbow,
    前記仮想スイッチ生成手段は、前記検出手段により検出された前記乗員の肘から手への方向に対して略垂直にその虚像面が表示されるように前記操作スイッチの虚像を形成する請求項3に記載のコマンド入力装置。 The virtual switch generating means to claim 3 forming a virtual image of the operating switch to the virtual image plane substantially perpendicular to the direction of the hand from the occupant elbow detected by said detecting means is displayed command input device as claimed.
  5. 前記仮想スイッチ生成手段は、前記検出手段が所定の形状の検出対象を検出した場合、前記仮想スイッチの生成を開始又は終了する請求項1〜4のいずれかに記載のコマンド入力装置。 The virtual switch generating means, when said detecting means detects the detection object with a predetermined shape, a command input device according to claim 1 to start or end the generation of the virtual switch.
  6. 前記仮想スイッチ生成手段は、前記検出手段が所定の動きをする検出対象を検出した場合、前記仮想スイッチの生成を開始又は終了する請求項1〜5のいずれかに記載のコマンド入力装置。 The virtual switch generating means, when said detecting means detects the detection target to the predetermined motion, a command input device according to claim 1 to start or end the generation of the virtual switch.
  7. 前記赤外線カメラは、前記車両のステアリングを含む領域を撮像し、ステアリングを握る乗員の手の輝度値を基準輝度値として取得する請求項1〜6のいずれかに記載のコマンド入力装置。 The infrared camera captures an area including the steering of the vehicle, command input device according to claim 1 to obtain the luminance value of the occupant's hand gripping the steering as a reference luminance value.
  8. 前記検出手段は、前記基準輝度値に基づいて、前記検出対象となる乗員の手の輝度値から、前記乗員の手の前記3次元位置を求める請求項に記載のコマンド入力装置。 Said detecting means, based on the reference luminance value, the luminance value of the occupant's hand to be detected, command input device according to claim 7 for obtaining the three-dimensional position of the occupant's hand.
  9. 前記撮像手段および/または仮想スイッチ生成手段は、前記車両のセンターコンソールに設けられた請求項1〜8のいずれかに記載のコマンド入力装置。 The imaging unit and / or virtual switch generating means, command input device according to any one of claims 1 to 8 provided on the center console of the vehicle.
JP2004065708A 2004-03-09 2004-03-09 Command input device Expired - Fee Related JP3933139B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004065708A JP3933139B2 (en) 2004-03-09 2004-03-09 Command input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004065708A JP3933139B2 (en) 2004-03-09 2004-03-09 Command input device

Publications (2)

Publication Number Publication Date
JP2005254851A JP2005254851A (en) 2005-09-22
JP3933139B2 true JP3933139B2 (en) 2007-06-20

Family

ID=35081025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004065708A Expired - Fee Related JP3933139B2 (en) 2004-03-09 2004-03-09 Command input device

Country Status (1)

Country Link
JP (1) JP3933139B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043154A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Information processing device, control method therefor, computer program, and storage medium

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389855B2 (en) 2005-09-05 2009-12-24 トヨタ自動車株式会社 Vehicle operating device
JP2007156950A (en) * 2005-12-07 2007-06-21 Toyota Motor Corp Vehicle operating device
EP2124139A4 (en) 2006-12-22 2013-01-09 Panasonic Corp User interface device
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP5136948B2 (en) * 2008-02-18 2013-02-06 株式会社デンソー Vehicle control device
JP5549571B2 (en) * 2010-12-17 2014-07-16 株式会社デンソー Vehicle status display device
JP6202810B2 (en) * 2012-12-04 2017-09-27 アルパイン株式会社 Gesture recognition apparatus and method, and program
JP5984651B2 (en) * 2012-12-06 2016-09-06 アルパイン株式会社 In-vehicle system
JP6057755B2 (en) * 2013-02-08 2017-01-11 株式会社東海理化電機製作所 Gesture operation device and gesture operation program
KR101542986B1 (en) 2013-12-19 2015-08-07 현대자동차 주식회사 System and control method for gestures recognition using holographic
JP2017026230A (en) * 2015-07-23 2017-02-02 パナソニックIpマネジメント株式会社 Air conditioning control device, air conditioner, air conditioning control method, air conditioning control system, air conditioning control program and recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043154A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Information processing device, control method therefor, computer program, and storage medium

Also Published As

Publication number Publication date
JP2005254851A (en) 2005-09-22

Similar Documents

Publication Publication Date Title
US9789904B2 (en) Remote-controlled maneuvering of a motor vehicle with the aid of a portable communication device
US9656690B2 (en) System and method for using gestures in autonomous parking
DE112006002954B4 (en) Virtual interface system
JP3841439B2 (en) Jog feed method of robot
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US20040141634A1 (en) Hand pattern switch device
JP5261554B2 (en) Human-machine interface for vehicles based on fingertip pointing and gestures
DE102013201746A1 (en) Interaction with vehicle control elements by gesture detection
EP2749456B1 (en) Parking assist apparatus
JP6116064B2 (en) Gesture reference control system for vehicle interface
EP1803631A1 (en) Parking assistance system
JPWO2013008300A1 (en) Emergency vehicle evacuation device
JP2013096736A (en) Vehicular display device
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
US9547792B2 (en) Control apparatus, vehicle, and portable terminal
JP6218200B2 (en) Enter information and commands based on automotive gestures
CN102159419B (en) Display and control system in motor vehicle having user-adjustable representation of displayed objects, and method for operating such display and control system
CN103842941B (en) In response to the sensed occupant gestures performs control action of the vehicle entertainment system
US20140176350A1 (en) Method and device for assisting a driver in lane guidance of a vehicle on a roadway
KR101071777B1 (en) Handling device for vehicle
US20150022664A1 (en) Vehicle vision system with positionable virtual viewpoint
US8532871B2 (en) Multi-modal vehicle operating device
US9244527B2 (en) System, components and methodologies for gaze dependent gesture input control
US9855817B2 (en) Vehicle operating system using motion capture
US7295904B2 (en) Touch gesture based interface for motor vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070312

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees