JP5240277B2 - In-vehicle remote control device - Google Patents

In-vehicle remote control device Download PDF

Info

Publication number
JP5240277B2
JP5240277B2 JP2010249072A JP2010249072A JP5240277B2 JP 5240277 B2 JP5240277 B2 JP 5240277B2 JP 2010249072 A JP2010249072 A JP 2010249072A JP 2010249072 A JP2010249072 A JP 2010249072A JP 5240277 B2 JP5240277 B2 JP 5240277B2
Authority
JP
Japan
Prior art keywords
image
unit
hand
user
operation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010249072A
Other languages
Japanese (ja)
Other versions
JP2011031886A (en
Inventor
仁 久門
健司 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010249072A priority Critical patent/JP5240277B2/en
Publication of JP2011031886A publication Critical patent/JP2011031886A/en
Application granted granted Critical
Publication of JP5240277B2 publication Critical patent/JP5240277B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作スイッチが配置された操作部と、操作部における操作スイッチに対応する操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置し、表示部に、手の画像を操作メニュー画像に合成表示する合成表示手段を備える車載遠隔操作装置に関する。   The present invention separately arranges an operation unit in which an operation switch is arranged and a display unit that displays an operation menu image corresponding to the operation switch in the operation unit at physically separated positions in a vehicle interior. Furthermore, the present invention relates to an in-vehicle remote control device including a composite display unit that composites and displays a hand image on an operation menu image.

車内の好適位置に配置され,各種車載機器を作動操作するための複数種のスイッチが集約して配列された多機能スイッチ操作プレートと,操作者が前方視できる視野領域の車内好適位置に配置され,前記複数種のスイッチの配列画像を画面表示する表示器と,前記操作者が指先で前記スイッチの目標とするものを操作するとき,その目標スイッチを感知した検出信号に基づいて前記表示器に画面表示されている前記目標スイッチの画像の配列位置および機能を前記操作者に認識させるよう制御するコントローラと,を備え,前記操作者が前方視状態で前記表示器に表示されている前記目標スイッチの画像を視認しつつ前記多機能スイッチ操作プレート上の目標スイッチをリアルタイムで指先操作可能に構成したことを特徴とする車載機器スイッチ安全操作システムが知られている(例えば、特許文献1参照)。   A multi-function switch operation plate that is arranged in a suitable position in the vehicle and that is arranged in a collective manner to arrange various types of switches for operating various in-vehicle devices, and is disposed in a suitable position in the vehicle in the visual field area that the operator can look forward. A display that displays an array image of the plurality of types of switches, and when the operator operates a target of the switch with a fingertip, the display is based on a detection signal that senses the target switch. A controller for controlling the operator to recognize an arrangement position and a function of an image of the target switch displayed on the screen, and the target switch is displayed on the display in a forward-viewed state by the operator The target switch on the multi-function switch operation plate can be operated in real time with a fingertip while viewing the image of the vehicle. Chi safe operation system is known (e.g., see Patent Document 1).

また、運転者によって操作されて自動車の電子機器を制御する車載用スイッチ操作装置において、運転席の近傍の運転者による操作容易な位置に設置可能であって複数のスイッチが配列されてなるスイッチアレイと、運転席の近傍に設置可能であって前記スイッチアレイと運転者によるスイッチ操作の動作状態とを逐次撮影するカメラと、前記カメラで撮影された画像における各スイッチの機能を該各スイッチの近傍に標識するための標識画像データを記憶している標識画像データ記憶部と、前記撮影された画像の画像データと前記標識画像データ記憶部の標識画像データによる各画像を合成する画像合成部と、フロントパネル又はその近傍に設置可能であって前記合成された画像を表示する表示部と、前記スイッチの操作信号を受けて当該スイッチの画像に標識されている機能に対応させた制御をするための制御信号を出力する制御部とを備えた、ことを特徴とする車載用スイッチ操作装置が知られている(例えば、特許文献2参照、同様の技術について、特許文献3,4参照)。   In addition, in an in-vehicle switch operating device that is operated by a driver to control an electronic device of an automobile, a switch array that can be installed at a position where it can be easily operated by a driver in the vicinity of a driver's seat and is arranged with a plurality of switches A camera that can be installed in the vicinity of the driver's seat and sequentially captures the switch array and the operation state of the switch operation by the driver, and the function of each switch in the image captured by the camera is in the vicinity of each switch. A sign image data storage unit that stores sign image data for labeling, an image composition unit that synthesizes each image based on the image data of the captured image and the sign image data of the sign image data storage unit, A display unit that can be installed on or near the front panel and displays the synthesized image; There is known an in-vehicle switch operating device including a control unit that outputs a control signal for performing a control corresponding to a function marked in an image of the switch (for example, Patent Documents) 2, see Patent Documents 3 and 4 for similar techniques).

特開2000−6687号公報JP 2000-6687 A 特開2000−335330号公報JP 2000-335330 A 特開平10−269012号公報Japanese Patent Laid-Open No. 10-269012 特開2004−26046号公報JP 2004-26046 A

ところで、上述の種の車載遠隔操作装置においては、ユーザは、表示部に映される操作メニュー画像上の手の位置を見ながら、操作部において実際に操作を行う手(指先)を所望の操作スイッチの位置まで動かす必要がある。しかしながら、操作メニュー画像上に手の画像を重畳表示するだけでは、所望の操作スイッチと指先の位置関係が直感的に把握し難いという問題がある。   By the way, in the above-described type of in-vehicle remote control device, the user can perform a desired operation on a hand (fingertip) that is actually operated on the operation unit while viewing the position of the hand on the operation menu image displayed on the display unit. It needs to be moved to the switch position. However, there is a problem that it is difficult to intuitively grasp the positional relationship between a desired operation switch and a fingertip simply by superimposing and displaying a hand image on the operation menu image.

そこで、本発明は、操作スイッチまでユーザの手(指先)を効果的に案内することが可能な車載遠隔操作装置の提供を目的とする。   Therefore, an object of the present invention is to provide an in-vehicle remote control device that can effectively guide a user's hand (fingertip) to an operation switch.

上記目的を達成するため、本発明の一局面によれば、操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置及びその機能を表す操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置し、
前記操作部を操作するユーザの手を該操作部と共に撮影する撮像手段と、
前記表示部に、前記撮影した手の画像を前記操作メニュー画像に合成して表示する合成表示手段と、を備える車載遠隔操作装置において、
前記操作部は、ユーザが前記操作部の操作領域全体における自己の指先の位置の属する領域を知覚しやすくなるように設けられた凹状又は凸状の操作ガイド部を含み、
前記合成表示手段は、前記表示部に、前記手の画像に加えて、ユーザが前記操作部の全体領域における自己の指先の位置の属する領域を容易に把握できるような操作ガイド画像であって、前記操作ガイド部の形状に対応した操作ガイド画像を、前記操作メニュー画像に合成して表示し、
前記操作ガイド画像は、前記操作部に対するユーザの手の接近又は接触を感知したときに表示されることを特徴とする、車載遠隔操作装が提供される。
In order to achieve the above object, according to one aspect of the present invention, there is provided an operation unit in which an operation switch is arranged, and a display unit that displays an operation menu image representing an arrangement position and a function of the operation switch in the operation unit. , Separately placed in physically separated locations in the passenger compartment,
Imaging means for photographing a user's hand operating the operation unit together with the operation unit;
In the vehicle-mounted remote control device, comprising: on the display unit, combined display means for combining the captured hand image with the operation menu image for display.
The operation unit includes a concave or convex operation guide unit provided so that a user can easily perceive a region to which the position of his / her fingertip belongs in the entire operation region of the operation unit,
The composite display means is an operation guide image that allows the user to easily grasp the region to which the position of his / her fingertip belongs in the entire region of the operation unit in addition to the image of the hand on the display unit , An operation guide image corresponding to the shape of the operation guide portion is combined with the operation menu image and displayed,
The in-vehicle remote control device is provided, wherein the operation guide image is displayed when the user's hand approaches or touches the operation unit.

本発明によれば、操作スイッチまでユーザの手(指先)を効果的に案内することが可能な車載遠隔操作装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, the vehicle-mounted remote control apparatus which can guide a user's hand (fingertip) effectively to an operation switch is obtained.

本発明に係る車載遠隔操作装置の車両搭載状態の一例を示す斜視図である。It is a perspective view which shows an example of the vehicle mounting state of the vehicle-mounted remote control apparatus which concerns on this invention. 図1に示す車載遠隔操作装置の側面視による概略的な断面図である。FIG. 2 is a schematic cross-sectional view of the in-vehicle remote control device shown in FIG. 1 as viewed from the side. 車載遠隔操作装置に係る車載システムの機能ブロック図である。It is a functional block diagram of the vehicle-mounted system which concerns on a vehicle-mounted remote control apparatus. 操作部20の平面図である。3 is a plan view of an operation unit 20. FIG. 操作部20の主要断面図である。3 is a main cross-sectional view of an operation unit 20. FIG. 操作メニュー画像の一例を示す図である。It is a figure which shows an example of an operation menu image. カメラ画像を示す図である。It is a figure which shows a camera image. 表示部40における合成画像の表示状態を示す図である。4 is a diagram illustrating a display state of a composite image on the display unit 40. FIG. 操作ガイド部30のその他の実施例を示す図である。It is a figure which shows the other Example of the operation guide part. 本発明に係る車両用操作装置の車両搭載状態のその他の実施例を示す斜視図である。It is a perspective view which shows the other Example of the vehicle mounting state of the operating device for vehicles which concerns on this invention. 図11に示す車両用操作装置の側面視による概略的な断面図である。FIG. 12 is a schematic cross-sectional view of the vehicle operating device shown in FIG. 11 as viewed from the side. その他の実施例に係る車両用操作装置を示す斜視図である。It is a perspective view which shows the operating device for vehicles which concerns on the other Example. 凹空間90内におけるカメラ50のその他の配置方法を示す図である。FIG. 10 is a diagram illustrating another arrangement method of the camera 50 in the concave space 90.

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図1は、本発明に係る車載遠隔操作装置の車両搭載状態の実施例1を示す斜視図である。図2は、図1に示す車載遠隔操作装置の側面視による概略的な断面図であり、図3は、車載遠隔操作装置に関連する車載システムの機能ブロックを示す。本実施例の車載遠隔操作装置は、図1及び図2に示すように、操作部20、表示部40及びカメラ50を備え、操作部20及び表示部40は、車室内の物理的に離れた位置に別々に配置される。操作部20及び表示部40は、図3に示すように、例えばマイクロコンピューターからなる表示制御装置70に接続され、カメラ50は手画像合成回路72に接続される。手画像合成回路72には、操作部20に対するユーザの手の接近等を検知できる接近/接触感知手段80が接続される。接近/接触感知手段80は、操作部20に対して設けられる発光手段24を制御する発光制御部74に接続される。以下、各構成について詳説していく。   FIG. 1 is a perspective view showing a first embodiment of a vehicle-mounted remote control device according to the present invention mounted on a vehicle. FIG. 2 is a schematic cross-sectional view of the in-vehicle remote control device shown in FIG. 1 as viewed from the side, and FIG. 3 shows functional blocks of the in-vehicle system related to the in-vehicle remote control device. As shown in FIGS. 1 and 2, the in-vehicle remote control device of this embodiment includes an operation unit 20, a display unit 40, and a camera 50. The operation unit 20 and the display unit 40 are physically separated from each other in the vehicle interior. Placed separately in position. As shown in FIG. 3, the operation unit 20 and the display unit 40 are connected to a display control device 70 formed of, for example, a microcomputer, and the camera 50 is connected to a hand image synthesis circuit 72. The hand image synthesis circuit 72 is connected to an approach / contact sensing means 80 that can detect the approach of the user's hand to the operation unit 20. The approach / contact sensing unit 80 is connected to a light emission control unit 74 that controls the light emission unit 24 provided for the operation unit 20. Hereinafter, each configuration will be described in detail.

図4は、操作部20の平面図である。操作部20は、複数の操作スイッチが配置される透明タッチパネル22を含む。尚、図4においては、感圧式の複数の操作スイッチの位置(感圧領域)が一点差線で仮想的に示されている。操作部20は、ユーザが操作しやすい位置、好ましくは、運転者が手を伸ばすだけで操作できるような位置に配置される。例えば、操作部20は、図1に示すように、センターコンソール部に配置されてよいし、また、インストルメントパネルに配置されてもよい。操作部20は、その略平らな操作面が略水平になるように配置される。   FIG. 4 is a plan view of the operation unit 20. The operation unit 20 includes a transparent touch panel 22 on which a plurality of operation switches are arranged. In FIG. 4, the positions (pressure-sensitive regions) of a plurality of pressure-sensitive operation switches are virtually indicated by a one-dot difference line. The operation unit 20 is disposed at a position where the user can easily operate, preferably at a position where the driver can operate by simply reaching out. For example, the operation unit 20 may be disposed in the center console unit as illustrated in FIG. 1 or may be disposed in the instrument panel. The operation unit 20 is arranged such that its substantially flat operation surface is substantially horizontal.

図5は、操作部20の主要部を示す断面図である。操作部20は、透明タッチパネル22を備える。透明タッチパネル22の構造は、後述の操作ガイド部30が形成されている以外は、一般的なものであってよい。例えば、透明タッチパネル22は、図5に示すように、薄膜透明電極22aを設けたアクリル基板22b(又はガラス基板等)を下に、薄膜透明電極22cを設けたフィルム基板22dを上にして、薄膜透明電極22a、22c同士をドットスペーサ22eを介して対向させた積層構造を有する。透明タッチパネル22上での操作信号(操作位置信号)は、透明タッチパネル22の側部に接着される図示しないFPC(フレキシブル印刷回路)を介して表示制御装置70(図3参照)に供給される。表示制御装置70は、透明タッチパネル22上での操作信号(操作位置信号)に応じた機能(後述の表示部40での操作メニュー画像の切り替えを含む)を実現させるように各種車載機器を制御する。   FIG. 5 is a cross-sectional view showing the main part of the operation unit 20. The operation unit 20 includes a transparent touch panel 22. The structure of the transparent touch panel 22 may be a general structure except that an operation guide unit 30 described later is formed. For example, as shown in FIG. 5, the transparent touch panel 22 has a thin film transparent electrode 22a (or a glass substrate) provided with a thin film transparent electrode 22c and a film substrate 22d provided with a thin film transparent electrode 22c. It has a laminated structure in which the transparent electrodes 22a and 22c are opposed to each other via a dot spacer 22e. An operation signal (operation position signal) on the transparent touch panel 22 is supplied to the display control device 70 (see FIG. 3) via an FPC (flexible printed circuit) (not shown) bonded to the side of the transparent touch panel 22. The display control device 70 controls various in-vehicle devices so as to realize a function (including switching of an operation menu image on the display unit 40 described later) according to an operation signal (operation position signal) on the transparent touch panel 22. .

透明タッチパネル22の側部には、発光手段24が設定される。発光手段24は、例えばLED等の光源であり、透明タッチパネル22の下層のアクリル基板22bに側部から光を当てるように配設される。発光手段24は、以下で詳説する発光制御部74(図3参照)による制御下で、透明タッチパネル22の側部から透明タッチパネル22全体(操作部20全体)を照明する。発光手段24の発する光は、アクリル導光板により透明タッチパネル22の操作領域全体を略均一に発光させるように拡散させる。或いは、発光手段24は、透明タッチパネル22の背後から透明タッチパネル22全体(操作部20全体)を照明するものであってもよい。同様に、発光手段24の発する光は、操作部20全体が略均一な輝度で発光するように、即ち、透明タッチパネル22の全操作領域に亘って均一に光が透明タッチパネル22を透過するように、適切な拡散される。尚、この発光手段24は、液晶ディスプレイのバックライトと同様の構成(例えばアクリル導光板、ランプ、ランプ反射板等を備えた導光板型バックライト)であってよい。   A light emitting means 24 is set on the side of the transparent touch panel 22. The light emitting means 24 is, for example, a light source such as an LED, and is disposed so that light is applied from the side to the acrylic substrate 22 b under the transparent touch panel 22. The light emitting unit 24 illuminates the entire transparent touch panel 22 (the entire operation unit 20) from the side of the transparent touch panel 22 under the control of the light emission control unit 74 (see FIG. 3) described in detail below. The light emitted from the light emitting means 24 is diffused by the acrylic light guide plate so that the entire operation region of the transparent touch panel 22 emits light substantially uniformly. Alternatively, the light emitting unit 24 may illuminate the entire transparent touch panel 22 (the entire operation unit 20) from behind the transparent touch panel 22. Similarly, the light emitted from the light emitting means 24 is emitted so that the entire operation unit 20 emits light with substantially uniform luminance, that is, the light is transmitted uniformly through the transparent touch panel 22 over the entire operation area of the transparent touch panel 22. Appropriate diffusion. The light emitting means 24 may have the same configuration as a backlight of a liquid crystal display (for example, a light guide plate type backlight including an acrylic light guide plate, a lamp, a lamp reflecting plate, etc.).

本実施例では、操作部20の操作表面(パネル面)には、図4に示すように、操作ガイド部30が設けられる。操作ガイド部30は、手の触覚(感触)で認識可能な凹部又は凸部を操作表面に形成することで実現される。操作ガイド部30は、操作表面を提供する透明タッチパネル22の表面部材(例えばフィルム基板22d)と一体に形成されてもよいし、別体として透明タッチパネル22の表面部材に接着等されてもよい。   In the present embodiment, an operation guide portion 30 is provided on the operation surface (panel surface) of the operation portion 20 as shown in FIG. The operation guide part 30 is implement | achieved by forming the recessed part or convex part which can be recognized by the tactile sense (feel) of a hand in an operation surface. The operation guide unit 30 may be formed integrally with the surface member (for example, the film substrate 22d) of the transparent touch panel 22 that provides the operation surface, or may be bonded to the surface member of the transparent touch panel 22 as a separate body.

図5に示す例では、操作ガイド部30は、凸部で形成されており、平面視で、操作部20の操作表面内で線状に延び、操作部20の操作領域を分割する。図4に示す例では、操作ガイド部30は、平面視で操作部20の縦方向及び横方向に延びて操作部20の略中央部で交わる十文字状である。即ち、操作ガイド部30は、操作部20の操作表面における操作領域を4分割している。これにより、ユーザは、操作ガイド部30に触れる手の感覚、即ち触覚により、現在自分の手(指先)が、操作部20における操作ガイド部30に仕切られたどの操作領域(本例では、4分割された4象限の領域の何れの領域)にあるかを容易に把握することができる。   In the example illustrated in FIG. 5, the operation guide portion 30 is formed as a convex portion, extends linearly within the operation surface of the operation portion 20 in a plan view, and divides the operation area of the operation portion 20. In the example illustrated in FIG. 4, the operation guide unit 30 has a cross shape extending in the vertical direction and the horizontal direction of the operation unit 20 in a plan view and intersecting at a substantially central portion of the operation unit 20. That is, the operation guide unit 30 divides the operation region on the operation surface of the operation unit 20 into four. As a result, the user can determine which operation region (in this example, 4 in this example) the user's hand (fingertip) is partitioned by the operation guide unit 30 in the operation unit 20 based on the sense of the hand touching the operation guide unit 30, i. It is possible to easily grasp which area of the four quadrants is divided.

表示部40は、液晶ディスプレイ等で構成され、ユーザが見やすい位置、好ましくは、運転者が運転中の視野を大きく変えることなく見ることができるような位置に配置される。例えば、表示部40は、図1に示すように、インストルメントパネル上面の中央部に配置されてよいし、また、メーター内に配置されてもよい。   The display unit 40 is configured by a liquid crystal display or the like, and is disposed at a position where the user can easily see, preferably at a position where the driver can see without greatly changing the visual field during driving. For example, as shown in FIG. 1, the display part 40 may be arrange | positioned in the center part of the instrument panel upper surface, and may be arrange | positioned in a meter.

表示部40で表示される画像出力ないし映像出力は、表示制御装置70(図3参照)により制御される。表示制御装置70は、例えばナビゲーション装置の一部(描画プロセッサを含む)であってよく、この場合、表示部40に対して、後述の操作メニュー画像の他、地図画像等が供給され表示される。   Image output or video output displayed on the display unit 40 is controlled by the display control device 70 (see FIG. 3). The display control device 70 may be, for example, a part of a navigation device (including a drawing processor). In this case, a map image or the like is supplied and displayed on the display unit 40 in addition to an operation menu image described later. .

図6は、操作メニュー画像の一例を示す図である。表示部40には、表示制御装置70による制御下で、図6に示すように、操作部20に対するユーザの操作を支援する操作メニュー画像が表示される。操作メニュー画像は、操作部20における操作スイッチの配置位置及びその機能を表す。操作メニュー画像は、操作部20に対する操作で実現される各種機能を、ユーザに知らせると共に、当該各種機能を実現するために操作されるべき各操作スイッチの位置を、ユーザに知らせる役割を果たす。   FIG. 6 is a diagram illustrating an example of the operation menu image. As shown in FIG. 6, an operation menu image that supports user operations on the operation unit 20 is displayed on the display unit 40 under the control of the display control device 70. The operation menu image represents the position of the operation switch in the operation unit 20 and its function. The operation menu image serves to notify the user of various functions implemented by operating the operation unit 20 and to inform the user of the position of each operation switch to be operated to implement the various functions.

図6に示す例では、操作メニュー画像は、操作部20における8つの操作スイッチを模した図形画像F1〜F8を含む。操作メニュー画像内における図形画像F1〜F8のサイズ及び位置は、操作部20における対応する操作スイッチの操作領域のサイズ及び位置に対応する。この表示部40を見るユーザは、操作部20において操作スイッチが前後2列に配列されていることを知ると共に、各図形画像F1〜F8内の文字を見ることで、各操作スイッチを操作して実現できる機能を知ることができる。例えば、ユーザがメールをしたいと思った場合、ユーザは、“メール”
の文字を含む図形画像F3に対応する位置にある操作スイッチ、即ち、操作部20における前列の左から3番目の操作スイッチを押せばよいことを理解することができる。また、ユーザが目的地の設定をしたいと思った場合、ユーザは、“目的地”
の文字を含む図形画像F1に対応する位置にある操作スイッチ、即ち、操作部20における前列の左から1番目の操作スイッチを押せばよいことを理解することができる。
In the example illustrated in FIG. 6, the operation menu image includes graphic images F <b> 1 to F <b> 8 simulating eight operation switches in the operation unit 20. The size and position of the graphic images F1 to F8 in the operation menu image correspond to the size and position of the operation area of the corresponding operation switch in the operation unit 20. The user who views the display unit 40 knows that the operation switches are arranged in two rows in the operation unit 20 and operates the operation switches by looking at the characters in the graphic images F1 to F8. You can know the functions that can be realized. For example, if a user wants to email, the user can enter “email”
It can be understood that the operation switch located at the position corresponding to the graphic image F3 including the character, that is, the third operation switch from the left in the front row of the operation unit 20 may be pressed. If the user wants to set a destination, the user
It can be understood that the operation switch at the position corresponding to the graphic image F1 including the character, that is, the first operation switch from the left in the front row in the operation unit 20 may be pressed.

操作メニュー画像は、各種用意されてよく、操作部20における操作状況等に応じて、適宜切り替えられてよい。この場合、当該操作メニュー画像の切り替えに応じて、操作部20における操作スイッチの配置位置及びその機能が変更される。かかる構成では、操作部20において多くの車載機器の操作スイッチを実現することができ、操作スイッチの効率的な集約を図ることができる。例えば、操作部20には、図6には示していないが、メールや電話、周辺施設案内等の情報通信系の車載機器の操作のみならず、空調装置、オーディオ装置の各種操作のための各種操作スイッチが実現されてよい。   Various operation menu images may be prepared, and may be switched as appropriate in accordance with an operation state in the operation unit 20 or the like. In this case, the position and function of the operation switch in the operation unit 20 are changed in accordance with the switching of the operation menu image. With this configuration, operation switches for many in-vehicle devices can be realized in the operation unit 20, and the operation switches can be efficiently integrated. For example, although not shown in FIG. 6, the operation unit 20 includes various operations for various operations of the air conditioner and the audio device as well as the operation of the information communication system in-vehicle equipment such as e-mail, telephone, and peripheral facility guidance. An operation switch may be realized.

カメラ50(撮像手段)は、例えばCCDやCMOSを撮像素子とする小型カラーカメラであり、操作部20(及びそれを操作するユーザの手)を俯瞰できるように配置される。即ち、カメラ50は、操作部20全体を捕捉するように操作部20との位置・角度関係や焦点等が決定される。従って、カメラ50によって撮影された画像(以下、「カメラ画像」)の略全体に、操作部20の全体の画像が含まれる。   The camera 50 (imaging means) is a small color camera having, for example, a CCD or CMOS as an image sensor, and is arranged so that the operation unit 20 (and the user's hand operating it) can be looked down on. That is, the camera 50 determines the position / angle relationship, the focal point, and the like with the operation unit 20 so as to capture the entire operation unit 20. Accordingly, the entire image of the operation unit 20 is included in substantially the entire image photographed by the camera 50 (hereinafter “camera image”).

図7(A)に示すように、操作部20を操作するためユーザの手がカメラ50の撮像エリアに入ると、図7(B)に示すように、カメラ画像に手の画像が含まれることになる。この手の画像を含むカメラ画像は、手画像合成回路72(図3参照)に供給される。手画像合成回路72では、手の画像(以下、「手画像」という)がカメラ画像から抽出される。手画像の抽出及び合成には、カメラ画像に含まれる手以外の部分(操作部20)と手の色度(彩度)差ないしコントラスト差を利用して実現されてよい。   As shown in FIG. 7A, when the user's hand enters the imaging area of the camera 50 to operate the operation unit 20, the camera image includes a hand image as shown in FIG. 7B. become. The camera image including the hand image is supplied to the hand image synthesis circuit 72 (see FIG. 3). The hand image composition circuit 72 extracts a hand image (hereinafter referred to as “hand image”) from the camera image. The extraction and synthesis of the hand image may be realized by using a part other than the hand (the operation unit 20) included in the camera image and a chromaticity (saturation) difference or contrast difference of the hand.

また、本実施例では、上述の如く、操作部20に操作ガイド部30が設けられているので、カメラ画像には、図7(B)に示すように、操作ガイド部30の画像(以下、「操作ガイド画像」という)が含まれることになる。手画像合成回路72では、上述の手画像と同様、操作ガイド画像がカメラ画像から抽出される。即ち、カメラ画像から、手と操作ガイド部30以外の画像領域が切り取られ、手画像と共に操作ガイド画像が抽出される。操作ガイド画像の抽出は、手画像の場合と同様、カメラ画像に含まれる手以外の部分(操作部20)と操作ガイド部30の色度(彩度)差ないしコントラスト差を利用して実現されてよい。   In the present embodiment, as described above, since the operation guide unit 30 is provided in the operation unit 20, as shown in FIG. 7B, the camera image includes an image of the operation guide unit 30 (hereinafter referred to as “the operation guide unit 30”). "Operation guide image") is included. In the hand image synthesis circuit 72, the operation guide image is extracted from the camera image as in the above-described hand image. That is, an image area other than the hand and the operation guide unit 30 is cut out from the camera image, and the operation guide image is extracted together with the hand image. The extraction of the operation guide image is realized by using a chromaticity (saturation) difference or a contrast difference between the operation guide unit 30 and the part (operation unit 20) other than the hand included in the camera image, as in the case of the hand image. It's okay.

操作ガイド画像及び手画像の抽出方法としては、好ましくは、それ自体広く知られているクロマキー合成技術が用いられる。これは、特定の色(キーカラー)を背景に画像を撮影しておき、そのキーカラーに別な画像を重ねることで合成を行なう技術である。キーカラーとして一般的に用いられている色は、青である。それは、人間の肌色と最も対極にあるのが青色なため、人間の手を抜き出す処理には適しているためである。尚、操作ガイド画像及び手画像の抽出方法の抽出方法としては、例えば、ルミナンス合成技術(画像の輝度とコントラストの情報を含むルミナンス信号(Luminance)のうちのある輝度信号を指定してその信号以下または以上のみを抜く方法)等があるが、以下では、主にクロマキー合成技術が用いられる場合について説明していく。この場合、操作ガイド部30を除く操作部20の全領域は、キーカラー(例えば青色)に構成(例えば着色又は発光)され、操作ガイド部30は、肌色及びキーカラー以外の色に構成される。従って、手画像合成回路72では、カメラ画像においてクロマキーで青色部分が抜き取られることで、残りの手画像と操作ガイド画像だけが得られる。   As a method for extracting the operation guide image and the hand image, a chroma key composition technique that is widely known per se is preferably used. This is a technique in which an image is shot against a background of a specific color (key color), and another image is superimposed on the key color for composition. A color generally used as a key color is blue. This is because blue is the most opposite to human skin color and is suitable for processing to extract human hands. The extraction method of the operation guide image and the hand image extraction method is, for example, luminance synthesis technology (designating a luminance signal of luminance signal (Luminance including luminance and contrast information of the image) and the signal below that. In the following, the case where the chroma key composition technique is mainly used will be described. In this case, the entire region of the operation unit 20 excluding the operation guide unit 30 is configured in a key color (for example, blue) (for example, coloring or light emission), and the operation guide unit 30 is configured in a color other than the skin color and the key color. . Therefore, in the hand image composition circuit 72, only the remaining hand image and the operation guide image are obtained by extracting the blue portion from the camera image with the chroma key.

このようにして抽出された手画像及び操作ガイド画像は、手画像合成回路72で、表示制御装置70から供給される操作メニュー画像に合成される。即ち、手画像及び操作ガイド画像が、背景画像として用意されている操作メニュー画像(図6参照)と合成される。かくして合成された画像は、表示部40に供給され、表示される。以下、このようにして表示部40に表示される、手画像及び操作ガイド画像を含む操作メニュー画像を、単に「合成画像」という。   The hand image and the operation guide image extracted in this way are combined with the operation menu image supplied from the display control device 70 by the hand image combining circuit 72. That is, the hand image and the operation guide image are combined with the operation menu image (see FIG. 6) prepared as the background image. The image thus synthesized is supplied to the display unit 40 and displayed. Hereinafter, the operation menu image including the hand image and the operation guide image displayed on the display unit 40 in this manner is simply referred to as a “composite image”.

尚、手画像合成回路72では、上述の如く抽出した手画像は、好ましくは、そのまま(加工無しで)合成されるのではなく、手を抽象的ないし擬似的に表す抽象画像に変換してから合成される。この場合、手の抽象画像は、カメラ画像から抽出される手画像の手の輪郭線に基づいて生成される。手の抽象画像は、例えば、輪郭線内部を切り取り、輪郭線内部に半透過色を付与しつつ、輪郭線が比較的太い線ないし強い輝度で強調されるように、生成されてよい(図8参照)。これにより、このように手の輪郭線の内部の領域を手画像として用いないことで、昼夜で異なる周囲光の影響を受け難い安定した手画像を提供することができると共に、手の大部分をリアルに表示することによる上述の如くユーザが受けうる生理的な違和感を防止することができる。   In the hand image synthesis circuit 72, the hand image extracted as described above is preferably not synthesized as it is (without processing), but after being converted into an abstract image representing the hand as an abstract or pseudo. Synthesized. In this case, the hand abstract image is generated based on the hand outline of the hand image extracted from the camera image. An abstract image of a hand may be generated, for example, so that the outline is emphasized with a relatively thick line or strong luminance while cutting the inside of the outline and giving a translucent color to the inside of the outline (FIG. 8). reference). Thus, by not using the region inside the contour of the hand as a hand image in this way, it is possible to provide a stable hand image that is not easily affected by ambient light that is different day and night, and most of the hand It is possible to prevent a physiological discomfort that can be received by the user as described above due to real display.

図8は、上述のようにして得られる合成画像を示す。手画像の合成位置、即ち操作メニュー画像のどの位置に合成するかは、操作部20における実際の手の位置と各操作スイッチの位置との相対位置関係が、表示部40(合成画像)における手画像の手の位置と各図形画像F1〜F8との相対位置関係によって正確に再現されるように決定される。尚、この合成位置は、カメラ画像における座標系と操作メニュー画像における座標系との相対関係(座標変換式)に基づいて演算されてよい。この際、カメラ50の搭載位置の誤差等が適切に補正されてよい。尚、操作ガイド画像については、手画像の合成位置と対応する関係で決定されてよい(例えば同一の座標変換式を用いて合成してよい)。   FIG. 8 shows a composite image obtained as described above. The combination position of the hand image, that is, the position in the operation menu image, is determined by the relative positional relationship between the actual hand position on the operation unit 20 and the position of each operation switch. It is determined so as to be accurately reproduced by the relative positional relationship between the position of the hand of the image and each of the graphic images F1 to F8. This composite position may be calculated based on the relative relationship (coordinate conversion formula) between the coordinate system in the camera image and the coordinate system in the operation menu image. At this time, an error or the like of the mounting position of the camera 50 may be appropriately corrected. Note that the operation guide image may be determined based on a relationship corresponding to the position where the hand image is combined (for example, it may be combined using the same coordinate conversion formula).

図8に示す例では、手画像の手が図形画像F3を操作する位置に示されている。この場合、ユーザは、現在の手の位置でスイッチ操作を行うと、図形画像F3に対応するスイッチの機能、即ちメール機能が実現されることを知ることができる。このように、ユーザは、操作部20を直視しなくても、表示部40を見ながら操作部20における所望の操作スイッチを操作することができる。従って、ユーザが運転者の場合は、特に運転姿勢や視線を大きく変えることなく、視野前方の表示部40を見ながら手元付近にある操作部20でスイッチ操作(いわゆるブラインドタッチ操作)を行うことが可能となり、運転に支障の出ない安全なスイッチ操作を実現することができる。   In the example shown in FIG. 8, the hand of the hand image is shown at a position where the figure image F3 is operated. In this case, when the user performs the switch operation at the current hand position, the user can know that the function of the switch corresponding to the graphic image F3, that is, the mail function is realized. In this way, the user can operate a desired operation switch in the operation unit 20 while looking at the display unit 40 without directly viewing the operation unit 20. Therefore, when the user is a driver, a switch operation (so-called blind touch operation) can be performed with the operation unit 20 near the hand while looking at the display unit 40 in front of the field of view without greatly changing the driving posture or line of sight. Therefore, it is possible to realize a safe switch operation that does not interfere with driving.

ところで、本実施例では、上述の如く、手画像が操作メニュー画像に重畳表示されるので、ユーザは、自己の手の位置と、操作部20における所望の操作スイッチとの位置関係を把握し易くなる。しかしながら、実際には、操作メニュー画像上に手画像を重畳表示するだけでは、所望の操作スイッチと指先の位置関係が直感的に把握し難いという問題がある。これは、操作部20における実際の手の前後方向の動きが、表示部40における手画像の上下方向の動きとして変換されるという人の感覚的なズレが1つの要因である。また、この種の問題は、多数の操作スイッチがより高い密度に配置される場合に顕著となりうる。   By the way, in the present embodiment, as described above, the hand image is superimposed and displayed on the operation menu image, so that the user can easily grasp the positional relationship between the position of his / her hand and the desired operation switch in the operation unit 20. Become. However, in practice, there is a problem that it is difficult to intuitively grasp the positional relationship between a desired operation switch and a fingertip simply by superimposing and displaying a hand image on the operation menu image. This is due to a human sensory shift in which the actual back-and-forth movement of the hand in the operation unit 20 is converted into the vertical movement of the hand image in the display unit 40. Also, this type of problem can be prominent when a large number of operation switches are arranged at a higher density.

これに対して、本実施例では、図8に示すように、操作メニュー画像に、手画像に加えて、操作ガイド画像が表示されるので、ユーザは、操作部20の操作領域全体における自己の指先の位置の属する領域を容易に把握できるようになる。例えば、図8に示す例では、ユーザは、操作部20の4つに区切られた操作領域のうちの第1象限に相当する領域(又は第1象限の中心付近)に、自己の指先の位置が存在することを一目で把握することができる。このため、例えば目的地の設定をしたいユーザは、第1象限から、“目的地”の文字を含む図形画像F1のある第2象限へと、自己の手を大きく直感的に動かすことができる。   On the other hand, in this embodiment, as shown in FIG. 8, the operation guide image is displayed in addition to the hand image on the operation menu image. The region to which the fingertip position belongs can be easily grasped. For example, in the example illustrated in FIG. 8, the user places the position of his / her fingertip in an area corresponding to the first quadrant (or near the center of the first quadrant) among the four operation areas of the operation unit 20. Can be seen at a glance. For this reason, for example, the user who wants to set the destination can move his / her hand greatly intuitively from the first quadrant to the second quadrant having the graphic image F1 including the characters “destination”.

このように本実施例によれば、操作ガイド画像を手画像に加えて表示することで、ユーザは、操作ガイド画像を頼りにして、目標の操作スイッチに対して自己の手をどの方向にどの程度動かせばよいかを直感的に把握できるので、操作部20における操作性を更に高めることができる。   As described above, according to the present embodiment, by displaying the operation guide image in addition to the hand image, the user can rely on the operation guide image and in which direction his / her hand with respect to the target operation switch. Since it can be grasped intuitively whether it should move to some extent, the operativity in the operation part 20 can further be improved.

また、本実施例では、上述の如く、操作ガイド画像は、操作部20に設けられた操作ガイド部30に対応している。このため、ユーザは、操作ガイド部30に自己の指先が触れるときの触覚と、表示部40上の操作ガイド画像に対する視覚とを相乗的に用いて、操作部20の操作領域全体における自己の指先の位置の属する領域を、より一層知覚しやすくなる。   In the present embodiment, as described above, the operation guide image corresponds to the operation guide unit 30 provided in the operation unit 20. For this reason, the user synergistically uses the tactile sensation when the user's fingertip touches the operation guide unit 30 and the visual perception of the operation guide image on the display unit 40, so It becomes easier to perceive the area to which the position belongs.

また、本実施例では、上述の如く、操作ガイド画像は、手画像を抽出する際にカメラ画像から抽出することができる。このため、本実施例は、手画像だけを重畳表示する従来的な構成に対して、操作部20に、周囲領域と色等の異なる操作ガイド部30を設けるだけで、画像処理方法を大きく変更することなく実現することができる。但し、操作ガイド画像は、上述の操作メニュー画像と同様に、予め背景画像として用意することも可能である。この場合、操作ガイド部30は、操作部20における周囲領域に対してコントラスト差ないし色度差を有する必要はない。   In the present embodiment, as described above, the operation guide image can be extracted from the camera image when the hand image is extracted. For this reason, this embodiment greatly changes the image processing method by providing the operation unit 20 with an operation guide unit 30 having a color different from that of the surrounding region, compared to the conventional configuration in which only the hand image is superimposed and displayed. It can be realized without doing. However, the operation guide image can also be prepared in advance as a background image in the same manner as the operation menu image described above. In this case, the operation guide unit 30 does not need to have a contrast difference or a chromaticity difference with respect to the surrounding area in the operation unit 20.

尚、本実施例において、操作部20は、上述の如く、その操作時にユーザにより直視されないものであるため、操作部20には、手画像及び操作ガイド画像を抽出しやすいような構成が求められる。即ち、上述の如く手画像は、カメラ画像(図7参照)において、手と操作ガイド部30以外の部分の画像(操作ガイド部30を除く操作部20の画像)とのコントラスト差ないし色度差を頼りにして抽出されるため、かかるコントラスト差ないし色度差が大きくなるような輝度ないし色度を画像中に提供できる操作部20が有用である。従って、例えば手画像合成回路72においてクロマキー合成技術が用いられる場合には、単なる着色だけでもよいが、好ましくは、LED等の発光手段24(図3参照)を用いて操作部20をキーカラーで発光させる。この場合、操作ガイド部30を光透過率の低い材料等により形成することで、操作ガイド部30の部分だけ発光手段24の光が遮断されるように構成してもよい。これにより、太陽光が操作部20に入射した場合にも、手画像及び操作ガイド画像を確実に抽出することができる。   In the present embodiment, since the operation unit 20 is not directly viewed by the user during the operation as described above, the operation unit 20 is required to be configured to easily extract the hand image and the operation guide image. . That is, as described above, the hand image is a contrast difference or chromaticity difference between the hand and the image of the portion other than the operation guide unit 30 (image of the operation unit 20 excluding the operation guide unit 30) in the camera image (see FIG. 7). Therefore, the operation unit 20 that can provide brightness or chromaticity in an image that increases the contrast difference or chromaticity difference is useful. Therefore, for example, when the chroma key composition technique is used in the hand image composition circuit 72, simple coloration may be used, but preferably, the operation unit 20 is displayed in a key color using the light emitting means 24 (see FIG. 3) such as an LED. Make it emit light. In this case, the operation guide portion 30 may be formed of a material having a low light transmittance so that light from the light emitting unit 24 is blocked only by the operation guide portion 30. Thereby, even when sunlight enters the operation unit 20, the hand image and the operation guide image can be reliably extracted.

また、本実施例において、操作ガイド画像は、操作メニュー画像に重畳表示されるものであるため、ユーザによる操作がないときには、操作ガイド画像は、ユーザによる操作メニュー画像の視認の邪魔にならないことが有用である。このため、好ましくは、手画像合成回路72は、操作部20に対するユーザの手の接近又は接触を感知したときに、動作可能な状態(即ちカメラ画像に基づいて合成画像を生成・出力する状態)となる。操作部20に対するユーザの手の接近又は接触は、好ましくは、操作部の周辺に設けられる接近/接触感知手段80(図1、図2、図3参照)により検知される。接近/接触感知手段80は、操作部20における検知態様と同様、接触電流、静電容量、赤外線測距等の方法で感知するものであってもよい。接近/接触感知手段80は、好ましくは、操作部20を操作する時に手が載置される操作部周辺部(即ち操作する手の手首周辺を支持する部位)、即ち操作部20の手前の部分に設けられる。また、上述の如く発光手段24を用いる構成では、発光制御部74(図3参照)は、操作部20に対するユーザの手の接近又は接触を感知したときに、発光手段24を発光させることとしてよい。また、同様に、操作ガイド画像を予め背景画像として用意する構成では、手画像合成回路72は、操作部20に対するユーザの手の接近又は接触を感知したときに、予め用意した操作ガイド画像を重畳表示すればよい。   In this embodiment, since the operation guide image is superimposed on the operation menu image, the operation guide image may not interfere with the user's viewing of the operation menu image when there is no operation by the user. Useful. For this reason, preferably, the hand image composition circuit 72 is operable when detecting the approach or contact of the user's hand to the operation unit 20 (ie, a state in which a composite image is generated and output based on the camera image). It becomes. The approach or contact of the user's hand to the operation unit 20 is preferably detected by an approach / contact sensing means 80 (see FIGS. 1, 2 and 3) provided around the operation unit. The approach / contact sensing means 80 may be sensed by a method such as contact current, capacitance, infrared distance measurement, etc., as in the detection mode of the operation unit 20. The approach / contact sensing means 80 is preferably a peripheral part of the operating part (that is, a part that supports the periphery of the wrist of the operating hand) where the hand is placed when operating the operating part 20, that is, a part in front of the operating part 20. Provided. Further, in the configuration using the light emitting means 24 as described above, the light emission control unit 74 (see FIG. 3) may cause the light emitting means 24 to emit light when detecting the approach or contact of the user's hand to the operation unit 20. . Similarly, in the configuration in which the operation guide image is prepared in advance as a background image, the hand image synthesis circuit 72 superimposes the operation guide image prepared in advance when detecting the approach or contact of the user's hand to the operation unit 20. Show it.

図9は、操作ガイド部30のその他の実施例を示す図である。操作ガイド部30の構成は多種多様でありうる。例えば、図9(A)に示すように、操作部20の操作領域をより細かく分割することも可能である。即ち、操作ガイド部30は、井桁状に形成してもよい。また、操作ガイド部30は、必ずしも操作部20の操作領域を完全に横断する必要はなく、操作部20の操作領域の周縁部には設けなくてもよい。また、図9(A)に示すように、操作ガイド部30は、十字状に形成され、操作領域における略中央領域(十字の中心領域)が円形であってもよい。更に、図9(B)に示すように、操作ガイド部30は、指先の感覚で認識可能な十分な大きさを有する点(本例では各象限の中心付近に4点)で配置されてもよい。また、操作ガイド部30は、必ずしも凸状である必要はなく、凹状であってもよい。尚、いずれの場合であっても、操作ガイド画像は、操作ガイド部30の形状に実質的に対応するように形成される。   FIG. 9 is a diagram illustrating another example of the operation guide unit 30. The configuration of the operation guide unit 30 can vary widely. For example, as shown in FIG. 9A, the operation area of the operation unit 20 can be divided more finely. That is, the operation guide part 30 may be formed in a cross beam shape. Further, the operation guide unit 30 does not necessarily need to completely traverse the operation region of the operation unit 20, and may not be provided at the peripheral portion of the operation region of the operation unit 20. Further, as shown in FIG. 9A, the operation guide portion 30 may be formed in a cross shape, and a substantially central region (central region of the cross) in the operation region may be circular. Further, as shown in FIG. 9B, the operation guide unit 30 may be arranged at points having sufficient size that can be recognized by the fingertip sense (in this example, four points near the center of each quadrant). Good. Moreover, the operation guide part 30 does not necessarily need to be convex, and may be concave. In any case, the operation guide image is formed so as to substantially correspond to the shape of the operation guide portion 30.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施例では、操作ガイド部30の画像を抽出してそのまま操作ガイド画像として用いているが、手画像と同様、抽出した操作ガイド画像に加工を施してから合成することも可能である。また、操作ガイド部30の特徴部分だけを抽出して、抽出した特徴部分の位置情報に基づいて、操作ガイド画像を生成することも可能である。   For example, in the above-described embodiment, the image of the operation guide unit 30 is extracted and used as it is as the operation guide image. However, as with the hand image, the extracted operation guide image can be processed and then combined. is there. It is also possible to extract only the feature portion of the operation guide unit 30 and generate an operation guide image based on the extracted position information of the feature portion.

また、例えば図10及び図11に示すように、操作部20は、インストルメントパネルに形成された凹部内ないし窪み内(以下、「凹空間90」という)に配置されてもよい。凹空間90の入口は、ユーザが凹空間90内に手を入れて操作することができるように、適切な大きさの開口を有する。これにより、ユーザは、凹空間90の凹部を頼りに手探りで操作部20の位置を探し、操作部20を操作することができる。この場合、カメラ50は、図10及び図11に示すように、凹空間90内に配設され、操作部20に対向して配置される。即ち、カメラ50は、凹空間90を構成する庇部94に下向きに設置される。これにより、カメラ50のレンズに対する太陽光の直接的な入射、及び、操作部20での反射を介した入射が防止されるので、ハレーションを防止することができる。   For example, as illustrated in FIGS. 10 and 11, the operation unit 20 may be disposed in a recess or a recess (hereinafter, referred to as a “concave space 90”) formed in the instrument panel. The entrance of the recessed space 90 has an appropriately sized opening so that the user can operate the recessed space 90 by placing his / her hand. As a result, the user can search the position of the operation unit 20 by hand and rely on the concave portion of the concave space 90 to operate the operation unit 20. In this case, as shown in FIGS. 10 and 11, the camera 50 is disposed in the concave space 90 and is disposed to face the operation unit 20. That is, the camera 50 is installed downward on the flange portion 94 that constitutes the recessed space 90. Thereby, since direct incidence of sunlight on the lens of the camera 50 and incidence via reflection at the operation unit 20 are prevented, halation can be prevented.

また、例えば図12及び図13に示すように、操作部20は、センターコンソール部に形成された凹空間90に配置されてもよい。図12及び図13に示す例では、センターコンソール部には、側壁部92及び庇部94が立設され、それらの部位により囲繞される凹空間90が形成され、その内部に操作部20が配設されている。これにより、操作部20への太陽光の入射量が低減されるので、同様に、上述の如く太陽光の影響を受けない同一のカメラ画像を安定して得ることができる。この場合、カメラ50は、凹空間90内の操作部20の近傍に配置され(本例では操作部20の奥側)、操作部20に対向する庇部94にミラー52が配置される。ミラー52は、全反射型の平面鏡又は微凸面鏡である。この場合、カメラ50及びミラー52は、カメラ50がミラー52を介して操作部20(及びそれを操作するユーザの手)を俯瞰できるような関係で、配置される。これにより、限られた凹空間90内においても必要な光路長を確保することができる。また、ミラー52を用いることで、カメラ50の配置の自由度を高めることができる。   For example, as illustrated in FIGS. 12 and 13, the operation unit 20 may be disposed in a recessed space 90 formed in the center console unit. In the example shown in FIGS. 12 and 13, the center console portion is provided with a side wall portion 92 and a flange portion 94, and a concave space 90 surrounded by these portions is formed, and the operation portion 20 is disposed therein. It is installed. Thereby, since the amount of sunlight incident on the operation unit 20 is reduced, similarly, the same camera image that is not affected by sunlight as described above can be stably obtained. In this case, the camera 50 is arranged in the vicinity of the operation unit 20 in the concave space 90 (in this example, the back side of the operation unit 20), and the mirror 52 is arranged on the flange 94 facing the operation unit 20. The mirror 52 is a total reflection type plane mirror or a micro-convex mirror. In this case, the camera 50 and the mirror 52 are arranged in such a relationship that the camera 50 can overlook the operation unit 20 (and the user's hand operating it) via the mirror 52. Thereby, a required optical path length can be ensured even in the limited concave space 90. Further, by using the mirror 52, the degree of freedom of the arrangement of the camera 50 can be increased.

また、操作部20にキーカラーに対応した夜行性塗料を塗布して、夜間のみ発光手段24の発光を無くす又は発行輝度を低減することも可能である。また、キーカラーに対応した蛍光アクリル材を用いて太陽光入射時には太陽光による励起光を利用して明るさを補ってもよい。   It is also possible to apply a nocturnal paint corresponding to the key color to the operation unit 20 to eliminate the light emission of the light emitting means 24 only at night or to reduce the issue luminance. In addition, the fluorescent acrylic material corresponding to the key color may be used to compensate for brightness by using excitation light from sunlight when sunlight is incident.

20 操作部
22 透明タッチパネル
24 発光手段
30 操作ガイド部
40 表示部
50 カメラ
72 手画像合成回路
74 発光制御部
80 接近/接触感知手段
90 凹空間
92 側壁部
94 庇部
DESCRIPTION OF SYMBOLS 20 Operation part 22 Transparent touch panel 24 Light emission means 30 Operation guide part 40 Display part 50 Camera 72 Hand image composition circuit 74 Light emission control part 80 Approach / contact detection means 90 Recessed space 92 Side wall part 94 Gutter part

Claims (2)

操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置及びその機能を表す操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置し、
前記操作部を操作するユーザの手を該操作部と共に撮影する撮像手段と、
前記表示部に、前記撮影した手の画像を前記操作メニュー画像に合成して表示する合成表示手段と、を備える車載遠隔操作装置において、
前記操作部は、ユーザが前記操作部の操作領域全体における自己の指先の位置の属する領域を知覚しやすくなるように設けられた凹状又は凸状の操作ガイド部を含み、
前記合成表示手段は、前記表示部に、前記手の画像に加えて、ユーザが前記操作部の全体領域における自己の指先の位置の属する領域を容易に把握できるような操作ガイド画像であって、前記操作ガイド部の形状に対応した操作ガイド画像を、前記操作メニュー画像に合成して表示し、
前記操作ガイド画像は、前記操作部に対するユーザの手の接近又は接触を感知したときに表示されることを特徴とする、車載遠隔操作装置。
An operation unit in which an operation switch is arranged, and a display unit that displays an operation menu image representing the position and function of the operation switch in the operation unit are separately arranged at physically separated positions in the vehicle interior,
Imaging means for photographing a user's hand operating the operation unit together with the operation unit;
In the vehicle-mounted remote control device, comprising: on the display unit, combined display means for combining the captured hand image with the operation menu image for display.
The operation unit includes a concave or convex operation guide unit provided so that a user can easily perceive a region to which the position of his / her fingertip belongs in the entire operation region of the operation unit,
The composite display means is an operation guide image that allows the user to easily grasp the region to which the position of his / her fingertip belongs in the entire region of the operation unit in addition to the image of the hand on the display unit , An operation guide image corresponding to the shape of the operation guide portion is combined with the operation menu image and displayed,
The vehicle-mounted remote control device, wherein the operation guide image is displayed when the user's hand approaches or touches the operation unit.
ユーザによる操作部の操作がないときには、前記表示部に前記操作メニュー画像が表示されて前記操作ガイド画像は表示されず、前記操作ガイド画像は、前記操作部に対するユーザの手の接近又は接触を感知したときに初めて表示されることを特徴とする、請求項1に記載の車載遠隔操作装置。 When there is no operation of the operation section by the user, the display unit in the operation menu image image displayed by the operation guide image is not displayed, the operation guide image, an approach or contact of a user's hand with respect to the operating unit The in-vehicle remote control device according to claim 1, wherein the remote control device is displayed for the first time when it is sensed.
JP2010249072A 2010-11-05 2010-11-05 In-vehicle remote control device Expired - Fee Related JP5240277B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010249072A JP5240277B2 (en) 2010-11-05 2010-11-05 In-vehicle remote control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010249072A JP5240277B2 (en) 2010-11-05 2010-11-05 In-vehicle remote control device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005346639A Division JP4747810B2 (en) 2005-11-30 2005-11-30 In-vehicle remote control device

Publications (2)

Publication Number Publication Date
JP2011031886A JP2011031886A (en) 2011-02-17
JP5240277B2 true JP5240277B2 (en) 2013-07-17

Family

ID=43761362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010249072A Expired - Fee Related JP5240277B2 (en) 2010-11-05 2010-11-05 In-vehicle remote control device

Country Status (1)

Country Link
JP (1) JP5240277B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011138775A1 (en) 2010-05-04 2011-11-10 Timocco Ltd. System and method for tracking and mapping an object to a target
JP6035828B2 (en) * 2012-04-12 2016-11-30 株式会社デンソー Display operation device and display system
US10203799B2 (en) 2015-09-15 2019-02-12 Hyundai Motor Company Touch input device, vehicle comprising touch input device, and manufacturing method of touch input device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09109802A (en) * 1995-10-18 1997-04-28 Yazaki Corp Operating device for automobile
JPH10269012A (en) * 1997-03-28 1998-10-09 Yazaki Corp Touch panel controller and information display device using the same
JP2000355256A (en) * 1999-06-11 2000-12-26 Alpine Electronics Inc Operation device for on-board electronic equipment
JP4769397B2 (en) * 2001-09-28 2011-09-07 クラリオン株式会社 In-vehicle information equipment
JP2005216110A (en) * 2004-01-30 2005-08-11 Nissan Motor Co Ltd Information control apparatus

Also Published As

Publication number Publication date
JP2011031886A (en) 2011-02-17

Similar Documents

Publication Publication Date Title
JP4747810B2 (en) In-vehicle remote control device
JP4389855B2 (en) Vehicle control device
JP4356763B2 (en) Operating device
ES2702972T3 (en) Method for operating a handling device and handling device
US8085243B2 (en) Input device and its method
JP3979002B2 (en) Computer user interface system and user interface providing method
JP5082911B2 (en) Display device
US20080197996A1 (en) Operating device
KR100983622B1 (en) Input apparatus and imaging apparatus
JP5086560B2 (en) Input device
JP6331567B2 (en) Display input device for vehicle
JP2008158675A (en) Operation device for vehicle
WO2006013783A1 (en) Input device
JP2007237986A (en) Vehicular input device
JP2007055430A (en) Display device for vehicle
JP5240277B2 (en) In-vehicle remote control device
US20200225734A1 (en) Display apparatus and method of indicating level of immersion using visual indicator
JP2007156950A (en) Vehicle operating device
JP2008102449A (en) Display device
JP2008116566A (en) Display device
JP2007062668A (en) Input device for vehicle
US20170285765A1 (en) Input apparatus, input method, and computer program
WO2018230526A1 (en) Input system and input method
JP2018100870A (en) Display unit for vehicle
JP4609261B2 (en) Operating device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5240277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees