JP5240277B2 - In-vehicle remote control device - Google Patents
In-vehicle remote control device Download PDFInfo
- Publication number
- JP5240277B2 JP5240277B2 JP2010249072A JP2010249072A JP5240277B2 JP 5240277 B2 JP5240277 B2 JP 5240277B2 JP 2010249072 A JP2010249072 A JP 2010249072A JP 2010249072 A JP2010249072 A JP 2010249072A JP 5240277 B2 JP5240277 B2 JP 5240277B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- hand
- user
- operation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、操作スイッチが配置された操作部と、操作部における操作スイッチに対応する操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置し、表示部に、手の画像を操作メニュー画像に合成表示する合成表示手段を備える車載遠隔操作装置に関する。 The present invention separately arranges an operation unit in which an operation switch is arranged and a display unit that displays an operation menu image corresponding to the operation switch in the operation unit at physically separated positions in a vehicle interior. Furthermore, the present invention relates to an in-vehicle remote control device including a composite display unit that composites and displays a hand image on an operation menu image.
車内の好適位置に配置され,各種車載機器を作動操作するための複数種のスイッチが集約して配列された多機能スイッチ操作プレートと,操作者が前方視できる視野領域の車内好適位置に配置され,前記複数種のスイッチの配列画像を画面表示する表示器と,前記操作者が指先で前記スイッチの目標とするものを操作するとき,その目標スイッチを感知した検出信号に基づいて前記表示器に画面表示されている前記目標スイッチの画像の配列位置および機能を前記操作者に認識させるよう制御するコントローラと,を備え,前記操作者が前方視状態で前記表示器に表示されている前記目標スイッチの画像を視認しつつ前記多機能スイッチ操作プレート上の目標スイッチをリアルタイムで指先操作可能に構成したことを特徴とする車載機器スイッチ安全操作システムが知られている(例えば、特許文献1参照)。 A multi-function switch operation plate that is arranged in a suitable position in the vehicle and that is arranged in a collective manner to arrange various types of switches for operating various in-vehicle devices, and is disposed in a suitable position in the vehicle in the visual field area that the operator can look forward. A display that displays an array image of the plurality of types of switches, and when the operator operates a target of the switch with a fingertip, the display is based on a detection signal that senses the target switch. A controller for controlling the operator to recognize an arrangement position and a function of an image of the target switch displayed on the screen, and the target switch is displayed on the display in a forward-viewed state by the operator The target switch on the multi-function switch operation plate can be operated in real time with a fingertip while viewing the image of the vehicle. Chi safe operation system is known (e.g., see Patent Document 1).
また、運転者によって操作されて自動車の電子機器を制御する車載用スイッチ操作装置において、運転席の近傍の運転者による操作容易な位置に設置可能であって複数のスイッチが配列されてなるスイッチアレイと、運転席の近傍に設置可能であって前記スイッチアレイと運転者によるスイッチ操作の動作状態とを逐次撮影するカメラと、前記カメラで撮影された画像における各スイッチの機能を該各スイッチの近傍に標識するための標識画像データを記憶している標識画像データ記憶部と、前記撮影された画像の画像データと前記標識画像データ記憶部の標識画像データによる各画像を合成する画像合成部と、フロントパネル又はその近傍に設置可能であって前記合成された画像を表示する表示部と、前記スイッチの操作信号を受けて当該スイッチの画像に標識されている機能に対応させた制御をするための制御信号を出力する制御部とを備えた、ことを特徴とする車載用スイッチ操作装置が知られている(例えば、特許文献2参照、同様の技術について、特許文献3,4参照)。 In addition, in an in-vehicle switch operating device that is operated by a driver to control an electronic device of an automobile, a switch array that can be installed at a position where it can be easily operated by a driver in the vicinity of a driver's seat and is arranged with a plurality of switches A camera that can be installed in the vicinity of the driver's seat and sequentially captures the switch array and the operation state of the switch operation by the driver, and the function of each switch in the image captured by the camera is in the vicinity of each switch. A sign image data storage unit that stores sign image data for labeling, an image composition unit that synthesizes each image based on the image data of the captured image and the sign image data of the sign image data storage unit, A display unit that can be installed on or near the front panel and displays the synthesized image; There is known an in-vehicle switch operating device including a control unit that outputs a control signal for performing a control corresponding to a function marked in an image of the switch (for example, Patent Documents) 2, see Patent Documents 3 and 4 for similar techniques).
ところで、上述の種の車載遠隔操作装置においては、ユーザは、表示部に映される操作メニュー画像上の手の位置を見ながら、操作部において実際に操作を行う手(指先)を所望の操作スイッチの位置まで動かす必要がある。しかしながら、操作メニュー画像上に手の画像を重畳表示するだけでは、所望の操作スイッチと指先の位置関係が直感的に把握し難いという問題がある。 By the way, in the above-described type of in-vehicle remote control device, the user can perform a desired operation on a hand (fingertip) that is actually operated on the operation unit while viewing the position of the hand on the operation menu image displayed on the display unit. It needs to be moved to the switch position. However, there is a problem that it is difficult to intuitively grasp the positional relationship between a desired operation switch and a fingertip simply by superimposing and displaying a hand image on the operation menu image.
そこで、本発明は、操作スイッチまでユーザの手(指先)を効果的に案内することが可能な車載遠隔操作装置の提供を目的とする。 Therefore, an object of the present invention is to provide an in-vehicle remote control device that can effectively guide a user's hand (fingertip) to an operation switch.
上記目的を達成するため、本発明の一局面によれば、操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置及びその機能を表す操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置し、
前記操作部を操作するユーザの手を該操作部と共に撮影する撮像手段と、
前記表示部に、前記撮影した手の画像を前記操作メニュー画像に合成して表示する合成表示手段と、を備える車載遠隔操作装置において、
前記操作部は、ユーザが前記操作部の操作領域全体における自己の指先の位置の属する領域を知覚しやすくなるように設けられた凹状又は凸状の操作ガイド部を含み、
前記合成表示手段は、前記表示部に、前記手の画像に加えて、ユーザが前記操作部の全体領域における自己の指先の位置の属する領域を容易に把握できるような操作ガイド画像であって、前記操作ガイド部の形状に対応した操作ガイド画像を、前記操作メニュー画像に合成して表示し、
前記操作ガイド画像は、前記操作部に対するユーザの手の接近又は接触を感知したときに表示されることを特徴とする、車載遠隔操作装が提供される。
In order to achieve the above object, according to one aspect of the present invention, there is provided an operation unit in which an operation switch is arranged, and a display unit that displays an operation menu image representing an arrangement position and a function of the operation switch in the operation unit. , Separately placed in physically separated locations in the passenger compartment,
Imaging means for photographing a user's hand operating the operation unit together with the operation unit;
In the vehicle-mounted remote control device, comprising: on the display unit, combined display means for combining the captured hand image with the operation menu image for display.
The operation unit includes a concave or convex operation guide unit provided so that a user can easily perceive a region to which the position of his / her fingertip belongs in the entire operation region of the operation unit,
The composite display means is an operation guide image that allows the user to easily grasp the region to which the position of his / her fingertip belongs in the entire region of the operation unit in addition to the image of the hand on the display unit , An operation guide image corresponding to the shape of the operation guide portion is combined with the operation menu image and displayed,
The in-vehicle remote control device is provided, wherein the operation guide image is displayed when the user's hand approaches or touches the operation unit.
本発明によれば、操作スイッチまでユーザの手(指先)を効果的に案内することが可能な車載遠隔操作装置が得られる。 ADVANTAGE OF THE INVENTION According to this invention, the vehicle-mounted remote control apparatus which can guide a user's hand (fingertip) effectively to an operation switch is obtained.
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。 The best mode for carrying out the present invention will be described below with reference to the drawings.
図1は、本発明に係る車載遠隔操作装置の車両搭載状態の実施例1を示す斜視図である。図2は、図1に示す車載遠隔操作装置の側面視による概略的な断面図であり、図3は、車載遠隔操作装置に関連する車載システムの機能ブロックを示す。本実施例の車載遠隔操作装置は、図1及び図2に示すように、操作部20、表示部40及びカメラ50を備え、操作部20及び表示部40は、車室内の物理的に離れた位置に別々に配置される。操作部20及び表示部40は、図3に示すように、例えばマイクロコンピューターからなる表示制御装置70に接続され、カメラ50は手画像合成回路72に接続される。手画像合成回路72には、操作部20に対するユーザの手の接近等を検知できる接近/接触感知手段80が接続される。接近/接触感知手段80は、操作部20に対して設けられる発光手段24を制御する発光制御部74に接続される。以下、各構成について詳説していく。
FIG. 1 is a perspective view showing a first embodiment of a vehicle-mounted remote control device according to the present invention mounted on a vehicle. FIG. 2 is a schematic cross-sectional view of the in-vehicle remote control device shown in FIG. 1 as viewed from the side, and FIG. 3 shows functional blocks of the in-vehicle system related to the in-vehicle remote control device. As shown in FIGS. 1 and 2, the in-vehicle remote control device of this embodiment includes an
図4は、操作部20の平面図である。操作部20は、複数の操作スイッチが配置される透明タッチパネル22を含む。尚、図4においては、感圧式の複数の操作スイッチの位置(感圧領域)が一点差線で仮想的に示されている。操作部20は、ユーザが操作しやすい位置、好ましくは、運転者が手を伸ばすだけで操作できるような位置に配置される。例えば、操作部20は、図1に示すように、センターコンソール部に配置されてよいし、また、インストルメントパネルに配置されてもよい。操作部20は、その略平らな操作面が略水平になるように配置される。
FIG. 4 is a plan view of the
図5は、操作部20の主要部を示す断面図である。操作部20は、透明タッチパネル22を備える。透明タッチパネル22の構造は、後述の操作ガイド部30が形成されている以外は、一般的なものであってよい。例えば、透明タッチパネル22は、図5に示すように、薄膜透明電極22aを設けたアクリル基板22b(又はガラス基板等)を下に、薄膜透明電極22cを設けたフィルム基板22dを上にして、薄膜透明電極22a、22c同士をドットスペーサ22eを介して対向させた積層構造を有する。透明タッチパネル22上での操作信号(操作位置信号)は、透明タッチパネル22の側部に接着される図示しないFPC(フレキシブル印刷回路)を介して表示制御装置70(図3参照)に供給される。表示制御装置70は、透明タッチパネル22上での操作信号(操作位置信号)に応じた機能(後述の表示部40での操作メニュー画像の切り替えを含む)を実現させるように各種車載機器を制御する。
FIG. 5 is a cross-sectional view showing the main part of the
透明タッチパネル22の側部には、発光手段24が設定される。発光手段24は、例えばLED等の光源であり、透明タッチパネル22の下層のアクリル基板22bに側部から光を当てるように配設される。発光手段24は、以下で詳説する発光制御部74(図3参照)による制御下で、透明タッチパネル22の側部から透明タッチパネル22全体(操作部20全体)を照明する。発光手段24の発する光は、アクリル導光板により透明タッチパネル22の操作領域全体を略均一に発光させるように拡散させる。或いは、発光手段24は、透明タッチパネル22の背後から透明タッチパネル22全体(操作部20全体)を照明するものであってもよい。同様に、発光手段24の発する光は、操作部20全体が略均一な輝度で発光するように、即ち、透明タッチパネル22の全操作領域に亘って均一に光が透明タッチパネル22を透過するように、適切な拡散される。尚、この発光手段24は、液晶ディスプレイのバックライトと同様の構成(例えばアクリル導光板、ランプ、ランプ反射板等を備えた導光板型バックライト)であってよい。
A light emitting means 24 is set on the side of the
本実施例では、操作部20の操作表面(パネル面)には、図4に示すように、操作ガイド部30が設けられる。操作ガイド部30は、手の触覚(感触)で認識可能な凹部又は凸部を操作表面に形成することで実現される。操作ガイド部30は、操作表面を提供する透明タッチパネル22の表面部材(例えばフィルム基板22d)と一体に形成されてもよいし、別体として透明タッチパネル22の表面部材に接着等されてもよい。
In the present embodiment, an
図5に示す例では、操作ガイド部30は、凸部で形成されており、平面視で、操作部20の操作表面内で線状に延び、操作部20の操作領域を分割する。図4に示す例では、操作ガイド部30は、平面視で操作部20の縦方向及び横方向に延びて操作部20の略中央部で交わる十文字状である。即ち、操作ガイド部30は、操作部20の操作表面における操作領域を4分割している。これにより、ユーザは、操作ガイド部30に触れる手の感覚、即ち触覚により、現在自分の手(指先)が、操作部20における操作ガイド部30に仕切られたどの操作領域(本例では、4分割された4象限の領域の何れの領域)にあるかを容易に把握することができる。
In the example illustrated in FIG. 5, the
表示部40は、液晶ディスプレイ等で構成され、ユーザが見やすい位置、好ましくは、運転者が運転中の視野を大きく変えることなく見ることができるような位置に配置される。例えば、表示部40は、図1に示すように、インストルメントパネル上面の中央部に配置されてよいし、また、メーター内に配置されてもよい。
The
表示部40で表示される画像出力ないし映像出力は、表示制御装置70(図3参照)により制御される。表示制御装置70は、例えばナビゲーション装置の一部(描画プロセッサを含む)であってよく、この場合、表示部40に対して、後述の操作メニュー画像の他、地図画像等が供給され表示される。
Image output or video output displayed on the
図6は、操作メニュー画像の一例を示す図である。表示部40には、表示制御装置70による制御下で、図6に示すように、操作部20に対するユーザの操作を支援する操作メニュー画像が表示される。操作メニュー画像は、操作部20における操作スイッチの配置位置及びその機能を表す。操作メニュー画像は、操作部20に対する操作で実現される各種機能を、ユーザに知らせると共に、当該各種機能を実現するために操作されるべき各操作スイッチの位置を、ユーザに知らせる役割を果たす。
FIG. 6 is a diagram illustrating an example of the operation menu image. As shown in FIG. 6, an operation menu image that supports user operations on the
図6に示す例では、操作メニュー画像は、操作部20における8つの操作スイッチを模した図形画像F1〜F8を含む。操作メニュー画像内における図形画像F1〜F8のサイズ及び位置は、操作部20における対応する操作スイッチの操作領域のサイズ及び位置に対応する。この表示部40を見るユーザは、操作部20において操作スイッチが前後2列に配列されていることを知ると共に、各図形画像F1〜F8内の文字を見ることで、各操作スイッチを操作して実現できる機能を知ることができる。例えば、ユーザがメールをしたいと思った場合、ユーザは、“メール”
の文字を含む図形画像F3に対応する位置にある操作スイッチ、即ち、操作部20における前列の左から3番目の操作スイッチを押せばよいことを理解することができる。また、ユーザが目的地の設定をしたいと思った場合、ユーザは、“目的地”
の文字を含む図形画像F1に対応する位置にある操作スイッチ、即ち、操作部20における前列の左から1番目の操作スイッチを押せばよいことを理解することができる。
In the example illustrated in FIG. 6, the operation menu image includes graphic images F <b> 1 to F <b> 8 simulating eight operation switches in the
It can be understood that the operation switch located at the position corresponding to the graphic image F3 including the character, that is, the third operation switch from the left in the front row of the
It can be understood that the operation switch at the position corresponding to the graphic image F1 including the character, that is, the first operation switch from the left in the front row in the
操作メニュー画像は、各種用意されてよく、操作部20における操作状況等に応じて、適宜切り替えられてよい。この場合、当該操作メニュー画像の切り替えに応じて、操作部20における操作スイッチの配置位置及びその機能が変更される。かかる構成では、操作部20において多くの車載機器の操作スイッチを実現することができ、操作スイッチの効率的な集約を図ることができる。例えば、操作部20には、図6には示していないが、メールや電話、周辺施設案内等の情報通信系の車載機器の操作のみならず、空調装置、オーディオ装置の各種操作のための各種操作スイッチが実現されてよい。
Various operation menu images may be prepared, and may be switched as appropriate in accordance with an operation state in the
カメラ50(撮像手段)は、例えばCCDやCMOSを撮像素子とする小型カラーカメラであり、操作部20(及びそれを操作するユーザの手)を俯瞰できるように配置される。即ち、カメラ50は、操作部20全体を捕捉するように操作部20との位置・角度関係や焦点等が決定される。従って、カメラ50によって撮影された画像(以下、「カメラ画像」)の略全体に、操作部20の全体の画像が含まれる。
The camera 50 (imaging means) is a small color camera having, for example, a CCD or CMOS as an image sensor, and is arranged so that the operation unit 20 (and the user's hand operating it) can be looked down on. That is, the
図7(A)に示すように、操作部20を操作するためユーザの手がカメラ50の撮像エリアに入ると、図7(B)に示すように、カメラ画像に手の画像が含まれることになる。この手の画像を含むカメラ画像は、手画像合成回路72(図3参照)に供給される。手画像合成回路72では、手の画像(以下、「手画像」という)がカメラ画像から抽出される。手画像の抽出及び合成には、カメラ画像に含まれる手以外の部分(操作部20)と手の色度(彩度)差ないしコントラスト差を利用して実現されてよい。
As shown in FIG. 7A, when the user's hand enters the imaging area of the
また、本実施例では、上述の如く、操作部20に操作ガイド部30が設けられているので、カメラ画像には、図7(B)に示すように、操作ガイド部30の画像(以下、「操作ガイド画像」という)が含まれることになる。手画像合成回路72では、上述の手画像と同様、操作ガイド画像がカメラ画像から抽出される。即ち、カメラ画像から、手と操作ガイド部30以外の画像領域が切り取られ、手画像と共に操作ガイド画像が抽出される。操作ガイド画像の抽出は、手画像の場合と同様、カメラ画像に含まれる手以外の部分(操作部20)と操作ガイド部30の色度(彩度)差ないしコントラスト差を利用して実現されてよい。
In the present embodiment, as described above, since the
操作ガイド画像及び手画像の抽出方法としては、好ましくは、それ自体広く知られているクロマキー合成技術が用いられる。これは、特定の色(キーカラー)を背景に画像を撮影しておき、そのキーカラーに別な画像を重ねることで合成を行なう技術である。キーカラーとして一般的に用いられている色は、青である。それは、人間の肌色と最も対極にあるのが青色なため、人間の手を抜き出す処理には適しているためである。尚、操作ガイド画像及び手画像の抽出方法の抽出方法としては、例えば、ルミナンス合成技術(画像の輝度とコントラストの情報を含むルミナンス信号(Luminance)のうちのある輝度信号を指定してその信号以下または以上のみを抜く方法)等があるが、以下では、主にクロマキー合成技術が用いられる場合について説明していく。この場合、操作ガイド部30を除く操作部20の全領域は、キーカラー(例えば青色)に構成(例えば着色又は発光)され、操作ガイド部30は、肌色及びキーカラー以外の色に構成される。従って、手画像合成回路72では、カメラ画像においてクロマキーで青色部分が抜き取られることで、残りの手画像と操作ガイド画像だけが得られる。
As a method for extracting the operation guide image and the hand image, a chroma key composition technique that is widely known per se is preferably used. This is a technique in which an image is shot against a background of a specific color (key color), and another image is superimposed on the key color for composition. A color generally used as a key color is blue. This is because blue is the most opposite to human skin color and is suitable for processing to extract human hands. The extraction method of the operation guide image and the hand image extraction method is, for example, luminance synthesis technology (designating a luminance signal of luminance signal (Luminance including luminance and contrast information of the image) and the signal below that. In the following, the case where the chroma key composition technique is mainly used will be described. In this case, the entire region of the
このようにして抽出された手画像及び操作ガイド画像は、手画像合成回路72で、表示制御装置70から供給される操作メニュー画像に合成される。即ち、手画像及び操作ガイド画像が、背景画像として用意されている操作メニュー画像(図6参照)と合成される。かくして合成された画像は、表示部40に供給され、表示される。以下、このようにして表示部40に表示される、手画像及び操作ガイド画像を含む操作メニュー画像を、単に「合成画像」という。
The hand image and the operation guide image extracted in this way are combined with the operation menu image supplied from the
尚、手画像合成回路72では、上述の如く抽出した手画像は、好ましくは、そのまま(加工無しで)合成されるのではなく、手を抽象的ないし擬似的に表す抽象画像に変換してから合成される。この場合、手の抽象画像は、カメラ画像から抽出される手画像の手の輪郭線に基づいて生成される。手の抽象画像は、例えば、輪郭線内部を切り取り、輪郭線内部に半透過色を付与しつつ、輪郭線が比較的太い線ないし強い輝度で強調されるように、生成されてよい(図8参照)。これにより、このように手の輪郭線の内部の領域を手画像として用いないことで、昼夜で異なる周囲光の影響を受け難い安定した手画像を提供することができると共に、手の大部分をリアルに表示することによる上述の如くユーザが受けうる生理的な違和感を防止することができる。
In the hand
図8は、上述のようにして得られる合成画像を示す。手画像の合成位置、即ち操作メニュー画像のどの位置に合成するかは、操作部20における実際の手の位置と各操作スイッチの位置との相対位置関係が、表示部40(合成画像)における手画像の手の位置と各図形画像F1〜F8との相対位置関係によって正確に再現されるように決定される。尚、この合成位置は、カメラ画像における座標系と操作メニュー画像における座標系との相対関係(座標変換式)に基づいて演算されてよい。この際、カメラ50の搭載位置の誤差等が適切に補正されてよい。尚、操作ガイド画像については、手画像の合成位置と対応する関係で決定されてよい(例えば同一の座標変換式を用いて合成してよい)。
FIG. 8 shows a composite image obtained as described above. The combination position of the hand image, that is, the position in the operation menu image, is determined by the relative positional relationship between the actual hand position on the
図8に示す例では、手画像の手が図形画像F3を操作する位置に示されている。この場合、ユーザは、現在の手の位置でスイッチ操作を行うと、図形画像F3に対応するスイッチの機能、即ちメール機能が実現されることを知ることができる。このように、ユーザは、操作部20を直視しなくても、表示部40を見ながら操作部20における所望の操作スイッチを操作することができる。従って、ユーザが運転者の場合は、特に運転姿勢や視線を大きく変えることなく、視野前方の表示部40を見ながら手元付近にある操作部20でスイッチ操作(いわゆるブラインドタッチ操作)を行うことが可能となり、運転に支障の出ない安全なスイッチ操作を実現することができる。
In the example shown in FIG. 8, the hand of the hand image is shown at a position where the figure image F3 is operated. In this case, when the user performs the switch operation at the current hand position, the user can know that the function of the switch corresponding to the graphic image F3, that is, the mail function is realized. In this way, the user can operate a desired operation switch in the
ところで、本実施例では、上述の如く、手画像が操作メニュー画像に重畳表示されるので、ユーザは、自己の手の位置と、操作部20における所望の操作スイッチとの位置関係を把握し易くなる。しかしながら、実際には、操作メニュー画像上に手画像を重畳表示するだけでは、所望の操作スイッチと指先の位置関係が直感的に把握し難いという問題がある。これは、操作部20における実際の手の前後方向の動きが、表示部40における手画像の上下方向の動きとして変換されるという人の感覚的なズレが1つの要因である。また、この種の問題は、多数の操作スイッチがより高い密度に配置される場合に顕著となりうる。
By the way, in the present embodiment, as described above, the hand image is superimposed and displayed on the operation menu image, so that the user can easily grasp the positional relationship between the position of his / her hand and the desired operation switch in the
これに対して、本実施例では、図8に示すように、操作メニュー画像に、手画像に加えて、操作ガイド画像が表示されるので、ユーザは、操作部20の操作領域全体における自己の指先の位置の属する領域を容易に把握できるようになる。例えば、図8に示す例では、ユーザは、操作部20の4つに区切られた操作領域のうちの第1象限に相当する領域(又は第1象限の中心付近)に、自己の指先の位置が存在することを一目で把握することができる。このため、例えば目的地の設定をしたいユーザは、第1象限から、“目的地”の文字を含む図形画像F1のある第2象限へと、自己の手を大きく直感的に動かすことができる。
On the other hand, in this embodiment, as shown in FIG. 8, the operation guide image is displayed in addition to the hand image on the operation menu image. The region to which the fingertip position belongs can be easily grasped. For example, in the example illustrated in FIG. 8, the user places the position of his / her fingertip in an area corresponding to the first quadrant (or near the center of the first quadrant) among the four operation areas of the
このように本実施例によれば、操作ガイド画像を手画像に加えて表示することで、ユーザは、操作ガイド画像を頼りにして、目標の操作スイッチに対して自己の手をどの方向にどの程度動かせばよいかを直感的に把握できるので、操作部20における操作性を更に高めることができる。
As described above, according to the present embodiment, by displaying the operation guide image in addition to the hand image, the user can rely on the operation guide image and in which direction his / her hand with respect to the target operation switch. Since it can be grasped intuitively whether it should move to some extent, the operativity in the
また、本実施例では、上述の如く、操作ガイド画像は、操作部20に設けられた操作ガイド部30に対応している。このため、ユーザは、操作ガイド部30に自己の指先が触れるときの触覚と、表示部40上の操作ガイド画像に対する視覚とを相乗的に用いて、操作部20の操作領域全体における自己の指先の位置の属する領域を、より一層知覚しやすくなる。
In the present embodiment, as described above, the operation guide image corresponds to the
また、本実施例では、上述の如く、操作ガイド画像は、手画像を抽出する際にカメラ画像から抽出することができる。このため、本実施例は、手画像だけを重畳表示する従来的な構成に対して、操作部20に、周囲領域と色等の異なる操作ガイド部30を設けるだけで、画像処理方法を大きく変更することなく実現することができる。但し、操作ガイド画像は、上述の操作メニュー画像と同様に、予め背景画像として用意することも可能である。この場合、操作ガイド部30は、操作部20における周囲領域に対してコントラスト差ないし色度差を有する必要はない。
In the present embodiment, as described above, the operation guide image can be extracted from the camera image when the hand image is extracted. For this reason, this embodiment greatly changes the image processing method by providing the
尚、本実施例において、操作部20は、上述の如く、その操作時にユーザにより直視されないものであるため、操作部20には、手画像及び操作ガイド画像を抽出しやすいような構成が求められる。即ち、上述の如く手画像は、カメラ画像(図7参照)において、手と操作ガイド部30以外の部分の画像(操作ガイド部30を除く操作部20の画像)とのコントラスト差ないし色度差を頼りにして抽出されるため、かかるコントラスト差ないし色度差が大きくなるような輝度ないし色度を画像中に提供できる操作部20が有用である。従って、例えば手画像合成回路72においてクロマキー合成技術が用いられる場合には、単なる着色だけでもよいが、好ましくは、LED等の発光手段24(図3参照)を用いて操作部20をキーカラーで発光させる。この場合、操作ガイド部30を光透過率の低い材料等により形成することで、操作ガイド部30の部分だけ発光手段24の光が遮断されるように構成してもよい。これにより、太陽光が操作部20に入射した場合にも、手画像及び操作ガイド画像を確実に抽出することができる。
In the present embodiment, since the
また、本実施例において、操作ガイド画像は、操作メニュー画像に重畳表示されるものであるため、ユーザによる操作がないときには、操作ガイド画像は、ユーザによる操作メニュー画像の視認の邪魔にならないことが有用である。このため、好ましくは、手画像合成回路72は、操作部20に対するユーザの手の接近又は接触を感知したときに、動作可能な状態(即ちカメラ画像に基づいて合成画像を生成・出力する状態)となる。操作部20に対するユーザの手の接近又は接触は、好ましくは、操作部の周辺に設けられる接近/接触感知手段80(図1、図2、図3参照)により検知される。接近/接触感知手段80は、操作部20における検知態様と同様、接触電流、静電容量、赤外線測距等の方法で感知するものであってもよい。接近/接触感知手段80は、好ましくは、操作部20を操作する時に手が載置される操作部周辺部(即ち操作する手の手首周辺を支持する部位)、即ち操作部20の手前の部分に設けられる。また、上述の如く発光手段24を用いる構成では、発光制御部74(図3参照)は、操作部20に対するユーザの手の接近又は接触を感知したときに、発光手段24を発光させることとしてよい。また、同様に、操作ガイド画像を予め背景画像として用意する構成では、手画像合成回路72は、操作部20に対するユーザの手の接近又は接触を感知したときに、予め用意した操作ガイド画像を重畳表示すればよい。
In this embodiment, since the operation guide image is superimposed on the operation menu image, the operation guide image may not interfere with the user's viewing of the operation menu image when there is no operation by the user. Useful. For this reason, preferably, the hand
図9は、操作ガイド部30のその他の実施例を示す図である。操作ガイド部30の構成は多種多様でありうる。例えば、図9(A)に示すように、操作部20の操作領域をより細かく分割することも可能である。即ち、操作ガイド部30は、井桁状に形成してもよい。また、操作ガイド部30は、必ずしも操作部20の操作領域を完全に横断する必要はなく、操作部20の操作領域の周縁部には設けなくてもよい。また、図9(A)に示すように、操作ガイド部30は、十字状に形成され、操作領域における略中央領域(十字の中心領域)が円形であってもよい。更に、図9(B)に示すように、操作ガイド部30は、指先の感覚で認識可能な十分な大きさを有する点(本例では各象限の中心付近に4点)で配置されてもよい。また、操作ガイド部30は、必ずしも凸状である必要はなく、凹状であってもよい。尚、いずれの場合であっても、操作ガイド画像は、操作ガイド部30の形状に実質的に対応するように形成される。
FIG. 9 is a diagram illustrating another example of the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.
例えば、上述の実施例では、操作ガイド部30の画像を抽出してそのまま操作ガイド画像として用いているが、手画像と同様、抽出した操作ガイド画像に加工を施してから合成することも可能である。また、操作ガイド部30の特徴部分だけを抽出して、抽出した特徴部分の位置情報に基づいて、操作ガイド画像を生成することも可能である。
For example, in the above-described embodiment, the image of the
また、例えば図10及び図11に示すように、操作部20は、インストルメントパネルに形成された凹部内ないし窪み内(以下、「凹空間90」という)に配置されてもよい。凹空間90の入口は、ユーザが凹空間90内に手を入れて操作することができるように、適切な大きさの開口を有する。これにより、ユーザは、凹空間90の凹部を頼りに手探りで操作部20の位置を探し、操作部20を操作することができる。この場合、カメラ50は、図10及び図11に示すように、凹空間90内に配設され、操作部20に対向して配置される。即ち、カメラ50は、凹空間90を構成する庇部94に下向きに設置される。これにより、カメラ50のレンズに対する太陽光の直接的な入射、及び、操作部20での反射を介した入射が防止されるので、ハレーションを防止することができる。
For example, as illustrated in FIGS. 10 and 11, the
また、例えば図12及び図13に示すように、操作部20は、センターコンソール部に形成された凹空間90に配置されてもよい。図12及び図13に示す例では、センターコンソール部には、側壁部92及び庇部94が立設され、それらの部位により囲繞される凹空間90が形成され、その内部に操作部20が配設されている。これにより、操作部20への太陽光の入射量が低減されるので、同様に、上述の如く太陽光の影響を受けない同一のカメラ画像を安定して得ることができる。この場合、カメラ50は、凹空間90内の操作部20の近傍に配置され(本例では操作部20の奥側)、操作部20に対向する庇部94にミラー52が配置される。ミラー52は、全反射型の平面鏡又は微凸面鏡である。この場合、カメラ50及びミラー52は、カメラ50がミラー52を介して操作部20(及びそれを操作するユーザの手)を俯瞰できるような関係で、配置される。これにより、限られた凹空間90内においても必要な光路長を確保することができる。また、ミラー52を用いることで、カメラ50の配置の自由度を高めることができる。
For example, as illustrated in FIGS. 12 and 13, the
また、操作部20にキーカラーに対応した夜行性塗料を塗布して、夜間のみ発光手段24の発光を無くす又は発行輝度を低減することも可能である。また、キーカラーに対応した蛍光アクリル材を用いて太陽光入射時には太陽光による励起光を利用して明るさを補ってもよい。
It is also possible to apply a nocturnal paint corresponding to the key color to the
20 操作部
22 透明タッチパネル
24 発光手段
30 操作ガイド部
40 表示部
50 カメラ
72 手画像合成回路
74 発光制御部
80 接近/接触感知手段
90 凹空間
92 側壁部
94 庇部
DESCRIPTION OF
Claims (2)
前記操作部を操作するユーザの手を該操作部と共に撮影する撮像手段と、
前記表示部に、前記撮影した手の画像を前記操作メニュー画像に合成して表示する合成表示手段と、を備える車載遠隔操作装置において、
前記操作部は、ユーザが前記操作部の操作領域全体における自己の指先の位置の属する領域を知覚しやすくなるように設けられた凹状又は凸状の操作ガイド部を含み、
前記合成表示手段は、前記表示部に、前記手の画像に加えて、ユーザが前記操作部の全体領域における自己の指先の位置の属する領域を容易に把握できるような操作ガイド画像であって、前記操作ガイド部の形状に対応した操作ガイド画像を、前記操作メニュー画像に合成して表示し、
前記操作ガイド画像は、前記操作部に対するユーザの手の接近又は接触を感知したときに表示されることを特徴とする、車載遠隔操作装置。 An operation unit in which an operation switch is arranged, and a display unit that displays an operation menu image representing the position and function of the operation switch in the operation unit are separately arranged at physically separated positions in the vehicle interior,
Imaging means for photographing a user's hand operating the operation unit together with the operation unit;
In the vehicle-mounted remote control device, comprising: on the display unit, combined display means for combining the captured hand image with the operation menu image for display.
The operation unit includes a concave or convex operation guide unit provided so that a user can easily perceive a region to which the position of his / her fingertip belongs in the entire operation region of the operation unit,
The composite display means is an operation guide image that allows the user to easily grasp the region to which the position of his / her fingertip belongs in the entire region of the operation unit in addition to the image of the hand on the display unit , An operation guide image corresponding to the shape of the operation guide portion is combined with the operation menu image and displayed,
The vehicle-mounted remote control device, wherein the operation guide image is displayed when the user's hand approaches or touches the operation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249072A JP5240277B2 (en) | 2010-11-05 | 2010-11-05 | In-vehicle remote control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249072A JP5240277B2 (en) | 2010-11-05 | 2010-11-05 | In-vehicle remote control device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005346639A Division JP4747810B2 (en) | 2005-11-30 | 2005-11-30 | In-vehicle remote control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011031886A JP2011031886A (en) | 2011-02-17 |
JP5240277B2 true JP5240277B2 (en) | 2013-07-17 |
Family
ID=43761362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010249072A Expired - Fee Related JP5240277B2 (en) | 2010-11-05 | 2010-11-05 | In-vehicle remote control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5240277B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011138775A1 (en) | 2010-05-04 | 2011-11-10 | Timocco Ltd. | System and method for tracking and mapping an object to a target |
JP6035828B2 (en) * | 2012-04-12 | 2016-11-30 | 株式会社デンソー | Display operation device and display system |
US10203799B2 (en) | 2015-09-15 | 2019-02-12 | Hyundai Motor Company | Touch input device, vehicle comprising touch input device, and manufacturing method of touch input device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09109802A (en) * | 1995-10-18 | 1997-04-28 | Yazaki Corp | Operating device for automobile |
JPH10269012A (en) * | 1997-03-28 | 1998-10-09 | Yazaki Corp | Touch panel controller and information display device using the same |
JP2000355256A (en) * | 1999-06-11 | 2000-12-26 | Alpine Electronics Inc | Operation device for on-board electronic equipment |
JP4769397B2 (en) * | 2001-09-28 | 2011-09-07 | クラリオン株式会社 | In-vehicle information equipment |
JP2005216110A (en) * | 2004-01-30 | 2005-08-11 | Nissan Motor Co Ltd | Information control apparatus |
-
2010
- 2010-11-05 JP JP2010249072A patent/JP5240277B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011031886A (en) | 2011-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4747810B2 (en) | In-vehicle remote control device | |
JP4389855B2 (en) | Vehicle control device | |
JP4356763B2 (en) | Operating device | |
ES2702972T3 (en) | Method for operating a handling device and handling device | |
US8085243B2 (en) | Input device and its method | |
JP3979002B2 (en) | Computer user interface system and user interface providing method | |
JP5082911B2 (en) | Display device | |
US20080197996A1 (en) | Operating device | |
KR100983622B1 (en) | Input apparatus and imaging apparatus | |
JP5086560B2 (en) | Input device | |
JP6331567B2 (en) | Display input device for vehicle | |
JP2008158675A (en) | Operation device for vehicle | |
WO2006013783A1 (en) | Input device | |
JP2007237986A (en) | Vehicular input device | |
JP2007055430A (en) | Display device for vehicle | |
JP5240277B2 (en) | In-vehicle remote control device | |
US20200225734A1 (en) | Display apparatus and method of indicating level of immersion using visual indicator | |
JP2007156950A (en) | Vehicle operating device | |
JP2008102449A (en) | Display device | |
JP2008116566A (en) | Display device | |
JP2007062668A (en) | Input device for vehicle | |
US20170285765A1 (en) | Input apparatus, input method, and computer program | |
WO2018230526A1 (en) | Input system and input method | |
JP2018100870A (en) | Display unit for vehicle | |
JP4609261B2 (en) | Operating device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5240277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |