JP4757132B2 - データ入力装置 - Google Patents

データ入力装置 Download PDF

Info

Publication number
JP4757132B2
JP4757132B2 JP2006201543A JP2006201543A JP4757132B2 JP 4757132 B2 JP4757132 B2 JP 4757132B2 JP 2006201543 A JP2006201543 A JP 2006201543A JP 2006201543 A JP2006201543 A JP 2006201543A JP 4757132 B2 JP4757132 B2 JP 4757132B2
Authority
JP
Japan
Prior art keywords
image
hand shape
hand
display screen
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006201543A
Other languages
English (en)
Other versions
JP2008027328A (ja
Inventor
紀貴 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006201543A priority Critical patent/JP4757132B2/ja
Publication of JP2008027328A publication Critical patent/JP2008027328A/ja
Application granted granted Critical
Publication of JP4757132B2 publication Critical patent/JP4757132B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明はデータ入力装置に係わり、特に、操作面におけるユーザの手形状画像を取り込んでディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置に関する。
データ入力方法として、タッチパネルを使用する方法がある。このタッチパネル入力方法は透明タッチパネルをディスプレイ画面上に積層し、所定の画像部分(メニュー項目やキーなど)をペンあるいはユーザの指等で選択することにより、該選択したメニューやキーに応じたデータ、コマンドを装置に入力するものである。
しかし、タッチパネル入力方法では、タッチパネルに直接触れることによりデータ、コマンドを入力するものであるため、手をディスプレイ画面まで動かして操作する必要があり、車載機器などではデータ入力操作がしにくい問題がある。また、タッチパネルにタッチするものであるため汚れがついて画面の視認性を低下する。
そこで、図10に示すように操作面(操作子)1を操作しやすい場所に設け、該操作面上でユーザ3が手4を移動させ、制御部5が手形状画像4′をディスプレイ画面2に表示し、ディスプレイ画面に表示されている画像(メニュー項目やキーなど)6a,6b,6c,….を指で選択してデータを入力するデータ入力方法が提案されている(特許文献1)。
特開2006−72854号
ところで、上記従来技術では操作面1を例えばタブレットで構成し、手が接触した位置情報を用いて手形状画像を発生する。しかし、手全体がタブレットに接触するものでないため手形状画像が実際の手形状と異なる問題がある。そこで、図11(A)に示すように操作面4の真上にカメラ7を取り付け、該カメラで撮影した手形状をディスプレイ画面に表示することが行なわれている。なお、図11(B)において8はカメラ撮影領域である。操作面4の真上にカメラ7を取り付けることができれば何らの問題も生じない。しかし、狭い車室空間に設けられる車載機器等では操作面4の真上にカメラ7を取り付けることができず、図12(A)に示すように操作面4の前方に配置せざるを得ない場合がある。かかる場合、手形状画像は図12(B)に示すように平面図(真上から見た図)とならず歪んだ形状となる問題がある。
また、ディスプレイ画面に三次元画像(3D画像)を表示し、該3D画像に手を重ねて表示して指で所定の画像部分を指示してデータ入力する装置がある。特に、ナビゲーション装置用の3D画像表示では、目的地点(建物)を指で指示して行き先を設定したり、指先でなぞって経路を設定したりする。かかる場合、従来は3D画像の奥行きや視点に関係なく、図13に示すように手の大きさを同一サイズで表示する。しかし、かかる表示方法では、3D画像に遠近感はあるが、手の画像に遠近感が無く操作者に違和感を生じさせ、操作上好ましくなかった。
以上から本発明の目的は、カメラを操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示できるデータ入力装置を提供することである。
本発明の別の目的は、手の位置に応じて該手形状のスケールを制御することにより手形状に遠近感を持たせて表示することにより違和感のない手形状表示ができるデータ入力装置を提供することである。
本発明は、操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置であり、手形状を保存する手形状保存部、操作面におけるユーザの手形状を撮影するカメラ、カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、データ入力用の操作画像を発生す操作画像発生部、ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、指で指示された画像に応じたデータを入力するデータ入力部を備えている。
上記本発明のデータ入力装置において、前記操作画像発生部は操作画像として三次元画像データを用いて道路を含む三次元画像を発生し、前記手形状画像発生部は前記手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生し、前記画像合成部は、ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する。
本発明によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
本発明によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
(A)第1実施例
図1は本発明の第1実施例の概略説明図である。
予めユーザが操作面(操作子)11を操作するときの手形状10(図1(B)参照)の外形(輪郭)を、例えばカメラで真上から撮影して保存しておく。手形状10はカメラに限らず別の手段により取得することもできる。
操作時、操作面11の前方に配置されたカメラ13で該操作面11におけるユーザの手12の形状を撮影する(図1(A))。ついで、カメラ13で撮影した手形状14の2つの特定部分(例えば2本の指の先端部分)A,Bのディスプレイ画面上における位置を計算する。カメラ13と操作面11の位置関係は固定であるからカメラで撮影した映像上の位置A,Bはディスプレイ画面16上の位置A′,B′に容易に変換できる(図1(B),(C))。なお、図1(B)において15はカメラ撮影範囲である。ついで、保存されている手形状10の2つの特定部分A,Bがディスプレイ画面16上の該計算位置A′,B′に来るように手形状画像10を発生して表示する。
以上では手形状14の2つの特定部分のディスプレイ画面上における位置を計算したが、手形状14の3つの特定部分A,B,Cのディスプレイ画面上における位置を計算することもできる。
図2は第1実施例のデータ入力装置の構成図である。
手形状画像発生部21において、カメラ13は操作面11(図1参照)上のユーザの手形状を撮影し、カメラ映像保存部21aに保存する。指先位置算出部21bはカメラで撮影した手形状における指先部分A,Bのディスプレイ画面上の位置A′,B′を計算する。
一方、手形状取得部21cは予め操作面11を操作するときのユーザの手の外形を取得して手形状保存部21dに保存する。例えば、カメラで真上から撮影し、あるいは、赤外線発光/受光素子を用いて取得することもできる。図3は赤外線発光/受光素子を用いて取得する例であり、操作面11の下に赤外線発光/受光素子18をマトリックス状に配列し、各赤外線発光素子を発光し、手12で反射した光を受光素子で受光することにより手形状10の輪郭を取得する。図3(A)は横から見た概略図、(B)は上から見た概略図、(C)は手形状である。手形状発生部21eは、保存されている手形状10の2つの指先部分A,Bがディスプレイ画面16上の該計算位置A′,B′に来るように手形状画像10を発生する。
メニュー/スイッチ画像作成部22は図示しない制御部から所定のメニュー/スイッチ画像の作成を指示され、該メニュー/スイッチ画像を発生する。画像合成部23はこのメニュー/スイッチ画像の上に手形状画像10が表示されるようにこれら両画像を合成してモニター24に表示する。ユーザは操作面11上で手を移動させて指で所望のメニュー/スイッチ画像を指示して該操作面を押下すると、タブレットで構成されている操作面11は押下された位置を識別してデータ入力部25に入力する。データ入力部25は、押下された位置と表示しているメニュー/スイッチ画像とに基づいて入力データを識別して制御部に入力する。
以上第1実施例によれば、手形状を保存しておき、操作面におけるユーザの手形状をカメラで撮影し、該手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記保存してある手形状の2つの特定部分が該計算位置に来るように手形状画像を発生するようにしたから、カメラが操作面の前方に配置する場合であっても真上から見た手形状を正しい位置に表示することができる。
(B)第2実施例
図4は第2実施例の概略説明図であり、(A)はディスプレイ画面の表示例、(B)は操作面上の手形状位置例である。
道路RDを含む三次元画像3DIMをディスプレイ画面16に表示する。操作面11の上で手12を移動させて所定の画像部分を指示する際、カメラで手形状を撮影し、ディスプレイ画面16の三次元画像3DIM上に手形状画像10を重ねて表示する。この際、手形状10のディスプレイ画面上の奥行き方向の位置と道路RDの消失点の位置とから手形状のスケールを決定し、該スケールで手形状画像を発生して表示する。このようにすれば、手の位置が奥のほうに行くほど小さく表示でき、遠近感を持たせて手形状を表示することができる。図5は、図4に比べて視点位置が高く、奥行き感が小さい場合の手形状表示例であり、道路の消失点は遠くにある。図5のように奥行き感が小さい場合には手形状のスケール差は小さいが、図4のように視点が低く、奥行き感が大きい場合には手形状のスケール差は大きくなる。
図6は奥行き感の説明図である。3D地図画像を表示をした場合、道路RDは、ディスプレイ画面上の中心点をOとする垂直線vに、道路左右端が近づくほど(「i」および「i'」)、またディスプレイ画面上の下端に近づくほど、"奥行き"の距離(z方向)は大きくなる。換言すれば、道路の消失点が手前にあるほど奥行き感が大きくなり、消失点が遠いほど奥行き感が小さくなる。したがって、消失点の位置に基づいてディスプレイ画面上に表示する手形状の大きさを動的に変更することで、奥行き感を創出することができる。これと同時に、奥へ行くほど手形状の大きさが小さくなって見えなくなるので、結果的に深い奥行きにあるものを操作できなくなり、誤操作がなくなる。
図7は消失点の位置とスケールの関係説明図である。ディスプレイ画面の水平方向の寸法をXM、垂直方向の寸法をYMとし、消失点DPの垂直方向位置を(Y0,0)とすると、垂直方向の座標yにおけるスケールは
Figure 0004757132
となる。
図8は第2実施例のデータ入力装置の構成図である。
カメラ51は操作面上のユーザの手形状を撮影し、カメラ映像保存部52に保存する。なお、説明を簡単にするためにカメラ51は手形状を真上から撮影するものとする。
Y軸方向位置算出部53は撮影された手形状を参照して所定部分(例えば薬指の指先)のY軸方向位置yを算出する。Y軸方向位置yは、操作面とディスプレイ画面の座標変換式を予め記憶しておき、この変換式を用いて算出することができる。
3D画像生成部55は3D画像データに基づいて道路の消失点DPのY座標(=Y0)を計算して手形状スケール変換部54に入力するとともに、3D画像を発生する。手形状スケール変換部54は(1)式に基づいてスケールSを計算し、該スケールに基づいて手形状のスケールを変換し、手形状発生部56はスケール変換された手形状データに基づいて手形状画像を発生する。画像合成部57は3D画像3DIMの上に手形状画像10が表示されるように(図4(A))参照)、両画像を合成してモニター58に表示する。
ユーザは操作面11上で手を移動し、指で所望の画像(例えば建物)を指示して該操作面を押下すると、タブレットで構成されている操作面11は押下された位置を識別してデータ入力部25に入力する。データ入力部25は、押下された位置と表示している3D画像とに基づいて入力データを識別して制御部に入力する。
なお、奥行き感をより強調するため、手形状を小さくしていくのと同時に、「手の甲」部分を強調し、「指」部分を小さく表現する。具体的には、図9に示すように、奥行きが深くなると、相対的に手の甲部分の面積を大きくし、指部分の面積が小さくなるようにする。また、3D画像表示が、左側あるいは右側へ傾いた場合も同様に制御する。たとえば、右側へ傾いた場合には、"手"の左側部分の相対面積を大きく、右側を小さく表示する。
以上第2実施例によれば、三次元画像データを用いて道路を含む三次元画像を発生し、操作面におけるユーザの手形状をカメラで撮影し、手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生するようにしたから、遠近感を持たせて手形状を表示することができ、違和感のない手形状表示が可能になった。
以上の説明では、手形状として手を開いた場合について説明したが、手形状は開いた場合に限るものではない。
本発明の第1実施例の概略説明図である。 第1実施例のデータ入力装置の構成図である。 手形状を赤外線発光/受光素子を用いて取得する例である。 第2実施例の概略説明図である。 第2実施例の概略説明図(視点位置が高い場合)である。 奥行き感の説明図である。 消失点の位置とスケールの関係説明図である。 第2実施例のデータ入力装置の構成図である。 変形例の表示例である。 操作面を用いたデータ入力装置の説明図である。 手形状をカメラで真上から撮影する状態説明図である。 手形状を前方からカメラで撮影する状態説明図である。 手形状を同一スケール表示する従来の問題点説明図である。
符号の説明
11 操作面
13 カメラ
21 手形状画像発生部
21a カメラ映像保存部
21b 指先位置算出部
21c 手形状取得部
21d 手形状保存部
21e 手形状発生部
22 メニュー/スイッチ画像作成部
23 画像合成部
24 モニター
25 データ入力部

Claims (2)

  1. 操作面におけるユーザの手形状画像をディスプレイ画面に表示し、ディスプレイ画面上に表示されている画像を指で選択してデータを入力するデータ入力装置において、
    手形状を保存する手形状保存部、
    操作面におけるユーザの手形状を撮影するカメラ、
    カメラで撮影した手形状の少なくとも2つの特定部分のディスプレイ画面上における位置を計算し、前記手形状保存部に保存されている手形状の2つの特定部分が該計算位置に来るように手形状画像を発生する手形状画像発生部、
    データ入力用の操作画像を発生す操作画像発生部、
    ディスプレイ画面において該操作画像上に前記手形状画像を重ねて表示する画像合成部、
    指で指示された画像に応じたデータを入力するデータ入力部、
    を有することを特徴とするデータ入力装置。
  2. 前記操作画像発生部は操作画像として三次元画像データを用いて道路を含む三次元画像を発生し、
    前記手形状画像発生部は前記手形状のディスプレイ画面上の位置と前記道路の消失点の位置とから手形状のスケールを変更して該手形状画像を発生し、
    前記画像合成部は、ディスプレイ画面において前記三次元画像上に前記手形状画像を重ねて表示する
    ことを特徴とする請求項1記載のデータ入力装置。
JP2006201543A 2006-07-25 2006-07-25 データ入力装置 Expired - Fee Related JP4757132B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006201543A JP4757132B2 (ja) 2006-07-25 2006-07-25 データ入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006201543A JP4757132B2 (ja) 2006-07-25 2006-07-25 データ入力装置

Publications (2)

Publication Number Publication Date
JP2008027328A JP2008027328A (ja) 2008-02-07
JP4757132B2 true JP4757132B2 (ja) 2011-08-24

Family

ID=39117880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006201543A Expired - Fee Related JP4757132B2 (ja) 2006-07-25 2006-07-25 データ入力装置

Country Status (1)

Country Link
JP (1) JP4757132B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617448B2 (ja) * 2010-08-31 2014-11-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120326966A1 (en) * 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置

Also Published As

Publication number Publication date
JP2008027328A (ja) 2008-02-07

Similar Documents

Publication Publication Date Title
JP6702489B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
JP4351599B2 (ja) 入力装置
JP4533087B2 (ja) 画像処理方法、画像処理装置
US11003304B2 (en) Information display terminal, information display method and program
US8085243B2 (en) Input device and its method
US8593417B2 (en) Operation apparatus for in-vehicle electronic device and method for controlling the same
JP4783456B2 (ja) 映像再生装置及び映像再生方法
JP6116934B2 (ja) アイコン操作装置
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP4274997B2 (ja) 操作入力装置および操作入力方法
US20110157236A1 (en) Head-mounted display
US9342925B2 (en) Information processing apparatus, information processing method, and program
WO2006013783A1 (ja) 入力装置
JP2010102508A (ja) 入力装置
JPWO2007088939A1 (ja) 情報処理装置
EP3262505B1 (en) Interactive system control apparatus and method
JP2014056462A (ja) 操作装置
JP2006209359A (ja) 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
JP4945694B2 (ja) 映像再生装置及び映像再生方法
JP4757132B2 (ja) データ入力装置
WO2013111280A1 (ja) 表示装置及び表示方法
JP4244202B2 (ja) 操作入力装置および操作入力方法
JP2020091509A (ja) 情報入力装置
JP6801138B1 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
TWM564749U (zh) 車輛多螢幕控制系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110531

R150 Certificate of patent or registration of utility model

Ref document number: 4757132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees