JP3132021B2 - 座標入力装置 - Google Patents

座標入力装置

Info

Publication number
JP3132021B2
JP3132021B2 JP4304291A JP4304291A JP3132021B2 JP 3132021 B2 JP3132021 B2 JP 3132021B2 JP 4304291 A JP4304291 A JP 4304291A JP 4304291 A JP4304291 A JP 4304291A JP 3132021 B2 JP3132021 B2 JP 3132021B2
Authority
JP
Japan
Prior art keywords
image
image signal
hand
touch panel
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4304291A
Other languages
English (en)
Other versions
JPH04262414A (ja
Inventor
聡幸 広井
敏郎 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP4304291A priority Critical patent/JP3132021B2/ja
Publication of JPH04262414A publication Critical patent/JPH04262414A/ja
Application granted granted Critical
Publication of JP3132021B2 publication Critical patent/JP3132021B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は座標入力装置、特にユ
ーザーの手の形状の画像をデイスプレイの画面上にカー
ソルとして表示し、該カーソルを用いてポインテイング
操作を行えるようにした座標入力装置に関する。
【0002】
【従来の技術】コンピュータ等の情報機器の入力装置に
は、ポインテイング操作によってデータ入力を行うもの
がある。このポインテイング操作は、デイスプレイの画
面上に於ける特定の位置の指定、或いは画面上に表示さ
れているコマンドの選択を、マウス、ライトペン、タッ
チセンサ等によって行うものである。
【0003】
【発明が解決しようとする課題】上述の従来技術には、
夫々、以下のような問題点があった。(1) マウス、ライ
トペンに対してマウス、ライトペンを直接、持って操作
しなければならず、また、マウス、ライトペンに接続さ
れているコードが、操作上、邪魔になる。
【0004】(2) タッチセンサに対して一般的に普及し
ているデイスプレイは立型で使用するため、長時間にわ
たってタッチセンサを使用する場合には、デイスプレイ
の画面上に装着されているタッチセンサに対して長時
間、指を接触させていなければならず、非常に疲れる。
また、指でデイスプレイの画面に触れるまでは、カーソ
ルの表示がなされず、望ましいフィードバックがユーザ
ーに対して行われていないために、所望の位置をポイン
テイングしているか否かが不明でユーザーにとっては不
安である。これは、例えば、表示されているメニューが
小さい場合に、特に顕著である。そして、デイスプレイ
の画面上に設けられているタッチセンサに指で直接、触
れなければならないため、画面、即ち、タッチセンサが
汚れ易い。
【0005】従って、この発明の目的は、ユーザー自身
の手の形状の画像をカーソルとしてデイスプレイの画面
上に表示し、該カーソルを見ながらユーザーがポインテ
イング操作を行えるようにした座標入力装置を提供する
ことにある。
【0006】
【課題を解決するための手段】この発明にかかる座標入
力装置は、所定領域に置かれた操作者の特定部位を撮像
して撮像信号を形成する撮像手段と、撮像信号に基づき
操作者の特定部位を検出すると共に、特定部位の画像を
構成する信号を、所定の画像信号に重畳する重畳手段
と、重畳手段によって重畳された画像を表示する表示手
段と、基準位置表示用のマーカを備えると共に、操作者
の特定部位で押圧された位置の位置情報を出力するタッ
チパネルと、撮像信号からマーカを検出して位置の補正
量を求め、補正量に基づいて、タッチパネルから供給さ
れる位置情報を補正する位置情報補正手段と、タッチパ
ネルから出力された位置情報が位置情報補正手段によっ
て補正された位置情報を用いて各種制御を行う制御手段
とを備え、タッチパネルと撮像手段との位置関係は、常
時固定的とされない構成としている。
【0007】
【作用】撮像手段によって撮像し得る所定領域内に、ユ
ーザーが手を延ばしタッチセンサを押圧すると、その状
態が撮像手段により撮像され撮像信号が形成される。
【0008】この撮像信号からは、ユーザーの手の画像
を構成する信号が抽出され、該信号で表されるユーザー
の手の画像が所定の形態、サイズに変換される。そし
て、これに基づいて、ユーザー自身の手の形状の画像を
構成する信号が形成される。このユーザーの手の形状の
画像を構成する信号が、制御手段で形成される画像信号
に重畳され、デイスプレイで表示される。
【0009】従って、デイスプレイでは、制御手段によ
って形成される画像に、ユーザー自身の手の形状の画像
がスーパーインポーズされ表示される。
【0010】また、タッチセンサが押圧されることによ
って形成される位置情報が、タッチセンサに設けられて
いるマーカを検出することで補正される。そして、この
補正された位置情報に基づいて各種制御がなされる。
【0011】
【実施例】以下、この発明の一実施例について図1及び
図2を参照して説明する。図1の構成に於いて、1はタ
ッチセンサとしてのタッチパネルである。ユーザーが、
図中、2で示される指を以てタッチパネル1上の任意の
位置を押圧し指示すると、タッチパネル1からは、指2
の押圧で得られる位置情報が座標データとしてポインテ
イング座標補正部22に供給される。このタッチパネル
1の表面は、望ましくは手4の色を除く単一色とされ、
またタッチパネル1の対角線方向の両端の位置には、基
準位置を示すためのマーカ3が設けられている。
【0012】タッチパネル1に用いられるマーカ3とし
ては、タッチパネル1の表面の色、或いは手4の色と異
なる色で彩色したり、或いは発光或いは点滅手段を用い
るようにしても良い。
【0013】タッチパネル1の上方向〔図1中矢示U方
向〕には、少なくともマーカ3を撮影し得る状態にビデ
オカメラ5が配されている。このビデオカメラ5で撮像
信号が形成されると共に、ビデオカメラ5によって撮像
された画像がデイスプレイ15の画面16にて映出され
る。この撮像信号は、領域検出部7及びマーカ検出部2
0に夫々供給される。
【0014】領域検出部7では、タッチパネル1の表面
の色情報、また、手4の色情報等に基づいて、手4の領
域をシルエット画像として抽出し、2値画像信号が形成
される。2値画像信号が輪郭検出部8及び半透明画像合
成部10に供給される。
【0015】輪郭検出部8では、画像処理によって、手
4の輪郭を表わす輪郭画像信号が形成される。この輪郭
画像信号が画像合成部9に供給される。
【0016】コントローラ部11では、所望の画像信号
が形成される。この画像信号が画像合成部9及び半透明
画像合成部10に供給される。
【0017】画像合成部9では、輪郭画像信号がコント
ローラ部11から供給される画像信号に重畳される。重
畳に先立って、輪郭画像信号によって表される手4の画
像が任意のサイズに変換されている。そして、輪郭画像
信号の重畳されている画像信号がスイッチ回路12の端
子12aに供給される。
【0018】半透明画像合成部10では、2値画像信号
がコントローラ部11から供給される画像信号に重畳さ
れる。重畳に先立って、2値画像信号よって表される手
4の画像が任意のサイズに変換されている。この結果、
手4のシルエットである2値画像が画像信号に半透明の
状態で重畳される。そして、2値画像信号の重畳されて
いる画像信号がスイッチ回路12の端子12bに供給さ
れる。
【0019】図示せぬコントローラによって、切り換え
られるスイッチ回路12を介して、画像合成部9或いは
半透明画像合成部10から供給される画像信号がデイス
プレイ15に供給される。
【0020】デイスプレイ15では、画面16上に、コ
ントローラ部11で形成される画像18に、カーソルと
しての手の画像17が重畳されてなる映像が映出され
る。この手の画像17は、画像信号が画像合成部9から
スイッチ回路12を介して供給されている場合には手4
の輪郭が表示され、一方、半透明画像合成部10からス
イッチ回路12を介して供給されている場合には手4の
半透明のシルエットが表示される。このようにして、デ
イスプレイ15の画面16上に、カーソルとしての手の
画像17が手4の輪郭或いは半透明のシルエットの状態
で表示される。
【0021】上述のタッチパネル1は、常時、固定され
ているものではなく、ユーザーが使用時に図示の位置に
置くものである。従って、デイスプレイ15の画面16
に表示される、カーソルとしての手の画像17の位置
と、タッチパネル1上に於ける位置との間に誤差が発生
する。
【0022】例えば、図2中、実線で示される領域がビ
デオカメラ5によって撮像される範囲〔以下、カメラ画
像領域と称する〕AR1とし、図2中、一点鎖線で示され
る領域AR2がタッチパネル1の部分であるとする。ま
た、図2中、カメラ画像領域AR1の基準位置をPS1と
し、この基準位置PS1に基づいて定められる位置を所定
位置PA1となす。また、領域AR2の基準位置をPS2〔例
えば、マーカ3の位置〕とし、上述の所定位置PA1に対
応し且つ基準位置PS2に基づいて設定される位置を所定
位置PA2とする。
【0023】この場合、図示のように置かれた手4はビ
デオカメラ5によって撮像されると共に、カメラ画像領
域AR1内の置かれた位置に対応して、そのままデイスプ
レイ15の画面16に表示される。
【0024】しかしながら、図2に示されるように、カ
メラ画像領域AR1内の座標と、該カメラ画像領域AR1に
対して傾いた状態で置かれたタッチパネル1の座標の間
には、ズレが発生する。例えば、デイスプレイ15の画
面16上で上述の所定位置PA1の位置を示すためには、
タッチパネル1上では所定位置PA2を押さなければなら
ない。従って、このような座標のズレを補正するキャリ
ブレーション操作を行う必要がある。
【0025】このキャリブレーション操作は、以下のよ
うにして行われる。マーカ検出部20では、ビデオカメ
ラ5から供給される撮像信号に基づいて、基準位置PS2
としてのマーカ3の検出がなされる。検出されると、カ
メラ画像AR1内に於ける位置を表す検出信号が座標補正
量計算部21に供給される。マーカ3の検出に際して
は、前述したようなタッチパネル1の表面の色または手
4の色と異なる色の彩色による色情報によって、或いは
マーカ3の点滅によってマーカ3の分離がなされる。
【0026】座標補正量計算部21では、図2中、カメ
ラ画像領域AR1に於けるマーカ3の位置がカメラ画像領
域AR1に於ける座標データとして求められる。これによ
って、座標補正量が求められる。図2の例では、座標補
正量が矢示X方向、Y方向について求められる。この座
標補正量がポインテイング座標補正部22に供給され
る。尚、カメラ画像領域AR1はデイスプレイ15の表示
領域と一致せしめられている。
【0027】ポインテイング座標補正部22では、タッ
チパネル1から供給される座標データが上述の座標補正
量によって補正される。これによって、タッチパネル1
から供給される座標データに対応し且つカメラ画像領域
AR1に於ける正しい座標データが求められる。そして、
この新しい座標データがコントローラ部11に供給され
る。
【0028】コントローラ部11では、補正された新た
な座標データが、ユーザーによって指示された位置の座
標データとして取込まれる。そして、コントローラ部1
1に於ける種々の処理に際しては、上述の補正された新
たな座標データが用いられる。
【0029】この一実施例によれば、半透明のシルエッ
ト或いは手4の輪郭に変換され更にサイズの変換されて
なるユーザーの手の画像17の信号が、コントローラ部
11にて形成される画像信号に重畳される。従って、ユ
ーザーの手の画像17が、コントローラ部11にて形成
された画像18に重畳された状態で、デイスプレイ15
の画面16上に表示されるので、ユーザーは、自身の手
の形状の画像をカーソルとして見ながらデイスプレイ1
5の画面16上の位置を指示する、いわゆるポインテイ
ング操作を行うことができる。
【0030】また、カメラ画像領域AR1の座標と、タッ
チパネル1の座標の間にズレが発生しても、座標のズレ
を補正するキャリブレーション操作が自動的になされる
ので、ユーザーがデイスプレイ15の画面16上にて意
図した所望の位置の座標データを正確に出力することが
でき、補正された新たな座標データをコントローラ部1
1等に於ける各種制御に用いることができる。
【0031】これによって、従来のマウス、ライトペン
を使用する場合のように、ポインテイングデバイスを直
接、持って操作する必要がなく、また、コード、ケーブ
ル等が接続されていないので、操作上の邪魔にならな
い。
【0032】そして、従来のタッチセンサを使用する場
合のように、デイスプレイ15の画面16上に指を接触
させる必要がないので、疲れず、画面の汚れを防止でき
る。更に、デイスプレイ15の画面16上に指を接触さ
せなくとも、ユーザー自身の手の形状の画像がカーソル
として表示されるので、表示されているメニューの大小
に係わらず、ポインテイングしている位置を明確に確認
でき、ユーザーの不安感を解消できる。
【0033】
【発明の効果】この発明にかかる座標入力装置では、ユ
ーザー自身の手の形状の画像が所定の形態、サイズに変
換された後、制御手段にて形成される画像に重畳された
状態で、デイスプレイに表示されるので、ユーザーは、
自身の手の形状の画像をカーソルとして見ながらデイス
プレイ上の位置を指示することができ、ポインテイング
操作を行えるという効果がある。
【0034】また、カメラ画像領域の座標と、タッチサ
ンセの座標の間にズレが発生しても、座標のズレを補正
するキャリブレーション操作が自動的になされるので、
ユーザーがデイスプレイにて意図する所望の位置の座標
データを正確に出力でき、そして、補正された新たな座
標データを各種制御に用いることができるという効果が
ある。
【0035】これによって、従来のマウス、ライトペン
を使用する場合のように、ポインテイングデバイスを直
接、持って操作する必要がなく、また、コード、ケーブ
ル等が接続されていないので、操作上の邪魔にならない
という効果がある。
【0036】そして、従来のデイスプレイの画面に装着
されているタッチセンサを使用する場合のように、デイ
スプレイの画面上に指を接触させる必要がないので、疲
れず、また、画面の汚れを防止できるという効果があ
る。
【0037】更に、デイスプレイの画面上に指を接触さ
せなくとも、ユーザー自身の手の形状の画像が、カーソ
ルとして表示されるので、表示されているメニューの大
小に係わらず、ポインテイングしている位置を明確に確
認でき、不安感を解消できるという効果がある。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】キャリブレーションを説明する図である。
【符号の説明】
1 タッチパネル 3 マーカ 4 手 5 ビデオカメラ 7 領域検出部 8 輪郭検出部 9 画像合成部 10 半透明画像合成部 11 コントローラ部 15 デイスプレイ 17 手の画像 20 マーカ検出部 21 座標補正量計算部 22 ポインテイング座標補正部 AR1 カメラ画像領域 AR2 領域
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−132510(JP,A) 特開 昭63−167923(JP,A) 特開 平3−9421(JP,A) 特開 昭64−15822(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/033 - 3/037 G06F 3/00 G06F 3/03

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 所定領域に置かれた操作者の特定部位を
    撮像して撮像信号を形成する撮像手段と、 上記撮像信号に基づき上記操作者の特定部位を検出する
    と共に、上記特定部位の画像を構成する信号を、所定の
    画像信号に重畳する重畳手段と、 上記重畳手段によって重畳された画像を表示する表示手
    段と、基準位置表示用のマーカを備えると共に、上記操作者の
    特定部位で押圧された位置の位置情報を出力するタッチ
    パネルと、 上記撮像信号から上記マーカを検出して位置の補正量を
    求め、該補正量に基づいて、上記タッチパネルから供給
    される位置情報を補正する位置情報補正手段と、 上記タッチパネルから出力された上記位置情報が上記位
    置情報補正手段によって上記補正 された位置情報を用い
    て各種制御を行う制御手段とを具備し、 上記タッチパネルと上記撮像手段との位置関係は、常時
    固定的とされない ことを特徴とする座標入力装置。
JP4304291A 1991-02-15 1991-02-15 座標入力装置 Expired - Fee Related JP3132021B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4304291A JP3132021B2 (ja) 1991-02-15 1991-02-15 座標入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4304291A JP3132021B2 (ja) 1991-02-15 1991-02-15 座標入力装置

Publications (2)

Publication Number Publication Date
JPH04262414A JPH04262414A (ja) 1992-09-17
JP3132021B2 true JP3132021B2 (ja) 2001-02-05

Family

ID=12652851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4304291A Expired - Fee Related JP3132021B2 (ja) 1991-02-15 1991-02-15 座標入力装置

Country Status (1)

Country Link
JP (1) JP3132021B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088018A (en) * 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
DE102005024143A1 (de) * 2005-05-23 2006-12-07 Martin Altmeyer Verfahren und Vorrichtung zum Erzeugen von optischen Effekten auf einem zweidimensionalen Gegenstand
JP5201999B2 (ja) * 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
JP5976145B2 (ja) * 2015-02-05 2016-08-23 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに記録媒体

Also Published As

Publication number Publication date
JPH04262414A (ja) 1992-09-17

Similar Documents

Publication Publication Date Title
JP3419050B2 (ja) 入力装置
US9727173B2 (en) Projection device, projection method, and projection program
JP6159323B2 (ja) 情報処理方法及び情報処理装置
JP3262677B2 (ja) 情報入力装置
US8085243B2 (en) Input device and its method
TWI450132B (zh) A portrait recognition device, an operation judgment method, and a computer program
US9218124B2 (en) Information processing apparatus, information processing method, and program
US20010030668A1 (en) Method and system for interacting with a display
JP5808712B2 (ja) 映像表示装置
JP3289072B2 (ja) ベクトル入力装置
WO2006013783A1 (ja) 入力装置
JPH08115153A (ja) パラメータ入力装置
JP2003288156A (ja) 入力装置
US20040046747A1 (en) Providing input signals
JP3132021B2 (ja) 座標入力装置
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
JP3228584B2 (ja) タッチパネルにおけるマウス入力方式
JP4663039B2 (ja) 位置入力装置
JP4600485B2 (ja) 装置
JPH0424726A (ja) タッチスクリーンのカーソル表示装置
JP3014478U (ja) マウス
JP2015219609A (ja) 情報処理方法、情報処理装置及び記録媒体
JP2009104612A (ja) 装置
JPH08221192A (ja) 情報入力装置
JPH06195169A (ja) 電子計算機の入力装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071124

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081124

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees