JPH07160412A - 指示位置検出方法 - Google Patents

指示位置検出方法

Info

Publication number
JPH07160412A
JPH07160412A JP30957393A JP30957393A JPH07160412A JP H07160412 A JPH07160412 A JP H07160412A JP 30957393 A JP30957393 A JP 30957393A JP 30957393 A JP30957393 A JP 30957393A JP H07160412 A JPH07160412 A JP H07160412A
Authority
JP
Japan
Prior art keywords
reference object
information
image
extracted
pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30957393A
Other languages
English (en)
Inventor
Yasuhito Suenaga
康仁 末永
Masaaki Fukumoto
雅朗 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP30957393A priority Critical patent/JPH07160412A/ja
Priority to KR1019940031702A priority patent/KR950015140A/ko
Publication of JPH07160412A publication Critical patent/JPH07160412A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 情報入力用の処理対象領域が図示されたTV
カメラの視野領域に限られず、かつ操作上の負担が軽減
された指示位置検出方法を提供する。 【構成】 まず、基準物体15の縦および横の寸法の情
報18を計算機12にあらかじめ入力しておく。次に、
TVカメラ11によって処理対象画像を取り込み、基準
物体画像を抽出する。次に、抽出された基準物体画像の
四隅A〜Dの部分を認識し、座標値を算出する。次に、
処理対象画像から手の領域を抽出する。次に、抽出され
た手の画像から指示部分を認識し、その座標値(X,
Y)を算出する。最後に、このようにして検出された四
隅A〜Dの座標値、指示部分の座標値および基準物体情
報18を利用して指先部分の正規化された位置情報20
を算出する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、3次元空間内の指示位
置の検出方法に関する。
【0002】
【従来の技術】本発明者らは、先に、3次元空間内の指
示位置の検出方法として、特開平5−19957号「情
報の入力方法」を出願した。これは、図6に示すよう
に、複数台のTVカメラ、例えば2台のTVカメラ51
と52をそれぞれ天井と壁に配置し、TVカメラ51,
52を用いて操作者59の手56の映像を取り込み情報
入力装置53で処理することによって指先57の位置を
検出し、この位置と基準点58とからスクリーン54上
の指示目標物体55の位置を得るものである。
【0003】一方、TVカメラを入力装置として使用す
る2次元平面上の指示位置検出方法として、特公昭57
−1009号「情報入力方式」がある。これは、図7に
示すように、机や箱の上のTVカメラ61の視野領域全
域を対象とし、その視野領域内の指示器62の位置を検
出するものである。
【0004】
【発明を解決しようとする課題】上述した前者の方法
は、情報入力用の処理対象領域が、固定されたTVカメ
ラの視野領域内に限られるため、毎回、使用する前にあ
らかじめスクリーンの四隅の位置を指示し、これに基づ
いて位置の補正(キャブレーション)を行う必要があ
り、また、手を上げっぱなしにする必要があり、長時間
これを行うのは疲れ、特に、物理的に何もない3次元空
間中で指先を固定するという動作が難しいという欠点が
あった。
【0005】また、上述した後者の方法も、指示情報入
力用の処理対象領域が、固定されたTVカメラの視野領
域内に限られるという欠点があった。
【0006】本発明の目的は、情報入力用の処理対象領
域が自動的に抽出され、かつ操作上の負担が軽減された
指示位置検出方法を提供することにある。
【0007】
【課題を解決するための手段】本発明の指示位置検出方
法は、基準物体の3次元形状および大きさの情報をあら
かじめ計算機に入力しておき、該基準物体上の位置を指
先もしくはペン等の指示物で指示し、このシーンを画像
情報として計算機に入力し、画像処理を行うことによっ
て該画像中の前記基準物体を検出するとともに前記指先
もしくはペン等の指示物による画像内の指示位置を検出
し、前記基準物体の3次元形状および大きさの情報を利
用して該指示位置の算出を行う。
【0008】
【作用】本発明は、操作者が自由に持ち運ぶことのでき
る基準物体を使用することとし、この基準物体と指先や
ペンがTVカメラの視野内に入ってさえいれば、それを
画像としてとらえ、処理することにより、指示位置の検
出ができるようにしたものである。
【0009】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0010】図1は本発明の指示位置検出方法を実施す
る装置の構成図、図2は手16で基準物体15上の位置
Pを指示している様子をTVカメラ11で撮影している
状態を示す図、図3は処理対象画像21を示す図、図4
は指示情報領域24を示す図、図5は計算機12の処理
を示す流れ図である。
【0011】本実施例は、図2に示すように、白色の矩
形パネルの基準物体15上の点Pを手16で指示したと
きに、図4に示すX−Y平面上の指示情報領域24内の
点Pの位置(X,Y)を求めようとするもので、基準物
体15を撮影するTVカメラ11と、基準物体15の縦
および横の寸法の情報である基準物体情報18とTVカ
メラ11によって取り込まれた処理対象画像21(図
3)を処理することによって点Pの正規化された位置情
報(X,Y)20を算出する計算機12と、ディスプレ
イ14と、位置情報20を表示画像19と合成してディ
スプレイ14に表示する表示制御部13で構成されてい
る。
【0012】次に、本実施例の動作を図5の流れ図にし
たがって説明する。
【0013】まず、基準物体15の縦および横の寸法の
情報18を計算機17にあらかじめ入力しておく。次
に、TVカメラ11によって処理対象画像21を取り込
み、基準物体画像22を抽出する(ステップ31)。抽
出は、差分画像からの抽出や濃度差検出(しきい値を設
定しての処理)、カラーの差の検出等で行う。次に、抽
出された基準物体画像22の四隅A〜Dの部分を認識
し、座標値を算出する(ステップ32)。次に、処理対
象画像22から手16の領域23を抽出する(ステップ
33)。抽出は、ステップ31の場合と同様にして行
う。次に、抽出された手の画像23から指示部分Pを認
識し、その座標値(X,Y)を算出する(ステップ3
4)。次に、このようにして検出された四隅A〜Dの座
標値、指先部分Pの座標値および基準物体情報18を利
用して指先部分Pの正規化された位置情報20を算出す
る(ステップ35)。本実施例のように、矩形パネルの
基準物体15を使用する場合、この位置情報20の計算
は基本的な線形座標変換によって可能である。
【0014】以上の処理は計算機12によって行われ
る。このようにして求められた位置情報20は表示制御
部13により表示画像19と合成され、確認のためにデ
ィスプレイ14に表示される。
【0015】従来方法では、毎回行う必要があった位置
補正(キャリブレーション)が、本実施例では、基準物
体15を抽出することにより自動的に行われるため、使
用者の負担が減少し、操作性が向上する。また、使用者
は基準物体15上に手16を置くことができるため、空
中で長時間手16を保持する必要がない。このため、使
用時の負担が少なく、安定に情報を入力できる。
【0016】なお、本実施例では、基準物体として矩形
パネルを使用する例を述べたが、他の色や形状を有する
物体、例えば、机や箱(上面や側面等を使用)、椅子、
本等を基準物体として使用することも可能である。要す
るに基準物体の形状把握と指先の検出および、たとえ非
線形であっても座標変換さえ正確に実行できさえすれ
ば、あとは原理的に同じことであることは言うまでもな
い。基準物体が立体の場合、立方体ならば「一辺の長
さ」、球ならば「半径(直径)」が基準物体情報とな
る。
【0017】また、基準物体の撮影において、基準物体
と指先とが必ずしも接触していなくてもよい。すなわち
図2に示すように、両者がTVカメラ11の視野17に
入っていればよい。
【0018】また、基準物体の位置だけでなく姿勢も自
由である。例えば、矩形パネルを基準物体として用いた
場合、それは床面に平行である必要は全くない。
【0019】また、基準物体が複数個ある場合には、そ
のとき、そのときに指示された基準物体にのみ着目する
ようにしさえすればよく、一般に複数個の基準物体を同
時に利用できる。例えば、机や箱の上面と側面とを別の
基準物体と考えて扱ってもよいし、あるいは、机や箱全
体を3次元形状および寸法が既知の1つの3次元物体と
して扱ってもよい。この場合、基準物体情報18には、
複数の基準物体の情報が含まれていて、計算機12は、
抽出された基準物体の画像に対応する情報を選択できる
ようになっている必要がある。
【0020】また、基準物体を追いかけるように、必要
に応じ、視線移動、ズーム等の視野調整機構つきTVカ
メラを使用し、これを計算機で追従制御するようにすれ
ば、より精度よく狙った部分のみを拡大して画像入力を
行なうことができ、より高い精度で指示点の位置を抽出
することが可能である。
【0021】さらに、前記の実施例では、正規化指示位
置情報20として、指示点Pの2次元位置情報(X,
Y)のみを抽出するという簡単化された場合について説
明したが、一般には、基準物体の3次元形状と位置が特
定できれば指示点の空間内での3次元座標値(X、Y、
Z)を求めることができることは言うまでもない。これ
により、例えば、机や箱の上面と側面にわたって連続的
に位置を変えて指示を行ったりすることが可能である。
【0022】
【発明の効果】以上説明したように、本発明は、以下に
示すような効果がある。 (1)請求項1の発明は、操作者が自由に持ち運ぶこと
ができる基準物体を使用して指示位置を検出することに
より、位置補正が自動的に行なわれ、かつ基準物体上に
手を置くことができるため、操作上の負担を軽減して指
示位置を安定、かつ正確に検出できる。 (2)請求項2の発明は、複数の基準物体をあらかじめ
用意しておくことにより、各種物体を利用して指示位置
を検出できる。 (3)請求項3の発明は、検出された基準物体を追いか
けるように、視野移動、ズーミング等の画像入力視野領
域の調整を行うことにより、指示点の位置をより高い精
度で検出することができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示すブロック図である。
【図2】手16で基準物体15上の位置Pを指示してい
る様子をTVカメラ11で撮影している状態を示す図で
ある。
【図3】処理対象画像21を示す図である。
【図4】指示情報領域24を示す図である。
【図5】計算機12の処理を示す流れ図である。
【図6】特開平5−19957号を示す図である。
【図7】特公昭57−1009号を示す図である。
【符号の説明】
11 TVカメラ 12 計算機 13 表示制御部 14 ディスプレイ 15 基準物体 16 手 17 TVカメラ11の視野 18 基準物体情報 19 表示画像 20 正規化指示位置情報 21 処理対象画像 22 基準物体画像 23 手の画像 24 指示情報領域 31〜35 ステップ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 基準物体の3次元形状および大きさの情
    報をあらかじめ計算機に入力しておき、該基準物体上の
    位置を指先もしくはペン等の指示物で指示し、このシー
    ンを画像情報として計算機に入力し、画像処理を行うこ
    とによって該画像中の前記基準物体を検出するとともに
    前記指先もしくはペン等の指示物による画像内の指示位
    置を検出し、前記基準物体の3次元形状および大きさの
    情報を利用して該指示位置の算出を行う指示位置検出方
    法。
  2. 【請求項2】 複数の基準物体を使用し、前記画像情報
    中からどの基準物体が実際に指示されたかを識別した
    上、その基準物体の3次元形状および大きさの情報を利
    用して該指示位置の算出を行う請求項1記載の指示位置
    検出方法。
  3. 【請求項3】 検出された該基準物体を追いかけるよう
    に、視線移動、ズーミング等の画像入力視野領域の調整
    を行い、高精度な情報を抽出する請求項1または2記載
    の指示位置検出方法。
JP30957393A 1993-11-30 1993-12-10 指示位置検出方法 Pending JPH07160412A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP30957393A JPH07160412A (ja) 1993-12-10 1993-12-10 指示位置検出方法
KR1019940031702A KR950015140A (ko) 1993-11-30 1994-11-29 이미지 정보를 암호화하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30957393A JPH07160412A (ja) 1993-12-10 1993-12-10 指示位置検出方法

Publications (1)

Publication Number Publication Date
JPH07160412A true JPH07160412A (ja) 1995-06-23

Family

ID=17994661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30957393A Pending JPH07160412A (ja) 1993-11-30 1993-12-10 指示位置検出方法

Country Status (1)

Country Link
JP (1) JPH07160412A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
EP0844552A1 (en) * 1996-11-26 1998-05-27 Sony Corporation Information input method and apparatus
JPH10207619A (ja) * 1997-01-22 1998-08-07 Toshiba Corp ユーザインタフェース装置及び操作範囲呈示方法
US6385331B2 (en) * 1997-03-21 2002-05-07 Takenaka Corporation Hand pointing device
JP2004246574A (ja) * 2003-02-13 2004-09-02 Fuji Photo Optical Co Ltd プレゼンテーション装置
US7113193B2 (en) 2000-07-21 2006-09-26 Sony Computer Entertainment Inc. Method for color transition detection
JPWO2010038822A1 (ja) * 2008-10-01 2012-03-01 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012150635A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 位置検出システム、表示システム及び情報処理システム
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
EP0844552A1 (en) * 1996-11-26 1998-05-27 Sony Corporation Information input method and apparatus
JPH10207619A (ja) * 1997-01-22 1998-08-07 Toshiba Corp ユーザインタフェース装置及び操作範囲呈示方法
US6385331B2 (en) * 1997-03-21 2002-05-07 Takenaka Corporation Hand pointing device
US7113193B2 (en) 2000-07-21 2006-09-26 Sony Computer Entertainment Inc. Method for color transition detection
JP2004246574A (ja) * 2003-02-13 2004-09-02 Fuji Photo Optical Co Ltd プレゼンテーション装置
JPWO2010038822A1 (ja) * 2008-10-01 2012-03-01 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP5594733B2 (ja) * 2008-10-01 2014-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8884924B2 (en) 2008-10-01 2014-11-11 Sony Corporation Information processing apparatus, information processing method, information recording medium, and program
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US11478706B2 (en) 2010-05-11 2022-10-25 Sony Interactive Entertainment LLC Placement of user information in a game space
JP2012150635A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 位置検出システム、表示システム及び情報処理システム

Similar Documents

Publication Publication Date Title
JP4278979B2 (ja) ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム
US7161596B2 (en) Display location calculation means
JP3419050B2 (ja) 入力装置
KR100869447B1 (ko) 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
CN110162236B (zh) 虚拟样板间的展示方法、装置及计算机设备
US10599920B2 (en) Automated digital magnifier system with hand gesture controls
JP5368585B2 (ja) 情報処理装置、その方法、および、表示装置
JP2001125738A (ja) プレゼンテーション制御システム及びその制御方法
KR20080104100A (ko) 카메라와 마크 출력에의한 포인팅 장치
JP2001128057A (ja) カメラ制御用ユーザインタフェースシステム
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JPH04271423A (ja) 情報入力方法
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
JP4593172B2 (ja) カメラ制御装置
JP6381361B2 (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
JPH07160412A (ja) 指示位置検出方法
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
TW578031B (en) Projection system with an image capturing device
KR102063408B1 (ko) 가상 객체와의 상호 작용을 위한 방법 및 장치
US11106278B2 (en) Operation method for multi-monitor and electronic system using the same
KR20220014513A (ko) 다면 스크린 프로젝션 기반 3차원 제어 시스템 및 그 방법
TW201520887A (zh) 電子裝置及顯示內容更新方法
WO2023275920A1 (ja) トリガー信号発生装置及び携帯端末
Fan et al. A virtual touching scheme for interactive TV using a consumer depth camera
JP4854033B2 (ja) 撮影画像処理システムと表示画像生成プログラム