JP5014848B2 - 映像パターンを利用したポインティング入力装置、方法、およびシステム - Google Patents

映像パターンを利用したポインティング入力装置、方法、およびシステム Download PDF

Info

Publication number
JP5014848B2
JP5014848B2 JP2007072098A JP2007072098A JP5014848B2 JP 5014848 B2 JP5014848 B2 JP 5014848B2 JP 2007072098 A JP2007072098 A JP 2007072098A JP 2007072098 A JP2007072098 A JP 2007072098A JP 5014848 B2 JP5014848 B2 JP 5014848B2
Authority
JP
Japan
Prior art keywords
coordinates
pointing input
video
display area
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007072098A
Other languages
English (en)
Other versions
JP2007257639A (ja
Inventor
東 ▲ぎょん▼ 南
浩 濬 兪
宇 鍾 ▲ちょう▼
文 植 鄭
昌 洙 金
先 基 洪
用 國 朴
正 ▲ひょん▼ 沈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020070000795A external-priority patent/KR20070095179A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007257639A publication Critical patent/JP2007257639A/ja
Application granted granted Critical
Publication of JP5014848B2 publication Critical patent/JP5014848B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法に関し、より詳しくはポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に存在するマウスポインタの動きを提供するポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法に関するものである。
ダイレクトポインティング入力装置(Direct Pointing Device)とは、デジタルTVのようなディスプレイ装置のディスプレイ領域を抽出し、そこから現在ポインティングされている地点に対して画面内における位置を検出して、ディスプレイ装置の画面に表示されるポインタの位置を制御することができる入力装置をいう。
ダイレクトポインティング入力装置はユーザによってポインティングされる地点にポインタが表示される絶対マッピング(Direct Mapping)方式を使用するため、マウス、キーパッドなどのような相対マッピング(Relative Mapping)方式のポインティング入力装置に比べて、ポインタの位置をより迅速かつ簡単に操作することができ、遠隔でポインタの位置を制御することができるという長所がある。
特許文献1では、プロジェクタから投射されてスクリーン上に映された映像と、レーザポインタから投射されてスクリーン上に映されたレーザ映像との重なった映像をスクリーンを介して反射させてマウスレーザポインタの位置を決定することにより、一般的なレーザポインタの役割だけでなくマウスのような役割を行うことができるようにしたマウスレーザポインタの位置決定装置および方法を開示している。しかし、これは重なった映像に含まれているスクリーン上に映された映像とコンピュータの映像を比べた後、重なった映像におけるレーザ映像の位置を利用してマウスレーザポインタの位置を決定するため、映像比較のための多くの演算量が発生し得る。
したがって、ポインティング入力装置のポインタの動きに対応するように、ディスプレイ領域に存在するグラフィックオブジェクトの動きを制御したり効率的に選択し得る改善された発明の登場が要求される。
韓国公開特許第2004−025992号公報
本発明は、ポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に表示されたマウスポインタの動きを提供してオブジェクトを選択することを目的とする。
また、本発明は複数のポインティング入力装置によって複数のマウスポインタを同時に制御し、これによって複数のオブジェクトを選択できるようにすることを目的とする。
本発明の目的は以上に言及した目的に制限されず、言及していないさらなる目的は下記によって当業者に明確に理解できるのである。
前記目的を達成するために、本発明の実施形態によるポインティング入力装置は、認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえて前記映像パターンの範囲を感知する映像受信部と、前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する座標抽出部、および前記抽出された座標を送信する送信部を含む。
本発明の実施形態によるポインタ制御装置は、ディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信する受信部と、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部、および前記絶対的な座標に前記マウスポインタを移動させるポインタ動作部を含む。
本発明の実施形態による映像パターン発生装置は、ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する映像パターン生成部、および前記映像パターンを出力する映像パターン出力部を含む。
本発明の実施形態によるポインティング入力方法は、(a)認識された大きさのディスプレイ領域上に表示された所定の映像パターンを捕らえるステップと、(b)前記映像パターンの範囲を感知するステップと、(c)前記映像パターンの中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するステップ、および(d)前記抽出された座標を送信するステップを含む。
本発明の実施形態によるポインタ制御方法は、ディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信するステップと、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定するステップ、および前記絶対的な座標に前記マウスポインタを移動させるステップを含む。
本発明の実施形態による映像パターン発生方法は、ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成するステップ、および前記映像パターンを出力するステップを含む。
本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して前記ディスプレイ領域上に出力する映像パターン発生装置、および前記映像パターンを感知して前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置を含む。
本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置、および前記ポインティング入力装置から少なくとも1つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置を含む。
本発明の実施形態によるポインティング入力システムは、認識された大きさのディスプレイ領域上に表示され、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成して前記ディスプレイ領域上に出力する映像パターン発生装置と、前記映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置、および前記ポインティング入力装置から少なくとも1つ以上のマウスポインタの座標を受信して前記マウスポインタを制御するポインタ制御装置を含む。
その他、実施形態の具体的な事項は詳細な説明および図面に含まれている。
前述したように、本発明のポインティング入力装置、ポインタ制御装置、映像パターン発生装置、ポインティング入力方法、ポインタ制御方法および映像パターン発生方法によれば、次のような効果が1つあるいはそれ以上ある。
第一に、ポインティング入力装置によって指し示されるポインティング地点の動きに応じて、ディスプレイ領域に表示されたマウスポインタの動きを提供することにより、ユーザが容易にマウスポインタによって選択されたグラフィックオブジェクトを制御できるようにするという長所がある。
第二に、複数のポインティング入力装置によって複数のマウスポインタが同時に制御されることにより、複数のユーザが異なるマウスポインタを利用して選択されたグラフィックオブジェクトを制御できるようにするという長所がある。
本発明の利点および特徴、そしてそれらを達成する方法は添付する図面とともに詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示される実施形態に限定されず、相異なる多様な形態によって具現でき、単に本実施形態は本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同じ参照符号は同じ構成要素を示す。
以下、添付する図面を参照して本発明の好ましい実施形態を詳細に説明する。
図1は本発明の実施形態によるポインタとグラフィックオブジェクトの動きを示す概念図であって、ポインタ130の動きに応じてグラフィックオブジェクト120の動きを提供するためのシステムはポインティング入力装置200、ポインタ制御装置400、プロジェクタ900およびディスプレイ装置100を含んで構成される。
ポインタ制御装置400はポインティング入力装置200がディスプレイ領域110の範囲を判断し得るようにする映像パターン111,112,113,114、グラフィックオブジェクト120およびマウスポインタ130を生成する役割をする。
ここで、ポインタ制御装置400として中央処理装置(CPU)が内蔵された個人用コンピュータ(PC)が利用できる。これにより、ユーザはポインタ制御装置400に連結されているマウス590を利用してマウスポインタ130の動きを制御し、マウス590に備えられているボタンを利用してドラッグ・アンド・ドロップでグラフィックオブジェクト120の動きを制御することもできる。
ユーザはポインティング入力装置200を利用してディスプレイ領域110の所定地点をポインティングすることができるが、このとき、ポインティング入力装置200はディスプレイ領域110の映像パターン111,112,113,114を利用してポインティングされた地点を認識できるようになる。
ここで、ポインティング入力装置200は表示された映像パターン111,112,113,114を分析して映像パターン111,112,113,114の範囲を判断することができるが、これを利用して認識されたディスプレイ領域110上においてポインティングされた地点の座標を抽出することができる。また、ポインティング入力装置200はディスプレイ領域110の実際の大きさを利用して、実際のディスプレイ領域110上においてポインティングされた地点の実際の座標を抽出することもできる。
ポインタ制御装置400とポインティング入力装置200は無線または有線で互いに通信するが、ポインティング入力装置200は自身が抽出したポインティングされた地点の座標をポインタ制御装置400に送信する。これにより、ポインタ制御装置400は受信した座標を実際のディスプレイ領域の座標として変換する。このとき、ポインティング入力装置200に備えられているボタンによる制御信号がポインタ制御装置400に送信された場合、ポインタ制御装置400はマウス590のボタン選択イベント(Button Down Event)を発生させてグラフィックオブジェクト120に対するドラッグ・アンド・ドロップを行うこともできる。
例えば、ポインティング入力装置200によってポインティングされた地点にグラフィックオブジェクト120が存在し、ユーザがポインティング入力装置200に備えられているボタンを選択した状態でポインティング地点の位置を移動させれば、ポインティング入力装置200は表示された映像パターン111,112,113,114を分析してその範囲を判断した後、ポインティングされた地点の認識されたディスプレイ領域上においてポインティングされた地点の座標を抽出する。そして、抽出された座標と選択されたボタンによる制御信号をポインタ制御装置400に送信する。すなわち、移動中であるポインティング地点の座標とボタンの制御信号が持続的に送信される。
これにより、ポインタ制御装置400は制御信号の受信によってマウスボタン選択イベントを発生させ、受信した座標をマウスポインタ130の実際の座標として変換させる。一般的に、マイクロソフト社のオペレーティングシステムのウィンドウズ(登録商標)およびマッキントッシュ社のオペレーティングシステムのマック(登録商標)の場合、マウス左側ボタン選択イベントが発生された状態でマウスポインタ130が移動すればドラッグを行うが、このように、ポインタ制御装置400は実際の座標として変換された座標にマウスポインタ130を移動させてグラフィックオブジェクト120に対するドラッグを行うようになる。
ここで、グラフィックオブジェクト120の移動を例にあげているが、これは例示的なものに過ぎず、マウスポインタ130の相対的な座標およびボタンによる制御信号がポインタ制御装置400に送信されることにより、描きおよびオブジェクト選択(複数のアイコンが表示された状態で一部アイコンを選択する場合)などの動作も行われ得る。
ポインタ制御装置400によって生成されたグラフィックオブジェクト120およびマウスポインタ130などの映像はプロジェクタ900に伝送され、プロジェクタ900は受信した映像を出力する。すなわち、受信した映像に対する映写画面を出力する。また、プロジェクタ900には映像パターン発生装置500が備えられ得るが、映像パターン発生装置500は可視光線、赤外線または紫外線で具現された映像パターン111,112,113,114を生成して出力する。
ディスプレイ装置100はプロジェクタ900から出力されたグラフィックオブジェクト120およびマウスポインタ130などの映写画面を表示し、映像パターン発生装置500から出力された映像パターンを表示する。このとき、プロジェクタ900によって映写画面が出力される場合、ディスプレイ装置100はスクリーンとして代替されて入射光を反射する役割を行うことができる。
一方、ディスプレイ装置100はプロジェクション方式で具現することもできるが、このとき、映像パターン発生装置500はディスプレイ装置100内に挿入され得る。すなわち、ディスプレイ装置100内に挿入された映像パターン発生装置500はプロジェクション画面を介して映像パターン111,112,113,114を透過させることにより、ポインティング入力装置200によって映像パターン111,112,113,114が認識できるようにする。
図2は本発明の実施形態によるポインティング入力装置を示すブロック図であって、ポインティング入力装置200は映像受信部210、座標抽出部220、ボタン部230および送信部240を含んで構成される。
映像受信部210は認識された大きさのディスプレイ領域上に表示された映像パターンを捕らえて映像パターンの範囲を感知する役割をする。このために、映像受信部210はカメラ部211および領域感知部212を含んで構成できる。
カメラ部211は認識された大きさのディスプレイ領域上に表示された映像パターンを捕らえる役割をする。前述したように、映像パターンは可視光線、赤外線または紫外線で具現できる。これにより、映像パターンが可視光線で具現された場合、カメラ部211は一般的なデジタルカメラの役割を行って映像パターンを捕らえることができる。一方、映像パターンが赤外線または紫外線の場合、カメラ部211は赤外線カメラまたは紫外線カメラの役割を行って映像パターンを捕らえることができる。
領域感知部212は映像パターンの範囲を感知する役割をする。例えば、映像パターンを構成する複数の部分映像がディスプレイ領域に配置されている場合、領域感知部212は部分映像の配置を利用して映像パターンの範囲を感知することができる。映像パターンの範囲を感知した後、領域感知部212は映像パターンの中心座標を感知することもできる。
座標抽出部220は映像パターンの中心を基準として、ディスプレイ領域内においてポインティングされた地点の座標を抽出する役割をする。すなわち、座標抽出部220は映像パターンの中心とポインティングされた地点の間の距離を抽出するものであって、実際に座標抽出部220によって抽出される座標は実際の映像パターンの大きさと認識された映像パターンの大きさの比率による座標であり得る。例えば、実際の映像パターンの大きさが10×10であり、認識された映像パターンの大きさが30×30であり、映像パターンの中心を基準としてポインティングされた地点の座標が(20,15)である場合、座標抽出部220によって抽出された座標は(20×(10/30)、15×(10/30)、すなわち(6.67,5)になる。
このように抽出された座標は映像パターンの中心を基準として算出された座標であって、座標抽出部220はディスプレイ領域の実際の大きさを利用して実際のディスプレイ領域上におけるポインティングされた地点の座標を抽出することもできる。例えば、前記のような条件でディスプレイ領域の実際の大きさが100×100であり、映像パターンがディスプレイ領域の中心に配置されている場合、ポインティングされた地点の実際の座標は(50+6.67,50+5)、すなわち(56.67,55)になる。
座標抽出部220によって抽出された座標はディスプレイ領域上に表示されたマウスポインタの座標に対応することができる。すなわち、抽出された座標を受信したポインタ制御装置400は該当座標にマウスポインタを位置させることができる。
ボタン部230はディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令を受信する役割をする。すなわち、ユーザはグラフィックオブジェクトを移動させたりアイコンなどを選択したり絵を描くために、ボタン部230に備えられているボタン(以下、第1ボタンという)を選択することができる。
また、ポインティング入力装置200にはポインティングされた地点に光を放出する光送信部(図示せず)を備え、ボタン部230は光送信部によって光を放出させるボタン(以下、第2ボタンという)を備えることもできる。すなわち、ユーザは第2ボタンを利用してポインティングされた地点から光が反射されるようにしてポインティングされた地点を認識することができ、第1ボタンを利用して表示されたグラフィックオブジェクトを移動させることができる。
送信部240は第1ボタンによって生成された制御信号および座標抽出部220によって抽出された座標のうち少なくとも1つをポインタ制御装置400に送信する役割をする。送信部240とポインタ制御装置400の間の通信方式は、イーサネット(登録商標)、USB、IEEE 1394、直列通信(serial communication)および並列通信(parallel communication)のような有線通信方式が使用でき、赤外線通信、ブルートゥース、ホームRFおよび無線ランのような無線通信方式が使用できる。
図3は本発明の実施形態による多様な形態の映像パターンを示す図面である。
映像パターン310,320,330,340は図3に示すように多様な形態で具現することもできる。すなわち、複数の部分映像で構成された映像パターン310,320を具現することもでき、四角状330または格子状340の1つの映像パターンを具現することもできる。
ここで、映像パターンがディスプレイ装置を介して表示される場合、実際ユーザに視覚的に伝えようとするグラフィックオブジェクトが映像パターンによって遮断されることもあるが、このために映像パターンは赤外線または紫外線で具現できるのは前述した通りである。
図4は本発明の実施形態によるポインタ制御装置を示すブロック図であって、ポインタ制御装置400は映像パターン出力部410、座標決定部420、制御部430、受信部440、イベント発生部450、ポインタ動作部460および出力部470を含んで構成される。
映像パターン出力部410は映像パターンを出力する役割をする。すなわち、図3に示すように複数の部分映像で構成された映像パターンを生成することができ、四角状または格子状の映像パターンを生成することもできる。映像パターン出力部410は図1に示す映像パターン発生装置500の役割を行う。一方、映像パターンはポインタ制御装置400に備えられている映像パターン出力部410でない別途の映像パターン発生装置500によって具現できる。
ここで、実際のディスプレイ領域の大きさおよび映像パターンの大きさはポインティング入力装置200に送信されて、ポインティング入力装置200がディスプレイ領域上においてポインティングされた地点の座標を感知できるようにする。映像パターン出力部410によって出力された映像パターンは可視光線、赤外線または紫外線で具現できる。
受信部440はディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信する役割をする。ここで、相対的な座標とは、映像パターンを中心とするマウスポインタの座標を意味する。また、受信部440はマウスポインタのボタン選択イベント発生のための制御信号を受信する役割をする。すなわち、受信部440はポインティング入力装置200と通信して制御信号または座標を受信するものであって、受信部440とポインティング入力装置200の間の通信方式は、イーサネット(登録商標)、USB、IEEE 1394、直列通信および並列通信のような有線通信方式が使用でき、赤外線通信、ブルートゥース、ホームRFおよび無線ランのような無線通信方式も使用できる。
座標決定部420は受信部440を介して受信されたマウスポインタの相対的な座標を参照してマウスポインタの絶対的な座標を決定する役割をする。例えば、映像パターンの中心とディスプレイ領域の中心が一致し、ディスプレイ領域の大きさが800×600であり、伝送された相対的な座標が(20,10)の場合、マウスポインタの絶対的な座標は(800+200,600+10)、すなわち(820,610)になる。
ここで、受信されたマウスポインタの相対的な座標は複数であり得るが、このとき、座標決定部420は複数の相対的な座標を各々絶対的な座標として決定することができる。
また、ディスプレイ領域の実際の大きさを感知しているポインティング入力装置200から、受信部440はマウスポインタの絶対的な座標を受信することもできるが、このとき、座標決定部420は作業を行わないこともある。
イベント発生部450は制御信号が受信された場合、マウスのボタン選択イベントを発生させる役割をする。ここで、マウスのボタン選択イベントはグラフィックオブジェクトを移動させたり絵を描いたりアイコンなどを選択するために発生させるものであって、マイクロソフト社のウィンドウズ(登録商標)またはマッキントッシュ社のマックのようなオペレーティングシステムでグラフィックオブジェクトを移動させるために発生されるマウスボタンイベントを含む。
したがって、イベント発生部450によって発生されるイベントはマウスのボタン選択イベントに限定されるのではなく、グラフィックオブジェクトの移動などを行うために必要とするすべてのイベントを含む。
イベント発生部450によってイベントが発生され、座標決定部420によってマウスポインタの絶対的な座標が決定されることにより、ポインタ動作部460はマウスポインタを座標決定部420によって決定された絶対的な座標に移動させる。
出力部470はグラフィックオブジェクトなどに対する映像を出力し、マウスポインタの映像を出力する役割をする。出力された映像はプロジェクション方式のディスプレイ装置100に直接伝送されて表示されたり、プロジェクタ900に伝送されてプロジェクタ900のスクリーンを介して表示され得る。
制御部430は映像パターン出力部410、座標決定部420、受信部440、イベント発生部450、ポインタ動作部460、出力部470およびポインタ制御装置400の全般的な制御を行う。
制御部430は受信部440を介して制御信号の受信を確認することができるが、制御信号が受信された場合、イベント発生部450にマウスボタンの選択イベントを発生させ、座標決定部420にマウスポインタの絶対的な座標を抽出させることができる。
すなわち、制御信号が受信されない場合、制御部430はイベント発生部450にマウスボタンの選択イベントを発生しないようにし、座標決定部420にマウスポインタの絶対的な座標抽出に関する作業を行わないようにすることができる。
図5は本発明の実施形態による映像パターン発生装置を示す図面であって、映像パターン発生装置500は映像パターン生成部510および映像パターン出力部520を含んで構成される。
映像パターン生成部510はディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する役割をする。前述したように、映像パターンは可視光線、赤外線または紫外線で具現できる。
映像パターン出力部520は映像パターン生成部510によって生成された映像パターンを出力する役割をする。前記映像パターンは多様な幾何学的な形態を有する格子板を利用してディスプレイ領域上に出力できるが、前記多様な幾何学的な形態については前記図3で説明したため、ここでは詳細な説明を省略する。
映像パターン発生装置500はプロジェクタ900などに挿入して運用したり、別途に運用することができる。また、ディスプレイ装置100がプロジェクション方式の場合、映像パターン発生装置500はディスプレイ装置100内部に備えられて映像パターンを出力することもできる。
図6は本発明の実施形態によるポインティング入力装置の動作を示すフローチャートである。
ポインティング入力装置200のカメラ部211はまず認識されたディスプレイ領域上に表示された映像パターンを捕らえる(S610)。ここで、映像パターンは可視光線、赤外線または紫外線で具現できるが、これにより、カメラ部211はデジタルカメラ、赤外線カメラまたは紫外線カメラの役割を行って映像パターンを捕らえることができる。
捕らえられた映像パターンは領域感知部212に伝送され、領域感知部212は伝送された映像パターンの範囲を感知する(S620)。
領域感知部212によって感知された映像パターンの範囲は座標抽出部220に伝送され、座標抽出部220は映像パターンの中心を基準として、ディスプレイ領域内においてポインティングされた地点の座標を抽出する(S630)。
このとき、ボタン部230はディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令が入力される(S640)。ユーザ命令が入力されることにより、これに対応する制御信号が生成されるが、このように生成された制御信号は送信部240に伝送される。
受信部240はボタン部230によって生成された制御信号および座標抽出部220によって抽出されたポインティングされた地点の座標のうち少なくとも1つをポインタ制御装置400に送信する(S650)。
そして、ポインティングされた地点の相対的な座標を受信することにより、ポインタ制御装置400は相対的な座標に対応する絶対的な座標にマウスポインタを移動させ、制御信号を受信することにより、グラフィックオブジェクトを移動させたり絵を描いたりアイコンなどのオブジェクトを選択する。
図7は本発明の実施形態によるポインタ制御装置の動作を示すフローチャートである。
マウスポインタを移動させるためにポインタ制御装置400の映像パターン出力部410はまず映像パターンを出力する(S710)。
映像パターンは可視光線、赤外線または紫外線で具現できるが、映像パターン出力部410は一般的なデジタル映像出力手段、赤外線映像出力手段または紫外線映像出力手段などを利用して映像パターンを出力することができる。
ここで、映像パターンが別途の装置を介して出力される場合、映像パターン出力部410は映像パターンを出力しないこともある。
受信部440はディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信する(S720)。相対的な座標は座標決定部420に伝送されるが、これにより、座標決定部420は伝送された相対的な座標を利用してマウスポインタの絶対的な座標を決定する(S730)。そして、決定された絶対的な座標はポインタ動作部460に伝送され、ポインタ動作部はマウスポインタを絶対的な座標に移動させる(S740)。
このとき、制御部430は受信部440を介して制御信号の受信を確認する(S750)。制御信号が受信されれば、制御部430はイベント発生部450にイベント発生信号を伝送し、これにより、イベント発生部450はマウスのボタン選択イベントを発生する(S760)。
マウスのボタン選択イベントが発生し、マウスポインタの絶対的な位置が決定されることにより、出力部470はグラフィックオブジェクトなどの映像を出力する(S770)。すなわち、出力部470は移動するグラフィックオブジェクト、複数のアイコンのうち選択されたアイコンまたは絵などの映像を出力する。
図8は本発明の実施形態による映像パターン発生装置の動作を示すフローチャートである。
まず、映像パターン発生装置500の映像パターン生成部510はディスプレイ領域の範囲に対して基準となる所定の映像パターンを生成する(S810)。そして、生成された映像パターンは映像パターン出力部520に伝送され、映像パターン出力部520は伝送された映像パターンを出力する(S820)。ここで、映像パターンは可視光線、赤外線または紫外線で具現できる。
一方、本発明の一実施例を適用すれば、複数のポインティング入力装置を利用して複数のユーザが同時にディスプレイ領域の各部分をポインティングする場合にも、それぞれユーザのポインティング位置を決定することができが、これについては図9ないし図11を参照して説明する。
図9は複数のポインティング入力装置を利用してポインティング入力を行う概念を示す図面である。前記図9では複数のユーザが複数のポインティング入力装置200_1,200_2,200_3,200_nを利用してスクリーン910にポインティングしていることが分かる。この場合、それぞれのポインティング入力装置200_1,200_2,200_3,200_nがポインティングしているディスプレイ領域上に複数の基準マーク(referencing mark)を設定することにより、ポインティング地点の位置を検出できるようになる。
前記図10はディスプレイ領域上に投射された複数の基準マークを示す図面である。前記基準マークは一次元または二次元バーコードのようなマークを利用することができるが、前記図10を参照すれば、スクリーンの位置によって各々異なる形態の二次元バーコードが基準マークとして投射されていることが分かる。特定のポインティング入力装置に取り付けられたカメラ(例えば、赤外線カメラなど)で撮影された検出領域1010の中心1015を基準として最も近く位置した4つの基準マーク1011ないし1014を利用することにより、前記ポインティング入力装置200がポインティングしている地点の座標を正確に検出することができる。具体的な具現例は図11を参照して説明する。
前記図11は2つのポインティング入力装置を利用して同時にポインティング地点を検出する過程を示す図面である。前記図11を参照すれば、第1ユーザと第2ユーザが同時にスクリーンをポインティングする場合、第1ユーザのポインティング入力装置が検出する領域1110と第2ユーザのポインティング入力装置が検出する領域1120が異なるため、各々異なる基準マークを利用してポインティング地点の座標を検出するようになる。すなわち、第1ユーザのポインティング入力装置は自身のポインティング中心1115を基準として最も近く存在する4つの基準マーク1111,1112,1113,1114を利用して自身のポインティング地点の座標を検出し、第2ユーザのポインティング入力装置も自身のポインティング中心1125を基準として最も近く存在する4つの基準マーク1121,1122,1123,1124を利用して自身のポインティング地点の座標を独立的に検出するようになる。したがって、複数のユーザが同時にポインティングしても全部正確なポインティング地点を検出することができる。
一方、本発明のまた他の実施形態を適用すれば、他のユーザや事物によってディスプレイ領域の一部が遮断された場合にもポインティング地点の座標を効果的に検出することができる。これは図12ないし図15を参照して説明する。
図12は他のユーザによってディスプレイ領域の一部が遮断された場合を示す図面であり、図13はこれを拡大した図面である。
複数のユーザ環境でポインティングする実施形態で前述したように、ディスプレイ領域の位置によって異なる形態の基準マークを投射する。特定のポインティング入力装置に取り付けられたカメラ(例えば、赤外線カメラなど)で撮影された画面において4つの基準マークのうち一部のマークが前記図13のように遮断されてポインティング地点の座標を検出できない場合には、前記ポインティング入力装置に取り付けられたカメラ(図示せず)または映像パターン発生装置500で直接ズームインを行って新しい映像パターンを生成したり、またはズームアウトを行って新たに含まれる基準マークによってポインティング地点の座標を抽出することができる。このような過程を図14ないし図15を参照して具体的に説明する。
図14はズームアウト機能を利用してポインティング地点の位置を検出する過程を示す図面である。前記図14を参照すれば、ポインティング入力装置200に取り付けられたカメラ(図示せず)が第1検出領域1410を検出しているうちに他のユーザによって遮断される場合、前記カメラはズームアウトを行って撮影範囲を拡張することにより、第2検出領域1420を検出するようになる。この場合、ポインティング入力装置200のポインティング中心1415はズームアウトを前後にして変わらないことが分かる。さらに広くなった第2検出領域1420内部には前記ポインティング中心1415から最も近い4つの基準マーク1421ないし1424を認識することができ、これを利用して前記ポインティング入力装置200がポインティングしている地点の座標を把握できるようになる。
図15はズームイン機能を利用してポインティング地点の位置を検出する過程を示す図面である。前記図15を参照すれば、ポインティング入力装置200に取り付けられたカメラ(図示せず)が第1検出領域1510を検出しているうちに他のユーザによって遮断される場合、前記カメラはズームインを行って撮影範囲を縮小することにより、第2検出領域1520を検出するようになる。この場合、ポインティング入力装置200のポインティング中心1525はズームインを前後にして変わらないことが分かる。ところで、ズームインの場合には、スクリーンに投射された既存の基準マーク以外に細かい間隔を有する基準点(reference point)1531をスクリーンに共に投射することにより、他のユーザによって遮断された基準マークを代替するようになる。既存の基準マークの間隔は予め定義されているため、ズームインによって前記カメラに撮影された基準マークが前記第2検出領域1520内部に1つ以上入れば(前記図15では2つ(1521,1522)が入る)、前記基準マーク1521,1522に基づいてポインティング地点の座標を正確に把握することができる。このとき、カメラを再びズームインしてポインティング地点の座標の正確度を向上させることができる。
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。
本発明の実施形態によるポインタとグラフィックオブジェクトの動きを示す概念図である。 本発明の実施形態によるポインティング入力装置を示すブロック図である。 本発明の実施形態による多様な形態の映像パターンを示す図である。 本発明の実施形態によるポインタ制御装置を示すブロック図である。 本発明の実施形態による映像パターン発生装置を示すブロック図である。 本発明の実施形態によるポインティング入力装置の動作を示すフローチャートである。 本発明の実施形態によるポインタ制御装置の動作を示すフローチャートである。 本発明の実施形態による映像パターン発生装置の動作を示すフローチャートである。 複数のポインティング入力装置を利用してポインティング入力を行う概念を示す図である。 ディスプレイ領域上に投射された複数の基準マークを示す図である。 2つのポインティング入力装置を利用して同時にポインティング地点を検出する過程を示す図である。 他のユーザによってディスプレイ領域の一部が遮断された場合を示す図である。 図12を拡大した図である。 ズームアウト機能を利用してポインティング地点の位置を検出する過程を示す図である。 ズームイン機能を利用してポインティング地点の位置を検出する過程を示す図である。
符号の説明
210 映像受信部
220 座標抽出部
230 ボタン部
240 送信部

Claims (50)

  1. 認識された大きさのディスプレイ領域上に所定の間隔で表示される複数の映像パターンのうち、前記ディスプレイ領域の範囲に対して基準となる所定の映像パターンを捕捉して前記映像パターンの検出領域を感知する映像受信部と、
    前記感知された映像パターンの検出領域の中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する座標抽出部と、
    前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部とを含み、
    前記映像受信部は
    前記検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更するカメラ部と
    前記カメラ部により変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知する領域感知部とを含み
    前記座標抽出部は、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインティング入力装置。
  2. 前記映像受信部は、可視光線、赤外線又は紫外線で具現された前記映像パターンを捕捉する、
    ことを特徴とする請求項1記載のポインティング入力装置。
  3. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出する、
    ことを特徴とする請求項1記載のポインティング入力装置。
  4. 前記座標は、前記マウスポインタの座標に対応する、
    ことを特徴とする請求項1記載のポインティング入力装置。
  5. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部を更に含む、
    ことを特徴とする請求項1記載のポインティング入力装置。
  6. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信する、
    ことを特徴とする請求項5記載のポインティング入力装置。
  7. ディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信する受信部と、
    前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部と、
    前記絶対的な座標を利用して前記マウスポインタを移動させるポインタ動作部とを備えるポインタ制御装置であって
    前記相対的な座標は、ポインティング入力装置から送信され、
    前記ポインティング入力装置は、
    前記ディスプレイ領域上に所定の間隔で表示される複数の映像パターンうち、前記ディスプレイ領域の範囲に対して基準となる所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、前記ポインティング入力装置カメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインタ制御装置。
  8. 前記受信部は、前記マウスポインタを動作させるボタン選択イベント発生のための制御信号を受信する、
    ことを特徴とする請求項7記載のポインタ制御装置。
  9. 前記ボタン選択イベントを発生させるイベント発生部をさらに含む、
    ことを特徴とする請求項8記載のポインタ制御装置。
  10. 前記ディスプレイ領域上の所定位置に前記映像パターンを出力する映像パターン出力部をさらに含む、
    ことを特徴とする請求項7記載のポインタ制御装置。
  11. 前記映像パターンは、可視光線、赤外線又は紫外線で具現される、
    ことを特徴とする請求項10記載のポインタ制御装置。
  12. 前記ディスプレイ領域上に所定の間隔で表示される複数の映像パターンであって、ディスプレイ領域の範囲に対して基準となる複数の映像パターンを生成する映像パターン生成部と、
    ポインティング入力装置により感知される前記複数の映像パターンをディスプレイ領域上に出力する映像パターン出力部とを含む映像パターン発生装置であって
    前記ポインティング入力装置は
    前記複数の映像パターンのうち所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、前記ポインティング入力装置のカメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とする映像パターン発生装置。
  13. 前記映像パターンは、可視光線、赤外線又は紫外線で具現される、
    ことを特徴とする請求項12記載の映像パターン発生装置。
  14. 前記映像パターン出力部は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力する、
    ことを特徴とする請求項12記載の映像パターン発生装置。
  15. 識された大きさのディスプレイ領域上に所定の間隔で表示される複数の映像パターンのうち、所定の映像パターンを捕捉して、前記所定の映像パターンを含む検出領域を感知するステップと、
    感知された所定数の映像パターンの検出領域の中心を基準として、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するステップと、
    記抽出された座標を送信するステップとを含むポインティング入力装置による動作方法であって、
    前記感知するステップは、前記検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、カメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、
    前記抽出するステップは、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインティング入力装置による動作方法。
  16. 前記感知するステップは、可視光線、赤外線又は紫外線で具現された前記映像パターンを捕捉するステップを含む、
    ことを特徴とする請求項15記載のポインティング入力装置による動作方法。
  17. 前記抽出するステップは、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出するステップを含む、
    ことを特徴とする請求項15記載のポインティング入力装置による動作方法。
  18. 前記座標は、前記ディスプレイ領域上に表示されたマウスポインタの座標に対応する、
    ことを特徴とする請求項15記載のポインティング入力装置による動作方法。
  19. 前記ディスプレイ領域上に表示されたマウスポインタのボタン選択イベント発生のためのユーザ命令を受信するステップをさらに含む、
    ことを特徴とする請求項15記載のポインティング入力装置による動作方法。
  20. 前記ユーザ命令に対する制御信号を送信するステップをさらに含む、
    ことを特徴とする請求項19記載のポインティング入力装置による動作方法。
  21. ディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信するステップと、
    前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定するステップと、
    前記絶対的な座標に前記マウスポインタを移動させるステップとを含むポインタ制御装置による動作方法であって
    前記相対的な座標は、ポインティング入力装置から送信され、
    前記ポインティング入力装置は、
    前記ディスプレイ領域上に所定の間隔で表示される複数の映像パターンうち、前記ディスプレイ領域の範囲に対して基準となる所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、前記ポインティング入力装置のカメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインタ制御装置による動作方法。
  22. 前記マウスポインタのボタン選択イベント発生のための制御信号を受信するステップをさらに含む、
    ことを特徴とする請求項21記載のポインタ制御装置による動作方法。
  23. 前記ボタン選択イベントを発生させるステップをさらに含む、
    ことを特徴とする請求項21記載のポインタ制御装置による動作方法。
  24. 前記ディスプレイ領域上の所定位置に前記映像パターンを出力するステップをさらに含む、
    ことを特徴とする請求項21記載のポインタ制御装置による動作方法。
  25. 前記映像パターンは、可視光線、赤外線又は紫外線で具現される、
    ことを特徴とする請求項24記載のポインタ制御装置による動作方法。
  26. 前記ディスプレイ領域上に所定の間隔で表示される複数の映像パターンであって、ディスプレイ領域の範囲に対して基準となる複数の映像パターンを生成するステップと、
    ポインティング入力装置により感知される前記複数の映像パターンを出力するステップとを含む映像パターン発生装置による動作方法であって
    前記ポインティング入力装置は
    前記複数の映像パターンのうち所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、前記ポインティング入力装置のカメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とする映像パターン発生装置による動作方法。
  27. 前記映像パターンは、可視光線、赤外線又は紫外線で具現される、
    ことを特徴とする請求項26記載の映像パターン発生装置による動作方法。
  28. 認識された大きさのディスプレイ領域上に所定の間隔で表示される複数の映像パターンであって、前記ディスプレイ領域の範囲に対して基準となる複数の映像パターンを生成して、前記ディスプレイ領域上に出力する映像パターン発生装置と、
    前記ディスプレイ領域上に出力される映像パターンを感知して前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置とを含むポインティング入力システムであって
    前記ポインティング入力装置は
    前記複数の映像パターンのうち所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、前記ポインティング入力装置のカメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインティング入力システム。
  29. 前記ポインティング入力装置は、前記映像パターンを捕捉して前記映像パターンの検出領域を感知する映像受信部と、前記感知された映像パターンの検出領域の中心を基準として前記座標を抽出する座標抽出部、及び前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部を含む、
    ことを特徴とする請求項28記載のポインティング入力システム。
  30. 前記映像受信部は、可視光線、赤外線又は紫外線で具現された前記映像パターンを捕捉する、
    ことを特徴とする請求項29記載のポインティング入力システム。
  31. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出する、
    ことを特徴とする請求項29記載のポインティング入力システム。
  32. 前記座標は、前記マウスポインタの座標に対応する、
    ことを特徴とする請求項29記載のポインティング入力システム。
  33. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部を更に含む、
    ことを特徴とする請求項29記載のポインティング入力システム。
  34. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信する、
    ことを特徴とする請求項33記載のポインティング入力システム。
  35. 前記映像パターン発生装置は、前記ポインタ制御装置によって生成された映像を受信して前記ディスプレイ領域上に投射するプロジェクタ装置に備えられる、
    ことを特徴とする請求項29記載のポインティング入力システム。
  36. 前記映像パターン発生装置は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力する、
    ことを特徴とする請求項28記載のポインティング入力システム。
  37. 認識された大きさのディスプレイ領域上に所定の間隔で表示され、前記ディスプレイ領域の範囲に対して基準となる複数の映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置と、
    前記ポインティング入力装置から、前記ポインティングされた地点にそれぞれ対応する少なくとも1つ以上のマウスポインタの座標を受信して前記マウスポインタをそれぞれ制御するポインタ制御装置とを含むポインティング入力システムであって
    前記ポインティング入力装置は、
    前記複数の映像パターンのうち所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、カメラの撮影範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインティング入力システム。
  38. 前記ポインティング入力装置は、前記映像パターンを捕捉して前記映像パターンの検出領域を感知する映像受信部と、前記感知された映像パターンの検出領域の中心を基準として前記座標を抽出する座標抽出部、及び前記抽出された座標を、前記ディスプレイ領域上に表示されるマウスポインタを制御するポインタ制御装置に送信する送信部を含む、
    ことを特徴とする請求項37記載のポインティング入力システム。
  39. 前記映像受信部は、可視光線、赤外線又は紫外線で具現された前記映像パターンを捕捉する、
    ことを特徴とする請求項38記載のポインティング入力システム。
  40. 前記座標抽出部は、前記抽出された座標を前記ディスプレイ領域の実際の大きさに適用して、実際のディスプレイ領域上における前記ポインティングされた地点の座標を抽出する、
    ことを特徴とする請求項38記載のポインティング入力システム。
  41. 前記座標は、前記マウスポインタの座標に対応する、
    ことを特徴とする請求項38記載のポインティング入力システム。
  42. 前記マウスポインタを動作させるボタン選択イベント発生のためのユーザ命令を受信するボタン部を更に含む、
    ことを特徴とする請求項38記載のポインティング入力システム。
  43. 前記送信部は、前記ユーザ命令に対する制御信号を前記ポインタ制御装置に送信する、
    ことを特徴とする請求項42記載のポインティング入力システム。
  44. 前記ポインタ制御装置は、ディスプレイ領域上に表示された少なくとも1つ以上のマウスポインタの相対的な座標を受信する受信部と、前記相対的な座標を参照して前記マウスポインタの絶対的な座標を決定する座標決定部、及び前記絶対的な座標を利用して前記マウスポインタを移動させるポインタ動作部を含む、
    ことを特徴とする請求項37記載のポインティング入力システム。
  45. 前記受信部は、前記マウスポインタを動作させるボタン選択イベント発生のための制御信号を受信する、
    ことを特徴とする請求項44記載のポインティング入力システム。
  46. 前記ボタン選択イベントを発生させるイベント発生部を更に含む、
    ことを特徴とする請求項45記載のポインティング入力システム。
  47. 前記ディスプレイ領域上の所定位置に前記映像パターンを出力する映像パターン出力部をさらに含む、
    ことを特徴とする請求項44記載のポインティング入力システム。
  48. 前記映像パターンは、可視光線、赤外線又は紫外線で具現される、
    ことを特徴とする請求項47記載のポインティング入力システム
  49. 認識された大きさのディスプレイ領域上に所定の間隔で表示される複数の映像パターンであって、前記ディスプレイ領域の範囲に対して基準となる複数の映像パターンを生成して、前記ディスプレイ領域上に出力する映像パターン発生装置と、
    前記ディスプレイ領域上に出力される映像パターンを感知して、前記ディスプレイ領域内においてポインティングされた地点の座標を抽出するポインティング入力装置と、
    前記ポインティング入力装置から前記ポインティングされた地点にそれぞれ対応する少なくとも1つ以上のマウスポインタの座標を受信して前記マウスポインタをそれぞれ制御するポインタ制御装置とを含むポインティング入力システムであって
    前記ポインティング入力装置は
    前記複数の映像パターンのうち所定数の映像パターンを捕捉することで得られた検出領域に含まれる映像パターンのうちの何れかを認識できない場合に、カメラの撮影の範囲を拡大又は縮小して、前記検出領域と同じ中心をもつ検出領域に変更し、変更された検出領域に含まれる所定数の映像パターンを利用して前記変更された検出領域の中心座標を感知し、感知された中心座標を基準として前記ディスプレイ領域内においてポインティングされた地点の座標を抽出する
    ことを特徴とするポインティング入力システム。
  50. 前記映像パターン発生装置は、所定の幾何学的な形態を有する格子板を利用して前記映像パターンを前記ディスプレイ領域上に出力する、
    ことを特徴とする請求項49記載のポインティング入力システム。
JP2007072098A 2006-03-20 2007-03-20 映像パターンを利用したポインティング入力装置、方法、およびシステム Expired - Fee Related JP5014848B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20060025439 2006-03-20
KR10-2006-0025439 2006-03-20
KR1020070000795A KR20070095179A (ko) 2006-03-20 2007-01-03 영상 패턴을 이용한 포인팅 입력 장치, 방법, 및 시스템
KR10-2007-0000795 2007-01-03

Publications (2)

Publication Number Publication Date
JP2007257639A JP2007257639A (ja) 2007-10-04
JP5014848B2 true JP5014848B2 (ja) 2012-08-29

Family

ID=38068332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007072098A Expired - Fee Related JP5014848B2 (ja) 2006-03-20 2007-03-20 映像パターンを利用したポインティング入力装置、方法、およびシステム

Country Status (3)

Country Link
US (1) US8106884B2 (ja)
EP (1) EP1837743A3 (ja)
JP (1) JP5014848B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8144123B2 (en) * 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device
JP5540493B2 (ja) * 2008-10-30 2014-07-02 セイコーエプソン株式会社 投写光学系に対する投写面の位置または傾きの測定方法、その測定方法を用いる投写画像の画像処理方法およびその画像処理方法を実行するプロジェクタ、投写光学系に対する投写面の位置または傾きを測定するプログラム
KR101508272B1 (ko) * 2009-01-16 2015-04-08 삼성전자주식회사 단말기, 디스플레이 장치 및 이에 적용되는 데이터 송수신 방법
KR101554958B1 (ko) * 2009-03-06 2015-09-22 삼성전자주식회사 비주얼 코드를 이용한 원격 조작 방법 및 그 방법을 수행하는 장치
US9182854B2 (en) * 2009-07-08 2015-11-10 Microsoft Technology Licensing, Llc System and method for multi-touch interactions with a touch sensitive screen
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
TWI430136B (zh) * 2010-03-22 2014-03-11 Au Optronics Corp 互動式立體顯示系統以及距離計算方法
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
CN102243417A (zh) 2010-05-10 2011-11-16 中强光电股份有限公司 光学装置及投影系统
US20120050160A1 (en) * 2010-09-01 2012-03-01 Texas Instruments Incorporated Method and apparatus for measuring of a three-dimensional position of mouse pen
JP5938638B2 (ja) * 2011-01-13 2016-06-22 パナソニックIpマネジメント株式会社 インタラクティブプレゼンシステム
US10025395B2 (en) * 2011-02-16 2018-07-17 Pixart Imaging Inc. Image-capturing device configured for a 3D space optical pointing apparatus with adjustable resolution setting
JP5408175B2 (ja) * 2011-03-31 2014-02-05 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP5830899B2 (ja) * 2011-03-31 2015-12-09 カシオ計算機株式会社 投影システム、投影装置、投影方法及びプログラム
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
TWI436241B (zh) * 2011-07-01 2014-05-01 J Mex Inc 遙控裝置及將其用於校正螢幕的控制系統及方法
US20130082923A1 (en) * 2011-10-03 2013-04-04 Chip Goal Electronics Corporation, R.O.C. Optical pointer control system and method therefor
JP5917116B2 (ja) * 2011-12-06 2016-05-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9600091B2 (en) 2012-01-05 2017-03-21 Seiko Epson Corporation Display device and display control method
AT512592B1 (de) * 2012-03-12 2017-07-15 Isiqiri Interface Tech Gmbh Computeranlage und ein Steuerungsverfahren dafür
JP5929387B2 (ja) * 2012-03-22 2016-06-08 株式会社リコー 情報処理装置、履歴データ生成プログラム及び投影システム
US20130285905A1 (en) * 2012-04-30 2013-10-31 Favepc Inc. Three-dimensional pointing device and system
TW201349029A (zh) * 2012-05-21 2013-12-01 Everest Display Inc 具光點辨識之互動投影系統以及控制方法
US10341627B2 (en) * 2012-06-28 2019-07-02 Intermec Ip Corp. Single-handed floating display with selectable content
JP6014137B2 (ja) * 2012-06-29 2016-10-25 日立マクセル株式会社 表示システムおよび表示端末
JP2015014882A (ja) * 2013-07-04 2015-01-22 ソニー株式会社 情報処理装置、操作入力検出方法、プログラム、および記憶媒体
JP2015043066A (ja) * 2013-07-25 2015-03-05 株式会社リコー 画像投影装置
US20150138085A1 (en) * 2013-07-31 2015-05-21 Bradley Lloyd Wilk Electronic apparatus for simulating or interfacing a backward compatible human input device by means or control of a gesture recognition system
JP2015053675A (ja) * 2013-08-06 2015-03-19 株式会社リコー 画像投影装置
JP6358982B2 (ja) * 2015-05-18 2018-07-18 三菱電機株式会社 遠隔操作装置及び遠隔操作方法
JP6858352B2 (ja) * 2016-01-25 2021-04-14 裕行 池田 画像投影装置
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
TWI592836B (zh) * 2016-07-29 2017-07-21 群光電子股份有限公司 光標產生系統、方法及電腦程式產品
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9120930D0 (en) 1991-10-02 1991-11-27 Short Brothers Plc Target acquisition training apparatus
JP3550177B2 (ja) 1994-03-18 2004-08-04 富士通株式会社 画像処理装置
JP2681454B2 (ja) 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
US6727885B1 (en) * 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
JP2001236181A (ja) 2000-02-22 2001-08-31 Fuji Electric Co Ltd ポインティングデバイス
US6852032B2 (en) 2000-12-06 2005-02-08 Nikon Corporation Game machine, method of performing game and computer-readable medium
CN1299987A (zh) 2001-01-17 2001-06-20 上海交通大学 带有激光遥控装置的交互式投影显示系统
JP2003029927A (ja) 2001-07-12 2003-01-31 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2003044220A (ja) * 2001-07-30 2003-02-14 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2003091366A (ja) 2001-09-17 2003-03-28 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP4217021B2 (ja) 2002-02-06 2009-01-28 株式会社リコー 座標入力装置
JP3733915B2 (ja) 2002-02-12 2006-01-11 セイコーエプソン株式会社 プロジェクタ
JP3952896B2 (ja) * 2002-07-30 2007-08-01 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP2004318823A (ja) 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
TW578031B (en) 2003-06-20 2004-03-01 Benq Corp Projection system with an image capturing device
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system

Also Published As

Publication number Publication date
EP1837743A2 (en) 2007-09-26
US20070216644A1 (en) 2007-09-20
EP1837743A3 (en) 2011-10-26
US8106884B2 (en) 2012-01-31
JP2007257639A (ja) 2007-10-04

Similar Documents

Publication Publication Date Title
JP5014848B2 (ja) 映像パターンを利用したポインティング入力装置、方法、およびシステム
JP4725526B2 (ja) 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
EP2040156B1 (en) Image processing for issuing commands
US20160353048A1 (en) Operation controlling apparatus
KR101203660B1 (ko) 영상 패턴을 이용한 포인팅 입력 장치, 방법, 및 시스템
KR100818990B1 (ko) 움직임 신호를 변환하는 장치 및 방법
US20130063345A1 (en) Gesture input device and gesture input method
EP3121686A1 (en) Apparatus and method for remote control using camera-based virtual touch
JP2009134718A5 (ja)
JP2008040576A (ja) 画像処理システム及び該システムを備えた映像表示装置
US20120019460A1 (en) Input method and input apparatus
EP2208112A2 (en) Apparatus and method for tracking a light pointer
US20150109206A1 (en) Remote interaction system and control thereof
KR101512239B1 (ko) 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
JP2008181198A (ja) 画像表示システム
US20140002337A1 (en) Single-handed floating display with selectable content
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP2008181199A (ja) 画像表示システム
JP4871226B2 (ja) 認識装置および認識方法
JP2009296239A (ja) 情報処理システムおよび情報処理方法
JP5115496B2 (ja) コンテンツ遠隔操作システム及び遠隔操作端末
KR20110004203A (ko) 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법
KR100596140B1 (ko) 카메라를 내장한 리모트 컨트롤 장치 및 이를 이용한포인팅 방법
KR100758985B1 (ko) 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그방법
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5014848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees