JPH08331667A - Pointing system - Google Patents

Pointing system

Info

Publication number
JPH08331667A
JPH08331667A JP13169495A JP13169495A JPH08331667A JP H08331667 A JPH08331667 A JP H08331667A JP 13169495 A JP13169495 A JP 13169495A JP 13169495 A JP13169495 A JP 13169495A JP H08331667 A JPH08331667 A JP H08331667A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
pointing
screen
position
device
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP13169495A
Other languages
Japanese (ja)
Inventor
Tetsuo Yoshida
哲雄 吉田
Original Assignee
Oki Electric Ind Co Ltd
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PURPOSE: To indicate the certain location of the video displayed or projected on a screen, etc., by a pointing device, to easily detect the location on the instructed screen and to use detected coordinate data as the control information on a pointing system. CONSTITUTION: A controller 100 performs photoirradiation for the certain part of the video of a display screen part 150 or A or B, for instance, from a light emitting part 101 and images the screen including an irradiation spot by a video camera 103. The photoirradiation location is determined by a coordinate calculation part 108 from the imaged signal, the coordinate location information is transmitted from a transmission/reception part 110 to an adapter 201a, the adapter 201a receives the coordinate location information, and pointing information is imparted as the man-machine interface signal to the control part 201 of a personal computer.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明はポインティングシステムに関し、ポインティングデバイス又は指示物などによって指示されている指示位置の検出に関するものである。 The present invention relates to an pointing system is related detection of the pointing position indicated by a pointing device or the indicator.

【0002】 [0002]

【従来の技術】近年、コンピュータ表示画面上のポインティングデバイスとして主にマウスやトラックボールなどが用いられ、ディスプレイ上の位置を直ちに指し示すことが要求される場合はタッチパネルやライトペンなどが用いられるようになった。 In recent years, mainly such as a mouse or trackball is used as a pointing device on a computer display screen, as if it is desired to indicate immediately the position on the display includes a touch panel and a light pen is used became.

【0003】また、最近の文献:特開平6−15328 [0003] In addition, recent literature: JP-A-6-15328
0号公報に提案されている発明の『リモコン』においては、リモコンの送信信号の方向と、その送信信号を受信する受信部の感度の方向のなす角度に基づき、表示画面上にカーソル等のマーカを表示すると共に、リモコンの送信信号の方向を変えると、それに応じて画面上に表示しているマーカを相応する方向に移動させるものである。 In "Remote Control" of the present invention proposed in 0 JP, based a direction of the remote control transmission signal, the angle between the direction of the sensitivity of the receiver for receiving the transmission signal, the cursor or the like on the display screen a marker displays an, changing the direction of the remote control transmission signal, and moves in a direction corresponding to a marker that is displayed on the screen accordingly.

【0004】 [0004]

【発明が解決しようとする課題】しかしながら、従来のポインティングシステムの技術においては、ディスプレイ上のポイントを直接指示する必要がある場合に、ポインティング位置精度上、表示画面のマーカを上下左右に動かしながら所定の位置に到達させるという、ポインティングの操作性の面で使いなれない場合に十分な機能が実現されるとはいえなかった。 [SUMMARY OF THE INVENTION However, in the technique of the conventional pointing system, when it is necessary to instruct the points on the display directly on the pointing position accuracy, while moving the marker on the display screen vertically and horizontally predetermined that to reach the position was not sufficient function is achieved if not familiar use in terms of pointing operability. また、ディスプレイ側に特殊なセンサ機構を有する受信信号処理手段を必要とし、使用されるディスプレイや場所の制限があるなどの欠点があった。 Also it requires reception signal processing means having a special sensor mechanism on the display side, has a disadvantage, such as there are display and places restrictions used.

【0005】また、表示装置側に特別な装置を必要とせず、特に単なるスクリーンにビデオプロジェクタで投影して得られた大画面上を指示することができるようなものが望まれていた。 Further, without requiring a special device for the display device side, it was especially such that it can direct the large screen on obtained by projecting a video projector to a simple screen is desired.

【0006】以上のようなことから、画面又はスクリーンなどに表示又は投射されている映像の目的とする部分を見ながらポインティングデバイス又は指示物で指示し、その指示した画面又はスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる簡単な構成のポインティングシステムの提供が要請されている。 [0006] Since the above as while watching a portion of interest of the image being displayed or projected like a screen or screen indicated by the pointing device or the indicator, facilitate its instructed screen or position on the screen detected, it provides a simple configuration pointing system of the detected position coordinates can be used as control information for interactive operation is requested.

【0007】 [0007]

【課題を解決するための手段】そこで、第1の発明は、 Means for Solving the Problems] Accordingly, a first aspect of the present invention,
表示画面に位置指示用の光スポット照射を受ける表示装置と、この表示装置の画面上のある位置を光照射指示するポインティングデバイスとを有するポインティングシステムであって、上記ポインティングデバイスは、光スポットを照射する光照射手段と、上記表示装置の画面を撮像し、上記光照射手段によって光スポット照射されている画面上の指示位置を検出する検出手段と、この検出手段によって得られた照射指示位置の情報を無線方式又は有線方式で伝送する伝送手段とを備え、更に上記ポインティングデバイスの伝送手段によって与えられた照射指示位置情報をポインティングの制御情報として用いる制御装置を備えることで、上述の課題を解決するものである。 Irradiating a display device that receives light spot irradiation for position indication on the display screen, a pointing system comprising a pointing device for indicating irradiation with a certain position on the screen of the display device, the pointing device, a light spot light projecting means for, capturing a screen of the display device, detecting means for detecting the indicated position on the screen being a light spot irradiated by said light irradiating means, information of illumination indication position obtained by the detection means the a transmitting means for transmitting in a wireless manner or a wired manner, by further comprising a control device for use as a pointing control information the irradiation instruction position information provided by the transmission means of the pointing device, to solve the problems described above it is intended.

【0008】また、第2の発明は、表示装置の表示用画面上又はスクリーン上のある位置を指示するための位置指示用の指示物によって指示されるポインティングシステムであって、上記指示物を含む上記表示画面上の映像又は上記指示物を含む上記スクリーンを撮像する撮像装置と、この撮像装置によって得られる撮像信号から上記指示物の指示位置を検出する指示位置検出装置とを備えることで、上述の課題を解決するものである。 [0008] The second invention is a pointing system that is indicated by the indicator for the position indication for instructing the display screen or a certain position on the screen of the display device, including the referent by providing an imaging device for imaging the screen including the image or the pointing object on the display screen, and a pointing position detection apparatus for detecting a pointed position of the pointing object from the image signal obtained by the image pickup device, described above it is intended to solve the problems.

【0009】更に、第3の発明は、位置指示用の光照射を受ける表示装置又はスクリーンと、上記表示装置の画面上又はスクリーン上のある位置を光照射指示するポインティングデバイスを有するポインティングシステムであって、上記ポインティングデバイスは光スポットを照射する光照射手段を備え、上記光照射手段によって光スポット照射されている表示画面又はスクリーンを撮像し、この撮像によって得られる撮像信号から上記光スポット照射されている指示位置を検出する検出手段を上記ポインティグデバイスとは別個に備えることで、上述の課題を解決するものである。 Furthermore, a third invention, there pointing system comprising a display device or screen irradiated with light for position indication, the screen or a position pointing device for indicating light irradiating with on screen of the display device Te, the pointing device includes a light irradiating means for irradiating a light spot, capturing the display screen or screen is the light spot irradiated by the light irradiating means, from the image signal obtained by the imaging is irradiated said light spot detection means for detecting a pointing position who is by providing separately from the point Tig device solves the problems described above.

【0010】 [0010]

【作用】上述の第1の発明の構成によれば、ポインティングデバイスで表示画面のある位置を光スポット照射し、この光スポット照射されている点を含む表示画面を撮像し、光スポット照射されている部分の位置を検出し、この照射位置情報を制御装置に伝送し、この照射指示位置情報をインタラクティブ操作の制御情報、即ち従来のマウスの操作による制御情報にかえて、例えば、画面上のメニュー選択の制御情報として用いることができる。 SUMMARY OF] According to the configuration of the above-described first invention, and the light spot irradiating position with the display screen with a pointing device, capturing the display screen including a point that is the light spot irradiation, are light spot irradiated detecting the position of the part are to transmit the irradiation position information to the control unit, instead of the irradiation instruction position information control information interactive operation, i.e., the control information by the operation of the conventional mouse, for example, a menu on the screen it can be used as control information for selection.

【0011】また、上述の第2の発明の構成によれば、 [0011] According to the second aspect of the invention described above,
指示物(例えば、単なる指示棒)によって、表示画面又はスクリーンのある一部を指示し、指示されている表示画面又はスクリーンを撮像し、得られる撮像信号から指示物による指示位置を検出することで、簡単な構成で容易にスクリーン上の指示位置を検出することができる。 Instruction (e.g., the mere indication stick) by instructing a certain part of the display screen or screen, capturing the display screen or screen is instructed, by detecting the position indicated by the indicator from the resulting imaging signal it can easily detect the indicated position on the screen with a simple configuration.

【0012】更に、上述の第3の発明の構成によれば、 Furthermore, according to the configuration of the third invention described above,
ポインティングデバイスとして単なる光スポットを照射する手段を備えるので、例えば、レーザ光を使用した簡単なポインティングデバイスを使用することができ、このポインティングデバイスとは別個に上述の検出手段を備えることで、非常に容易な構成でポインティングデバイスが光照射する指示位置を検出することができる。 Because comprising means for irradiating a simple light spot as a pointing device, for example, can be used a simple pointing device using a laser beam, and the pointing device by providing the detecting means separately above, very pointing device with a simple configuration it is possible to detect the pointing position of the light irradiation.

【0013】以上のような種々の構成によって、簡単な構成で、画面又はスクリーンなどに表示又は投射されている映像の目的とする部分を見ながらポインティングデバイス又は指示物で指示し、その指示した画面又はスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる。 [0013] by a variety of the above configuration, with a simple configuration, while looking at the portion of interest of the image being displayed or projected like a screen or screen indicated by the pointing device or the indicator, and the instruction screen or the position on the screen easily detected, the detected position coordinates can be used as control information for the interactive operation.

【0014】 [0014]

【実施例】次に本発明の好適な実施例を図面を用いて説明する。 It will be described with reference to the accompanying drawings preferred embodiments of EXAMPLES The present invention will now. 『第1実施例』:図1は第1実施例のポインティングシステムの機能構成図である。 "First Embodiment" FIG. 1 is a functional block diagram of a pointing system of the first embodiment. この図1において、ポインティングシステムは、主にポインティング用コントローラ100と、表示画面部150及び制御部600とから構成されている。 In FIG. 1, the pointing system is mainly a pointing controller 100 is constituted by a display screen unit 150 and a control unit 600.. ポインティング用コントローラ100 Controller for pointing 100
は、レーザポインタ用発光部101と、操作スイッチ部102と、ビデオカメラ部103と、ビデオ信号処理部104と、表示画面認識部105と、ビデオフレームメモリ106と、画像処理部107と、座標算出部108 Includes a laser pointer light emitting section 101, an operation switch unit 102, a video camera unit 103, a video signal processing unit 104, a display screen recognition unit 105, a video frame memory 106, an image processing unit 107, the coordinate calculation part 108
と、伝送処理/送受信部109と、アンテナ110とから構成されている。 When, the transmission processing / reception unit 109, and an antenna 110..

【0015】レーザポインタ用発光部101は、点灯制御信号aが操作スイッチ部102から入力されると、レーザ光スポットを出力し表示画面部150に照射する。 The laser pointer light emitting section 101, the lighting control signal a is input from the operation switch unit 102 is irradiated on the display screen unit 150 outputs a laser beam spot.
操作スイッチ部102は、点滅信号lを座標算出部10 Operation switch unit 102, the coordinate calculation section 10 to blink signal l
8から取り込み、インタロック信号iを表示画面認識部105から取り込み、上記点灯制御信号aを発生する他、制御信号b、cを生成し、座標算出部108に与えて制御する。 Uptake 8 captures the interlock signal i from the display screen recognition unit 105, the other for generating the lighting control signal a, the control signal b, to generate a c, it is controlled by applying the coordinate calculation unit 108.

【0016】表示画面認識部105は、ビデオ信号処理部104からビデオデータhを受け、上記インタロック信号iを生成し、操作スイッチ部102に与える。 The display screen recognition unit 105 receives the video data h from the video signal processing unit 104 generates the interlock signal i, gives the operation switch unit 102. ビデオ信号処理部104は、ビデオカメラ部103からビデオ信号を与えられると、ビデオデータhを表示画面認識部105に与え、ビデオデータwをビデオフレームメモリ106と、画像処理部107とに与え、同期信号jを座標算出部108に与える。 Video signal processing unit 104, given a video signal from the video camera unit 103 provides the video data h to the display screen recognition unit 105, a video frame memory 106 video data w, given to the image processing unit 107, a synchronization providing a signal j to the coordinate calculation unit 108.

【0017】座標算出部108は、制御信号b、cを操作スイッチ部102から与えられ、画像処理部107から画像処理データxを与えられ、ビデオ信号処理部10 The coordinate calculation unit 108, the control signal b, given c from the operation switch unit 102, from the image processing unit 107 is given image processing data x, the video signal processing unit 10
4から同期信号jを与えられ、座標データyを伝送処理/送受信部109に与える。 Given the synchronization signal j from 4 gives the coordinate data y in the transmission processing / reception unit 109. ビデオフレームメモリ10 The video frame memory 10
6は、ビデオ信号処理部104からビデオデータwを与えられるとビデオデータw´を出力し、画像処理部10 6, given a video data w from the video signal processing unit 104 outputs the video data w ', the image processing unit 10
7に与える。 Give to 7. 画像処理部107は、ビデオフレームメモリ106からビデオデータw´を与えられると、画像処理データxを出力し、座標算出部108に与える。 The image processing unit 107, given a video data w'from the video frame memory 106, and outputs the image processing data x, gives the coordinate calculation unit 108. 伝送処理/送受信部109は、送信信号をアンテナ110に与え、アンテナ110で捕捉した受信信号は伝送処理/ Transmission processing / transceiver 109, provides a transmit signal to the antenna 110, the received signal captured by the antenna 110 transmits the processing /
送受信部109に与える。 Providing the transceiver unit 109.

【0018】(動作): ポインティング用コントローラ100を手に持って、表示画面方向に先端側を向けて、指示すべきポイントをレーザポインタ用発光部10 [0018] (Operation): in hand pointing controller 100, toward the tip side in the screen direction, emitting laser pointer points to the instruction unit 10
1からレーザ光スポットで照らす。 Illuminate from 1 with a laser beam spot. レーザ光スポットのオン/オフは操作スイッチ部102の操作によって行う。 On / off the laser beam spot is performed by operating the operation switch section 102. この操作スイッチ部102はモーメンタリ型で且つ2段階動作の機能とインタロック信号i及び点滅信号l Features and interlock signals i and blink signal l of the operation switch unit 102 and two-stage operation at momentary
の有無に対応して制御信号a〜cを出力する。 And the corresponding output control signals a~c of whether. 即ち、制御信号aはi=H(ハイレベル)で且つl=Hで且つ「軽く又は強く押している間」だけハイレベル、制御信号bはi=ハイレベル、且つ「軽く又は強く押している間」だけハイレベル、制御信号cは「強く押している間」だけハイレベルを出力するものである。 That is, "while pressing lightly or strongly" control signal a i = H (high level) and the "while pressing lightly or strongly" and at l = H high level only, the control signal b i = a high level, and only the high level, the control signal c is to output a high level only "while pressing strongly."

【0019】ビデオカメラ部103は、比較的広角のレンズで表示画面部150よりも広い領域の映像をビデオ信号として出力する。 The video camera unit 103 outputs a relatively wide angle image of the area wider than the display screen unit 150 in the lens as a video signal. このビデオ信号はビデオ信号処理部104に与えられる。 This video signal is applied to the video signal processing unit 104. このビデオ信号処理部104 The video signal processing unit 104
は、入力ビデオ信号から同期信号j、ビデオデータh、 It is synchronized from the input video signal signal j, video data h,
wを分離し、それぞれ座標算出部108と、表示画面認識部105と、ビデオフレームメモリ106とに与える。 Separating the w, respectively coordinate calculator 108, a display screen recognition unit 105, provided to the video frame memory 106. ビデオデータwは同時に画像処理部107に与えられる。 Video data w is applied to the image processing unit 107 simultaneously.

【0020】表示画面認識部105は、ビデオデータh [0020] The display screen recognition unit 105, the video data h
から撮影画像領域内に表示画面部150のラスタ表示を識別して、ラスタ表示の存在確認時だけインタロック信号iをレーザ発光許可を示すハイレベルに制御する。 Identify the raster display of the display screen unit 150 in the captured image area from, for controlling the existence confirmation only when the interlock signal i of the raster display a high level of a laser emission permission. ビデオフレームメモリ106は、ある特定タイミングでビデオデータwによってデータを更新する。 Video frame memory 106, updates the data by the video data w at a specific timing. 特定タイミングとは点滅信号lがロウレベルにおけるフレームを選択することを意味するものである。 The specific timing is intended to mean that the flashing signal l selects the frames in the low level.

【0021】画像処理部107には、ビデオデータw [0021] to the image processing unit 107, video data w
と、ビデオフレームメモリ106に記憶されたビデオデータw´が与えられる。 When video data w'stored in the video frame memory 106 is provided. 時間的に古いビデオデータw´ Time to old video data w'
は点滅するレーザ光によるマークの消灯の瞬間の画面の撮影ビデオデータであり、時間的に新しいビデオデータwは点滅するレーザ光スポットによるマークの点灯の瞬間の画面である。 Is a shooting video data at the moment of the screen off of the mark by the laser light that flashes, is a moment of screen time to the new video data w is the lighting of the mark by the laser beam spot to blink.

【0022】図2はレーザ光スポットの点滅のタイミングとビデオカメラ部103のフレームタイミングの関係を示すものである。 [0022] Figure 2 shows a relationship between frame timings flashing timing and the video camera unit 103 of the laser beam spot. この図2において、操作スイッチ部102のスイッチを軽く押した状態ではレーザポインタは連続して発光して特定箇所に視覚的にマーク表示を行うポインタとして機能する。 In FIG. 2, the laser pointer serves as a pointer for performing visual marks displayed on a specific portion to emit light continuously while pressing lightly the switch of the operation switch unit 102. レーザ光スポットのマークを特定の位置に定めた状態でスイッチを更に強く押すと、強く押している期間において制御信号cがハイレベルとなり、制御信号cがハイレベルの期間においては、 Pressing more strongly the switch marks the laser beam spot in a state that defines a particular position, will the control signal c is at a high level in a period in which the pressing strongly in the control signal c is a period of high level,
点滅信号lのローレベルの期間だけレーザ光スポットの発生が停止するため「レーザポインタの発光点滅」に示されるように点滅するのである。 Generation of only the laser beam spot the low level period of the flashing signal l is to blink, as shown in "emitting flashes of laser pointer" to stop. 点滅信号lをビデオカメラ部103のフレームタイミングに同期させて発生することによって、点滅信号lの変化の前後のフレーム、 By generating in synchronization with the flashing signal l frame timing of the video camera unit 103, the frames before and after the change of the blinking signal l,
即ち図2の『ビデオフレームタイミングの塗りつぶして示した前後のフレームにおいては、一方にだけ画面の特定部分を照射したレーザ光のマークを含むビデオデータが得られる』のである。 That "the before and after the frame shown fills the video frame timing, only the video data containing the mark of the laser light irradiating the particular portion of the screen is obtained in one" in FIG. 2 is the.

【0023】ビデオデータw、w´はフレームの例として、f(n)、f(n−1)と記入した両フレームデータに相当する。 The video data w, w 'Examples of the frame, f (n), corresponding to both frame data entered in f (n-1). ビデオデータw、w´を画像処理部10 Video data w, the image processing unit 10 w'
7に与え、画像処理部107からビデオデータw´及びフレーム間差分演算を含む画像処理演算によって得られたデータ、即ちレーザ光スポットによるマークを抽出したビデオデータとを座標算出部108に与えるものである。 Given to 7, intended to provide the video from the image processing unit 107 data w'and data obtained by the image processing operations including a difference operation between the frames, i.e. the video data obtained by extracting a mark by the laser beam spot to the coordinate calculation unit 108 is there. この座標算出部108には更にビデオ信号から分離した同期信号jが与えられており、ビデオデータのタイミングによってビデオデータw´の内部に撮影されているディスプレイのラスタ領域の座標と、レーザ光スポットによるマークの座標を算出し、更に撮影したディスプレイのラスタ領域を基準にディスプレイの中のどの位置にレーザ光スポットによるマークが存在するかを算出するものである。 This is the coordinate calculation unit 108 is given a further synchronization signal j separated from the video signal, the coordinates of the raster area of ​​the display has been taken inside the video data w'by the timing of the video data, by the laser beam spot calculating the coordinates of the marks, and calculates whether the mark by the laser beam spot is present in addition any position in the display based on the raster area of ​​the captured display.

【0024】この算出の例について図3の説明図を用いて詳細に説明する。 [0024] For an example of this calculation will be described in detail with reference to the explanatory diagram of FIG. この例ではビデオ信号の方式がNT NT is a method of video signal in this example
SC方式などの標準のビデオカメラを利用した場合のものである。 It is those in the case of utilizing the standard video camera, such as the SC method. この図3において、Dw´、Dwに連続する2フレームのある走査ラインのビデオデータの輝度レベルの波形の例を示す。 In FIG. 3, Dw ', showing an example of a luminance level of the waveform of the video data of scan lines with 2 consecutive frames to Dw. 横軸tは水平走査期間の時間軸を示す。 The horizontal axis t indicates the time axis of the horizontal scanning period. 縦軸はビデオデータのレベルを表すが、Th1、 While the vertical axis represents the level of the video data, Th1,
Dw、Dw´とTh2、Dw−Dw´は時間軸上のタイミングの関係の説明のためであって、両者間のレベルの相対関係を無視して表現している。 Dw, a Dw 'and Th2, dw-Dw' is for explanation of the relationship between the timing on the time axis is expressed by ignoring the relative relationship level between them.

【0025】ビデオデータの水平有効画素の開始タイミング(左端)Htfs及び終了タイミング(右端)Ht The start timing (the left end) of the horizontal effective pixels of the video data Htfs and end timing (the right end) Ht
feは同期信号とのタイミング関係が定まっているため、基準となるタイミングである。 fe because it has definite timing relationship between the sync signal, a timing to be a reference. 撮影ビデオ全体領域の中に存在する長方形に近い形状のディスプレイ画面領域を識別するため、ある閾値Th1を定めて、この閾値を越えるレベルの最左端のタイミングHtds及び最右端のタイミングHtdeを検出する。 To identify a display screen area having a shape close to a rectangle present in the shooting video entire region, it defines a certain threshold Th1, detects the leftmost timing Htds and rightmost timing Htde of levels above this threshold.

【0026】一方、Dw−Dw´の波形に対して、ある閾値Th2によって識別したタイミングHtms〜Ht On the other hand, the waveform of Dw-Dw ', timing identified by a threshold Th2 Htms~Ht
meはレーザ光によるマークの撮影位置とするものである。 me is to the shooting position of the mark by the laser beam. これらのタイミングは、例えば、ビデオ信号処理部104内のビデオタイミング発生回路の水平カウンタ出力などからデジタル値として得られるため、ディスプレイ画面上のマーク位置の水平座標を正確に算出することができるのである。 These timings are for example, because it is obtained as a digital value from such horizontal counter output of the video timing generator of a video signal processing unit 104, it is possible to accurately calculate the horizontal coordinate of the mark position on the display screen .

【0027】垂直座標の検出についても全く同様に、D [0027] in exactly the same applies to the detection of the vertical coordinate, D
w´が閾値Th1を越える最上端のライン番号と最下端のライン番号を検出し、Dw−Dw´が閾値Th2を越えるライン番号からマーク位置の存在を推定するライン番号を検出するものである。 w'detects a line number and the line number of the lowermost end of the uppermost exceeding the threshold value Th1, and detects the line number to estimate the presence of the mark position from the line number Dw-Dw 'exceeds the threshold value Th2. ライン番号も同様に例えば、ビデオ信号処理部104内のビデオタイミング発生回路の垂直カウンタの出力からデジタル値として得られるため、ディスプレイ画面上のマーク位置の垂直座標に正確に算出することができるのである。 Line numbers are likewise example, because it is obtained as a digital value from the output of the vertical counter of the video timing generator of a video signal processing unit 104, it is possible to accurately calculate the vertical coordinate of the mark position on the display screen .

【0028】上述の図2の説明においては、インターロック信号iがハイレベルの期間を前提に説明したが、インターロック信号iがローレベルの期間においてはレーザ発光を禁止するように動作する。 [0028] In the above description of Figure 2, although the interlock signal i has been described assuming a high-level period, the interlock signal i is operated to prohibit lasing in the period of low level. このインターロック信号iは表示画面認識部105において、最左端のタイミングHtds、最右端のタイミングHtde、最上端ライン番号及び最下端ライン番号から、撮影ビデオ全体領域の中に存在する長方形に近い形状のディスプレイ画面領域が、ある定められた範囲のほぼ中央部分に存在することを確認した場合にだけハイレベルに制御される。 In this interlock signal i the display screen recognition unit 105, the leftmost timing HTDS, rightmost timing Htde, from the uppermost line number and lowermost line number, the shape close to a rectangle present in the shooting video entire area display screen area is controlled by the high level when it is confirmed that there approximately in the center portion of the range defined in.

【0029】このようにして得られた「マーク位置の座標」及び選択意志による操作スイッチ部102を「更に強く押した」ことを示す情報は伝送処理/送受信部10 [0029] Thus the information indicating that "pushed further strongly" the operation switch unit 102 according to the resulting "coordinates of the mark position" and the selection will be transmitted processing / transceiver 10
9に与えられ、この伝送処理/送受信部109の送受信信号はアンテナ110から無線送信される。 Given 9, transmission and reception signals of the transmission processing / reception unit 109 is wirelessly transmitted from the antenna 110. 受信機能は必ずしも必要ではないが座標データ伝送のプロトコルによっては双方向の通信機能が必要になるのである。 Receiving function is to require two-way communication function by always necessary though not coordinate data transmission protocol is.

【0030】送信された信号は、制御部600のアダプタ201aで受信され、復号されたポインティング指示座標を含む制御情報が、従来のキーボードやマウスによる制御信号に代わって、パーソナルコンピュータの制御部201へのマンマシンインタフェース信号として与えられ、表示画面部150から離れた位置からのポインティング制御が可能となる。 The transmitted signal is received by the adapter 201a of the control unit 600, the control information including the decrypted pointing indicated coordinate, on behalf of the control signal according to a conventional keyboard and mouse, the personal computer to the control unit 201 given as a man-machine interface signal, it is possible to pointing control from a position distant from the display screen unit 150.

【0031】(第1実施例の効果): 以上の第1実施例によれば、レーザ発光スポットでディスプレイ上にマークを表示して指示をするため、従来のようなポインタと同様に指示ポイントを視覚的に見ることができ、指示したいポイントを直観的な感性で直ちに指示する操作性は、操作技術を訓練する必要がなく、不特定の人が自由に利用できて好ましい。 [0031] (Effect of first embodiment) According to the first embodiment, to an instruction to display the mark on the display with a laser emission spot, a conventional pointer as well as instruction points, such as can be seen visually, operability to instruct immediately intuitive sensibility to the point where you want to instructions, there is no need to train the operation technology, unspecified people preferred to freely available.

【0032】更に、ポイントを選択する操作が片手で操作スイッチを押すことによって可能なことと、スポット照射位置或いはカーソル位置が自動的にポイントマーク位置と一致しているため、従来のマウスでカーソル位置を移動させながら選択したい位置でボタンクリックする操作に比較して使い易いなどの優れた効果が得られ、特にディスプレイ画面を見ながらプレゼンテーションを行うようなアプリケーションにおいても非常に好ましい操作性を実現することができる。 Furthermore, the possible available by pressing the operation switch operated with one hand to select the point, since the spot irradiation position or the cursor position coincides with the automatically point mark position, the cursor position in a conventional mouse excellent effects such as easy to use as compared to the operation button click on a position to be selected while moving is obtained, and to realize a highly preferred operability in applications such as a presentation while particular viewing the display screen can.

【0033】また、ポインティング用コントローラ10 [0033] In addition, pointing controller 10
0には先端が表示画面部150の方向に向いていることを検出する機能が実現され、表示画面部150の方向に向いているときだけレーザ発光スポットを許可するインターロックシステムが機能するので、人の目の方向に直接向けて操作しても発光せず、人に優しい操作性と安全性とを実現することができる。 0 function of detecting that the tip is oriented in the direction of the display screen unit 150 is realized, since only the interlock system to allow the laser emission spot functions when facing the direction of the display screen unit 150, be manipulated directly toward the direction of the human eye does not emit light, it is possible to achieve the gentle operation and safety to humans.

【0034】また更に、ポインティング座標算出において、水平座標検出がビデオデータのライン単位になされ、且つビデオデータ中のディスプレイ領域との相対関係によって算出するため、プロジェクタでの投影画像の上部と下部との拡大率が異なって歪んだ形状の表示画面部150であっても座標検出に悪い影響を与えないなどの効果を得ることができる。 [0034] Further, in the pointing coordinate calculation, the horizontal coordinate detection made in line units of video data, and for calculating the relative relationship between the display area in the video data, the projected image in the projector top and bottom and the a display screen unit 150 having a shape distorted magnification different can be obtained effects such as not adversely affect the coordinate detection. また、光照射指示位置を表示画面にシンボル表示することで更に、視認性と操作性の向上を図ることができる。 Moreover, further by displaying the symbol light irradiation indicated position on the display screen, it is possible to improve the visibility and operability.

【0035】以上のことから、画面に表示されている映像の目的とする部分を見ながらポインティング用コントローラ100で指示し、その指示した画面上の位置を容易に検出し、検出した位置座標を動作モードの制御に使用することができる簡単な構成のポインティングシステムを実現することができる。 From the above, while viewing the portion of interest of the image displayed on the screen indicated by the pointing controller 100, the instruction position on the screen easily detected, operating the detected position coordinates it is possible to realize a pointing system of a simple structure that can be used to control the mode.

【0036】『第2実施例』:図4は第2実施例のポインティングシステムの機能構成図である。 The "second embodiment": FIG. 4 is a functional block diagram of a pointing system of the second embodiment. この図4において、ポインティングシステムは、ポインティング用コントローラ500と、テレビ受像機550と、セットトップユニット560とから構成されている。 In FIG. 4, the pointing system, a pointing controller 500, the television receiver 550, and a set-top unit 560.. ポインティング用コントローラ500は、レーザポインタ用発光部501と、操作スイッチ部502と、ビデオカメラ部5 Pointing controller 500 includes a laser pointer light emitting section 501, an operation switch unit 502, the video camera unit 5
03と、制御信号多重/ビデオ変調部504と、アンテナ505とから構成されている。 03, a control signal multiplexing / video modulation unit 504, and an antenna 505.. セットトップユニット560は、アンテナ561と、受信復調部562と、座標算出部563と、制御部564とから構成されている。 Set-top unit 560 includes an antenna 561, a reception demodulator 562, a coordinate calculation unit 563, and a control unit 564 Prefecture.

【0037】レーザポインタ用発光部501は、点灯制御信号aが操作スイッチ部502から与えられ、レーザ光スポットをテレビ受像機550に照射する。 The laser pointer light emitting section 501, the lighting control signal a is supplied from the operation switch unit 502, irradiates the laser beam spot to the television receiver 550. 制御信号多重/ビデオ変調部504は、ビデオカメラ部503からビデオ信号vを与えられ、操作スイッチ部502から制御信号cを与えられ、操作スイッチ部502へ点滅信号lを与え、送信信号をアンテナ505へ与える。 Control signal multiplexing / video modulator unit 504, from the video camera unit 503 provided with a video signal v, given a control signal c from the operation switch unit 502, gives a flashing signal l to the operation switch section 502, a transmission signal antenna 505 give to.

【0038】アンテナ561は、ポインティング用コントローラ500からも信号を受け、受信信号を受信復調部562に与える。 The antenna 561 also receives a signal from a pointing controller 500, provides a received signal to a reception demodulator 562. 受信復調部562は、受信信号を復調してビデオ信号と制御信号とに分離して座標算出部5 Receiving demodulator unit 562, the coordinate calculation unit 5 demodulates the received signal is separated into a video signal and a control signal
63に与える。 Give to 63. 座標算出部563は、マークの座標を算出して制御部564に与える。 Coordinate calculation unit 563 provides the control unit 564 calculates the coordinates of the mark. 制御部564は、マークの座標からテレビ受像機550のカーソル制御などを行う。 The control unit 564 performs such as cursor control of the television receiver 550 from the coordinates of the mark.

【0039】(動作): 図4において、ポインティング用コントローラ500を手に持って、テレビ受像機550の画面方向に先端側を向けて、第1実施例と同様に指示すべきポイントをレーザポインタ用発光部501 [0039] (Operation): 4, in hand pointing controller 500, toward the tip side in the screen direction of the television receiver 550, laser pointer points to be indicated as in the first embodiment the light-emitting portion 501
のレーザ光スポットで照らす。 Illuminated with a laser beam spot. レーザ光スポットのオン/オフは操作スイッチ部502の操作による。 On / off the laser beam spot by the operation of the operation switch unit 502. この操作スイッチ部502はモーメンタリ型で且つ2段階動作の機能を有するので、第1実施例と同様に押す強さによって単なるポインティングと意志によって選択を制御を行うものである。 Since the operation switch unit 502 has a function and two-stage operation at momentary, and controls the selection by simply pointing and will by the strength pressing as in the first embodiment.

【0040】第2実施例においては、第1実施例とは異なりポインティング用コントローラ500の内部では座標算出を行わずに、ビデオカメラ部503で撮影したビデオ信号をそのまま変調して、セットトップユニット5 [0040] In the second embodiment, without coordinate calculation inside the pointing controller 500 differs from the first embodiment, a video signal captured by the video camera unit 503 as it is modulated, set-top unit 5
60に無線伝送する。 60 to wireless transmission. 操作スイッチ部502による選択信号情報及びレーザ発光スポットの点滅に対応するビデオフレーム識別情報は、情報量が非常に少ないためビデオのブランキング期間に重畳するなどの簡易な方法で多重が可能である。 Video frame identification information corresponding to the blinking of the selection signal information and a laser light-emitting spot by the operation switch unit 502 is capable multiplexed by a simple method such as the amount of information is superimposed on the blanking period of very low for video.

【0041】点滅制御信号lは、第1実施例と同様にビデオカメラ部503からの同期信号と同期させることが好ましい。 The blinking control signal l is preferably synchronized with the synchronizing signal from the video camera unit 503 as in the first embodiment. 更に、画面検出によるインタロック信号によるレーザ発光の許可制御機能を有することが好ましい。 Furthermore, it is preferable to have a admission control function of the laser emission by interlock signal by image detecting.

【0042】ポインティング用コントローラ500からの信号はアンテナ561で受信され、受信/復調部56 The signals from the pointing controller 500 is received by antenna 561, receiver / demodulator 56
2で復調/分離され、ベースバンドのビデオ信号と制御信号とが得られる。 2 is demodulated / separated by a video signal and a control signal of the baseband are obtained. これらの信号は座標算出部563に与えられ、第1実施例と同様の処理によってポインタによるマークの座標が算出される。 These signals are supplied to the coordinate calculation unit 563, the coordinates of the marks by the pointer is calculated by the same processing as in the first embodiment. 算出された座標情報と制御情報は、セットトップユニット560の制御部56 Calculated coordinate information and control information, the control unit 56 of the set top unit 560
4に与えられ、テレビ受像機550のカーソル制御その他のマンマシンインタフェース信号となり、インタラクティブな操作機能を実現するのである。 Given to 4, becomes a cursor control other man-machine interface signal of the television receiver 550, it is to achieve an interactive operation function.

【0043】(第2実施例の効果): 以上の第2実施例によれば、上述の第1実施例と同様にレーザ発光ポインタでディスプレイ上にマークを表示して指示をするため、従来のポインタと同様に指示ポイントが視覚的に見えることと、指示したいポイントを直感的な感性で指示することが可能な優れたポインティング機能と操作性とを実現することができる。 [0043] (Effect of second embodiment): According to the second embodiment, since the instruction to display the mark on the display with similarly laser emission pointers in the first embodiment described above, the conventional pointer as well as instruction points can be realized and can appear visually, and intuitive sensibility better capable of directing in a pointing function and operability points to be indicated.

【0044】特に家庭でのVOD(ビデオオンデマンド)端末等を想定した場合、パーソナルコンピュータやワークステーションのディスプレイの直前の席に座って操作する従来の環境とは異なり、比較的離れた位置に存在する受像機の画面に向けてリモコンを操作する感覚でポインティングと選択制御によるインタラクティブ制御が可能となる。 [0044] In particular, in the case of assuming the VOD (video-on-demand) terminal or the like at home, unlike the conventional environment to operate sitting in the seat just before the personal computer or workstation display, present in relatively remote location toward the screen of the receiver that allows interactive control by pointing and selection control in the sense of operating the remote control.

【0045】セットトップユニット560は、一般に複数の機能のブロックで構成され、CATV受信やビデオオンデマンド端末としての機能を実現するが、本ポインティングシステムのために受信/復調部562及び座標検出部563を付加・統合することによって、ポインティング用コントローラ500のハードウエアの配分を小さくしたインタラクティブ制御用のポインティングシステムを実現でき、ポインティング用コントローラ500 The set-top unit 560 is generally composed of a plurality of blocks of functionality, but to realize the function of the CATV receiver or video-on-demand terminal, receiving / demodulating section 562 and the coordinate detection section 563 for the pointing system the by adding and integrating, we can achieve a pointing system for interactive control with a reduced allocation of hardware pointing controller 500, a pointing controller 500
を小型、軽量にすることができる。 A small, can be lightweight.

【0046】また、第1実施例と異なり、セットトップユニット560において座標算出演算を行えば良いため、消費電力やハードウエア規模の制限が緩和されるので、より複雑な画像処理が可能となり、閾値Th1、T [0046] Further, unlike the first embodiment, since it is sufficient to coordinate calculating operation in the set top unit 560, since the power consumption and the hardware scale of the restriction is relaxed, enabling more complicated image processing, threshold value Th1, T
h2を撮影したビデオ画面全体或いは周辺の輝度レベルの平均値に相関して決定するなどの適応制御の適用を行うことができる。 h2 can be the performed application of adaptive control, such as determined by correlation to the average value of the luminance level of the video screen the whole or near taken. レーザ発光の点滅のビデオとの同期に関する条件も緩和される可能性がある。 Synchronization conditions on the blink video lasing could also be relaxed. また、光照射位置を表示画面にシンボル表示することで更に、視認性と操作性の向上を図ることができる。 Moreover, further by displaying the symbol of the light irradiation position on the display screen, it is possible to improve the visibility and operability.

【0047】以上のことから、画面に表示されている映像の目的とする部分を見ながらポインティング用コントローラ500で指示し、その指示した画面上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる。 [0047] From the above, while viewing the portion of interest of the image displayed on the screen indicated by the pointing controller 500, the instruction position on the screen easily detected, the detected position coordinates interactively it can be used as control information of the operation.

【0048】『第3実施例』:次の第3実施例、第4実施例においても、表示スクリーン側に特別な装置や仕掛けを必要とせず、特に単なるスクリーンにビデオプロジェクタで投影して得られた大画面上を単なる指示棒やレーザ光などを用いた発光照射指示ポインタを用いて指示しながら、指示点の情報を電子化することを可能にすることによって、従来は主にマウスなどを用いなければならなかったカーソルの移動や選択制御などのマンマシンインタフェースを、指示棒や発光照射指示ポインタの操作だけで行うことができるポインティングシステムを構成するものである。 The "third embodiment": third embodiment in the following, also in the fourth embodiment, without requiring a special apparatus or gimmick on the display screen side, are in particular obtained by projecting a video projector to a simple screen while a large screen above indicated using the light-emitting irradiation instruction pointer using a mere indication stick or laser light, by the information of the designated point allows for electronic, conventionally mainly used a mouse the man-machine interface, such as a mobile or selection cursor control had not, and constitutes the pointing system can be performed only by operation of the pointing stick and luminous irradiation instruction pointer.

【0049】図5は第3実施例のポインティングシステムの概略構成図である。 [0049] FIG. 5 is a schematic diagram of a pointing system of the third embodiment. この図5において、ポインティングシステムは主にポインティングシステム用本体ユニット120と、パーソナルコンピュータの制御ユニット200と、スクリーン300と、指示棒400とから構成されている。 In FIG. 5, the pointing system mainly the main unit 120 for pointing system, the control unit 200 of the personal computer, the screen 300, and a pointing stick 400.. ポインティングシステム用本体ユニット120に主にビデオプロジェクタ121、ポインティング検出カメラ122などが備えられている。 Mainly video projector 121 to the pointing system for the main unit 120, and a pointing detection camera 122 are provided.

【0050】図6はポインティングシステム用本体ユニット120の機能構成図である。 [0050] FIG. 6 is a functional block diagram of the main unit 120 for pointing system. この図6において、ポインティングシステム用本体ユニット120は、ビデオプロジェクタ121と、ポインティング検出カメラ12 In FIG. 6, the main unit 120 for pointing system includes a video projector 121, pointing detection camera 12
2と、デジタル化回路123と、前フレーム用フレームメモリ124と、動き検出回路125と、背景メモリ回路126と、ポインティング座標検出回路127と、座標変動判定回路128と、タイミング発生回路129とから構成されている。 2, a digitizing circuit 123, the previous frame for the frame memory 124, configuration and motion detector 125, a background memory circuit 126, and a pointing coordinate detection circuit 127, a coordinate variation determination circuit 128, the timing generator 129 Metropolitan It is.

【0051】この図6において、ビデオプロジェクタ1 [0051] In FIG. 6, the video projector 1
21のレンズとポインティング検出カメラ122のレンズとの間にZZZと示しているのは、プロジェクタ部1 What it shows the ZZZ between 21 lenses and a lens pointing detection camera 122, the projector unit 1
30と、ポインティング検出部131との一体化構造とした場合のフォーカスやスーム等の光学的な機構の連動性を示している。 30 shows the interlocking of the optical mechanism, such as focus and Sumu in the case of the integral structure of the pointing detector 131.

【0052】ビデオプロジェクタ121には、光源等のための電力PSが供給され、ビデオ入力コネクタJ1からビデオ信号VS1が与えられている。 [0052] video projector 121, power PS for such light source is supplied, the video signal VS1 is applied from the video input connector J1. ポインティング検出カメラ122で撮影されたビデオ信号VS2はデジタル化回路123に与えられる。 Video signal VS2 which has been captured by the pointing detection camera 122 is supplied to the digitizing circuit 123. デジタル化回路123 Digitizing circuit 123
は、入力ビデオ信号VS2をデジタル化し、ビデオデータdを前フレーム用フレームメモリ124と、動き検出回路125と、ポインティング座標検出回路127とに与え、同期信号sを生成し出力する。 The input video signal VS2 digitizes, a frame memory 124 for the previous frame video data d, a motion detection circuit 125, provided to the pointing coordinate detection circuit 127, which generates a synchronization signal s output. 前フレーム用フレームメモリ124は、ビデオデータdを記憶し、前フレームデータd´を出力し、動き検出回路125と、背景メモリ回路126とに与える。 Previous frame frame memory 124 stores the video data d, before outputting the frame data d', a motion detection circuit 125, giving a background memory circuit 126. 動き検出回路125は、 Motion detection circuit 125,
ビデオデータdと、前フレームデータd´とを与えられ、動き検出出力mを生成し、背景メモリ回路126に与える。 The video data d, before given the frame data d', generates a motion detection output m, giving a background memory circuit 126.

【0053】ポインティング座標検出回路127は、ビデオデータdと、背景メモリ回路126からの背景メモリ出力bgとから指示棒400の先端部の座標を検出座標xyとして座標変動判定回路128に与え、ポインティング座標出力コネクタCN1に出力される。 [0053] Pointing coordinate detection circuit 127, the video data d, given in the coordinate variation determination circuit 128 as a detection coordinates xy coordinates of the tip of the pointing rod 400 from a background memory output bg from the background memory circuit 126, a pointing coordinate It is output to the output connector CN1. 座標変動判定回路128は、検出座標xyから座標変動判定結果が静止なる判定出力c1、c2を求め、判定出力c1は背景メモリ回路126に与え、判定出力c2は選択制御信号出力コネクタCN2に与える。 Coordinate variation determination circuit 128 obtains a judgment output c1, c2 of the coordinate change determination result from the detection coordinates xy is still, determines the output c1 is applied to the background memory circuit 126, judgment output c2 is given to the selection control signal output connector CN2. 背景メモリ回路12 Background memory circuit 12
6は、前フレームデータd´と、動き検出出力mと、判定出力c1とから背景メモリデータbgを出力し、ポインティング座標検出回路127に与える。 6, the previous frame data d', a motion detection output m, outputs the background memory data bg from the judgment output c1 Prefecture, it gives the pointing coordinate detection circuit 127.

【0054】(動作): パーソナルコンピュータの制御ユニット200からのビデオ出力は、一般的な液晶のビデオプロジェクタ121に入力されて、スクリーン300に映像を投影する。 [0054] (Operation): video output from the control unit 200 of the personal computer is input to the video projector 121 of a general liquid crystal, for projecting an image on a screen 300. スクリーン300のあるポイントを指示棒400の先端で指示すると、指示棒400 And instructs the points of the screen 300 at the tip of the pointing stick 400, fescue 400
を含むスクリーン300のビデオカメラ122による撮影データから指示ポインタの座標を検出するのである。 Than it detects the coordinates of the designated pointer from the imaging data by the video camera 122 of the screen 300 including.

【0055】この『指示ポインタの検出の動作』について図6を用いて詳細に説明する。 [0055] This "operation of the detection of the instruction pointer" will be described in detail with reference to FIG. ポインティング検出カメラ122は比較的に広角のレンズでスクリーン300 Screen 300 pointing detection camera 122 is relatively wide-angle lens
よりも少し広い領域の映像を撮影し、ビデオ信号VS2 By shooting the image of a little wider area than, the video signal VS2
として出力する。 And outputs it as. このビデオ信号VS2はデジタル化回路123に入力されて、同期信号sと、デジタルビデオデータdとを分離して出力する。 The video signal VS2 is input to the digitizing circuit 123, a synchronization signal s, and outputs by separating the digital video data d. このデジタルビデオデータdは、前フレーム用フレームメモリ124、動き検出回路125、座標検出回路127に入力され、動き検出回路125には前フレーム用フレームメモリ124から1フレーム遅延したビデオデータd´も入力される。 The digital video data d of the previous frame for a frame memory 124, the motion detection circuit 125 is input to the coordinate detection circuit 127, the video data d'also input to the motion detection circuit 125 delayed by one frame from the previous frame for the frame memory 124 It is.

【0056】動き検出回路125は、フレーム間差分(d−d´)の絶対値をある閾値と比較して、変動のあった画素の座標を推定し、変動ありと判定した座標を除く領域だけ、背景メモリ回路126の画素データをビデオデータd´によって更新するように背景メモリ回路1 [0056] motion detecting circuit 125 compares a threshold with the absolute value of the frame difference (d-d'), to estimate the coordinates of a pixel of the change, only the region except the coordinates it is determined that there is variation background memory circuit so as to update the pixel data of the background memory circuit 126 by the video data d'1
26を制御する。 To control the 26. このようにして背景メモリ回路126 Background memory circuit 126 in this way
には常に背景映像データbgが格納されており、背景メモリデータbgをポインティング座標検出回路127に与える。 Always stored background picture data bg to provide a background memory data bg the pointing coordinate detection circuit 127. ポインティング座標検出回路127は、ビデオデータと、背景メモリデータとのフレーム間差分(d− Pointing coordinate detection circuit 127, the video data, the inter-frame difference between the background memory data (d-
bg)演算を含む画像処理によって、指示棒画像を抽出し、指示棒に相当する画素の座標を推定すると同時に、 The image processing including bg) operation, extracts the indicator rod image and to estimate the coordinates of the pixel corresponding to the pointing rod simultaneously,
指示棒の画像が棒状であることを条件として、座標的に不連続な孤立点及び孤立領域を検出結果から除去する。 On the condition that the image of the fescue is rod-shaped, is removed from the detection result coordinate to discrete isolated point and the isolated region.

【0057】更に、ポインティング座標検出回路127 [0057] Furthermore, the pointing coordinate detection circuit 127
ではこのようにして検出された指示棒画像と背景映像とから、指示棒400の先端座標を推定する。 In and an indicator rod image and the background image that has been detected in this manner, to estimate the coordinates of the tip of the pointing stick 400. タイミング発生回路129は同期信号sに同期して発生したビデオタイミング信号を前フレーム用フレームメモリ124 Timing generating circuit 129 frame memory 124 for the previous frame video timing signals generated in synchronization with the synchronization signal s
と、ポインティング座標検出回路127に与えるため、 When, to give to the pointing coordinate detection circuit 127,
ビデオタイミング信号から撮影されたビデオデータdの空間的位置に対応した座標情報xyをデジタルデータとして得ることができる。 The coordinate information xy corresponding to the spatial position of the video data d taken from the video timing signal can be obtained as digital data.

【0058】このようにして得られた『指示棒画像と背景画像とから指示棒400の先端座標を推定する方法』 [0058] "method of estimating the coordinates of the tip of the pointing stick 400 from the indicator rod image and the background image" thus obtained
について図7、図8を用いて説明する。 For Figure 7, it will be described with reference to FIG. 図7はポインティング検出カメラ122で撮影する映像と、ビデオデータdとの関係を表すものである。 Figure 7 is intended to represent the image to be captured by the pointing detection camera 122, the relationship between the video data d. 図8は表示映像のラスタ領域と指示棒400との位置関係のパターン分類を示すものである。 Figure 8 shows a pattern classification of the positional relationship between the raster area of ​​the display image and the pointing stick 400.

【0059】先ず背景ビデオデータbgから、表示映像のラスタ領域を識別する。 [0059] First the background video data bg, identifying the raster area of ​​the displayed image. 図7において、4001に示す枠内がポインティング用カメラ122の有効撮影領域、4002に示す枠内がビデオプロジェクタ121によって投影された映像のラスタ領域である。 7, the effective imaging region in the frame pointing camera 122 shown in 4001, enclosed in a frame 4002 is a raster area of ​​the image projected by a video projector 121. 4006 4006
は、背景ビデオデータbgのある走査ラインを示し、この走査ラインの輝度レベルの波形の例を領域4007に示す。 Indicates a scanning line with a background video data bg, showing an example of a luminance level of the waveform of the scanning line in the region 4007. この領域4007の横軸tは水平走査期間の時間軸を表し、縦軸はビデオデータの輝度レベルを示す。 The horizontal axis t of the region 4007 represents a time axis of the horizontal scanning period, the vertical axis represents the luminance level of the video data. ビデオデータdの水平有効画素の開始タイミング(左端) Start timing of the horizontal effective pixels of the video data d (left)
Htfs及び終了タイミング(右端)Htfeは同期信号sとのタイミング関係が定まっているため、基準となるタイミングである。 Since Htfs and end timing (the right end) Htfe have definite timing relationship between the sync signal s, a timing to be a reference.

【0060】撮影ビデオ全体領域の中に存在する長方形に近い形状のスクリーン300の領域を識別するため、 [0060] To identify the region of the shape of the screen 300 close to the rectangle present in the shooting video entire area,
ある閾値Th1を定めて、閾値を越えるレベルの最左端のタイミングHtds及び最右端のタイミングHtde Defining a threshold Th1, the leftmost level exceeding the threshold timing Htds and rightmost timing Htde
を検出する。 To detect.

【0061】垂直方向の検出についても、同様の方法でスクリーン300の領域に対応する走査ラインを検出して、ライン番号を対応させることができる。 [0061] For even vertical direction of the detection, by detecting the scanning line corresponding to the region of the screen 300 in the same manner, the line number can be associated. 表示映像のラスタ領域が撮影したビデオデータのどの位置に存在するかのおよその位置関係を予め設定した上でポインティング検出カメラ122のレンズの選択や調節がなされているため、このような方法によって輝度レベルが周辺より高い長方形に近い領域を困難なく検出することができるのである。 Since the raster area of ​​the display image is the lens selection and adjustment of the pointing detection camera 122 is performed after having preset the approximate positional relationship which exists at a position of the video data taken, the brightness by this method level it is possible to detect without difficulty region closer to higher than the surrounding rectangle.

【0062】一方、指示棒画像とラスタ領域の関係をパターン化すると、パターンP1〜P8の8パターンとなるが、図8に示すように指示棒400を表す座標集合中に表示映像のラスタ領域の最下端辺Bと共通なる座標を有するパターンP1、P2、最右端辺Rと共通なる座標を有するパターンP3、P4、最左端辺Lと共通なる座標を有するパターンP5、P6、最下端辺Tと共通なる座標を有するパターンP7、P8などの4種類を識別することによって指示棒400の先端座標が特定される。 [0062] On the other hand, when patterning the relationship fescue image and raster area, although the 8 patterns of the pattern P1 to P8, the raster area of ​​the displayed image on the set of coordinates in representing the pointing stick 400 as shown in FIG. 8 pattern P1, P2 having a common Naru coordinates and the lowermost end side B, the pattern P3 having a rightmost side R and the common Naru coordinates, P4, the pattern P5, P6 having a leftmost side L and common Naru coordinates, and the lowermost end side T tip coordinates of the pointing stick 400 is identified by identifying four kinds such as a pattern P7, P8 having a common Naru coordinates.

【0063】即ち、これらのパターンの識別結果に応じてパターンP1、P2と識別された場合は、棒画像2次元座標集合中の最上点が、パターンP3、P4では最左点が、パターンP5、P6では最右点が、パターンP [0063] That is, if you have identified a pattern P1, P2 in accordance with the identification result of these patterns, the uppermost point of the bar image two-dimensional coordinates set in the leftmost point in the pattern P3, P4 is the pattern P5, P6 in the right-most point, the pattern P
7、P8では最下点が各々先端であると判定することによって先端座標を検出することができるのである。 7, it is possible to detect the coordinates of the tip by the P8 lowest point is determined to be each tip.

【0064】一般的には見易いようにプレゼンテーションを行う人よりも高い位置に表示される場合が多く、パターンP1〜P5の4パターンとなることが多い。 [0064] Generally, when displayed at a position higher than those who give presentations as easily visible in many, often it becomes four patterns of the pattern P1 to P5. このようにして、指示棒400による指示ポイントの座標がビデオフレームの水平及び垂直座標として得られ、この2次元座標データは、表示映像ラスタ領域の座標との相対的な位置関係の表現に変換されてポインティング座標出力コネクタCN1からパーソナルコンピュータの制御ユニット200へポインティング座標データxyとして与えられる。 In this way, the coordinates of the points by the pointing stick 400 is obtained as the horizontal and vertical coordinates of the video frame, the two-dimensional coordinate data is converted into a representation of the relative positional relationship between the coordinates of a display image raster area given as the pointing coordinate data xy from the pointing coordinate output connectors CN1 to the control unit 200 of the personal computer Te.

【0065】このポインティング座標データxyは、座標変動判定回路128にも与えられ、ここで、ポインティング座標の時間的な変動の種類を認識する。 [0065] The pointing coordinate data xy is given to the coordinate variation determining circuit 128, wherein the recognizing the type of temporal variations of the pointing coordinate. 時間的な変動の種類の例として、「一定期間静止」、「小刻みに動かす」、Vの形やOを描くなどの「特定のジェスチャ」などを仮定しており、認識可能な指示棒400の先端の特定の動きを登録する機能を有している。 Examples of the types of temporal variations, "a certain period at rest", "little by little movement", such as drawing a shape and O of V is assumed as "specific gesture", recognizable fescue 400 It has a function of registering the specific movement of the tip.

【0066】次に、『ポインティング座標の時間的な変動検出』について説明する。 Next, a description will be given "time variation detection of the pointing coordinates". 指示棒400の先端の静止を検出すると直ちに、背景メモリ回路126を制御して背景メモリ回路126への指示棒映像領域の更新を禁止することによって、静止状態の指示棒映像が背景映像として背景メモリ回路126に格納されることを防止するものである。 Immediately upon detecting the static of the tip of the pointing stick 400, the background memory by inhibiting the updating of the indicator rod image area of ​​the background memory circuit 126 controls the background memory circuit 126, fescue video quiescent as background image it is to prevent the stored in the circuit 126.

【0067】更に、指示棒400の先端を特定のポイントで一定時間静止させると、「指示ポイント静止」なる情報を選択制御信号出力コネクタCN2から、パーソナルコンピュータの制御ユニット200に出力することによって、制御ユニット200は従来のキーボードやマウスによる制御信号に代わって、例えば、マウスボタンクリックに相当する制御信号を同じように制御部機能を実現するソフトウエアを実装しておくことによって、指示棒操作だけで選択制御などのインタラクティブ動作を実現することができるのである。 [0067] Further, when the tip of the pointing rod 400 is fixed time still at a specific point, the information of "instructing Point rest" from the selection control signal output connector CN2, by outputting to the control unit 200 of the personal computer, controlled unit 200 instead of the control signal according to a conventional keyboard or a mouse, for example, by leaving implement software control signal corresponding to a mouse button click to achieve a similar control unit functions, only instruction rod operation it is possible to realize the interactive operations such as selection control.

【0068】更には、指示棒400の先端の特定の動きを登録することによって、ユーザの好みに応じた選択操作が可能になり、例えば、使いなれたマウスのボタン操作に対応させて、複数ボタンの使い分けやダブルクリックが単なる指示棒先端の動かし方で可能になるのである。 [0068] Furthermore, by registering the specific movement of the tip of the pointing stick 400 allows selection operation according to the user preferences, for example, corresponding to the button operation of the mouse familiar to use multiple buttons of the proper use and double-click is made possible in how to move the mere indication rod tip.

【0069】(第3実施例の効果): 以上の第3実施例によれば、単なるスクリーン上に投影されて映し出された映像上のポイントを単なる指示棒400によって指示する方法でありながら、ポインティング情報が電子化され、コンピュータへのインタフェースとして用いることができるため、従来の指示棒と同様に指示ポイントが視覚的に見えることと、指示したいポイントを直観的な感性で直ちに指示する操作性は、操作技術を訓練する必要がなく不特定の人が自由に利用できて好ましい。 [0069] (Effect of third embodiment): According to the third embodiment, while a method of instructing a point on the image that is projected is projected onto a mere screen by simply pointing stick 400, pointing because information is digitized, it can be used as an interface to the computer, and that the conventional pointing rod as well as instruction points looks visually, the operability for instructing immediately intuitive sense points to be indicated, unspecified people there is no need to train the operation techniques are preferred and can be used freely.

【0070】更に、ポイントを選択する操作が、指示棒先端を選択する特定ポイントで静止させるなど、自然且つ片手で操作可能な優れたポンティングシステムを実現することができる。 [0070] Further, operation for selecting the points, such as by stationary at specific points for selecting the indicator rod tip, it is possible to realize a pointing system superior operable in natural and hand. 特に立った姿勢で、大画面のディスプレイ画面を見ながらプレゼンテーションを行うようなアプリケーションにおいては非常に好ましい操作を行うことができる。 In particular, in a standing position, in applications such as a presentation while viewing the display screen of a large screen can be carried out very preferable operation.

【0071】また、ポインティング座標算出において、 [0071] In addition, in pointing coordinate calculation,
フレーム間の画像処理だけによるのではなく、背景映像専用の背景メモリ回路126を設けたことによって、指示棒映像の抽出が確実になされ、しかも指示棒静止時の背景メモリ回路126の更新を禁止することによって、 The image processing rather than by only between frames, by providing the background image only of the background memory circuit 126, the extraction of fescue image is made securely, yet prohibits updating of fescue quiescent background memory circuit 126 by,
背景メモリ回路126には常に指示棒400を含まない映像が格納されているので、指示棒400の抽出の信頼性を向上させることができる。 Since videos without always pointing stick 400 is in the background memory circuit 126 is stored, it is possible to improve the reliability of the extraction of the indicator rod 400.

【0072】更に、ポインティング座標算出において、 [0072] In addition, in pointing coordinate calculation,
水平座標検出がビデオデータのライン単位になされ、且つビデオデータ中の表示映像のラスタ領域との相対関係によって算出するため、ビデオプロジェクタ121での投影画像の上部と下部との拡大率が異なって歪んだ形状のディスプレイ条件下であっても座標算出に悪い影響を与えない。 The horizontal coordinate detection made in line units of video data, and for calculating the relative relationship between the raster area of ​​a display image in the video data, the magnification of the upper and lower portions of the projected image in a video projector 121 are different, distorted not adversely affect the coordinate calculation be a display under the conditions of it shape.

【0073】指示棒440の先端座標の変動パターンの認識及び登録機能を設けたので、ユーザの好みに合った操作方法や、制御機能の複数化を実現することができる。 [0073] is provided with the recognition pattern of variation of the coordinates of the tip of the pointing stick 440 and registration function can be realized more of operations and control functions to suit the user's preference. プロジェクト部130と、ポインティング検出部1 The project unit 130, pointing detector 1
31とが一体化構造の場合は、プロジェクト部130のフォーカス及びズームの調節操作とポインティング検出カメラ122のフォーカスとズームの調節操作を連動させることによる操作性を向上させることができる。 For 31 and is integral structure, it is possible to improve the operability due to interlocking the adjusting operation of the focus and zoom focus and zoom adjustment operating a pointing detection camera 122 project portion 130.

【0074】以上のことから、スクリーン300に投射されている映像の目的とする部分を見ながら指示棒40 [0074] From the above, the indicator rod 40 while viewing the portion of interest of the image being projected on the screen 300
0(ポインティングデバイス)で指示し、その指示したスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報と利用することができる。 0 indicated by (pointing device), the instruction position on the screen easily detected, the detected position coordinates can be utilized with the control information of the interactive operation.

【0075】以上の説明における指示棒抽出に関して、 [0075] With respect to the indicator rod extraction in the above description,
指示棒そのものの像を抽出する例で説明したが、表示スクリーンの表側からプロジェクタで映像を投影する場合には、指示棒の陰がスクリーン上に生じるので、画面上を動く指示棒の陰の像を抽出してもよい。 Has been described in example of extracting an image of the pointing stick itself, when projecting an image by the projector from the front side of the display screen, since the shadow of the pointing stick occurs on the screen, the pointing stick moving on the screen of the shadow image it may be extracted. 尚、指示棒そのものの像を抽出する場合に、陰の像による悪影響を取り除くことは、陰の像が周辺画像の輝度レベルより暗いレベルである性質を利用して区別することによって容易に可能である。 In the case of extracting an image of the pointing stick itself to remove the adverse effect of the image of the shadow is easily possible by the image of the shadow to distinguish by utilizing the property is a darker level than the luminance level of the peripheral image is there.

【0076】『第4実施例』:第4実施例はポインティングにレーザ光などによる照光型のポンティングデバイス401、402を用いる。 [0076] "fourth embodiment": fourth embodiment uses a pointing device 401, 402 of the illumination type due laser beam pointing. 更に、表示映像中に302 Further, in the display image 302
に示されるような動画ウインドウが配置されても、座標検出に悪影響を与えないことが特徴である。 To be moving window arrangement as shown also, it is a feature which does not adversely affect the coordinate detection. その他の構成は上述の第3実施例と同様である。 Other configurations are the same as the third embodiment described above.

【0077】図9は第4実施例のポインティングシステムの構成図である。 [0077] FIG. 9 is a block diagram of a pointing system of the fourth embodiment. この図9において、ポインティングデバイス401から出力されたレーザ光はスクリーン3 In FIG. 9, the laser beam is a screen 3 which is output from the pointing device 401
00Aのある点に対して照射され、この照射によって視覚的表示マーク403を表示する。 It is irradiated with a point 00A, and displays a visual indication mark 403 by the irradiation. また、同時に指示部位の座標を電子化することによって、マウス操作と同様の指示と選択を可能にするものである。 Further, by digitizing coordinates of the site at the same time, those that permit the selective and mouse and similar referents.

【0078】図10はポインティングシステム用本体ユニット120Aの機能構成図である。 [0078] FIG. 10 is a functional block diagram of the main unit 120A for pointing system. この機能構成も第3実施例とほぼ同じであるが、異なるところは座標メモリ回路133を備え、座標変動判定回路128は、パーソナルコンピュータの制御ユニット200からの情報を座標メモリ回路133に格納し、座標メモリ回路133 This functional configuration is substantially the same as that of the third embodiment, different from the provided coordinate memory circuit 133, the coordinate variation determination circuit 128 stores the information from the control unit 200 of the personal computer to the coordinate memory circuit 133, coordinate memory circuit 133
からの座標情報に対応した制御信号c3を背景メモリ回路126に与えるものである。 A control signal c3 corresponding to the coordinate information from those given to the background memory circuit 126.

【0079】ポインティング座標検出回路107は、ビデオデータdと、背景メモリビデオデータbgとのフレーム間差分(d−bg)演算を含む画像処理によって、 [0079] Pointing coordinate detection circuit 107, the video data d, the image processing including inter-frame difference (d-bg) calculation of the background memory video data bg,
レーザ光スポットによる光マーク像を抽出し、光マーク像の座標を推定する。 Extracting light mark image by the laser beam spot, to estimate the coordinates of the light mark image. このマーク像の中心座標を、表示映像のラスタ領域301との相対関係の座標データに変換してポインティング座標を得ることができるのである。 The center coordinates of this mark image, it is possible to obtain pointing coordinates are converted into coordinate data of the relative relationship between the raster area 301 of the display image.

【0080】図9に示すように動画のウインドウ302 [0080] Video window 302 as shown in FIG. 9
を表示する場合は、この動画ウインドウ領域に対応する情報をパーソナルコンピュータから出力して、座標データを座標メモリ回路133に格納しておき、対応する領域の動き検出、背景メモリ更新或いは光マーク像抽出を禁止或いは動作パラメータの変更を行い、動画ウィンドウ302によるポインティング座標検出への悪い影響を除去する。 When displaying outputs the information corresponding to the video window area from the personal computer, it is stored coordinate data to coordinate memory circuit 133, the motion detection of the corresponding region, the background memory update or light mark image extraction the to change the prohibition or operating parameters, to remove the bad influence on the pointing coordinate detection by the video window 302.

【0081】図9のポインティングデバイス401は、 [0081] Pointing device 401 in FIG. 9,
特殊なものではなく、汎用のものを使用可能であり、操作スイッチ402の操作によって、点滅や発光色の変更が可能な場合には、ポインティング座標検出回路107 Not special, it is possible use a general-purpose, by operating the operation switch 402, when it is possible to change the blinking and the emission color, pointing coordinate detection circuit 107
においてレーザ光スポットの点滅を認識することによって、或いは光マーク像のカラー成分の特徴を識別することによって選択制御を行うことも可能である。 By recognizing the blinking of the laser beam spot in the, or it is also possible to perform the selection control by identifying the characteristics of the color components of the light mark image.

【0082】(第4実施例の効果): 以上の第4実施例によれば、レーザ発光スポットを照射し、表示映像上にマークを表示して指示を表すため、従来のポインタと同じように指示ポインタを視覚的に見ることができ、 [0082] (Effect of Fourth Embodiment) According to the above fourth embodiment, since the irradiating laser light emitting spot, representing an instruction to display the mark on the display image, like a traditional pointer can see the instruction pointer visually,
指示したいポイントを直観的な感性で指示することが可能で、しかも、上述の第2実施例と同様にポインティング座標が電子化され、インタラクティブ制御が可能となるなどの機能性と操作性の向上を図ることができる。 Can be indicated in an intuitive sense points to be instructed, moreover, the pointing coordinate similarly to the second embodiment described above is digitized, the increased functionality and operability, such as it is possible to interactively control it is possible to achieve.

【0083】更に、表示映像中に動画ウィンドウなどのフレーム間差分が発生する領域が存在しても、その領域情報に対応したポインティング検出動作をするため、検出性能の劣化が生じないのである。 [0083] Further, even if there is a region where the inter-frame difference is generated, such as video window while displaying the image, to the pointing detection operation corresponding to the area information, but the deterioration of detection performance does not occur.

【0084】以上のことから、スクリーン300Aに投射されている映像の目的とする部分を見ながらポインティングデバイス401で指示し、その指示したスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる。 [0084] From the above, while viewing the portion of interest of the image being projected on the screen 300A indicated by the pointing device 401, the instruction position on the screen easily detected, the detected position coordinates interactively it can be used as control information of the operation.

【0085】(他の実施例): (1)尚、上述の実施例において、比較的に大きな画面のディスプレイを前にプレゼンテーションする場合のような、マウス操作の困難な、しかも表示画面上の自由なポインティングが要求されるような場合に利用することによって、非常に有益なポインティングシステムが実現される。 [0085] Other Embodiments: (1) In the above embodiment, such as in the case of presentation before a large screen display of the relatively difficult for mouse operation, yet freely on the display screen by utilizing the case that pointing is required, very useful pointing system is realized.

【0086】(2)また、上述の実施例によって、ビデオオンデマンド端末のごときインタラクティブなコミュニケーションのための優れたヒューマンインタフェースを実現することもできる。 [0086] (2) In addition, examples of the above, it is also possible to realize an excellent human interface for interactive communication such as video-on-demand terminal.

【0087】(3)更に、上述の実施例において、ビデオカメラのビデオデータについて輝度信号を利用する例について説明したが、カラー情報を利用することによって、より確実な座標検出が可能となる。 [0087] (3) Further, in the above embodiment, an example has been described to use the luminance signal for the video data of the video camera, by using color information, thereby enabling more reliable coordinate detection. 特にパーソナルコンピュータやワークステーション画面を大型のディスプレイやプロジェクタで表示してデモンストレーションやプレゼンテーションを行う場合には、表示するウインドウの枠のカラーに合わせて、ビデオ信号から撮影したディスプレイ画面の領域或いはウインドウの領域を検出するための閾値のプリセットが可能であり、レーザ光の色も既知のためマーク座標検出にも有利となる。 Especially in the case of a demonstration and presentation by displaying a personal computer and a workstation screen in large display or projector, to match the color of the frame of the window to be displayed, the area of ​​the region or the window of the display screen that was taken from the video signal preset threshold value for detecting is possible, it is advantageous to mark the coordinate detection for colors of known laser light. 更に、 In addition,
安定性と信頼性も向上する。 Also improved stability and reliability.

【0088】(4)更にまた、第1実施例においては検出座標を含むデータを、第2実施例においては、ビデオ信号を含むデータをアンテナから無線送信したが、有線であっても、或いは無線又は有線の光伝送であっても同様のシステムを実現することができる。 [0088] (4) Furthermore, the data including the detected coordinates in the first embodiment, in the second embodiment, has been wirelessly transmitted data including a video signal from an antenna, be wired, or wireless or even wired optical transmission can be realized similar system.

【0089】(5)また、操作スイッチを押す強さに応じた2段階動作を利用して、単なるポインティングと選択の区別を行う例について説明したが、1段階動作のモーメンタリスイッチであっても、いわゆるダブルクリックのように、連続オン/オフを繰り返すことによって、 [0089] The (5), by using a two-step operation according to the intensity of pressing the operation switch, an example has been described in which to distinguish the selection mere pointing, even momentary switch one stage operation, like the so-called double-click, by repeating the continuous on / off,
電子的に区別することや複数のスイッチを設けることによって同様の機能を実現することができる。 It is possible to realize the same function by providing a plurality of switches and be electronically distinguishable.

【0090】(6)更に、ビデオオンデマンドシステム等においては従来のリモコンユニットと別に設けるのではなく、ポインティングシステムを統合実装することも好ましい。 [0090] (6) Further, instead of providing separately a conventional remote control unit in the video-on-demand systems, etc., it is also preferable to integrate implement a pointing system.

【0091】(7)更にまた、上述の第1実施例においては、パーソナルコンピュータの制御部201の表示出力をビデオプロジェクタのごとき大画面表示装置に接続し、映像を表示画面部150に表示する構成であったが、アダプタ201aからのポインティング情報を受けたパーソナルコンピュータから、更にネットワークを介して接続された別の端末に表示する構成であってもよい。 [0091] (7) Furthermore, the configuration in the first embodiment described above, which connects the display output of a personal computer of the control unit 201 to the large-screen display devices such as a video projector to display an image on the display screen unit 150 Although there was a, from the personal computer that received the pointing information from the adapter 201a, it may be configured to display to a further terminal connected via a network.

【0092】或いは、上述の第1実施例の表示画面部1 [0092] Alternatively, the first embodiment described above the display screen unit 1
50が、上述のアダプタ201a及びパーソナルコンピュータの制御部201の機能を含む表示装置であってもよい。 50 may be a display device including the functions of the control unit 201 of the above-described adapters 201a and a personal computer.

【0093】(8)また、上述の第3実施例、第4実施例のポインティングシステム用本体ユニット120、1 [0093] (8) The third embodiment described above, the body for pointing system of the fourth embodiment units 120,
20Aがビデオプロジェクタと一体化構造のユニットの例で説明したが、ビデオプロジェクト部とポインティング検出部とを別々のユニットとして構成することや、従来のプロジェクタにポインティング検出部をアダプタとして付加することによっても同様のシステムを実現することができる。 While 20A is described in the example of units of an integrated structure and a video projector, configuring the video project part and pointing detection unit as separate units and, by adding a pointing detection unit as an adapter to the conventional projector it is possible to realize a similar system.

【0094】(9)更に、上述の第3実施例、第4実施例ともディスプレイがビデオプロジェクタによる投影画像を例に説明したが、どのような方式のディスプレイであっても、そのディスプレイを含む領域を撮影可能なようにポインティング検出部を設置することによって、同様のシステムを実現することができる。 [0094] (9) In addition, the third embodiment described above, the display with the fourth embodiment has been described the projected image by the video projector as an example, it is a display of any type, area including the display by placing the pointing detection part so as to be taken, it is possible to implement the same system.

【0095】(10)更にまた、大画面を前にプレゼンテーションを行うような形態での効果を述べたが、ホームシアターのように手の届かない位置に表示画面を設けるような場合、特にビデオオンデマンド端末のようにインタラクティブな操作を画面上のポインティングによって行うことが好ましい応用においても非常に効果が大きい。 [0095] (10) Furthermore, if has been described the advantages of a form such as a presentation before a large screen, such as providing a display screen at a position out of reach as home theater, in particular video on demand very large effect in is preferably applied to perform interactive operations as terminal by pointing on the screen.

【0096】(11)また、上述の第3実施例、第4実施例において、ポインティング検出カメラのビデオデータについて主に輝度信号を利用する例について説明したが、カラー情報(RGB成分或いは輝度成分と色成分の組み合わせ等)を利用することによって、より確実な座標検出が可能となる。 [0096] The (11), third embodiment described above, in the fourth embodiment, an example has been described for use primarily luminance signal for the video data of the pointing detection camera, and the color information (RGB components or luminance components by utilizing combinations) color components, thereby enabling more reliable coordinate detection.

【0097】特に、レーザ光による光マーク像を抽出する場合において、複数の光マーク像を抽出した場合には、光マーク像のカラー成分の特徴を利用して、為のマーク抽出座標を検出結果から除去することが可能となる。 [0097] Particularly, in the case of extracting light mark image by the laser beam, in case of extracting a plurality of light mark image utilizes the characteristics of the color components of the light mark image, the mark extracting coordinates for the detection result It can be removed from become.

【0098】また、選択制御の方法として、指示棒を指示点で一定期間静止させる。 [0098] Further, as a method of selecting the control, to a certain period stationary indicator rod at designated point. 指示棒を指示点で細かく動かす。 Move finely the pointing stick in the indicated point. 指示棒の先で指示点を指示しながら定められたジェスチャをする(例えば、Oを描く)。 The gesture defined while instructing the designated point in the previous pointing stick (e.g., draw O). 照光型のポインタを点滅させる。 Blink the pointer of illuminated type. 照光型のポインタの発光色を変える、 Change the emission color of the pointer of the illumination type,
などの方法を述べたが、照光型のポインタでも指示点で定められたジェスチャをする(例えば、Vを描く)ことや、単なる指示棒ではないが、指示棒にスイッチを設ける。 Has been described a method such as, in a pointer illuminated type to the gesture defined by designated point (e.g., drawing a V) that and is not just pointing stick, a switch to the pointing stick. 指示棒先端にLED点灯機能を設ける。 Providing a LED lighting function indicator rod tip. 指示棒先端に振動等を検出するセンサを設ける、などの方法を用いても同様の機能を実現することができる。 A sensor for detecting the vibration in the indicator rod tip, it is possible to realize a similar function by using a method such as.

【0099】(12)更に、第3実施例、第4実施例において、本体ユニット120は、映像を切り替えるための選択用映像をスクリーン300に投射し、指示棒40 [0099] (12) Further, the third embodiment, in the fourth embodiment, the main unit 120 projects the selected video to switch the image on a screen 300, an instruction stick 40
0は、選択用映像の目的とする部分を指示し、本体ユニット120は、指示棒400が指示している選択用映像の目的とする部分を検出し、検出した選択用映像の目的とする部分の選択機能に従い映像を、制御ユニット20 0 instructs the portion of interest of the selected video, the main unit 120 detects a portion of interest of the selected video to fescue 400 is indicated, it is an object of the detected selected video portion video according to selection function, the control unit 20
0で切り替えることで、より機能的なポインティングシステムを実現することができる。 By switching at 0, it is possible to realize a more functional pointing system.

【0100】(13)更にまた、上述の第3実施例、第4実施例において、例えば、動画ウインドウなどを指定する特定座標を予め記憶している記憶手段を備え、表示画面上又はスクリーン上の特定の座標に対応する領域においては、指示物像(指示棒像)の動き検出を行う動き検出手段の動き検出、指示物像の背景画像を記憶する背景画像記憶手段の書き込み、表示画面又はスクリーンの存在を検出する画面・スクリーン検出手段の検出、指示物像を検出する指示物像検出手段の検出、のいずれかの動作を変更する構成を備えることで、例えば、動画ウインドウ領域の画像に影響されることなく、指示位置を正確に検出することができる。 [0100] (13) Furthermore, the third embodiment described above, in the fourth embodiment, for example, comprising a storage unit that stores in advance a specific coordinate that specifies and video windows, on a display screen or on the screen in the area corresponding to the specific coordinates, writing of the background image storage means for storing the motion detection of the motion detection means for performing motion estimation of the indicator image (fescue image), the background image of the indicator image, the display screen or screen detection screen screen detecting means for detecting the presence of the detection of the indicator image detecting means for detecting an instruction object image, by providing an arrangement for changing the operation of any of, for example, affects the image of the moving window area without being to be, it is possible to accurately detect the indicated position.

【0101】(14)また、上述では『光スポットの照射』という表現を使用したが、『光ビームの照射』という表現であっても良い。 [0102] The (14), but using the expression "light irradiation spots" in the above may be expressed as "light irradiation beam".

【0102】 [0102]

【発明の効果】以上述べた様に第1の発明は、表示画面に位置指示用の光スポット照射を受ける表示装置と、この表示装置の画面上のある位置を光スポット照射指示するポインティングデバイスとを有するポインティングシステムであって、ポインティングデバイスは、光スポットを照射する光照射手段と、表示装置の画面を撮像し、 Invention above mentioned first as according to the present invention includes a display device that receives light spot irradiation for position indication on the display screen, a pointing device for indicating the light spot irradiating position on the screen of the display device a pointing system comprising a pointing device, a light irradiating means for irradiating a light spot, the screen of the display device is imaged,
光照射手段によって光スポット照射されている画面上の指示位置を検出する検出手段と、この検出手段によって得られた照射指示位置の情報を無線方式又は有線方式で伝送する伝送手段とを備え、更にポインティングデバイスの伝送手段によって与えられた照射指示位置情報をポインティングの制御情報として用いる制御装置を備えたことで、画面に表示されている映像を見ながらポインティングデバイスで指示し、その指示した画面上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる簡単な構成のポインティングシステムを実現することができる。 Comprising a detection means for detecting the indicated position on the screen being light spot irradiated by the light irradiating means, and transmission means for transmitting the information of the irradiation instruction position obtained by the detection means in a wireless manner or a wired manner, further by having a control device using the irradiation instruction position information provided by the transmission means of the pointing device as the control information of the pointing, indicated by the pointing device while watching the image displayed on the screen, the instructed on the screen position is easily detected, the detected position coordinates can be realized a simple configuration pointing system that can be used as control information for the interactive operation.

【0103】また、第2の発明は、表示装置の表示用画面上又はスクリーン上のある位置を指示するための位置指示用の指示物によって指示されるポインティングシステムであって、指示物を含む上記表示画面上の映像又は上記指示物を含む上記スクリーンを撮像する撮像装置と、この撮像装置によって得られる撮像信号から上記指示物の指示位置を検出する指示位置検出装置とを備えたことで、画面又はスクリーンを見ながら指示物で指示し、その指示した画面上又はスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる簡単な構成のポインティングシステムを実現することができる。 [0103] The second invention is a pointing system that is indicated by the indicator for the position indicator for indicating a certain position of the display screen on or on the screen of the display device, the containing referent an imaging device for imaging the screen including the image or the pointing object on the display screen, by which an indication position detection apparatus for detecting a pointed position of the pointing object from the image signal obtained by the imaging device, the screen or screen indicated by the indicator while looking at, the instructed screen or position on the screen easily detected, a simple configuration pointing system that can utilize the detected position coordinate as control information for interactivity it can be realized.

【0104】更に、第3の発明は、位置指示用の光照射を受ける表示装置又はスクリーンと、表示装置の画面上又はスクリーン上のある位置を光スポット照射指示するポインティングデバイスとを有するポインティングシステムであって、ポインティングデバイスは光スポットを照射する光照射手段を備え、光照射手段によって光スポット照射されている表示画面又はスクリーンを撮像し、 [0104] Further, the third invention, a display device or screen irradiated with light for position indication, the pointing system comprising a pointing device for indicating the light spot irradiating the screen or a certain position on the screen of the display device there, the pointing device includes a light irradiating means for irradiating a light spot, capturing the display screen or screen is the light spot irradiated by the light irradiating means,
この撮像によって得られる撮像信号から光スポット照射されている指示位置を検出する検出手段をポインティグデバイスとは別個に備えたことで、ポインティングデバイスの構成を非常に簡単にすることができ、しかも、画面又はスクリーンを見ながらポインティングデバイスで指示し、その指示した画面上又はスクリーン上の位置を容易に検出し、検出した位置座標をインタラクティブ操作の制御情報として利用することができる簡単な構成のポインティングシステムを実現することができる。 Detection means for detecting a pointed position that is light spot irradiated from an imaging signal obtained by the imaging by having separately from the point TIG device, it is possible to greatly simplify configuration of the pointing device, moreover, while watching the screen or screen indicated by the pointing device, the instructed screen or position on the screen easily detected, simple structure pointing system of the detected position coordinates can be used as control information for interactivity it can be realized.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1実施例のポインティングシステムの構成図である。 1 is a configuration diagram of a pointing system of the first embodiment of the present invention.

【図2】第1実施例のレーザ点滅のタイミングチャートである。 2 is a timing chart of a laser flashing of the first embodiment.

【図3】第1実施例のマーク座標算出の説明図である。 3 is an explanatory view of a mark coordinate calculation in the first embodiment.

【図4】第2実施例のポインティングシステムの構成図である。 4 is a block diagram of a pointing system of the second embodiment.

【図5】第3実施例のポインティングシステムの構成図である。 5 is a block diagram of a pointing system of the third embodiment.

【図6】第3実施例のポインティングシステム用本体ユニットの機能構成図である。 6 is a functional block diagram of a pointing system for the main unit of the third embodiment.

【図7】第3実施例の映像とビデオデータの関係を示す図である。 7 is a diagram showing the relationship between the video and the video data of the third embodiment.

【図8】第3実施例のラスタ領域と指示棒の位置関係のパターン分類の説明図である。 8 is an explanatory view of the pattern classification of the positional relationship between raster area and fescue of the third embodiment.

【図9】第4実施例のポインティングシステムの構成図である。 9 is a configuration diagram of a pointing system of the fourth embodiment.

【図10】第4実施例のポインティングシステム用本体ユニットの機能構成図である。 10 is a functional block diagram of a pointing system for the main unit of the fourth embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

100…ポインチング用コントローラ、101…レーザポインタ用発光部、102…操作スイッチ部、103… 100 ... Poinchingu controller, the light emitting unit for 101 ... laser pointer, 102 ... operation switch section, 103 ...
ビデオカメラ部、104…ビデオ信号処理部、105… Video camera unit, 104 ... video signal processing unit, 105 ...
表示画面認識部、106…ビデオフレームメモリ、10 Display screen recognition unit, 106 ... video frame memory, 10
7…画像処理部、108…座標算出部、109…伝送処理/送受信部、110…アンテナ、150…表示画面部、600…制御部、201a…アダプタ。 7 ... image processing unit, 108 ... coordinate calculation unit, 109 ... transmission processing / reception unit, 110 ... antenna, 150 ... display screen unit, 600 ... control unit, 201a ... adapter.

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 表示画面に位置指示用の光スポット照射を受ける表示装置と、この表示装置の画面上のある位置を光スポット照射指示するポインティングデバイスとを有するポインティングシステムであって、 上記ポインティングデバイスは、 光スポットを照射する光照射手段と、 上記表示装置の画面を撮像し、上記光照射手段によって光スポット照射されている画面上の指示位置を検出する検出手段と、 この検出手段によって得られた照射指示位置の情報を無線方式又は有線方式で伝送する伝送手段とを備え、 更に上記ポインティングデバイスの伝送手段によって与えられた照射指示位置情報をポインティングの制御情報として用いる制御装置を備えることを特徴とするポインティングシステム。 And 1. A display receives light spot irradiation for position indication on the display screen device, a pointing system comprising a pointing device for indicating the light spot irradiating position on the screen of the display device, the pointing device includes a light irradiating means for irradiating a light spot, a detection means for capturing a screen of the display device, detects the pointed position on the screen being a light spot irradiated by said light irradiating means, obtained by the detection means and the information of the irradiation instruction position and a transmitting means for transmitting in a wireless manner or a wired manner, further comprising a control device for use as a pointing control information the irradiation instruction position information provided by the transmission means of the pointing device pointing system to be.
  2. 【請求項2】 表示画面に位置指示用の光スポット照射を受ける表示装置と、この表示装置の画面上のある位置を光スポット照射指示するポインティングデバイスとを有するポインティングシステムであって、 上記ポインティングデバイスは、 光スポットを照射する光照射手段と、 上記光照射手段によって光スポット照射されている上記表示装置の画面を撮像し、得られる撮像信号を無線方式又は有線方式で伝送する伝送手段とを備え、 更に上記ポインティングデバイスの伝送手段によって与えられた、撮像信号から上記光照射手段によって指示されている光スポット照射指示位置を検出し、照射指示位置情報を出力する検出手段を備えるものであって、この検出手段からの照射指示位置情報をポインティングの制御情報として用いる制御 2. A display receives light spot irradiation for position indication on the display screen device, a pointing system comprising a pointing device for indicating the light spot irradiating position on the screen of the display device, the pointing device comprises a light irradiating means for irradiating a light spot, and a transmission means for capturing a screen of the display device is a light spot irradiated, transmits the imaging signal obtained in a wireless manner or a wired manner by said light irradiating means further provided by transmitting means of the pointing device detects the light spot irradiation instruction position from the image signal is instructed by said light emitting means, there is provided a detecting means for outputting an irradiation instruction position information, controlling use of irradiation instruction position information from the detecting means as control information of the pointing 置を備えることを特徴とするポインティングシステム。 Pointing system comprising: a location.
  3. 【請求項3】 上記ポインティングデバイスは、 上記光照射手段の光スポット照射を点滅させる制御手段を備え、 上記光スポット照射の点滅タイミングと上記画面の撮像におけるフレームタイミングとの間に同期関係を有することを特徴とする請求項1又は2記載のポインティングシステム。 Wherein said pointing device comprises a control means for flashing the light spot irradiation of the light irradiating means, having a synchronous relationship between the frame timing in the imaging of the flashing timing and the screen of the light spot irradiated pointing system according to claim 1 or 2 wherein.
  4. 【請求項4】 上記ポインティングデバイスは、 更に上記画面の撮像によって得られる撮像信号から、画像中に含まれる表示画面の存在を識別する識別手段と、 その識別情報が表示画面の存在を示さない場合は、上記光照射手段の発光を禁止する発光禁止手段とを備えることを特徴とする請求項1〜3のいずれかに記載のポインティングシステム。 Wherein said pointing device further from the image signal obtained by the imaging of the screen, and identifying means for identifying the presence of a display screen included in the image, if the identification information does not indicate the presence of a display screen the pointing system according to claim 1, characterized in that it comprises a light emission inhibiting means for inhibiting the emission of said light emitting means.
  5. 【請求項5】 上記ポインティングデバイスは、 更に操作圧力差によって少なくとも2種類の情報を出力する操作スイッチを備え、 その操作スイッチ出力情報の種類に応じて上記光照射手段を制御する、又はその操作スイッチ情報を上記制御装置に伝送する構成であることを特徴とする請求項1〜4 Wherein said pointing device further comprises an operation switch for outputting at least two kinds of information by operating the pressure difference, and controls the light irradiation means in accordance with the type of the operation switch output information, or the operation switch claim, characterized in that information is configured to transmit to the control unit 1-4
    のいずれかに記載のポインティングシステム。 Pointing system according to any one of the.
  6. 【請求項6】 表示装置の表示用画面上又はスクリーン上のある位置を指示するための位置指示用の指示物によって指示されるポインティングシステムであって、 上記指示物を含む上記表示画面上の映像又は上記指示物を含む上記スクリーンを撮像する撮像装置と、 この撮像装置によって得られる撮像信号から上記指示物の指示位置を検出する指示位置検出装置とを備えることを特徴とするポインティングシステム。 6. A pointing system indicated by the indicator for the position indicator for indicating a position on the display screen or screen of the display device, the image of the display on the screen including the referent or pointing system comprising: the imaging device for imaging the screen, and a pointing position detection apparatus for detecting a pointed position of the pointing object from the image signal obtained by the imaging device including the referent.
  7. 【請求項7】 上記指示位置検出装置は、上記指示物の画像と、この指示物の画像の周辺の画像との間の輝度レベル関係又はカラー情報に基づく関係と、上記指示物の画像と、上記指示物の画像の周辺の画像との位置関係とから指示位置を検出することを特徴とする請求項6記載のポインティングシステム。 7. The pointed position detection device, an image of the pointing object, and a relationship based on the luminance level relationship or color information between images around the image of the pointing object, the image of the pointing object, pointing system according to claim 6, wherein the detecting a pointed position from the positional relationship between the image around the image of the pointing object.
  8. 【請求項8】 更に特定座標を予め記憶している記憶手段を備え、 上記特定座標に対応する領域においては、上記指示位置検出の動作を変更することを特徴とする請求項1〜7のいずれかに記載のポインティングシステム。 8. further comprising a storage unit that stores in advance a specific coordinate, in a region corresponding to the specific coordinates, one of the claims 1-7, characterized in that to change the behavior of the instruction position detection pointing system of the crab described.
  9. 【請求項9】 位置指示用の光スポット照射を受ける表示装置又はスクリーンと、上記表示装置の画面上又はスクリーン上のある位置を光照射指示するポインティングデバイスとを有するポインティングシステムであって、 上記ポインティングデバイスは光スポットを照射する光照射手段を備え、 上記光照射手段によって光スポット照射されている表示画面又はスクリーンを撮像し、この撮像によって得られる撮像信号から上記光スポット照射されている指示位置を検出する検出手段を上記ポインティグデバイスとは別個に備えることを特徴とするポインティングシステム。 A display device or screen 9. receives light spot irradiation for position indication, a pointing system comprising a pointing device for indicating light irradiating position on the screen or screen of the display device, the pointing the device includes a light irradiating means for irradiating a light spot, the instruction position by imaging the display screen or screen is the light spot irradiated, is irradiated said light spot from the image signal obtained by the imaging by the light irradiating means pointing system characterized in that it comprises separately from the point TIG device detecting means detect.
JP13169495A 1995-05-30 1995-05-30 Pointing system Granted JPH08331667A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13169495A JPH08331667A (en) 1995-05-30 1995-05-30 Pointing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13169495A JPH08331667A (en) 1995-05-30 1995-05-30 Pointing system

Publications (1)

Publication Number Publication Date
JPH08331667A true true JPH08331667A (en) 1996-12-13

Family

ID=15064028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13169495A Granted JPH08331667A (en) 1995-05-30 1995-05-30 Pointing system

Country Status (1)

Country Link
JP (1) JPH08331667A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6260973B1 (en) 1998-03-27 2001-07-17 Minolta Co., Ltd. Projector
EP1150159A1 (en) * 2000-04-27 2001-10-31 Gretag-Macbeth AG Methode, system and projection apparatus for the visual representation of a digital image on a projection surface and light measuring instrument for this system
JP2005215214A (en) * 2004-01-28 2005-08-11 Nec Corp Projection display device and method
JP2006277085A (en) * 2005-03-28 2006-10-12 Microsignal Kk Optical pointing controller and pointing system using same device
JP2006330208A (en) * 2005-05-24 2006-12-07 Fukumi:Kk Laser pointer
EP2012221A3 (en) * 2002-11-20 2009-05-13 Philips Electronics N.V. User interface system based on pointing device
US7559656B2 (en) 2003-03-03 2009-07-14 Panasonic Corporation Projector system
JP2010191453A (en) * 2010-03-30 2010-09-02 Fukumi:Kk Laser pointer
JP2011188008A (en) * 2010-03-04 2011-09-22 Nec Corp Projector system
JP4822643B2 (en) * 1999-07-06 2011-11-24 ハンセン、カール、シー. Computer presentation system and method comprising an optical tracking of the wireless pointer
JP2012128889A (en) * 2012-04-03 2012-07-05 Mitsubishi Electric Corp Position detection device, position detection system, video display device, and video display system
CN102736378A (en) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 Projection apparatus, projection method, and storage medium having program stored thereon
JP2014137676A (en) * 2013-01-16 2014-07-28 Ricoh Co Ltd Position information acquisition device and an image display system

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6260973B1 (en) 1998-03-27 2001-07-17 Minolta Co., Ltd. Projector
JP4822643B2 (en) * 1999-07-06 2011-11-24 ハンセン、カール、シー. Computer presentation system and method comprising an optical tracking of the wireless pointer
EP1150159A1 (en) * 2000-04-27 2001-10-31 Gretag-Macbeth AG Methode, system and projection apparatus for the visual representation of a digital image on a projection surface and light measuring instrument for this system
US8537231B2 (en) 2002-11-20 2013-09-17 Koninklijke Philips N.V. User interface system based on pointing device
US8970725B2 (en) 2002-11-20 2015-03-03 Koninklijke Philips N.V. User interface system based on pointing device
US8971629B2 (en) 2002-11-20 2015-03-03 Koninklijke Philips N.V. User interface system based on pointing device
EP2012221A3 (en) * 2002-11-20 2009-05-13 Philips Electronics N.V. User interface system based on pointing device
US7559656B2 (en) 2003-03-03 2009-07-14 Panasonic Corporation Projector system
JP2005215214A (en) * 2004-01-28 2005-08-11 Nec Corp Projection display device and method
JP2006277085A (en) * 2005-03-28 2006-10-12 Microsignal Kk Optical pointing controller and pointing system using same device
JP4530914B2 (en) * 2005-05-24 2010-08-25 イバクソン プロダクツ インク Laser pointer
JP2006330208A (en) * 2005-05-24 2006-12-07 Fukumi:Kk Laser pointer
JP2011188008A (en) * 2010-03-04 2011-09-22 Nec Corp Projector system
JP4717145B2 (en) * 2010-03-30 2011-07-06 イバクソン プロダクツ インク Laser pointer
JP2010191453A (en) * 2010-03-30 2010-09-02 Fukumi:Kk Laser pointer
CN102736378A (en) * 2011-03-31 2012-10-17 卡西欧计算机株式会社 Projection apparatus, projection method, and storage medium having program stored thereon
CN102736378B (en) * 2011-03-31 2014-11-12 卡西欧计算机株式会社 Projection apparatus and projection method
US9182852B2 (en) 2011-03-31 2015-11-10 Casio Computer Co., Ltd. Projection apparatus,method, and program for a projector projecting plural screen sections one screen section at a time
JP2012128889A (en) * 2012-04-03 2012-07-05 Mitsubishi Electric Corp Position detection device, position detection system, video display device, and video display system
JP2014137676A (en) * 2013-01-16 2014-07-28 Ricoh Co Ltd Position information acquisition device and an image display system

Similar Documents

Publication Publication Date Title
US6598978B2 (en) Image display system, image display method, storage medium, and computer program
US20070058047A1 (en) Multi-directional remote control system and method
US7259747B2 (en) Interactive video display system
US20090115723A1 (en) Multi-Directional Remote Control System and Method
US6993206B2 (en) Position detector and attitude detector
US5349460A (en) Remote control system for controlling a television receiver
US20050243073A1 (en) Presentation device and display method
US7193608B2 (en) Collaborative pointing devices
US20040001082A1 (en) System and method of interaction with a computer controlled image display system using a projected light source
US6331848B1 (en) Projection display system
US20010028341A1 (en) System and method of pointed position detection, presentation system, and program
US20080180395A1 (en) Computer pointing input device
US20110227827A1 (en) Interactive Display System
US20080062123A1 (en) Interactive video display system using strobed light
US20090271732A1 (en) Image processing apparatus, image processing method, program, and recording medium
US5617312A (en) Computer system that enters control information by means of video camera
US20080211832A1 (en) Vehicular Operating Apparatus
US8123361B2 (en) Dual-projection projector and method for projecting images on a plurality of planes
JPH113170A (en) Optical digitizer
US20090225001A1 (en) Hybrid Display Systems and Methods
US6677987B1 (en) Wireless user-interface arrangement and method
US20010012001A1 (en) Information input apparatus
US20100259474A1 (en) Enhanced handheld screen-sensing pointer
WO1991001543A1 (en) Light-pen system for projected images
EP0947948A2 (en) Pointing position detection device, presentation system and method

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070807

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080807

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20080807

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20090807

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090807

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 12

Free format text: PAYMENT UNTIL: 20100807

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110807

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 13

Free format text: PAYMENT UNTIL: 20110807

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 14

Free format text: PAYMENT UNTIL: 20120807

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 14

Free format text: PAYMENT UNTIL: 20120807

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 15

Free format text: PAYMENT UNTIL: 20130807

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term