JP4107288B2 - Control system, controlled apparatus and remote control apparatus compatible with this system - Google Patents

Control system, controlled apparatus and remote control apparatus compatible with this system Download PDF

Info

Publication number
JP4107288B2
JP4107288B2 JP2004357715A JP2004357715A JP4107288B2 JP 4107288 B2 JP4107288 B2 JP 4107288B2 JP 2004357715 A JP2004357715 A JP 2004357715A JP 2004357715 A JP2004357715 A JP 2004357715A JP 4107288 B2 JP4107288 B2 JP 4107288B2
Authority
JP
Japan
Prior art keywords
controlled
information
remote control
control
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004357715A
Other languages
Japanese (ja)
Other versions
JP2006166295A (en
Inventor
幸男 横澤
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to JP2004357715A priority Critical patent/JP4107288B2/en
Priority claimed from US11/299,338 external-priority patent/US20060125968A1/en
Publication of JP2006166295A publication Critical patent/JP2006166295A/en
Application granted granted Critical
Publication of JP4107288B2 publication Critical patent/JP4107288B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被制御装置としての例えばテレビジョン受像機とこれに対応する遠隔制御装置としての例えばリモートコントローラ(以下、リモコン)等によって構成される制御システム及びこのシステムに適合する被制御装置並びに遠隔制御装置に関し、その一例としては、リモコンの存在する場所に概略一致する場所に居る蓋然性が高い視聴者の位置を推定して、遠隔制御装置(従って、リモコンを持つ使用者)の位置に適合するようにコンテンツを選択したり音響効果を調節したりすることを可能ならしめる制御システム及びこのシステムに適合する被制御装置並びに遠隔制御装置に関する。   The present invention relates to a control system including, for example, a television receiver as a controlled device and a remote controller (hereinafter referred to as a remote controller) as a corresponding remote control device, a controlled device compatible with this system, and a remote control device. As an example of the control device, the position of the viewer who is highly likely to be in a place that roughly matches the place where the remote control exists is estimated, and the position of the remote control device (and hence the user having the remote control) is adapted. The present invention relates to a control system that makes it possible to select content and adjust sound effects, and a controlled device and a remote control device compatible with this system.

リモコン装置を多機能化して、リモコン装置とこれによって遠隔操作される機器とによって構成されるシステムの操作について使用者に種々の便宜を提供しようとする技術は既に多数提案されている。例えば、リモコン装置でGPS用アルゴリズム等を利用し3個の電波発信源からの電波受信と受信時刻に基づいて自らの位置を検出し、検出された位置と予め準備された各機器の位置情報とを照合して自己に最も近い機器を特定し、その機器からリモコン信号を定義する情報と操作用画像を構築するための情報とを取得し、表示部にその特定した機器の操作用画像を表示し、ユーザ操作に応じてリモコン信号を特定してリモコン信号送信制御部に送信の制御を行わせることによりユーザによるボタン操作数を増加させることなく、ユーザが、制御したい機器をより的確に特定してその機器を制御し得るようにする技術が提案されている(特許文献1参照)。   A number of techniques have already been proposed for providing various conveniences to the user with respect to the operation of a system composed of a remote control device and a remote controlled device by making the remote control device multifunctional. For example, the remote controller uses a GPS algorithm or the like to detect its own position based on radio wave reception from three radio wave sources and the reception time, and the detected position and position information of each device prepared in advance To identify the device closest to itself, obtain information defining the remote control signal and information for constructing the operation image from that device, and display the operation image of the specified device on the display Then, by specifying the remote control signal according to the user operation and causing the remote control signal transmission control unit to control transmission, the user can more accurately specify the device that the user wants to control without increasing the number of button operations by the user. A technique has been proposed that enables the device to be controlled (see Patent Document 1).

また、リモコンでプロジェクタを操作するシステムにおいて、プロジェクタ側で、撮像素子を持つリモコンが取得した投影領域撮像情報と方位情報とを自己の受信部で受信し、該受信した情報に依拠して予めルックアップテーブルに準備された台形歪み補正値を選択し、該補正値に基づいて台形歪みを補正するようにした画像処理システムが提案されている(特許文献2参照)。   Also, in a system in which a projector is operated by a remote controller, the projector receives the projection area imaging information and orientation information acquired by the remote controller having the image sensor at its own receiver, and looks in advance based on the received information. There has been proposed an image processing system in which a trapezoidal distortion correction value prepared in an up table is selected and the keystone distortion is corrected based on the correction value (see Patent Document 2).

更にまた、レーザポインタで表示画面上の任意の点を指すポインティングデバイスにおいて、リモコン側に備えられたCCDカメラでリモコンから投射したレーザスポットを含む表示画面を撮像し、この撮像による画像のラスタ走査等に依拠して上記レーザスポットの座標を算出して、該座標を表わすデータをリモコン側からテレビ側に無線で伝送し画面上に指示ポイントを映出することにより種々の角度からポインティング可能にすることが提案されている(特許文献3参照)。   Furthermore, in a pointing device that points to an arbitrary point on the display screen with a laser pointer, a display screen including a laser spot projected from the remote control is imaged by a CCD camera provided on the remote control side, and raster scanning of the image by this imaging, etc. To calculate the coordinates of the laser spot, wirelessly transmit the data representing the coordinates from the remote control side to the TV side, and display the indication point on the screen, thereby enabling pointing from various angles Has been proposed (see Patent Document 3).

上述の特許文献3の提案に対し、リモコン側に備えられた撮像装置で撮像したラスタ上の画像表示面の3隅の位置の座標と、実際の画像表示面の3隅の位置の座標との比較に基づいて、撮像画像のラスタ中央座標が実際の画面のどこの座標に対応するかを算出することによりリモコン側からレーザスポット等を投射することなく表示画面上でのポインティングを行い得るようにすることが提案されている(特許文献4参照)。
特開2004−166193号公報(段落0016〜段落0018、図1、図2) 特開2004−187052号公報(段落0039〜段落0045、図1) 特開2001−236181号公報(段落0004〜段落0009、図1) 特開2003−208260号公報(段落0013〜段落0021、図1、図2)
In response to the proposal of Patent Document 3 described above, the coordinates of the three corner positions of the image display surface on the raster imaged by the imaging device provided on the remote control side and the coordinates of the three corner positions of the actual image display surface Based on the comparison, it is possible to perform pointing on the display screen without projecting a laser spot or the like from the remote control side by calculating which coordinate on the actual screen the raster center coordinate of the captured image corresponds to. It has been proposed (see Patent Document 4).
JP 2004-166193 A (paragraphs 0016 to 0018, FIGS. 1 and 2) Japanese Patent Laying-Open No. 2004-187052 (paragraph 0039 to paragraph 0045, FIG. 1) Japanese Patent Laying-Open No. 2001-236181 (paragraphs 0004 to 0009, FIG. 1) JP 2003-208260 A (paragraphs 0013 to 0021, FIGS. 1 and 2)

上述した従来の技術は、使用者(従って、リモコン)の位置に適合するようにコンテンツを選択したり音響効果を調節したりすることを可能ならしめるという観点からは、次に述べるような種々の課題を残している。即ち、特許文献1所載の技術では、原理的に3個の電波発信源を位置検出のための基準として予め設備しておくことが必須であるため、比較的簡易な構成で使用者の所望に適合する機器を相応の確度で制御対象として選択することは困難である。   From the viewpoint of enabling the selection of contents and adjustment of sound effects to suit the position of the user (and hence the remote controller), the conventional technology described above has various types as described below. There are still challenges. That is, in the technique described in Patent Document 1, it is essential in principle that three radio wave sources are installed in advance as a reference for position detection. It is difficult to select a device that conforms to the control target with appropriate accuracy.

また、特許文献1に提案の技術では、リモコン(従って、使用者)の位置に最も近い何らかの機器を無条件で制御対象として選定するように構成されているため、使用者の本来の意思に即した機器が必ずしも選択されるとは限らない。従って、実際の使用に供されるときには、使用者自身が機器に自ら接近しなくてはならず、操作を意図した制御対象が字義通り自動的に選択されることは期待できない。   Further, the technique proposed in Patent Document 1 is configured to unconditionally select any device closest to the position of the remote control (and therefore the user) as a control target, so that it can be adapted to the original intention of the user. The selected device is not necessarily selected. Therefore, when it is used for actual use, the user himself / herself must approach the device himself / herself, and it cannot be expected that the control target intended for operation is automatically selected literally.

また、特許文献2に提案の技術は、専らプロジェクタにおける台形歪を補正するに必要な限りでリモコンの方位情報を取得し、該取得された方位情報に基づいて台形歪の補正を実行するものであり、リモコン(従って、使用者)の位置を機器本体との相対において認識し該認識に適合するようにコンテンツを選択したり音響効果を調節したりすることについては何等示唆的な開示がない。   The technique proposed in Patent Document 2 acquires azimuth information of a remote controller as much as necessary to correct trapezoidal distortion in a projector, and executes correction of trapezoidal distortion based on the acquired azimuth information. There is no suggestive disclosure about recognizing the position of the remote control (and hence the user) relative to the device body and selecting content or adjusting the sound effect to match the recognition.

更に、特許文献3の提案では、あくまでも投影されたレーザスポットを含む表示画面をリモコン側の撮像手段によって撮像し、この撮像による映像信号に係るラスタ走査に基づいてレーザスポットの位置座標のデータを取得するものであり、リモコンの位置を機器本体との相対において認識し該認識に適合するようにコンテンツを選択したり音響効果を調節したりする技術とは趣を異にするものである。   Further, in the proposal of Patent Document 3, the display screen including the projected laser spot is imaged by the imaging unit on the remote control side, and the position coordinate data of the laser spot is acquired based on the raster scanning related to the video signal by this imaging. This is different from the technique of recognizing the position of the remote control relative to the device body and selecting content or adjusting the sound effect so as to match the recognition.

一方、特許文献4の提案は特許文献3のようにリモコン側からレーザスポット等を投射することなく表示画面上でのポインティングを行い得るようにするという限りのものであって、特許文献3における課題の解決を意図するも、リモコンの位置を機器本体との相対において認識し該認識に適合するようにコンテンツを選択したり音響効果を調節したりすることについての提案は皆無である。   On the other hand, the proposal of Patent Document 4 is limited as long as it enables pointing on the display screen without projecting a laser spot or the like from the remote control side as in Patent Document 3. However, there are no proposals for recognizing the position of the remote control relative to the device body and selecting content or adjusting the sound effect so as to match the recognition.

本発明は、上述したような従来技術における課題に着目してなされたものであり、遠隔制御装置側に設けられた撮像手段を活用して、遠隔制御装置の位置を被制御装置との相対において認識することができるようにすること、ひいては該認識に適合するように被制御装置においてコンテンツを選択したり音響効果を調節したりすることを一例とする自動的応答動作を可能ならしめる制御システム及びこのシステムに適合する被制御装置並びに遠隔制御装置を提供することを目的としている。   The present invention has been made paying attention to the problems in the prior art as described above, and uses the imaging means provided on the remote control device side to position the remote control device relative to the controlled device. A control system that enables an automatic response operation, for example, to enable recognition, and in other words, to select content or adjust sound effects in a controlled device so as to conform to the recognition, and It is an object of the present invention to provide a controlled device and a remote control device compatible with this system.

上記課題を解決するべく、本願では次に列記するような技術を提案する。
In order to solve the above-described problems, the present application proposes the following techniques .

(4)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成さ
れた制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
備え、
前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
を備え、
前記被制御装置の相対位置算出手段は、前記情報受信手段によって受信された画像情報
中の当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報と予め利
用可能に準備された当該被制御装置の外形寸法に係る情報とに基づいて当該被制御装置と
前記遠隔制御装置との相対位置を算出するように構成されたものであることを特徴とする
制御システム。
(4) Consists of a remote control device and a controlled device that can be controlled by the remote control device.
Control system,
The remote control device includes a housing configured separately from the controlled device, and the housing.
The phase between the controlled device and the remote control device when imaging is performed toward the controlled device side.
Imaging means capable of generating image information including information that contributes to recognizing a pair position; and
Information transmission means for transmitting image information generated by the imaging means to the controlled device side;
Prepared,
The controlled device receives image information transmitted from information transmission means of the remote control device.
Information receiving means adapted to obtain and image information received by said information receiving means.
A relative position calculating means for calculating a relative position between the controlled device and the remote control device;
With
The relative position calculation means of the controlled device is the image information received by the information receiving means.
Information that contributes to recognizing the relative position between the controlled device and the remote control device
And the controlled device based on information relating to the external dimensions of the controlled device prepared for use.
It is configured to calculate a relative position with the remote control device.
Control system.

上記(4)の制御システムによれば、遠隔制御装置側に設けられた撮像手段を活用して
被制御装置を含む撮像視野で撮像を行い、該撮像によって取得した画像情報を被制御装置
に伝送することにより、伝送された画像情報を情報受信手段によって受信した被制御装置
側では、遠隔制御装置と被制御装置との相対位置を算出することができる。該算出された
遠隔制御装置の位置を認識した被制御装置側では、この認識に適合した態様の動作を行う
ことが可能になる。
また、上記作用に加えて、前記被制御装置は自己の外形寸法に係る情報を予め利用可能に準備しており、前記情報受信手段によって当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報が受信されると、この受信された情報と上記予め準備された情報とに基づいて、被制御装置の相対位置算出手段は、遠隔制御装置と被制御装置との相対位置を算出する。被制御装置は該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
According to the control system of (4) above, the image pickup means provided on the remote control device side is utilized.
Imaging is performed in an imaging field including the controlled device, and the image information acquired by the imaging is controlled.
The controlled device that received the transmitted image information by the information receiving means
On the side, the relative position between the remote control device and the controlled device can be calculated. The calculated
On the controlled device side that has recognized the position of the remote control device, an operation in a mode suitable for this recognition is performed.
It becomes possible.
In addition to the above-described operation, the controlled device is prepared in advance so as to be able to use information relating to its external dimensions, and the information receiving means recognizes the relative position between the controlled device and the remote control device. When the information that contributes to the operation is received, the relative position calculation means of the controlled device calculates the relative position between the remote control device and the controlled device based on the received information and the information prepared in advance. calculate. The controlled device can recognize the calculated position of the remote control device and perform an operation in a mode suitable for the recognition.

(5)自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された
被制御装置であって、前記遠隔制御装置に設けられた撮像手段によって生成され当該被制
御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記
遠隔制御装置側から伝送されたときには該伝送された画像情報を受信し得るようになされ
た情報受信手段と、前記情報受信手段によって受信された画像情報に基づいて当該被制御
装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、を備え、
前記相対位置算出手段は、前記情報受信手段によって受信された画像情報中の当該被制
御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報と予め利用可能に準備
された当該被制御装置の外形寸法に係る情報とに基づいて当該被制御装置と前記遠隔制御
装置との相対位置を算出するように構成されたものであることを特徴とする被制御装置。
(5) It is configured so that it can be controlled from a predetermined remote control device configured separately from itself.
A controlled device, which is generated by an imaging means provided in the remote control device and the controlled device
Image information including information contributing to recognizing the relative position between the control device and the remote control device is
When transmitted from the remote control device side, the transmitted image information can be received.
Information receiving means and the controlled object based on the image information received by the information receiving means.
A relative position calculating means for calculating a relative position between the device and the remote control device,
The relative position calculating means is the controlled position in the image information received by the information receiving means.
Information that contributes to recognizing the relative position of the control device and the remote control device and prepared in advance for use
And the remote control based on the information related to the external dimensions of the controlled device.
A controlled device characterized in that it is configured to calculate a relative position with respect to the device.

上記(5)の被制御装置によれば、当該被制御装置と前記遠隔制御装置との相対位置を
認識するに寄与する情報を含む画像情報が前記遠隔制御装置側から伝送されたときには自
己の情報受信手段で該伝送された画像情報を受信し、受信された画像情報に基づいて相対
位置算出手段によって当該被制御装置と前記遠隔制御装置との相対位置を算出する。該算
出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可
能になる。
また、上記作用に加えて、当該被制御装置は自己の外形寸法に係る情報を予め利用可能に準備しており、前記情報受信手段によって当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報が受信されると、この受信された情報と上記予め準備された情報とに基づいて、被制御装置の相対位置算出手段は、遠隔制御装置と被制御装置との相対位置を算出する。被制御装置は該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
According to the controlled device of (5) above , the relative position between the controlled device and the remote control device is
When image information including information that contributes to recognition is transmitted from the remote control device side,
The transmitted image information is received by the own information receiving means, and the relative information is received based on the received image information.
The relative position between the controlled device and the remote control device is calculated by the position calculation means. Calculation
It is possible to recognize the position of the remote control device that has been issued and to perform operations in a manner suitable for this recognition.
Become capable.
In addition to the above-described operation, the controlled device prepares information relating to its external dimensions in advance so that the relative position between the controlled device and the remote control device is recognized by the information receiving means. When the information that contributes to the operation is received, the relative position calculation means of the controlled device calculates the relative position between the remote control device and the controlled device based on the received information and the information prepared in advance. calculate. The controlled device can recognize the calculated position of the remote control device and perform an operation in a mode suitable for the recognition.

(6)前記被制御装置は、前記予め利用可能に準備された当該被制御装置の外形寸法に係る情報を保持する情報保持手段を備えたものであることを特徴とする(4)に記載の制御システム。
上記(6)の制御システムによれば、(4)に記載の制御システムによる作用に加えて、被制御装置は当該被制御装置の外形寸法に係る情報を自己の情報保持手段に予め利用可能に保持し、このように保持した情報を所要となるタイミングで当該被制御装置と前記遠隔制御装置との相対位置を算出する演算に供せしめることができる。
(6) The controlled device includes an information holding unit that holds information related to an external dimension of the controlled device that is prepared to be available in advance. Control system.
According to the control system of (6) above, in addition to the operation of the control system described in (4), the controlled device can previously use information relating to the external dimensions of the controlled device for its own information holding means. The information held in this way can be used for calculation to calculate the relative position between the controlled device and the remote control device at a required timing.

(7)前記予め利用可能に準備された当該被制御装置の外形寸法に係る情報を保持する情報保持手段を更に備えたものであることを特徴とする(5)に記載の被制御装置。
上記(7)の被制御装置によれば、(5)に記載の被制御装置による作用に加えて、自己の情報保持手段に当該被制御装置の外形寸法に係る情報を予め利用可能に保持して、このように保持した情報を所要となるタイミングで当該被制御装置と前記遠隔制御装置との相対位置を算出する演算に供せしめることができる。
(7) The controlled device according to (5), further comprising information holding means for holding information related to an external dimension of the controlled device prepared to be available in advance.
According to the controlled device of (7) above, in addition to the operation of the controlled device described in (5), the information relating to the external dimensions of the controlled device is held in advance in its own information holding means. Thus, the information held in this way can be used for calculation to calculate the relative position between the controlled device and the remote control device at a required timing.

(10)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
備え、
前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
を備え、
前記被制御装置の相対位置算出手段は、前記情報受信手段によって受信された画像情報中の当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての特定の位置マーカを表すマーカ情報を用いて台形歪を求める演算を実行する台形歪演算手段を有し、該台形歪演算手段による演算の結果と予め利用可能に準備された当該被制御装置の外形寸法に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出するように構成されたものであることを特徴とする制御システム。
(10) A control system including a remote control device and a controlled device that can be controlled by the remote control device,
The remote control device includes a housing configured separately from the controlled device, and the housing.
The phase between the controlled device and the remote control device when imaging is performed toward the controlled device side.
Imaging means capable of generating image information including information that contributes to recognizing a pair position; and
Information transmission means for transmitting image information generated by the imaging means to the controlled device side;
Prepared,
The controlled device receives image information transmitted from information transmission means of the remote control device.
Information receiving means adapted to obtain and image information received by said information receiving means.
A relative position calculating means for calculating a relative position between the controlled device and the remote control device;
With
The relative position calculation means of the controlled device has a specific position marker as information contributing to recognizing the relative position between the controlled device and the remote control device in the image information received by the information receiving means. A trapezoidal distortion calculating means for executing a calculation for obtaining a trapezoidal distortion using the marker information to be represented, and information relating to the result of the calculation by the trapezoidal distortion calculating means and the external dimensions of the controlled device prepared in advance. A control system configured to calculate a relative position between the controlled device and the remote control device using a computer.

上記(10)の制御システムによれば、当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔制御装置側から伝送されたときには自己の情報受信手段で該伝送された画像情報を受信し、受信された画像情報に基づいて相対位置算出手段によって当該被制御装置と前記遠隔制御装置との相対位置を算出する。該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、被制御装置の相対位置算出手段は、前記情報受信手段によって受信された画像情報中に当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての特定の(既知の位置に対応する)位置マーカを表すマーカ情報が含まれているときには、台形歪演算手段によってこのマーカ情報を用いて台形歪を求め、この台形歪を表す情報と予め利用可能に準備された当該被制御装置の外形寸法に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出することができる。
According to the control system of (10) above, when image information including information contributing to recognizing the relative position between the controlled device and the remote control device is transmitted from the remote control device side, it receives its own information. The transmitted image information is received by the means, and the relative position between the controlled apparatus and the remote control apparatus is calculated by the relative position calculating means based on the received image information. It is possible to recognize the calculated position of the remote control device and perform an operation in a mode suitable for this recognition.
In addition to the above action, the relative position calculation unit of the controlled device contributes to recognizing the relative position between the controlled device and the remote control device in the image information received by the information receiving unit. When the marker information representing a specific position marker (corresponding to a known position) is included, a trapezoidal distortion is obtained by using the marker information by the trapezoidal distortion calculation means, and the information representing the trapezoidal distortion is used in advance. The relative position between the controlled device and the remote control device can be calculated using the information relating to the external dimensions of the controlled device prepared as possible.

(11)自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された被制御装置であって、前記遠隔制御装置に設けられた撮像手段によって生成され当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔制御装置側から伝送されたときには該伝送された画像情報を受信し得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、を備え、
前記相対位置算出手段は、前記情報受信手段によって受信された画像情報中の当該被制
御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての特定の位置マ
ーカを表すマーカ情報を用いて台形歪を求める演算を実行する台形歪演算手段を有し、該
台形歪演算手段による演算の結果と予め利用可能に準備された当該被制御装置の外形寸法
に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出するように
構成されたものであることを特徴とする被制御装置。
(11) A controlled device configured to be controlled from a predetermined remote control device configured separately from itself, the controlled device generated by an imaging unit provided in the remote control device And information receiving means adapted to receive the transmitted image information when image information including information contributing to recognizing a relative position between the remote control device and the remote control device is transmitted from the remote control device side; A relative position calculating means for calculating a relative position between the controlled device and the remote control device based on the image information received by the information receiving means,
The relative position calculating means is the controlled position in the image information received by the information receiving means.
A specific position marker as information contributing to recognizing the relative position between the control device and the remote control device.
A trapezoidal distortion calculating means for executing a calculation for obtaining a trapezoidal distortion using marker information representing a marker,
Results of calculation by trapezoidal distortion calculation means and external dimensions of the controlled device prepared to be available in advance
And calculating the relative position between the controlled device and the remote control device.
A controlled apparatus characterized by being configured.

上記(11)の被制御装置によれば、当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔制御装置側から伝送されたときには自己の情報受信手段で該伝送された画像情報を受信し、受信された画像情報に基づいて相対位置算出手段によって当該被制御装置と前記遠隔制御装置との相対位置を算出する。該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、自己の相対位置算出手段は、前記情報受信手段によって受信された画像情報中に当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての特定の(既知の位置に対応する)位置マーカを表すマーカ情報が含まれているときには、台形歪演算手段によってこのマーカ情報を用いて台形歪を求め、この台形歪を表す情報と予め利用可能に準備された当該被制御装置の外形寸法に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出することができる。
According to the controlled device of (11) above, when image information including information that contributes to recognizing the relative position between the controlled device and the remote control device is transmitted from the remote control device side, its own information The received image information is received by the receiving means, and the relative position between the controlled apparatus and the remote control apparatus is calculated by the relative position calculating means based on the received image information. It is possible to recognize the calculated position of the remote control device and perform an operation in a mode suitable for this recognition.
Further, in addition to the above-described operation, the self relative position calculating means serves as information contributing to recognizing the relative position between the controlled apparatus and the remote control apparatus in the image information received by the information receiving means. When marker information representing a specific position marker (corresponding to a known position) is included, a trapezoidal distortion is obtained by using the marker information by the trapezoidal distortion calculating means, and information indicating this trapezoidal distortion can be used in advance. The relative position between the controlled device and the remote control device can be calculated using the prepared information related to the external dimensions of the controlled device.

(18)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
備え、
前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
を備え、
前記遠隔制御装置は、外部の情報処理装置との通信を行う通信手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を前記通信手段を通して取得する外形情報取得手段と、前記外形情報取得手段によって取得された被制御装置の外形に係る情報と前記撮像手段によって撮像された画像情報との相関に基づいて制御対象とすべき被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする制御システム
(18) A control system including a remote control device and a controlled device that can be controlled by the remote control device,
The remote control device includes a housing configured separately from the controlled device, and the housing.
The phase between the controlled device and the remote control device when imaging is performed toward the controlled device side.
Imaging means capable of generating image information including information that contributes to recognizing a pair position; and
Information transmission means for transmitting image information generated by the imaging means to the controlled device side;
Prepared,
The controlled device receives image information transmitted from information transmission means of the remote control device.
Information receiving means adapted to obtain and image information received by said information receiving means.
A relative position calculating means for calculating a relative position between the controlled device and the remote control device;
With
The remote control device includes a communication unit that communicates with an external information processing device, and an external shape information acquisition unit that acquires information on the external shape of one or more controlled devices that are scheduled for control through the communication unit. Control target discriminating means for discriminating the controlled apparatus to be controlled based on the correlation between the information related to the outer shape of the controlled apparatus acquired by the outer shape information acquiring means and the image information captured by the imaging means. control system, characterized in that with further.

上記(18)の制御システムによれば、遠隔制御装置側に設けられた撮像手段を活用して被制御装置を含む撮像視野で撮像を行い、該撮像によって取得した画像情報を被制御装置に伝送することにより、伝送された画像情報を情報受信手段によって受信した被制御装置側では、遠隔制御装置と被制御装置との相対位置を算出することができる。該算出された遠隔制御装置の位置を認識した被制御装置側では、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、遠隔制御装置の通信手段を通して外部の情報処理装置の機能を活用することにより、前記遠隔制御装置自体の負担を大幅に増大させることなく簡素な構成によって、一層高度な制御を行うことが可能になるとともに、遠隔制御装置自体が自己の制御対象弁別手段によって制御対象とすべき被制御装置を弁別するため、弁別された被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。
According to the control system of (18) , imaging is performed in an imaging field including the controlled device by using imaging means provided on the remote control device side, and image information acquired by the imaging is transmitted to the controlled device. By doing so, the relative position between the remote control device and the controlled device can be calculated on the controlled device side that has received the transmitted image information by the information receiving means. On the controlled device side that recognizes the calculated position of the remote control device, it is possible to perform an operation in a mode suitable for this recognition.
Further, in addition to the above operation, by utilizing the function of the external information processing device through the communication means of the remote control device, a more advanced configuration can be achieved with a simple configuration without significantly increasing the burden on the remote control device itself. It is possible to perform control, and the remote control device itself discriminates the controlled device to be controlled by its own controlled object discriminating means, so that the control command code system suitable for the controlled device to be discriminated Recognize the specifications and perform precise control.

(19)被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成された遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能に自己の筐体に設けられた撮像手段と、前記撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を備え、
外部の情報処理装置との通信を行う通信手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を前記通信手段を通して取得する外形情報取得手段と、前記外形情報取得手段によって取得された被制御装置の外形に係る情報と前記撮像手段によって撮像された画像情報との相関に基づいて制御対象とすべき被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする遠隔制御装置。
上記(19)の遠隔制御装置によれば、自己の撮像手段を活用して遠隔制御装置を含む撮像視野で撮像し、該撮像によって取得した画像情報を情報伝送手段によって被制御装置に伝送することが可能である。伝送された画像情報を受信した被制御装置側では、遠隔制御装置の位置を被制御装置との相対において算出し該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、自己の通信手段を通して外部の情報処理装置の機能を活用することにより、当該遠隔制御装置自体の負担を大幅に増大させることなく簡素な構成によって、一層高度な制御を行うことが可能になるとともに、自己の制御対象弁別手段によって制御対象とすべき被制御装置を弁別するため、弁別された被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。
(19) A remote control device configured to be able to perform predetermined control on the controlled device and configured separately from the controlled device, when imaging is performed toward the controlled device side An imaging unit provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the controlled device and the remote control device, and image information generated by the imaging unit An information transmission means for transmitting to the controlled device side,
A communication unit that communicates with an external information processing device, an outer shape information acquisition unit that acquires information about the outer shape of one or more controlled devices that are scheduled to be controlled through the communication unit, and the outer shape information acquisition unit. Control object discrimination means for discriminating the controlled apparatus to be controlled based on the correlation between the acquired information relating to the outer shape of the controlled apparatus and the image information captured by the imaging means. A remote control device characterized by that.
According to the remote control device of the above (19) , imaging is performed in an imaging field including the remote control device using its own imaging means, and image information acquired by the imaging is transmitted to the controlled device by the information transmission means. Is possible. On the controlled device side that has received the transmitted image information, the position of the remote control device is calculated relative to the controlled device, the calculated position of the remote control device is recognized, and an aspect suitable for this recognition It becomes possible to perform an operation.
In addition to the above-described operation, by utilizing the function of the external information processing apparatus through its own communication means, it is possible to perform more advanced control with a simple configuration without significantly increasing the burden on the remote control apparatus itself. In order to discriminate the controlled device that should be controlled by its own controlled object discriminating means, it is necessary to recognize the code system and specifications of the control commands suitable for the controlled device being discriminated and Control can be performed.

(20)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
備え、
前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
を備え、
前記遠隔制御装置は、制御対象として予定された一以上の被制御装置の外形に係る情報
を保有する外形情報保有手段と、前記撮像手段によって撮像された画像情報と前記外形情
報保有手段に保有された被制御装置の外形に係る情報との相関に基づいて制御対象とすべ
き被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする制御システム。
(20) A control system including a remote control device and a controlled device that can be controlled by the remote control device,
The remote control device includes a housing configured separately from the controlled device, and the housing.
The phase between the controlled device and the remote control device when imaging is performed toward the controlled device side.
Imaging means capable of generating image information including information that contributes to recognizing a pair position; and
Information transmission means for transmitting image information generated by the imaging means to the controlled device side;
Prepared,
The controlled device receives image information transmitted from information transmission means of the remote control device.
Information receiving means adapted to obtain and image information received by said information receiving means.
A relative position calculating means for calculating a relative position between the controlled device and the remote control device;
With
The remote control device is information related to the outer shape of one or more controlled devices scheduled for control.
External shape information holding means, image information captured by the imaging means, and the external shape information
Control target and all information to be controlled based on the correlation with the information related to the external shape of the controlled device.
A control system further comprising a control object discriminating means for discriminating the controlled device.

上記(20)の制御システムによれば、当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔制御装置側から伝送されたときには自己の情報受信手段で該伝送された画像情報を受信し、受信された画像情報に基づいて相対位置算出手段によって当該被制御装置と前記遠隔制御装置との相対位置を算出する。該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、遠隔制御装置自体が自己の制御対象弁別手段によって制御対象とすべき被制御装置を弁別するため、弁別された被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。
According to the control system of (20) above, when image information including information contributing to recognizing the relative position between the controlled device and the remote control device is transmitted from the remote control device side, it receives its own information. The transmitted image information is received by the means, and the relative position between the controlled apparatus and the remote control apparatus is calculated by the relative position calculating means based on the received image information. It is possible to recognize the calculated position of the remote control device and perform an operation in a mode suitable for this recognition.
In addition to the above operation, the remote control device itself discriminates the controlled device to be controlled by its own controlled object discriminating means, so that the control command code system and specifications suitable for the controlled device to be discriminated are provided. Recognize and perform precise control.

(21)被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成された遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能に自己の筐体に設けられた撮像手段と、前記撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を備え、
制御対象として予定された一以上の被制御装置の外形に係る情報を保有する外形情報保
有手段と、前記撮像手段によって撮像された画像情報と前記外形情報保有手段に保有され
た被制御装置の外形に係る情報との相関に基づいて制御対象とすべき被制御装置を弁別す
る制御対象弁別手段とを更に備えたものであることを特徴とする遠隔制御装置。
(21) A remote control device configured to be able to perform predetermined control on the controlled device and configured separately from the controlled device, when imaging is performed toward the controlled device side An imaging unit provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the controlled device and the remote control device, and image information generated by the imaging unit An information transmission means for transmitting to the controlled device side,
Outline information storage that holds information related to the outline of one or more controlled devices scheduled for control
Possessing means, image information captured by the image capturing means, and the external shape information retaining means.
Discriminate the controlled device to be controlled based on the correlation with the information related to the external shape of the controlled device
The remote control device further comprising a control object discriminating means.

上記(21)の遠隔制御装置によれば、自己の撮像手段を活用して遠隔制御装置を含む撮像視野で撮像し、該撮像によって取得した画像情報を情報伝送手段によって被制御装置に伝送することが可能である。伝送された画像情報を受信した被制御装置側では、遠隔制御装置の位置を被制御装置との相対において算出し該算出された遠隔制御装置の位置を認識して、この認識に適合した態様の動作を行うことが可能になる。
また、上記作用に加えて、自己の制御対象弁別手段によって制御対象とすべき被制御装置を弁別するため、弁別された被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。
According to the remote control device of the above (21) , imaging is performed in an imaging field including the remote control device by utilizing its own imaging means, and image information acquired by the imaging is transmitted to the controlled device by the information transmission means. Is possible. On the controlled device side that has received the transmitted image information, the position of the remote control device is calculated relative to the controlled device, the calculated position of the remote control device is recognized, and an aspect suitable for this recognition It becomes possible to perform an operation.
In addition to the above operation, in order to discriminate the controlled device to be controlled by its own controlled object discriminating means, it recognizes the code system and specification of the control command suitable for the controlled device that has been discriminated and is accurate. Control can be performed.

(22)前記遠隔制御装置の外形情報保有手段は、撮像手段によって予め撮像することによって取得された前記制御対象として予定された一以上の被制御装置の外形に係る画像を保有していることを特徴とする(20)に記載の制御システム。
上記(22)の制御システムによれば、(20)に記載の制御システムによる作用に加えて、制御対象として予定している被制御装置そのものの外形に係る画像を、遠隔制御装置がその制御対象弁別手段によって制御対象とすべき被制御装置を弁別する基準に供することができ、制御対象の的確な弁別が行われる。
(22) The external information holding means of the remote control device has an image relating to the external shape of one or more controlled devices scheduled as the control target acquired by imaging in advance by the imaging means. The control system according to (20), characterized in that
According to the control system of (22) above, in addition to the action of the control system described in (20), the remote control device displays an image relating to the outer shape of the controlled device itself that is planned to be controlled. The discriminating means can be used as a reference for discriminating the controlled device to be controlled, and accurate discrimination of the controlled object is performed.

(23)前記外形情報保有手段は、撮像手段によって予め撮像することによって取得された前記制御対象として予定された一以上の被制御装置の外形に係る画像を保有していることを特徴とする(21)に記載の遠隔制御装置。
上記(23)の遠隔制御装置によれば、(21)に記載の遠隔制御装置による作用に加えて、制御対象として予定している被制御装置そのものの外形に係る画像を、遠隔制御装置がその制御対象弁別手段によって制御対象とすべき被制御装置を弁別する基準に供することができ、制御対象の的確な弁別が行われる。
(23) The outer shape information holding unit holds an image related to the outer shape of one or more controlled devices scheduled as the control target acquired by imaging in advance by an imaging unit ( 21) The remote control device described in 21).
According to the remote control device of (23) above, in addition to the operation of the remote control device described in (21), the remote control device displays an image relating to the external shape of the controlled device itself that is planned to be controlled. The control target discriminating means can be used as a reference for discriminating the controlled device to be controlled, and the control target is accurately discriminated.

(24)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、外部の情報処理装置との通信を行う通信手段と、前記撮像手段によって生成された画像情報を前記通信手段を通して当該情報処理装置に転送し該転送に対する応答として前記情報処理装置から供給される前記被制御装置に係る関連情報を取得して前記被制御装置側に伝送する情報取得伝送手段と、を備え、
前記被制御装置は、前記遠隔制御装置の情報取得伝送手段から伝送された当該関連情報を受信し得るようになされた情報受信手段と、前記情報受信手段によって受信された当該関連情報を利用して当該被制御装置と前記遠隔制御装置との相対位置を認識する相対位置認識手段と、前記相対位置認識手段による認識に基づいて所定の調節動作を行う調節手段と、を備えたものであることを特徴とする制御システム。
(24) A control system including a remote control device and a controlled device that can be controlled by the remote control device,
The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. An imaging unit capable of generating image information including information that contributes to recognizing a relative position with the device, a communication unit that communicates with an external information processing device, and image information generated by the imaging unit Information acquisition and transmission means for transferring to the information processing apparatus through the communication means, acquiring related information relating to the controlled apparatus supplied from the information processing apparatus as a response to the transfer, and transmitting the related information to the controlled apparatus side; With
The controlled device uses the information receiving means adapted to receive the relevant information transmitted from the information acquisition / transmission means of the remote control device, and the relevant information received by the information receiving means. Relative position recognition means for recognizing the relative position between the controlled device and the remote control device, and adjustment means for performing a predetermined adjustment operation based on recognition by the relative position recognition means. Feature control system.

上記(24)の制御システムによれば、前記遠隔制御装置において撮像によって取得した前記被制御装置に係る画像情報を通信手段を通して外部の情報処理装置に供給し該情報処理装置による高度な情報取得処理能力を利用することにより自己の負担を過度に増大させることなく前記被制御装置に係る十分な内容の関連情報を取得して情報取得伝送手段により前記被制御装置側に伝送する。
前記被制御装置側では、この伝送による当該関連情報を利用して当該被制御装置と前記遠隔制御装置との相対位置を認識し、この認識に基づいて的確な態様の動作を行うことが可能になる。
According to the control system of (24), image information relating to the controlled device acquired by imaging in the remote control device is supplied to an external information processing device through communication means, and an advanced information acquisition process by the information processing device By using the capability, the relevant information of the sufficient content related to the controlled device is acquired without excessively increasing its own burden, and transmitted to the controlled device side by the information acquisition and transmission means.
On the controlled device side, it is possible to recognize the relative position between the controlled device and the remote control device using the related information by this transmission, and to perform an accurate operation based on this recognition. Become.

(25)自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された被制御装置であって、前記遠隔制御装置がその撮像手段によって生成した画像情報を自己の通信手段を通して外部の情報処理装置に転送し該転送に対する応答として当該情報処理装置から取得した前記前記被制御装置に係る関連情報を受信し得るようになされた情報受信手段と、前記情報受信手段によって受信された当該関連情報を利用して当該被制御装置と前記遠隔制御装置との相対位置を認識する相対位置認識手段と、前記相対位置認識手段による認識に基づいて所定の調節動作を行う調節手段と、を備えたものであることを特徴とする被制御装置。 (25) A controlled device configured to be controlled from a predetermined remote control device configured separately from itself, and the image information generated by the imaging means by the remote control device is communicated by itself. Information receiving means adapted to receive the related information relating to the controlled device acquired from the information processing apparatus as a response to the transfer, and received by the information receiving means Relative position recognition means for recognizing the relative position between the controlled apparatus and the remote control apparatus using the related information, and adjustment means for performing a predetermined adjustment operation based on recognition by the relative position recognition means; A controlled apparatus characterized by comprising:

上記(25)の被制御装置によれば、前記遠隔制御装置において比較的高度な情報取得処理能力を有する外部の情報処理装置との連携によって取得した当該被制御装置に係る十分な内容の関連情報を自己の情報受信手段によって受信し、該受信した当該被制御装置に係る十分な内容の関連情報により前記遠隔制御装置との相対位置を認識し、この認識に基づいて的確な態様の動作を行うことが可能になる。   According to the controlled device of (25) above, sufficient information related to the controlled device acquired by cooperation with an external information processing device having relatively high information acquisition processing capability in the remote control device Is received by its own information receiving means, and the relative position with respect to the remote control device is recognized based on the received related information having sufficient contents related to the controlled device, and an appropriate mode of operation is performed based on this recognition. It becomes possible.

(26)被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成された遠隔制御装置であって、自己の筐体に設けられ前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、外部の情報処理装置との通信を行う通信手段と、前記撮像手段によって生成された画像情報を前記通信手段を通して当該情報処理装置に転送し該転送に対する応答として前記情報処理装置から供給される前記被制御装置に係る関連情報を取得して前記被制御装置側に伝送する情報取得伝送手段と、を備えたことを特徴とする遠隔制御装置。 (26) A remote control device configured to be able to perform predetermined control on the controlled device and configured separately from the controlled device, and is provided in its own casing and directed toward the controlled device side Communication between an imaging unit capable of generating image information including information contributing to recognizing a relative position between the controlled device and the remote control device and an external information processing device. And communication information to be performed, and image information generated by the imaging means is transferred to the information processing apparatus through the communication means, and related information related to the controlled apparatus supplied from the information processing apparatus is acquired as a response to the transfer. An information acquisition and transmission means for transmitting to the controlled device side.

上記(26)の遠隔制御装置によれば、自己の撮像手段による撮像によって取得した前記被制御装置に係る画像情報を通信手段を通して外部の情報処理装置に供給し該情報処理装置による高度な情報取得処理能力を利用することにより自己の負担を過度に増大させることなく前記被制御装置に係る十分な内容の関連情報を取得して情報取得伝送手段により前記被制御装置側に伝送する。
前記被制御装置側では、この伝送による当該関連情報を利用して当該被制御装置と前記遠隔制御装置との相対位置を認識し、この認識に基づいて的確な態様の動作を行うことが可能になる。
According to the remote control device of the above (26), the image information related to the controlled device acquired by imaging by its own imaging means is supplied to the external information processing apparatus through the communication means, and advanced information acquisition by the information processing apparatus is performed. By using the processing capability, the relevant information with sufficient contents related to the controlled device is acquired without excessively increasing its own burden and transmitted to the controlled device side by the information acquisition and transmission means.
On the controlled device side, it is possible to recognize the relative position between the controlled device and the remote control device using the related information by this transmission, and to perform an accurate operation based on this recognition. Become.

(27)前記遠隔制御装置の情報取得伝送手段は、前記通信手段を通して前記被制御装置に係る関連情報として前記被制御装置に伝送される情報を担うべく適用される信号の形態を表す信号形態情報を更に取得し、該取得された信号形態情報に準拠した態様の信号によって前記被制御装置に情報を伝送するように構成されたものであることを特徴とする(24)に記載の制御システム。 (27) Signal form information representing a form of a signal applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus through the communication means, the information acquisition / transmission means of the remote control apparatus The control system according to (24), further configured to transmit the information to the controlled device by a signal in a mode based on the acquired signal form information.

上記(27)の制御システムによれば、(24)に記載の制御システムによる作用に加えて、前記遠隔制御装置の情報取得伝送手段が外部の情報処理装置による高度な情報取得処理能力を利用して前記被制御装置に係る関連情報として前記被制御装置に伝送される情報を担うべく適用される信号の形態(コード体系等)を表す信号形態情報を更に取得し、該取得された信号形態情報に準拠した態様の信号で前記遠隔制御装置と前記被制御装置が的確な情報の授受を行うことができる。   According to the control system of (27) above, in addition to the operation of the control system described in (24), the information acquisition / transmission means of the remote control device utilizes the advanced information acquisition processing capability of the external information processing device. And further acquiring signal form information representing a signal form (code system or the like) applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus, and the acquired signal form information The remote control device and the controlled device can accurately exchange information with a signal in a mode compliant with the above.

(28)前記情報取得伝送手段は、前記通信手段を通して前記被制御装置に係る関連情報として前記被制御装置に伝送される情報を担うべく適用される信号の形態を表す信号形態情報を更に取得し、該取得された信号形態情報に準拠した態様の信号によって前記被制御装置に情報を伝送するように構成されたものであることを特徴とする(26)に記載の遠隔制御装置。 (28) The information acquisition / transmission means further acquires signal form information representing a form of a signal applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus through the communication means. The remote control device according to (26), wherein the remote control device is configured to transmit information to the controlled device by a signal in a mode based on the acquired signal form information.

上記(28)の遠隔制御装置によれば、(26)に記載の遠隔制御装置による作用に加えて、自己の情報取得伝送手段が外部の情報処理装置による高度な情報取得処理能力を利用して前記被制御装置に係る関連情報として前記被制御装置に伝送される情報を担うべく適用される信号の形態(コード体系等)を表す信号形態情報を更に取得し、該取得された信号形態情報に準拠した態様の信号で前記被制御装置と的確な情報の授受を行うことができる。   According to the remote control device of (28) above, in addition to the operation of the remote control device described in (26), the information acquisition / transmission means of its own uses the advanced information acquisition processing capability of the external information processing device. Further acquiring signal form information representing a signal form (code system or the like) applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus, and the acquired signal form information Accurate information can be exchanged with the controlled device by a signal in a compliant manner.

(29)前記被制御装置は、自己の表示部に前記制御装置によって認識可能なコード化情報パターンを映出するコード化情報パターン映出手段を更に有するものであることを特徴とする(24)に記載の制御システム。
上記(29)の制御システムによれば、(24)に記載の制御システムによる作用に加えて、コード化情報パターンを利用した一層多様な或いは精度の高い制御を行うことが可能になる。
(29) The controlled device further includes coded information pattern projecting means for projecting a coded information pattern recognizable by the control device on its own display unit (24). The control system described in.
According to the control system of (29), in addition to the operation of the control system described in (24), it is possible to perform more various or highly accurate control using the coded information pattern.

(30)自己の表示部に前記制御装置によって認識可能なコード化情報パターンを映出するコード化情報パターン映出手段を更に有するものであることを特徴とする(25)に記載の被制御装置。
上記(30)の被制御装置によれば、(25)に記載の被制御装置による作用に加えて、コード化情報パターンを利用した一層多様な或いは精度の高い制御を行うことが可能になる。
(30) The controlled device according to (25), further comprising coded information pattern projecting means for projecting a coded information pattern recognizable by the control device on its own display unit. .
According to the controlled device of (30), in addition to the operation of the controlled device described in (25), it is possible to perform more various or highly accurate control using the coded information pattern.

(31)前記被制御装置は、自己の表示部に、複数のマーカと、前記制御装置によって認識可能なコードによって当該複数のマーカ間の間隔を表す情報を含むコード化情報パターンを映出するマーカ及びコード化情報パターン映出手段を更に有するものであることを特徴とする(24)に記載の制御システム。
上記(31)の制御システムによれば、(24)に記載の制御システムによる作用に加えて、被制御装置の表示部に映出されるマーカ及びコード化情報パターンを利用して一層多様な或いは精度の高い制御を行うことが可能になる。
(31) The controlled device displays a coded information pattern including information representing an interval between the plurality of markers and a code recognizable by the control device on its display unit. The control system according to (24), further comprising a coded information pattern projecting unit.
According to the control system of (31) above, in addition to the operation of the control system described in (24), the use of markers and coded information patterns displayed on the display unit of the controlled device further increases the accuracy or accuracy. High control can be performed.

(32)自己の表示部に、複数のマーカと、前記制御装置によって認識可能なコードによって当該複数のマーカ間の間隔を表す情報を含むコード化情報パターンを映出するマーカ及びコード化情報パターン映出手段を更に有するものであることを特徴とする(25)に記載の被制御装置。
上記(32)の被制御装置によれば、(25)に記載の被制御装置による作用に加えて、自己の表示部に映出されるマーカ及びコード化情報パターンを利用して一層多様な或いは精度の高い制御を行うことが可能になる。
(32) A marker for displaying a coded information pattern including information representing an interval between the plurality of markers and a plurality of markers and a code recognizable by the control device on the display unit thereof, and the coded information pattern projection The controlled apparatus according to (25), further comprising an exit means.
According to the controlled device of (32) above, in addition to the operation of the controlled device described in (25), the use of markers and coded information patterns displayed on its own display unit makes it more diverse or accurate. High control can be performed.

(33)遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された制御システムであって、
前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を保有する外形情報保有手段と、前記撮像手段によって取得された画像情報と前記外形情報保有手段に保有された情報との相関に基づいて制御対象とする被制御装置を弁別する制御対象弁別手段と、前記外形情報保有手段に保有された前記制御対象弁別手段によって被制御装置として弁別された装置の外形に係る情報と前記撮像手段によって取得された画像情報とを利用して前記被制御装置と当該遠隔制御装置との相対位置を算出する相対位置算出手段と、前記相対位置算出手段によって算出された前記被制御装置と当該遠隔制御装置との相対位置を表す情報を前記被制御装置に伝送する情報伝送手段と、を備え、
前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された前記被制御装置と当該遠隔制御装置との相対位置を表す情報を受信し得るようになされた情報受信手段と、前記情報受信手段によって受信された情報に基づいて所定の調節動作を実行する調節手段と、を備えたものであることを特徴とする制御システム。
(33) A control system including a remote control device and a controlled device that can be controlled by the remote control device,
The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position with respect to the apparatus, and outline information holding means for holding information relating to the outline of one or more controlled apparatuses scheduled as control targets A control object discriminating means for discriminating a controlled device to be controlled based on the correlation between the image information acquired by the imaging means and the information held in the outline information holding means, and the outline information holding means A phase between the controlled device and the remote control device using the information related to the outer shape of the device discriminated as the controlled device by the held control target discriminating unit and the image information acquired by the imaging unit. A relative position calculating means for calculating a position; and an information transmitting means for transmitting information representing the relative position between the controlled device calculated by the relative position calculating means and the remote control device to the controlled device. ,
The controlled device is configured to receive information indicating a relative position between the controlled device and the remote control device transmitted from the information transmission unit of the remote control device; and the information receiving device. A control system comprising: adjusting means for executing a predetermined adjusting operation based on information received by the means.

上記(33)の制御システムによれば、遠隔制御装置側に設けられた撮像手段を活用して被制御装置を含む撮像視野で撮像を行い、該撮像によって取得した画像情報と予め自己の外形情報保有手段に保有された一以上の被制御装置の外形に係る情報との対比によって制御対象とする被制御装置を弁別し、この弁別結果に応じた被制御装置に係る外形等の情報と前記撮像によって取得した画像情報とを利用して前記被制御装置と遠隔制御装置との相対位置を算出し、算出された前記被制御装置と遠隔制御装置との相対位置を表す情報を被制御装置に伝送することにより、伝送された当該相対位置を表す情報を情報受信手段によって受信した被制御装置側では、この前記被制御装置と遠隔制御装置との相対位置に適合した態様の調節動作を行うことが可能になる。   According to the control system of (33) above, the imaging means provided on the remote control device side is used to perform imaging in an imaging field including the controlled device, and image information acquired by the imaging and self-external information in advance. Discrimination of controlled devices to be controlled by comparison with information related to the external shape of one or more controlled devices held in the holding means, and information on the external shape and the like related to the controlled device according to the discrimination result and the imaging The relative position between the controlled device and the remote control device is calculated using the image information acquired by the control unit, and the calculated information indicating the relative position between the controlled device and the remote control device is transmitted to the controlled device. Thus, on the controlled device side that has received the transmitted information representing the relative position by the information receiving means, an adjustment operation in a mode suitable for the relative position between the controlled device and the remote control device can be performed. It becomes possible.

(34)被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成された遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能に自己の筐体に設けられた撮像手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を保有する外形情報保有手段と、前記撮像手段によって取得された画像情報と前記外形情報保有手段に保有された情報との相関に基づいて制御対象とする被制御装置を弁別する制御対象弁別手段と、前記外形情報保有手段に保有された前記制御対象弁別手段によって被制御装置として弁別された装置の外形に係る情報と前記撮像手段によって取得された画像情報とを利用して前記被制御装置と当該遠隔制御装置との相対位置を算出する相対位置算出手段と、前記相対位置算出手段によって算出された前記被制御装置と当該遠隔制御装置との相対位置を表す情報を前記前記被制御装置に伝送する情報伝送手段と、を備えたことを特徴とする遠隔制御装置。 (34) A remote control device configured to perform predetermined control on the controlled device and configured separately from the controlled device, when imaging is performed toward the controlled device side Imaging means provided on its own housing capable of generating image information including information contributing to recognizing the relative position between the controlled device and the remote control device, and one or more controlled devices scheduled for control. An external information holding unit that holds information relating to the external shape of the control device, and a controlled device to be controlled based on the correlation between the image information acquired by the imaging unit and the information held in the external shape information holding unit. Control target discriminating means for discrimination, information relating to the outer shape of the apparatus discriminated as a controlled device by the control target discriminating means held in the outer shape information holding means, and image information acquired by the imaging means Relative position calculation means for calculating a relative position between the controlled apparatus and the remote control apparatus using information, and information representing a relative position between the controlled apparatus and the remote control apparatus calculated by the relative position calculation means An information transmission means for transmitting the information to the controlled device.

上記(34)の遠隔制御装置によれば、自己の撮像手段を活用して被制御装置を含む撮像視野で撮像を行い、該撮像によって取得した画像情報と予め自己の外形情報保有手段に保有された一以上の被制御装置の外形に係る情報との対比によって制御対象とする被制御装置を弁別し、この弁別結果に応じた被制御装置に係る外形等の情報と前記撮像によって取得した画像情報とを利用して前記被制御装置と遠隔制御装置との相対位置を算出し、算出された前記被制御装置と遠隔制御装置との相対位置を表す情報を被制御装置に伝送することができる。このため、伝送された当該相対位置を表す情報を情報受信手段によって受信した被制御装置側では、この前記被制御装置と遠隔制御装置との相対位置に適合した態様の調節動作を行うことが可能になる。   According to the remote control device of (34), imaging is performed in an imaging field including the controlled device by utilizing its own imaging means, and the image information acquired by the imaging and the own external shape information holding means are held in advance. In addition, the controlled device to be controlled is discriminated by comparison with the information related to the outer shape of one or more controlled devices, and information such as the outer shape of the controlled device according to the discrimination result and the image information acquired by the imaging Can be used to calculate the relative position between the controlled device and the remote control device, and to transmit information indicating the calculated relative position between the controlled device and the remote control device to the controlled device. For this reason, on the controlled device side that has received the transmitted information representing the relative position by the information receiving means, it is possible to perform an adjustment operation in a mode suitable for the relative position between the controlled device and the remote control device. become.

以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図1は、被制御装置(液晶テレビジョン受像機本体)と遠隔制御装置(同液晶テレビジョン受像機本体に対応するリモコン)を含んで構成される本発明の実施形態としての制御システム(液晶テレビジョン受像機システム)を表わす概念図である。図1において、被遠隔制御装置としての液晶テレビジョン受像機本体(以下、液晶テレビという)100はこれに対応する遠隔制御装置としてのリモコン200から赤外光等による制御信号を受けてその動作が制御され得るように構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings to be referred to below, for the sake of convenience, the main part that is the subject of the description is exaggerated as appropriate, and other than the main part is appropriately simplified or omitted.
FIG. 1 shows a control system (liquid crystal television) as an embodiment of the present invention including a controlled device (liquid crystal television receiver main body) and a remote control device (remote control corresponding to the liquid crystal television receiver main body). 1 is a conceptual diagram showing a John receiver system). In FIG. 1, a liquid crystal television receiver main body (hereinafter referred to as a liquid crystal television) 100 as a remote control device receives a control signal by infrared light or the like from a remote controller 200 as a remote control device corresponding to the main body. It is configured to be controlled.

液晶テレビ100は、その筐体101に、映像を映出するスクリーン102、このスクリーン102の底辺よりも低い位置にステレオ式音響装置を構成する左側スピーカ103及び右側スピーカ104、及び、このスクリーン102の底辺の右直下にリモコン200からの赤外光等による制御信号Sc(二点鎖線により図示)を受ける受光窓105が備えられている。   The liquid crystal television 100 has a housing 102 with a screen 102 for projecting images, a left speaker 103 and a right speaker 104 constituting a stereo acoustic device at a position lower than the bottom of the screen 102, and the screen 102. A light receiving window 105 that receives a control signal Sc (illustrated by a two-dot chain line) by infrared light or the like from the remote controller 200 is provided immediately below the bottom right.

一方、リモコン200は、液晶テレビ100(その筐体101)とは離隔した位置に配置可能な独立した筐体201を持ち、この筐体201に液晶テレビ100側に向けて撮像を行ったときに被制御装置としての液晶テレビ100(その筐体101)と自己の筐体201との相対位置を認識するに寄与する情報(後述)を含む画像情報を生成可能になされた撮像手段210と、液晶テレビ100に対して赤外光等による制御信号Scを発する赤外LED等の発光素子を備えた制御信号投射部220とが設けられている。   On the other hand, the remote controller 200 has an independent case 201 that can be placed at a position separated from the liquid crystal television 100 (the case 101), and when imaging is performed on the case 201 toward the liquid crystal television 100 side. An imaging means 210 capable of generating image information including information (described later) that contributes to recognizing the relative position between the liquid crystal television 100 (the casing 101) as the controlled apparatus and the casing 201 of the self-control apparatus; A control signal projection unit 220 including a light emitting element such as an infrared LED that emits a control signal Sc by infrared light or the like to the television 100 is provided.

そして、上述の液晶テレビ100とリモコン200とを含んで、本発明の制御システム(液晶テレビシステム)100+200が構成される。尚、赤外光等による制御信号Scには、操作者の任意の操作に応じて液晶テレビ100を制御するための情報自体を表す信号の他に後述するような画像情報を表す信号が含まれる。
図2は、図1の液晶テレビ100の回路構成を示すブロック図である。アンテナ110で受信された放送波は復調・フィルタリング部120で復調され、トランスポートストリームが抽出され、視聴者(ユーザ)が選択したチャンネルの映像及び音声並びに番組情報を取得するためのフィルタリングが行われる。復調・フィルタリング部120の映像出力は映像処理部130に供給され、音声出力は音声処理部140に供給され、番組情報はOSD部150に供給される。
And the control system (liquid crystal television system) 100 + 200 of this invention is comprised including the above-mentioned liquid crystal television 100 and the remote control 200. FIG. Note that the control signal Sc using infrared light or the like includes a signal representing image information as described later in addition to a signal representing information itself for controlling the liquid crystal television 100 according to an arbitrary operation of the operator. .
FIG. 2 is a block diagram showing a circuit configuration of the liquid crystal television 100 of FIG. The broadcast wave received by the antenna 110 is demodulated by the demodulation / filtering unit 120, a transport stream is extracted, and filtering is performed to acquire video and audio of the channel selected by the viewer (user) and program information. . The video output of the demodulation / filtering unit 120 is supplied to the video processing unit 130, the audio output is supplied to the audio processing unit 140, and the program information is supplied to the OSD unit 150.

映像処理部130の出力により液晶駆動部131を介して液晶表示器160に映像が映出される。またOSD部150の出力に基づいて液晶表示器160の画面上に番組情報やその他の情報が上述の映像に重畳するようにして、或いは、画面内の一画を占めるようにして表示される。一方、音声処理部140の出力は左右の増幅器141,142を介して各対応する左右のスピーカ143,144に供給されて、ステレオ音声が発音される。   An image is displayed on the liquid crystal display 160 via the liquid crystal driving unit 131 by the output of the image processing unit 130. Further, based on the output of the OSD unit 150, program information and other information are displayed on the screen of the liquid crystal display 160 so as to be superimposed on the above-mentioned video or to occupy one screen in the screen. On the other hand, the output of the audio processing unit 140 is supplied to the corresponding left and right speakers 143 and 144 via the left and right amplifiers 141 and 142 to produce stereo sound.

上述の復調・フィルタリング部120及び音声処理部140並びにOSD部150を含む液晶テレビ100の系全体を統括的に制御するシステムコントローラ170が設けられている。このシステムコントローラ170には視聴者(ユーザ)による操作を受け付ける操作キー等を含んで構成される操作部171の出力が供給されるようになされ、また、メモリ172がアクセス可能に接続されて所要のタイミングでデータ(情報)の格納と読み出しが実行される。   A system controller 170 is provided that comprehensively controls the entire system of the liquid crystal television 100 including the demodulation / filtering unit 120, the audio processing unit 140, and the OSD unit 150 described above. The system controller 170 is supplied with an output of an operation unit 171 configured to include operation keys for accepting an operation by a viewer (user), and a memory 172 is connected so as to be accessible. Data (information) is stored and read at the timing.

一方、図1を参照して既述の受光窓105の背後に制御信号Scを受けるように設けられた受光素子181の出力が信号増幅回路等を含んで構成された受光回路182を介してシステムコントローラ170に供給されるように接続されている。既述の左右の増幅器141,142にはシステムコントローラ170からの制御信号が供給されて、増幅率が調整されることによって、ステレオ音声のバランス調整が行われるが、本例では、後に詳述するように、リモコン(リモコンを持っている視聴者)の所在(位置・方向)に合わせてこのバランス調整が適切に行われ得る。   On the other hand, referring to FIG. 1, the output of the light receiving element 181 provided so as to receive the control signal Sc behind the light receiving window 105 described above is connected to the system via the light receiving circuit 182 including a signal amplifying circuit. The controller 170 is connected so as to be supplied. The control signals from the system controller 170 are supplied to the left and right amplifiers 141 and 142 and the amplification rate is adjusted to adjust the balance of stereo sound. In this example, detailed description will be given later. As described above, this balance adjustment can be appropriately performed according to the location (position / direction) of the remote controller (viewer having the remote controller).

上述において、液晶テレビ100の系全体を統括的に制御するシステムコントローラ170の該当する機能部とOSD部150とを含んで、後に図6を参照して詳述する位置マーカ1021,1022,1023,1024をスクリーン102上に映出する位置マーカ映出手段と、QRコード(登録商標)などの二次元バーコードを例とするコード化情報パターン1025をスクリーン102上に映出するコード化情報パターン映出手段が構成されている。   In the above description, the position markers 1021, 1022, 1023, which will be described in detail later with reference to FIG. 6, including the corresponding functional unit of the system controller 170 that comprehensively controls the entire system of the liquid crystal television 100 and the OSD unit 150. Coded information pattern projection for projecting on the screen 102 a position marker projecting means for projecting 1024 on the screen 102 and a coded information pattern 1025 taking a two-dimensional barcode such as QR code (registered trademark) as an example. Out means are configured.

図3は、リモコン200の回路構成を示すブロック図である。図1を参照して説明した赤外光等による制御信号Scを発する赤外LED等の発光素子を含んでなる制御信号投射部220はリモコン200の回路系を統括的に制御し種々の演算を実行するマイクロプロセッサを主要な構成要素として含むシステムコントローラ230に接続され、このシステムコントローラ230からの指令に応じて所要の制御信号Scを発する。   FIG. 3 is a block diagram illustrating a circuit configuration of the remote controller 200. A control signal projection unit 220 including a light emitting element such as an infrared LED that emits a control signal Sc based on infrared light or the like described with reference to FIG. 1 controls the circuit system of the remote controller 200 in an integrated manner and performs various calculations. A system controller 230 including a microprocessor to be executed as a main component is connected, and a required control signal Sc is issued in response to a command from the system controller 230.

また、図1を参照して説明した撮像手段210としての撮像素子211と撮像回路212が設けられている。この撮像回路212はシステムコントローラ230の制御下で撮像素子211を駆動して撮像を行わせ、この撮像によって取得した画像信号を読み出し所要の信号変換を施して生成した画像データをシステムコントローラ230に供給する。
システムコントローラ230には、リモコン200の筐体201に設けられたチャンネル切り替え操作等を行う操作キー231からの操作信号が入力されるようになされ、また、メモリ232にアクセスしてデータの授受を行い得るようになされている。システムコントローラ230には、更に、パーソナルコンピュータのような外部の情報処理装置との交信を行うための外部機器インターフェース240が接続されている。
In addition, an imaging element 211 and an imaging circuit 212 are provided as the imaging unit 210 described with reference to FIG. The imaging circuit 212 drives the imaging device 211 under the control of the system controller 230 to perform imaging, reads out an image signal acquired by the imaging, performs necessary signal conversion, and supplies the generated image data to the system controller 230. To do.
The system controller 230 is supplied with an operation signal from an operation key 231 for performing a channel switching operation or the like provided on the casing 201 of the remote controller 200, and accesses the memory 232 to exchange data. Has been made to get. The system controller 230 is further connected to an external device interface 240 for communicating with an external information processing apparatus such as a personal computer.

図4は、例えば、方形のテレビジョン受像機の画面や、或いは、その外側の筐体等、形状・寸法が既知の被写体を撮像手段(カメラ)で撮像し、この撮像によって取得された画像の状態から当該被写体とカメラとの相対位置を割り出すという、本発明の実施の形態で利用する相対位置算出の原理を説明するための概念図である。図4では、既知の被写体としてのテレビジョン受像機の画面10をカメラ20で撮像し、この撮像によって画像データによって表わされる画像30が生成されるものと仮定している。   FIG. 4 shows, for example, an image of a subject having a known shape and size, such as a screen of a rectangular television receiver or a case outside thereof, captured by an image pickup means (camera). It is a conceptual diagram for demonstrating the principle of relative position calculation utilized by embodiment of this invention which calculates | requires the relative position of the said subject and camera from a state. In FIG. 4, it is assumed that the screen 10 of the television receiver as a known subject is imaged by the camera 20, and an image 30 represented by the image data is generated by this imaging.

テレビジョン受像機の画面10の水平方向の寸法はW、垂直方向の寸法はHで夫々既知である。この画面10をカメラ20のレンズ21で撮像素子の撮像面22に結像させ、光電変換した出力として画像データによって表わされる画像30を得る。カメラ20の位置が被写体であるテレビジョン受像機の画面10の中央に正対していれば、画像30の形状は現実の画面10と相似の関係になるが、このような正対する位置からずれた位置にある場合には撮像された結果としての画像30の形状は図示のように台形に歪んで、所謂台形歪みを生じることになる。   The horizontal dimension of the screen 10 of the television receiver is W, and the vertical dimension is H, which is known. The screen 10 is imaged on the imaging surface 22 of the imaging device by the lens 21 of the camera 20, and an image 30 represented by image data is obtained as a photoelectrically converted output. If the position of the camera 20 is directly facing the center of the screen 10 of the television receiver that is the subject, the shape of the image 30 is similar to that of the actual screen 10, but shifted from such a facing position. When it is in the position, the shape of the image 30 as a result of being imaged is distorted into a trapezoid as shown in the figure, and so-called trapezoidal distortion is generated.

いま、被写体としての画面10の水平方向の寸法はW、垂直方向の寸法はHとして既知であり、カメラ20による撮像によって取得された画像情報(画像データによって表わされる画像30)である画像の台形歪みによる台形像は長辺がa、短辺がb、高さがcの各寸法であるものとする。カメラ20から被写体としての画面10までの距離Dは撮像倍率(レンズ21の焦点距離)と上述のWとcとの関係のように各対応部間の寸法関係から割り出され、或いは、コンパクトカメラ等で多用される三角測距の原理に基づく周知のアクティブAFの手法によって容易に割り出される。   Now, the horizontal dimension of the screen 10 as a subject is known as W, and the vertical dimension is known as H. The trapezoid of an image which is image information (image 30 represented by image data) acquired by imaging by the camera 20 is known. It is assumed that the trapezoidal image due to distortion has dimensions of long side a, short side b, and height c. The distance D from the camera 20 to the screen 10 as the subject is calculated from the dimensional relationship between the corresponding parts, such as the relationship between the imaging magnification (focal length of the lens 21) and the above-described W and c, or a compact camera. It is easily determined by a well-known active AF technique based on the principle of triangulation, which is frequently used in the above.

従って、上述の、画面10の水平方向の寸法W、垂直方向の寸法H、台形像の高さc、長辺a、短辺b、距離Dを表すデータの関係から、カメラが被写体としての画面10の中央に正対している位置(法線方向)からずれている度合いが角度θとして算出される。これは即ち、上述の各データが揃えば、これらのデータに基づいて被制御装置(テレビジョン受像機)と遠隔制御装置(リモコン)との相対位置を算出することができるということである。   Therefore, from the above-described relationship between the horizontal dimension W of the screen 10, the vertical dimension H, the height c of the trapezoidal image, the long side a, the short side b, and the distance D, the camera is the subject. The degree of deviation from the position (normal direction) facing the center of the screen 10 is calculated as the angle θ. This means that if the above-mentioned data are prepared, the relative position between the controlled device (television receiver) and the remote control device (remote control) can be calculated based on these data.

現実の装置において、上述の原理に基づいて被制御装置(テレビジョン受像機)と遠隔制御装置(リモコン)との相対位置を算出する場合は、上記のW,H,c,a,b,Dについてそれらが実用範囲でとり得る値の関係を表すデータをルックアップテーブルに集約する。テレビジョン受像機100で上述の相対位置を算出する実施の形態の場合は図2の構成におけるメモリ172にこのようなデータを保持するルックアップテーブルを格納しておき、システムコントローラ170が所要に応じたタイミングでこのルックアップテーブルを参照することによって角度θを算出する。   In an actual apparatus, when calculating the relative position between the controlled apparatus (television receiver) and the remote control apparatus (remote control) based on the above-described principle, the above W, H, c, a, b, D The data representing the relationship between the values that can be taken in the practical range is collected in the lookup table. In the embodiment in which the television receiver 100 calculates the relative position described above, a lookup table holding such data is stored in the memory 172 in the configuration of FIG. 2, and the system controller 170 responds as necessary. The angle θ is calculated by referring to this look-up table at the determined timing.

また、後に、図11及び図12を参照して説明する実施の形態におけるように、リモコン200側で上述の相対位置を算出する場合には、同様に、図3の構成におけるメモリ232にこのようなデータを保持するルックアップテーブルを格納しておき、システムコントローラ230が所要に応じたタイミングでこのルックアップテーブルを参照することによって角度θを算出する。この場合は、リモコン200側で上述の相対位置を算出してしまうため、テレビジョン受像機100では、算出された結果としての相対位置の情報をリモコン200側から受け取って、適応的な調整動作を行い得る。   Similarly, in the case where the above-described relative position is calculated on the remote controller 200 side as in the embodiment described later with reference to FIGS. 11 and 12, this is similarly applied to the memory 232 in the configuration of FIG. A look-up table that holds various data is stored, and the system controller 230 calculates the angle θ by referring to this look-up table at a required timing. In this case, since the above-mentioned relative position is calculated on the remote controller 200 side, the television receiver 100 receives information on the calculated relative position from the remote controller 200 side and performs an adaptive adjustment operation. Can be done.

尚、上述のように予めメモリに準備してあるルックアップテーブルを参照することによって被制御装置(テレビジョン受像機)と遠隔制御装置(リモコン)との相対位置を算出する手法に替えて、被制御装置側でその情報受信手段によって受信された画像情報中の当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報(例えば、既知の大きさの方形の四隅に該当する位置に配置された特定の位置マーカを表すマーカ情報等)を用いて台形歪を求める演算を実行する台形歪演算手段を、例えばシステムコントローラの該当する機能部によって構成する等して備え、このような台形歪演算手段による演算の結果と予め利用可能に準備された当該被制御装置の外形寸法に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出する手法を適用してもよい。   Note that, instead of the method of calculating the relative position between the controlled device (television receiver) and the remote control device (remote control) by referring to the lookup table prepared in advance in the memory as described above, Information that contributes to recognizing the relative position between the controlled device and the remote control device in the image information received by the information receiving means on the control device side (for example, corresponding to the four corners of a square having a known size) A trapezoidal distortion calculating means for executing a calculation for obtaining a trapezoidal distortion using marker information indicating a specific position marker arranged at a position, for example, by a corresponding functional unit of the system controller. The controlled device and the remote control device using the result of the calculation by the trapezoidal distortion calculating means and the information related to the external dimensions of the controlled device prepared to be available in advance Method for calculating the relative position may be applied.

図5は、上述のような液晶テレビ100とリモコン200とを含んで構成される本発明の実施の形態としての制御システム(液晶テレビシステム)100+200の動作の概要を表すフローチャートである。以下に、このフローチャート並びに既述の各図を適宜参照しつつ、本発明の実施の形態について更に詳述する。尚、図5のフローチャートは、複数通りの変形例について共通に該当する程度に抽象化して表現してある。   FIG. 5 is a flowchart showing an outline of the operation of the control system (liquid crystal television system) 100 + 200 as an embodiment of the present invention including the liquid crystal television 100 and the remote controller 200 as described above. Hereinafter, embodiments of the present invention will be described in more detail with reference to this flowchart and the above-described drawings as appropriate. Note that the flowchart of FIG. 5 is expressed in an abstract manner so as to correspond to a plurality of modified examples.

図5において、先ず、図3の構成を有するリモコン200側では、動作スタート後、その撮像手段210(撮像素子211+撮像回路212)による撮像が行われる(S201)。次いで、S201で取得された画像データが、情報伝送手段としてのシステムコントローラ230(その該当する機能部)及び制御信号投射部220によって赤外光等による制御信号Scに変換されて投射されることによって伝送され(S202)、この投射された信号Scが図2の液晶テレビ100の受光素子181で受信され、受光回路182を介して所定の信号変換が施されシステムコントローラ170に供給される(S101)。受光素子181及び受光回路182並びにシステムコントローラ170(その該当する機能部)によって情報受信手段が構成されている。   In FIG. 5, first, on the remote controller 200 side having the configuration of FIG. 3, after the operation is started, the imaging unit 210 (imaging element 211 + imaging circuit 212) performs imaging (S201). Next, the image data acquired in S201 is converted into a control signal Sc by infrared light or the like and projected by the system controller 230 (its corresponding functional unit) as an information transmission unit and the control signal projection unit 220. The transmitted signal Sc is received by the light receiving element 181 of the liquid crystal television 100 of FIG. 2 and subjected to predetermined signal conversion via the light receiving circuit 182 and supplied to the system controller 170 (S101). . The light receiving element 181, the light receiving circuit 182 and the system controller 170 (corresponding functional part) constitute information receiving means.

次いで、液晶テレビ100の相対位置算出手段としてのシステムコントローラ170において、受信された画像を表す情報(信号Scに対応する画像データ)を用いて、図4を参照して説明した原理に従った処理が実行され、被制御装置としての液晶テレビ100と遠隔制御装置としてのリモコン200との相対位置が算出される(S102)。液晶テレビ100側(図2)では、このように算出された自己100とリモコン200との相対位置に応じて、システムコントローラ170から指令を発し、リモコン200の所在位置(この位置の近傍が視聴者の所在位置と推定される)において最適な視聴が行われ得るように、左右の増幅器141,142の増幅率を調節して、左右のスピーカ143,144の音量を調節することによって発音の指向方向を調整し(S103)、一連の動作を終了する。   Next, in the system controller 170 as a relative position calculation unit of the liquid crystal television 100, processing according to the principle described with reference to FIG. 4 is performed using information (image data corresponding to the signal Sc) representing the received image. Is executed, and the relative position between the liquid crystal television 100 as the controlled device and the remote controller 200 as the remote control device is calculated (S102). On the liquid crystal television 100 side (FIG. 2), a command is issued from the system controller 170 in accordance with the relative position between the self 100 and the remote controller 200 calculated in this way, and the location of the remote controller 200 (the vicinity of this position is the viewer's position). Direction of sound generation by adjusting the amplification factors of the left and right amplifiers 141 and 142 and adjusting the volume of the left and right speakers 143 and 144 so that optimal viewing can be performed at the Is adjusted (S103), and the series of operations is terminated.

上述の制御システムによれば、遠隔制御装置(リモコン200)側に設けられた撮像手段を活用して被制御装置(液晶テレビ100)を含む撮像視野で撮像を行い、該撮像によって取得した画像情報を被制御装置に伝送することにより、伝送された画像情報を情報受信手段によって受信した被制御装置側では、遠隔制御装置と被制御装置との相対位置を算出することができる。該算出された遠隔制御装置の位置を認識した被制御装置側では、この認識に適合した態様の動作を行うことが可能になる。   According to the above-described control system, image information obtained by performing imaging in an imaging field including the controlled device (the liquid crystal television 100) using the imaging means provided on the remote control device (remote control 200) side is acquired. Is transmitted to the controlled device, the relative position between the remote control device and the controlled device can be calculated on the controlled device side that has received the transmitted image information by the information receiving means. On the controlled device side that recognizes the calculated position of the remote control device, it is possible to perform an operation in a mode suitable for this recognition.

ここに、遠隔制御装置の位置を認識した上での該認識に適合した態様の動作とは、例えば、左右のスピーカ143,144の発音の指向方向をリモコン200(従って、このリモコン200を持っているか、或いは、リモコン200に近い位置に居る視聴者)の方向に沿うように調整する音量バランス調整や、その位置に居る蓋然性が高い特定の視聴者(例えば、液晶テレビ100の画面側方位置なら一家の主、中央に正対する位置なら夫人、それらの中間位置なら子供等)に適合するコンテンツを優先的に選択して映出する等の動作である。   Here, the operation in a mode suitable for the recognition after recognizing the position of the remote control device is, for example, the direction of sound generation of the left and right speakers 143 and 144 by the remote controller 200 (therefore, holding this remote controller 200). Or a volume balance adjustment that adjusts along the direction of the viewer close to the remote control 200, or a specific viewer who has a high probability of being in that position (for example, the position on the side of the screen of the liquid crystal television 100) This is an operation such as preferentially selecting and displaying contents suitable for the family's owner, the wife at the position facing the center, and the child at the middle position.

図5のフローチャートを参照して説明した実施の形態における一つの変形例では、遠隔制御装置としてのリモコン200側において、外形情報保有手段としても機能するメモリ232に制御対象として予定された一以上の被制御装置の外形に係る情報を保有しておき、制御対象弁別手段としても機能するように構成されたシステムコントローラ230によって、撮像手段によって撮像された画像情報とメモリ232に保有された被制御装置の外形に係る情報との相関に基づいて制御対象とすべき被制御装置を弁別する。   In one modification of the embodiment described with reference to the flowchart of FIG. 5, at the remote control 200 side as a remote control device, one or more scheduled as control targets in the memory 232 that also functions as external information holding means. Information on the outer shape of the controlled device is stored, and the system controller 230 configured to function also as a control target discriminating unit and the image information captured by the imaging unit and the controlled device stored in the memory 232 The controlled device to be controlled is discriminated based on the correlation with the information related to the outer shape of the device.

リモコン200側をこのように構成すれば、リモコン200自体が自己の制御対象弁別手段によって制御対象とすべき被制御装置を弁別するため、弁別された被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。より具体的には、例えば、ステップS202での画像情報の伝送において、S201で取得された画像データを上述のコード体系に適合した赤外光等による制御信号Scに変換して、液晶テレビ100に投射することができるため、一つのリモコン200を制御指令のコード体系を異にする複数の被制御装置に対して共通に用いることが可能になる。   If the remote controller 200 is configured in this way, the remote controller 200 itself discriminates the controlled device to be controlled by its own controlled object discriminating means, so that the control instruction code system suitable for the controlled device thus discriminated Recognize the specifications and perform precise control. More specifically, for example, in the transmission of the image information in step S202, the image data acquired in S201 is converted into a control signal Sc using infrared light or the like that conforms to the above-described code system, and is transmitted to the liquid crystal television 100. Since the projection can be performed, the single remote controller 200 can be commonly used for a plurality of controlled devices having different control command code systems.

上述の変形例において、リモコン200側のメモリ232に、適宜の撮像手段によって予め撮像することによって取得された前記制御対象として予定された一以上の被制御装置の外形に係る画像を保有するようにしてもよい。このようにすれば、制御対象として予定している被制御装置そのものの外形に係る画像を、リモコン200が自己の制御対象弁別手段(システムコントローラ230)によって制御対象とすべき被制御装置を弁別するに際して、その弁別の基準に供することができ、制御対象の的確な弁別が行われる。   In the above-described modification, the memory 232 on the remote controller 200 side stores an image related to the outer shape of one or more controlled devices scheduled as the control target, which is acquired by imaging in advance by appropriate imaging means. May be. In this way, the remote controller 200 discriminates the controlled device to be controlled by its own controlled object discriminating means (system controller 230) from the image relating to the external shape of the controlled device itself that is planned as the controlled object. At that time, it can be used as a criterion for the discrimination, and an accurate discrimination of the controlled object is performed.

図6は、他の実施の形態において、被制御装置としての液晶テレビ100の表示画面(スクリーン102)に図4を参照して説明した台形歪みに基づいてリモコン200の液晶テレビ100に対する相対位置を算出するに際しての標識に用いる位置マーカを映出している様子を示す模式図である。図6の例では、スクリーン102内に、図示のように相互の水平方向の距離がW、垂直方向の距離がHである4つの位置マーカ1021,1022,1023,1024を映出している。   FIG. 6 shows the relative position of the remote control 200 with respect to the liquid crystal television 100 based on the trapezoidal distortion described with reference to FIG. 4 on the display screen (screen 102) of the liquid crystal television 100 as the controlled device in another embodiment. It is a schematic diagram which shows a mode that the position marker used for the label | marker at the time of calculating is projected. In the example of FIG. 6, four position markers 1021, 1022, 1023, and 1024 whose horizontal distance is W and whose vertical distance is H are projected on the screen 102 as illustrated.

図6のように位置マーカを映出するようにしたシステムでは、このマーカ情報に係る水平方向の距離W、垂直方向の距離Hを、図4を参照して説明した各既知の値W、Hとして用いて被制御装置(液晶テレビ100)と遠隔制御装置(リモコン200)との相対位置を算出することができる。通常、このように単純な形状の輝点のような映像は、撮像画像中から特異なパターンとして抽出することが容易であり、的確に抽出された情報を適用して台形歪演算手段として機能するシステムコントローラ230における台形歪演算に基づいて既述の相対位置を割り出すことができる。   In the system in which the position marker is projected as shown in FIG. 6, the distance W in the horizontal direction and the distance H in the vertical direction related to the marker information are set to the known values W and H described with reference to FIG. Can be used to calculate the relative position between the controlled device (liquid crystal television 100) and the remote control device (remote control 200). Usually, such a simple image of a bright spot can be easily extracted as a peculiar pattern from a captured image, and functions as a trapezoidal distortion calculation means by applying precisely extracted information. Based on the trapezoidal distortion calculation in the system controller 230, the above-described relative position can be determined.

図6の実施の形態では、被制御装置(液晶テレビ100)の上述の4点の位置マーカ1021,1022,1023,1024を映出しているが、更にこの他に、遠隔制御装置(リモコン200)側で認識可能なコード化情報パターン1025を映出している。このコード化情報パターン1025は例えばQRコード(登録商標)などの二次元バーコードである。   In the embodiment of FIG. 6, the above-described four position markers 1021, 1022, 1023, and 1024 of the controlled device (liquid crystal television 100) are displayed, but in addition to this, the remote control device (remote control 200). A coded information pattern 1025 that can be recognized on the side is displayed. The coded information pattern 1025 is a two-dimensional barcode such as a QR code (registered trademark).

被制御装置側でこのようなコード化情報パターン1025を映出し、このコード化情報パターン1025によって、例えば、4点の位置マーカ1021,1022,1023,1024間の水平及び垂直方向の間隔や、被制御装置自体の仕様(適合した制御指令のコード体系)の情報を表すようにすることによって、遠隔制御装置(リモコン200)側ではこれらの位置マーカ1021,1022,1023,1024及びコード化情報パターン1025を含む撮像視野で撮像を行えば被制御装置(液晶テレビ100)と前記遠隔制御装置(リモコン200)との相対位置を認識するに寄与する情報を容易かつ確実に取得できる。   Such a coded information pattern 1025 is projected on the controlled device side, and by this coded information pattern 1025, for example, the horizontal and vertical intervals between the four position markers 1021, 1022, 1023, and 1024, By representing information on the specifications of the control device itself (corresponding control command code system), the position of the position markers 1021, 1022, 1023, 1024 and the coded information pattern 1025 on the remote control device (remote control 200) side. If the image is taken in the imaging field of view, information that contributes to recognizing the relative position between the controlled device (liquid crystal television 100) and the remote control device (remote control 200) can be acquired easily and reliably.

図7は、図1を参照して説明した制御システム(液晶テレビシステム)100+200と略同様の制御システムにおいて、遠隔制御装置(リモコン200)が通信手段(図3を参照して既述の外部機器インターフェース240)を通して外部の情報処理装置との連携動作を行うようにした実施の形態を表す概念図である。図7において既述の図1との対応部は同一の符号を附して示されている。   FIG. 7 shows a control system substantially the same as the control system (liquid crystal television system) 100 + 200 described with reference to FIG. 1, in which the remote control device (remote controller 200) communicates with the external device described above with reference to FIG. FIG. 6 is a conceptual diagram showing an embodiment in which a cooperative operation with an external information processing apparatus is performed through an interface 240). In FIG. 7, the corresponding parts to those of FIG. 1 described above are shown with the same reference numerals.

液晶テレビ100はこれに対応する遠隔制御装置としてのリモコン200からの赤外光等による制御信号を受けてその動作が制御され得るように構成されている。液晶テレビ100は、その筐体101に、映像を映出するスクリーン102、このスクリーン102の底辺よりも低い位置にステレオ式音響装置を構成する左側スピーカ103及び右側スピーカ104、及び、このスクリーン102の底辺の右直下にリモコン200からの赤外光等による制御信号Sc(二点鎖線により図示)を受ける受光窓105が備えられている。   The liquid crystal television 100 is configured such that its operation can be controlled in response to a control signal by infrared light or the like from a remote controller 200 as a corresponding remote control device. The liquid crystal television 100 has a housing 102 with a screen 102 for projecting images, a left speaker 103 and a right speaker 104 constituting a stereo acoustic device at a position lower than the bottom of the screen 102, and the screen 102. A light receiving window 105 that receives a control signal Sc (illustrated by a two-dot chain line) by infrared light or the like from the remote controller 200 is provided immediately below the bottom right.

一方、リモコン200は、液晶テレビ100(その筐体101)とは離隔した位置に配置可能な独立した筐体201を持ち、この筐体201に液晶テレビ100側に向けて撮像を行ったときに被制御装置としての液晶テレビ100(その筐体101)と自己の筐体201との相対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段210と、液晶テレビ100に対して赤外光等による制御信号Scを発する赤外LED等の発光素子を備えた制御信号投射部220とが設けられている。   On the other hand, the remote controller 200 has an independent case 201 that can be placed at a position separated from the liquid crystal television 100 (the case 101), and when imaging is performed on the case 201 toward the liquid crystal television 100 side. An imaging unit 210 capable of generating image information including information contributing to recognizing the relative position between the liquid crystal television 100 (the housing 101) as the controlled device and the housing 201 of the device, and the liquid crystal television 100 On the other hand, a control signal projection unit 220 including a light emitting element such as an infrared LED that emits a control signal Sc by infrared light or the like is provided.

そして、上述の液晶テレビ100とリモコン200とを含んで、本発明の制御システム(液晶テレビシステム)100+200が構成される。尚、赤外光等による制御信号Scには、操作者の任意の操作に応じて液晶テレビ100を制御するための情報自体を表す信号の他に後述するような画像情報を表す信号が含まれる点も図1を参照して説明した実施の形態と同様である。   And the control system (liquid crystal television system) 100 + 200 of this invention is comprised including the above-mentioned liquid crystal television 100 and the remote control 200. FIG. Note that the control signal Sc using infrared light or the like includes a signal representing image information as described later in addition to a signal representing information itself for controlling the liquid crystal television 100 according to an arbitrary operation of the operator. This is also the same as the embodiment described with reference to FIG.

図3を参照して既述のとおり、リモコン200には外部の情報処理装置としてのパーソナルコンピュータ(以下、パソコンという)300との通信を行う通信手段としての外部機器インターフェース240を更に備えている。より厳密には、外部機器インターフェース240とこれが接続されたシステムコントローラ230のうちの該当する機能部等を含んで通信手段が構成される。パソコン300は更にインターネット400に接続されるため、自己が保有しているデータの他にインターネット400を通して種々のデータを取得して活用することが可能になる。   As described above with reference to FIG. 3, the remote controller 200 further includes an external device interface 240 as communication means for performing communication with a personal computer (hereinafter referred to as a personal computer) 300 as an external information processing apparatus. More precisely, the communication means is configured to include the corresponding functional unit of the external device interface 240 and the system controller 230 to which the external device interface 240 is connected. Since the personal computer 300 is further connected to the Internet 400, it is possible to acquire and use various data through the Internet 400 in addition to the data held by the personal computer 300.

図7の制御システムによれば、図1の制御システムによる作用に加えて、この通信手段を通して外部の情報処理装置の機能を活用することにより、前記遠隔制御装置自体の負担を大幅に増大させることなく簡素な構成によって、一層高度な制御を行うことが可能になる。
図8は、遠隔制御装置の通信手段を用いて外部情報処理装置の機能を活用するようにした実施の形態としての制御システム(液晶テレビシステム)100+200の動作の概要を表すフローチャートである。以下に、このフローチャート並びに既述の各図を適宜参照しつつ、本発明の実施の形態について更に詳述する。尚、図8のフローチャートも、複数通りの変形例について共通に該当する程度に抽象化して表現してある。
According to the control system of FIG. 7, in addition to the operation of the control system of FIG. 1, the burden on the remote control device itself is greatly increased by utilizing the function of the external information processing device through this communication means. It is possible to perform more advanced control with a simple configuration.
FIG. 8 is a flowchart showing an outline of the operation of the control system (liquid crystal television system) 100 + 200 as an embodiment in which the function of the external information processing apparatus is utilized using the communication means of the remote control device. Hereinafter, embodiments of the present invention will be described in more detail with reference to this flowchart and the above-described drawings as appropriate. Note that the flowchart of FIG. 8 is also abstracted to the extent that it corresponds to a plurality of modified examples.

図8において、先ず、図3の構成を有するリモコン200側では、動作スタート後、その撮像手段210(撮像素子211+撮像回路212)による撮像が行われる(S211)。次いで、外形情報取得手段としてのシステムコントローラ230の該当する機能によって通信手段(240+230の該当機能部)を通して、制御対象として予定された一以上の被制御装置の外形に係る情報を取得する(S212)。   In FIG. 8, first, on the remote controller 200 side having the configuration of FIG. 3, after the operation is started, imaging by the imaging means 210 (imaging element 211 + imaging circuit 212) is performed (S211). Next, information relating to the outer shape of one or more controlled devices that are scheduled to be controlled is acquired through communication means (corresponding function unit of 240 + 230) by the corresponding function of the system controller 230 as the outer shape information acquiring means (S212). .

更に、制御対象弁別手段としてのシステムコントローラ230は、先にステップS211で撮像手段210によって取得した制御対象を撮像視野に含む画像中の当該制御対象の像と、ステップS212で取得した被制御装置の外形に係る情報との相関に基づいて、制御対象とすべき被制御装置を弁別する(S213)。ステップS213で被制御装置が弁別されると、遠隔制御装置(リモコン200)側では、被制御装置に適合した制御指令のコード体系や仕様を認識して的確な制御を行うことができる。   Further, the system controller 230 as the control target discriminating means includes the image of the control target in the image including the control target previously acquired by the imaging means 210 in step S211 in the imaging visual field, and the controlled device acquired in step S212. Based on the correlation with the information relating to the outer shape, the controlled device to be controlled is discriminated (S213). When the controlled device is discriminated in step S213, the remote control device (remote controller 200) can recognize the control command code system and specifications suitable for the controlled device and perform accurate control.

リモコン200は、上記被制御装置に適合した制御指令のコード体系に準拠した態様のコードを用いてS211で取得した制御対象を撮像視野に含む画像を制御対象としての液晶テレビ100に伝送する(S214)。液晶テレビ100側では、このようにして伝送された画像情報を受信し(S111)、既述のようにしてリモコン200と液晶テレビ100との相対位置を算出し(S112)、この相対位置に応じて最適な視聴が行われ得るように、左右の増幅器141,142の増幅率を調節して、左右のスピーカ143,144の音量を調節することによって発音の指向方向を調整し(S113)、一連の動作を終了する。   The remote controller 200 transmits an image including the control target acquired in S211 in the imaging field of view to the liquid crystal television 100 as the control target using a code in a mode conforming to the control command code system suitable for the controlled device (S214). ). The liquid crystal television 100 side receives the image information thus transmitted (S111), calculates the relative position between the remote controller 200 and the liquid crystal television 100 as described above (S112), and according to this relative position. Therefore, the direction of sound generation is adjusted by adjusting the amplification factor of the left and right amplifiers 141 and 142 and adjusting the volume of the left and right speakers 143 and 144 (S113). End the operation.

図9は、遠隔制御装置の通信手段を用いて外部情報処理装置の機能を活用するようにした更に他の実施の形態の制御システム(液晶テレビシステム)100+200の動作の概要を表すフローチャートである。以下に、このフローチャート並びに既述の各図を適宜参照しつつ、本発明の実施の形態について更に詳述する。尚、図9のフローチャートも、複数通りの変形例について共通に該当する程度に抽象化して表現してある。   FIG. 9 is a flowchart showing an outline of the operation of a control system (liquid crystal television system) 100 + 200 of still another embodiment in which the function of the external information processing apparatus is utilized using the communication means of the remote control apparatus. Hereinafter, embodiments of the present invention will be described in more detail with reference to this flowchart and the above-described drawings as appropriate. Note that the flowchart of FIG. 9 is also abstracted to the extent that it is commonly applicable to a plurality of variations.

図9において、先ず、図3の構成を有するリモコン200側では、動作スタート後、その撮像手段210(撮像素子211+撮像回路212)による撮像が行われる(S221)。次いでステップS221で取得した撮像による画像データを、通信手段(240+230の該当機能部)を通して外部の情報処理装置としてのパソコン300に転送する(S222)。   In FIG. 9, first, on the remote controller 200 side having the configuration shown in FIG. 3, after the operation is started, the imaging unit 210 (imaging element 211 + imaging circuit 212) performs imaging (S221). Next, the image data obtained by imaging acquired in step S221 is transferred to the personal computer 300 as an external information processing apparatus through the communication means (corresponding function unit of 240 + 230) (S222).

パソコン300側ではステップS222で転送された画像データを受信すると、この画像データと所要に応じてインターネット300経由で取得するなどして準備したデータ並びに演算のアルゴリズム等を適宜に用いて当該画像データに関連する被制御装置の仕様やその他のデータを揃え、関連情報としてリモコン200に返信し、リモコン200側ではこの関連情報を通信手段(240+230の該当機能部)を通して取得する(S223)。リモコン200はステップS223で取得した関連情報を被制御装置としての液晶テレビ100に伝送する(S224)。   When the image data transferred in step S222 is received on the personal computer 300 side, the image data and the data prepared by acquiring it via the Internet 300 as required, the algorithm for the calculation, etc. are appropriately used to generate the image data. The specifications of the related controlled device and other data are prepared and sent back to the remote controller 200 as related information. The remote controller 200 obtains the related information through communication means (corresponding function unit of 240 + 230) (S223). The remote controller 200 transmits the related information acquired in step S223 to the liquid crystal television 100 as the controlled device (S224).

上記において、撮像によって取得した画像データをステップS222でパソコン300側に転送し、パソコン300側からの応答によって供給されてくるこの画像データの関連情報をステップS223で通信手段を通して取得し、取得された関連情報をステップS224で液晶テレビ100側に伝送する機能は、情報取得伝送手段としてのシステムコントローラ230及び各関連機能部によって賄われる。   In the above, the image data acquired by imaging is transferred to the personal computer 300 side in step S222, and the related information of this image data supplied by the response from the personal computer 300 side is acquired through the communication means in step S223. The function of transmitting the related information to the liquid crystal television 100 in step S224 is covered by the system controller 230 as information acquisition and transmission means and each related function unit.

液晶テレビ100側では、ステップS224で自己に向けて伝送される関連情報を受信し(S121)、受信された関連情報に基づいて相対位置認識手段としてのシステムコントローラ170によって被制御装置(液晶テレビ100)と遠隔制御装置(リモコン200)との相対位置を認識し(S122)、この認識に応じて左右の増幅器141,142の増幅率を調節して、左右のスピーカ143,144の音量を調節することによって発音の指向方向を調整し(S123)、一連の動作を終了する。   The liquid crystal television 100 side receives the related information transmitted to itself in step S224 (S121), and based on the received related information, the system controller 170 as the relative position recognition means controls the controlled device (the liquid crystal television 100). ) And the remote control device (remote control 200) are recognized (S122), and the amplification factors of the left and right amplifiers 141 and 142 are adjusted according to this recognition, and the volume of the left and right speakers 143 and 144 is adjusted. Thus, the directivity direction of the sound is adjusted (S123), and the series of operations is terminated.

図9を参照して説明した実施の形態では、遠隔制御装置(リモコン200)において撮像によって取得した被制御装置(液晶テレビ100)に係る画像情報を通信手段を通して外部の情報処理装置(パソコン300)に供給しパソコン300による高度な情報取得処理能力を利用することによりリモコン200側の負担を過度に増大させることなく液晶テレビ100に係る十分な内容の関連情報を取得して情報取得伝送手段により液晶テレビ100に伝送することができる。   In the embodiment described with reference to FIG. 9, the image information related to the controlled device (liquid crystal television 100) acquired by imaging in the remote control device (remote control 200) is communicated with the external information processing device (personal computer 300). By using the advanced information acquisition processing capability of the personal computer 300, it is possible to acquire sufficient information related to the liquid crystal television 100 without excessively increasing the burden on the remote controller 200, and to obtain the liquid crystal by the information acquisition transmission means It can be transmitted to the television 100.

被制御装置(液晶テレビ100)側では、この伝送による当該関連情報を利用して被制御装置(液晶テレビ100)と遠隔制御装置(リモコン200)との相対位置を認識し、この認識に基づいて的確な態様の動作を行うことが可能になる。例えば、外部の情報処理装置(パソコン300)の高度な情報取得処理能力を利用することにより、この情報処理装置において上記関連情報として被制御装置(液晶テレビ100)と遠隔制御装置(リモコン200)との相対位置を表す情報までも取得してしまうこともできる。   On the controlled device (liquid crystal television 100) side, the relative position between the controlled device (liquid crystal television 100) and the remote control device (remote control 200) is recognized using the related information by this transmission, and based on this recognition. It is possible to perform an operation in an accurate manner. For example, by utilizing the advanced information acquisition processing capability of an external information processing apparatus (personal computer 300), the controlled apparatus (liquid crystal television 100) and the remote control apparatus (remote control 200) are used as the related information in this information processing apparatus. It is also possible to acquire even information indicating the relative position of.

このようにすれば、被制御装置(液晶テレビ100)側は別段の演算を俟つことなく既に求められた関連情報としての相対位置を表す情報に依拠して被制御装置(液晶テレビ100)と遠隔制御装置(リモコン200)との相対位置を認識し、この認識に応じて左右の増幅器141,142の増幅率を調節して、左右のスピーカ143,144の音量を調節することによって発音の指向方向を調整するような構成をとることができ、被制御装置(液晶テレビ100)側の構成も簡素化することができる。   In this way, the controlled device (the liquid crystal television 100) side relies on the controlled device (the liquid crystal television 100) based on the information indicating the relative position as the related information that has already been obtained without any further calculation. Recognizing the relative position to the remote control device (remote controller 200), adjusting the amplification factors of the left and right amplifiers 141 and 142 according to this recognition, and adjusting the volume of the left and right speakers 143 and 144, thereby directing the sound A configuration in which the direction is adjusted can be taken, and the configuration on the controlled device (liquid crystal television 100) side can also be simplified.

図10は、本発明を水族館の自動解説装置に適用した実施の形態を表す概念図である。図示の例はパノラマ式の巨大な回遊水槽中の生物について適宜のタイミングで音声による解説が自動的に放送されるシステムである。そのアクリル厚板による透明なスクリーンSRの中間的水準位置に、所定の間隔をおいて、図4について既述のような4点を1つのセットとする複数セットのマーカ群MK1,MK2,…が貼り付けられ、或いは適宜の光学的手段で投影されている。   FIG. 10 is a conceptual diagram showing an embodiment in which the present invention is applied to an automatic explanation device for an aquarium. The example shown in the figure is a system in which audio explanations are automatically broadcast at an appropriate timing for a creature in a huge panoramic migratory tank. A plurality of sets of marker groups MK1, MK2,... Having four points as described above with reference to FIG. 4 at a predetermined interval at an intermediate level position of the transparent screen SR by the acrylic thick plate. Affixed or projected by appropriate optical means.

また、スクリーンSRの下辺に沿って帯状に手前側に段差をなして突出するようにして
ケーブル類や電気回路その他の設備を隠蔽する設備収納部EMが形成され、この設備収納
部EMの段差をなす肩部に、複数セットのマーカ群MK1,MK2,…に略対応するよう
に間隔をおいて、赤外信号受光部IR1,IR2,…が、更に、これら赤外信号受光部I
R1,IR2,…に夫々隣接するようにして、解説の音声を発するスピーカLS1,LS
2,…が設けられている。
In addition, an equipment storage section EM is formed to cover the cables, electrical circuits and other equipment so as to protrude in a band shape along the lower side of the screen SR, and to cover the cables, electric circuits and other equipment. The infrared signal light receiving portions IR1, IR2,... Are further spaced from the shoulder portion so as to substantially correspond to the plurality of sets of marker groups MK1, MK2,.
Speakers LS1, LS for producing commentary audio so as to be adjacent to R1, IR2,.
2, ... are provided.

それぞれの観客SP1,SP2,…は、その構成が図3のものと略同様の撮像手段を備
えたリモコンRC1,RC2…を携えている。各リモコンRC1,RC2…の撮像手段で
マーカ群MK1,MK2,…を撮像すると、これらの撮像によるマーカ群MK1,MK2
,…の画像データが赤外光による信号によって自動的に赤外信号受光部IR1,IR2,
…に伝送され、設備収納部EM内に設けられた設備によって、図4を参照して説明したと
ころと同様にして、各対応するリモコンRC1,RC2…の、従って、これを携える観客
SP1,SP2,…の位置が割り出される。
Each spectator SP1, SP2,... Carries remote controls RC1, RC2,. With the imaging means of each remote control RC1, RC2 ...
When the marker groups MK1, MK2,... Are imaged, the marker groups MK1, MK2 obtained by these imaging
,... Are automatically received by infrared light signals IR signal receiving portions IR1, IR2,
.., And by the equipment provided in the equipment storage unit EM, in the same manner as described with reference to FIG. 4, each of the corresponding remote controllers RC 1, RC 2. , ... are determined.

観客SP1,SP2,…の位置が割り出されると、各観客SP1,SP2,…の位置の近傍に夫々配置されているスピーカLS1,LS2,…からその観客SP1,SP2,…に向けてその視野内に入っている乃至は入ってこようとしている生物についての解説が自動的に放送される。即ち、解説の対象とされる水槽内の生物の位置は、例えば、夫々の個体に貼り付けられた超音波タグが発生する信号をパッシブソナーの原理で探知して割り出し、リモコンRC1,RC2…からの信号に基づいて割り出された観客の位置に応じてその視野にある生物を判断して該当する解説をスピーカLS1,LS2,…から放送する。   When the positions of the spectators SP1, SP2,... Are determined, the field of view of the spectators SP1, SP2,... From the speakers LS1, LS2,. A commentary about the creature that is entering or is about to enter is automatically broadcast. That is, the position of the organism in the aquarium to be explained is determined by detecting the signal generated by the ultrasonic tag attached to each individual by the principle of passive sonar, and using the remote controls RC1, RC2,. Depending on the position of the audience determined based on this signal, the living thing in the field of view is judged and the corresponding explanation is broadcast from the speakers LS1, LS2,.

図示のようにスクリーンSRの左手に居る観客SP1がリモコンRC1を用いてその撮
像手段によってマーカ群MK1を撮像すると、上述のようにしてその位置が割り出され、
観客SP1に最も近接した位置にあるスピーカLS1から、観客SP1の視野を横断しよ
うとしているヒラシュモクザメghについて「只今、1号リモコンを持つお客様の前を横
断しようとしているのはヒラシュモクザメです。」「メジロザメ目、シュモクザメ科の魚
類で、世界中の温帯から熱帯の海に生息しています。6メートルにも成長する個体もあり
、シュモクザメの中では最大種のものです。……」のような解説がスピーカLS1から観客
SP1に向けての指向性で放送される。

As shown in the figure, when the spectator SP1 in the left hand of the screen SR images the marker group MK1 by the imaging means using the remote controller RC1, the position is determined as described above.
About the hammerhead shark trying to cross the field of view of the audience SP1 from the speaker LS1 that is closest to the audience SP1, "It is now the hammerhead shark that is trying to cross the front of the customer with the first remote control." This is a great white shark, a species of shark family that lives in the temperate and tropical seas of the world. Some individuals grow up to 6 meters, and it is the largest species among hammerhead sharks .... " Is broadcast with directivity from the speaker LS1 toward the audience SP1.

同様にして、スクリーンSRの右寄りに居てアオウミガメcmが眼前に来ている観客SP2に向けては「只今、2号リモコンを持つお客様の正面に来ているのはアオウミガメです。」「カメ目、ウミガメ科の爬虫類で、熱帯から温帯の海、或いは地中海にも生息しており、甲長80センチから1メートル以上に及ぶものもいて……」のような解説がスピーカLS2から観客SP2に向けての指向性で放送される。スピーカLS1とLS2とから上述のような解説が同時に放送されても、観客SP1、SP2は、各自が注目している対象についての解説が夫々に適合する指向性で放送されるため、干渉を余り気にすることなく視聴することが可能である。   In the same way, for the spectator SP2 who is on the right side of the screen SR and the green turtle cm is in front of them, “The green turtle is now in front of the customer with the second remote control.” “Turtle, Sea turtle reptiles inhabit the tropical to temperate seas or the Mediterranean Sea, and some of them extend from 80 cm to 1 meter in length ... "commentary from speaker LS2 to audience SP2 Broadcast with directivity. Even if the explanations as described above are broadcast simultaneously from the speakers LS1 and LS2, the audience SP1 and SP2 are broadcast with the directivity suitable for the explanations of the objects they are paying attention to. It is possible to watch without worrying.

尚、上述のものは、パノラマミックな大型の水槽について適用した例であるが、限られた種類の生物を小分けにして飼育し展示する比較的小型の水槽についても、観客の位置に応じて、最適な、或いは、適応的な指向性で、観客の視野に適合した解説を放送するように構成すれば、ある程度の暗騒音下においても極めて聞き取りやすい快適な自動解説システムが実現される。   Although the above is an example applied to a large panoramic aquarium, depending on the position of the audience, even a relatively small aquarium that bred and displays limited types of creatures. If it is configured to broadcast a commentary that is optimal or adaptive and adapts to the audience's field of view, a comfortable automatic commentary system that is extremely easy to hear even under some background noise can be realized.

以上の水族館に適用する実施の形態においては、場合により、解説はリモコンに設けたディスプレイに表示するようにしてもよい。また、特に小型の水槽では、説明の対象とされる生物が移動する範囲は限られたものとなるため、大型の水槽におけるような各個の生物に貼り付けた超音波タグの信号をパッシブソナーで捕捉するような設備は省略することができる。   In the embodiment applied to the aquarium described above, the explanation may be displayed on a display provided in the remote control. In particular, in a small aquarium, the range of movement of organisms to be explained is limited, so the signal of the ultrasonic tag affixed to each individual organism in a large aquarium is sent with passive sonar. Equipment to capture can be omitted.

図11は、本発明をエアコンディショナー(以下エアコン)の遠隔操作システムに適用した実施の形態について説明するための概念図である。図示の例は種々の制御対象に適応的に対応可能なリモコンMRを用いてエアコンACを遠隔操作する場合を表している。使用者HUが手に携えたリモコンMRは図3を参照して説明したものと略同様に撮像手段を備えた構成を有する。使用者HUはこのリモコンMRでエアコンACを遠隔操作するが、任意の手動操作の他に以下に説明するような自動調整も行われる。   FIG. 11 is a conceptual diagram for explaining an embodiment in which the present invention is applied to a remote control system of an air conditioner (hereinafter referred to as an air conditioner). The illustrated example represents a case where the air conditioner AC is remotely operated using a remote controller MR that can adaptively cope with various control objects. The remote controller MR carried by the user HU in his / her hand has a configuration provided with image pickup means in substantially the same manner as described with reference to FIG. The user HU remotely controls the air conditioner AC with the remote control MR, but automatic adjustment as described below is performed in addition to any manual operation.

図12は、図11のエアコンの遠隔操作システムの動作の概要を表すフローチャートである。図12において、先ず、図3の構成を有するリモコンMR側では、動作スタート後、その撮像手段でエアコンAC(その室内機であるが、以下、エアコンAC)を撮像視野に入れてこれを撮像する(S221)。次いで、外形情報保有手段としてのメモリ232に保有されている制御対象として予定された一以上の被制御装置の外形と撮像画像中のエアコンACの像との相関に基づいて被制御装置の弁別が実行される(S222)。   FIG. 12 is a flowchart showing an outline of the operation of the air conditioner remote control system of FIG. In FIG. 12, first, on the remote control MR side having the configuration of FIG. 3, after the operation is started, the imaging unit takes the image of the air conditioner AC (the indoor unit, but hereinafter referred to as the air conditioner AC) in the imaging field of view. (S221). Next, the controlled device is discriminated based on the correlation between the external shape of one or more controlled devices scheduled as control targets held in the memory 232 as the external shape information holding means and the image of the air conditioner AC in the captured image. It is executed (S222).

ステップS222で被制御装置が特定されると、次いで、その型式に応じたエアコンACの形状寸法や適用する制御信号のコード体系等のデータ(仕様情報)が仕様情報保有手段としてのメモリ232から読み出される(S223)。次いで、相対位置算出手段としてのシステムコントローラ230の該当する機能によって、図4を参照して説明した原理に基づいてリモコンMRのエアコンACに対する相対位置が算出される(S224)。   When the controlled device is identified in step S222, data (specification information) such as the shape dimension of the air conditioner AC corresponding to the model and the code system of the control signal to be applied (specification information) is read from the memory 232 as specification information holding means. (S223). Next, the relative position of the remote controller MR with respect to the air conditioner AC is calculated based on the principle described with reference to FIG. 4 by the corresponding function of the system controller 230 as the relative position calculating means (S224).

リモコンMRは、ステップS223で取得したエアコンACに適合した制御指令のコード体系に準拠した態様のコードを用いてステップS224で算出したリモコンMRのエアコンACに対する相対位置を表す相対位置情報を制御対象としてのエアコンACに伝送する(S224)。エアコンAC側では、このようにして伝送された画像情報を受信する(S121)。   The remote control MR uses as control object relative position information representing the relative position of the remote control MR with respect to the air conditioner AC calculated in step S224 using a code in a mode conforming to the code system of the control command suitable for the air conditioner AC acquired in step S223. Is transmitted to the air conditioner AC (S224). The air conditioner AC side receives the image information transmitted in this way (S121).

エアコンACはステップS121で受信したリモコンMRのエアコンACに対する相対位置を表す相対位置情報に基づいて、温度調節された空気を吹き出す空気吹き出し口に設けられた風向調節用のルーバーLVの角度を調節して(S122)、風向自動調節に関する一連の動作を終了する。エアコンACは上述のような風向調節を自動的に行う機能の他にモード切り換えによって、手動モードによっても風向調節や温度調節を行うべくリモコンMRからの赤外光の指令を受光窓RWで受光し適宜の調節動作を実行する。   The air conditioner AC adjusts the angle of the louver LV for adjusting the wind direction provided at the air outlet that blows out the temperature-adjusted air based on the relative position information representing the relative position of the remote control MR with respect to the air conditioner AC received in step S121. (S122), the series of operations relating to the automatic wind direction adjustment is terminated. In addition to the function of automatically adjusting the wind direction as described above, the air conditioner AC receives an infrared light command from the remote control MR through the light receiving window RW in order to adjust the wind direction and the temperature even in the manual mode by switching the mode. Perform appropriate adjustment actions.

図13は、図12のものよりも遠隔制御装置側の負担を軽減したエアコンの遠隔操作システムの動作の概要を表すフローチャートである。図13において、先ず、図3のものと同様の構成を有するリモコンMR側では、動作スタート後、エアコンACを撮像視野に含むようにして撮像が行われる(S231)。次いで、外形情報保有手段としてのメモリ232に保有されている制御対象として予定された一以上の被制御装置の外形と撮像画像中のエアコンACの像との相関に基づいて被制御装置を特定するための弁別が実行される(S232)。   FIG. 13 is a flowchart showing an outline of the operation of the remote control system for an air conditioner in which the burden on the remote control device side is less than that in FIG. In FIG. 13, first, on the remote control MR side having the same configuration as that in FIG. 3, after the operation is started, imaging is performed so that the air conditioner AC is included in the imaging field of view (S231). Next, the controlled device is specified based on the correlation between the external shape of one or more controlled devices scheduled as control targets held in the memory 232 as the external shape information holding means and the image of the air conditioner AC in the captured image. Discrimination is executed (S232).

ステップS232で被制御装置が特定されると、次いで、その型式に応じたエアコンACの形状寸法や適用する制御信号のコード体系等のデータ(仕様情報)が仕様情報保有手段としてのメモリ232から読み出される(S233)。情報伝送手段としてのシステムコントローラ230(その該当する機能部)及び制御信号投射部220によってステップS231で取得した画像情報がステップS233で認識された仕様情報に沿った赤外光等による制御信号Scに変換されて投射されることにより画像情報が伝送される(S234)。   When the controlled device is specified in step S232, data (specification information) such as the shape dimensions of the air conditioner AC corresponding to the model and the code system of the control signal to be applied (specification information) is read out from the memory 232 as specification information holding means. (S233). The image information acquired in step S231 by the system controller 230 (corresponding functional unit) as the information transmission means and the control signal projection unit 220 becomes the control signal Sc by infrared light or the like according to the specification information recognized in step S233. Image information is transmitted by being converted and projected (S234).

この投射された信号ScがエアコンACの受光窓RWで受信され(S131)、このように受信された画像情報に基づいて、エアコンAC側の相対位置算出手段としてのシステムコントローラ等における該当する機能部及びメモリ部(既述のルックアップテーブル)によって、図4を参照して説明した原理に則って、リモコンMRのエアコンACに対する相対位置が算出される(S132)。   The projected signal Sc is received by the light receiving window RW of the air conditioner AC (S131), and based on the image information received in this way, the corresponding functional unit in the system controller or the like as the relative position calculating means on the air conditioner AC side. Then, the relative position of the remote control MR with respect to the air conditioner AC is calculated by the memory unit (the look-up table described above) in accordance with the principle described with reference to FIG. 4 (S132).

エアコンACはステップS132で算出したリモコンMRのエアコンACに対する相対位置を表す相対位置情報に基づいて、内部の風向調整用サーボ機構を応動させて、温度調節された空気を吹き出す空気吹き出し口に設けられた風向調節用のルーバーLVの角度を調節して(S133)、風向が使用者HUに向かうようにして、風向自動調節に関する一連の動作を終了する。   The air conditioner AC is provided at an air outlet that blows out temperature-adjusted air by reacting an internal wind direction adjusting servo mechanism based on relative position information representing the relative position of the remote control MR with respect to the air conditioner AC calculated in step S132. Then, the angle of the wind direction adjusting louver LV is adjusted (S133) so that the wind direction is directed toward the user HU, and the series of operations relating to the wind direction automatic adjustment is completed.

以上の各実施の形態において、装置間の通信には、Bluetooth(登録商標)やIEEE802.11b或いはIEEE802.11g等を適用可能である。また携帯電話のような携帯情報端末を上述のリモコンとして利用し、相対位置を表わす情報に応じて無線IP網を利用した通話に切り換えたり、Bluetooth(登録商標)を利用して音声情報を提供する等してもよい。   In each of the above embodiments, Bluetooth (registered trademark), IEEE802.11b, IEEE802.11g, or the like can be applied to communication between apparatuses. In addition, a portable information terminal such as a cellular phone is used as the above-described remote controller, and switching to a call using a wireless IP network is performed according to information representing a relative position, or voice information is provided using Bluetooth (registered trademark). May be equal.

本発明の実施形態としての制御システム(液晶テレビジョン受像機システム)を表わす概念図である。It is a conceptual diagram showing the control system (liquid crystal television receiver system) as embodiment of this invention. 図1の制御システム中の液晶テレビの回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the liquid crystal television in the control system of FIG. 図1の制御システム中のリモコンの回路構成を示すブロック図である。It is a block diagram which shows the circuit structure of the remote control in the control system of FIG. 本発明の実施の形態で利用する相対位置算出の原理を説明するための概念図である。It is a conceptual diagram for demonstrating the principle of the relative position calculation utilized in embodiment of this invention. 本発明の実施の形態としての制御システム(液晶テレビシステム)の動作の概要を表すフローチャートである。It is a flowchart showing the outline | summary of operation | movement of the control system (liquid crystal television system) as embodiment of this invention. 本発明の他の実施の形態において、被制御装置(液晶テレビ)の表示画面に、リモコンの液晶テレビに対する相対位置を算出するに際しての標識に用いる位置マーカを映出している様子を示す模式図である。In other embodiment of this invention, it is a schematic diagram which shows a mode that the position marker used for the label | marker at the time of calculating the relative position with respect to the liquid crystal television of a remote control is projected on the display screen of a to-be-controlled device (liquid crystal television). is there. 図1の制御システムと略同様の制御システムにおいて、遠隔制御装置(リモコン)が通信手段を通して外部の情報処理装置との連係動作を行うようにした実施の形態を表す概念図である。FIG. 2 is a conceptual diagram illustrating an embodiment in which a remote control device (remote controller) performs a link operation with an external information processing device through a communication unit in a control system substantially similar to the control system of FIG. 1. 遠隔制御装置の通信手段を用いて外部情報処理装置の機能を活用するようにした実施の形態としての制御システムの動作の概要を表すフローチャートである。It is a flowchart showing the outline | summary of operation | movement of the control system as embodiment which utilized the function of the external information processing apparatus using the communication means of the remote control apparatus. 遠隔制御装置の通信手段を用いて外部情報処理装置の機能を活用するようにした更に他の実施の形態の制御システムの動作の概要を表すフローチャートである。It is a flowchart showing the outline | summary of operation | movement of the control system of further another embodiment which utilized the function of the external information processing apparatus using the communication means of a remote control apparatus. 本発明を水族館の自動解説装置に適用した実施の形態を表す概念図である。It is a conceptual diagram showing embodiment which applied this invention to the automatic description apparatus of the aquarium. 本発明をエアコンディショナーの遠隔操作システムに適用した実施の形態について説明するための概念図である。It is a conceptual diagram for demonstrating embodiment which applied this invention to the remote control system of the air conditioner. 図11のエアコンの遠隔操作システムの動作の概要を表すフローチャートである。It is a flowchart showing the outline | summary of operation | movement of the remote control system of the air conditioner of FIG. 図12のものよりも遠隔制御装置側の負担を軽減したエアコンの遠隔操作システムの動作の概要を表すフローチャートである。It is a flowchart showing the outline | summary of operation | movement of the remote control system of the air conditioner which reduced the burden by the side of the remote control apparatus rather than the thing of FIG.

符号の説明Explanation of symbols

10…テレビジョン受像機の画面 20…カメラ 21…レンズ 22…撮像面 30…画像 100…液晶テレビ 101…筐体 102…スクリーン 103…左側スピーカ 104…右側スピーカ 105…受光窓 110…アンテナ 120…復調・フィルタリング部 130…映像処理部 140…音声処理部 141…左の増幅器 142…右の増幅器 143…左のスピーカ 144…右のスピーカ 150…OSD部 160…液晶表示器 170…システムコントローラ 171…操作部 172…メモリ 181…受光素子 182…受光回路 200…リモコン 201…筐体 210…撮像手段 211…撮像素子 212…撮像回路 220…制御信号投射部 230…システムコントローラ 231…操作キー 232…メモリ 240…外部機器インターフェース 300…パソコン 400…インターネット 1021,1022,1023,1024…位置マーカ 1025…コード化情報パターン DESCRIPTION OF SYMBOLS 10 ... Television receiver screen 20 ... Camera 21 ... Lens 22 ... Imaging surface 30 ... Image 100 ... Liquid crystal television 101 ... Housing 102 ... Screen 103 ... Left speaker 104 ... Right speaker 105 ... Light receiving window 110 ... Antenna 120 ... Demodulation Filtering unit 130: Video processing unit 140 ... Audio processing unit 141 ... Left amplifier 142 ... Right amplifier 143 ... Left speaker 144 ... Right speaker 150 ... OSD unit 160 ... Liquid crystal display 170 ... System controller 171 ... Operation unit 172 ... Memory 181 ... Light receiving element 182 ... Light receiving circuit 200 ... Remote control 201 ... Housing 210 ... Imaging means 211 ... Imaging element 212 ... Imaging circuit 220 ... Control signal projection unit 230 ... System controller 231 ... Operation key 232 ... Memory 240 ... External device interface 300 ... PC 400 ... Internet 1021,1022,1023,1024 ... Position marker 1025 ... Coded information pattern

Claims (23)

  1. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
    前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
    対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
    撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
    備え、
    前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
    得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
    づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
    備え、
    前記被制御装置の相対位置算出手段は、前記情報受信手段によって受信された画像情報
    中の当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報と予め利
    用可能に準備された当該被制御装置の外形寸法に係る情報とに基づいて当該被制御装置と
    前記遠隔制御装置との相対位置を算出するように構成されたものであることを特徴とする
    制御システム。
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position to the apparatus, and information transmission means for transmitting the image information generated by the imaging means to the controlled apparatus side. Prepared,
    The controlled device includes an information receiving unit configured to receive image information transmitted from an information transmitting unit of the remote control device, and the controlled device based on the image information received by the information receiving unit. Relative position calculating means for calculating a relative position between the remote control device and the remote control device;
    Equipped with a,
    The relative position calculation means of the controlled device is the image information received by the information receiving means.
    Information that contributes to recognizing the relative position between the controlled device and the remote control device
    And the controlled device based on information relating to the external dimensions of the controlled device prepared for use.
    It is configured to calculate a relative position with the remote control device.
    Control system.
  2. 自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された被制
    御装置であって、前記遠隔制御装置に設けられた撮像手段によって生成され当該被制御装
    置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔
    制御装置側から伝送されたときには該伝送された画像情報を受信し得るようになされた情
    報受信手段と、前記情報受信手段によって受信された画像情報に基づいて当該被制御装置
    と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、を備え、
    前記相対位置算出手段は、前記情報受信手段によって受信された画像情報中の当該被制
    御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報と予め利用可能に準備
    された当該被制御装置の外形寸法に係る情報とに基づいて当該被制御装置と前記遠隔制御
    装置との相対位置を算出するように構成されたものであることを特徴とする被制御装置。
    A controlled device configured to be controlled from a predetermined remote control device configured separately from the self, and generated by an imaging unit provided in the remote control device and the controlled device and the remote device An information receiving means configured to receive the transmitted image information when image information including information contributing to recognizing a relative position with the control device is transmitted from the remote control device; A relative position calculating means for calculating a relative position between the controlled device and the remote control device based on the image information received by the means ,
    The relative position calculating means is the controlled position in the image information received by the information receiving means.
    Information that contributes to recognizing the relative position of the control device and the remote control device and prepared in advance for use
    And the remote control based on the information related to the external dimensions of the controlled device.
    A controlled device characterized in that it is configured to calculate a relative position with respect to the device.
  3. 前記被制御装置は、前記予め利用可能に準備された当該被制御装置の外形寸法に係る情
    報を保持する情報保持手段を備えたものであることを特徴とする請求項1に記載の制御シ
    ステム。
    The controlled device, the control system according to claim 1, wherein those having information holding means for holding information relating to external dimensions of the previously available in prepared the controlled device.
  4. 前記予め利用可能に準備された当該被制御装置の外形寸法に係る情報を保持する情報保
    持手段を更に備えたものであることを特徴とする請求項2に記載の被制御装置。
    The controlled device according to claim 2 , further comprising information holding means for holding information related to an external dimension of the controlled device prepared to be available in advance.
  5. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
    前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
    対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
    撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
    備え、
    前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
    得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
    づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
    備え、
    前記被制御装置の相対位置算出手段は、前記情報受信手段によって受信された画像情報
    中の当該被制御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての
    特定の位置マーカを表すマーカ情報を用いて台形歪を求める演算を実行する台形歪演算手
    段を有し、該台形歪演算手段による演算の結果と予め利用可能に準備された当該被制御装
    置の外形寸法に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算
    出するように構成されたものであることを特徴とする制御システム。
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position to the apparatus, and information transmission means for transmitting the image information generated by the imaging means to the controlled apparatus side. Prepared,
    The controlled device includes an information receiving unit configured to receive image information transmitted from an information transmitting unit of the remote control device, and the controlled device based on the image information received by the information receiving unit. Relative position calculating means for calculating a relative position between the remote control device and the remote control device;
    Equipped with a,
    The relative position calculation means of the controlled device is the image information received by the information receiving means.
    As information that contributes to recognizing the relative position of the controlled device and the remote control device
    A trapezoidal distortion operator that performs a calculation to determine the trapezoidal distortion using marker information representing a specific position marker
    The controlled device having a stage and the result of the calculation by the trapezoidal distortion calculating means and prepared in advance for use
    The relative position between the controlled device and the remote control device is calculated using information on the external dimensions of the device.
    A control system characterized by being configured to emit.
  6. 自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された被制
    御装置であって、前記遠隔制御装置に設けられた撮像手段によって生成され当該被制御装
    置と前記遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報が前記遠隔
    制御装置側から伝送されたときには該伝送された画像情報を受信し得るようになされた情
    報受信手段と、前記情報受信手段によって受信された画像情報に基づいて当該被制御装置
    と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、を備え、
    前記相対位置算出手段は、前記情報受信手段によって受信された画像情報中の当該被制
    御装置と前記遠隔制御装置との相対位置を認識するに寄与する情報としての特定の位置マ
    ーカを表すマーカ情報を用いて台形歪を求める演算を実行する台形歪演算手段を有し、該
    台形歪演算手段による演算の結果と予め利用可能に準備された当該被制御装置の外形寸法
    に係る情報とを用いて当該被制御装置と前記遠隔制御装置との相対位置を算出するように
    構成されたものであることを特徴とする被制御装置。
    A controlled device configured to be controlled from a predetermined remote control device configured separately from the self, and generated by an imaging unit provided in the remote control device and the controlled device and the remote device An information receiving means configured to receive the transmitted image information when image information including information contributing to recognizing a relative position with the control device is transmitted from the remote control device; A relative position calculating means for calculating a relative position between the controlled device and the remote control device based on the image information received by the means ,
    The relative position calculating means is the controlled position in the image information received by the information receiving means.
    A specific position marker as information contributing to recognizing the relative position between the control device and the remote control device.
    A trapezoidal distortion calculating means for executing a calculation for obtaining a trapezoidal distortion using marker information representing a marker,
    Results of calculation by trapezoidal distortion calculation means and external dimensions of the controlled device prepared to be available in advance
    And calculating the relative position between the controlled device and the remote control device.
    A controlled apparatus characterized by being configured.
  7. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
    前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
    対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
    撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
    備え、
    前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
    得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
    づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
    備え、
    前記遠隔制御装置は、外部の情報処理装置との通信を行う通信手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を前記通信手段を通して取得する外形情報取得手段と、前記外形情報取得手段によって取得された被制御装置の外形に係る情報と前記撮像手段によって撮像された画像情報との相関に基づいて制御対象とすべき被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする制御システム
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position to the apparatus, and information transmission means for transmitting the image information generated by the imaging means to the controlled apparatus side. Prepared,
    The controlled device includes an information receiving unit configured to receive image information transmitted from an information transmitting unit of the remote control device, and the controlled device based on the image information received by the information receiving unit. Relative position calculating means for calculating a relative position between the remote control device and the remote control device;
    Equipped with a,
    The remote control device includes a communication unit that communicates with an external information processing device, and an external shape information acquisition unit that acquires information on the external shape of one or more controlled devices that are scheduled for control through the communication unit. Control target discriminating means for discriminating the controlled apparatus to be controlled based on the correlation between the information related to the outer shape of the controlled apparatus acquired by the outer shape information acquiring means and the image information captured by the imaging means. A control system further comprising the control system .
  8. 被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成さ
    れた遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装
    置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能
    に自己の筐体に設けられた撮像手段と、前記撮像手段によって生成された画像情報を前記
    被制御装置側に伝送する情報伝送手段と、を備え、
    外部の情報処理装置との通信を行う通信手段と、制御対象として予定された一以上の被制御装置の外形に係る情報を前記通信手段を通して取得する外形情報取得手段と、前記外形情報取得手段によって取得された被制御装置の外形に係る情報と前記撮像手段によって撮像された画像情報との相関に基づいて制御対象とすべき被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする遠隔制御装置。
    A remote control device configured to perform predetermined control on the controlled device and configured separately from the controlled device, wherein the controlled device is imaged when imaging is performed toward the controlled device side. An imaging unit provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the apparatus and the remote control device; and the image information generated by the imaging unit is controlled An information transmission means for transmitting to the device side ,
    A communication unit that communicates with an external information processing device, an outer shape information acquisition unit that acquires information about the outer shape of one or more controlled devices that are scheduled to be controlled through the communication unit, and the outer shape information acquisition unit. Control object discrimination means for discriminating the controlled apparatus to be controlled based on the correlation between the acquired information relating to the outer shape of the controlled apparatus and the image information captured by the imaging means. A remote control device characterized by that.
  9. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
    前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
    対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、前記
    撮像手段によって生成された画像情報を前記被制御装置側に伝送する情報伝送手段と、を
    備え、
    前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された画像情報を受信し
    得るようになされた情報受信手段と、前記情報受信手段によって受信された画像情報に基
    づいて当該被制御装置と前記遠隔制御装置との相対位置を算出する相対位置算出手段と、
    備え、
    前記遠隔制御装置は、制御対象として予定された一以上の被制御装置の外形に係る情報
    を保有する外形情報保有手段と、前記撮像手段によって撮像された画像情報と前記外形情
    報保有手段に保有された被制御装置の外形に係る情報との相関に基づいて制御対象とすべ
    き被制御装置を弁別する制御対象弁別手段とを更に備えたものであることを特徴とする制御システム。
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position to the apparatus, and information transmission means for transmitting the image information generated by the imaging means to the controlled apparatus side. Prepared,
    The controlled device includes an information receiving unit configured to receive image information transmitted from an information transmitting unit of the remote control device, and the controlled device based on the image information received by the information receiving unit. Relative position calculating means for calculating a relative position between the remote control device and the remote control device;
    Equipped with a,
    The remote control device is information related to the outer shape of one or more controlled devices scheduled for control.
    External shape information holding means, image information captured by the imaging means, and the external shape information
    Control target and all information to be controlled based on the correlation with the information related to the external shape of the controlled device.
    A control system further comprising a control object discriminating means for discriminating the controlled device.
  10. 被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成さ
    れた遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装
    置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能
    に自己の筐体に設けられた撮像手段と、前記撮像手段によって生成された画像情報を前記
    被制御装置側に伝送する情報伝送手段と、を備え、
    制御対象として予定された一以上の被制御装置の外形に係る情報を保有する外形情報保
    有手段と、前記撮像手段によって撮像された画像情報と前記外形情報保有手段に保有され
    た被制御装置の外形に係る情報との相関に基づいて制御対象とすべき被制御装置を弁別す
    る制御対象弁別手段とを更に備えたものであることを特徴とする遠隔制御装置。
    A remote control device configured to perform predetermined control on the controlled device and configured separately from the controlled device, wherein the controlled device is imaged when imaging is performed toward the controlled device side. An imaging unit provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the apparatus and the remote control device; and the image information generated by the imaging unit is controlled An information transmission means for transmitting to the device side ,
    Outline information storage that holds information related to the outline of one or more controlled devices scheduled for control
    Possessing means, image information captured by the image capturing means, and the external shape information retaining means.
    Discriminate the controlled device to be controlled based on the correlation with the information related to the external shape of the controlled device
    The remote control device further comprising a control object discriminating means.
  11. 前記遠隔制御装置の外形情報保有手段は、撮像手段によって予め撮像することによって
    取得された前記制御対象として予定された一以上の被制御装置の外形に係る画像を保有し
    ていることを特徴とする請求項9に記載の制御システム。
    The external information holding means of the remote control device holds an image relating to the external shape of one or more controlled devices scheduled as the control target acquired by imaging in advance by an imaging means. The control system according to claim 9 .
  12. 前記外形情報保有手段は、撮像手段によって予め撮像することによって取得された前記
    制御対象として予定された一以上の被制御装置の外形に係る画像を保有していることを特
    徴とする請求項10に記載の遠隔制御装置。
    The external shape information retaining means, in claim 10, characterized in that it possesses an image according to the outline of the controller of one or more that are scheduled as acquired the control target by pre captured by the imaging means The remote control device described.
  13. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、この筐体に設けら
    れ前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との
    相対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、外
    部の情報処理装置との通信を行う通信手段と、前記撮像手段によって生成された画像情報
    を前記通信手段を通して当該情報処理装置に転送し該転送に対する応答として前記情報処
    理装置から供給される前記被制御装置に係る関連情報を取得して前記被制御装置側に伝送
    する情報取得伝送手段と、を備え、
    前記被制御装置は、前記遠隔制御装置の情報取得伝送手段から伝送された当該関連情報
    を受信し得るようになされた情報受信手段と、前記情報受信手段によって受信された当該
    関連情報を利用して当該被制御装置と前記遠隔制御装置との相対位置を認識する相対位置
    認識手段と、前記相対位置認識手段による認識に基づいて所定の調節動作を行う調節手段
    と、を備えたものであることを特徴とする制御システム。
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control when imaging is performed toward the controlled device provided on the housing. An imaging unit capable of generating image information including information that contributes to recognizing a relative position with the device, a communication unit that communicates with an external information processing device, and image information generated by the imaging unit Information acquisition and transmission means for transferring to the information processing apparatus through the communication means, acquiring related information relating to the controlled apparatus supplied from the information processing apparatus as a response to the transfer, and transmitting the related information to the controlled apparatus side; With
    The controlled device uses the information receiving means adapted to receive the relevant information transmitted from the information acquisition / transmission means of the remote control device, and the relevant information received by the information receiving means. Relative position recognition means for recognizing the relative position between the controlled device and the remote control device, and adjustment means for performing a predetermined adjustment operation based on recognition by the relative position recognition means. Feature control system.
  14. 自己とは別体に構成された所定の遠隔制御装置から制御され得るように構成された被制
    御装置であって、前記遠隔制御装置がその撮像手段によって生成した画像情報を自己の通
    信手段を通して外部の情報処理装置に転送し該転送に対する応答として当該情報処理装置
    から取得した前記前記被制御装置に係る関連情報を受信し得るようになされた情報受信手
    段と、前記情報受信手段によって受信された当該関連情報を利用して当該被制御装置と前
    記遠隔制御装置との相対位置を認識する相対位置認識手段と、前記相対位置認識手段によ
    る認識に基づいて所定の調節動作を行う調節手段と、を備えたものであることを特徴とす
    る被制御装置。
    A controlled device configured to be controlled from a predetermined remote control device configured separately from the self, wherein the remote control device externally transmits image information generated by the imaging means through its own communication means. An information receiving unit configured to receive the related information related to the controlled device acquired from the information processing device as a response to the transfer, and the information received by the information receiving unit Relative position recognition means for recognizing the relative position between the controlled apparatus and the remote control apparatus using related information, and adjustment means for performing a predetermined adjustment operation based on recognition by the relative position recognition means A controlled device characterized in that the controlled device.
  15. 被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成さ
    れた遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装
    置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能
    に自己の筐体に設けられた撮像手段と、外部の情報処理装置との通信を行う通信手段と、
    前記撮像手段によって生成された画像情報を前記通信手段を通して当該情報処理装置に転
    送し該転送に対する応答として前記情報処理装置から供給される前記被制御装置に係る関
    連情報を取得して前記被制御装置側に伝送する情報取得伝送手段と、を備えたことを特徴
    とする遠隔制御装置。
    A remote control device configured to perform predetermined control on the controlled device and configured separately from the controlled device, wherein the controlled device is imaged when imaging is performed toward the controlled device side. An imaging unit provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the device and the remote control device, and a communication unit that communicates with an external information processing device ,
    The image information generated by the imaging means is transferred to the information processing apparatus through the communication means, and related information related to the controlled apparatus supplied from the information processing apparatus as a response to the transfer is acquired to obtain the controlled apparatus. An information acquisition / transmission means for transmitting to a side.
  16. 前記遠隔制御装置の情報取得伝送手段は、前記通信手段を通して前記被制御装置に係る
    関連情報として前記被制御装置に伝送される情報を担うべく適用される信号の形態を表す
    信号形態情報を更に取得し、該取得された信号形態情報に準拠した態様の信号によって前
    記被制御装置に情報を伝送するように構成されたものであることを特徴とする請求項13
    に記載の制御システム。
    The information acquisition / transmission means of the remote control apparatus further acquires signal form information representing a form of a signal applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus through the communication means. and, according to claim 13, characterized in that the signal aspect that conforms to the acquired signal form information those adapted to transmit information to the controlled device
    The control system described in.
  17. 前記情報取得伝送手段は、前記通信手段を通して前記被制御装置に係る関連情報として
    前記被制御装置に伝送される情報を担うべく適用される信号の形態を表す信号形態情報を
    更に取得し、該取得された信号形態情報に準拠した態様の信号によって前記被制御装置に
    情報を伝送するように構成されたものであることを特徴とする請求項15に記載の遠隔制
    御装置。
    The information acquisition / transmission means further acquires signal form information representing a form of a signal applied to carry information transmitted to the controlled apparatus as related information related to the controlled apparatus through the communication means, and acquires the information The remote control device according to claim 15 , wherein the remote control device is configured to transmit information to the controlled device by a signal in a mode conforming to the signal form information.
  18. 前記被制御装置は、自己の表示部に前記制御装置によって認識可能なコード化情報パタ
    ーンを映出するコード化情報パターン映出手段を更に有するものであることを特徴とする
    請求項13に記載の制御システム。
    The controlled device further includes coded information pattern projecting means for projecting a coded information pattern recognizable by the control device on its own display unit.
    The control system according to claim 13 .
  19. 自己の表示部に前記制御装置によって認識可能なコード化情報パターンを映出するコー
    ド化情報パターン映出手段を更に有するものであることを特徴とする請求項14に記載の
    被制御装置。
    15. The controlled device according to claim 14 , further comprising coded information pattern projecting means for projecting a coded information pattern recognizable by the control device on its own display unit.
  20. 前記被制御装置は、自己の表示部に、複数のマーカと、前記制御装置によって認識可能
    なコードによって当該複数のマーカ間の間隔を表す情報を含むコード化情報パターンを映
    出するマーカ及びコード化情報パターン映出手段を更に有するものであることを特徴とす
    請求項13に記載の制御システム。
    The controlled device displays a coded information pattern including a plurality of markers and information representing an interval between the plurality of markers by a code recognizable by the control device on its display unit, and coding 14. The control system according to claim 13 , further comprising information pattern projecting means.
  21. 自己の表示部に、複数のマーカと、前記制御装置によって認識可能なコードによって当
    該複数のマーカ間の間隔を表す情報を含むコード化情報パターンを映出するマーカ及びコ
    ード化情報パターン映出手段を更に有するものであることを特徴とする請求項14に記載
    の被制御装置。
    A marker and a coded information pattern projecting means for projecting a coded information pattern including a plurality of markers and information representing an interval between the plurality of markers by a code recognizable by the control device on its own display unit The controlled device according to claim 14 , further comprising:
  22. 遠隔制御装置と該遠隔制御装置によって制御され得る被制御装置とを含んで構成された
    制御システムであって、
    前記遠隔制御装置は、前記被制御装置とは別体に構成された筐体と、該筐体に設けられ
    前記被制御装置側に向けて撮像を行ったときに前記被制御装置と当該遠隔制御装置との相
    対位置を認識するに寄与する情報を含む画像情報を生成可能になされた撮像手段と、制御
    対象として予定された一以上の被制御装置の外形に係る情報を保有する外形情報保有手段
    と、前記撮像手段によって取得された画像情報と前記外形情報保有手段に保有された情報
    との相関に基づいて制御対象とする被制御装置を弁別する制御対象弁別手段と、前記外形
    情報保有手段に保有された前記制御対象弁別手段によって被制御装置として弁別された装
    置の外形に係る情報と前記撮像手段によって取得された画像情報とを利用して前記被制御
    装置と当該遠隔制御装置との相対位置を算出する相対位置算出手段と、前記相対位置算出
    手段によって算出された前記被制御装置と当該遠隔制御装置との相対位置を表す情報を前
    記前記被制御装置に伝送する情報伝送手段と、を備え、
    前記被制御装置は、前記遠隔制御装置の情報伝送手段から伝送された前記被制御装置と
    当該遠隔制御装置との相対位置を表す情報を受信し得るようになされた情報受信手段と、
    前記情報受信手段によって受信された情報に基づいて所定の調節動作を実行する調節手段
    と、を備えたものであることを特徴とする制御システム。
    A control system comprising a remote control device and a controlled device that can be controlled by the remote control device,
    The remote control device includes a housing configured separately from the controlled device, and the controlled device and the remote control provided when imaging is performed toward the controlled device provided in the housing. Imaging means capable of generating image information including information that contributes to recognizing a relative position with respect to the apparatus, and outline information holding means for holding information relating to the outline of one or more controlled apparatuses scheduled as control targets A control object discriminating means for discriminating a controlled device to be controlled based on the correlation between the image information acquired by the imaging means and the information held in the outline information holding means, and the outline information holding means A phase between the controlled device and the remote control device using the information related to the outer shape of the device discriminated as the controlled device by the held control target discriminating unit and the image information acquired by the imaging unit. A relative position calculating means for calculating a position; and an information transmitting means for transmitting information indicating a relative position between the controlled apparatus calculated by the relative position calculating means and the remote control apparatus to the controlled apparatus. Prepared,
    The controlled device is configured to receive information indicating a relative position between the controlled device and the remote control device transmitted from the information transmission unit of the remote control device;
    A control system comprising: adjusting means for executing a predetermined adjusting operation based on information received by the information receiving means.
  23. 被制御装置に対し所定の制御を行い得るようになされ前記被制御装置とは別体に構成さ
    れた遠隔制御装置であって、前記被制御装置側に向けて撮像を行ったときに前記被制御装
    置と当該遠隔制御装置との相対位置を認識するに寄与する情報を含む画像情報を生成可能
    に自己の筐体に設けられた撮像手段と、制御対象として予定された一以上の被制御装置の
    外形に係る情報を保有する外形情報保有手段と、前記撮像手段によって取得された画像情
    報と前記外形情報保有手段に保有された情報との相関に基づいて制御対象とする被制御装
    置を弁別する制御対象弁別手段と、前記外形情報保有手段に保有された前記制御対象弁別
    手段によって被制御装置として弁別された装置の外形に係る情報と前記撮像手段によって
    取得された画像情報とを利用して前記被制御装置と当該遠隔制御装置との相対位置を算出
    する相対位置算出手段と、前記相対位置算出手段によって算出された前記被制御装置と当
    該遠隔制御装置との相対位置を表す情報を前記前記被制御装置に伝送する情報伝送手段と
    、を備えたことを特徴とする遠隔制御装置。
    A remote control device configured to perform predetermined control on the controlled device and configured separately from the controlled device, wherein the controlled device is imaged when imaging is performed toward the controlled device side. An imaging means provided in its own casing so as to be able to generate image information including information contributing to recognizing a relative position between the device and the remote control device, and one or more controlled devices scheduled for control Control for discriminating controlled devices to be controlled based on the correlation between image information acquired by the imaging unit and information stored in the external shape information storage unit, external shape information storage unit that stores external information Using the object discriminating means, the information relating to the outer shape of the device discriminated as the controlled device by the control target discriminating means held in the outer shape information holding means, and the image information acquired by the imaging means. Relative position calculating means for calculating a relative position between the controlled apparatus and the remote control apparatus, and information representing a relative position between the controlled apparatus and the remote control apparatus calculated by the relative position calculating means An information transmission means for transmitting to a controlled device.
JP2004357715A 2004-12-10 2004-12-10 Control system, controlled apparatus and remote control apparatus compatible with this system Expired - Fee Related JP4107288B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004357715A JP4107288B2 (en) 2004-12-10 2004-12-10 Control system, controlled apparatus and remote control apparatus compatible with this system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004357715A JP4107288B2 (en) 2004-12-10 2004-12-10 Control system, controlled apparatus and remote control apparatus compatible with this system
CN 200810005570 CN101232566A (en) 2004-12-10 2005-12-09 Control system, apparatus compatible with the system, and remote controller
CN2005101314933A CN100407760C (en) 2004-12-10 2005-12-09 Control system, apparatus compatible with the system, and remote controller
US11/299,338 US20060125968A1 (en) 2004-12-10 2005-12-09 Control system, apparatus compatible with the system, and remote controller

Publications (2)

Publication Number Publication Date
JP2006166295A JP2006166295A (en) 2006-06-22
JP4107288B2 true JP4107288B2 (en) 2008-06-25

Family

ID=36667756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004357715A Expired - Fee Related JP4107288B2 (en) 2004-12-10 2004-12-10 Control system, controlled apparatus and remote control apparatus compatible with this system

Country Status (2)

Country Link
JP (1) JP4107288B2 (en)
CN (2) CN101232566A (en)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4281819B2 (en) 2007-04-02 2009-06-17 ソニー株式会社 Captured image data processing device, viewing information generation device, viewing information generation system, captured image data processing method, viewing information generation method
US8311400B2 (en) 2008-06-12 2012-11-13 Panasonic Corporation Content reproduction apparatus and content reproduction method
CN101504728B (en) * 2008-10-10 2013-01-23 深圳泰山在线科技有限公司 Remote control system and method of electronic equipment
CN101901541B (en) * 2009-06-01 2012-09-05 丁立星 Remote control device and method for remotely controlling controlled device by using same
JP5568929B2 (en) * 2009-09-15 2014-08-13 ソニー株式会社 Display device and control method
CN102110361A (en) * 2009-12-24 2011-06-29 康佳集团股份有限公司 Method and device for acquiring remote control position and remote control
CN102196332B (en) * 2010-03-09 2014-01-15 深圳市宇恒互动科技开发有限公司 Sound field localization method, remote control and system
CN102238464B (en) * 2010-04-30 2014-01-15 上海博泰悦臻网络技术服务有限公司 Method and device for adjusting volume balance
JP2012156836A (en) * 2011-01-27 2012-08-16 Seiko Epson Corp Remote controller and program
CN102508565B (en) * 2011-11-17 2014-06-25 Tcl集团股份有限公司 Remote control cursor positioning method and device, remote control and cursor positioning system
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US8935774B2 (en) 2012-03-02 2015-01-13 Microsoft Corporation Accessory device authentication
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
CN103325234B (en) * 2012-03-22 2016-04-20 国基电子(上海)有限公司 The method of telechiric device and automatically adjustment remote signal transmit direction
CN103376950B (en) * 2012-04-13 2016-06-01 原相科技股份有限公司 Image position method and use the interaction image system of described method
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
CN103768790A (en) * 2012-10-19 2014-05-07 奇高电子股份有限公司 Movement sensing device having rotary correcting function and movement sensing method
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
CN103727899B (en) 2013-12-31 2015-07-01 京东方科技集团股份有限公司 Method for detecting rotation angle of remote controller in television system and television system
CN105716210B (en) * 2014-12-02 2020-01-14 夏普株式会社 Air conditioner and light-sensing part support with remote controller position detection function
JP2016115954A (en) * 2014-12-10 2016-06-23 株式会社リコー Projection type display device
CN104581541A (en) * 2014-12-26 2015-04-29 北京工业大学 Locatable multimedia audio-visual device and control method thereof
CN105068741B (en) * 2015-08-26 2018-05-29 广东欧珀移动通信有限公司 A kind of control method, device and smartwatch
CN107862852B (en) * 2017-10-09 2020-07-24 厦门盈趣科技股份有限公司 Intelligent remote control device adaptive to multiple devices based on position matching and control method
CN110491117A (en) * 2019-08-27 2019-11-22 西安闻泰电子科技有限公司 Remote control method, device, equipment and medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5361115A (en) * 1989-04-21 1994-11-01 Canon Kabushiki Kaisha Camera
CA2468904C (en) * 2001-12-21 2009-06-30 British Telecommunications Public Limited Company Device and method for calculating a location on a display
CN1258135C (en) * 2003-03-19 2006-05-31 松下电器产业株式会社 Remote control device and method based on video frequency picture detection

Also Published As

Publication number Publication date
CN1787605A (en) 2006-06-14
CN101232566A (en) 2008-07-30
JP2006166295A (en) 2006-06-22
CN100407760C (en) 2008-07-30

Similar Documents

Publication Publication Date Title
US10225014B2 (en) Information communication method for obtaining information using ID list and bright line image
RU2689136C2 (en) Automated determination of system behavior or user experience by recording, sharing and processing information associated with wide-angle image
CN205670807U (en) Monitoring system
US10569874B2 (en) Flight control method and apparatus
US9516241B2 (en) Beamforming method and apparatus for sound signal
CA2922081C (en) Image processing apparatus, image processing method, and imaging system
CN105323376B (en) Mobile terminal and the method for controlling external device (ED) using the mobile terminal
US10318028B2 (en) Control device and storage medium
KR20150125529A (en) Mobile terminal and method for controlling the same
KR101771339B1 (en) Method and system for achieving self-adaptive surrounding sound
CN102906810B (en) Augmented reality panorama supporting visually impaired individuals
EP2779620B1 (en) Image generation device, and image generation method
JP5532026B2 (en) Display device, display method, and program
US20130342713A1 (en) Cloud service based intelligent photographic method, device and mobile terminal
DE102005014719B4 (en) Outdoor monitoring device for a mobile robot
US9245389B2 (en) Information processing apparatus and recording medium
JP6568276B2 (en) Program, control method, and information communication apparatus
US8730335B2 (en) Imaging apparatus and imaging system
CN102263899B (en) Photographing device and control method therefor
KR101231518B1 (en) Camera control apparatus, camera system, electronic conference system, and camera control method
US9288386B2 (en) Imaging apparatus and image synthesizing method
US7649551B2 (en) Electronic camera system, photographing ordering device and photographing system
US20150036875A1 (en) Method and system for application execution based on object recognition for mobile devices
US20150116502A1 (en) Apparatus and method for dynamically selecting multiple cameras to track target object
WO2011065007A1 (en) Portable communication apparatus, communication method, integrated circuit, and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080324

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees