JP4950230B2 - Remote control system - Google Patents
Remote control system Download PDFInfo
- Publication number
- JP4950230B2 JP4950230B2 JP2009005375A JP2009005375A JP4950230B2 JP 4950230 B2 JP4950230 B2 JP 4950230B2 JP 2009005375 A JP2009005375 A JP 2009005375A JP 2009005375 A JP2009005375 A JP 2009005375A JP 4950230 B2 JP4950230 B2 JP 4950230B2
- Authority
- JP
- Japan
- Prior art keywords
- identification mark
- image data
- feature pattern
- remote controller
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Details Of Television Systems (AREA)
- Selective Calling Equipment (AREA)
- Input From Keyboards Or The Like (AREA)
Description
本発明は、操作者がリモートコントローラを入力操作して被制御機器の動作を遠隔制御するリモートコントロールシステムに関し、更に詳しくは、リモートコントローラに電源を必要としないリモートコントロールシステムに関する。 The present invention relates to a remote control system in which an operator inputs a remote controller to remotely control the operation of a controlled device, and more particularly to a remote control system that does not require a power source for the remote controller.
従来、家電機器の動作を遠隔制御するリモートコントローラは、ケース内に収容するバッテリーを電源として、制御信号を被制御機器である家電機器へ送信し、遠隔制御しているが、バッテリーが消耗する毎に新品に交換しなければならない。そこで、バッテリーを交換することなく、半永久的に使用可能なように、太陽電池で光電変換した電力を各部の電源として利用するリモートコントローラや、被制御機器側からリモートコントローラ側へRF信号を送信し、RF信号の交番磁界により発生する誘導起電力をリモートコントローラの電源とするリモートコントロールシステムが提案されている(例えば特許文献1)。 Conventionally, a remote controller that remotely controls the operation of home appliances uses a battery housed in a case as a power source and sends a control signal to the home appliance that is the controlled device for remote control. It must be replaced with a new one. Therefore, an RF signal is transmitted from the remote controller side to the remote controller side or the remote controller that uses the power photoelectrically converted by the solar cell as the power source of each part so that it can be used semipermanently without replacing the battery. A remote control system has been proposed in which an induced electromotive force generated by an alternating magnetic field of an RF signal is used as a power source of a remote controller (for example, Patent Document 1).
図8は、この特許文献1に記載の従来のリモートコントロールシステム100の一例を示すブロック図であり、リモートコントローラ101は、操作者のキー入力操作を受け付けるキー操作部102と、キー入力操作に応じた制御データを生成する送信コード発生部103と、制御データにより変調した遠隔制御信号を被制御機器へ向けて送信する信号送信部104を備え、被制御機器に収納されるリモコン受信部本体105は、この遠隔制御信号を受信する信号受信部106と、遠隔制御信号から制御データを復調する受信コード変換部107を備え、受信コード変換部107から制御用マイコン108へ出力される制御データによって被制御機器が遠隔制御される。
FIG. 8 is a block diagram showing an example of a conventional
リモコン受信部本体105には、更に、被制御機器の制御用マイコン108の制御によりRF波を送信するRF送信部109を備え、その周囲のリモートコントローラ101にRF波を送信する。一方、リモートコントローラ101には、RF波を受信し、RF波から得られた誘導起電力を電源として、上記リモートコントローラ101の上記各部102、103、104へ電源を供給するRF受信部110が備えられ、これにより、リモートコントローラ101は、バッテリーを内蔵することなく、無電源で動作する。
The remote control receiving unit
また、電源で動作するリモートコントローラを用いずに、被制御機器の制御動作に応じて操作者が指、腕などを振るジェスチャー入力を行い、そのジェスチャーの特徴を被制御機器側で認識して、ジェスチャーに応じて被制御機器の動作を制御するジェスチャー入力方式のリモートコントロールシステムも提案されている。 In addition, without using a remote controller that operates with a power supply, the operator performs gesture input according to the control operation of the controlled device, such as shaking a finger, arm, etc., and the controlled device recognizes the characteristics of the gesture, A gesture input type remote control system that controls the operation of a controlled device in accordance with a gesture has also been proposed.
しかしながら、被制御機器側から送信するRF波をリモートコントローラ101の電源に利用する従来のリモートコントロールシステム100では、リモコン受信部本体105とリモートコントローラ101に、RF送信部109やRF受信110を備える必要があり、構造が複雑になる。更に、RF送信部109から広範囲に送信されるRF波の送信電力に対して、リモートコントローラ101のRF受信110で得られる電力は、わずかであるので、伝達効率が極めて低く、人体や他の電子機器への影響のない電力で送信されるRF波では、リモートコントローラ101を動作させるに充分な電力が得られず、リモートコントローラ101が正常に動作しない恐れがあった。
However, in the conventional
また、ジェスチャー入力方式で被制御機器を遠隔制御するリモートコントロールシステムは、操作者の年齢などによるジェスチャー入力の個人差が大きく、操作者が同一人であっても、その都度指、腕なので振り幅が異なり、更に、被制御機器から操作者までの距離によっても異なるので、共通するジェスチャー入力の特徴を認識することが極めて困難であり、誤動作が頻発するものであった。 Also, remote control systems that remotely control controlled devices using the gesture input method have large individual differences in gesture input depending on the operator's age, etc. However, since it also depends on the distance from the controlled device to the operator, it is extremely difficult to recognize the common gesture input characteristics, and malfunctions frequently occur.
本発明は、このような従来の問題点を考慮してなされたものであり、リモートコントローラにバッテリーや電源を得るための電源回路を一切設けずに、従って簡単な構成のリモートコントローラで、被制御機器を正確に遠隔制御するリモートコントロールシステムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and does not include any power supply circuit for obtaining a battery or a power source in the remote controller. Therefore, the remote controller having a simple configuration can be controlled. An object of the present invention is to provide a remote control system for accurately controlling a device remotely.
上述の目的を達成するため、請求項1のリモートコントロールシステムは、リモートコントローラへの操作者の入力操作に応じて、被制御機器の動作を遠隔制御するリモートコントロールシステムであって、前記リモートコントローラは、前面に可変識別マークと固定形態の固定識別マークが表示されるケースと、ケースに移動自在に取り付けられる操作ボタンと、操作者による前記操作ボタンの手動入力操作に連動して、遮蔽カバーを可変識別マークの表面側に進退移動させ、可変識別マークをケースの前記前面に表示する状態と、遮蔽カバーで覆う状態のいずれかとする手動操作機構を備え、前記被制御機器は、対向するリモートコントローラのケースの前記前面を含む画像を連続して撮像し、撮像する毎に画像データとする撮像手段と、固定識別マークと可変識別マークとの形態からなる特徴パターンと、遮蔽カバーで可変識別マークが覆われ、固定識別マークのみの形態からなる特徴パターンのいずれか一方を可変識別マークの変化前の第1特徴パターンと、他方を可変識別マークの変化後の第2特徴パターンとして記憶する特徴パターン記憶部と、撮像手段が生成する画像データ毎に、特徴パターン記憶部に記憶された第1特徴パターン及び/又は第2特徴パターンを比較し、前記第1特徴パターンを含む第1画像データと、前記第2特徴パターンを含む第2画像データとを抽出する比較手段と、比較手段が前記第1画像データを抽出した所定時間後に、前記第2画像データを抽出した際に、前記第1特徴パターン及び前記第2特徴パターンとの組合せに関連づけられた制御データを生成する制御手段とを備え、操作者が可変識別マークを可変表示させる前記リモートコントローラへの手動入力操作に応じて、被制御機器の動作を制御データにより遠隔制御することを特徴とする。 In order to achieve the above object, a remote control system according to claim 1 is a remote control system for remotely controlling the operation of a controlled device in response to an input operation of an operator to the remote controller, wherein the remote controller includes: , Variable identification mark on the front and a fixed identification mark in fixed form are displayed, the operation button is movably attached to the case, and the shielding cover is variable in conjunction with the manual input operation of the operation button by the operator It includes a manual operation mechanism that moves forward and backward to the front side of the identification mark and displays the variable identification mark on the front surface of the case or in a state of covering with a shielding cover . capturing an image including the front of the case in succession, the image pickup means to image data for each imaging A characteristic pattern composed of the form of fixed identification marks and the variable identification mark, the variable identification mark is covered with the shielding cover, first before the change of the variable identification mark one of the feature pattern comprising a form of only a fixed identification mark and feature pattern, and the feature pattern storage unit for storing the other as a second feature pattern after the change of the variable identification mark, for each image data capturing means generates the first feature pattern and stored in the feature pattern storage unit / Alternatively, a comparison unit that compares the second feature pattern and extracts the first image data including the first feature pattern and the second image data including the second feature pattern, and the comparison unit extracts the first image data. When the second image data is extracted after a predetermined time after extraction, it is associated with a combination of the first feature pattern and the second feature pattern. Control means for generating control data, wherein the operation of the controlled device is remotely controlled by the control data in response to a manual input operation to the remote controller in which the operator variably displays the variable identification mark. .
操作者が手動操作機構を手動入力操作すると、ケースの表面で可変識別マークの形態が変化し、リモートコントローラのケースの表面を含む画像を連続して撮像する撮像手段は、可変識別マークの変化前の第1特徴パターンを含む第1画像データを生成した後、所定期間後に、可変識別マークの変化後の第2特徴パターンを含む第2画像データを生成する。比較手段は、撮像手段が連続して生成する画像毎に、特徴パターン記憶部に記憶された第1特徴パターン及び第2特徴パターンを比較するので、第1画像データを抽出した所定時間後に第2画像データを抽出し、制御手段は、第1特徴パターン及び第2特徴パターンとの組合せに関連づけられた制御データにより、被制御機器の動作を制御する。 When the operator manually inputs the manual operation mechanism, the form of the variable identification mark changes on the surface of the case, and the imaging means for continuously capturing images including the surface of the case of the remote controller is provided before the change of the variable identification mark. After the first image data including the first feature pattern is generated, the second image data including the second feature pattern after the change of the variable identification mark is generated after a predetermined period. The comparison unit compares the first feature pattern and the second feature pattern stored in the feature pattern storage unit for each image continuously generated by the imaging unit, so that the second after a predetermined time after extracting the first image data. The image data is extracted, and the control means controls the operation of the controlled device based on the control data associated with the combination of the first feature pattern and the second feature pattern.
ケースの表面で変化させる可変識別マークの形態は、ケースの表面の形態に対して一定比率で変化するので、操作者が異なっても入力操作による形態の変化は一定で、比較手段は、誤りなく第1画像データと第2画像データを抽出できる。 The form of the variable identification mark that is changed on the surface of the case changes at a constant ratio with respect to the form of the surface of the case. First image data and second image data can be extracted.
操作者が操作ボタンを手動入力操作すると、遮蔽カバーが可変識別マークの表面側から退避して可変識別マークをケースの前面に表示し、若しくは、ケースの前面に表示される可変識別マークを遮蔽カバーが覆うので、操作者の手動入力操作を、可変識別マークの形態を含むか否かで相違する第1特徴パターンと第2特徴パターンとから判別できる。 When the operator manually inputs the operation button, and the shielding cover is retracted from the surface side of the variable identification mark to display the variable identification mark on the front of the case, or, the shielding cover a variable identification mark to be displayed in front of the case Therefore, the manual input operation by the operator can be discriminated from the first feature pattern and the second feature pattern which are different depending on whether or not the variable identification mark is included.
請求項2のリモートコントロールシステムは、リモートコントローラへの操作者の入力操作に応じて、被制御機器の動作を遠隔制御するリモートコントロールシステムであって、前記リモートコントローラは、前面に可変識別マークと固定形態の固定識別マークが表示されるケースと、ケースに移動自在に取り付けられる操作ボタンと、操作者による前記操作ボタンの手動入力操作に連動して、可変識別マークを第1表示位置と第2表示位置との間で往復移動させ、可変識別マークをケースの前記前面の第1表示位置と第2表示位置との間に表示する手動操作機構を備え、前記被制御機器は、対向するリモートコントローラのケースの前記前面を含む画像を連続して撮像し、撮像する毎に画像データとする撮像手段と、固定識別マークと第1表示位置の可変識別マークとの形態からなる特徴パターンと、固定識別マークと第2表示位置の可変識別マークの形態からなる特徴パターンのいずれか一方を可変識別マークの変化前の第1特徴パターンと、他方を可変識別マークの変化後の第2特徴パターンとして記憶する特徴パターン記憶部と、撮像手段が生成する画像データ毎に、特徴パターン記憶部に記憶された第1特徴パターン及び/又は第2特徴パターンを比較し、前記第1特徴パターンを含む第1画像データと、前記第2特徴パターンを含む第2画像データとを抽出する比較手段と、比較手段が前記第1画像データを抽出した所定時間後に、前記第2画像データを抽出した際に、前記第1特徴パターン及び前記第2特徴パターンとの組合せに関連づけられた制御データを生成する制御手段とを備え、操作者が可変識別マークを可変表示させる前記リモートコントローラへの手動入力操作に応じて、被制御機器の動作を制御データにより遠隔制御することを特徴とする。
The remote control system according to
操作者が操作ボタンを手動入力操作すると、可変識別マークが第1表示位置と第2表示位置との間で往復移動するので、操作者の手動入力操作を、固定識別マークの表示位置に対して可変識別マークの表示位置が第1表示位置と第2表示位置間で相違する第1特徴パターンと第2特徴パターンとから判別できる。 When the operator manually operates the operation button, the variable identification mark reciprocates between the first display position and the second display position, so that the operator's manual input operation can be performed with respect to the display position of the fixed identification mark. The display position of the variable identification mark can be discriminated from the first feature pattern and the second feature pattern that are different between the first display position and the second display position.
請求項3のリモートコントロールシステムは、被制御機器が、被制御機器の動作を制御する複数の制御内容と、複数の制御内容から特定の制御内容を選択する為のカーソルを表示する表示部と、撮像手段が生成する画像データから、画像データ内の固定識別マークを表す画素データの位置を検出する位置検出手段と、表示部に表示されるカーソルの表示位置を制御するカーソル制御手段とを更に備え、位置検出手段は、比較手段が第1画像データ若しくは第2画像データを抽出した後、撮像手段が生成する画像データ毎に、その画像データ内の固定識別マークを表す画素データの位置を検出し、カーソル制御手段は、位置検出手段が検出する画素データの位置に応じてカーソルの表示位置を制御することを特徴とする。
The remote control system according to
操作者がリモートコントローラを移動操作すると、画像データ内の固定識別マークを表す画素データの位置が変化し、位置検出手段は、画像データ毎に変化する固定識別マークを表す画素データの位置を検出する。固定識別マークは、リモートコントローラと一体に移動し、カーソル制御手段は、位置検出手段が検出する固定識別マークを表す画素データの位置に応じてカーソルの表示位置を制御するので、リモートコントローラの移動に連動して、表示部に表示されるカーソルの表示位置が移動する。従って、操作者は、表示部に表示される複数の制御内容から特定の制御内容が表示された位置へカーソルを移動制御し、制御しようとする特定の制御内容を選択することができる。 When the operator moves the remote controller, the position of the pixel data representing the fixed identification mark in the image data changes, and the position detecting means detects the position of the pixel data representing the fixed identification mark that changes for each image data. . The fixed identification mark moves together with the remote controller, and the cursor control means controls the display position of the cursor according to the position of the pixel data representing the fixed identification mark detected by the position detecting means. In conjunction with this, the display position of the cursor displayed on the display unit moves. Therefore, the operator can control the movement of the cursor from the plurality of control contents displayed on the display unit to the position where the specific control contents are displayed, and select the specific control contents to be controlled.
請求項4のリモートコントロールシステムは、被制御機器が、対向するリモートコントローラに向けて赤外光を発光する発光手段を更に備え、撮像手段は、可変識別マークの表面に形成された散乱反射部材により反射される反射光を含む前記赤外光による画像を撮像し、画像データとすることを特徴とする。 According to a fourth aspect of the present invention, the controlled device further includes light emitting means for emitting infrared light toward the remote controller facing the image pickup means, and the imaging means includes a scattering reflection member formed on the surface of the variable identification mark. An image of the infrared light including reflected light that is reflected is captured and used as image data.
発光手段から発光される赤外光の一部は、可変識別マークの表面に形成された散乱反射部材で反射し、その反射光を含む画像を撮像手段が撮像するので、夜間でも可変識別マークの変化を認識できる。 Part of the infrared light emitted from the light emitting means is reflected by the scattering reflection member formed on the surface of the variable identification mark, and the imaging means captures an image including the reflected light. Can recognize changes.
また、撮像手段は、赤外光による画像を撮像するので、他の波長の散乱光による画像データへの影響がなく、認識率が向上する。 In addition, since the imaging means captures an image using infrared light, the image data is not affected by scattered light of other wavelengths, and the recognition rate is improved.
請求項1の発明によれば、リモートコントローラにバッテリーや電源を得るための電源回路を必要としないので、バッテリーを交換することなく、簡単な構成でリモートコントローラを構成することができる。 According to the first aspect of the present invention, the remote controller does not require a power source circuit for obtaining a battery or a power source. Therefore, the remote controller can be configured with a simple configuration without replacing the battery.
また、リモートコントローラから被制御機器へ制御信号を送信することなく、操作者の個人差の影響を受けずに、被制御機器を正確に遠隔制御することができる。 In addition, it is possible to accurately control the controlled device without transmitting a control signal from the remote controller to the controlled device and without being influenced by individual differences among operators.
また、第1特徴パターンと第2特徴パターンは、可変識別マークの形態を含むか否かで判別され、ケースの表面に表示される固定識別マークと可変識別マークの相対位置は一定で、ケースの表面の固定位置に対する可変識別マークの表示有無から、入力操作によって変化する可変識別マークを正確に検出できる。 Further, the first feature pattern and the second feature pattern are discriminated based on whether or not they include the form of a variable identification mark, and the relative positions of the fixed identification mark and the variable identification mark displayed on the surface of the case are constant, The variable identification mark that is changed by the input operation can be accurately detected based on whether or not the variable identification mark is displayed with respect to the fixed position on the surface.
請求項2の発明によれば、第1特徴パターンと第2特徴パターンは、固定識別マークの表示位置に対する可変識別マークの表示位置で判別され、ケースの表面の固定位置に表示される固定識別マークに対する可変識別マークの第1表示位置と第2表示位置は一定であるので、入力操作によって変化する可変識別マークの形態を正確に検出できる。
According to the invention of
請求項3の発明によれば、バッテリーや電源を得るための電源回路を備えないリモートコントローラによって、表示部に表示されるカーソルの表示位置をリモートコントローラの移動操作に連動させて移動制御でき、被制御機器の動作を制御する複数の制御内容から所望の制御内容をカーソルの表示位置を移動させて選択できる。
According to the invention of
画像データに含まれる固定識別マーク若しくは固定識別マークと可変識別マークとの距離から、被制御機器とリモートコントローラの大凡の距離を検出できるので、リモートコントローラの移動操作量に応じた所定の倍率で、カーソルの表示位置を移動制御できる。 Since the approximate distance between the controlled device and the remote controller can be detected from the distance between the fixed identification mark or the fixed identification mark included in the image data and the variable identification mark, at a predetermined magnification according to the moving operation amount of the remote controller, Move and control the cursor display position.
請求項4の発明によれば、光量が少ない暗い室内でも、可変識別マークの変化を認識し、被制御機器を遠隔制御できる。また、赤外光以外の波長の光による影響を受けないので、形態が変化する可変識別マークの認識率が向上する。
According to the invention of
以下、リモートコントローラ(以下、リモコンという)2により被制御機器であるテレビジョン受像機(以下、TVという)3の動作を遠隔制御する本発明の一実施の形態に係るリモートコントロールシステム1を、図1乃至図4を用いて説明する。図1(a)は、入力操作を行っていないリモコン2の斜視図、同(b)は、その縦断面図、図2(a)は、右側の操作ボタン4Lを押し下げて入力操作を行ったリモコン2の斜視図、同(b)は、押し下げた操作ボタン4Lに沿った縦断面図、同(c)は、同(a)の入力操作で比較回路14に入力される画像データを説明する模式図、図3は、全ての操作ボタン4R、4M、4Lを押し下げて入力操作を行ったリモコン2の斜視図である。
A remote control system 1 according to an embodiment of the present invention in which an operation of a television receiver (hereinafter referred to as TV) 3 as a controlled device is remotely controlled by a remote controller (hereinafter referred to as remote controller) 2 will be described below. This will be described with reference to FIGS. 1 (a) is a perspective view of the
これらの図に示すように、リモコン2は、合成樹脂製の中空直方体状のケース5の前面5a(図1(b)において左方の側面)の両側に沿って固着された一対の縦長帯状の固定識別マーク6、6と、ケース5の中空内部に立設して取り付けられた3個の可動識別マーク7、7、7と、ケース5の平面に出没自在に取り付けられた3個の操作ボタン4R、4M、4Lそれぞれ連動する手動操作機構8、8、8とを備えている。
As shown in these drawings, the
ケース5の前面5aには、縦方向の長さがbの一対の固定識別マーク6、6の間に等間隔aで3個の円形窓孔5b、5b、5bが穿設され、各可動識別マーク7は、この円形窓孔5bの内方から前方に臨むように、ケース5に取り付けられている。また、各手動操作機構8は、入力操作を行わない待機状態で復帰バネ9によりケース5の平面からその一部が上方に突出するように付勢された操作ボタン4(4R、4M、4L)と、中間部でケース5に回転自在に支持され、その後端部が操作ボタン4に回転自在に挿通する揺動リンク8aと、揺動リング8aの前端部に取り付けられ、揺動リンク8aの揺動により可動識別マーク7の前面に出没する遮蔽カバー8bとから構成されている。
The
この構成によって、操作ボタン4を押し下げない待機状態では、復帰バネ9により揺動リンク8aは、図1(b)において反時計回りに付勢され、遮蔽カバー8bが可動識別マーク7の前面を覆い、円形窓孔5bに遮蔽カバー8bの前面が臨む。一方、復帰バネ9に抗して特定の操作ボタン4を押し下げると、その操作ボタン4に連結する揺動リンク8aは、時計回りに回転し、遮蔽カバー8bが可動識別マーク7の前面から退避するので、図2(a)に示すように、円形窓孔5bに可動識別マーク7の前面が臨む。同様に、各操作ボタン4R、4M、4Lを押し下げると、対応する円形窓孔5bから図3に示すように可動識別マーク7の前面が臨む。
With this configuration, in a standby state where the
本実施の形態では、遮蔽カバー8bの前面を、ケース5の前面5aと同じ明度の高い白色とし、一対の固定識別マーク6、6及び3個の可動識別マーク7の表面(前面)を、明度の低い黒色とし、後述するTV3側で、固定識別マーク6、6と可動識別マーク7の形態からなる特徴パターンを明度のみで判別できるようにしている。リモコン2には、この他にTV3側に送信信号を送信する送信回路や電動機構などの電源を必要とする一切の回路部品を設けないので、極めて簡単な構造でリモコン2が構成される。
In the present embodiment, the front surface of the shielding
図4は、上述構成のリモコン2で遠隔制御されるTV3の主要構成を示すブロック図であり、ディスプレーである表示部10が配置されたTV3の正面に、TV3に対向する画像を撮像してデジタル形式の画像データとする撮像素子であるCCD11が取り付けられ、図示するように、TV3にリモコン2を向けると、リモコン2のケース5の前面5aを含む画像データが生成される。
FIG. 4 is a block diagram showing a main configuration of the
CCD11には、クロック発生回路12から出力されるクロック信号と、クロック信号を分周器13で分周し、少なくとも操作者がリモコン2を手動操作する時間より短い周期となる周波数としたステータス信号が入力され、クロック信号に同期してCCD11の各画素の画素データが読み出され、ステータス信号により区切られるCCD11で撮像した一画面の画像データが、後段の画像処理回路19に出力される。ステータス信号により区切られる1画面毎の画像データは、縦横にマトリックス状に配列される多数の画素データより構成され、各画素データは、それぞれ複数の階調に分割した色合い、彩度、明度について、その画素が属する階調を数値化したデータとなっている。
The
画像処理回路19は、その出力側に接続された比較回路14において、入力された画像データに、固定識別マーク6若しくは可動識別マーク7の形態が含まれているか否かの判別を容易にするため、画像データの各画素データを二値化する画像処理を行う。本実施の形態では、明度により固定識別マーク6、6と可動識別マーク7を他の形態と識別しているので、各画素データの明度を表す階調の数値を、所定の輪郭形状が表れるように調整したしきい値で二値化し、二値化した多数の画素データからなる画像データとする。
The
比較回路14に接続する特徴パターン記憶部15は、リモコン2の前面5aに長さbの一対の縦長帯状の固定識別マーク6が表れている形態(図1(a))を複数の画素データで表した待機時特徴パターンと、間隔4aの一対の固定識別マーク6間の右側の固定識別マーク6から間隔a離れた位置に円形の可動識別マーク7が表れている形態(図2(a))を複数の画素データで表した第1操作特徴パターンと、間隔4aの一対の固定識別マーク6間の中央に可動識別マーク7が表れている形態を複数の画素データで表した第2操作特徴パターンと、左側の固定識別マーク6から間隔a離れた位置に可動識別マーク7が表れている形態を複数の画素データで表した第3操作特徴パターンとが記憶されている。
The feature
比較回路14は、始めに、上記画像処理回路19から出力された画像データに固定識別マーク6の形態が含まれているかどうかを、特徴パターン記憶部15から読み出した待機時特徴パターンと比較し、待機時特徴パターンが一部に含まれた画像データを抽出した場合には、待機時検出信号を特徴抽出記憶部16へ出力する。同時に、比較回路14では、待機時特徴パターンに一致すると判別した画像データにおいて、一対の固定識別マーク6の形態を表す画素データの位置から、リモコン2とTV3との距離やリモコン2のTV3に対する姿勢を算出しておく。これにより、その後に比較回路14に入力される画像データに対して、固定識別マーク6や可動識別マーク7を表す形態の比率や姿勢を予測でき、後述する第1乃至第3操作特徴パターンや異なる位置に移動する待機時特徴パターンとの比較をより正確に迅速に実行することができる。
The
比較回路14は、待機時特徴パターンが一部に含まれた画像データを抽出しない限り、ステータス信号の周期で画像処理回路19から入力される画像データについて、同様に待機時特徴パターンと比較する。一方、待機時検出信号を出力した後は、その後に画像処理回路19から入力される画像データについて、順次、特徴パターン記憶部15から読み出す第1乃至第3操作特徴パターンを比較する。第1乃至第3操作特徴パターンのいずれか若しくは2以上の第1乃至第3操作特徴パターンが画像データの一部に含まれている場合には、含まれていた第1乃至第3操作特徴パターンから入力操作内容が判別され、入力操作内容を表す操作データを含む操作時検出信号が特徴抽出記憶部16に出力される。
The
例えば、図2(a)に示すように、右側の操作ボタン4Lが押し下げられると、比較回路14には、図2(c)に示すような画像データが入力され、その一部に、一対の縦長帯状の形態の間隔4xに対して、その一側からxの間隔で円形の形態を表す画素データが含まれていることから、間隔4aの一対の固定識別マーク6間の右側の固定識別マーク6から間隔a離れた位置に円形の可動識別マーク7が表れている形態の特徴を表す第1操作特徴パターンが含まれていると判定され、右側の操作ボタン4Lの入力操作を表す操作データを含む操作時検出信号が特徴抽出記憶部16に出力される。
For example, as shown in FIG. 2A, when the right operation button 4L is depressed, image data as shown in FIG. Since the pixel data representing a circular shape is included at an interval x from one side of the interval 4x in the form of a vertically long strip, the fixed identification on the right side between the pair of fixed identification marks 6 at the interval 4a. it is determined that the circular
特徴抽出記憶部16は、入力された待機時検出信号を記憶し、所定時間内に操作時検出信号が入力された場合には、リモコン2の操作ボタン4R、4M、4Lが入力操作され、可動識別マーク7がケース5の前面5aに表れたとものと判別し、その操作時検出信号をデコーダ17へ出力する。画像データに含まれていた第1乃至第3操作特徴パターンを表す操作時検出信号の操作データは、6通りのデータであり、それぞれリモコン2の3個の操作ボタン4R、4M、4Lのいずれか若しくは2以上の操作ボタン4R、4M、4Lを押し下げ操作することによる6種類の入力操作の組合せに対応する。従って、デコーダ17は、入力された操作時検出信号に含まれる操作データから、操作データの内容に対応させた制御データを生成し、その出力側に接続された制御部18へ出力する。
The feature
制御部18は、デコーダ17から入力された制御データに従ってTV3の各動作、例えば、電源のON、OFF、音量の増減、受信チャンネルの増減の制御を実行する。
The
また、本実施の形態に係るTV3は、リモコン2自体の移動操作により、表示部10に表示される複数の制御メニューへカーソルを移動制御可能とし、図5に示すように、選択したいずれかの制御メニュー上にカーソルを移動させた後に、操作ボタン4を押し下げ操作し、選択した制御メニューの制御内容でTV3の動作を遠隔制御する機能を備えている。
In addition, the
ここでは、例えば、図2(a)に示す右側の操作ボタン4Lが押し下げられた際に、デコーダ17からカーソル30を表示部10へ表示させる制御データがデコーダ17に接続する表示制御部20に出力され、表示制御部20による制御によって表示部10の所定位置にカーソル30と、複数の制御メニュー31が表示される。
Here, for example, when the
図4に示すように、クロック発生回路12の出力側には、クロック信号をカウントし、分周器13から出力されるステータス信号の入力によりカウント値がリセットされるカウンタ21が接続され、カウンタ21から出力されるカウント値は、比較回路14へ出力される。ステータス信号は、画像処理回路19から比較回路14に出力される1画面毎の画像データを区切るものであり、比較回路14に入力される画像データの各画素データは、クロック信号に同期するものであることから、カウンタ21から出力されるカウント値は、各画素データが一画面を構成する画像データのうち何番目の画素データであるかを表す。
As shown in FIG. 4, the output side of the
比較回路14が、入力される画像データの一部に第1操作特徴パターンが含まれていることを判別した場合には、上述した図2(a)に示す右側の操作ボタン4Lが入力操作された場合であるので、リモコン2の移動に連動させてカーソル30を移動させるために、その後に入力される画像データ毎に、待機時特徴パターンを表す画素データの位置をカウント値で座標検出回路22へ順次出力する。すなわち、待機時特徴パターンを形成する画素データの一画面の画像データ内の位置を、カウンタ21から入力されるカウント値で表し、座標検出回路22へ出力する。
座標検出回路22は、入力したカウント値を、一画面内の位置を直交座標系のxy座標に変換し、表示制御部20とデコーダ17へ出力する。待機時特徴パターンは、入力操作により変化しないリモコン2と一体の形態であるので、座標検出回路22から出力されるxy座標は、CCD11で撮像する一画面中のリモコン2の位置を示している。
The coordinate
表示制御部20は、入力されるxy座標に相当する表示部10の所定位置にカーソル30を表示する。従って、リモコン2自体をTV3、すなわちCCD11に対して相対移動させると、待機時特徴パターンを形成する画素データの画像データ中の位置も同様に移動し、座標検出回路22から出力されるxy座標が表す位置も、リモコン2の相対移動に相似して移動し、表示部10に表示されるカーソル30は、リモコン2の相対移動操作に応じて移動制御される。
The
操作者が、リモコン2を相対移動し、表示部10に表示される複数の制御メニュー31から、操作者が制御しようとする制御メニュー31(図5の表示では4chに受信チャンネルを設定する制御メニュー)上へカーソル30を移動制御した後、再び、図2(a)に示す右側の操作ボタン4Lを入力操作すると、比較回路14は、新たに入力される画像データの一部に第1操作特徴パターンが含まれていることを判別するので、右側の操作ボタン4の入力操作を表す操作データを含む操作時検出信号がデコーダ17に出力される。
The operator relatively moves the
デコーダ17は、この操作時検出信号の入力により、座標検出回路22からxy座標が入力されている場合には、そのxy座標でカーソル30の表示位置に示される制御メニュー31の制御データ、ここでは4chに受信チャンネルを設定する制御データを生成し、その出力側に接続された制御部18へ出力する。制御部18は、デコーダ17から入力された制御データに従って、TV3の制御を実行する。
When the xy coordinates are input from the coordinate
図6は、第2実施の形態に係るリモコン40の正面図であり、中空直方体状のケース41の前面41aの長手方向両隅に一対の円形固定識別マーク42、42と、ケース41の中空内部に立設して取り付けられた3個の可動識別マーク43、43、43と、ケース41の平面に出没自在に取り付けられた3個の操作ボタンにそれぞれ連動する手動操作機構(図示せず)とを備えている。操作ボタン、操作ボタンの入力操作により可動識別マーク43の形態を可変させる手動操作機構、被制御機器の各構成は、第1実施の形態に係る構成と同一であるので、同一番号を用いてその説明を省略する。
FIG. 6 is a front view of the
図示するように、各可動識別マーク43は、ケース41の前面41aに長手方向に沿って間隔cで穿設された3個の円形窓孔41b、41b、41bの内方から前方に臨むように、ケース41に取り付けられ、一対の固定識別マーク42、42は、それぞれ円形の中心が、両側の円形窓孔41b、41bから長手方向にc、短手方向に0.7c離れた位置に固着表示されている。
As shown in the figure, each
従って、このリモコン40によれば、正常な姿勢で、操作ボタン4の入力操作により表れる可動識別マーク43の短手方向の位置は、一対の固定識別マーク42、42を結ぶ直線上から0.7c下方に変位しているので、被制御機器3のデコーダ17に入力される画像データに含まれるこれらの形態の相対位置から、リモコン40の鉛直方向の姿勢を検出でき、リモコン40が表裏いずれの向きで操作されても、デコーダ17において、画像データに含まれる待機時特徴パターンや操作特徴パターンを抽出できる。
Therefore, according to the
また、リモコン40の一対の固定識別マーク42、42の形状や、可動識別マーク43との間隔が、リモコン2と異なるので、各形態に応じた特徴パターンを特徴パターン記憶部15へ記憶し、比較回路14で画像データと比較することにより、複数の操作者がそれぞれのリモコン2、40を用いてゲーム機などの同一の被制御機器3を遠隔制御する場合にも、各リモコン2、40毎の入力操作を判別して検出することができる。
Further, since the shape of the pair of fixed identification marks 42, 42 of the
図7は、本発明の第3実施の形態に係るリモコン50と被制御機器60を示す要部説明図であり、被制御機器60は、表示部10の上方に、リモコン50に対向する後方に向けて赤外光を発光する赤外発光素子61が取り付けられ、CCD11の受光面側に赤外光のみを通過させる赤外透過フィルタ62が取り付けられている。また、リモコン50には、固定識別マーク51と可動識別マーク(図示せず)の表面に、散乱反射板52が固着されている他は、第1実施の形態と同一であるので、同一番号を付してその説明を省略する。
FIG. 7 is a main part explanatory view showing the
このように構成されたリモコン50と被制御機器60によれば、リモコン50の操作ボタン4を入力操作したり、リモコン50を移動操作した際に、赤外発光素子61から発光される赤外光が固定識別マーク51と可動識別マークの表面の散乱反射板52で反射し、被制御機器60の赤外透過フィルタ62を通過して、CCD11に受光されるので、他の波長の光と区別して、固定識別マーク51や可動識別マークの形態を表す赤外光のみによって、画像データが生成される。従って、デコーダ17における認識率が向上し、夜間でもリモコン50の入力操作を検出できる。
According to the
上述の実施の形態では、固定識別マーク6、42を、リモコンのケース5、41、51の前面に固着しているが、ケース5、41、51に対して変化しない形態であれば、ケース5、41、51自体の輪郭や凹凸形状を固定識別マークとしてもよい。
In the above-described embodiment, the fixed identification marks 6 and 42 are fixed to the front surfaces of the
また、可変識別マーク7、43の形態を可変させる手段は、電力を用いずにその形態を可変できるものであれば、上述の手動操作機構8に限らない。例えば、可変識別マーク7、43をケース5、41に対して相対移動させる手動操作機構を用い、入力操作によって固定識別マーク6、42に対する可変識別マーク7、43の相対位置を可変させるものであってもよい。
The means for changing the form of the variable identification marks 7 and 43 is not limited to the above-described
更に、固定識別マーク6、42や可変識別マーク7、43を緑色等の特定色で着色し、画像処理回路19で画像データから緑色の画素のみを抽出し、その形態を待機時特徴パターンや操作特徴パターンと比較してもよい。
Further, the fixed identification marks 6 and 42 and the variable identification marks 7 and 43 are colored with a specific color such as green, and the
本発明は、電源を要しないリモートコントローラによって被制御機器を遠隔制御するリモートコントロールシステムに適している。 The present invention is suitable for a remote control system in which a controlled device is remotely controlled by a remote controller that does not require a power source.
1 リモートコントロールシステム
2 リモートコントローラ(リモコン)
3 被制御機器(TV)
4 操作ボタン
5 ケース
6 固定識別マーク
7 可変識別マーク
8 手動操作機構
8b 遮蔽カバー
10 表示部
11 撮像手段(CCD)
14 比較手段(比較回路)
15 特徴パターン記憶部
18 制御手段(制御部)
20 カーソル制御手段(表示制御部)
22 位置検出手段(座標検出回路)
52 散乱反射部材(散乱反射板)
61 発光手段(赤外発光素子)
1
3 Controlled equipment (TV)
4
14 Comparison means (comparison circuit)
15 Feature
20 Cursor control means (display control unit)
22 Position detection means (coordinate detection circuit)
52 Scattering reflection member (scattering reflector)
61 Light emitting means (infrared light emitting element)
Claims (4)
前記リモートコントローラは、
前面に可変識別マークと固定形態の固定識別マークが表示されるケースと、ケースに移動自在に取り付けられる操作ボタンと、操作者による前記操作ボタンの手動入力操作に連動して、遮蔽カバーを可変識別マークの表面側に進退移動させ、可変識別マークをケースの前記前面に表示する状態と、遮蔽カバーで覆う状態のいずれかとする手動操作機構を備え、
前記被制御機器は、
対向するリモートコントローラのケースの前記前面を含む画像を連続して撮像し、撮像する毎に画像データとする撮像手段と、
固定識別マークと可変識別マークとの形態からなる特徴パターンと、遮蔽カバーで可変識別マークが覆われ、固定識別マークのみの形態からなる特徴パターンのいずれか一方を可変識別マークの変化前の第1特徴パターンと、他方を可変識別マークの変化後の第2特徴パターンとして記憶する特徴パターン記憶部と、
撮像手段が生成する画像データ毎に、特徴パターン記憶部に記憶された第1特徴パターン及び/又は第2特徴パターンを比較し、前記第1特徴パターンを含む第1画像データと、前記第2特徴パターンを含む第2画像データとを抽出する比較手段と、
比較手段が前記第1画像データを抽出した所定時間後に、前記第2画像データを抽出した際に、前記第1特徴パターン及び前記第2特徴パターンとの組合せに関連づけられた制御データを生成する制御手段とを備え、
操作者が可変識別マークを可変表示させる前記リモートコントローラへの手動入力操作に応じて、被制御機器の動作を制御データにより遠隔制御することを特徴とするリモートコントロールシステム。 A remote control system for remotely controlling the operation of a controlled device according to an input operation of an operator to a remote controller,
The remote controller is
A variable identification mark and a fixed identification mark in a fixed form are displayed on the front, an operation button movably attached to the case, and a shield cover variably identified in conjunction with a manual input operation of the operation button by the operator It is provided with a manual operation mechanism that moves forward and backward to the surface side of the mark, and displays the variable identification mark on the front surface of the case, or is covered with a shielding cover ,
The controlled device is
Imaging means that continuously captures an image including the front surface of the case of the opposing remote controller and sets the image data every time it is captured;
Either the feature pattern having the form of the fixed identification mark or the variable identification mark or the feature pattern having the form of only the fixed identification mark covered with the variable identification mark by the shielding cover is used as the first before the change of the variable identification mark. and feature pattern, and the feature pattern storage unit for storing the other as a second feature pattern after the change of the variable identification mark,
The first feature pattern and / or the second feature pattern stored in the feature pattern storage unit is compared for each image data generated by the imaging means, and the first image data including the first feature pattern and the second feature Comparing means for extracting second image data including a pattern;
Control for generating control data associated with a combination of the first feature pattern and the second feature pattern when the second image data is extracted after a predetermined time after the first image data is extracted by the comparison means Means and
A remote control system characterized in that an operation of a controlled device is remotely controlled by control data in response to a manual input operation to the remote controller in which an operator variably displays a variable identification mark.
前記リモートコントローラは、
前面に可変識別マークと固定形態の固定識別マークが表示されるケースと、ケースに移動自在に取り付けられる操作ボタンと、操作者による前記操作ボタンの手動入力操作に連動して、可変識別マークを第1表示位置と第2表示位置との間で往復移動させ、可変識別マークをケースの前記前面の第1表示位置と第2表示位置との間に表示する手動操作機構を備え、
前記被制御機器は、
対向するリモートコントローラのケースの前記前面を含む画像を連続して撮像し、撮像する毎に画像データとする撮像手段と、
固定識別マークと第1表示位置の可変識別マークとの形態からなる特徴パターンと、固定識別マークと第2表示位置の可変識別マークの形態からなる特徴パターンのいずれか一方を可変識別マークの変化前の第1特徴パターンと、他方を可変識別マークの変化後の第2特徴パターンとして記憶する特徴パターン記憶部と、
撮像手段が生成する画像データ毎に、特徴パターン記憶部に記憶された第1特徴パターン及び/又は第2特徴パターンを比較し、前記第1特徴パターンを含む第1画像データと、前記第2特徴パターンを含む第2画像データとを抽出する比較手段と、
比較手段が前記第1画像データを抽出した所定時間後に、前記第2画像データを抽出した際に、前記第1特徴パターン及び前記第2特徴パターンとの組合せに関連づけられた制御データを生成する制御手段とを備え、
操作者が可変識別マークを可変表示させる前記リモートコントローラへの手動入力操作に応じて、被制御機器の動作を制御データにより遠隔制御することを特徴とするリモートコントロールシステム。 A remote control system for remotely controlling the operation of a controlled device according to an input operation of an operator to a remote controller,
The remote controller is
The variable identification mark and the fixed identification mark in the fixed form are displayed on the front, the operation button is movably attached to the case, and the variable identification mark is linked to the manual input operation of the operation button by the operator. A manual operation mechanism that reciprocates between the first display position and the second display position and displays a variable identification mark between the first display position and the second display position on the front surface of the case;
The controlled device is
Imaging means that continuously captures an image including the front surface of the case of the opposing remote controller and sets the image data every time it is captured;
Either a feature pattern composed of a fixed identification mark and a variable identification mark at the first display position, or a feature pattern composed of a fixed identification mark and a variable identification mark at the second display position is changed before the variable identification mark is changed. A first feature pattern and a feature pattern storage unit that stores the other as the second feature pattern after the change of the variable identification mark,
The first feature pattern and / or the second feature pattern stored in the feature pattern storage unit is compared for each image data generated by the imaging means, and the first image data including the first feature pattern and the second feature Comparing means for extracting second image data including a pattern;
Control for generating control data associated with a combination of the first feature pattern and the second feature pattern when the second image data is extracted after a predetermined time after the first image data is extracted by the comparison means Means and
A remote control system characterized in that an operation of a controlled device is remotely controlled by control data in response to a manual input operation to the remote controller in which an operator variably displays a variable identification mark .
被制御機器の動作を制御する複数の制御内容と、複数の制御内容から特定の制御内容を選択する為のカーソルを表示する表示部と、
撮像手段が生成する画像データから、画像データ内の固定識別マークを表す画素データの位置を検出する位置検出手段と、
表示部に表示されるカーソルの表示位置を制御するカーソル制御手段とを更に備え、
位置検出手段は、比較手段が第1画像データ若しくは第2画像データを抽出した後、撮像手段が生成する画像データ毎に、その画像データ内の固定識別マークを表す画素データの位置を検出し、カーソル制御手段は、位置検出手段が検出する画素データの位置に応じてカーソルの表示位置を制御することを特徴とする請求項1又は2のいずれか1項に記載のリモートコントロールシステム。 The controlled device is
A plurality of control contents for controlling the operation of the controlled device, and a display unit for displaying a cursor for selecting specific control contents from the plurality of control contents;
Position detection means for detecting the position of pixel data representing a fixed identification mark in the image data from the image data generated by the imaging means;
Cursor control means for controlling the display position of the cursor displayed on the display unit,
The position detection means detects the position of the pixel data representing the fixed identification mark in the image data for each image data generated by the imaging means after the comparison means extracts the first image data or the second image data, cursor control means, remote control system according to any one of claims 1 or 2, characterized in that to control the display position of the cursor according to the position of the pixel data detected by the position detecting means.
撮像手段は、可変識別マークの表面に形成された散乱反射部材により反射される反射光を含む前記赤外光による画像を撮像し、画像データとすることを特徴とする請求項1乃至3のいずれか1項に記載のリモートコントロールシステム。 The controlled device further includes a light emitting unit that emits infrared light toward a remote controller facing the device.
Imaging means captures an image by the infrared light including the light reflected by the scattering reflection member formed on the surface of the variable identification mark, any of claims 1 to 3, characterized in that the image data The remote control system according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009005375A JP4950230B2 (en) | 2009-01-14 | 2009-01-14 | Remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009005375A JP4950230B2 (en) | 2009-01-14 | 2009-01-14 | Remote control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010165086A JP2010165086A (en) | 2010-07-29 |
JP4950230B2 true JP4950230B2 (en) | 2012-06-13 |
Family
ID=42581209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009005375A Expired - Fee Related JP4950230B2 (en) | 2009-01-14 | 2009-01-14 | Remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4950230B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3483854B1 (en) * | 2017-11-13 | 2020-07-08 | Vestel Elektronik Sanayi ve Ticaret A.S. | Mechanical control device and method of operation |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4264601B2 (en) * | 1998-10-21 | 2009-05-20 | ソニー株式会社 | Information input device, information input method, and game device |
JP2002252590A (en) * | 2001-02-26 | 2002-09-06 | Sharp Corp | Transmitter, receiver, and communication unit using them |
JP2002290529A (en) * | 2001-03-28 | 2002-10-04 | Matsushita Electric Ind Co Ltd | Portable communication terminal, information display device, control input device and control input method |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US8022928B2 (en) * | 2005-08-22 | 2011-09-20 | Qinzhong Ye | Free-space pointing and handwriting |
-
2009
- 2009-01-14 JP JP2009005375A patent/JP4950230B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010165086A (en) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3811025B2 (en) | Network system | |
JP5014848B2 (en) | Pointing input device, method, and system using video pattern | |
US10152115B2 (en) | Generating position information employing an imager | |
US8194038B1 (en) | Multi-directional remote control system and method with automatic cursor speed control | |
US8188973B2 (en) | Apparatus and method for tracking a light pointer | |
KR20050075031A (en) | User interface system based on pointing device | |
KR101990001B1 (en) | Input system for a computer incorporating a virtual touch screen | |
WO2009061619A2 (en) | Apparatus and method for tracking a light pointer | |
US8184211B2 (en) | Quasi analog knob control method and appartus using the same | |
JPH08331667A (en) | Pointing system | |
KR101203660B1 (en) | Pointing input device, method, and system using the image pattern | |
US8525785B1 (en) | Multi-directional remote control system and method with highly accurate tracking | |
JP4950230B2 (en) | Remote control system | |
KR100608284B1 (en) | A remote pointing system | |
KR101560814B1 (en) | Remote controller having mouse and qwerty keyboard | |
US10113731B2 (en) | Remote controller and remote control display system | |
WO2004084544A1 (en) | Remote control apparatus and method based on video image detection | |
CN104238555B (en) | The remote control system of directional type robot | |
CN201611518U (en) | Space remote control system based on infrared camera technology | |
US20130335323A1 (en) | Cursor control device and system | |
KR20100122790A (en) | A remote controller for iptv | |
Ruser et al. | Gesture-based universal optical remote control: Concept, reconstruction principle and recognition results | |
US20230376104A1 (en) | Method for controlling an application employing identification of a displayed image | |
KR20010027180A (en) | Remote control equipment for remote control mouse | |
KR20160067706A (en) | Object recognizing remote controller and remote control method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |