JP6370165B2 - ポインティング装置、ポインティング方法、プログラム及び画像表示装置 - Google Patents

ポインティング装置、ポインティング方法、プログラム及び画像表示装置 Download PDF

Info

Publication number
JP6370165B2
JP6370165B2 JP2014173247A JP2014173247A JP6370165B2 JP 6370165 B2 JP6370165 B2 JP 6370165B2 JP 2014173247 A JP2014173247 A JP 2014173247A JP 2014173247 A JP2014173247 A JP 2014173247A JP 6370165 B2 JP6370165 B2 JP 6370165B2
Authority
JP
Japan
Prior art keywords
angle
remote control
display
pointing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014173247A
Other languages
English (en)
Other versions
JP2015122053A (ja
Inventor
好章 奥野
好章 奥野
平澤　宏祐
宏祐 平澤
エドワード 村上
エドワード 村上
相彦 崔
相彦 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2014173247A priority Critical patent/JP6370165B2/ja
Priority to PCT/KR2014/009273 priority patent/WO2015050380A1/ko
Priority to US15/027,108 priority patent/US9910507B2/en
Priority to EP14850816.1A priority patent/EP3054693B1/en
Priority to KR1020140132316A priority patent/KR102207256B1/ko
Publication of JP2015122053A publication Critical patent/JP2015122053A/ja
Application granted granted Critical
Publication of JP6370165B2 publication Critical patent/JP6370165B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Details Of Television Systems (AREA)

Description

本発明は、ディスプレイ上にポインタが表示されるように制御するポインティング装置、ポインティング方法、プログラム及び画像表示装置に関するものである。
例えばテレビでウェブサイトを閲覧する場合、リンク等をクリックするためにポインティング機能を備えたテレビリモコンが用いられることがある。
このようなリモコンは加速度計や角速度センサといったモーションセンサを備えており、これらのセンサ出力からリモコンの姿勢角度の変化量を検知して、この姿勢角度の変化量から算出されるポインティング角度をディスプレイ上のポインタの位置に変換するように構成されている（特許文献１参照）。この場合、ディスプレイ上のポインタの位置はリモコンの姿勢角度の変化量に基づいて累積的に計算されるため、相対ポインティング方式と呼ばれている。
ところで、相対ポインティング方式のポインティング装置では、リモコンが指示している方向と、ディスプレイ上のポインタの位置が大きくずれてしまい、ユーザが自然な使用感を得られない場合がある。このような現象は、ディスプレイとリモコンの相対位置関係が変化する、あるいは、モーションセンサから推定されるリモコンの姿勢誤差が累積することによって生じる。
従来のポインティング装置の具体例を挙げてより詳細に説明する。図２７に示すように角速度センサを備えた相対ポインティング方式のリモコン２００は、リモコン２００の先端が指示している方向である指示方向ＰＤを左右に変化させることによって、画面上のポインタの位置も左右に移動する。
より具体的には、リモコン２００には基準方向ＳＤが設定されており、この基準方向ＳＤに対して指示方向ＰＤがなす角度であるポインティング角度に応じてディスプレイ１００上のポインタの位置が決定される。
さらに、図２７に示されるディスプレイ１００上のポインティング範囲との間で所定の対応関係を持たせて、前記基準方向ＳＤを中心とした所定の立体角で操作角度範囲ＣＲが設定されている。例えば、操作角度範囲ＣＲを小さく設定するとポインタはリモコン２００の動きに対して敏感になり、操作角度範囲ＣＲを大きく設定するとポインタの動きは鈍感になる。
すなわち、基準方向ＳＤと指示方向ＰＤが一致している場合にはポインタは画面中心に配置され、ポインティング角度がある場合には設定されている操作角度範囲ＣＲに応じてディスプレイ２００上のポインタの位置が変更される。
図２７の（１）は、リモコン２００がディスプレイの正面にある場合を示しており、このとき操作角度範囲ＣＲの中心である基準方向ＳＤは、画面中心ＰＯに対して垂直に向いているとする。このように基準方向ＳＤが画面中心に対して垂直な方向と一致している場合には、リモコン２００の指示方向ＰＤとポインタの位置もが良好に一致するため、ユーザは自然な使用感を得ることができる。
一方、図２７の（２）に示すように図２７の（１）の設定のままユーザが右方向に移動した場合、基準方向ＳＤはディスプレイの右端付近へ向いた状態となる。図２７（２）のようにリモコン２００の指示方向ＰＤが基準方向ＳＤと一致するようにディスプレイ１００の右端付近を向いていると、図２７（１）における設定により、ポインタは画面の右端ではなく画面中心に表示されることになる。このように、リモコン２００の指示方向ＰＤとポインタの位置が大きくずれてしまうため、ユーザとしては不自然に感じてしまう。
このようなずれが生じた場合、従来のポインティング装置では例えばユーザがリモコンの指示方向を画面中心に向けた上で、リセットボタンを押すことにより強制的にリモコンの指示方向とポインタの位置を一致させている。あるいは、ポインタがディスプレイの端まで移動すると停止するように構成しておき、画面端においてリモコンの指示方向とポインタの位置が合うようにユーザが調節できるようにしたものものある。
また、リモコンの移動に追従してディスプレイ上のポインタの表示位置を移動させる技術も種々提案されている（例えば、特許文献２〜４参照）。特許文献２の技術では、光学式指示装置を移動すると、受光装置が、受光信号の変化を演算して求めた位置信号に応じてポインタの表示位置を移動させている。特許文献３の技術では、ＴＶが、リモコンのカメラで撮像した撮像画像中の撮像カーソル画像の座標とそのときに表示されている表示カーソル画像の座標とを比較して検出された表示画面上のリモコン指示位置に表示するためのカーソル画像を生成している。特許文献４の技術では、操作部のポインティングボタンをタッチ操作すると、ＴＶ受像機が、４つのＬＥＤからの赤外線の受光強度から求めたリモコン角度に応じたＴＶ画面上の位置にカーソルを表示させている。
特開２００２−６２９８１号公報 特開２００６−１５５３４５号公報 特開２００８−１８１１９８号公報 特開２００８−２２７６０５号公報
しかしながら、いずれのポインティング装置であってもリモコンの指示方向とディスプレイ上のポインタの位置がずれてしまった場合には、その都度ユーザは上述したような基準方向の再設定操作を行わなければならず、ユーザの使用感を損なってしまっている。
また、ディスプレイ側にカメラを設置することにより、リモコンの指示方向と画面上のポインタの位置とを略一致させる場合には、カメラの取り付け位置及び撮影角度を考慮しないと、リモコンの指示方向と画面上のポインタの位置とを精度よく略一致させることができない。
そこで、本発明は上述したような問題を鑑みてなされたものであり、リモコンの指示方向と画面上のポインタの位置が略一致するように自動的に調節することを目的とする。
また、ディスプレイ側にカメラを設置することにより、リモコンの指示方向と画面上のポインタの位置とを略一致させる場合に、これらを精度よく略一致させることを他の目的とする。
かかる目的のもと、本発明は、ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する参照角度検出部と、前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出するリモコン方向検出部と、前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する基準方向調節部と、前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部とを備えたポインティング装置を提供する。
ここで、「前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点がある」とは、前記リモコンから前記基準方向へと延びる仮想直線上に前記参照点があることだけでなく、この仮想直線の近傍に前記参照点がある状態も含む概念である。言い換えると、所定の半径を有し、前記リモコンから前記基準方向へ延びる仮想円筒内に前記参照点がある状態を言う。
また、前記ポインティング装置において、前記基準方向調節部は、所定時間ごとに前記基準方向を調節するように構成されたものであってよい。
また、前記参照角度検出部は、前記リモコンに設けられた方位センサと、前記方位センサが前記参照方向を示す方位として設定された参照方位と、前記方位センサが前記リモコンの指示方向を示す方位であるリモコン方位とに基づいて、前記参照角度を算出する参照角度算出部とを備えたものであってよい。
また、前記ポインティング装置は、前記リモコンに設けられた角速度センサと、基準ポインティング角度と、前記角速度センサから出力される角速度とに基づいて、前記ポインティング角度を算出するポインティング角度算出部とを更に備え、前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定するように構成されたものであってよい。その場合、前記ポインティング角度算出部は、過去に前記基準方向を調節したときの前記リモコン方向を記憶しており、過去のリモコン方向と現在のリモコン方向の差が所定の閾値以上の場合に前記ポインティング角度を算出するように構成されたものであってよい。
また、前記ポインティング装置は、基準ポインティング角度に基づいて、前記ポインティング角度を算出するポインティング角度算出部を更に備え、前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定するように構成されたものであってよい。
更に、前記リモコン方向検出部は、前記ディスプレイに対して前記リモコンを撮像可能に設けられたカメラと、前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向に対して前記リモコン方向がなす角度であるリモコン方向角度を算出するリモコン方向角度算出部とを備えたものであってよい。
その場合、第一に、前記カメラは、前記ディスプレイの水平方向の枠に、当該ディスプレイに垂直な特定の鉛直面に平行な撮影方向を有するように設置され、前記リモコン方向角度算出部は、前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの鉛直方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記特定の鉛直面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部とを備え、前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節するように構成されたものであってよい。また、前記第２のリモコン方向角度算出部は、前記カメラの画像に基づいて、前記撮影方向と前記カメラから前記リモコンへの方向とがなす撮影リモコン角度を算出し、当該撮影リモコン角度と前記撮影角度との差分と、前記距離と、前記長さとに基づいて、前記第２のリモコン方向角度を算出するように構成されたものであってよい。更に、前記ポインティング装置は、水平方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたものであってよい。更にまた、前記カメラは、前記ディスプレイの上側の枠の中央に、下向きの撮影方向を有するように設置されたものであってよい。
また、第二に、前記カメラは、前記ディスプレイの鉛直方向の枠に、水平面に平行な撮影方向を有するように設置され、前記リモコン方向角度算出部は、前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記ディスプレイに垂直な特定の鉛直面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの水平方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部とを備え、前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節するように構成されたものであってもよい。また、前記第２のリモコン方向角度算出部は、前記カメラの画像に基づいて、前記撮影方向と前記カメラから前記リモコンへの方向とがなす撮影リモコン角度を算出し、当該撮影リモコン角度と前記撮影角度との差分と、前記距離と、前記長さとに基づいて、前記第２のリモコン方向角度を算出するように構成されたものであってよい。更に、前記ポインティング装置は、前記特定の鉛直面に平行な方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたものであってよい。
更に、前記制御部は、前記ポインティング角度に基づいて、前記ディスプレイ上の対応する位置を算出する位置算出部と、前記位置にポインタが表示されるように制御する表示制御部とを備え、前記位置算出部は、前記ディスプレイから前記リモコンまでの距離が長いほど、前記ポインティング角度の単位角度に対する前記参照点から前記位置までの距離が長くなるように、前記位置を算出するように構成されたものであってよい。
また、本発明は、ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出するステップと、前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出するステップと、前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節するステップと、前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御するステップとを含むポインティング方法も提供する。
更に、本発明は、コンピュータに、ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する機能と、前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出する機能と、前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する機能と、前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御する機能とを実現させるためのプログラムも提供する。
更にまた、本発明は、ディスプレイと、ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する参照角度検出部と、ディスプレイ上に設定された参照点からリモコンを見た場合の方向であるリモコン方向を検出するリモコン方向検出部と、参照角度及びリモコン方向に基づいて、リモコンからリモコンに設定される基準方向を見た場合にディスプレイ上の参照点があるように基準方向を調節する基準方向調節部と、基準方向に対してリモコンの指示方向がなす角度に応じたポインティング角度に基づいて、ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部とを備えた画像表示装置も提供する。
このように本発明のポインティング装置によれば、リモコンの指示方向と画面上のポインタの位置が略一致するように自動的に調節することが可能となる。
本発明の第１実施形態に係るポインティング装置を示す模式的斜視図である。 第１実施形態におけるポインティング装置の動作特徴を示す模式図である。 第１実施形態におけるポインティング装置の機能ブロック図である。 第１実施形態におけるリモコン方向検出機構の動作について説明する模式図である。 第１実施形態における各角度の関係について示す模式図である。 第２実施形態におけるポインティング装置の機能ブロック図である。 第３実施形態におけるポインティング装置の機能ブロック図である。 本発明の第４実施形態におけるテレビシステムの全体構成例を示した図である。 従来のポインティング方式のリモコンの動作について説明するための図である。 従来のポインティング方式のリモコンの動作について説明するための図である。 本発明の第４実施形態の動作の概要について説明するための図である。 本発明の第４実施形態の動作の概要について説明するための図である。 第４実施形態で用いられるリモコンの外観を示す図である。 第４実施形態におけるテレビシステムを構成するテレビ及びリモコンの機能構成例を示した図である。 第４実施形態のテレビにおける第１リモコン検出部の動作について説明するための図である。 第４実施形態のテレビにおける第１ポインティング角度算出部の動作について説明するための図である。 第４実施形態のテレビにおける第２リモコン検出部の動作について説明するための図である。 第４実施形態のテレビの上部にカメラを取り付けた場合の第２リモコン検出部の動作について説明するための図である。 第４実施形態のテレビにおける第２ポインティング角度算出部の動作について説明するための図である。 第４実施形態のテレビにおけるキャリブレーション部の動作について説明するための図である。 第４実施形態のテレビにおけるキャリブレーション部の動作について説明するための図である。 第４実施形態のテレビにおけるキャリブレーション部の動作について説明するための図である。 第４実施形態におけるテレビの全体としての動作例を示したフローチャートである。 本発明の第５実施形態における座標算出部の機能構成例を示した図である。 ポインティング角度からポインティング座標位置への変換規則がテレビからリモコンまでの距離に応じて連続的に変化する場合の変換規則を規定するグラフの例である。 本発明のその他の実施形態に係る参照方向の設定方法を示す模式的斜視図である。 従来のポインティング装置における動作特徴を示す模式図である。
本発明の第１実施形態に係る相対ポインティング方式のポインティング装置３００について説明する。
第１実施形態のポインティング装置３００は、図１（ａ）に示すようにディスプレイたるテレビ１００と、前記テレビ１００を操作するための機能とともに、ジャイロスコープ及び方位センサ２２を備えたリモコン２００と、を備えたものである。また、前記テレビ１００の上側中央部には前記リモコン２００を撮像するためのカメラ１１が設けてあり、前記リモコン２００の先端には図１（ｂ）に示すように前記カメラ１１によって当該リモコン２００の位置を明確に捉えやすくするためのＬＥＤマーカ２３が設けてある。
そして、このポインティング装置３００は、前記リモコン２００に設定される基準方向ＳＤに対して当該リモコン２００の指示方向ＰＤがなす角度であるポインティング角度Ａ２を前記ジャイロスコープ及び前記方位センサ２２からの出力で算出する。そして、前記ポインティング装置３００は、このポインティング角度Ａ２について累積的に回転変換を行うことで前記リモコン２００の指示方向ＰＤがポインティングしている点としてテレビ１００の画面上にポインタＰを表示するように構成してある。
また、図２に示すように前記リモコン２００には前記基準方向ＳＤに沿った仮想直線を中心軸として所定の立体角を有する操作角度範囲ＣＲが設定してあり、この操作角度範囲ＣＲと前記テレビ１００のポインティング範囲とは所定の関係が設定してある。すなわち、操作角度範囲ＣＲの大きさを調節することで、前記リモコン２００の姿勢変化に対するポインタＰの感度が調節される。
ここで、第１実施形態のポインティング装置３００の動作における特徴点について図２に基づいて説明すると、第１実施形態のポインティング装置３００は、前記リモコン２００の位置が変化しても、図２の（１）及び（２）に示すように基準方向ＳＤである操作角度範囲ＣＲの中心軸が常にテレビ１００の画面中心ＰＯの方向を向く。このことによりリモコン２００の位置によらず、常にリモコン２００の指示方向ＰＤがテレビ１００の画面上でポインティングしている点と、ポインタＰの位置を略一致させ続けられるようにしてある。このような動作を実現するための詳細な構成について以下に説明する。
第１実施形態のポインティング装置３００の構成図は図３に示すようなものになり、リモコン方向検出機構３、参照角度検出機構４、基準方向調節部１４、ポインティング角度算出部１５、座標算出部１６、表示制御部１７、表示部１８とから構成してある。各部については前記テレビ１００内のＣＰＵ、メモリ、入出力手段等からなる演算機構（コンピュータ）において前記メモリに格納されているポインティング装置用プログラムが実行されることによりその機能が実現されるものである。
各部について前記リモコン２００からの入力があってから、前記テレビ１００上にポインタＰが重畳された操作画面映像ＤＰが表示されるまでの動作に絡めて説明する。なお、以下ではＸ−Ｚ平面である水平面を基準として説明を行うが、Ｙ−Ｚ平面についても同様に成り立つ。したがって、本発明のポインティング装置３００は、左右方向及び上下方向のいずれについても基準方向ＳＤが画面中心ＰＯを向くように調節することができる。
前記リモコン方向検出機構３は、リモコン方向検出部の一例であり、図４に示すように前記テレビ１００に設定された参照点である画面中心ＰＯから前記リモコン２００を見た場合の方向であるリモコン方向ＲＤを検出するためのものである。このリモコン方向ＲＤとは、前記画面中心ＰＯと前記リモコン２００の先端部分とを結ぶ仮想直線によっても定義することができ、第１実施形態ではこの仮想直線の延びる方向と前記基準方向ＳＤとが常に一致し続けるようにしてある。
第１実施形態では、前記リモコン方向検出機構３は、前記テレビ１００からユーザ側へ向けられており、前記リモコン２００のＬＥＤマーカ２３を撮像するためのカメラ１１と、前記カメラ１１で撮像されたカメラ画像ＰＩＣに基づいて、リモコン方向ＲＤを示す値であって、前記画面中心ＰＯに対して垂直な方向に対してリモコン方向ＲＤがなす角度であるリモコン方向角度ＡＰを算出するリモコン方向角度算出部１２とから構成してある。
前記リモコン方向角度算出部１２は、図４（ａ）で示されるカメラ画像ＰＩＣを図４（ｂ）で示されるように二値化し、前記ＬＥＤマーカ２３のみが強調された二値化画像を生成する。そして、前記リモコン方向角度算出部１２は、二値化画像におけるテレビ１００の中心線からＬＥＤマーカ２３の検出位置までの離間距離ＤＥＴを算出する。ここで、離間距離ＤＥＴと図４（ｃ）で示されるリモコン方向角度ＡＰとの間には、前記カメラ１１の特性によって一意に定まる関係が存在するため、前記リモコン方向角度算出部１２は、離間距離ＤＥＴからリモコン方向角度ＡＰを算出することができ、結果としてリモコン方向ＲＤを特定することができる。
なお、第１実施形態ではＬＥＤマーカ２３の明るさに基づいて検出を行っているが、例えばＬＥＤマーカ２３の色や点滅パターン等に基づいて検出を行ってもよい。また、ＬＥＤマーカ２３の代わりに反射マーカ等を用いても構わない。更に、ＬＥＤマーカ２３は、１つであっても、２つ以上であってもよく、また、ＬＥＤマーカ２３の形状は自由に決めてよい。
次に前記参照角度検出機構４について図３及び図５を参照しながら説明する。ここで、図５においては分かりやすさのため操作角度範囲ＣＲについては省略しており、前記基準方向ＳＤのみを図示しているが、実際には図２及び図４に示した操作角度範囲ＣＲが前記基準方向ＳＤを中心軸として設定してある。
前記参照角度検出機構４は、参照角度検出部の一例であり、テレビ１００に対して設定された参照方向ＣＯに対して前記リモコン２００の指示方向ＰＤがなす角度である参照角度ＡＣを検出するものである。ここで、第１実施形態では、前記参照方向ＣＯはテレビ１００に対して垂直な方向に設定してあり、この参照方向ＣＯに対して前記リモコン２００の指示方向ＰＤが何度傾いているかについて前記参照角度検出機構４は検出する。すなわち、参照角度ＡＣはテレビ１００の画面に対してリモコン２００の指示方向ＰＤがどの程度傾いている状態であるかについて前記参照方向ＣＯを基準とした絶対的な値として示すものである。
前記参照角度検出機構４はより具体的には、図３に示すように前記方位センサ２２と、前記参照角度算出部１３とから構成してある。前記方位センサ２２は、リモコン２００の先端が指示している方向である指示方向ＰＤの方位を数値として出力するものである。以下では、図５に示すようにリモコン２００の指示方向ＰＤがテレビ１００画面に対して垂直な方向である参照方向ＣＯへ向いている場合に前記方位センサ２２が出力する方位を参照方位ＣＯ、リモコン２００の指示方向ＰＤに対応して前記方位センサ２２が現在出力している方位のことをリモコン方位ＣＯＭともよぶ。尚、参照方位ＣＯは、テレビ１００を起動後、リモコン２００を画面に垂直な方向に配置し、そのときに方位センサ２２が出力するリモコン方位ＣＯＭの値を読み出すことによって、予め設定することができる。或いは、テレビ１００を起動後に手動で設定するのではなく、テレビ１００に方位センサを設けるなどして、事前に自動的に設定されるようにしてもよい。
前記参照角度算出部１３は、前記参照方位ＣＯと前記リモコン方位ＣＯＭの差から図５に示される参照角度ＡＣを算出するものである。なお、参照角度ＡＣは前記方位センサ２２に基づいた値であるので、リモコン２００の指示方向ＰＤに対して一意に定まる値である。
次に前記リモコン方向検出機構３及び前記参照角度検出機構４でそれぞれ検出されたリモコン方向ＲＤ及び参照角度ＡＣに基づいて前記基準方向調節部１４により基準方向ＳＤが適宜変更される構成について説明する。
前記基準方向調節部１４は、操作角度範囲ＣＲの中心である基準方向ＳＤが、前記リモコン方向ＲＤが一致するように前記基準方向ＳＤを調節するように動作するものである。言い換えると、前記リモコン２００の指示方向ＰＤが前記画面中心ＰＯを指している場合に、基準方向ＳＤとリモコン方向ＲＤが一致するように基準方向ＳＤの向きを適宜変更しているものである。
より具体的には前記基準方向調節部１４は、図３に示すように後述するポインティング角度算出部１５において初期値として使用される基準ポインティング角度Ａ１について、リモコン方向ＲＤを示す前記リモコン方向角度ＡＰと前記参照角度ＡＣから算出し、前記基準ポインティング角度Ａ１を更新することによって結果として前記基準方向ＳＤが画面中心ＰＯを向くように調節するものである。
次に基準ポインティング角度Ａ１について説明する。
前記基準ポインティング角度Ａ１は、リモコン２００の指示方向ＰＤが画面中心ＰＯを指している場合に対して、リモコン２００の現在の指示方向ＰＤが何度傾いているかを示す値である。したがって、図５に示すように基準ポインティング角度Ａ１は、参照角度ＡＣからリモコン方向角度ＡＰを引くことにより求めることができる。これは、画面中心ＰＯにおいて画面に垂直な線と参照方向ＣＯが平行であり、錯角の関係から明らかである。また、基準ポインティング角度Ａ１は、前記リモコン方向検出機構３及び前記参照角度検出機構４によって参照方向ＣＯを基準として検出される正確な値であるとも言える。
次に前記ポインティング角度算出部１５について説明する。
前記ポインティング角度算出部１５は、前記基準ポインティング角度Ａ１と、前記ジャイロスコープ２１から出力される角速度に基づいて現在のポインティング角度Ａ２を算出するものである。すなわち、前記ポインティング角度算出部１５は、初期値として前記基準ポインティング角度Ａ１を使用し、その値から前記ジャイロスコープ２１で得られる角速度を累積的に回転変換を繰り返していくことで、現在のポインティング角度Ａ２を算出するよう構成してある。そして、前記ポインティング角度算出部１５は、現在保持しているポインティング角度Ａ２は前記基準方向調節部１４によって所定時間ごとに前記基準ポインティング角度Ａ１へ置き換えられるようにしてあり、略常に前記基準方向ＳＤが画面中心ＰＯを向き続ける。
ここで、前記ポインティング角度算出部１５で使用される基準ポインティング角度Ａ１は方位センサ２２の出力に基づいて算出されるものであり、逐次算出される現在のポインティング角度Ａ２についてはジャイロスコープ２１の出力に基づいている。つまり、ポインティング角度Ａ２の演算には方位センサ２２よりも応答性の高いジャイロスコープ２１を用いることで、リモコン２００の動きに対するポインタＰの追従性が良くなるようにしてある。
前記座標算出部１６は、ディスプレイ上の対応する位置を算出する位置算出部の一例であり、前記ポインティング角度Ａ２に基づいて、対応するポインティング座標位置ＰＯＳを算出するものである。
前記表示制御部１７は、前記ポインティング座標位置ＰＯＳに基づいてポインタＰをメニュー画面等の基礎画面に対して重畳した操作画面映像ＤＰを出力する。ここで、前記座標算出部１６と前記表示制御部１７とからなる部分は、ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部の一例である。
最後に前記表示部１８は、操作画面映像ＤＰをテレビ１００に表示させる。
このように第１実施形態のポインティング装置３００によれば、前記リモコン方向検出機構３及び前記参照角度検出機構４により検出されるリモコン方向ＲＤと、テレビ１００を基準とした絶対的な値である参照角度ＡＣに基づいて、リモコン２００の基準方向ＳＤが画面中心ＰＯを向いている場合における現在の基準ポインティング角度Ａ１を算出することができる。そして、この基準ポインティング角度Ａ１を前記ポインティング角度算出部１５で使用されている現在のポインティング角度Ａ２と置き換えることにより、基準方向ＳＤが画面中心ＰＯへ向いた状態を基準とした角度演算に自動的にリセットすることができる。
したがって、テレビ１００に対するリモコン２００の相対位置が変化したとしても前記ポインティング角度算出部１５で保持されている現在のポインティング角度Ａ２が、前記基準方向調節部１４により算出される基準ポインティング角度Ａ１へと置き換えられることで、すぐにリモコン２００の指示方向ＰＤが画面上をポインティングしている点と、ポインタＰの画面上の位置を略一致させることができる。
そして、前記基準方向調節部１４は所定時間ごとに前記基準ポインティング角度Ａ１を算出し、前記ポインティング角度算出部１５で保持されているポインティング角度Ａ２を更新していくので、結果として基準方向ＳＤが定期的に画面中心ＰＯを向くように調節されることになる。
したがって、ユーザは従来のように基準方向ＳＤが画面中心ＰＯを向くようにリセット動作を行う必要がない。
これらのことから、ユーザはリモコン２００によってポインタＰを自然な操作感で操作する事が可能となる。
次に本発明の第２実施形態に係るポインティング装置３００について図６を参照しながら説明する。なお、以下の説明では第１実施形態に対応する部材には同じ符号を付すこととする。
第１実施形態のポインティング装置３００と比較して、第２実施形態のポインティング装置３００は、前記リモコン方向検出機構３から出力されるリモコン方向角度ＡＰについて、前記ポインティング角度算出部１５が取得するように構成してある点が異なっている。
また、前記ポインティング角度算出部１５は、前記基準方向調節部１４から出力された基準ポインティング角度Ａ１への置き換えが行われた時の過去のリモコン方向角度ＡＰを記憶している。
そして、前記ポインティング角度算出部１５は、前記リモコン方向検出機構３から出力された新たなリモコン方向角度ＡＰと過去のリモコン方向角度ＡＰを比較し、それらが所定値以上の差を有する場合に現在のポインティング角度Ａ２を基準ポインティング角度Ａ１へと置き換えることを許可するように構成してある。
このような第２実施形態のポインティング装置３００によれば、例えば図２に示されるようにテレビ１００に対するリモコン２００の相対位置が変化し、前記リモコン方向検出機構３から出力されるリモコン方向角度ＡＰに所定値以上の変化が生じた場合にのみ、基準方向ＳＤの調節が行われるようにすることができる。
したがって、リモコン２００の指示方向ＰＤが画面上でポインティングしている点とポインタＰの位置との間に大きなずれが発生する前に確実に基準方向ＳＤの調節を行い、それらが一致し続けるようにすることができる。
次に本発明の第３実施形態に係るポインティング装置３００について図７を参照しながら説明する。
第１実施形態のポインティング装置３００と比較して、第３実施形態のポインティング装置３００は前記ジャイロスコープ２１が省略されており、前記ポインティング角度算出部１５は、前記基準ポインティング角度Ａ１に基づいて、ポインティング角度Ａ２を算出するように構成してある点が異なっている。より具体的には、第３実施形態のポインティング装置３００は、前記リモコン方向検出機構３から出力されるリモコン方向角度ＡＰと、参照角度検出機構４から出力される参照角度ＡＣとで定期的に算出される基準ポインティング角度Ａ１をそのままポインティング角度Ａ２として前記ポインティング角度算出部１５が出力するように構成してある。
このようなものであれば、リモコン２００に設けるセンサを１つにしてコストを低減しつつ、基準方向ＳＤが画面中心ＰＯを常に向くようにし、リモコン２００の指示方向ＰＤとポインタＰの位置が一致し続けるようにできる。
次に本発明の第４実施形態に係るポインティング装置３００であるテレビシステムについて説明する。
図８は、本実施形態におけるテレビシステム１０の全体構成例を示した図である。このテレビシステム１０は、画像表示システムの一例であり、テレビ１００と、リモコン２００とを備える。
テレビ１００は、画像表示装置の一例であり、放送局から送信された映像及び音声を含む放送コンテンツを受信し、映像を画面に表示すると共に音声を出力する装置である。また、テレビ１００は、放送コンテンツの選択等の操作を行うための画像も画面に表示する。更に、テレビ１００は、カメラ１１を備える。ここでは、カメラ１１は可視光カラーカメラであるものとして説明する。尚、画像表示装置は、テレビに限らず、ＰＣ、サイネージモニタ等で用いられるものであってもよい。ここで、画像表示装置とは、液晶モニタ、有機ＥＬモニタ等をいう。
リモコン２００は、テレビ１００の画面に表示された画像上で放送コンテンツの選択等の操作を行うために使用される。
図９及び図１０は、従来のポインティング方式のリモコン２００の動作について説明するための図である。図９には、テレビ１００とリモコン２００との位置関係を上方からの視点で表しており、図１０には、テレビ１００とリモコン２００との位置関係を側方からの視点で表している。
角度センサを用いた相対ポインティング方式によるリモコン２００を用いた場合、リモコン２００の角度を左右上下に変化させると、画面上のポインティング位置も左右上下に移動する。ここで、画面上のポインティング範囲に対して、リモコン２００の操作角度範囲は所定の関係で対応付けられる。この所定の関係とは、リモコン２００が操作角度範囲の中心、左端、右端、上端、下端の方向を向いたときには、画面上のポインティング位置もそれぞれ画面の中心、左端、右端、上端、下端に移動する、という関係である。そして、この関係は、操作角度範囲の大小によらない。例えば、操作角度範囲を小さく設定すると、画面上のポインティング位置の移動はリモコン２００の動きに対して敏感になり、操作角度範囲を大きく設定すると、画面上のポインティング位置の移動はリモコン２００の動きに対して鈍感になる。
図９の位置Ｐ１及び図１０の位置Ｐ３は、リモコン２００がテレビ１００の正面にあるときの位置であり、このとき、操作角度範囲の中心方向は、画面中心ＰＯの方向を向いているとする。このようにリモコン２００の操作角度範囲の中心方向と画面中心ＰＯの方向とが一致する場合、リモコン２００の指示方向と画面上のポインティング位置も良好に一致するため、ユーザは自然な使用感を得ることができる。
しかしながら、このままの設定でユーザがリモコン２００を右方向又は下方向に平行移動し、図９の位置Ｐ２又は図１０の位置Ｐ４に位置付けたとする。この場合は、各図に示すように、リモコン２００の操作角度範囲の中心方向が、テレビ１００の右端付近又は下端付近の方向を向く。これにより、リモコン２００の指示方向と画面上のポインティング位置とがずれてしまうため、不自然な使用感となってしまう。このような場合、従来のポインティング方式のリモコン２００は、ユーザがリモコン２００を画面中心ＰＯに向けてリセットボタンを押すことによって、強制的にリモコン２００の指示方向と画面上のポインティング位置とを一致させていた。
そこで、本実施形態では、リモコン２００の位置が変わっても、ユーザの操作を必要とせずに、リモコン２００の操作角度範囲の中心方向が画面中心ＰＯの方向を向くようなポインティング方式を実現する。
図１１及び図１２は、本実施形態の動作の概略について説明するための図である。図１１には、テレビ１００とリモコン２００との位置関係を上方からの視点で表しており、図１２には、テレビ１００とリモコン２００との位置関係を側方からの視点で表している。
図１１の位置Ｐ１及び図１２の位置Ｐ３にリモコン２００がある場合は、図９及び図１０の場合と同じであるが、このままの設定でユーザがリモコン２００を右方向又は下方向に平行移動し、図１１の位置Ｐ２又は図１２の位置Ｐ４に位置付けた場合は、図９及び図１０の場合と異なる。即ち、この場合は、各図に示すように、リモコン２００の操作角度範囲の中心方向が、画面中心ＰＯの方向を向く。これにより、リモコン２００の指示方向と画面上のポインティング位置とが一致し、自然な使用感となる。以降で、このような新しいポインティング方式を実現する方法について詳しく説明する。
図１３は、本実施形態で用いられるリモコン２００の外観を示す図である。図示するように、リモコン２００は、ＬＥＤマーカ２３を備える。ここでは、ＬＥＤマーカ２３は、可視光ＬＥＤとして説明する。
図１４は、本実施形態のテレビシステム１０を構成するテレビ１００及びリモコン２００の機能構成例を示した図である。
テレビ１００は、上述したように、カメラ１１を備える。また、図示するように、第１リモコン検出部１２０と、第２リモコン検出部１２１と、キャリブレーション部１２２と、第１ポインティング角度算出部１４０と、第２ポインティング角度算出部１４１と、ポインティング角度更新部１５０と、座標算出部１６と、表示制御部１７と、表示部１８とを備える。
カメラ１１は、テレビ１００の画面側（視聴者側）の景色を撮影することによりカメラ画像ＰＩＣを生成し、カメラ画像ＰＩＣを第１リモコン検出部１２０及び第２リモコン検出部１２１に出力する。本実施形態では、撮影手段の一例として、カメラ１１を設けている。
第１リモコン検出部１２０は、カメラ１１が出力したカメラ画像ＰＩＣから、リモコン２００に搭載されるＬＥＤマーカを検出する。そして、テレビ１００の画面に垂直な方向と、画面中心ＰＯからリモコン２００への方向の水平成分（水平面に投影した成分）とがなす角度であるリモコン方向角度ＡＰｈを算出し、第１ポインティング角度算出部１４０に出力する。本実施形態では、ディスプレイに垂直な方向と、リモコン方向を一の面に投影して得られた方向とがなす角度である第１のリモコン方向角度の一例として、リモコン方向角度ＡＰｈを用いており、第１のリモコン方向角度を算出する第１のリモコン方向角度算出部の一例として、第１リモコン検出部１２０を設けている。この第１リモコン検出部１２０の動作については後で詳しく述べる。
第２リモコン検出部１２１は、カメラ１１が出力したカメラ画像ＰＩＣから、リモコン２００に搭載されるＬＥＤマーカを検出する。そして、テレビ１００の画面に垂直な方向と、画面中心ＰＯからリモコン２００への方向の垂直成分（画面中心ＰＯを通り画面に垂直な鉛直面に投影した成分）とがなす角度であるリモコン方向角度ＡＰｖを算出し、第２ポインティング角度算出部１４１に出力する。その際、第２リモコン検出部１２１は、テレビ１００の画面とカメラ１１の撮影方向とがなす撮影角度ＡＰｂａｓｅを用いる。本実施形態では、ディスプレイに垂直な方向と、リモコン方向を他の面に投影して得られた方向とがなす角度である第２のリモコン方向角度の一例として、リモコン方向角度ＡＰｖを用いており、第２のリモコン方向角度を算出する第２のリモコン方向角度算出部の一例として、第２リモコン検出部１２１を設けている。この第２リモコン検出部１２１の動作についても後で詳しく述べる。本実施形態では、リモコン方向検出部の一例として、カメラ１１と第１リモコン検出部１２０と第２リモコン検出部１２１とからなる部分を設けている。
キャリブレーション部１２２は、第２リモコン検出部１２１で用いられる撮影角度ＡＰｂａｓｅを事前に計算して設定しておく。本実施形態では、撮影角度算出部の一例として、キャリブレーション部１２２を設けている。このキャリブレーション部１２２の動作についても後で詳しく述べる。
第１ポインティング角度算出部１４０は、リモコン方向角度ＡＰｈと、リモコン２００が出力する方位ＣＯＭの水平成分であるリモコン方位ＣＯＭｈとに基づいて、基準ポインティング角度Ａ１ｈを算出し、ポインティング角度更新部１５０に出力する。この第１ポインティング角度算出部１４０の動作についても後で詳しく述べる。
第２ポインティング角度算出部１４１は、リモコン方向角度ＡＰｖと、リモコン２００が出力する方位ＣＯＭの垂直成分であるリモコン方位ＣＯＭｖとに基づいて、基準ポインティング角度Ａ１ｖを算出し、ポインティング角度更新部１５０に出力する。この第２ポインティング角度算出部１４１の動作についても後で詳しく述べる。本実施形態では、参照角度検出部及び基準方向調節部の一例として、第１ポインティング角度算出部１４０と第２ポインティング角度算出部１４１とからなる部分を設けている。
ポインティング角度更新部１５０は、リモコン２００が出力する角速度ＧＹＲと、第１ポインティング角度算出部１４０が出力する基準ポインティング角度Ａ１ｈ及び第２ポインティング角度算出部１４１が出力する基準ポインティング角度Ａ１ｖを合成した基準ポインティング角度Ａ１とに基づいて、ポインティング角度Ａ２を算出し、座標算出部１６に出力する。基本的には、現在保持しているポインティング角度Ａ２を、角速度ＧＹＲに基づいて累積的に回転変換を行うことによって、新しいポインティング角度Ａ２に更新する。そして、所定のタイミングで、ポインティング角度Ａ２の値を基準ポインティング角度Ａ１の値で置き換えるリセット動作を行う。その後、再び角速度ＧＹＲに基づいて累積的に回転変換を繰り返し、ポインティング角度Ａ２を更新していく。ここで、リセット動作を行う所定のタイミングとしては、例えば、ユーザの操作位置が変わったタイミングが考えられる。この場合、ユーザの操作位置が変わったことは、例えば、カメラ画像ＰＩＣにおけるユーザの画像の位置が変わったことから判断すればよい。但し、リセット動作は、このようなタイミングに限らず、例えば一定時間間隔で定期的に行うようにしてもよい。ポインティング角度更新部１５０は、このようにして、ユーザの操作位置が変わった場合であっても、リモコン２００の操作角度範囲の中心方向とリモコン２００が画面中心ＰＯを向く方向とを一致させる。本実施形態では、ポインティング角度を算出するポインティング角度算出部の一例として、ポインティング角度更新部１５０を設けている。
座標算出部１６は、ポインティング角度Ａ２に基づいて、テレビ１００の画面上のポインティング座標位置ＰＯＳを算出し、表示制御部１７に出力する。本実施形態では、ディスプレイ上の対応する位置を算出する位置算出部の一例として、座標算出部１６を設けている。
表示制御部１７は、ポインティング座標位置ＰＯＳに基づいて、ポインタをメニュー画面に重畳した操作画面映像ＤＰを生成し、表示部１８に出力する。本実施形態では、ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部の一例として、座標算出部１６と表示制御部１７とからなる部分を設けている。
表示部１８は、操作画面映像ＤＰをテレビ１００の画面に表示する。本実施形態では、画像を表示画面に表示する表示手段の一例として、表示部１８を設けている。
また、リモコン２００は、ジャイロスコープ２１と、加速度センサ・地磁気センサ２２０とを備える。
ジャイロスコープ２１は、例えば回転する物体に加わる慣性力を検出することにより物体の角速度を検出する角速度検出器である。ここでは、リモコン２００の角速度ＧＹＲを検出し、ポインティング角度更新部１５０に出力する。
加速度センサ・地磁気センサ２２０は、例えば微小な可動部のわずかな動きによる静電容量の変化を検出することにより加速度を検出する加速度センサと、例えば磁気センサ素子を用いて地磁気の向きを検出する地磁気センサとを含む姿勢センサである。ここでは、リモコン２００の姿勢に基づいてリモコン２００の方位ＣＯＭを検出し、その水平成分であるリモコン方位ＣＯＭｈを第１ポインティング角度算出部１４０に出力し、その垂直成分であるリモコン方位ＣＯＭｖを第２ポインティング角度算出部１４１に出力する。
次に、第１リモコン検出部１２０の動作を詳しく説明する。図１５は、第１リモコン検出部１２０の動作について説明するための図である。
図１５（ａ）は、カメラ画像ＰＩＣを表す。第１リモコン検出部１２０は、カメラ画像ＰＩＣに対して所定の閾値で二値化処理を行うことにより、図１５（ｂ）に示すような二値化画像を得る。これにより、第１リモコン検出部１２０は、ＬＥＤマーカ２３の領域を検出し、画像中心を基準として、ＬＥＤマーカ２３の画像上の検出位置ＤＥＴｈを求める。図１５（ｃ）は、テレビ１００とリモコン２００との位置関係を上方からの視点で表した図であり、テレビ１００の画面に垂直な方向を基準として、角度ＡＰｈの方向にリモコン２００が存在する様子を示す。ここで、ＬＥＤマーカ２３の画像上の検出位置ＤＥＴｈとリモコン方向角度ＡＰｈとの関係は、カメラ１１の特性によって決まるため、第１リモコン検出部１２０は、検出位置ＤＥＴｈからリモコン方向角度ＡＰｈを算出する。具体的には、図１５（ｂ）の画像の左端から右端までの長さが画角に対応することを用いて、画像中心から検出位置ＤＥＴｈまでの長さに対応するリモコン方向角度ＡＰｈを算出する。
尚、上記では、ＬＥＤの明るさに基づいてＬＥＤを検出したが、ＬＥＤの色に基づいてＬＥＤを検出してもよいし、ＬＥＤの点滅パターンに基づいてＬＥＤを検出してもよい。また、ＬＥＤマーカの代わりに反射マーカを用いてもよい。更に、ＬＥＤマーカ２３は、１つであっても、２つ以上であってもよく、また、ＬＥＤマーカ２３の形状は自由に決めてよい。
次に、第１ポインティング角度算出部１４０の動作を詳しく説明する。図１６は図１５（ｃ）と同様に、テレビ１００とリモコン２００との位置関係を上方からの視点で表した図である。尚、図が煩雑になるのを防ぐため、操作角度範囲は省略している。図中、ベクトルＣＯＭｈは、加速度センサ・地磁気センサ２２０から出力されるリモコン方位である。また、ベクトルＣＯｈは、テレビ１００の画面に垂直な参照方向である。更に、図１５（ｃ）と同様に、テレビ１００から見たときのリモコン方向角度はＡＰｈである。
図１６において、リモコン２００がテレビ１００の画面中心ＰＯを向いた方向を、リモコン２００の操作角度範囲の中心方向としたい。そのためには、参照方向ＣＯｈから角度ＡＰｈだけ回転させた方向が、リモコン２００の操作角度範囲の中心方向となればよい。参照方向ＣＯｈから角度ＡＰｈだけ回転させた方向をリモコン２００が向いたとき、リモコン２００は画面中心ＰＯの方向を指示する。そこで、第１ポインティング角度算出部１４０は、リモコン方位ＣＯＭｈと参照方向ＣＯｈとがなす角度ＡＣｈを求め、リモコン２００と画面中心ＰＯを結ぶ方向と、リモコン方位ＣＯＭｈとがなす基準ポインティング角度Ａ１ｈを、角度ＡＣｈから角度ＡＰｈを減ずることによって求める。
尚、ベクトルＣＯｈは、テレビ１００を起動後、リモコン２００を画面に垂直な方向に配置し、そのときに加速度センサ・地磁気センサ２２０が出力するリモコン方位ＣＯＭｈの値を読み出すことによって、予め設定することができる。或いは、テレビ１００を起動後に手動で設定するのではなく、テレビ１００に方位センサを設けるなどして、事前に自動的に設定されるようにしてもよい。ここでは、ベクトルＣＯｈはテレビ１００の画面に垂直な方向として説明したが、基準となる方向であればよいため、テレビ１００の画面に平行な方向等、別の方向であってもよい。
次に、第２リモコン検出部１２１の動作を詳しく説明する。上述した第１リモコン検出部１２０は水平方向について処理を行うものであったが、この第２リモコン検出部１２１は鉛直方向について同様の処理を行うものである。図１７は、第２リモコン検出部１２１の動作について説明するための図である。
図１７（ａ）は、カメラ画像ＰＩＣを表す。第２リモコン検出部１２１は、カメラ画像ＰＩＣに対して所定の閾値で二値化処理を行うことにより、図１７（ｂ）に示すような二値化画像を得る。これにより、第２リモコン検出部１２１は、ＬＥＤマーカ２３の領域を検出し、画像中心を基準として、ＬＥＤマーカ２３の画像上の検出位置ＤＥＴｖを求める。図１７（ｃ）は、テレビ１００とリモコン２００との位置関係を側方からの視点で表した図であり、テレビ１００の画面に垂直な方向を基準として、角度ＡＰｖの方向にリモコン２００が存在する様子を示す。ここで、ＬＥＤマーカ２３の画像上の検出位置ＤＥＴｖとリモコン方向角度ＡＰｖとの関係は、カメラ１１の特性によって決まるため、第２リモコン検出部１２１は、検出位置ＤＥＴｖからリモコン方向角度ＡＰｖを算出する。具体的には、図１７（ｂ）の画像の上端から下端までの長さが画角に対応することを用いて、画像中心から検出位置ＤＥＴｖまでの長さに対応するリモコン方向角度ＡＰｖを算出する。
ところで、第１リモコン検出部１２０は水平方向について画面の中央にカメラ１１を取り付けることを前提としたが、第２リモコン検出部１２１をこのままにしたのでは、鉛直方向についても画面の中央にカメラ１１を取り付けることを前提としていることになる。しかしながら、それでは、カメラ１１を画面中心ＰＯに取り付けることになってしまうため、カメラ１１をテレビ１００の上部又は下部のフレームに取り付けるものとして、第２リモコン検出部１２１の動作を修正する必要がある。
そこで、本実施形態では、カメラ１１をテレビ１００の上部のフレームの中央に取り付けるものとする。図１でも、カメラ１１をテレビ１００の上部のフレームの中央に取り付けた例を示した。
ここで、カメラ１１をテレビ１００の上部に取り付けた場合の第２リモコン検出部１２１の動作を詳しく説明する。図１８は、テレビ１００とリモコン２００との位置関係を側方からの視点で表した図であり、テレビ１００の画面に垂直な方向を基準として、角度ＡＰｖの方向にリモコン２００が存在する様子を示す。尚、図が煩雑になるのを防ぐため、操作角度範囲は省略している。第２リモコン検出部１２１は、図１７（ｃ）では、カメラ１１の特性によって決まる検出位置ＤＥＴｖとリモコン方向角度ＡＰｖとの関係のみに基づいて、検出位置ＤＥＴｖからリモコン方向角度ＡＰｖを求めたが、カメラ１１がテレビ１００の上部に取り付けられた場合に検出位置ＤＥＴｖからリモコン方向角度ＡＰｖを求めるためには、次の補正が必要となる。
即ち、まず、第２リモコン検出部１２１は、カメラ１１からリモコン２００までの距離Ｌ１を求める。例えば、カメラ画像ＰＩＣ上のＬＥＤマーカ２３の面積Ｓは距離Ｌ１の二乗に反比例するので、面積Ｓと距離Ｌ１との関係をルックアップテーブルに保持しておき、このルックアップテーブルを参照することにより距離Ｌ１を求めるとよい。或いは、リモコン２００に２つのＬＥＤマーカ２３を設けたとすると、カメラ画像ＰＩＣ上の２つのＬＥＤマーカ２３の間隔Ｄは距離Ｌ１に反比例するので、間隔Ｄと距離Ｌ１との関係をルックアップテーブルに保持しておき、このルックアップテーブルを参照することにより距離Ｌ１を求めてもよい。
次に、第２リモコン検出部１２１は、リモコン２００からテレビ１００までの距離Ｌ２を、「Ｌ２＝Ｌ１×ｓｉｎ（ＡＰｂａｓｅ−ＡＰｂｅｆｏｒｅ）」により算出する。ここで、ＡＰｂａｓｅはカメラ１１の撮影方向が画面となす角度（以下、「撮影角度」という）である。本実施形態では、カメラ１１をテレビ１００の上部に取り付けているので、撮影角度は俯角となるが、カメラ１１をテレビ１００の下部に取り付ければ、撮影角度は仰角となる。また、ＡＰｂｅｆｏｒｅは、カメラ１１の撮影方向と、カメラ１１からリモコン２００への方向とがなす角度（撮影リモコン角度）であり、カメラ画像ＰＩＣ上の検出位置ＤＥＴｖから求められる。
また、第２リモコン検出部１２１は、リモコン２００からテレビ１００に下ろした垂線の足とカメラ１１との距離Ｌ３を、「Ｌ３＝Ｌ１×ｃｏｓ（ＡＰｂａｓｅ−ＡＰｂｅｆｏｒｅ）」により算出する。
次いで、第２リモコン検出部１２１は、リモコン２００からテレビ１００に下ろした垂線の足とテレビ画面の中心ＰＯとの距離Ｌ４を、「Ｌ４＝Ｌ３−Ｈ／２」で求める。ここで、Ｈはテレビ１００の高さである。
以上により、第２リモコン検出部１２１は、リモコン方向角度ＡＰｖを、「ＡＰｖ＝ａｒｃｔａｎ（Ｌ４／Ｌ２）」により求める。
次に、第２ポインティング角度算出部１４１の動作を詳しく説明する。図１９は図１７（ｃ）と同様に、テレビ１００とリモコン２００との位置関係を側方からの視点で表した図である。尚、図が煩雑になるのを防ぐため、操作角度範囲は省略している。図中、ベクトルＣＯＭｖは、加速度センサ・地磁気センサ２２０から出力されるリモコン方位である。また、ベクトルＣＯｖは、テレビ１００の画面に垂直な参照方向である。更に、図１７（ｃ）と同様に、テレビ１００から見たときのリモコン方向角度はＡＰｖである。
図１９において、リモコン２００がテレビ１００の画面中心ＰＯを向いた方向を、リモコン２００の操作角度範囲の中心方向としたい。そのためには、参照方向ＣＯｈから角度ＡＰｖだけ回転させた方向が、リモコン２００の操作角度範囲の中心方向となればよい。参照方向ＣＯｈから角度ＡＰｖだけ回転させた方向をリモコン２００が向いたとき、リモコン２００は画面中心ＰＯの方向を指示する。そこで、第２ポインティング角度算出部１４１は、リモコン方位ＣＯＭｖと参照方向ＣＯｈとがなす角度ＡＣｖを求め、リモコン２００と画面中心ＰＯを結ぶ方向と、リモコン方位ＣＯＭｖとがなす基準ポインティング角度Ａ１ｖを、角度ＡＣｖから角度ＡＰｖを減ずることによって求める。
尚、ベクトルＣＯｖは、テレビ１００を起動後、リモコン２００を画面に垂直な方向に配置し、そのときに加速度センサ・地磁気センサ２２０が出力するリモコン方位ＣＯＭｖの値を読み出すことによって、予め設定することができる。或いは、テレビ１００を起動後に手動で設定するのではなく、テレビ１００に方位センサを設けるなどして、事前に自動的に設定されるようにしてもよい。ここでは、ベクトルＣＯｖはテレビ１００の画面に垂直な方向として説明したが、基準となる方向であればよいため、テレビ１００の画面に平行な方向等、別の方向であってもよい。
次に、キャリブレーション部１２２の動作を詳しく説明する。即ち、カメラ１１の撮影角度の計算方法について述べる。まず、図２０に示すように、カメラ１１を撮影方向が水平になるようにテレビ１００の上部のフレームに取り付けた状態で、キャリブレーション部１２２は、視野内のリモコン２００の鉛直方向位置を記憶する。次に、図２１に示すように、カメラ１１の撮影角度が所望の角度になるように調整した状態で、キャリブレーション部１２２は、再度視野内のリモコン２００の鉛直方向位置を記憶する。これにより、キャリブレーション部１２２は、図２２に示すように、カメラ１１の鉛直方向の画角θと、画像上でのリモコン２００の移動量ΔＤとを用いて、カメラ１１の撮影角度を「θ×ΔＤ／Ｎ」とする。ここで、Ｎは、鉛直方向画角に対応する画素数である。尚、鉛直方向画角は、イメージセンサのサイズとカメラ１１の焦点距離とから算出してもよいし、実測値から求めてもよい。ここで実測値とは、カメラ１１を用いて実験的に鉛直方向画角を計測した結果であり、これを記憶する構成としてもよい。
また、上記では、画像上でのリモコン２００の移動量ΔＤを用いて、カメラ１１の撮影角度を算出する方法を示したが、画像上の背景の移動量を用いてもよい。カメラ１１が水平な場合の背景画像を撮影して記憶しておき、カメラ１１の撮影角度を調整した後の背景画像と比較することで、背景画像の移動量ΔＤを求めることができ、同様にしてカメラ１１の撮影角度を算出することができる。
或いは、エンコーダと呼ばれる角度を計測するセンサを用いてもよい。エンコーダをカメラ１１の角度調整部分に取り付けることによって、直接的に角度を計測することができる。
尚、これまで、カメラ１１及びＬＥＤマーカ２３は、それぞれ可視光カメラ及び可視光ＬＥＤであるものとして説明してきたが、これには限らない。例えば、それぞれ赤外光カメラ及び赤外光ＬＥＤであってもよい。
次に、本実施形態におけるテレビ１００の全体としての動作を説明する。図２３は、テレビ１００の全体としての動作例を示したフローチャートである。
図示するように、テレビ１００では、まず、カメラ１１が、テレビ１００の画面側（視聴者側）の景色を撮影することにより、カメラ画像ＰＩＣを生成する（ステップ３０１）。すると、第１リモコン検出部１２０が、ステップ３０１で生成されたカメラ画像ＰＩＣに基づいて、テレビ１００の画面に垂直な方向と、画面中心ＰＯからリモコン２００への方向の水平成分とがなす角度であるリモコン方向角度ＡＰｈを算出し（ステップ３０２）、第２リモコン検出部１２１が、ステップ３０１で生成されたカメラ画像ＰＩＣと、テレビ１００の画面とカメラ１１の撮影方向とがなす撮影角度とに基づいて、テレビ１００の画面に垂直な方向と、画面中心ＰＯからリモコン２００への方向の垂直成分とがなす角度であるリモコン方向角度ＡＰｖを算出する（ステップ３０３）。
次に、第１ポインティング角度算出部１４０が、ステップ３０２で算出されたリモコン方向角度ＡＰｈと、リモコン２００が出力する指示方向の水平成分であるリモコン方位ＣＯＭｈとに基づいて、基準ポインティング角度Ａ１ｈを算出し（ステップ３０４）、第２ポインティング角度算出部１４１が、ステップ３０３で算出されたリモコン方向角度ＡＰｖと、リモコン２００が出力する指示方向の垂直成分であるリモコン方位ＣＯＭｖとに基づいて、基準ポインティング角度Ａ１ｖを算出する（ステップ３０５）。すると、ポインティング角度更新部１５０が、リモコン２００が出力する角速度ＧＹＲと、ステップ３０４で算出された基準ポインティング角度Ａ１ｈ及びステップ３０５で算出された基準ポインティング角度Ａ１ｖを合成した基準ポインティング角度Ａ１とに基づいて、ポインティング角度Ａ２を算出する（ステップ３０６）。
次いで、座標算出部１６が、ポインティング角度Ａ２に基づいて、テレビ１００の画面上のポインティング座標位置ＰＯＳを算出する（ステップ３０７）。すると、表示制御部１７が、ステップ３０７で算出されたポインティング座標位置ＰＯＳに基づいて、ポインタをメニュー画面に重畳した操作画面映像ＤＰを生成する（ステップ３０８）。そして、表示部１８が、ステップ３０８で生成された操作画面映像ＤＰをテレビ１００の画面に表示する。
尚、本実施形態では、カメラ１１をテレビ１００の上部又は下部のフレームに取り付けるものとし、第１リモコン検出部１２０及び第１ポインティング角度算出部１４０が水平面上で処理を行い、第２リモコン検出部１２１及び第２ポインティング角度算出部１４１がテレビ１００の画面に垂直な鉛直面上で処理を行うようにした。しかしながら、カメラ１１をテレビ１００の左側又は右側のフレームに取り付けるものとし、第１リモコン検出部１２０及び第１ポインティング角度算出部１４０がテレビ１００の画面に垂直な鉛直面上で処理を行い、第２リモコン検出部１２１及び第２ポインティング角度算出部１４１が水平面上で処理を行うようにしてもよい。尚、カメラ１１をテレビ１００の上部又は下部のフレームに取り付ける場合は、水平面が一の面の一例であり、テレビ１００の画面に垂直な鉛直面が他の面の一例であるが、カメラ１１をテレビ１００の左側又は右側のフレームに取り付ける場合は、テレビ１００の画面に垂直な鉛直面が一の面の一例であり、水平面が他の面の一例である。
また、本実施形態では、カメラ１１をテレビ１００のフレームの中央に取り付けることとした。ここで、フレームの中央はフレームの中点であることが理想的ではあるが、必ずしもフレームの中点である必要はない。カメラ１１が視聴者側を撮影することにより生成されたカメラ画像ＰＩＣ上で、カメラ１１の取り付け位置のフレームの中点からのずれは補正できるからである。
更に、本実施形態では、カメラ画像ＰＩＣの中のＬＥＤマーカ２３の面積ＳやＬＥＤマーカ２３同士の間隔をもとに、カメラ１１とリモコン２００の距離Ｌ１を計測したが、他の方法を用いてもよい。
例えば、ステレオカメラを用いる方法でもよい。一般にステレオカメラは、左右又は上下に並べられた２台のカメラの視差情報を利用して、対象物までの奥行き情報（距離）を得ることができるカメラである。そしてカメラ前方の物体までの距離を画像で表した距離画像を得ることができる。例えば、既にテレビ１００の上辺中央にカメラ１１を設置している場合には、下辺中央にもう１台のカメラ１１０を設置することでステレオカメラを構成することができる。既に備えているカメラ１１からのカメラ画像ＰＩＣでリモコン２００の座標が分かっているため、距離画像の中の同じ座標のデータを参照することで、カメラ１１とリモコン２００の距離Ｌ１を計測することができる。
或いは、距離画像センサを用いる方法でもよい。これも距離画像を得るためのセンサであるため、同様にしてカメラ１１とリモコン２００の距離Ｌ１を計測することができる。例えば、距離画像センサには、光の到着時間の差を用いるＴＯＦ（タイムオブフライト）方式のもの、特定のパターン形状の赤外光を照射してそのパターン形状の歪をもとに物体までの距離を計算するストラクチャードライト方式のものなどがある。
或いは、超音波を用いる方法でもよい。リモコン２００に超音波発信器を備え、テレビ１００の異なる位置に２つの超音波受信器を備え、リモコン２００の超音波発信器から超音波を発信し、２つの超音波受信器で受信される超音波波形の位相差と、２つの超音波受信器の間隔とに基づいて三角測量の原理から、カメラ１１とリモコン２００の距離Ｌ１を計測することができる。また、超音波受信器は３つ以上でもよく、３つ以上とすれば、より精度の高い計測が可能となる。
或いは、電波を用いる方法でもよい。超音波を用いる場合と同様に、リモコン２００に電波発信器、テレビ１００の異なる位置に２つの電波受信器を備え、リモコン２００から電波を発信し、２つの電波受信器で受信される電波の位相差から三角測量の原理から、カメラ１１とリモコン２００の距離Ｌ１を計測することができる。また、電波受信器は３つ以上でもよく、３つ以上とすれば、より高い精度の計測が可能となる。
また、この第４実施形態は、第１実施形態をベースとした構成を有するものとしたが、第２実施形態又は第３実施形態をベースとした構成を有するものとしてもよい。即ち、第２実施形態と同様に、ポインティング角度更新部１５０が第１リモコン検出部１２０及び第２リモコン検出部１２１からリモコン方向角度ＡＰｈ及びリモコン方向角度ＡＰｖを取得する構成としてもよいし、第３実施形態と同様に、ジャイロスコープ２１を設けない構成としてもよい。
次に本発明の第５実施形態に係るポインティング装置について説明する。
図２４は、このポインティング装置における座標算出部１６の機能構成例を示した図である。即ち、本発明の第５実施形態は、上述した第１実施形態から第４実施形態の各実施形態における座標算出部１６を、図２４の座標算出部１６としたものである。
図示するように、第５実施形態の座標算出部１６は、変換テーブル記憶部１６１と、距離取得部１６２と、座標決定部１６３と、座標出力部１６４とを備える。
変換テーブル記憶部１６１は、ポインティング角度Ａ２をポインティング座標位置ＰＯＳに変換する際に参照される変換テーブルを記憶する。この変換テーブルは、ポインティング角度Ａ２が如何なる角度である場合にポインティング座標位置ＰＯＳとして如何なる座標位置を算出するかを定義したテーブルである。変換テーブルは、１つであってもよいが、この第５実施形態では、テレビ１００からリモコン２００までの距離に対応して、複数の変換テーブルを記憶するものとする。例えば、テレビ１００からリモコン２００までの距離がＤＲ以上である場合の長距離用変換テーブルと、テレビ１００からリモコン２００までの距離がＤＲ以下である場合の短距離用変換テーブルとを記憶する。
距離取得部１６２は、テレビ１００からリモコン２００までの距離を取得する。第１実施形態から第３実施形態においては、リモコン方向角度算出部１２がリモコン方向角度ＡＰを算出する際に、第４実施形態で第２リモコン検出部１２１が行っているのと同様の方法によって、カメラ１１からリモコン２００までの距離も算出することができるので、この距離をテレビ１００からリモコン２００までの距離として取得するとよい。また、第４実施形態においては、第２リモコン検出部１２１がカメラ１１からリモコン２００までの距離Ｌ１を算出しているので、この距離をテレビ１００からリモコン２００までの距離として取得するとよい。或いは、カメラ１１からリモコン２００までの距離をそのままテレビ１００からリモコン２００までの距離として取得するのではなく、カメラ１１からリモコン２００までの距離に基づいて、例えば、画面中心ＰＯからリモコン２００までの距離を算出し、この距離をテレビ１００からリモコン２００までの距離として取得してもよい。
座標決定部１６３は、距離取得部１６２が取得した距離に応じて、変換テーブル記憶部１６１から該当する変換テーブルを読み出す。そして、この変換テーブルを用いて、ポインティング角度Ａ２に対応するポインティング座標位置ＰＯＳを決定する。例えば、距離取得部１６２が取得した距離がＤＲ以上であれば、長距離用変換テーブルを用いてポインティング座標位置ＰＯＳを決定し、距離取得部１６２が取得した距離がＤＲ以下であれば、短距離用変換テーブルを用いてポインティング座標位置ＰＯＳを決定する。
座標出力部１６４は、座標決定部１６３が決定したポインティング座標位置ＰＯＳを、表示制御部１７に出力する。
ところで、これまで、座標決定部１６３は、距離取得部１６２が取得した距離に応じて、変換テーブル記憶部１６１に記憶された複数の変換テーブルの何れかを選択し、これを用いて、ポインティング角度Ａ２をポインティング座標位置ＰＯＳに変換することとした。即ち、ポインティング角度Ａ２からポインティング座標位置ＰＯＳへの変換規則が、テレビ１００からリモコン２００までの距離に応じて、段階的に変化するようにした。しかしながら、このような変換規則は連続的に変化するようにしてもよい。図２５は、このような連続的に変化する変換規則を規定するグラフの例である。このグラフでは、横軸がテレビ１００からリモコン２００までの距離を示しており、縦軸がポインティング角度Ａ２の単位角度当たりの画面中心ＰＯからポインティング座標位置ＰＯＳまでの画素数（距離に相当）を示している。例えば、距離取得部１６２から取得した距離がＤＲＸであるとする。すると、図示するように、座標決定部１６３は、単位角度α当たりの画素数がＰＸであることを示す（ＰＸ／α）を取得する。そして、座標決定部１６３は、（ＰＸ／α）にポインティング角度Ａ２を乗ずることにより求めた画素数に基づいて、ポインティング座標位置ＰＯＳを算出する。
その他の実施形態について説明する。
第１実施形態では、参照方向についてはテレビの画面に対して垂直な方向に設定したが、例えば図２６に示すように画面に対して傾いて設定しても構わない。このようなものであっても基準ポインティング角度は、テレビ画面に対する参照方向の傾き角が既知であれば算出することができ、基準方向の調節を行うことができる。また、画面に対して平行に参照方向を設定しても構わない。
前記各実施形態では、ポインティング装置をテレビとリモコンとの間で構成したが、例えばその他のディスプレイとリモコンとの間でポインティング装置を構成しても構わない。また、ディスプレイをプロジェクタ等により構成し、その投影画面上にポインタを表示するようにしても構わない。
前記リモコン方向検出機構（第４実施形態にあっては、カメラ、第１リモコン検出部及び第２リモコン検出部からなる機構）については、カメラとＬＥＤマーカを利用したもの以外であっても構わない。例えばディスプレイの両端に音波又は電波発生源を設けておき、三角測量の要領でディスプレイに対するリモコンの相対位置を検出できるようにし、前記リモコン方向角度を算出できるよう構成したものであっても構わない。
例えば、超音波を用いる方法でもよい。リモコンに超音波発信器を備え、テレビの異なる位置に２つの超音波受信器を備え、リモコンの超音波発信器から超音波を発信し、２つの超音波受信器で受信される超音波波形の位相差と、２つの超音波受信器の間隔とに基づいて三角測量の原理から、テレビから見たリモコンの方向を計測することができる。また、超音波受信器は３つ以上でもよく、３つ以上とすれば、より精度の高い計測が可能となる。
或いは、電波を用いる方法でもよい。超音波を用いる場合と同様に、リモコンに電波発信器、テレビの異なる位置に２つの電波受信器を備え、リモコンから電波を発信し、２つの電波受信器で受信される電波の位相差から三角測量の原理から、テレビから見たリモコンの方向を計測することができる。また、電波受信器は３つ以上でもよく、３つ以上とすれば、より高い精度の計測が可能となる。
同様に前記参照角度検出機構についても、方位センサを利用したものに限られず、例えば電波や音波を利用してリモコンの先端と後端の三次元位置を検出し、それらの２つの座標からその指示方向を直接測定できるようにしても構わない。
前記各実施形態では、現在使用されているポインティング角度を基準ポインティング角度に置き換えることで基準方向が画面中心を向くように構成していたが、その他の座標変換等の演算方法により基準方向が調節されるようにしてもよい。要するに、前記基準方向と前記参照角度に基づいて、基準方向が調節されるものであればよい。
前記実施形態では参照点として画面中心を設定していたが、例えばディスプレイ上の画面中心以外の点を参照点として設定しても構わない。
その他、本発明の趣旨に反しない限りにおいて様々な実施形態の変形や組み合わせを行っても構わない。
３００…ポインティング装置、２００…リモコン、１００…テレビ（ディスプレイ）、３…リモコン方向検出機構、４…参照角度検出機構、１１…カメラ、１２…リモコン方向角度算出部、１３…参照角度算出部、１４…基準方向調節部、１５…ポインティング角度算出部、１６…座標算出部、１７…表示制御部、１８…表示部、２１…ジャイロスコープ、２２…方位センサ、１２０…第１リモコン検出部、１２１…第２リモコン検出部、１２２…キャリブレーション部、１４０…第１ポインティング角度算出部、１４１…第２ポインティング角度算出部、１５０…ポインティング角度更新部、２２０…加速度センサ・地磁気センサ

Claims (31)

  1. ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する参照角度検出部と、
    前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出するリモコン方向検出部と、
    前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する基準方向調節部と、
    前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部と
    を備えたことを特徴とするポインティング装置。
  2. 前記基準方向調節部は、所定時間ごとに前記基準方向を調節することを特徴とする請求項１に記載のポインティング装置。
  3. 前記参照角度検出部は、
    前記リモコンに設けられた方位センサと、
    前記方位センサが前記参照方向を示す方位として設定された参照方位と、前記方位センサが前記リモコンの指示方向を示す方位であるリモコン方位とに基づいて、前記参照角度を算出する参照角度算出部と
    を備えたことを特徴とする請求項１又は請求項２に記載のポインティング装置。
  4. 前記リモコンに設けられた角速度センサと、
    基準ポインティング角度と、前記角速度センサから出力される角速度とに基づいて、前記ポインティング角度を算出するポインティング角度算出部と
    を更に備え、
    前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定することを特徴とする請求項１乃至請求項３の何れかに記載のポインティング装置。
  5. 前記ポインティング角度算出部は、過去に前記基準方向を調節したときの前記リモコン方向を記憶しており、過去のリモコン方向と現在のリモコン方向の差が所定の閾値以上の場合に前記ポインティング角度を算出することを特徴とする請求項４に記載のポインティング装置。
  6. 基準ポインティング角度に基づいて、前記ポインティング角度を算出するポインティング角度算出部を更に備え、
    前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定することを特徴とする請求項１乃至請求項３の何れかに記載のポインティング装置。
  7. 前記リモコン方向検出部は、
    前記ディスプレイに対して前記リモコンを撮像可能に設けられたカメラと、
    前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向に対して前記リモコン方向がなす角度であるリモコン方向角度を算出するリモコン方向角度算出部と
    を備えたことを特徴とする請求項１乃至請求項６の何れかに記載のポインティング装置。
  8. 前記カメラは、前記ディスプレイの水平方向の枠に、当該ディスプレイに垂直な特定の鉛直面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度算出部は、
    前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの鉛直方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記特定の鉛直面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部と
    を備え、
    前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節することを特徴とする請求項７に記載のポインティング装置。
  9. 前記第２のリモコン方向角度算出部は、前記カメラの画像に基づいて、前記撮影方向と前記カメラから前記リモコンへの方向とがなす撮影リモコン角度を算出し、当該撮影リモコン角度と前記撮影角度との差分と、前記距離と、前記長さとに基づいて、前記第２のリモコン方向角度を算出することを特徴とする請求項８に記載のポインティング装置。
  10. 水平方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたことを特徴とする請求項８又は請求項９に記載のポインティング装置。
  11. 前記カメラは、前記ディスプレイの上側の枠の中央に、下向きの撮影方向を有するように設置されたことを特徴とする請求項８乃至請求項１０の何れかに記載のポインティング装置。
  12. 前記カメラは、前記ディスプレイの鉛直方向の枠に、水平面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度算出部は、
    前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記ディスプレイに垂直な特定の鉛直面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの水平方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部と
    を備え、
    前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節することを特徴とする請求項７に記載のポインティング装置。
  13. 前記第２のリモコン方向角度算出部は、前記カメラの画像に基づいて、前記撮影方向と前記カメラから前記リモコンへの方向とがなす撮影リモコン角度を算出し、当該撮影リモコン角度と前記撮影角度との差分と、前記距離と、前記長さとに基づいて、前記第２のリモコン方向角度を算出することを特徴とする請求項１２に記載のポインティング装置。
  14. 前記特定の鉛直面に平行な方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたことを特徴とする請求項１２又は請求項１３に記載のポインティング装置。
  15. 前記制御部は、
    前記ポインティング角度に基づいて、前記ディスプレイ上の対応する位置を算出する位置算出部と、
    前記位置にポインタが表示されるように制御する表示制御部と
    を備え、
    前記位置算出部は、前記ディスプレイから前記リモコンまでの距離が長いほど、前記ポインティング角度の単位角度に対する前記参照点から前記位置までの距離が長くなるように、前記位置を算出することを特徴とする請求項１乃至請求項１４の何れかに記載のポインティング装置。
  16. ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出するステップと、
    前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出するステップと、
    前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節するステップと、
    前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御するステップと
    を含むことを特徴とするポインティング方法。
  17. 前記リモコン方向を検出するステップは、前記ディスプレイに対して前記リモコンを撮像可能に設けられたカメラの撮像画像に基づいて、前記ディスプレイに垂直な方向に対して前記リモコン方向がなす角度であるリモコン方向角度を算出するステップを含むことを特徴とする請求項１６に記載のポインティング方法。
  18. 前記カメラは、特定の水平面及び前記ディスプレイに垂直な特定の鉛直面のうちの一の面に平行な前記ディスプレイの枠に、当該特定の水平面及び当該特定の鉛直面のうちの当該一の面とは異なる他の面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度を算出するステップは、
    前記カメラの撮影画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記一の面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出するステップと、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記他の面に平行な前記ディスプレイの枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記他の面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出するステップと
    を含み、
    前記基準方向を調節するステップは、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節するステップを含むことを特徴とする請求項１７に記載のポインティング方法。
  19. コンピュータに、
    ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する機能と、
    前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出する機能と、
    前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する機能と、
    前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御する機能と
    を実現させるためのプログラム。
  20. 前記リモコン方向を検出する機能は、前記ディスプレイに対して前記リモコンを撮像可能に設けられたカメラの撮像画像に基づいて、前記ディスプレイに垂直な方向に対して前記リモコン方向がなす角度であるリモコン方向角度を算出する機能を含むことを特徴とする請求項１９に記載のプログラム。
  21. 前記カメラは、特定の水平面及び前記ディスプレイに垂直な特定の鉛直面のうちの一の面に平行な前記ディスプレイの枠に、当該特定の水平面及び当該特定の鉛直面のうちの当該一の面とは異なる他の面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度を算出する機能は、
    前記カメラの撮影画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記一の面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する機能と、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記他の面に平行な前記ディスプレイの枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記他の面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する機能と
    を含み、
    前記基準方向を調節する機能は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する機能を含むことを特徴とする請求項２０に記載のプログラム。
  22. ディスプレイと、
    前記ディスプレイに対して設定された参照方向に対してリモコンの指示方向がなす角度である参照角度を検出する参照角度検出部と、
    前記ディスプレイ上に設定された参照点から前記リモコンを見た場合の方向であるリモコン方向を検出するリモコン方向検出部と、
    前記参照角度及び前記リモコン方向に基づいて、前記リモコンから当該リモコンに設定される基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節する基準方向調節部と、
    前記基準方向に対して前記リモコンの指示方向がなす角度に応じたポインティング角度に基づいて、前記ディスプレイ上の対応する位置にポインタが表示されるように制御する制御部と
    を備えたことを特徴とする画像表示装置。
  23. 前記参照角度検出部は、前記リモコンに設けられた方位センサが前記参照方向を示す方位として設定された参照方位と、前記方位センサが前記リモコンの指示方向を示す方位であるリモコン方位とに基づいて、前記参照角度を算出する参照角度算出部を備えたことを特徴とする請求項２２に記載の画像表示装置。
  24. 基準ポインティング角度と、前記リモコンに設けられた角速度センサから出力される角速度とに基づいて、前記ポインティング角度を算出するポインティング角度算出部を更に備え、
    前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定することを特徴とする請求項２２又は請求項２３に記載の画像表示装置。
  25. 前記ポインティング角度算出部は、過去に前記基準方向を調節したときの前記リモコン方向を記憶しており、過去のリモコン方向と現在のリモコン方向の差が所定の閾値以上の場合に前記ポインティング角度を算出することを特徴とする請求項２４に記載の画像表示装置。
  26. 基準ポインティング角度に基づいて、前記ポインティング角度を算出するポインティング角度算出部を更に備え、
    前記基準方向調節部は、前記基準方向に対して前記指示方向がなす角度を前記基準ポインティング角度として前記ポインティング角度算出部に設定することを特徴とする請求項２２又は請求項２３に記載の画像表示装置。
  27. 前記リモコン方向検出部は、前記ディスプレイに対して前記リモコンを撮像可能に設けられたカメラの撮像画像に基づいて、前記ディスプレイに垂直な方向に対して前記リモコン方向がなす角度であるリモコン方向角度を算出するリモコン方向角度算出部を備えたことを特徴とする請求項２２乃至請求項２６の何れかに記載の画像表示装置。
  28. 前記カメラは、前記ディスプレイの水平方向の枠に、当該ディスプレイに垂直な特定の鉛直面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度算出部は、
    前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの鉛直方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記特定の鉛直面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部と
    を備え、
    前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節することを特徴とする請求項２７に記載の画像表示装置。
  29. 水平方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたことを特徴とする請求項２８に記載の画像表示装置。
  30. 前記カメラは、前記ディスプレイの鉛直方向の枠に、水平面に平行な撮影方向を有するように設置され、
    前記リモコン方向角度算出部は、
    前記カメラの撮像画像に基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を前記ディスプレイに垂直な特定の鉛直面に投影して得られた方向とがなす角度である第１のリモコン方向角度を算出する第１のリモコン方向角度算出部と、
    前記カメラの撮影画像と、前記ディスプレイと前記撮影方向とがなす角度である撮影角度と、前記カメラから前記リモコンまでの距離と、前記ディスプレイの水平方向の枠の長さとに基づいて、前記ディスプレイに垂直な方向と、前記リモコン方向を水平面に投影して得られた方向とがなす角度である第２のリモコン方向角度を算出する第２のリモコン方向角度算出部と
    を備え、
    前記基準方向調節部は、前記参照角度、前記第１のリモコン方向角度及び前記第２のリモコン方向角度に基づいて、前記リモコンから前記基準方向を見た場合に前記ディスプレイ上の前記参照点があるように当該基準方向を調節することを特徴とする請求項２７に記載の画像表示装置。
  31. 前記特定の鉛直面に平行な方向を撮影するように設置された前記カメラで前記リモコンを撮影することにより得られた画像と、前記撮影方向を有するように設置された前記カメラで前記リモコンを撮影することにより得られた画像とに基づいて、前記撮影角度を算出する撮影角度算出部を更に備えたことを特徴とする請求項３０に記載の画像表示装置。
JP2014173247A 2013-10-02 2014-08-27 ポインティング装置、ポインティング方法、プログラム及び画像表示装置 Expired - Fee Related JP6370165B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014173247A JP6370165B2 (ja) 2013-10-25 2014-08-27 ポインティング装置、ポインティング方法、プログラム及び画像表示装置
PCT/KR2014/009273 WO2015050380A1 (ko) 2013-10-02 2014-10-01 화상 표시 장치 및 그의 포인팅 방법
US15/027,108 US9910507B2 (en) 2013-10-02 2014-10-01 Image display apparatus and pointing method for same
EP14850816.1A EP3054693B1 (en) 2013-10-02 2014-10-01 Image display apparatus and pointing method for same
KR1020140132316A KR102207256B1 (ko) 2013-10-02 2014-10-01 화상 표시 장치 및 그의 포인팅 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013222280 2013-10-25
JP2013222280 2013-10-25
JP2013242589 2013-11-25
JP2013242589 2013-11-25
JP2014173247A JP6370165B2 (ja) 2013-10-25 2014-08-27 ポインティング装置、ポインティング方法、プログラム及び画像表示装置

Publications (2)

Publication Number Publication Date
JP2015122053A JP2015122053A (ja) 2015-07-02
JP6370165B2 true JP6370165B2 (ja) 2018-08-08

Family

ID=53533582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173247A Expired - Fee Related JP6370165B2 (ja) 2013-10-02 2014-08-27 ポインティング装置、ポインティング方法、プログラム及び画像表示装置

Country Status (1)

Country Link
JP (1) JP6370165B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170057056A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102616B1 (en) * 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
JP4043702B2 (ja) * 2000-08-16 2008-02-06 日本放送協会 表示画面指示装置
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
JP5163291B2 (ja) * 2008-06-02 2013-03-13 ソニー株式会社 入力装置、制御装置、制御システム及び制御方法
US8552978B2 (en) * 2010-01-06 2013-10-08 Cywee Group Limited 3D pointing device and method for compensating rotations of the 3D pointing device thereof
JP5448073B2 (ja) * 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
CN102641590A (zh) * 2011-02-18 2012-08-22 富泰华工业（深圳）有限公司 具有投影功能的游戏手柄
TWI436241B (zh) * 2011-07-01 2014-05-01 J Mex Inc 遙控裝置及將其用於校正螢幕的控制系統及方法
TW201305854A (zh) * 2011-07-26 2013-02-01 Chip Goal Electronics Corp 無線遙控影像顯示系統與用於其中的控制器及處理方法

Also Published As

Publication number Publication date
JP2015122053A (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
US9910507B2 (en) Image display apparatus and pointing method for same
EP2962284B1 (en) Optical navigation & positioning system
US10241616B2 (en) Calibration of sensors and projector
US10284831B2 (en) Projection system, projector apparatus, image capturing apparatus, and projection method
US10504243B2 (en) Calibration system for a head-mounted display tracking system
US20120026088A1 (en) Handheld device with projected user interface and interactive image
JP6994879B2 (ja) 測量システム
JP6823482B2 (ja) 三次元位置計測システム，三次元位置計測方法，および計測モジュール
US9683833B2 (en) Surveying apparatus having a range camera
US10326894B1 (en) Self stabilizing projector
JP7097709B2 (ja) 測量システム
US20080212870A1 (en) Combined beacon and scene navigation system
WO2020156299A1 (zh) 基于三维光学成像传感器的三维超声成像方法和系统
JP2018146524A (ja) 測量システム
JP2019132769A5 (ja)
JP2018189470A (ja) 測量システム
JPWO2019064399A1 (ja) 情報処理システムおよび対象物情報取得方法
CN116258626A (zh) 获取全景图像的方法、装置、系统、设备及存储介质
JP2015227825A (ja) デジタル水準器およびこれを備えたデジタルカメラならびにデジタル水準器プログラム
JP2006170688A (ja) ステレオ画像作成方法及び３次元データ作成装置
JP6370165B2 (ja) ポインティング装置、ポインティング方法、プログラム及び画像表示装置
US9013404B2 (en) Method and locating device for locating a pointing device
KR102207256B1 (ko) 화상 표시 장치 및 그의 포인팅 방법
US20190180471A1 (en) Method for setting a viewing direction in a representation of a virtual environment
JP2007033315A (ja) ３次元物体測量装置および測量写真解析装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180710

R150 Certificate of patent or registration of utility model

Ref document number: 6370165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees