JP5463790B2 - 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 - Google Patents

操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 Download PDF

Info

Publication number
JP5463790B2
JP5463790B2 JP2009189486A JP2009189486A JP5463790B2 JP 5463790 B2 JP5463790 B2 JP 5463790B2 JP 2009189486 A JP2009189486 A JP 2009189486A JP 2009189486 A JP2009189486 A JP 2009189486A JP 5463790 B2 JP5463790 B2 JP 5463790B2
Authority
JP
Japan
Prior art keywords
output
sensor
motion sensor
input device
angular velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009189486A
Other languages
English (en)
Other versions
JP2011040003A (ja
Inventor
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009189486A priority Critical patent/JP5463790B2/ja
Priority to US12/823,577 priority patent/US8686942B2/en
Priority to CN201010253048.5A priority patent/CN101995949B/zh
Publication of JP2011040003A publication Critical patent/JP2011040003A/ja
Application granted granted Critical
Publication of JP5463790B2 publication Critical patent/JP5463790B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、例えば画面上におけるポインタの移動を制御する操作入力システム、制御装置、ハンドヘルド装置及び操作入力システムに関する。
ＰＣ(Personal Computer)で普及しているＧＵＩ(Graphical User Interface)のコントローラとして、主にマウスやタッチパッド等のポインティングデバイスが用いられている。ＧＵＩは、従来のＰＣのＨＩ(Human Interface)にとどまらず、例えばテレビを画像媒体としてリビングルーム等で使用されるＡＶ機器やゲーム機のインターフェースとして使用され始めている。このようなＧＵＩのコントローラとして、ユーザが空間で操作することができるポインティングデバイスが多種提案されている（例えば特許文献１、２参照）。
例えば特許文献１には、画面に対する入力装置の相対的な動きを、内蔵された角速度センサ及び加速度センサの出力に基づいて検出する制御システムが記載されている。この制御システムは、入力装置から送信される上記各種センサの検出信号に基づいて、画面上のポインタの表示を制御するようにしている。
また、特許文献２には、モニタの周辺に配置された２つのマーカ（赤色ＬＥＤ）を撮像するＣＭＯＳセンサあるいはＣＣＤ等の撮像素子を内蔵したコントローラを有する情報処理システムが記載されている。この情報処理システムは、コントローラから送信される上記マーカの撮像データに基づいて、コントローラの位置および姿勢に対応した操作信号を得るようにしている。
ＷＯ２００９／０３５００５号（段落［００９３］、［００９４］） 特開２００７−６１４８９号公報（段落[００７４]）
角速度センサや加速度センサの出力をもとに画面上のポインタの位置を演算する方式では、ポインタの現座標値に角速度センサや加速度センサの出力である速度値を積算して新たな座標値が生成される。このため、座標値の計算負荷が小さく高速化が容易である。
しかしこのような利点をもつ反面、次のような問題がある。角速度センサや加速度センサはＤＣ（Direct Current）オフセットと呼ばれる基準電位に対する電位の変動を検出信号として出力する。ここで、ＤＣオフセットは、センサを構成する素子特性（温度ドリフト、振動モードの変化など）や、外的ストレス、アナログ回路の回路特性（温度特性、時定数、増幅器出力のＳＮ比など）に応じて変動し、その変動の推移も一様でない。このため、角速度センサや加速度センサの検出信号をもとに積分によりポインタの座標を算出するシステムでは、ＤＣオフセットの変動に起因した誤差が累積し、この結果、操作感が低下する場合があった。
また、角速度センサにより検出されるものはあくまで角度の時間変化率であることから、検出される筐体の位置が必ずしも実際の操作と一致するとは限らず、操作に違和感が発生することがある。入力装置がロール方向に傾いた場合、操作方向がずれてしまうという問題点もあった。
さらに、例えば表示画面にポインタを描画しようとすると、描画座標を得るために、角速度センサの場合は積分を、加速度センサの場合は２重積分を行う必要があり、その結果、積分誤差が蓄積されることで操作開始時の基準位置からやがて逸脱し、操作感が悪くなってしまうという問題点があった。
さらに、操作入力を容易化するための諸施策（手振れ補正、速度ゲイン可変、ポインタ移動可否など）を施すと、これらも基準位置からの逸脱を助長してしまうという問題点があった。
一方、イメージセンサを用いた場合は、計算負荷が大きいため反応が遅い、イメージセンサの画角外で（さらには画角内であっても遠すぎても近すぎても）は操作できない、画角が空間内のどこに位置するのかわかりにくい、操作の分解能が低い、などの問題点があった。
以上のような事情に鑑み、本発明の目的は、動きセンサを用いた場合の有利点を活かしつつ、操作性の向上を図ることができる操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法を提供することにある。
上記目的を達成するため、本発明に係る操作入力システムは、筐体と、前記筐体内で前記筐体の動きを検出する動きセンサと有し、前記動きセンサの出力から所定空間内での前記筐体の位置を算出する操作入力システムであって、前記所定空間内での前記筐体の位置を直接的に検出する位置センサと、前記位置センサの出力を用いて前記動きセンサの出力を修正する修正手段とを具備する。
本発明は、筐体内で筐体の動きを検出する動きセンサの出力から所定空間内での筐体の位置を算出する操作入力システムにおいて、修正手段は、所定空間内での筐体の位置を直接的に検出する位置センサの出力を用いて動きセンサの出力を修正する。これにより、動きセンサの出力に基づく所定空間内での筐体の位置の算出結果として、ユーザの直感により合致した結果が得られる。
動きセンサとしては、例えば、角速度センサや加速度センサ等の慣性センサが用いられる。また、第２のセンサとしては、例えば、撮像素子を含むイメージセンサや、超音波センサやレーザ変位センサなどの測距センサを用いることができる。
上記修正手段は、所定時間内での動きセンサの出力と所定時間内での位置センサの出力との関係をもとに動きセンサの出力を修正するための情報を算出する。ここで、動きセンサの出力を修正するための情報は、動きセンサの出力の修正がゼロであるときの情報も含む。算出された修正情報は、例えば、次のサイクル、あるいは、次以後のいずれかのサイクルに得られた動きセンサの出力に対して反映される。
さらに、具体的には、本発明において、動きセンサは筐体の２次元以上の空間における動きを検出するものであり、位置センサは筐体の２次元以上の空間における位置を直接的に検出するものとされる。そして上記修正手段は、動きセンサの出力をもとに得られる筐体の動きと、位置センサにより検出された筐体の位置の変化との関係をもとに、動きセンサの出力を修正するための情報を算出するようにしてもよい。
上記動きセンサは、設定された基準電位に対する電位の変動を検出信号として出力するものであり、上記修正手段は、基準電位の校正値を動きセンサの出力を修正するための情報として算出するものとする。この場合、上記修正手段は、例えば、動きセンサの出力の積分値と位置センサの出力の変位量との関係をもとに、動きセンサの出力を修正するための情報を算出することができる。これにより、動きセンサを構成する素子特性の変動に追従した、より適切な基準電位が得られ、動きセンサの出力に基づく所定空間内での筐体の位置の算出結果として、ユーザの直感により合致した結果が得られる。
上記修正手段は、位置センサの出力の変位量が所定量以下になったとき、動きセンサの出力の積分値をもとに動きセンサの出力を修正するための情報を算出するようにしてもよい。すなわち、この発明では、上記位置センサの出力の変位量が所定値以下になったときを筐体が静止状態または略静止状態にあるときとし、このときの動きセンサの出力を動きセンサを構成する素子特性の変動成分とみなして修正情報を算出する。これにより、動きセンサを構成する素子特性の変動に追従した、より一層適切な基準電位が得られ、動きセンサの出力に基づく所定空間内での筐体の位置の算出結果として、より一層ユーザの直感により合致した結果が得られる。
また、上記修正手段は、動きセンサの出力をもとに得られた筐体の動きの第１の軌跡と、位置センサにより検出された筐体の位置の変化の第２の軌跡との関係をもとに、動きセンサの出力を修正するための情報を算出するようにしてもよい。この場合、上記修正手段は、例えば、前記第１の軌跡と前記第２の軌跡との回転角度の差を前記動きセンサの出力を修正するための情報として算出することができる。これにより、筐体がロール方向に傾いた状態で操作された場合の、動きセンサの出力に含まれる傾きの成分を低減もしくは解消することができ、動きセンサの出力に基づく所定空間内での筐体の位置の算出結果として、ユーザの直感により合致した結果が得られる。
さらに、上記修正手段は、前記動きセンサの出力をもとに算出された前記筐体の動きの第１の変位量と、前記位置センサにより検出された前記筐体の位置の第２の変位量との関係をもとに、前記動きセンサの出力を修正するための情報を算出するようにしてもよい。この場合、上記修正手段は、例えば、第１の変位量と第２の変位量との比率を動きセンサの出力を修正するための情報として算出することができる。これにより、筐体の操作の回転半径の違いによる、動きセンサの出力に基づく筐体の位置の算出結果への影響を低減もしくは解消することができ、ユーザの直感により合致した結果が得られる。
さらに、上記修正手段は、動きセンサの出力をもとに得られた筐体の第１の位置と、位置センサにより検出された筐体の第２の位置との関係をもとに、動きセンサの出力を修正するための情報を算出するようにしてもよい。この場合、上記修正手段は、例えば、第１の位置と第２の位置との差記動きセンサの出力を修正するための情報として算出することができる。これにより、動きセンサの出力に基づく筐体の位置の算出結果に含まれる積分誤差を低減もしくは解消することができ、ユーザの直感により合致した結果が得られる。
さらに、上記修正手段が、動きセンサの出力をもとに得られた筐体の第１の位置と、位置センサにより検出された筐体の第２の位置との関係をもとに、動きセンサの出力を修正するための情報を算出する操作入力システムは、動きセンサの出力のオンオフを切り替える切替手段と、切替手段による動きセンサの出力のオフ直前に算出された筐体の第１の位置と、切替手段による動きセンサの出力のオン直後に算出された筐体の第２の位置との差分により、位置センサの空間座標の基準もしくは動きセンサの空間座標の基準を変更する座標基準変更手段とをさらに具備するようにしてもよい。これにより、切替手段によって動きセンサの出力がオフされた時点とその後オンにされた時点での筐体の位置を一致させることができる。
以上のように、本発明によれば、動きセンサを用いた場合の有利点を活かしつつ、操作性の向上を図ることができる。
本発明の一実施の形態に係る操作入力システムの概略構成図である。 本発明の一実施の形態に係る入力装置を示す斜視図である。 上記入力装置の内部の構成を模式的に示す図である。 上記入力装置の電気的な構成を示すブロック図である。 上記操作入力システムにおける表示装置に表示される画面の例を示す図である。 上記入力装置をユーザが握った様子を示す図である。 上記入力装置の動かし方及びこれによる画面上のポインタの動きの典型的な例を説明するための図である。 本発明の第１の実施形態に係るＤＣオフセットの校正処理のフローチャートである。 ＤＣオフセットに変動が場合の角速度値に基づく座標の軌跡と画像に基づく座標の軌跡の例を示す図である。 本発明の第１の実施形態の変形例２に係るＤＣオフセットの校正処理のフローチャートである。 入力装置がロール方向に傾いた状態で操作された場合の角速度値に基づく座標の軌跡と画像に基づく座標の軌跡の例を示す図である。 本発明の第２の実施形態に係るロール傾きの補正処理のフローチャートである。 本発明の第２の実施形態の変形例４に係る操作入力システムを示す概略構成図である。 本発明の第２の実施形態の変形例４に係るロール傾きの補正処理のフローチャートである。 本発明の第３の実施形態に係る角速度を擬似的な線速度に補正する処理の必要を説明するための図である。 本発明の第３の実施形態に係る角速度を擬似的な線速度に補正する処理を説明する図である。 本発明の第３の実施形態に係る角速度値を擬似的な線速度に補正する処理のフローチャートである。 本発明の第４の実施形態に係るポインタ座標の積分誤差を補正する処理のフローチャートである。 本発明の第４の実施形態に係る座標積分誤差の補正処理の画面上での具体的を示す図である。
以下、本発明の実施の形態を図面に基づき説明する。
＜第１の実施形態＞
［操作入力システムの全体構成及び各部の構成］
図１は、本発明の第１実施形態に係る操作入力システムを示す図である。操作入力システム１００は、表示装置５、制御装置４０及び入力装置１を含む。
表示装置５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイなどにより構成される。表示装置５は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよし、このようなディスプレイと制御装置４０とが一体となった装置でもよい。表示装置５には、イメージセンサを内包するカメラ部５１が設けられている。
カメラ部５１は、表示装置５の正面側に視野をもち、入力装置１の発光部２９の発光点を含む画像を取り込むためのイメージセンサを有する。このイメージセンサにより撮像された画像は一定時間周期で制御装置５０に転送される。イメージセンサとしては、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などが用いられる。
図３は、入力装置を示す斜視図である。図３に示すように、入力装置１は、筐体１０を有し、この筐体１０の上部には操作部９が設けられている。筐体１０は、一方向に長い形状を有しており、ユーザの握った手に収まる程度の大きさとされる。
操作部９は、筐体１０の上部の先端部側に配置されたボタン１１と、筐体１０の上部の中央近傍に配置されたボタン１２と、ボタン１１及びボタン１２の間に配置されたボタン１３、１４とを有する。
ボタン１１は、２段階的な切り替えが可能な操作部とされている。ボタン１１は、内部に光センサ８を有しており、この光センサ８が一段目のスイッチとして機能する。また、ボタン１１は、筐体１０の内部に、ボタン１１が押圧されたことを検出するスイッチ２３ａ（図４参照）が内蔵されており、このスイッチ２３ａが２段目のスイッチとして機能する。
ボタン１１の一段目のスイッチには、ポインタ移動可否ボタンとしての機能、すなわち、ユーザが任意にポインタ２の移動の可否を切り替える機能が割り当てられる。また、ボタン１１の２段目のスイッチには、決定ボタンとしての機能（例えば、平面操作型のマウスの左ボタンに相当する機能）が割り当てられる。
ここで、ユーザの指がボタン１１の上方に存在する場合に画面３上でポインタ２が移動可能となる形態と、ユーザの指がボタン１１の上方に存在しない場合に画面３上でポインタ２が移動可能となる形態とが挙げられる。
筐体１０の中央近傍に設けられたボタン１２には、マウスの右ボタンに相当する機能が割り当てられる。また、ボタン１３、１４には、音量の増減や、画面３上に表示される動画の早送り、巻き戻し、放送番組等のチャンネルのアップ、ダウンなどの機能が割り当てられる。
なお、ボタン１１〜１４の配置や、割り当てられる機能については、適宜変更可能である。
さらに、入力装置１の筐体１０の上部の先端には発光部２９が設けられている。発光部２９は、例えば、赤外線ＬＥＤ（Light Emitting Diode）などである。外乱光との分離しやすさの点から、この発光部２９の明滅については、タイミングや周波数等によって変調がかけられることが好ましい。
図３は、入力装置１の内部の構成を模式的に示す図である。図４は、入力装置１の電気的な構成を示すブロック図である。
入力装置１は、センサユニット１７、制御ユニット３０、バッテリー２４、発光部２９を備えている。
図５は、センサユニット１７を示す斜視図である。
なお、本明細書中では、入力装置１とともに動く座標系、つまり、入力装置１に固定された座標系をＸ’軸、Ｙ’軸、Ｚ’軸で表す。一方、地球上で静止した座標系、つまり慣性座標系をＸ軸、Ｙ軸、Ｚ軸で表す。また、以降の説明では、入力装置１の動きに関し、Ｘ’軸周りの回転方向をピッチ方向、Ｙ’軸周りの回転方向をヨー方向といい、Ｚ’軸（ロール軸）周りの回転方向をロール方向と呼ぶ。
センサユニット１７は、互いに異なる角度、例えば、直交する２軸（Ｘ’軸及びＹ’軸）の周りの角速度を検出する角速度センサユニット１５を有する。すなわち、角速度センサユニット１５は、第１の角速度センサ１５１、及び第２の角速度センサ１５２を含む。
また、センサユニット１７は、互いに直交する２軸に沿った方向の加速度を検出する加速度センサユニット１６を有する。すなわち、加速度センサユニット１６は、第１の加速度センサ１６１、及び第２の加速度センサ１６２を含む。
これらの角速度センサユニット１５及び加速度センサユニット１６はパッケージングされ、回路基板２５上に搭載されている。
図５では、角速度センサユニット１５及び加速度センサユニット１６が回路基板２５の片側の面（前面）に搭載された場合が示されている。しかし、これに限られず、角速度センサユニット１５及び加速度センサユニット１６は、回路基板の両面にそれぞれ分けて搭載されてもよい。この場合、回路基板２５のサイズを小さくすることができ、その結果、回路基板２５の剛性を高めることができる。
角速度センサ１５１、１５２としては、角速度に比例したコリオリ力を検出する振動型のジャイロセンサが用いられる。加速度センサ１６１、１６２としては、ピエゾ抵抗型、圧電型、静電容量型等、どのようなタイプのセンサであってもよい。角速度センサ１５１、１５２としては、振動型ジャイロセンサに限られず、回転コマジャイロセンサ、レーザリングジャイロセンサ、ガスレートジャイロセンサ、あるいは、地磁気型ジャイロセンサ等が用いられてもよい。
図３において、筐体１０の長手方向、幅方向、厚さ方向をそれぞれ、Ｚ’軸方向、Ｘ’軸方向、Ｙ’軸方向とする。この場合、上記センサユニット１７は、回路基板２５の、加速度センサユニット１６及び角速度センサユニット１５を搭載する面がＸ’−Ｙ’平面に実質的に平行となるように、筐体１０に内蔵される。これにより、両センサユニット１５、１６は、上記したように、Ｘ’軸及びＹ’軸に関する角速度及び加速度を検出する。
図３及び図４を参照して、制御ユニット３０は、メイン基板１８、メイン基板１８上にマウントされたＭＰＵ１９（Micro Processing Unit）、（あるいはＣＰＵ）、水晶発振器２０、送受信機２１、メイン基板１８上にプリントされたアンテナ２２などを含む。また、制御ユニット３０は、メイン基板１８上に、上記各ボタン１１〜１４に対応して設けられたスイッチ２３ａ〜２３ｄを含む。
メイン基板１８とセンサ基板２５とは、例えば、ＦＦＣ（Flexible Flat Cable）等により構成されたフレキシブルな導線２６により、電気的に接続されている。また、メイン基板１８と光センサ８とは、例えば、ＦＰＣ（Flexible Printed Circuit）により構成されたフレキシブル基板２７により、電気的に接続される。
ＭＰＵ１９は、揮発性メモリ及び不揮発性メモリを内蔵している。ＭＰＵ１９は、センサユニット１７による検出信号、操作部による操作信号（光センサ８による受光信号を含む）等を入力し、これらの入力信号に応じた所定の制御信号を生成するため、各種の演算処理等を実行する。上記メモリは、ＭＰＵ１９とは別体で設けられていてもよい。
典型的には、センサユニット１７はアナログ信号を出力するものである。この場合、ＭＰＵ１９は、Ａ／Ｄ（Analog/Digital）コンバータを含む。しかし、センサユニット１７がＡ／Ｄコンバータを含むユニットであってもよい。
送受信機２１は、ＭＰＵ１９で生成された制御信号をＲＦ無線信号として、アンテナ２２を介して制御装置４０に送信する。また、送受信機２１は、制御装置４０から送信された各種の信号を受信することも可能である。
水晶発振器２０は、クロックを生成し、これをＭＰＵ１９に供給する。バッテリー２４としては、乾電池または充電式電池等が用いられる。
発光部２９は、発光素子２９ａと、これを駆動する駆動部２９ｂと、これを実装する基板２９ｃを含む。基板２９ｃは、例えば、ＦＦＣ（Flexible Flat Cable）等により構成されたフレキシブル基板２９ｄにより、メイン基板１８と電気的に接続される。
再び図１を参照して、制御装置４０は、ＭＰＵ３５、ＲＯＭ３７、ビデオＲＡＭ４１、表示制御部４２、アンテナ３９、送受信機３８を含む。
送受信機３８は、入力装置１から送信された制御信号を、アンテナ３９を介して受信する。また、送受信機３８は、入力装置１へ所定の各種の信号を送信することも可能となっている。ＭＰＵ３５は、その制御信号をもとに各種の演算処理を実行する。表示制御部４２は、ＭＰＵ３５の制御のもとで、主に、表示装置５の画面３上に表示する画面データを生成する。ビデオＲＡＭ４１は、表示制御部４２の作業領域となり、生成された画面データを一時的に格納する。
制御装置４０は、入力装置１に専用の機器であってもよいが、ＰＣ等であってもよい。制御装置４０は、入力装置に専用の機器に限られず、表示装置５と一体となったコンピュータであってもよいし、オーディオ／ビジュアル機器、プロジェクタ、ゲーム機器、またはカーナビゲーション機器等であってもよい。
次に、入力装置１の動かし方及びこれによるポインタ２の動きの典型的な例を説明する。図６はその説明図である。
図６（Ａ）、（Ｂ）に示すように、ユーザは、親指を上にした状態で、入力装置１を握り、入力装置１の先端側を表示装置５に向ける。この状態で、センサユニット１７のセンサ基板２５（図６参照）は、表示装置５の画面３に対して平行に近くなり、センサユニット１７の検出軸である２軸が、画面３上の水平軸（Ｘ軸）及び垂直軸（Ｙ軸）に対応するようになる。以下、このような図６（Ａ）、（Ｂ）に示す入力装置１の姿勢を基本姿勢という。
ユーザは、基本姿勢の状態で、ボタン１１の上方に親指を載せ、ポインタ２を移動可能な状態とする。そして、図６（Ａ）に示すように、基本姿勢の状態から、ユーザが手首や腕を左右方向、つまりヨー方向に振る。このとき、第１の加速度センサ１６１は、Ｘ’軸方向の加速度ａｘを検出し、第１の角速度センサ１５１は、Ｙ’軸の周りの角速度ωψを検出する。このように検出された検出値に基き、操作入力システム１００は、ポインタ２が画面３上で水平軸方向に移動するようにそのポインタ２の表示を制御する。
一方、図６（Ｂ）に示すように、基本姿勢の状態で、ユーザが手首や腕を上下方向、つまりピッチ方向に振る。このとき、第２の加速度センサ１６２は、Ｙ’軸方向の加速度ａｙを検出し、第２の角速度センサ１５２は、Ｘ’軸の周りの角速度ωθを検出する。操作入力システム１００は、これらの検出値に基き、ポインタ２が画面３上での垂直軸方向に移動するようにそのポインタ２の表示を制御する。
次に、本実施の形態に係る操作入力システム１００の動作を説明する。
［典型的な動作］
まず、操作入力システム１００における典型的な動作を説明する。なお、ここでは、典型的な動作として、角速度センサユニット１６の出力をもとにポインタ２の移動を制御する場合を説明する。
例えばユーザによる電源スイッチ２８の押圧により、入力装置１に電源が入力されると、角速度センサユニット１６から２軸の角速度信号が出力され、ＭＰＵ１９は、この角速度信号を角速度値（ωψ、ωθ）として取得する。この後、ＭＰＵ１９は、角速度値（ωψ、ωθ）を送受信機２１及びアンテナ２２を介して制御装置４０に送信する。制御装置４０は、入力装置２より転送された角速度値（ωψ、ωθ）を送受信機３８およびアンテナ３９を介して受信する。制御装置４０のＭＰＵ３５は、受信した角速度値（ωψ、ωθ）から２軸の速度値（Ｖｘ、Ｖｙ）を算出する。ここで、速度値ＶｘはＸ’軸に沿う方向の速度値であり、ＶｙはＹ’軸に沿う方向の速度値である。
制御装置４０のＭＰＵ３５は、速度値を受信すると、下の式（１）、（２）により、速度値を座標値に加算することで、新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成する。ＭＰＵ３５は、生成された座標値にポインタ２が移動するように、画面の表示を制御する。
Ｘ（ｔ）＝Ｘ（ｔ−１）＋Ｖｘ・・・（１）
Ｙ（ｔ）＝Ｙ（ｔ−１）＋Ｖｙ・・・（２）
また、速度値（Ｖｘ、Ｖｙ）を計算するほかの方法としては次のようなものがある。ＭＰＵ３５は加速度値（ａｘ、ａｙ）を角加速度値（Δωψ、Δωθ）で割ることで、入力装置１の動きの回転半径（Ｒψ、Ｒθ）を求める。ＭＰＵ３５はこの回転半径（Ｒψ、Ｒθ）に角速度値（ωψ、ωθ）を乗じて速度値（Ｖｘ、Ｖｙ）を算出する。回転半径（Ｒψ、Ｒθ）は、加速度の変化率（Δａｘ、Δａｙ）を、角加速度の変化率（Δ（Δωψ）、Δ（Δωθ））で割ることで求められる。
［センサ出力の検出］
本実施形態の入力装置１においては、直接変位を検出せず、角速度、加速度などの時間微分された変位のディメンジョンにて慣性量を検出する角速度センサ（角速度センサユニット１５）や加速度センサ（加速度センサユニット１６）を含むセンサモジュール１７が使用されている。これらの慣性センサは、筺体１０の動きに応じた、基準電位に対する電位の変動を検出信号として出力する。
以下、角速度センサを例に挙げて角速度の検出方法の一例について説明する。
図７（Ａ）に角速度センサの出力の一例を示す。ここで、角速度センサの出力は上記の基準電位に相当するＤＣオフセットＶｒｅｆを含んでいる。したがって、角速度センサの出力Ｖ（ｔ０）からＤＣオフセットＶｒｅｆを減じた値が角速度センサにより検出された角速度信号の実効値（角速度値）ω（ｔ０）となる。
ＤＣオフセットは、センサを構成する素子特性（温度ドリフト、振動モードの変化など）や、外的ストレス、アナログ回路の回路特性（温度特性、時定数、増幅器出力のＳＮ比など）に応じて変動し、その変動の推移も一様でない。図７（Ｂ）にＤＣオフセットＶｒｅｆの変動の一例を示す。
ＤＣオフセットＶｒｅｆが変動すると、角速度値ω（ｔ０）の算出にずれが生じる。
例えば、図７（Ｂ）の例において、時刻ｔ０のＤＣオフセットをＶｒｅｆ（ｔ０）とした場合、時刻ｔ１でのＤＣオフセットＶｒｅｆ（ｔ１）はＶｒｅｆ（ｔ０）＋ΔＶ１、時刻ｔ２でのＤＣオフセットＶｒｅｆ（ｔ２）はＶｒｅｆ（ｔ０）−ΔＶ２であることから、時刻ｔ１の角速度値ω（ｔ１）と時刻ｔ２の角速度値ω（ｔ２）とではΔＶ１＋ΔＶ２の誤差がある。この場合、入力装置１の操作感が低下することは勿論のこと、入力装置１を停止させているにもかかわらずポインタが画面上で移動するという事態を招く。
［ＤＣオフセットの校正処理］
そこで、本実施の形態においては、次のような処理によりＤＣオフセットの校正を行うこととしている。
本実施形態に係るＤＣオフセットの校正処理は、要約すれば、次の通りである。制御装置４０は、入力装置１の動きをカメラ部５１で得た画像に基づき検出し、入力装置１の動きの変位量が所定値以下である場合、入力装置１が"静止"の状態であることを判断する。制御装置４０は入力装置１が"静止"の状態であることを判断すると、入力装置１から与えられた角速度値の平均値でＤＣオフセットを校正する。
図８は本実施形態に係るＤＣオフセットの校正処理のフローチャートである。以下このフローチャートに従って本実施形態に係るＤＣオフセットの校正処理の詳細を説明する。
入力装置１のＭＰＵ１９は、所定の周期で角速度センサユニット１６より２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））を取得し（ステップ１０１）、送受信機２１及びアンテナ２２を介して制御装置４０に送信する（ステップ１０２）。
制御装置４０は、入力装置１より２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））を受信する（ステップ１０３）。制御装置４０のＭＰＵ３５は、受信した２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））から、それぞれの軸方向のＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を減じることで２軸の角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を得る（ステップ１０４）。
次に、制御装置４０のＭＰＵ３５は、カメラ部５１にて取得した画像からカメラ画角内での入力装置１の座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の検出を行い（ステップ１０５）、この検出結果と前回の周期で検出された座標（Ｘｉ（ｔ−１）、Ｙｉ（ｔ−１））との差分を、入力装置１の２軸方向の変位量（ΔＸｉ、ΔＹｉ）として求める（ステップ１０６）。
次に、制御装置４０のＭＰＵ３５は、求めた変位量（ΔＸｉ、ΔＹｉ）の絶対値が予め決められた所定値より大きいかどうかを判定する（ステップ１０７）。ここで、変位量（ΔＸｉ、ΔＹｉ）の絶対値と所定値との比較は、ΔＸｉおよびΔＹｉのうち少なくとも一方が所定値より大きい場合に"大きい"と判定され、ΔＸｉおよびΔＹｉの両方とも所定値より大きくない場合には"小さい"と判定される。
"小さい"と判定された場合、制御装置４０のＭＰＵ３５は、入力装置１が"静止"していると判定する。そしてＭＰＵ３５は、今回の周期で得た角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を用いて回転角（ψ（ｔ）、θ（ｔ））を次式（３）、（４）により算出する。
ψ（ｔ）＝ψ（ｔ−１）＋ωψｃｏｒ（ｔ）・・・（３）
θ（ｔ）＝ψ（ｔ−１）＋ωθｃｏｒ（ｔ）・・・（４）
回転角（ψ（ｔ）、θ（ｔ））の計算後、ＭＰＵ３５は、回転角（ψ（ｔ）、θ（ｔ））の計算回数を保持するカウンタをインクリメントする（ステップ１０８）。ＭＰＵ３５は、インクリメント後のカウンタの値が所定の値（ｎ）に達しているかどうかを判定し（ステップ１０９）、達していない場合（ステップ１０９のＮＯ）、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する。ＭＰＵ３５は、式（１）、（２）により、速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を座標値（Ｘ（ｔ−１）、Ｙ（ｔ−１））に加算することで新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ１１０）。
また、ＭＰＵ３５は、インクリメント後のカウンタの値が所定の値（ｎ）に達した、すなわち角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））の積算回数が所定の値（ｎ）に達したことを判定した場合（ステップ１０９のＹＥＳ）、次のような処理を行う。ＭＰＵ３５は、現時点までに得られた回転角（ψ（ｔ）、θ（ｔ））を所定の値（ｎ）で除算して角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））の平均値を求め、この平均値でＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を校正する（ステップ１１１）。この後、ＭＰＵ３５はカウンタをリセットするとともに、回転角（ψ（ｎ）、θ（ｎ））をリセットする（ステップ１１２）。そして、ＭＰＵ３５は角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出し、速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を座標値（Ｘ（ｔ−１）、Ｙ（ｔ−１））に加算することで新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ１１０）。
以上は、ステップ１０７で、変位量（ΔＸｉ、ΔＹｉ）の絶対値が小さい、つまり"静止"の状態が所定回数（ｎ回）連続して判定された場合の動作である。
ステップ１０７で、変位量（ΔＸｉ、ΔＹｉ）の絶対値が所定値より大きいことが判定された場合には、ＭＰＵ３５は、入力装置１が"動作"の状態であるものとみなし、カウンタをリセットするとともに、回転角（ψ（ｔ）、θ（ｔ））をリセットする（ステップＳ１１３）。これにより、変位量（ΔＸｉ、ΔＹｉ）の小さい"静止"の状態が所定回数（ｎ回）連続した場合のみ、ＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）の校正が行われるこことなる。
以上のように、本実施形態によれば、制御装置４０のＭＰＵ３５は、カメラ部５１にて取得した画像に基づき検出された入力装置１の座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））から入力装置１の変位量を求める。ＭＰＵ３５は、この変位量から入力装置１が"静止"の状態にあるかどうかを判定し、入力装置１が"静止"の状態にあるときの角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））の平均値でＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を校正する。これによりＤＣオフセットが変動しても良好な角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））が得られ、操作者の感覚に合致したポインタ２の操作が可能になる。
なお、図８のフローチャートに示す一連の処理は、すべて入力装置１にて行うようにしてもよい。
＜変形例１：ＤＣオフセットの校正処理の変形例＞
上記の実施形態では、"静止"の状態が所定期間連続した場合にＤＣオフセットを校正する場合について述べたが、ＤＣオフセットを校正するのではなく、入力装置１の加速度センサユニット１６内の角速度センサ１５１、１５２の感度を補正してもよい。
＜変形例２：ＤＣオフセットの校正処理の変形例＞
第１の実施形態に係るＤＣオフセットの校正処理によるＤＣオフセットの更新は、入力装置１が"静止"の状態であるときに行われるのに対し、本変形例２では、入力装置１が"静止"の状態であっても"動作"の状態であっても、定常的にＤＣオフセットの校正が行われる。
図９はＤＣオフセットに変動が場合の角速度値に基づく座標の軌跡と画像に基づく座標の軌跡の例を示す図である。同図に示すように、角速度値に基づく座標と画像に基づく座標との間にはＤＣオフセットの変動に起因した差分が生じる。そこで本変形例２では、所定時間毎の角速度値に基づく座標の変位量と画像に基づく座標の変位量との差をもとにＤＣオフセットを校正する。
図１０は本変形例２に係るＤＣオフセットの校正処理のフローチャートである。以下このフローチャートに従って本変形例２に係るＤＣオフセットの校正処理の詳細を説明する。
入力装置１のＭＰＵ１９は、所定の周期で角速度センサユニット１６より２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））を取得し（ステップ２０１）、送受信機２１及びアンテナ２２を介して制御装置４０に送信する（ステップ２０２）。
制御装置４０は、入力装置１より２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））を受信する（ステップ２０３）。制御装置４０のＭＰＵ３５は、受信した２軸方向の角速度信号（ωψ（ｔ）、ωθ（ｔ））から２軸方向のＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を減じることで２軸の角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を得る（ステップ２０４）。
次に、制御装置４０のＭＰＵ３５は、画像からカメラ画角内での入力装置１の座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の検出を行い（ステップ２０５）、カウンタをインクリメントする（ステップ２０６）。次に、制御装置４０のＭＰＵ３５は、ステップ２０５で検出された座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））と前回の周期で検出された座標（Ｘｉ（ｔ−１）、Ｙｉ（ｔ−１））との差分を、入力装置１の２軸方向の変位量（ΔＸｉ、ΔＹｉ）として求める（ステップ２０８）。
次に、制御装置４０のＭＰＵ３５は、下式（５）、（６）により、変位量（ΔＸｉ、ΔＹｉ）を積算する。これにより画像に基づく座標の変位量の積算値（ΣＸｉ（ｔ）、ΣＹｉ（ｔ））が得られる。
ΣＸｉ（ｔ）＝ΣＸｉ（ｔ−１）＋ωψｃｏｒ（ｔ）・・・（５）
ΣＹｉ（ｔ）＝ΣＹｉ（ｔ−１）＋ωθｃｏｒ（ｔ）・・・（６）
次に、ＭＰＵ３５は、今回の周期で得た角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を用いて回転角（ψ（ｔ）、θ（ｔ））を次式（３）、（４）により算出する。回転角（ψ（ｔ）、θ（ｔ））の計算後、ＭＰＵ３５はカウンタを再度インクリメントする（ステップ２０９）。
ＭＰＵ３５は、インクリメント後のカウンタの値が所定の値（ｎ）に達しているかどうかを判定し（ステップ２１０）、達していない場合（ステップ２１０のＮＯ）、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する。ＭＰＵ３５は、算出された速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を、式（１）、（２）に従って座標値（Ｘ（ｔ−１）、Ｙ（ｔ−１））に加算することで新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ２１１）。
また、インクリメント後のカウンタの値が所定の上限値に達している場合（ステップ２１０のＹＥＳ）、下の式（７）、（８）により、ＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を校正する（ステップ２１２）。
ωψｒｅｆ＝（ψ（ｔ）−Ｘｉｎ×Ｃ）／ｎ・・・（７）
ωθｒｅｆ＝（θ（ｔ）−Ｙｉｎ×Ｃ）／ｎ・・・（８）
ここでＣは、画像に基づく座標の変位量の積算値（ΣＸｉ（ｔ）、ΣＹｉ（ｔ））を、回転角に相当する値に調整するために、予め決められた比例定数である。
この後、ＭＰＵ３５はカウンタをリセットするとともに、回転角（ψ（ｎ）、θ（ｎ））をリセットする（ステップ２１３）。そして、ＭＰＵ３５は角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出し、速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を座標値（Ｘ（ｔ−１）、Ｙ（ｔ−１））に加算することで新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ２１１）。
以上のように、本実施形態によれば、制御装置４０のＭＰＵ３５は、所定時間毎の角速度値に基づく座標の変位量と画像に基づく座標の変位量との差をもとにＤＣオフセットを校正する。これによりＤＣオフセットの校正を定常的に行うことができ、ＤＣオフセットが変動しても良好な角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））が得られ、操作者の感覚に合致したポインタ２の操作が可能になる。
なお、図１０のフローチャートに示す一連の処理は、すべて入力装置１にて行うようにしてもよい。
＜第２の実施形態＞
［ロール傾きの補正］
図１１は入力装置１がロール方向に傾いた状態で操作された場合の角速度値に基づく座標の軌跡と画像に基づく座標の軌跡の例を示す図である。同図に示すように、入力装置１がロール方向に傾いた状態で操作された際に角速度値に基づく座標の軌跡は、画像に基づく座標の軌跡に対してカメラ画角内でφの角度（ロール角）だけ回転した関係にある。
そこで本第２の実施形態に係る制御装置４０は、画像に基づく座標の軌跡と角速度値に基づく座標の軌跡を相対的に回転変換しながら比較し、最も相関が高くなった回転角度を入力装置１のロール角φとして判定し、このロール角φで角速度値を補正する。
図１２は本第２の実施形態に係るロール傾きの補正処理のフローチャートである。以下このフローチャートに従って本第２の実施形態に係るロール傾きの補正処理の詳細を説明する。
ここで、ステップ３０１からステップ３０４までの動作は第１の実施形態に係るＤＣオフセットの校正処理のステップ１０１からステップ１０４までの動作と同じである。
ステップ３０５で、制御装置４０のＭＰＵ３５は、今回得られた角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））からｎ回以前に得られた角速度値（ωψｃｏｒ（ｔ−ｎ）、ωθｃｏｒ（ｔ−ｎ））までの座標の軌跡を求める（ステップ３０５）。
次に、ＭＰＵ３５は、カメラ部５１にて取得した画像からカメラ画角内での入力装置１の座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の検出を行う（ステップ３０６）。そしてＭＰＵ３５は、今回得られた座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））からｎ回以前に得られた座標（Ｘｉ（ｔ−ｎ）、Ｙｉ（ｔ−ｎ））の軌跡を求める（ステップ３０７）。
次に、ＭＰＵ３５は、角加速度に基づく座標の軌跡と画像に基づく座標の軌跡とを相対的に回転変換しながら比較することを繰り返し、最も相関係数が高くなった回転角度を入力装置１のロール角φとして判定する（ステップ３０８−３１１）。
続いて、ＭＰＵ３５は、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））をロール角φだけ回転変換し（ステップ３１２）、回転変換した角速度値から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する。ＭＰＵ３５は、算出された速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ３１３）。
以上のように、本第２の実施形態に係る制御装置４０のＭＰＵ３５は、画像に基づく座標の軌跡と角速度値に基づく座標の軌跡とを相対的に回転変換しながら比較し、最も相関が高くなった回転角度を入力装置１のロール角φとして判定する。ＭＰＵ３５は、このロール角φで角速度値を回転変換する。これにより入力装置１のロール傾きの補正を良好に行うことができる。
加速度センサによって検出された重力加速度から入力装置１のロール角φを求めて補正を行うことも可能である。しかし、加速度センサの出力には慣性加速度の成分が含まれており、この慣性加速度の成分を除くために非常な複雑な演算を要する。本第２の実施形態に係るロール傾きの補正処理によれば、加速度センサによって検出された重力加速度を用いた方式に比べ簡単な演算で済むという利点がある。
ここで、ロール角φに基づく角速度値の回転変換は、下の式（９）のような回転行列を用いて行うことができる。
Figure 0005463790
＜変形例３：ロール傾きの補正の変形例＞
画像に基づく座標の軌跡と角速度値に基づく座標の軌跡とを比較してロール角φを求める方法について述べたが、画像に基づく座標の軌跡と角速度値に基づく座標の軌跡それぞれの微分値を比較してロール角φを求めてもよい。
＜変形例４：ロール傾きの補正の変形例＞
次に、入力装置１の側でロール傾きの補正を行う方式を説明する。
この変形例４では、図１３に示すように、少なくとも、入力装置１に発光部２９（図１参照）に代えてカメラ部５２が設けられている点で上記の各実施形態と異なる。カメラ部５２は、例えば表示装置５が画角内に入るように入力装置１の先端部に設けられている。
本変形例４に係る入力装置１は、カメラ部５２により捉えられた表示装置５などを含む画像から基準軸となる直線成分を抽出し、この基準軸に対する入力装置１のロール角φを求める。入力装置１はこのロール角φで角速度値を補正する。
図１４は本変形例４に係るロール傾きの補正処理のフローチャートである。以下このフローチャートに従って本変形例４に係るロール傾きの補正処理の詳細を説明する。
入力装置１のＭＰＵ１９は、所定の周期で角速度センサユニット１６より２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））を取得する（ステップ４０１）。続いて、ＭＰＵ１９は、２軸の角速度信号（ωψ（ｔ）、ωθ（ｔ））から、それぞれの軸方向のＤＣオフセット（ωψｒｅｆ、ωθｒｅｆ）を減じることで２軸の角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を得る（ステップ４０２）。
次に、入力装置１のＭＰＵ１９はカメラ部５２により画像を取り込むように制御を行う（ステップ４０３）。ＭＰＵ１９は、カメラ部５２により取り込まれた画像から基準軸となる直線成分を認識し、カメラ画角内の当該基準軸の傾きを入力装置１のロール角φとして求める（ステップ４０４）。
ここで、入力装置１のカメラ部５２により撮像された画像中での基準軸となる直線部分としては、例えば、表示装置４の筐体や画面の外枠などが挙げられる。また、画像中の天井と壁との境、床と壁との境、窓枠なども、基準軸となる直線部分として認識の対象となり得る。これらの画像の認識には、ある程度の処理時間を必要とするが操作者の操作性を損う程度ではない。また、画像のサンプリングレートは数秒で構わない。画像認識の精度を向上させるための自動学習などを行うことは有効である。
この後、入力装置１のＭＰＵ１９は、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））をロール角φだけ回転変換し（ステップ４０５）、回転変換した角速度値から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する。ＭＰＵ３５は、算出された速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ４０６）。
以上により、本変形例４によっても、入力装置１のロール傾きの補正を比較的簡単な演算で行うことができる。
＜変形例５：ロール傾きの補正の変形例＞
第２の実施形態で説明したロール傾き補正処理では、カメラ部５１にて取得した画像に基づく座標の軌跡と角速度値に基づく座標の軌跡とを相対的に回転変換しながら比較してロール角φを求めることとした。したがって、ロール傾き補正がかかりだすまでに、ある程度の時間がかかる。
そこで入力装置１に、ロール角φによってカメラ画角内での形態が変化する特徴部分を設けることが有効である。制御装置４０は、カメラ部５１で捉えた画像から、その特徴部分の形態を認識することによって、入力装置１のロール角φを求めることができる。この方式によれば、第２の実施形態で説明したロール傾き補正処理に比べ、必要な演算量を大幅に低減でき、ロール傾き補正がかかりだすまでの時間が短縮される。ここで、入力装置１に設けられる上記の特徴部分は、例えば、複数の発光部あるいはアスペクト比の比較的大きい発光部などによって実現可能である。また、特徴部分は発光部に限られず、光反射部、色違い部など、画像認識によって抽出することが可能なものであればよい。また、入力装置１の外形を認識してロール角φを求めるようにしてもよい。
＜第３の実施形態＞
［角速度を擬似的な線速度に補正］
画面上に表示されるポインタの移動量は、２つの角速度センサによって検出された角速度に依存する。したがって、操作者が入力装置に大きな角速度を与えれば、それに応じて画面上に表示されるポインタは高速で移動する。例えば、図１５（Ａ）に示すように、操作者が手指の回転を使って入力装置を操作する場合（操作の回転半径Ｒ（ｔ）が小さい場合）、入力装置の実際の移動量が小さくてもポインタは高速で移動する。これに対し、操作者がわずかしか角速度を与えずに入力装置を操作する場合、たとえ入力装置の実際の移動量が大きかったとしても、画面上のポインタはわずかしか移動しない。例えば、図１５（Ｂ）に示すように、操作者が肩を軸として腕全体を振って入力装置を操作した場合（操作の回転半径Ｒ（ｔ）が大きい場合）、入力装置の実際の移動量に反してポインタはわずかしか移動しない。このようにポインタの動きが操作者の感覚にそぐわない動きとなる場合がある。
そこで、本第３の実施形態に係る制御装置４０は、図１６に示すように、角速度値に基づく座標の軌跡に対して拡大率を乗じたものと画像に基づく座標の軌跡との比較を上記の拡大率を変更しながら繰り返し、最も相関が高くなった拡大率Ｇ（ｔ）を判定する。制御装置４０は、この拡大率Ｇ（ｔ）を角速度値に乗じたものを擬似的な線速度として算出する。これにより、操作の回転半径Ｒ（ｔ）の違いがポインタの移動量に大きく影響することを緩和できる。
図１７は本第３の実施形態に係る角速度値を擬似的な線速度に補正する処理のフローチャートである。以下このフローチャートに従って本第３の実施形態に係る角速度値を擬似的な線速度に補正する処理の詳細を説明する。
ここで、ステップ５０１からステップ５０７まのでの動作は、第２の実施形態に係るロール傾きの補正処理のステップ３０１からステップ３０７までの動作と同じである。
制御装置４０のＭＰＵ３５は、角加速度をもとに得た座標の軌跡に拡大率を乗じたものと画像に基づく座標の軌跡との比較を、上記の拡大率を変更しながら繰り返し、最も相関が高くなった拡大率Ｇ（ｔ）を判定する（ステップ５０８−５１１）。
続いて、ＭＰＵ３５は、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を拡大率Ｇ（ｔ）で拡大（縮小）し（ステップ５１２）、拡大（縮小）した角速度値から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する。そしてＭＰＵ３５は、算出された速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ５１３）。
ところで、拡大率Ｇ（ｔ）は、入力装置１の操作の回転半径Ｒ（ｔ）に定数Ｃを乗じた値となる。ここで、定数Ｃは、入力装置１とカメラ部５１との距離によって変わる。すなわち、入力装置１とカメラ部５１との距離が大きくなるほど定数Ｃは大きくなり、その分回転半径Ｒ（ｔ）が小さくなって画面でのポインタの動き（線速度）が小さくなる。逆に距離が小さくなるほど定数Ｃは小さくなり、その分回転半径Ｒ（ｔ）が大きくなって画面でのポインタの動き（線速度）が大きくなる。したがって、定数Ｃが分かれば、拡大率Ｇ（ｔ）を定数Ｃを除算することで回転半径Ｒ（ｔ）が得られ、この回転半径Ｒ（ｔ）に角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））を乗算すれば、入力装置１とカメラ部５１との距離を加味した擬似的な線速度を得ることができる。
定数Ｃを求める方法としては、例えば以下がある。
１．発光部の輝度は入力装置１とカメラ部５１との距離の二乗に反比例する。そこで、制御装置４０は、カメラ部５１で捉えた画像中の発光点の輝度を求め、求めた輝度から上記の距離を求め、この距離から定数Ｃを算出する。
２．入力装置１に複数の発光部を設ける。制御装置４０は、画像から複数の発光部同士の距離を求め、この距離から定数Ｃを算出する。
３．制御装置４０は、テストモードにて操作者毎の使用時の回転半径Ｒ（ｔ）、あるいは各操作者全体の使用時の回転半径Ｒ（ｔ）の分布を求めておき、その分布に基づいて統計的に定数Ｃを推定する。
なお、図１７のフローチャートに示す一連の処理は、すべて入力装置１にて行うようにしてもよい。
以上の各実施形態およびその変形例における補正は、仮に数秒遅延して実行されたとしても操作者に違和感を与える程度のものとならない。すなわち、ポインタの移動操作は数十ｍｓ程度の僅かな遅延でも操作者によって直接的に知覚され得るが、ＤＣオフセットの校正、ロール傾きの補正、および線速度の補正による遅延は、操作者によって直接的に知覚され得るようなかたちでは現れないからである。
＜第４の実施形態＞
［ポインタ座標の積分誤差の補正］
画面上のポインタの座標の計算は、角速度値から得た速度値をそれまでのポインタの座標値に次々と加算して行われることから、角速度値に含まれる諸々の要因による誤差の累積によって、ポインタが操作者の感覚にそぐわない座標に移動すること、つまり絶対座標から逸脱する場合がある。角速度値の誤差の要因としては、角速度センサの感度のばらつきや量子化誤差のほか、上記のロール傾きの補正、擬似的な線速度の算出も、その要因となり得る。さらに、ポインタの操作容易性に関連する演算処理、例えば、手振れ補正や、速度ゲインの可変制御（入力装置をゆっくり操作したときにはさらにゆっくりポインタを移動させる処理など）、さらには、ポインタ移動可否スイッチの操作によってポインタの座標を固定することも、絶対座標からの逸脱の要因となり得る。
そこで、本第４の実施形態に係る制御装置４０は、角速度値に基づく座標と画像に基づく座標との差分が小さくなるように、角速度値を増大または縮小することによって、ポインタ座標の積分誤差を補正する。
図１８は本第４の実施形態に係るポインタ座標の積分誤差を補正する処理のフローチャートである。以下このフローチャートに従って本第４の実施形態に係るポインタ座標の積分誤差を補正する処理の詳細を説明する。
ここで、ステップ６０１からステップ６０４まのでの動作は、第１の実施形態に係るＤＣオフセットの校正処理のステップ１０１からステップ１０４までの動作と同じである。
ステップ６０５で、制御装置４０のＭＰＵ３５は、角速度値（ωψｃｏｒ（ｔ）、ωθｃｏｒ（ｔ））から速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を算出する（ステップ６０５）。ＭＰＵ３５は、算出された速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成する（ステップ６０６）。
次に、ＭＰＵ３５は、カメラ部５１にて取得した画像からカメラ画角内での入力装置１の座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の検出を行う（ステップ６０７）。この後、ＭＰＵ３５は、座標値（Ｘ（ｔ）、Ｙ（ｔ））と座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））との差分（ΔＸ、ΔＹ）を求める（ステップ６０８）。
ＭＰＵ３５は、この差分（ΔＸ、ΔＹ）の絶対値が所定値以上であるかどうかを判断する（ステップ６０９）。差分（ΔＸ、ΔＹ）の絶対値が所定値以上である場合（ステップ６０９のＹＥＳ）、ＭＰＵ３５は、その差分（ΔＸ、ΔＹ）の絶対値に応じて、差分（ΔＸ、ΔＹ）が小さくなるように、速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を増大または減少する（ステップ６１１）。この後、ＭＰＵ３５は、増大または減少した速度値を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ６１０ ）。また、差分（ΔＸ、ΔＹ）の絶対値が所定値未満である場合には（ステップ６０９のＮＯ）、ＭＰＵ３５は、速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を用いて新たな座標値（Ｘ（ｔ）、Ｙ（ｔ））を生成し、この座標値（Ｘ（ｔ）、Ｙ（ｔ））にポインタ２が移動するように画面３の表示を制御する（ステップ６１０）。
差分（ΔＸ、ΔＹ）の絶対値に応じて、その差分（ΔＸ、ΔＹ）が小さくなるように速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））を増大または減少する際、ポインタを絶対座標へ一挙に移動させるのではなく、絶対座標に徐々に近付けるように移動させることが、操作者の違和感を招きにくいという点でより好ましい。
図１９は本第４の実施形態に係る座標積分誤差の補正処理の画面上での具体的を示す図である。図１９（Ａ）は角速度値に基づく座標（Ｘ（ｔ）、Ｙ（ｔ））と画像に基づく座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の差分（ΔＸ、ΔＹ）を示している。図１９（Ｂ）はポインタの座標（Ｘ（ｔ）、Ｙ（ｔ））の補正処理の様子を示す図であり、実線は角速度値に基づく座標（Ｘ（ｔ）、Ｙ（ｔ））の軌跡、点線は画像に基づく座標（Ｘｉ（ｔ）、Ｙｉ（ｔ））の軌跡を示している。
ポインタ座標の補正処理は、ポインタが絶対座標に徐々に近付いて行くように、例えば、補正前の速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））に応じて計算された補正量を補正前の速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））に加えることによって行われる。例えば、図１９（Ｂ）において、制御装置４０は、時刻ｔ０で、補正前の速度値（Ｖｘ（ｔ０）、Ｖｙ（ｔ０））に応じて計算された補正量により速度値（Ｖｘ（ｔ０）、Ｖｙ（ｔ０））の補正を行う。また、制御装置４０は、時刻ｔ１で、補正前の速度値（Ｖｘ（ｔ１）、Ｖｙ（ｔ１））に応じて計算された補正量により速度値（Ｖｘ（ｔ１）、Ｖｙ（ｔ１））の補正を行う。以降、時刻ｔ２、ｔ３でも同様に補正が行われる。
より具体的には、補正前の速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））が小さいほど補正も小さく行われるように補正量の計算が行われる。また、補正前の速度値（Ｖｘ（ｔ）、Ｖｙ（ｔ））が"０"である場合の補正量は"０"であってもよい。これにより、入力装置１の操作によるポインタの動きに伴って徐々に補正が行われ、操作者から見て違和感のない補正が可能になる。
なお、本実施形態では、補正時のポインタの動きの不自然さが生じないように複数回に分けて徐々に補正を行うこととしたが、場合によっては、１回の補正で差分が"０"になるように補正を一挙に行うようにしてもよい。
ポインタの位置を一挙に補正することが有効な場合として、ＵＩ画面の切り替えタイミングがある。制御装置４０は、ＵＩ画面の切り替わりの直前にポインタを一旦消去し、ＵＩ画面が切り替わったところで絶対座標にポインタを出現させる。このようにＵＩ画面の切り替わり時は絶対座標にポインタを急に出現させても操作者の違和感はさほど大きくなく、ポインタ座標の積分誤差を補正する機会としては好適である。
なお、図１８のフローチャートに示す一連の処理は、すべて入力装置１にて行うようにしてもよい。
＜変形例６：絶対座標系のシフト処理＞
入力装置１には、ポインタの移動の可否を切り替えるためのポインタ移動可否ボタン（図２参照（ボタン１１））が設けられている。今、操作者によるポインタ移動可否ボタンの操作によってポインタの移動の可否が"可"→"不可"→"可"の順に切り替えたとする。この場合、操作者にとっては"不可"の状態に切り替えられる直前と"不可"の状態から"可"の状態に切り替えられた直後でポインタは同じ座標にあることが操作上自然である。
しかし、"不可"の状態のときも制御装置４０では画像に基づく座標の検出が行われているため、操作者によって"不可"から"可"の状態に切り替えたとき、操作者の意図しない座標にポインタが移動している状況が発生し得る。
そこで、本変形例６に係る制御装置４０は、入力装置１より"不可"の状態に切り替えられたことの通知を受けた時点でのポインタの座標を画像に基づき検出して記憶する。制御装置４０は、その後、入力装置１より"可"の状態に切り替えられたことの通知を受けたとき、カメラ部５１によって捉えられた画像に基づき入力装置１の座標を検出する。そして制御装置４０は、記憶していた座標と新たに検出された座標の差分を求め、この差分で、画像に基づく座標を検出する際の絶対座標空間の基準点をシフトする。
これにより、ポインタ移動が"不可"の状態に切り替えられる直前と"不可"の状態から"可"の状態に切り替えられた直後でポインタの座標を一致させることができる。
上記では、入力装置１のポインタ移動可否ボタンの操作によるポインタ移動可否状態の切り替えに伴って絶対座標空間における基準点のシフトを行うこととしたが、入力装置１に座標変更スイッチを設けて同様の処理が行われることとしてもよい。この場合、制御装置４０は、入力装置１の座標変更スイッチの操作による１回目の座標変更指示に応じて、その時点でのポインタの座標を画像に基づき検出して記憶する。制御装置４０は、入力装置１の座標変更スイッチの操作による２回目の座標変更指示を受けると、その時点でのポインタの座標を画像に基づき検出する。そして制御装置４０は、１回目と２回目の２つのポインタの座標の差分を求め、絶対座標空間における基準点を上記差分だけずらした位置を絶対座標空間における新たな基準点とする。
また、上記では、画像に基づく座標を検出する際の絶対座標空間の基準点をシフトすることとしたが、角速度センサによって検出された角速度値に基づく座標を検出する際の座標空間の基準点をシフトするようにしてもよい。この場合も、ポインタ移動が"不可"の状態に切り替えられる直前と"不可"の状態から"可"の状態に切り替えられた直後でポインタの座標を一致させることができる。
＜変形例７＞
上記各実施形態で用いたイメージセンサの画角（死角）や分解能の限界などにより、入力装置１の発光部２９の座標が検出されない場合が考えられる。この場合、イメージセンサの出力で角速度センサの出力に対する補正がかけられないことになる。
そこで、上記の各実施形態および変形例で補正のために算出された値について、制御装置が最後に得られた値を定常的に保持するようにし、カメラ部より十分な画像が得られないときは、最後に得られた値で補正を行うこととしてもよい。あるいは、過去に得られた値から統計的に求められた値を暫定的に用いてもよい。
また、カメラ部により得られた画像に基づく座標が得られる期間は、その画像に基づく座標を画面上のポインタの座標とし、カメラ部より画像が得られない期間は、角速度センサの出力に基づく座標をポインタの座標とすることとしてもよい。
上記実施形態で説明した入力装置は、無線で入力情報を制御装置に送信する形態を示したが、有線により入力情報が送信されてもよい。
本発明は、例えば、表示部を備えるハンドヘルド型の電子機器あるいは情報処理装置（ハンドヘルド装置）に適用されてもよい。すなわち、ハンドヘルド装置は、上記入力装置１と制御装置４０とが一体となったような装置と考えることができる。この場合、操作者がハンドヘルド装置の本体を動かすことで、その表示部に表示された画面上のポインタが移動制御されたり、画面がスクロール制御されたり、ズーム制御されたりする。ハンドヘルド装置として、例えば、ＰＤＡ（Personal Digital Assistance）、携帯電話機、携帯音楽プレイヤー、デジタルカメラ等が挙げられる。
センサユニット１７の、角速度センサユニット１５及び加速度センサユニット１６の検出軸は、上述のＸ’軸及びＹ’軸のように必ずしも互いに直交していなくてもよい。その場合、三角関数を用いた計算によって、互いに直交する軸方向に投影されたそれぞれの加速度が得られる。また同様に、三角関数を用いた計算によって、互いに直交する軸の周りのそれぞれの角速度を得ることができる。
以上の各実施の形態で説明したセンサユニット１７について、角速度センサユニット１５のＸ’及びＹ’の検出軸と、加速度センサユニット１６のＸ’及びＹ’軸の検出軸がそれぞれ一致している形態を説明した。しかし、それら各軸は、必ずしも一致していなくてもよい。例えば、角速度センサユニット１５及び加速度センサユニット１６が基板上に搭載される場合、角速度センサユニット１５及び加速度センサユニット１６の検出軸のそれぞれが一致しないように、角速度センサユニット１５及び加速度センサユニット１６がその基板の主面内で所定の回転角度だけずれて搭載されていてもよい。その場合、三角関数を用いた計算によって、各軸の加速度及び角速度を得ることができる。
上記角速度センサユニット１５の代わりとして、角度センサあるいは角加速度センサが用いられてもよい。角度センサとしては、地磁気センサまたはイメージセンサ等が挙げられる。例えば３軸地磁気センサが用いられる場合、角度値の変化量が検出されるので、その場合、角度値が微分演算されることで角速度値が得られる。角加速度センサは、複数の加速度センサの組み合わせにより構成され、角加速度センサにより得られる角加速度値が積分演算されることで、角速度値が得られる。
以上説明した実施形態および変形例は、適宜組み合わせて使用することが可能である。
１…入力装置
２…ポインタ
３…画面
５…表示装置
１０…筺体
１１…ボタン（切替手段）
１５…角速度センサユニット
１６…加速度センサユニット
１７…センサユニット（動きセンサ）
１８…メイン基板
１９…ＭＰＵ
２１…送受信機
２９…発光部
３５…ＭＰＵ（修正手段、座標基準変更手段）
３８…送受信機
４０…制御装置
５１…カメラ部（位置センサ）
１００…操作入力システム

Claims (5)

  1. 筐体と、前記筐体内で前記筐体の動きを検出する動きセンサと有し、前記動きセンサの出力から所定空間内での前記筐体の位置を算出する操作入力システムであって、
    前記所定空間内での前記筐体の位置を直接的に検出する位置センサと、
    前記位置センサの出力を用いて前記動きセンサの出力を修正する修正手段と
    前記動きセンサの出力のオンオフを切り替える切替手段と、
    前記切替手段による前記動きセンサの出力のオフ直前に算出された前記筐体の第１の位置と、前記切替手段による前記動きセンサの出力のオン直後に算出された前記筐体の第２の位置との差分により、前記位置センサの空間座標の基準もしくは前記動きセンサの空間座標の基準を変更する座標基準変更手段と
    を具備する操作入力システム。
  2. 筐体と、前記筐体内で前記筐体の動きを検出する動きセンサと有する入力装置と、
    前記所定空間内での前記筐体の位置を直接的に検出する位置センサと、
    前記動きセンサの出力から前記所定空間内での前記筐体の位置を算出する制御装置とを具備し、
    前記制御装置は、
    前記位置センサの出力を用いて前記動きセンサの出力を修正する修正手段と、
    前記動きセンサの出力のオンオフを切り替える切替手段と、
    前記切替手段による前記動きセンサの出力のオフ直前に算出された前記筐体の第１の位置と、前記切替手段による前記動きセンサの出力のオン直後に算出された前記筐体の第２の位置との差分により、前記位置センサの空間座標の基準もしくは前記動きセンサの空間座標の基準を変更する座標基準変更手段と
    を具備する操作入力システム。
  3. 筐体と、前記筐体の動きを検出する動きセンサとを有する入力装置から送信される、前記動きセンサの出力から所定空間内での前記筐体の位置を算出する制御装置であって、
    前記所定空間内での前記筐体の位置を直接的に検出する位置センサの出力を用いて前記動きセンサの出力を修正する修正手段と、
    前記動きセンサの出力のオンオフを切り替える切替手段と、
    前記切替手段による前記動きセンサの出力のオフ直前に算出された前記筐体の第１の位置と、前記切替手段による前記動きセンサの出力のオン直後に算出された前記筐体の第２の位置との差分により、前記位置センサの空間座標の基準もしくは前記動きセンサの空間座標の基準を変更する座標基準変更手段と
    を具備する
    制御装置。
  4. 筐体と、
    操作画面を表示する表示部と、
    前記筐体の動きを検出する動きセンサと、
    前記動きセンサの出力から所定空間内での前記筐体の位置を算出する算出手段と
    前記所定空間内での前記筐体の位置を直接的に検出する位置センサと、
    前記位置センサの出力を用いて前記動きセンサの出力を修正する修正手段と、
    前記動きセンサの出力のオンオフを切り替える切替手段と、
    前記切替手段による前記動きセンサの出力のオフ直前に算出された前記筐体の第１の位置と、前記切替手段による前記動きセンサの出力のオン直後に算出された前記筐体の第２の位置との差分により、前記位置センサの空間座標の基準もしくは前記動きセンサの空間座標の基準を変更する座標基準変更手段と
    を具備するハンドヘルド装置。
  5. 入力装置に内蔵された動きセンサにより前記入力装置の動きを検出し、
    位置センサにより、所定空間内での前記入力装置の位置を直接的に検出し、
    前記位置センサの出力を用いて前記動きセンサの出力を修正し、
    前記動きセンサの出力から所定空間内での前記入力装置の位置を算出し、
    前記動きセンサの出力のオンオフを切り替え、
    前記動きセンサの出力のオフ直前に算出された前記入力装置の第１の位置と、前記動きセンサの出力のオン直後に算出された前記入力装置の第２の位置との差分により、前記位置センサの空間座標の基準もしくは前記動きセンサの空間座標の基準を変更する
    操作入力方法。
JP2009189486A 2009-08-18 2009-08-18 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法 Expired - Fee Related JP5463790B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009189486A JP5463790B2 (ja) 2009-08-18 2009-08-18 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
US12/823,577 US8686942B2 (en) 2009-08-18 2010-06-25 Operation input system, control apparatus, handheld apparatus, and operation input method
CN201010253048.5A CN101995949B (zh) 2009-08-18 2010-08-11 操作输入系统、控制装置、手持式装置和操作输入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009189486A JP5463790B2 (ja) 2009-08-18 2009-08-18 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法

Publications (2)

Publication Number Publication Date
JP2011040003A JP2011040003A (ja) 2011-02-24
JP5463790B2 true JP5463790B2 (ja) 2014-04-09

Family

ID=43604942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009189486A Expired - Fee Related JP5463790B2 (ja) 2009-08-18 2009-08-18 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法

Country Status (3)

Country Link
US (1) US8686942B2 (ja)
JP (1) JP5463790B2 (ja)
CN (1) CN101995949B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964729B2 (ja) * 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
KR101195939B1 (ko) 2010-12-28 2012-10-29 전남대학교산학협력단 움직임 궤적을 이용한 객체 인식 프로그램이 저장된 기록매체 및 객체 인식 장치
US8620239B2 (en) 2011-01-14 2013-12-31 Qualcomm Incorporated Dynamic DC-offset determination for proximity sensing
JP2013008360A (ja) * 2011-06-23 2013-01-10 Ailive Inc 制御機器として用いられる運動制御子
KR101801146B1 (ko) * 2011-08-16 2017-11-24 엘지전자 주식회사 영상표시장치 및 그 동작방법
US20130271487A1 (en) * 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing
US8988341B2 (en) 2012-06-08 2015-03-24 Apple Inc. Camera-assisted motion estimation for application control
EP2687955B1 (en) * 2012-07-20 2018-08-22 Nintendo Co., Ltd. Information processing program, information processing system and attitude calculation method for calculating an attitude of an input unit
US9024876B2 (en) 2012-09-06 2015-05-05 Interphase Corporation Absolute and relative positioning sensor fusion in an interactive display system
JP6094111B2 (ja) * 2012-09-20 2017-03-15 カシオ計算機株式会社 演奏装置、演奏方法及びプログラム
CN103768790A (zh) * 2012-10-19 2014-05-07 奇高电子股份有限公司 具有旋转校正功能的动作感测装置与方法
JP6209581B2 (ja) * 2013-02-13 2017-10-04 旭化成エレクトロニクス株式会社 姿勢算出装置、姿勢算出方法、携帯機器およびプログラム
JP6204686B2 (ja) * 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
JP6185301B2 (ja) * 2013-06-21 2017-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、指示位置の算出方法
US20160011675A1 (en) * 2014-02-20 2016-01-14 Amchael Visual Technology Corporation Absolute Position 3D Pointing using Light Tracking and Relative Position Detection
CN103995585B (zh) * 2014-05-04 2017-12-08 广东威创视讯科技股份有限公司 显示大墙的手势控制设备与方法
US9851818B2 (en) * 2015-10-19 2017-12-26 Microsoft Technology Licensing, Llc Handheld input apparatus
CN106249812B (zh) * 2016-07-22 2020-08-25 联想(北京)有限公司 一种连接装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
JP3052997B2 (ja) * 1996-01-12 2000-06-19 日本電気株式会社 手書き入力表示装置
US6164808A (en) * 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
JP4176230B2 (ja) * 1999-03-19 2008-11-05 株式会社ルネサステクノロジ 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7194702B1 (en) * 1999-06-29 2007-03-20 Gateway Inc. System method apparatus and software for minimizing unintended cursor movement
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
JP4142460B2 (ja) * 2003-01-31 2008-09-03 オリンパス株式会社 運動検出装置
JP4325332B2 (ja) * 2003-09-16 2009-09-02 カシオ計算機株式会社 ペン型データ入力装置及び該プログラム
CN102566751B (zh) * 2004-04-30 2016-08-03 希尔克瑞斯特实验室公司 自由空间定位装置和方法
JP4556560B2 (ja) * 2004-08-27 2010-10-06 株式会社ニコン ブレ補正装置、およびカメラシステム
ITTO20040847A1 (it) * 2004-12-01 2005-03-01 St Microelectronics Srl Dispositivo di rilevamento di spostamenti per un apparecchio portatile
US7889186B2 (en) * 2005-04-29 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Pen input device and method for tracking pen position
US8708822B2 (en) * 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
JP4907129B2 (ja) 2005-09-01 2012-03-28 任天堂株式会社 情報処理システムおよびプログラム
US7463270B2 (en) * 2006-02-10 2008-12-09 Microsoft Corporation Physical-virtual interpolation
JP2007228154A (ja) * 2006-02-22 2007-09-06 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
WO2007130833A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands
JP2008032632A (ja) * 2006-07-31 2008-02-14 Denso Corp 角速度センサのキャリブレーション装置および角速度値特定装置
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
JP4325707B2 (ja) * 2007-07-04 2009-09-02 ソニー株式会社 入力装置、制御装置、制御システム及び制御方法
US8941586B2 (en) * 2007-09-12 2015-01-27 Sony Corporation Input apparatus, control apparatus, control system, and control method
CN101611371B (zh) * 2007-12-07 2016-06-08 索尼株式会社 输入设备、控制设备、控制系统、手持设备和控制方法
US7925467B2 (en) * 2008-06-30 2011-04-12 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
JP4422777B2 (ja) * 2008-08-05 2010-02-24 オリンパス株式会社 移動体姿勢検出装置
US8576169B2 (en) * 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
JP5358168B2 (ja) * 2008-12-08 2013-12-04 任天堂株式会社 ゲーム装置およびゲームプログラム
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
CN101510130A (zh) * 2009-01-22 2009-08-19 旭丽电子(广州)有限公司 依据作用方向调整操作模式的输入装置及其方法

Also Published As

Publication number Publication date
JP2011040003A (ja) 2011-02-24
US20110043448A1 (en) 2011-02-24
CN101995949A (zh) 2011-03-30
US8686942B2 (en) 2014-04-01
CN101995949B (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5463790B2 (ja) 操作入力システム、制御装置、ハンドヘルド装置及び操作入力方法
US10747338B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
US8576168B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
US9207781B2 (en) Input apparatus, control system, handheld apparatus, and calibration method
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
US9829998B2 (en) Information processing apparatus, input apparatus, information processing system, information processing method, and program
TWI428792B (zh) 輸入設備，手持設備，及控制方法
US9990056B2 (en) Input device and method and program
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US8395583B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
KR100855471B1 (ko) 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
US20110199289A1 (en) Input apparatus, control apparatus, control system, handheld apparatus, and control method
US8614671B2 (en) Input apparatus, control apparatus, control system, and control method
CN107754310B (zh) 手持式装置以及其定位方法
US20150054745A1 (en) Handheld pointer device and pointer positioning method thereof
JPWO2009072471A1 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
CN113966497A (zh) 头戴式信息处理装置及其控制方法
JP2010152587A (ja) 入力装置、制御システム、ハンドヘルド装置及び校正方法
JP2010157106A (ja) 入力装置、制御装置、ハンドヘルド装置、制御システム及び制御方法
TWI522848B (zh) 手持式指向裝置以及其游標定位方法
JP2010157157A (ja) 入力装置、制御装置、ハンドヘルド装置、制御システム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R151 Written notification of patent or utility model registration

Ref document number: 5463790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees