JP5055156B2 - 制御装置および方法 - Google Patents

制御装置および方法 Download PDF

Info

Publication number
JP5055156B2
JP5055156B2 JP2008027415A JP2008027415A JP5055156B2 JP 5055156 B2 JP5055156 B2 JP 5055156B2 JP 2008027415 A JP2008027415 A JP 2008027415A JP 2008027415 A JP2008027415 A JP 2008027415A JP 5055156 B2 JP5055156 B2 JP 5055156B2
Authority
JP
Japan
Prior art keywords
information
specific point
control
image
pointing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008027415A
Other languages
English (en)
Other versions
JP2009054131A (ja
Inventor
李嘉晃
林建良
Original Assignee
国立交通大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立交通大学 filed Critical 国立交通大学
Publication of JP2009054131A publication Critical patent/JP2009054131A/ja
Application granted granted Critical
Publication of JP5055156B2 publication Critical patent/JP5055156B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Description

本発明は制御装置および方法に関し、しかも特に、本発明は三次元空間制御を実行可能な制御装置および方法に関する。
近年来、マルチメディアおよびエンターテイメントソフトウェア、例えば映像・音楽再生ソフトウェア、ゲームソフトウェアなどはすでに携帯電話機、PDAなどの携帯機器内に普遍的に移植されることで、携帯機器の娯楽性を高めている。大部分のマルチメディアおよびエンターテイメントソフトウェアは、キーボード(keyboard)、マウス(mouse)、タッチパッド(touch pad)などといった多種類の入力装置を備えたパーソナルコンピュータに関して開発が進められているため、携帯機器上の入力装置では不足が顕著になる。
例えばキーボード、マウス、タッチパッド、トラックボール(trackball)、トラックポイント(trackPoint)といった公知の入力装置、および現在携帯機器にすでに応用されている方向キー、ジョイスティックなどでは、いくらかの欠点があって、より便利な携帯機器の操作性を使用者に提供することができていなかった。更には、前記したより多くのマルチメディアおよびエンターテイメントソフトウェアでは三次元空間の制御を行う必要があるため、公知の入力装置ではこの目的を達成するのが更に難しくなっていた。
例えば、トラックボールは、球状のローラでカーソル位置を操作制御することでポインティングおよびインタラクションの目的を達成するとともに、使用者は球状のローラの移動速度によりカーソルの移動速度を制御することができる。しかしながら、トラックボールは大きすぎるため、携帯機器には適さない。また、トラックポイントは、ポインティングスティックでカーソル位置を操作制御することでポインティングおよびインタラクションの目的を達成するものである。しかしながら、トラックポイントの移動速度は一定であり、しかもその他の入力手段がなければ、三次元空間制御は提供されない。
更に例えば、タッチパッドは平面の感知装置に触れて制御することでポインティングおよびインタラクションの目的を達成するものである。しかしながら、タッチパッドは大きすぎるうえ、その他の入力手段がなければ、三次元空間制御は提供されないので、携帯機器には適さない。また、一部の携帯機器にすでに使用されている多方向性のコントロールキーでは、多方向性のキーを用いて、方向制御の目的を達成している。しかしながら、多方向性のコントロールキーの移動速度は一定であり、しかも単独では三次元空間制御の機能を提供することはできない。また、携帯機器の空間は小さいことから、過密になっている方向キーでは使用者が押し間違ってしまいやすい。
米国特許6,847,354号、名称「Three dimensional interactive display」では三次元空間の双方向性ディスプレイおよび方法が開示されており、transparent capaciflectorカメラ(TC カメラ)を搭載したディスプレイにより物体、例えば指の移動を感知して、三次元空間の物体を制御している。しかしながら、TCcameraのコストは高いため、民生用携帯機器に応用するのは難しい。逆に、現在民生用携帯機器に応用されているカメラ装置ではTCcameraのような機能を提供することはできない。
米国特許6,844,871号、名称「Method and apparatus for computing input using six degrees of freedom」では、改良されたマウス装置が開示されており、ビデオカメラ(video camera)を搭載した特性のマウスパネルを用いて、マウスの傾斜程度、または使用者がマウスを持上げた高さを計算するとともに、マウスの傾斜情報により3D物体の回転を制御し、そしてマウスの高さ情報により3D物体の拡大または縮小を制御する。しかしながら、この装置は大きすぎるうえ、特製のパネルが必要となるため、携帯機器には適さない。
また、米国特許6,757,577号、名称「Position location system」では測位システムが開示されており、一つ以上の磁界発生手段を用いて磁界を発生するとともに、一つの磁界センサにより磁界の変化を感知して、感知した磁界の変化により物体の空間における位置を判断するものである。しかしながら、前述の磁界発生手段および磁界センサは携帯機器には適さない。
上記をまとめるに、公知の制御装置では、携帯機器における三次元空間制御を行うという需要を満たすことはできないことから、携帯機器における三次元空間制御を行うことができる制御装置を開発するという必要性がある。
したがって、本発明の範疇は制御装置および方法を提供するところにある。しかも、特に、本発明の制御装置および方法は、携帯機器における三次元空間制御に応用することが可能となる。
好ましい具体的な実施例によれば、本発明の制御装置では、表示装置が表示する物体を、使用者がポインティングデバイスで制御できるようになっている。前記制御装置は、画像取得モジュールと、分離モジュールと、測位モジュールと、構築モジュールと、処理モジュールとを備えている。
前記画像取得モジュールは、動画像を記録するとともに、正の整数であるN個の画像フレームを生成する。前記分離モジュールは、前記ポインティングデバイスの特徴に基づいて、前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出する。前記測位モジュールは、各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成する。また、前記構築モジュールは、所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成する。前記処理モジュールは、前記移動軌跡を分析するとともに、制御信号を生成して、前記制御信号に基づいて前記物体を制御する。さらに、該制御装置の前記処理モジュールが、前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報を生成するとともに、前記方向情報、前記強さ情報前記回転角度情報および分類器(classifier)に基づいて、前記制御信号を生成するように構成されている。該制御装置の前記第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含み、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含んでもよい。
他の好ましい具体的な実施例によれば、本発明における、表示装置が表示する物体を、使用者がポインティングデバイスで制御する方法は、
(a)動画像を記録するとともに、正の整数であるN個の画像フレームを生成するステップと、
(b)前記ポインティングデバイスの特徴に基づいて、前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出するステップと、
(c)各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成するステップと、
(d)所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成するステップと、
(e)前記移動軌跡を分析するとともに、制御信号を生成するステップと、
(f)前記制御信号に基づいて前記物体を制御するステップと、を含んでいる。
さらに、ステップ(e)が、前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報を生成するとともに、前記方向情報、前記強さ情報前記回転角度情報および分類器に基づいて、前記制御信号を生成する、制御方法であってもよい。前記第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含み、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含んでいる。
本発明の長所および技術的思想は、以下の発明の詳細な説明および図面により、より一層の理解が得られる。

図1を参照されたい。図1は本発明の好ましい具体的な実施例に係る制御装置(control apparatus)の機能ブロック図である。前記制御装置1は、例えば三次元空間制御(three dimensional control)というように、表示装置が表示する物体を、使用者がポインティングデバイスで制御できるようになっている。実際の応用においては、前記ポインティングデバイスは限定されず、前記使用者の指、スタイラスペン、文字入力ペン、またはその他適切な装置とすることができる。
図1に示すように、制御装置1は、画像取得モジュール11と、分離モジュール13と、測位モジュール15と、構築モジュール17と、処理モジュール19とを備えている。
画像取得モジュール11は、例えば動画撮影機またはカメラであり、正の整数であるN個の画像フレーム(image frame)を含む動画像(video sequence)を記録することができる。実際の応用においては、前記N個の画像フレームは、前記ポインティングデバイスを含む複数のフレームを含んでいる。実際の応用においては、前記動画撮影機はデジタル撮影機とし、前記カメラはデジタルカメラとすることができる。
前記分離モジュール13は、前記ポインティングデバイスの特徴に基づいて、前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出する。実際の応用においては、前記特徴は、特定の外観、構造などといった前記ポインティングデバイスの色またはその他適切な特徴とすることができる。
前記測位モジュール15は、各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成する。実際の応用においては、前記特定点は、前記ポインティングデバイス画像の中心点に限定されることはない。
前記構築モジュール17は、所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成する。実際の応用においては、前記構築モジュール17は更に、前記第1の特定点情報組に基づいて、例えば移動軌跡が画面の縁で停止していたり、または移動軌跡が画面中心位置に折り返すようになっているという具合に、前記移動軌跡がすでに終了しているか否かを判断する。もし終了していると判断した場合、前記構築モジュール17は前記移動軌跡を前記処理モジュール19に送信する。
実際の応用においては、前記構築モジュール17は更に逆算カウンタ(counter)を備えており、前記構築モジュール17が、前記移動軌跡が終了したと判断したとき、逆算カウンタを起動するとともに、逆算が終了した後、前記構築モジュール17が前記移動軌跡を前記処理モジュール19に送信するようになっている。
更に、実際の応用においては、前記した第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含む。特に、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含むというものである。これにより、もし第3の特定点の位置と第2の特定点との差が大きすぎる場合、構築モジュール17は第3の特定点を削除するとともに、安定した第2の特定点を移動軌跡として繋ぎ合わせる。
前記処理モジュール19は、例えば二次元空間制御または三次元空間制御というように、前記移動軌跡を分析するとともに、制御信号を生成して、前記制御信号に基づいて前記物体を制御する。実際の応用においては、前記処理モジュールは前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報、またはその他適切な情報を生成する。更には、方向情報は、例えば上向き情報、下向き情報、左向き情報および右向き情報を含み、そして回転角度情報は、時計回り回転角度情報および逆時計回り回転角度情報を含むことができる。
本具体的な実施例においては、前記処理モジュール19は、例えば前記方向情報、強さ情報および回転角度情報などを分類して前記制御信号を生成することができる方向、回転角度分類器といった分類器(classifier)191を更に備える。
図2を参照されたい。図2は本発明の具体的な実施例に係る制御装置の機能ブロック図である。図2に示すように、本具体的な実施例においては、本発明の画像取得モジュール11は、例えば画像取得モジュール11本体のノイズおよび前記使用者の動作に起因する干渉といった前記動画像の所定の干渉要素を除去し、前記N個の画像フレームを生成する振動吸収モジュール112を更に備えている。実際の応用においては、前記振動吸収モジュール112はファジー/スムージングといった画像処理の演算法を用いて前記機能を実行することができる。
実際の応用においては、本発明に基づく制御装置はハンドヘルド型電子機器中に内蔵することができ、例えば、本発明に基づく制御装置は携帯電話機(mobile phone)または携帯情報端末(personal digital assistant,PDA)内に組み込むことができる。
図3を参照されたい。図3は本発明の具体的な実施例に係る、表示装置が表示する物体を、使用者がポインティングデバイスで制御する方法のフローチャートである。
図3に示すように、前記方法は以下のステップを含んでいる。ステップS71を実行して、動画像を記録するとともに、正の整数であるN個の画像フレームを生成する。その後、ステップS73を実行して、前記ポインティングデバイスの特徴に基づいて、例えば前記ポインティングデバイスの色またはといった前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出する。
次に、ステップS75を実行し、例えば中心といった各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成する。その後、ステップS77を実行して、所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成する。
実際の応用においては、前記した第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含む。特に、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含むというものである。これにより、もし第3の特定点の位置と第2の特定点との差が大きすぎる場合、ステップS77にて第3の特定点を削除するとともに、安定した第2の特定点を移動軌跡として繋ぎ合わせる。
続いて、ステップS79を実行して、前記移動軌跡を分析するとともに、制御信号を生成する。実際の応用においては、ステップS79では、前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報、またはその他適切な情報を生成するとともに、これら情報に基づいて制御信号を生成する。更には、方向情報は、少なくとも上向き情報、下向き情報、左向き情報および右向き情報を含み、そして回転角度情報は、時計回り回転角度情報および逆時計回り回転角度情報を含むことができる。最後に、ステップS81を実行して、例えば二次元空間制御または三次元空間制御というように、前記制御信号に基づいて前記物体を制御する。
具体的な実施例において、本発明の方法によれば、ファジー/スムージングといった画像処理の演算法を用いて前記動画像を処理して、前記N個の画像フレームを生成するというように、前記動画像の所定の干渉要素を除去するステップを含んでもよい。
図4を参照されたい。図4は本発明の具体的な実施例に係る制御方法のフローチャートである。本具体的な実施例においては、本発明の方法によれば、ステップS77の後に、前記第1の特定点情報組に基づいて、前記移動軌跡がすでに終了しているか否かを判断するステップS78を含んでもよい。もしステップS78で終了していると判断した場合、ステップS79を実行する。もしステップS78でまだ終了していないと判断した場合、ステップS83を実行して、軌跡点の位置を確認する。
更に図5を参照されたい。本発明の具体的な実施例に係る制御方法のフローチャートである。本具体的な実施例においては、本発明の方法は、前記した方向情報、強さ情報および回転角度情報などを分類して前記制御信号を生成する作業を実行する分類器を更に備える。
図5に示すように、ステップS85において、分類器が、方向情報、強さ情報および回転角度情報を受信して、現時点の制御信号を生成する。続いて、ステップS87において、前回の制御信号が残っているか否かを判断する。もし残っていない場合には、ステップS89を実行して、前記現時点の制御信号に基づいて、前記物体を制御する。逆にもし残っている場合には、ステップS91を実行して、中断イベントがあるか否かを判断する。もし中断イベントがある場合には、ステップS89を実行して、前記現時点の制御信号に基づいて、前記物体を制御する。もし中断イベントがない場合には、ステップS93を実行し、現時点の制御信号と前回の制御信号とが同じであるか否かを判断する。もし同じでない場合には、ステップS95を実行して、前回の制御信号で前記物体を制御する。もし同じである場合には、ステップS97を実行して、方向情報が明確であるか否かを判断する。もし明確である場合には、ステップS99を実行して、強さ情報を更新する。もし明確でない場合には、ステップS85に戻る。
図6Aないし図6Jを参照されたい。図6Aないし図6Jは本発明の具体的な実施例における、表示装置が表示する物体を、ポインティングデバイスで三次元空間制御する概略図である。図6Aないし図6Jに示すように、本発明に係る制御装置および表示装置は携帯電話機3に組み込まれている。しかも前記制御装置の画像取得モジュールは前記携帯電話機3の撮像モジュール31となり、そして前記表示装置は前記携帯電話機の画面33となっている。また、前記画面33で表示する物体はレーシングカーのグラフィック35である。同様に、図6Bに示すように、前記撮像モジュール31は携帯電話機3の背面に配置されるとともに、ポインティングデバイス37の動作を記録することができる。また、前記ポインティングデバイス37は第1の位置L1に配置されている。
更に、図6Cおよび図6Dに示すように、ポインティングデバイス37が第1の位置L1から第2の位置L2に移動したとき、撮像モジュール31はポインティングデバイス37が移動する一連の画像フレームからなる動画像を記録することができる。次に、本発明の分離モジュール(図示しない)を介して、ポインティングデバイス37の色に基づいて、各々の画像フレームにおけるポインティングデバイス37の部分と背景部分とを分離する。その後、更に本発明の測位モジュール(図示しない)により、各々の画像フレームにおける前記分離モジュールで分離された前記ポインティングデバイス部分の中心点を計算する。しかも、本発明の構築モジュール(図示しない)はポインティングデバイス37の移動軌跡を生成し、そして処理モジュール(図示しない)は移動軌跡の軌跡情報を分析しており、本具体的な実施例においては、軌跡情報は右向き移動となっている。処理モジュールは更に前記軌跡情報に基づいて制御信号を生成しており、本具体的な実施例においては、制御信号は右向き回転となっているとともに、制御信号に基づいてレーシングカーのグラフィック35を右向き回転させるように制御する。
更に、図6Eないし図6Fに示すように、ポインティングデバイス37が第2の位置L2から引き続き第3の位置L3にまで移動したとき、撮像モジュール31はポインティングデバイス37が移動する一連の画像フレームからなる動画像を記録することができる。しかも、本発明の制御装置における処理モジュールは、制御信号に基づいてレーシングカーのグラフィック35を引き続き右向きに回転させるように制御する。
更に、図6Gおよび図6Hに示すように、ポインティングデバイス37が第4の位置L4から第5の位置L5に移動したとき、撮像モジュール31はポインティングデバイス37が上から下に移動する一連の画像フレームからなる動画像を記録することができる。しかも、本発明の処理モジュールは移動軌跡の軌跡情報を分析しており、本具体的な実施例においては、軌跡情報は下向き移動となっている。処理モジュールは更に前記軌跡情報に基づいて制御信号を生成しており、本具体的な実施例においては、制御信号は下向き回転となっているとともに、制御信号に基づいてレーシングカーのグラフィック35を下向き回転させるように制御する。
更に、図6Iおよび図6Jに示すように、ポインティングデバイス37が第4の位置L4から逆時計回りに第6の位置L6に移動したとき、撮像モジュール31はポインティングデバイス37の一連の画像フレームからなる動画像を記録することができる。しかも、本発明の処理モジュールは移動軌跡の軌跡情報を分析しており、本具体的な実施例においては、軌跡情報は逆時計回りの回転となっている。処理モジュールは更に前記軌跡情報に基づいて制御信号を生成しており、本具体的な実施例においては、制御信号は拡大となっているとともに、制御信号に基づいてレーシングカーのグラフィック35を拡大するように制御している。実際の応用においては、拡大の比率と軌跡情報における回転角度との関係は状況に応じて予め設定される。
注意してもらいたいことは、実際の応用においては、前記した軌跡情報および制御信号は需要に応じて予め設定できるということであり、例えば、前記したような右向き移動の軌跡情報は右向き水平移動、右向き反転などの制御信号として、前記物体に対して所望の三次元空間制御を行うようにしてもよいということである。更に例えば、時計回りに60°回転させる軌跡情報は需要に応じて設定可能であり、例えば前記物体を右向きに10°、60°、90°回転させるなどの制御信号としてもよい。
本発明における制御装置では、使用者は簡単に表示装置中の物体を三次元空間制御することができるようになる。また、本発明における制御装置はハンドヘルド型電子機器に組み込まれるとともに、ハンドヘルド型電子機器における入力モジュールに合わせて、例えば3Dの立体ゲームの制御、バーチャルリアリティなどといった複雑な三次元空間操作ができるようにもなる。
上記した好ましい具体的な実施例の詳細な説明によって、本発明の特徴および技術的思想がより明確となり、そして上記で開示した好ましい具体的な実施例で本発明の範囲を限定するものではないということが明記されている。反対に、その目的は各種改変および均等的なアレンジは、本発明が求める特許請求の範囲内に含まれることを望むところにある。
は本発明の好ましい具体的な実施例に係る制御装置の機能ブロック図である。 は本発明の具体的な実施例に係る制御装置の機能ブロック図である。 は本発明の具体的な実施例に係る制御方法のフローチャートである。 は本発明の具体的な実施例に係る制御方法のフローチャートである。 は本発明の具体的な実施例に係る制御方法のフローチャートである。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。 本発明の具体的な実施例に係る制御方法の概略図である。
符号の説明
1:制御装置
11:画像取得モジュール
13:分離モジュール
15:測位モジュール
17:構築モジュール
19:処理モジュール
112:振動吸収モジュール
3:携帯電話機
31:撮像モジュール
33:画面
35:レーシングカーのグラフィック
37:ポインティングデバイス
L1:第1の位置
L2:第2の位置
L3:第3の位置
L4:第4の位置
L5:第5の位置
L6:第6の位置
S71〜S99:ステップ

Claims (19)

  1. 表示装置が表示する物体を、使用者がポインティングデバイス(pointing device)で制御するための制御装置(control apparatus)であって、
    動画像(video sequence)を記録するとともに、正の整数であるN個の画像フレーム(image frame)を生成する画像取得モジュールと、
    前記ポインティングデバイスの特徴に基づいて、前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出する分離モジュールと、
    各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成する測位モジュールと、
    所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成する構築モジュールと、
    前記移動軌跡を分析するとともに、制御信号を生成して、前記制御信号に基づいて前記物体を制御する処理モジュールと、を備えた制御装置において、
    前記処理モジュールが、前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報を生成するとともに、前記方向情報、前記強さ情報前記回転角度情報および分類器(classifier)に基づいて、前記制御信号を生成し、
    前記第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含み、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含む、ことを特徴とする制御装置。
  2. 前記ポインティングデバイス画像の前記特定点が、前記ポインティングデバイス画像の中心点である、ことを特徴とする請求項1に記載の制御装置。
  3. 前記処理モジュールが、前記制御信号に基づいて、前記物体への三次元空間の制御を行う、ことを特徴とする請求項1に記載の制御装置。
  4. 前記画像取得モジュールが、更に、
    前記動画像の所定の干渉要素を除去し、前記N個の画像フレームを生成する振動吸収モジュールを備えた、ことを特徴とする請求項1に記載の制御装置。
  5. 前記振動吸収モジュールが、ファジー/スムージングの画像処理演算法を用いて前記動画像を処理し、前記所定の干渉要素を除去する、ことを特徴とする請求項4に記載の制御装置。
  6. 前記画像取得モジュールが、動画撮影機またはカメラを更に備えた、ことを特徴とする請求項1に記載の制御装置。
  7. 前記特徴が、前記ポインティングデバイスの色である、ことを特徴とする請求項1に記載の制御装置。
  8. 前記構築モジュールが、前記第1の特定点情報組に基づいて、前記移動軌跡がすでに終了しているか否かを判断し、もし終了していると判断した場合には、前記移動軌跡を前記処理モジュールに送信する、ことを特徴とする請求項1に記載の制御装置。
  9. 前記方向情報が、上向き情報、下向き情報、左向き情報および右向き情報である、ことを特徴とする請求項1に記載の制御装置。
  10. 前記回転角度情報が、時計回り回転角度情報および逆時計回り回転角度情報である、ことを特徴とする請求項1に記載の制御装置。
  11. 表示装置が表示する物体を、使用者がポインティングデバイス(pointing device)で制御するための制御方法であって、
    (a)動画像(video sequence)を記録するとともに、正の整数であるN個の画像フレーム(image frame)を生成するステップと、
    (b)前記ポインティングデバイスの特徴に基づいて、前記ポインティングデバイスが対応するポインティングデバイス画像を、各々の画像フレームからそれぞれ抽出するステップと、
    (c)各々の画像フレームにおける前記ポインティングデバイス画像の特定点をそれぞれ計算して、第1の特定点情報組を生成するステップと、
    (d)所定条件および前記第1の特定点情報組に基づいて、移動軌跡を生成するステップと、
    (e)前記移動軌跡を分析するとともに、制御信号を生成するステップと、
    (f)前記制御信号に基づいて前記物体を制御するステップと、を含み、
    ステップ(e)が、前記移動軌跡を分析して、方向情報、強さ情報および回転角度情報を生成するとともに、前記方向情報、前記強さ情報前記回転角度情報および分類器(classifier)に基づいて、前記制御信号を生成し、
    前記第1の特定点情報組は、隣接する第2の特定点と、第3の特定点とを含み、前記所定条件とは、前記第2の特定点と前記第3の特定点との差が所定値を超えないとき、前記移動軌跡は前記第3の特定点を含む、ことを特徴とする制御方法。
  12. 前記ポインティングデバイス画像の前記特定点が、前記ポインティングデバイス画像の中心点である、ことを特徴とする請求項11に記載の制御方法。
  13. 前記ステップ(f)が、前記制御信号に基づいて、前記物体への三次元空間の制御を行う、ことを特徴とする請求項11に記載の制御方法。
  14. ステップ(a)が更に、
    (a1) 前記動画像の所定の干渉要素を除去し、前記N個の画像フレームを生成するステップ、を含む、ことを特徴とする請求項11に記載の制御方法。
  15. ステップ(a1)が、ファジー/スムージングの画像処理演算法を用いて前記動画像を処理し、前記所定の干渉要素を除去する、ことを特徴とする請求項14に記載の制御方法。
  16. 前記特徴が、前記ポインティングデバイスの色である、ことを特徴とする請求項11に記載の制御方法。
  17. ステップ(d)が更に、
    (d1) 前記第1の特定点情報組に基づいて、前記移動軌跡がすでに終了しているか否かを判断し、もし終了していると判断した場合には、ステップ(e)を実行するステップ、を含む、ことを特徴とする請求項11に記載の制御方法。
  18. 前記方向情報が、上向き情報、下向き情報、左向き情報および右向き情報である、ことを特徴とする請求項11に記載の制御方法。
  19. 前記回転角度情報が、時計回り回転角度情報および逆時計回り回転角度情報である、ことを特徴とする請求項11に記載の制御方法。
JP2008027415A 2007-08-24 2008-02-07 制御装置および方法 Expired - Fee Related JP5055156B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW096131340 2007-08-24
TW096131340A TW200910147A (en) 2007-08-24 2007-08-24 Control apparatus and method

Publications (2)

Publication Number Publication Date
JP2009054131A JP2009054131A (ja) 2009-03-12
JP5055156B2 true JP5055156B2 (ja) 2012-10-24

Family

ID=40381694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008027415A Expired - Fee Related JP5055156B2 (ja) 2007-08-24 2008-02-07 制御装置および方法

Country Status (3)

Country Link
US (1) US8363011B2 (ja)
JP (1) JP5055156B2 (ja)
TW (1) TW200910147A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165423B2 (en) * 2009-12-30 2012-04-24 Hon Hai Precision Industry Co., Ltd. Portable device having vibration reduction function and vibration reduction methode thereof
TWI476640B (zh) 2012-09-28 2015-03-11 Ind Tech Res Inst 時間資料序列的平滑化方法與裝置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0769185B2 (ja) * 1990-09-13 1995-07-26 山武ハネウエル株式会社 データスムージング方法及び装置
US6757557B1 (en) * 1992-08-14 2004-06-29 British Telecommunications Position location system
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6587574B1 (en) * 1999-01-28 2003-07-01 Koninklijke Philips Electronics N.V. System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data
US6844871B1 (en) * 1999-11-05 2005-01-18 Microsoft Corporation Method and apparatus for computer input using six degrees of freedom
US6847354B2 (en) * 2000-03-23 2005-01-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Three dimensional interactive display
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US20030109322A1 (en) * 2001-06-11 2003-06-12 Funk Conley Jack Interactive method and apparatus for tracking and analyzing a golf swing in a limited space with swing position recognition and reinforcement
JP2003228458A (ja) * 2002-02-05 2003-08-15 Takenaka Komuten Co Ltd 指示動作認識装置及び方法
JP2004062565A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7400344B2 (en) * 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
JP2004258837A (ja) * 2003-02-25 2004-09-16 Nippon Hoso Kyokai <Nhk> カーソル操作装置、その方法およびそのプログラム
IL161002A0 (en) * 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
JP4563723B2 (ja) * 2004-05-10 2010-10-13 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
US7379047B2 (en) * 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US7366540B2 (en) * 2004-08-23 2008-04-29 Siemens Communications, Inc. Hand-held communication device as pointing device
JP2007042020A (ja) * 2005-08-05 2007-02-15 Nec Corp 携帯端末及びプログラム

Also Published As

Publication number Publication date
US20090051652A1 (en) 2009-02-26
TW200910147A (en) 2009-03-01
US8363011B2 (en) 2013-01-29
JP2009054131A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
CN101198925B (zh) 用于触敏输入设备的手势
US8749497B2 (en) Multi-touch shape drawing
KR102342267B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
JP6046729B2 (ja) 全方向ジェスチャー入力
CN108885521B (zh) 跨环境共享
TWI428798B (zh) Information processing devices, information processing methods and program products
US9791918B2 (en) Breath-sensitive digital interface
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
CN102214040B (zh) 用于多状态触摸屏设备的多模式触摸屏用户界面
Harrison et al. Using shear as a supplemental two-dimensional input channel for rich touchscreen interaction
US20070061126A1 (en) System for and method of emulating electronic input devices
KR101247991B1 (ko) 사용자 인터페이스 제어를 위한 카메라 제스처들
US20070222746A1 (en) Gestural input for navigation and manipulation in virtual space
CN103365595A (zh) 用于触敏输入设备的手势
US20140055386A1 (en) Touch and non touch based interaction of a user with a device
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
CN107003804B (zh) 为提供原型设计工具的方法、系统及可进行非暂时性的计算机解读的记录媒介
CN107577415A (zh) 触摸操作响应方法及装置
TW201430623A (zh) 電子裝置及人機交互方法
CN107608550A (zh) 触摸操作响应方法及装置
US20090283341A1 (en) Input device and control method thereof
CN107608551A (zh) 触摸操作响应方法及装置
JP5055156B2 (ja) 制御装置および方法
KR101436588B1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
Tsuchida et al. TetraForce: a magnetic-based interface enabling pressure force and shear force input applied to front and back of a smartphone

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

R150 Certificate of patent or registration of utility model

Ref document number: 5055156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees