JP4723799B2 - 制御システムおよび制御方法 - Google Patents
制御システムおよび制御方法 Download PDFInfo
- Publication number
- JP4723799B2 JP4723799B2 JP2003193738A JP2003193738A JP4723799B2 JP 4723799 B2 JP4723799 B2 JP 4723799B2 JP 2003193738 A JP2003193738 A JP 2003193738A JP 2003193738 A JP2003193738 A JP 2003193738A JP 4723799 B2 JP4723799 B2 JP 4723799B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- input
- predetermined
- speed
- input part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Description
【０００１】
【発明の属する技術分野】
本発明は、電子機器などの制御技術に関し、とくに、ユーザの体の一部や、ユーザにより操作される物体などを含む入力部位の形状又は動作、又は入力部位までの距離などによりユーザの指示を入力することが可能なユーザインタフェイスを備えた制御システム及び方法に関する。
【０００２】
【従来の技術】
ＩＴの発達に伴い、高度な機能を有する電子機器が多数登場している。電子機器の機能が高度になるにつれて、ユーザが電子機器に機能を実行させるための指示の内容も多様化しており、分かりやすく操作性に優れたユーザインタフェイス（User Interface：ＵＩ）の必要性が増している。たとえば、パーソナルコンピュータ（Personal Computer：ＰＣ）においては、以前は、ユーザがキーボードによりコマンド文字列を入力するキャラクタベースのユーザインタフェイスが主に採用されていたが、現在では、アイコンやウィンドウなどの画像を表示画面に提示し、表示画面上のポインタをユーザがマウスなどのポインティングデバイスにより操作して指示を入力するグラフィカル・ユーザインタフェイス（Graphical User Interface：ＧＵＩ）が主流となっている。
【０００３】
【発明が解決しようとする課題】
ＧＵＩの登場により、ユーザは、所望の機能をＰＣに実行させるためのコマンド文字列を覚え、入力する煩わしさから解放された。しかし、ＰＣが広く大衆に普及したとは言え、子供や高齢者などを中心に、マウスなどの操作に慣れておらず、抵抗感を感じるユーザもいる。また、より現実世界に近い感覚で指示を入力することが可能なＵＩを求める声もある。今後、ＰＣなどの電子機器が更に生活の中に浸透し、より多様なユーザ層により使用されることが予想されるため、より直感的で分かりやすく、操作性に優れたＵＩの開発が望まれる。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、操作性に優れたユーザインタフェイスの提供にある。
【０００５】
【課題を解決するための手段】
本発明のある態様は、制御システムに関する。この制御システムは、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む単数又は複数の入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部と、入力部により検知された入力部位の形状又は動作、又は入力部位までの距離を解析して、ユーザの指示を判別する解析部と、解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする。
【０００６】
検知部は、入力部位までの距離情報を取得可能な撮像装置であってもよい。検知部は、複数の電極を含み、入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であってもよい。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【０００８】
【発明の実施の形態】
（第１の実施の形態）
図１は、第１の実施の形態に係る制御システム１０の構成を示す。制御システム１０は、ユーザからの指示を入力する入力装置２０と、入力装置２０から入力される指示に応じてアプリケーションなどの動作を制御する制御装置４０と、制御装置４０から出力される画像を表示する表示装置３０とを備える。本実施の形態の制御システム１０は、ユーザが、指、手、足、頭など、体の一部を使って、動作（ジェスチャー）により指示を入力することが可能なユーザインタフェイス（以下、「ジェスチュラルインタフェイス」という）を提供する。これにより、ユーザが、現実世界と同様な動作で表示画面に表示されたオブジェクトを扱ったり、アプリケーションに指示を入力したりすることを可能とし、直感的に分かりやすく、操作性に優れたユーザインタフェイスを実現することができる。本実施の形態において、入力装置２０は、ユーザの体の少なくとも一部を含む入力部位の形状又は動作、又は入力部位までの距離を検知する検知部の機能を有する。
【０００９】
図２は、実施の形態に係る入力装置２０および表示装置３０の構成例を示す。図２に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、陰極線管（Cathord Ray Tube：ＣＲＴ）ディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２と一体的に、または別体として設けられた、測距機能を有する撮像装置２２が用いられる。制御装置４０は、撮像装置２２により撮影されたユーザの動作を画像処理により解析し、ユーザが行ったジェスチャーを判別し、ユーザの指示を取得する。この構成例によれば、ユーザの体の広い範囲を撮影して、その動作を判別することができるので、ユーザは、指だけでなく、手や足などを用いたジェスチャーにより指示を行うことができる。この方式は、撮像装置２２からある程度離れた位置でユーザがジェスチャーを行う場合に適している。ユーザとの距離に依存しない方式のジェスチュラルインタフェイスを採用する場合は、入力装置２０として、測距機能を有しない撮像装置を用いてもよいが、後述するように、ユーザが表示画面上のオブジェクトを指などを用いて扱うことが可能なジェスチュラルインタフェイスを提供するためには、測距機能を有する撮像装置２２を用いるのが好ましい。
【００１０】
図３は、実施の形態に係る入力装置２０および表示装置３０の他の構成例を示す。図３に示した例では、表示装置３０として、スクリーン３８に画像を投影するプロジェクタ３６が用いられ、入力装置２０として、測距機能を有する撮像装置２２が用いられる。図３の例では、ユーザの後方上部に設けられたプロジェクタ３６により、ユーザの前方に設けられたガラスなどの透明または半透明のスクリーン３８に画像を投影し、スクリーン３８に表示された画像に向かってジェスチャーを行うユーザを、スクリーン３８の反対側に設けられた撮像装置２２により撮影している。この構成例によれば、ユーザの体の広い範囲の動作を取得できるとともに、ユーザがスクリーン３８に投影された画像に直接触れながら、または画像の近傍で動作を行うことができるので、スクリーン３８に投影されたオブジェクトなどを手などで直接扱っているような操作感をユーザに与えることができる。また、撮像装置２２をスクリーン３８から離れた位置に配置することができるので、スクリーン３８の近傍でユーザがジェスチャーを行っても、ユーザの体の部位までの距離を精度良く検知することができる。
【００１１】
図４は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図４に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられたタッチパネル２４が用いられる。または、プロジェクタによりタッチパネル２４の表面に画像を投影する構成であってもよい。タッチパネル２４は、抵抗感圧方式、赤外線検出方式など、任意の方式のタッチパネルであってよい。この構成例によれば、ユーザは、表示画面３４に表示されているオブジェクトなどに直接触れつつ指示を入力することができる。
【００１２】
図５は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図５に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられた非接触型入力装置２６が用いられる。または、プロジェクタにより非接触型入力装置２６の表面に画像を投影する構成であってもよい。この非接触型入力装置２６は、ユーザの指先などの物体が接近したときに、その物体の形状や物体までの距離などを検知可能な入力装置であり、たとえば、特開２００２−３４２０３３号公報に開示された入力装置を利用可能である。特開２００２−３４２０３３号公報に開示された非接触型入力装置は、縦横に配列された複数の線状の電極を備え、ユーザの指先などの導電性の物体が電極に近づいたときに、その接近の程度に応じた静電容量の変化を検知し、入力装置の近傍にある物体の３次元位置情報を取得する。この構成例によれば、非接触型入力装置２６を表示画面３４に近接して設けることができ、表示画面３４の近傍におけるユーザの動作や体の部位の形状を精度良く検知することができるので、ユーザは、表示画面３４に表示された画像を見ながら、その画像の近傍で指などの入力部位により指示を入力することができる。非接触型入力装置２６では、ユーザの体のうち、入力装置の近傍に接近した部位のみが検出されるので、動作を解析するために特定の部位を抽出する手間が省け、処理を簡略化することができる。また、接近させただけで、形状や距離を検知することができるので、表示画面３４に触れなくても指示入力が可能であり、表示画面３４に直接触ることに抵抗を感じるユーザであっても快適に使用することができる。さらに、表示画面３４を強く押す必要が無く、ユーザが表示画面３４に触れる前から接近を検知することができるので、反応性が良く、操作感に優れたユーザインタフェイスを提供することができる。
【００１３】
上述した複数の構成例のうち、いずれの構成を採用するかは、本制御システム１０を設置する場所の環境、制御するアプリケーションやコンテンツなどの種類などに応じて決定されてもよい。たとえば、複数のユーザが一つの表示装置３０を共有して利用するようなアプリケーションの場合、または、映画などのコンテンツを再生するアプリケーションの場合、ユーザが表示装置３０から比較的距離をとって指示を入力することが想定されるので、図２または図３に示した構成例を採用してもよい。また、一人のユーザが個人的に利用するようなアプリケーションの場合、たとえば、画像や文書などのデータを編集する場合、ユーザと表示装置３０との間の距離は比較的短いことが想定されるので、図４または図５に示した構成例を採用してもよい。複数の構成例を併用した制御システム１０を構築する場合は、アプリケーションやコンテンツごとに、いずれの方式のジェスチュラルインタフェイスを採用するかを選択し、入力装置２０を適宜切り替えて利用してもよい。
【００１４】
図６は、制御装置４０の内部構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置４０は、入力装置２０により検知された入力信号を取得する取得部４２と、取得部４２が取得した入力信号からユーザの動作を解析してユーザの指示を判別する解析部４４と、解析部４４により判別されたユーザの指示に対応する機能を実行する制御部４６とを含む。
【００１５】
入力装置２０が測距機能付き撮像装置であった場合、解析部４４は、撮像装置が撮影した距離情報を有する画像を取得して、画像処理によりユーザの動作を判別する。解析部４４は、形状認識技術によりユーザの体の一部、たとえば、頭、目、手、指、足などを抽出し、抽出した体の部位の動きを解析することにより、ユーザの動作を判別してもよい。入力装置２０がタッチパネルであった場合、解析部４４は、入力信号の形状や時間変化を解析することにより、ユーザの動作を判別してもよい。入力装置２０が非接触型入力装置であった場合、解析部４４は、入力信号の形状や距離、それらの時間変化を解析することにより、ユーザの動作を判別してもよい。
【００１６】
図７は、制御装置４０のハードウェアコンポーネントを示す。制御装置４０は、ＣＰＵ１２０、入力インタフェイス１２２、表示インタフェイス１２４、メモリ１３０、ハードディスク１３２、およびドライブ装置１２８を備える。これらの構成は、バス１２６などの信号伝送路により電気的に接続されている。
【００１７】
入力インタフェイス１２２は、入力装置２０が検知した入力信号を取得する。表示インタフェイス１２４は、表示装置３０に表示する画像信号を出力する。ハードディスク１３２は、大容量の磁気記憶装置であり、各種ファイルなどを記憶する。記録媒体１４０は、上述した制御装置４０の機能を、ＣＰＵ１２０に実現させるためのプログラムを記録する。記録媒体１４０がドライブ装置１２８に挿入されると、そのプログラムは、メモリ１３０またはハードディスク１３２に読み出され、ＣＰＵ１２０は、読み出されたプログラムにより本実施の形態の制御処理を行う。この記録媒体１４０は、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体である。
【００１８】
ここでは、プログラムが記録媒体１４０に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図７に示したハードウェア構成において、プログラムは、コンピュータに本実施の形態の制御機能を実現させればよいのであって、外部から供給される場合だけでなく、予めハードディスク１３２に格納されていてよいことも当業者には理解されるところである。
【００１９】
制御部４６の機能は、コンピュータのＣＰＵなどにより実行されるオペレーティング・システム（Operating System：ＯＳ）や、入出力制御用のアプリケーションなどにより実現されてもよい。たとえば、ウィンドウシステムなどのＧＵＩを採用したＯＳの場合は、ユーザの指などの入力部位が接近した場所の近傍の位置で最上位にあるウィンドウのアプリケーションにユーザの指示が通知され、そのアプリケーションがユーザの指示に対応づけられた機能を実行してもよい。その位置にウィンドウがない場合は、ＯＳまたは入出力制御用アプリケーションがその指示に対応づけられた機能を実行してもよい。
【００２０】
１．複数点による指示入力の例
従来のポインティングデバイスを利用したユーザインタフェイスでは、１点のポインタにより指示入力を行っていたが、本実施の形態の制御システム１０が提供するジェスチュラルインタフェイスによれば、ユーザが指、手、足などを用いて、複数点の入力部位により指示を行うことができる。
【００２１】
図８および図９は、ユーザの複数の指の動きにより指示を入力する例を説明するための図である。図８に示すように、ユーザが親指と人差し指を閉じた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図９に示すように、親指と人差し指を開く動作を行ったとする。このとき、取得部４２は、入力装置２０が検知した入力信号を解析部４４に送り、解析部４４は、ユーザの指の動きを解析して、ユーザが指を開く指示を行ったことを判別する。
【００２２】
入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して指の動きを追跡し、ユーザが指を開く動作を行ったことを判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上のアイコン２００の近傍の座標に接近した、または触れた一かたまりの入力部位が二つに分かれ、それぞれが離れる方向に移動したときに、ユーザが指を開く動作を行ったと判定する。一かたまりの入力部位が二つに分かれる場合だけでなく、２つの入力部位が互いに離れる方向に移動したときにも、ユーザが指を開く動作を行ったと判定してもよい。
【００２３】
ユーザが指を開く動作を行ったとき、制御部４６は、指を開く動作に対応づけられた機能を実行する。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００に対応づけられたアプリケーションを起動する機能を実行してもよい。そのアイコン２００が、ファイルに対応づけられていた場合は、そのファイルを扱うことが可能なアプリケーションを起動して、そのファイルを開く機能を実行してもよい。このように、「指を開く」動作と、「アプリケーションを開く」、「ファイルを開く」などの機能を対応づけることで、ユーザの動作とアプリケーションの動作が感覚的に一致するので、より直感的に分かりやすく、親和性の高いユーザインタフェイスを実現することができる。
【００２４】
指を開く動作と、「開始する」、「決定する」、「確定する」などの機能を対応づけてもよい。その他、各アプリケーションが、指を開く動作に対応した機能を実装してもよい。たとえば、画像処理用のアプリケーションにおいて、ユーザが画像上で指を開く動作を行ったとき、その部分を拡大する、またはその部分を指を開いた方向に伸ばす機能を実行してもよい。
【００２５】
逆に、ユーザが、図９に示すように、親指と人差し指を開いた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図８に示すように、親指と人差し指を閉じる動作を行ったとき、解析部４４が、ユーザがアイコン２００上で指を閉じる動作を行ったと判定し、制御部４６が、指を閉じる動作に対応づけられた機能を実行してもよい。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００又はウィンドウに対応づけられたアプリケーションを終了する機能を実行してもよいし、アイコン２００又はウィンドウに対応づけられたファイルを閉じる機能を実行してもよい。また、画像処理用のアプリケーションにおいて、ユーザが画像上で指を閉じる動作を行ったとき、その部分を縮小する、またはその部分を指を閉じた方向に縮める機能を実行してもよい。
【００２６】
上述の例では、指を開く又は閉じる動作について説明したが、その他、制御部４６は、ユーザの指や手などを含む複数の入力部位を用いた指示を受け付けて、その動作に対応づけられた機能を実行してもよい。たとえば、本を閲覧するアプリケーションにおいて、ユーザが表示された本のページの角をつまむ動作を行ったとき、そのページを記憶して、「しおりを挟む」機能を実行してもよい。また、ロールプレイングゲームにおいて、ユーザが表示されたアイテムの近傍に指をおいて、そのアイテムをつかむ動作を行ったとき、そのアイテムを「拾う」機能を実行してもよい。
【００２７】
２．形状を利用した指示入力の例
図１０は、ユーザの手の形状により指示を入力する例を説明するための図である。図９に示したように、ユーザが手を開いた状態で表示画面上に手の平を置いたとする。入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して手の形状を判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上に接近した、または触れた物体の形状から、既知の技術により特徴点を抽出して、または所定の評価式により評価して、物体の形状を判別する。一般的な手の形状をデータベースに保持しておき、データベースに照合して一致する形状を抽出することにより、手の形状を判別してもよい。検出した物体の面積に基づいて形状を判定してもよい。たとえば、ユーザが手を表示画面上に置いたとき、手を開いた状態が最も面積が大きくなり、手を握った状態が最も面積が小さくなる。このことを利用して、手の形状を判別してもよい。ユーザが手を開いた状態で画面上に手の平を置いたとき、制御部４６は、その形状に対応する機能、たとえば、手の平を置いた位置において最上位に表示中のウィンドウ２１０に対応するアプリケーションを「終了する」機能を実行する。「手の平を置く」という動作と、「停止する」、「終了する」などの機能を対応づけることで、直感的に分かりやすく、操作性の良いユーザインタフェイスを実現することができる。
【００２８】
図１１は、手の形状に対してオブジェクトをマッピングする例を説明するための図である。図１１に示したように、ユーザが一方の手、ここでは左手で特定の形状を作り、他方の手、ここでは右手で表示画面上のオブジェクト２２０の位置から左手の方向へ指をずらす動作を行ったとする。手の形状の判別方法は、上述した例と同様である。このとき、制御部４６は、左手の形状に対応するハードディスク１３２の格納場所に、右手の指で移動させたオブジェクト２２０に対応するファイルを格納する機能を実行する。左手の形状に対応する格納場所は、ファイルシステムにおけるディレクトリまたはフォルダなどであってもよいし、仮想的なフォルダであってもよい。また、手の形状にファイル自身を対応づけてもよい。一つの形状に対して一つの格納場所を対応づけるだけでなく、たとえば、開いた手の各指に対してそれぞれ格納場所を対応づけてもよい。
【００２９】
図１２は、手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す。テーブル２３０は、制御装置４０のメモリ１３０またはハードディスク１３２などに保持される。テーブル２３０には、形状欄２３２、格納場所欄２３４が設けられている。形状欄２３２は、手の形状を表す画像、パラメータなどを保持する。手の形状を画像として認識する場合は、その画像ファイルのファイル名などを保持してもよいし、手の形状を特徴点または評価式などでパラメータ化して認識する場合は、そのパラメータ、またはパラメータが格納されたファイルのファイル名などを保持してもよい。格納場所欄２３４は、オブジェクトの格納場所を保持する。手の形状と、その形状に対応する格納場所は、予め登録されていてもよいし、ユーザが図１１に示した操作を行ったときに、手の形状が未登録の形状であった場合、制御部４６が、その手の形状と格納場所をテーブル２３０に登録してもよい。このとき、ユーザが格納場所を指示してもよいし、自動的に適当な格納場所を割り当ててもよい。手の形状にファイル自身を対応づける場合は、格納場所欄２３４は、そのファイルのファイル名を保持する。
【００３０】
図１３は、図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。図１３に示したように、ユーザが一方の手、ここでは左手で取り出したいオブジェクトの格納場所に対応する手の形状を作り、他方の手、ここでは右手で左手の近傍の位置から離れる方向へ指をずらす動作を行う。このとき、制御部４６は、左手の形状に対応する格納場所に格納されたオブジェクトを特定し、表示画面上に表示する。制御部４６は、このオブジェクトに対応するファイルを開く機能を実行してもよい。
【００３１】
３．距離に応じた指示入力の例
図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、表示装置３０からユーザの体の部位までの距離を検知することができる。以下、距離に応じた指示入力の例について説明する。
【００３２】
図１４は、距離に応じた指示入力の例を説明するための図である。図１４に示した例では、制御部４６が表示装置に魚が泳いでいる動画像を表示している。ここで、ユーザが表示画面に手を近づけたときに、表示画面からユーザの手までの距離が所定のしきい値を下回ると、制御部４６は、ユーザの手の近傍から魚が逃げる動画像に表示を切り替える。これにより、現実に生きた魚が表示画面中を泳いでいるような臨場感を与えることができる。後述の例４に関連するが、ユーザの手が近づくときの速度を算出し、速度が速いときは、表示を切り替えるしきい値を大きくして、手が遠い位置にあるときから魚が逃げ始めるようにし、速度が遅いときは、しきい値を小さくして、手が近い位置に来るまで魚が逃げないようにしてもよい。制御部４６は、ユーザの手と表示画面との間の距離が所定値以上であるときは、魚が自由に泳いでいる動画像を表示し、距離が所定値を下回っているときは、魚がユーザの手の位置を避けて泳ぐ動画像を表示してもよい。非接触型入力装置は、表示画面の近傍の距離情報を精度良く検知することができるので、この例では、入力装置２０として非接触型入力装置を用いることがより好ましい。
【００３３】
入力装置２０として撮像装置を用いる場合は、測距機能や画像処理の精度の関係から、ユーザが撮像装置から離れすぎていると正確にユーザの指示を判別できない恐れがある。また、入力装置２０として非接触型入力装置を用いる場合は、ユーザの手などの部位が入力装置２０に近づかないと、静電容量の変化が起こらず検知できない。このように、入力装置２０の特性に応じて、ユーザが指示入力を行うことが可能な距離の上限値が存在するので、上述の魚が泳ぐ動画像の例を、指示入力の可否を提示する手段として利用してもよい。たとえば、ユーザの手の位置が入力装置２０から離れすぎていて指示入力が不可能な距離であるときには、魚が自由に泳ぎ回っている動画像を表示して、入力が不可能であることをユーザに提示し、ユーザが入力装置に近づいて指示入力が可能な距離になったときに、ユーザの手の回りを魚が避けるように泳ぐ動画像を表示して、入力が可能であることをユーザに提示してもよい。制御部４６は、入力装置２０に対する指示入力の可否を判断するための距離のしきい値を予め保持しておいてもよい。
【００３４】
４．移動量、速度、加速度に応じた指示入力の例
図１５および図１６は、画面上に表示されたオブジェクトを移動する機能について説明するための図である。図１５および図１６の例では、ユーザが表示装置３０に表示されたオブジェクトを指でずらして移動させようとしている。このとき、制御部４６は、ユーザの指などの部位の移動量、速度、加速度を検知して、それに応じてオブジェクトの移動量を決定する。たとえば、オブジェクトごとに重さ、すなわちオブジェクトを移動させるために必要な仮想的なエネルギー値を予め設定しておき、そのエネルギー値と、ユーザがオブジェクトを移動させようと指を動かすときの移動量、速度、または加速度に基づいて、オブジェクトの移動状態を制御する。制御部４６は、軽いオブジェクトについては、図１５に示すように、ユーザが素早く指をずらした場合にも、それに追随してオブジェクトを移動させるが、重いオブジェクトについては、図１６に示すように、ユーザが素早く指をずらした場合にはオブジェクトを移動させない。重いオブジェクトは、初めはユーザがゆっくりと指をずらすことで移動し始め、徐々に指を早く移動させると、それに追随して移動するようにする。これにより、現実の静止摩擦および動摩擦抵抗を模した移動状況を擬似的に再現することができ、ユーザにオブジェクトの重みを反映した操作感を与えることができる。この例で説明した技術は、従来のポインティングデバイスを用いたユーザインタフェイスにおいても利用可能である。
【００３５】
制御部４６は、ユーザがオブジェクトに与える力の大きさを判定して、その力の大きさに応じてオブジェクトの移動状態を制御してもよい。入力装置２０として撮像装置または非接触型入力装置を用いる場合は、入力装置２０とユーザの手の間の距離に基づいて力の大きさを判定してもよい。たとえば、ユーザの手が表示画面に近いほど大きな力をオブジェクトに与えることができるようにしてもよい。入力装置２０としてタッチパネルを用いる場合は、押圧する力の大きさに基づいて力の大きさを判定してもよい。従来のポインティングデバイスを用いる場合は、感圧式マウスなどの押圧の度合いにより力の大きさを判定してもよい。
【００３６】
図１７は、紙を扱う機能について説明するための図である。図１７では、制御部４６が本を開いた画像を表示装置３０に表示している。ユーザがページの上に指をおき、ゆっくり指をずらすと、制御部４６は、ユーザの指の動きに追随してページが徐々にめくれていき、所定の位置を超えるとページがめくれて次のページにうつるような画像を表示する。ユーザが素早く指を動かした場合は、制御部４６は、紙が指の動きに追随できずに、途中までめくれて元に戻るような画像を表示する。これにより、現実に本を読んでいるような臨場感をユーザに与えることができる。制御部４６は、紙がユーザの動きに追随できるか否かを判断するために用いる速度のしきい値を予め保持してもよい。その他、紙を扱う例として、制御部４６は、ユーザの指の動きが早過ぎた場合に、紙がしわを作る様子を表示したり、ユーザが紙をつまむ、破る、などの動作を行ったときに、紙に凹凸をつけたり、紙が破れた様子を表示したりしてもよい。
【００３７】
移動量、速度、加速度に応じた指示入力の他の例として、ユーザがあるオブジェクトを指などにより移動させ、他のオブジェクトの上を通過させたとき、移動速度に応じて他のオブジェクトに所定の処理を行ってもよい。たとえば、移動中のオブジェクトに対応するファイルを、通過したオブジェクトに対応するアプリケーションにより開く機能を実行してもよい。
【００３８】
５．３次元オブジェクトに対する指示入力の例
従来、３次元オブジェクトを表示画面上に表示し、ユーザから３次元オブジェクトの移動、回転などの操作を受け付ける場合、ポインタの動きが２次元的であるから、３次元的な指示入力が困難であるという問題があった。図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、ユーザの体の部位の動きを３次元的に取得することができるので、３次元空間を扱うのに適したジェスチュラルインタフェイスを提供することができる。
【００３９】
図１８は、３次元オブジェクトを扱う例を説明するための図である。制御部４６が表示装置３０に表示した３次元オブジェクト２４０の近傍で、ユーザがオブジェクト２４０をつかんで紙面奥方向へ回すジェスチャーを行うと、制御部４６は、ユーザが手を回した方向と同じ方向に３次元オブジェクト２４０を回転させる。このように、本実施の形態のジェスチュラルインタフェイスによれば、３次元オブジェクトを実際に手で扱っているような操作感を与えることができ、３次元空間を扱うためのユーザインタフェイスの操作性を飛躍的に向上させることができる。
【００４０】
（第２の実施の形態）
第２の実施の形態では、ユーザの体の一部ではなく、ユーザにより操作される物体の形状又は動作、又は物体までの距離により指示を入力する技術について説明する。本実施の形態の制御システム１０の全体構成、入力装置２０、表示装置３０、制御装置４０の内部構成は、それぞれ第１の実施の形態と同様である。本実施の形態では、主に、図５に示した非接触型入力装置２６を用いた構成例について説明するが、他の構成例を用いた場合についても同様である。静電容量の変化を検知する非接触型入力装置２６の場合、導電性の物体を表示画面上に置き、その物体にユーザが触れると、静電容量が変化して物体の形状が検知される。これを利用して、導電性物体の形状や動きに所定の機能を対応づけてユーザインタフェイスを構築することができる。
【００４１】
図１９は、物体の形状や動きにより指示を入力する例を説明するための図である。図１９に示した例では、表示装置３０に、制御部４６により制御される音楽再生アプリケーションのウインドウ２５０が表示されている。このとき、ユーザが、音量調節機能に対応づけられた形状を有する音量調節ユニット２６０を表示画面上に置いて、ツマミ２６２を左右に動かしたとする。解析部４４は、入力信号の形状を解析して、これが音量調節ユニット２６０であることを検知し、さらにツマミ２６２の動きを解析して制御部４６に伝える。制御部４６は、ツマミ２６２の移動量に応じて、音楽再生アプリケーションにおける音量を制御する。
【００４２】
静電容量の変化を検知する非接触型入力装置は、導電性物体のみを検知するので、絶縁性物体の底面に導線により特定の形状を描き、その形状と所定の機能とを対応づけてもよい。
【００４３】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４４】
実施の形態では、制御システム１０がパーソナルコンピュータなどの電子機器に相当する例について説明した。他の例では、入力装置２０として非接触型入力装置２６を用い、テーブルの天板に表示装置３０および入力装置２０を設け、その上でゲームなどを楽しめるように構成してもよい。また、通路の床などに表示装置３０および入力装置２０を設け、ユーザが歩いた足跡を表示したり、ユーザの行き先を画像や光などでナビゲーションするように構成してもよい。
【００４５】
【発明の効果】
本発明によれば、操作性に優れたユーザインタフェイスを提供することができる。
【図面の簡単な説明】
【図１】 実施の形態に係る制御システムの構成を示す図である。
【図２】 実施の形態に係る入力装置および表示装置の構成例を示す図である。
【図３】 実施の形態に係る入力装置および表示装置の他の構成例を示す図である。
【図４】 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図５】 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図６】 制御装置の内部構成を示す図である。
【図７】 制御装置のハードウェアコンポーネントを示す図である。
【図８】 ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図９】 ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図１０】 ユーザの手の形状により指示を入力する例を説明するための図である。
【図１１】 手の形状に対してオブジェクトをマッピングする例を説明するための図である。
【図１２】 手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す図である。
【図１３】 図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。
【図１４】 距離に応じた指示入力の例を説明するための図である。
【図１５】 画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１６】 画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１７】 紙を扱う機能について説明するための図である。
【図１８】 ３次元オブジェクトを扱う例を説明するための図である。
【図１９】 物体の形状や動きにより指示を入力する例を説明するための図である。
【符号の説明】
１０・・・制御システム、２０・・・入力装置、２２・・・撮像装置、２４・・・タッチパネル、２６・・・非接触型入力装置、３０・・・表示装置、４０・・・制御装置、４２・・・取得部、４４・・・解析部、４６・・・制御部。
【発明の属する技術分野】
本発明は、電子機器などの制御技術に関し、とくに、ユーザの体の一部や、ユーザにより操作される物体などを含む入力部位の形状又は動作、又は入力部位までの距離などによりユーザの指示を入力することが可能なユーザインタフェイスを備えた制御システム及び方法に関する。
【０００２】
【従来の技術】
ＩＴの発達に伴い、高度な機能を有する電子機器が多数登場している。電子機器の機能が高度になるにつれて、ユーザが電子機器に機能を実行させるための指示の内容も多様化しており、分かりやすく操作性に優れたユーザインタフェイス（User Interface：ＵＩ）の必要性が増している。たとえば、パーソナルコンピュータ（Personal Computer：ＰＣ）においては、以前は、ユーザがキーボードによりコマンド文字列を入力するキャラクタベースのユーザインタフェイスが主に採用されていたが、現在では、アイコンやウィンドウなどの画像を表示画面に提示し、表示画面上のポインタをユーザがマウスなどのポインティングデバイスにより操作して指示を入力するグラフィカル・ユーザインタフェイス（Graphical User Interface：ＧＵＩ）が主流となっている。
【０００３】
【発明が解決しようとする課題】
ＧＵＩの登場により、ユーザは、所望の機能をＰＣに実行させるためのコマンド文字列を覚え、入力する煩わしさから解放された。しかし、ＰＣが広く大衆に普及したとは言え、子供や高齢者などを中心に、マウスなどの操作に慣れておらず、抵抗感を感じるユーザもいる。また、より現実世界に近い感覚で指示を入力することが可能なＵＩを求める声もある。今後、ＰＣなどの電子機器が更に生活の中に浸透し、より多様なユーザ層により使用されることが予想されるため、より直感的で分かりやすく、操作性に優れたＵＩの開発が望まれる。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、操作性に優れたユーザインタフェイスの提供にある。
【０００５】
【課題を解決するための手段】
本発明のある態様は、制御システムに関する。この制御システムは、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む単数又は複数の入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部と、入力部により検知された入力部位の形状又は動作、又は入力部位までの距離を解析して、ユーザの指示を判別する解析部と、解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする。
【０００６】
検知部は、入力部位までの距離情報を取得可能な撮像装置であってもよい。検知部は、複数の電極を含み、入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であってもよい。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【０００８】
【発明の実施の形態】
（第１の実施の形態）
図１は、第１の実施の形態に係る制御システム１０の構成を示す。制御システム１０は、ユーザからの指示を入力する入力装置２０と、入力装置２０から入力される指示に応じてアプリケーションなどの動作を制御する制御装置４０と、制御装置４０から出力される画像を表示する表示装置３０とを備える。本実施の形態の制御システム１０は、ユーザが、指、手、足、頭など、体の一部を使って、動作（ジェスチャー）により指示を入力することが可能なユーザインタフェイス（以下、「ジェスチュラルインタフェイス」という）を提供する。これにより、ユーザが、現実世界と同様な動作で表示画面に表示されたオブジェクトを扱ったり、アプリケーションに指示を入力したりすることを可能とし、直感的に分かりやすく、操作性に優れたユーザインタフェイスを実現することができる。本実施の形態において、入力装置２０は、ユーザの体の少なくとも一部を含む入力部位の形状又は動作、又は入力部位までの距離を検知する検知部の機能を有する。
【０００９】
図２は、実施の形態に係る入力装置２０および表示装置３０の構成例を示す。図２に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、陰極線管（Cathord Ray Tube：ＣＲＴ）ディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２と一体的に、または別体として設けられた、測距機能を有する撮像装置２２が用いられる。制御装置４０は、撮像装置２２により撮影されたユーザの動作を画像処理により解析し、ユーザが行ったジェスチャーを判別し、ユーザの指示を取得する。この構成例によれば、ユーザの体の広い範囲を撮影して、その動作を判別することができるので、ユーザは、指だけでなく、手や足などを用いたジェスチャーにより指示を行うことができる。この方式は、撮像装置２２からある程度離れた位置でユーザがジェスチャーを行う場合に適している。ユーザとの距離に依存しない方式のジェスチュラルインタフェイスを採用する場合は、入力装置２０として、測距機能を有しない撮像装置を用いてもよいが、後述するように、ユーザが表示画面上のオブジェクトを指などを用いて扱うことが可能なジェスチュラルインタフェイスを提供するためには、測距機能を有する撮像装置２２を用いるのが好ましい。
【００１０】
図３は、実施の形態に係る入力装置２０および表示装置３０の他の構成例を示す。図３に示した例では、表示装置３０として、スクリーン３８に画像を投影するプロジェクタ３６が用いられ、入力装置２０として、測距機能を有する撮像装置２２が用いられる。図３の例では、ユーザの後方上部に設けられたプロジェクタ３６により、ユーザの前方に設けられたガラスなどの透明または半透明のスクリーン３８に画像を投影し、スクリーン３８に表示された画像に向かってジェスチャーを行うユーザを、スクリーン３８の反対側に設けられた撮像装置２２により撮影している。この構成例によれば、ユーザの体の広い範囲の動作を取得できるとともに、ユーザがスクリーン３８に投影された画像に直接触れながら、または画像の近傍で動作を行うことができるので、スクリーン３８に投影されたオブジェクトなどを手などで直接扱っているような操作感をユーザに与えることができる。また、撮像装置２２をスクリーン３８から離れた位置に配置することができるので、スクリーン３８の近傍でユーザがジェスチャーを行っても、ユーザの体の部位までの距離を精度良く検知することができる。
【００１１】
図４は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図４に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられたタッチパネル２４が用いられる。または、プロジェクタによりタッチパネル２４の表面に画像を投影する構成であってもよい。タッチパネル２４は、抵抗感圧方式、赤外線検出方式など、任意の方式のタッチパネルであってよい。この構成例によれば、ユーザは、表示画面３４に表示されているオブジェクトなどに直接触れつつ指示を入力することができる。
【００１２】
図５は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図５に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられた非接触型入力装置２６が用いられる。または、プロジェクタにより非接触型入力装置２６の表面に画像を投影する構成であってもよい。この非接触型入力装置２６は、ユーザの指先などの物体が接近したときに、その物体の形状や物体までの距離などを検知可能な入力装置であり、たとえば、特開２００２−３４２０３３号公報に開示された入力装置を利用可能である。特開２００２−３４２０３３号公報に開示された非接触型入力装置は、縦横に配列された複数の線状の電極を備え、ユーザの指先などの導電性の物体が電極に近づいたときに、その接近の程度に応じた静電容量の変化を検知し、入力装置の近傍にある物体の３次元位置情報を取得する。この構成例によれば、非接触型入力装置２６を表示画面３４に近接して設けることができ、表示画面３４の近傍におけるユーザの動作や体の部位の形状を精度良く検知することができるので、ユーザは、表示画面３４に表示された画像を見ながら、その画像の近傍で指などの入力部位により指示を入力することができる。非接触型入力装置２６では、ユーザの体のうち、入力装置の近傍に接近した部位のみが検出されるので、動作を解析するために特定の部位を抽出する手間が省け、処理を簡略化することができる。また、接近させただけで、形状や距離を検知することができるので、表示画面３４に触れなくても指示入力が可能であり、表示画面３４に直接触ることに抵抗を感じるユーザであっても快適に使用することができる。さらに、表示画面３４を強く押す必要が無く、ユーザが表示画面３４に触れる前から接近を検知することができるので、反応性が良く、操作感に優れたユーザインタフェイスを提供することができる。
【００１３】
上述した複数の構成例のうち、いずれの構成を採用するかは、本制御システム１０を設置する場所の環境、制御するアプリケーションやコンテンツなどの種類などに応じて決定されてもよい。たとえば、複数のユーザが一つの表示装置３０を共有して利用するようなアプリケーションの場合、または、映画などのコンテンツを再生するアプリケーションの場合、ユーザが表示装置３０から比較的距離をとって指示を入力することが想定されるので、図２または図３に示した構成例を採用してもよい。また、一人のユーザが個人的に利用するようなアプリケーションの場合、たとえば、画像や文書などのデータを編集する場合、ユーザと表示装置３０との間の距離は比較的短いことが想定されるので、図４または図５に示した構成例を採用してもよい。複数の構成例を併用した制御システム１０を構築する場合は、アプリケーションやコンテンツごとに、いずれの方式のジェスチュラルインタフェイスを採用するかを選択し、入力装置２０を適宜切り替えて利用してもよい。
【００１４】
図６は、制御装置４０の内部構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置４０は、入力装置２０により検知された入力信号を取得する取得部４２と、取得部４２が取得した入力信号からユーザの動作を解析してユーザの指示を判別する解析部４４と、解析部４４により判別されたユーザの指示に対応する機能を実行する制御部４６とを含む。
【００１５】
入力装置２０が測距機能付き撮像装置であった場合、解析部４４は、撮像装置が撮影した距離情報を有する画像を取得して、画像処理によりユーザの動作を判別する。解析部４４は、形状認識技術によりユーザの体の一部、たとえば、頭、目、手、指、足などを抽出し、抽出した体の部位の動きを解析することにより、ユーザの動作を判別してもよい。入力装置２０がタッチパネルであった場合、解析部４４は、入力信号の形状や時間変化を解析することにより、ユーザの動作を判別してもよい。入力装置２０が非接触型入力装置であった場合、解析部４４は、入力信号の形状や距離、それらの時間変化を解析することにより、ユーザの動作を判別してもよい。
【００１６】
図７は、制御装置４０のハードウェアコンポーネントを示す。制御装置４０は、ＣＰＵ１２０、入力インタフェイス１２２、表示インタフェイス１２４、メモリ１３０、ハードディスク１３２、およびドライブ装置１２８を備える。これらの構成は、バス１２６などの信号伝送路により電気的に接続されている。
【００１７】
入力インタフェイス１２２は、入力装置２０が検知した入力信号を取得する。表示インタフェイス１２４は、表示装置３０に表示する画像信号を出力する。ハードディスク１３２は、大容量の磁気記憶装置であり、各種ファイルなどを記憶する。記録媒体１４０は、上述した制御装置４０の機能を、ＣＰＵ１２０に実現させるためのプログラムを記録する。記録媒体１４０がドライブ装置１２８に挿入されると、そのプログラムは、メモリ１３０またはハードディスク１３２に読み出され、ＣＰＵ１２０は、読み出されたプログラムにより本実施の形態の制御処理を行う。この記録媒体１４０は、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体である。
【００１８】
ここでは、プログラムが記録媒体１４０に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図７に示したハードウェア構成において、プログラムは、コンピュータに本実施の形態の制御機能を実現させればよいのであって、外部から供給される場合だけでなく、予めハードディスク１３２に格納されていてよいことも当業者には理解されるところである。
【００１９】
制御部４６の機能は、コンピュータのＣＰＵなどにより実行されるオペレーティング・システム（Operating System：ＯＳ）や、入出力制御用のアプリケーションなどにより実現されてもよい。たとえば、ウィンドウシステムなどのＧＵＩを採用したＯＳの場合は、ユーザの指などの入力部位が接近した場所の近傍の位置で最上位にあるウィンドウのアプリケーションにユーザの指示が通知され、そのアプリケーションがユーザの指示に対応づけられた機能を実行してもよい。その位置にウィンドウがない場合は、ＯＳまたは入出力制御用アプリケーションがその指示に対応づけられた機能を実行してもよい。
【００２０】
１．複数点による指示入力の例
従来のポインティングデバイスを利用したユーザインタフェイスでは、１点のポインタにより指示入力を行っていたが、本実施の形態の制御システム１０が提供するジェスチュラルインタフェイスによれば、ユーザが指、手、足などを用いて、複数点の入力部位により指示を行うことができる。
【００２１】
図８および図９は、ユーザの複数の指の動きにより指示を入力する例を説明するための図である。図８に示すように、ユーザが親指と人差し指を閉じた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図９に示すように、親指と人差し指を開く動作を行ったとする。このとき、取得部４２は、入力装置２０が検知した入力信号を解析部４４に送り、解析部４４は、ユーザの指の動きを解析して、ユーザが指を開く指示を行ったことを判別する。
【００２２】
入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して指の動きを追跡し、ユーザが指を開く動作を行ったことを判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上のアイコン２００の近傍の座標に接近した、または触れた一かたまりの入力部位が二つに分かれ、それぞれが離れる方向に移動したときに、ユーザが指を開く動作を行ったと判定する。一かたまりの入力部位が二つに分かれる場合だけでなく、２つの入力部位が互いに離れる方向に移動したときにも、ユーザが指を開く動作を行ったと判定してもよい。
【００２３】
ユーザが指を開く動作を行ったとき、制御部４６は、指を開く動作に対応づけられた機能を実行する。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００に対応づけられたアプリケーションを起動する機能を実行してもよい。そのアイコン２００が、ファイルに対応づけられていた場合は、そのファイルを扱うことが可能なアプリケーションを起動して、そのファイルを開く機能を実行してもよい。このように、「指を開く」動作と、「アプリケーションを開く」、「ファイルを開く」などの機能を対応づけることで、ユーザの動作とアプリケーションの動作が感覚的に一致するので、より直感的に分かりやすく、親和性の高いユーザインタフェイスを実現することができる。
【００２４】
指を開く動作と、「開始する」、「決定する」、「確定する」などの機能を対応づけてもよい。その他、各アプリケーションが、指を開く動作に対応した機能を実装してもよい。たとえば、画像処理用のアプリケーションにおいて、ユーザが画像上で指を開く動作を行ったとき、その部分を拡大する、またはその部分を指を開いた方向に伸ばす機能を実行してもよい。
【００２５】
逆に、ユーザが、図９に示すように、親指と人差し指を開いた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図８に示すように、親指と人差し指を閉じる動作を行ったとき、解析部４４が、ユーザがアイコン２００上で指を閉じる動作を行ったと判定し、制御部４６が、指を閉じる動作に対応づけられた機能を実行してもよい。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００又はウィンドウに対応づけられたアプリケーションを終了する機能を実行してもよいし、アイコン２００又はウィンドウに対応づけられたファイルを閉じる機能を実行してもよい。また、画像処理用のアプリケーションにおいて、ユーザが画像上で指を閉じる動作を行ったとき、その部分を縮小する、またはその部分を指を閉じた方向に縮める機能を実行してもよい。
【００２６】
上述の例では、指を開く又は閉じる動作について説明したが、その他、制御部４６は、ユーザの指や手などを含む複数の入力部位を用いた指示を受け付けて、その動作に対応づけられた機能を実行してもよい。たとえば、本を閲覧するアプリケーションにおいて、ユーザが表示された本のページの角をつまむ動作を行ったとき、そのページを記憶して、「しおりを挟む」機能を実行してもよい。また、ロールプレイングゲームにおいて、ユーザが表示されたアイテムの近傍に指をおいて、そのアイテムをつかむ動作を行ったとき、そのアイテムを「拾う」機能を実行してもよい。
【００２７】
２．形状を利用した指示入力の例
図１０は、ユーザの手の形状により指示を入力する例を説明するための図である。図９に示したように、ユーザが手を開いた状態で表示画面上に手の平を置いたとする。入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して手の形状を判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上に接近した、または触れた物体の形状から、既知の技術により特徴点を抽出して、または所定の評価式により評価して、物体の形状を判別する。一般的な手の形状をデータベースに保持しておき、データベースに照合して一致する形状を抽出することにより、手の形状を判別してもよい。検出した物体の面積に基づいて形状を判定してもよい。たとえば、ユーザが手を表示画面上に置いたとき、手を開いた状態が最も面積が大きくなり、手を握った状態が最も面積が小さくなる。このことを利用して、手の形状を判別してもよい。ユーザが手を開いた状態で画面上に手の平を置いたとき、制御部４６は、その形状に対応する機能、たとえば、手の平を置いた位置において最上位に表示中のウィンドウ２１０に対応するアプリケーションを「終了する」機能を実行する。「手の平を置く」という動作と、「停止する」、「終了する」などの機能を対応づけることで、直感的に分かりやすく、操作性の良いユーザインタフェイスを実現することができる。
【００２８】
図１１は、手の形状に対してオブジェクトをマッピングする例を説明するための図である。図１１に示したように、ユーザが一方の手、ここでは左手で特定の形状を作り、他方の手、ここでは右手で表示画面上のオブジェクト２２０の位置から左手の方向へ指をずらす動作を行ったとする。手の形状の判別方法は、上述した例と同様である。このとき、制御部４６は、左手の形状に対応するハードディスク１３２の格納場所に、右手の指で移動させたオブジェクト２２０に対応するファイルを格納する機能を実行する。左手の形状に対応する格納場所は、ファイルシステムにおけるディレクトリまたはフォルダなどであってもよいし、仮想的なフォルダであってもよい。また、手の形状にファイル自身を対応づけてもよい。一つの形状に対して一つの格納場所を対応づけるだけでなく、たとえば、開いた手の各指に対してそれぞれ格納場所を対応づけてもよい。
【００２９】
図１２は、手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す。テーブル２３０は、制御装置４０のメモリ１３０またはハードディスク１３２などに保持される。テーブル２３０には、形状欄２３２、格納場所欄２３４が設けられている。形状欄２３２は、手の形状を表す画像、パラメータなどを保持する。手の形状を画像として認識する場合は、その画像ファイルのファイル名などを保持してもよいし、手の形状を特徴点または評価式などでパラメータ化して認識する場合は、そのパラメータ、またはパラメータが格納されたファイルのファイル名などを保持してもよい。格納場所欄２３４は、オブジェクトの格納場所を保持する。手の形状と、その形状に対応する格納場所は、予め登録されていてもよいし、ユーザが図１１に示した操作を行ったときに、手の形状が未登録の形状であった場合、制御部４６が、その手の形状と格納場所をテーブル２３０に登録してもよい。このとき、ユーザが格納場所を指示してもよいし、自動的に適当な格納場所を割り当ててもよい。手の形状にファイル自身を対応づける場合は、格納場所欄２３４は、そのファイルのファイル名を保持する。
【００３０】
図１３は、図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。図１３に示したように、ユーザが一方の手、ここでは左手で取り出したいオブジェクトの格納場所に対応する手の形状を作り、他方の手、ここでは右手で左手の近傍の位置から離れる方向へ指をずらす動作を行う。このとき、制御部４６は、左手の形状に対応する格納場所に格納されたオブジェクトを特定し、表示画面上に表示する。制御部４６は、このオブジェクトに対応するファイルを開く機能を実行してもよい。
【００３１】
３．距離に応じた指示入力の例
図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、表示装置３０からユーザの体の部位までの距離を検知することができる。以下、距離に応じた指示入力の例について説明する。
【００３２】
図１４は、距離に応じた指示入力の例を説明するための図である。図１４に示した例では、制御部４６が表示装置に魚が泳いでいる動画像を表示している。ここで、ユーザが表示画面に手を近づけたときに、表示画面からユーザの手までの距離が所定のしきい値を下回ると、制御部４６は、ユーザの手の近傍から魚が逃げる動画像に表示を切り替える。これにより、現実に生きた魚が表示画面中を泳いでいるような臨場感を与えることができる。後述の例４に関連するが、ユーザの手が近づくときの速度を算出し、速度が速いときは、表示を切り替えるしきい値を大きくして、手が遠い位置にあるときから魚が逃げ始めるようにし、速度が遅いときは、しきい値を小さくして、手が近い位置に来るまで魚が逃げないようにしてもよい。制御部４６は、ユーザの手と表示画面との間の距離が所定値以上であるときは、魚が自由に泳いでいる動画像を表示し、距離が所定値を下回っているときは、魚がユーザの手の位置を避けて泳ぐ動画像を表示してもよい。非接触型入力装置は、表示画面の近傍の距離情報を精度良く検知することができるので、この例では、入力装置２０として非接触型入力装置を用いることがより好ましい。
【００３３】
入力装置２０として撮像装置を用いる場合は、測距機能や画像処理の精度の関係から、ユーザが撮像装置から離れすぎていると正確にユーザの指示を判別できない恐れがある。また、入力装置２０として非接触型入力装置を用いる場合は、ユーザの手などの部位が入力装置２０に近づかないと、静電容量の変化が起こらず検知できない。このように、入力装置２０の特性に応じて、ユーザが指示入力を行うことが可能な距離の上限値が存在するので、上述の魚が泳ぐ動画像の例を、指示入力の可否を提示する手段として利用してもよい。たとえば、ユーザの手の位置が入力装置２０から離れすぎていて指示入力が不可能な距離であるときには、魚が自由に泳ぎ回っている動画像を表示して、入力が不可能であることをユーザに提示し、ユーザが入力装置に近づいて指示入力が可能な距離になったときに、ユーザの手の回りを魚が避けるように泳ぐ動画像を表示して、入力が可能であることをユーザに提示してもよい。制御部４６は、入力装置２０に対する指示入力の可否を判断するための距離のしきい値を予め保持しておいてもよい。
【００３４】
４．移動量、速度、加速度に応じた指示入力の例
図１５および図１６は、画面上に表示されたオブジェクトを移動する機能について説明するための図である。図１５および図１６の例では、ユーザが表示装置３０に表示されたオブジェクトを指でずらして移動させようとしている。このとき、制御部４６は、ユーザの指などの部位の移動量、速度、加速度を検知して、それに応じてオブジェクトの移動量を決定する。たとえば、オブジェクトごとに重さ、すなわちオブジェクトを移動させるために必要な仮想的なエネルギー値を予め設定しておき、そのエネルギー値と、ユーザがオブジェクトを移動させようと指を動かすときの移動量、速度、または加速度に基づいて、オブジェクトの移動状態を制御する。制御部４６は、軽いオブジェクトについては、図１５に示すように、ユーザが素早く指をずらした場合にも、それに追随してオブジェクトを移動させるが、重いオブジェクトについては、図１６に示すように、ユーザが素早く指をずらした場合にはオブジェクトを移動させない。重いオブジェクトは、初めはユーザがゆっくりと指をずらすことで移動し始め、徐々に指を早く移動させると、それに追随して移動するようにする。これにより、現実の静止摩擦および動摩擦抵抗を模した移動状況を擬似的に再現することができ、ユーザにオブジェクトの重みを反映した操作感を与えることができる。この例で説明した技術は、従来のポインティングデバイスを用いたユーザインタフェイスにおいても利用可能である。
【００３５】
制御部４６は、ユーザがオブジェクトに与える力の大きさを判定して、その力の大きさに応じてオブジェクトの移動状態を制御してもよい。入力装置２０として撮像装置または非接触型入力装置を用いる場合は、入力装置２０とユーザの手の間の距離に基づいて力の大きさを判定してもよい。たとえば、ユーザの手が表示画面に近いほど大きな力をオブジェクトに与えることができるようにしてもよい。入力装置２０としてタッチパネルを用いる場合は、押圧する力の大きさに基づいて力の大きさを判定してもよい。従来のポインティングデバイスを用いる場合は、感圧式マウスなどの押圧の度合いにより力の大きさを判定してもよい。
【００３６】
図１７は、紙を扱う機能について説明するための図である。図１７では、制御部４６が本を開いた画像を表示装置３０に表示している。ユーザがページの上に指をおき、ゆっくり指をずらすと、制御部４６は、ユーザの指の動きに追随してページが徐々にめくれていき、所定の位置を超えるとページがめくれて次のページにうつるような画像を表示する。ユーザが素早く指を動かした場合は、制御部４６は、紙が指の動きに追随できずに、途中までめくれて元に戻るような画像を表示する。これにより、現実に本を読んでいるような臨場感をユーザに与えることができる。制御部４６は、紙がユーザの動きに追随できるか否かを判断するために用いる速度のしきい値を予め保持してもよい。その他、紙を扱う例として、制御部４６は、ユーザの指の動きが早過ぎた場合に、紙がしわを作る様子を表示したり、ユーザが紙をつまむ、破る、などの動作を行ったときに、紙に凹凸をつけたり、紙が破れた様子を表示したりしてもよい。
【００３７】
移動量、速度、加速度に応じた指示入力の他の例として、ユーザがあるオブジェクトを指などにより移動させ、他のオブジェクトの上を通過させたとき、移動速度に応じて他のオブジェクトに所定の処理を行ってもよい。たとえば、移動中のオブジェクトに対応するファイルを、通過したオブジェクトに対応するアプリケーションにより開く機能を実行してもよい。
【００３８】
５．３次元オブジェクトに対する指示入力の例
従来、３次元オブジェクトを表示画面上に表示し、ユーザから３次元オブジェクトの移動、回転などの操作を受け付ける場合、ポインタの動きが２次元的であるから、３次元的な指示入力が困難であるという問題があった。図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、ユーザの体の部位の動きを３次元的に取得することができるので、３次元空間を扱うのに適したジェスチュラルインタフェイスを提供することができる。
【００３９】
図１８は、３次元オブジェクトを扱う例を説明するための図である。制御部４６が表示装置３０に表示した３次元オブジェクト２４０の近傍で、ユーザがオブジェクト２４０をつかんで紙面奥方向へ回すジェスチャーを行うと、制御部４６は、ユーザが手を回した方向と同じ方向に３次元オブジェクト２４０を回転させる。このように、本実施の形態のジェスチュラルインタフェイスによれば、３次元オブジェクトを実際に手で扱っているような操作感を与えることができ、３次元空間を扱うためのユーザインタフェイスの操作性を飛躍的に向上させることができる。
【００４０】
（第２の実施の形態）
第２の実施の形態では、ユーザの体の一部ではなく、ユーザにより操作される物体の形状又は動作、又は物体までの距離により指示を入力する技術について説明する。本実施の形態の制御システム１０の全体構成、入力装置２０、表示装置３０、制御装置４０の内部構成は、それぞれ第１の実施の形態と同様である。本実施の形態では、主に、図５に示した非接触型入力装置２６を用いた構成例について説明するが、他の構成例を用いた場合についても同様である。静電容量の変化を検知する非接触型入力装置２６の場合、導電性の物体を表示画面上に置き、その物体にユーザが触れると、静電容量が変化して物体の形状が検知される。これを利用して、導電性物体の形状や動きに所定の機能を対応づけてユーザインタフェイスを構築することができる。
【００４１】
図１９は、物体の形状や動きにより指示を入力する例を説明するための図である。図１９に示した例では、表示装置３０に、制御部４６により制御される音楽再生アプリケーションのウインドウ２５０が表示されている。このとき、ユーザが、音量調節機能に対応づけられた形状を有する音量調節ユニット２６０を表示画面上に置いて、ツマミ２６２を左右に動かしたとする。解析部４４は、入力信号の形状を解析して、これが音量調節ユニット２６０であることを検知し、さらにツマミ２６２の動きを解析して制御部４６に伝える。制御部４６は、ツマミ２６２の移動量に応じて、音楽再生アプリケーションにおける音量を制御する。
【００４２】
静電容量の変化を検知する非接触型入力装置は、導電性物体のみを検知するので、絶縁性物体の底面に導線により特定の形状を描き、その形状と所定の機能とを対応づけてもよい。
【００４３】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４４】
実施の形態では、制御システム１０がパーソナルコンピュータなどの電子機器に相当する例について説明した。他の例では、入力装置２０として非接触型入力装置２６を用い、テーブルの天板に表示装置３０および入力装置２０を設け、その上でゲームなどを楽しめるように構成してもよい。また、通路の床などに表示装置３０および入力装置２０を設け、ユーザが歩いた足跡を表示したり、ユーザの行き先を画像や光などでナビゲーションするように構成してもよい。
【００４５】
【発明の効果】
本発明によれば、操作性に優れたユーザインタフェイスを提供することができる。
【図面の簡単な説明】
【図１】 実施の形態に係る制御システムの構成を示す図である。
【図２】 実施の形態に係る入力装置および表示装置の構成例を示す図である。
【図３】 実施の形態に係る入力装置および表示装置の他の構成例を示す図である。
【図４】 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図５】 実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図６】 制御装置の内部構成を示す図である。
【図７】 制御装置のハードウェアコンポーネントを示す図である。
【図８】 ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図９】 ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図１０】 ユーザの手の形状により指示を入力する例を説明するための図である。
【図１１】 手の形状に対してオブジェクトをマッピングする例を説明するための図である。
【図１２】 手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す図である。
【図１３】 図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。
【図１４】 距離に応じた指示入力の例を説明するための図である。
【図１５】 画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１６】 画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１７】 紙を扱う機能について説明するための図である。
【図１８】 ３次元オブジェクトを扱う例を説明するための図である。
【図１９】 物体の形状や動きにより指示を入力する例を説明するための図である。
【符号の説明】
１０・・・制御システム、２０・・・入力装置、２２・・・撮像装置、２４・・・タッチパネル、２６・・・非接触型入力装置、３０・・・表示装置、４０・・・制御装置、４２・・・取得部、４４・・・解析部、４６・・・制御部。
Claims (6)
- ユーザに画像を提示するための表示部と、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知する検知部と、
前記表示部に表示されたオブジェクトに対して、そのオブジェクトの重さを表すパラメータを設定し、前記オブジェクトをユーザが移動させるために、そのオブジェクトが表示された前記表示部の位置の近傍に前記入力部位を接近させて移動させたことを前記検知部が検知したときに、前記入力部位の速度を算出し、所定の重量よりも軽いオブジェクトについては、所定の速度よりも早く前記入力部位をずらした場合にも、それに追随してオブジェクトを移動させるが、前記所定の重量よりも重いオブジェクトについては、前記所定の速度よりも早く前記入力部位をずらした場合にはオブジェクトを移動させず、前記所定の速度よりもゆっくりと前記入力部位をずらした場合に、それに追随してオブジェクトを移動させるように、前記オブジェクトの移動量を決定し、前記オブジェクトの移動を制御する制御部と、
を備えることを特徴とする制御システム。 - 前記検知部は、前記入力部位までの距離情報を取得可能な撮像装置であることを特徴とする請求項１に記載の制御システム。
- 前記検知部は、複数の電極を含み、前記入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であることを特徴とする請求項１又は２に記載の制御システム。
- ユーザに画像を提示するための表示部に画像を表示するステップと、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知するステップと、
前記提示するステップにより表示されたオブジェクトに対して、そのオブジェクトの重さを表すパラメータを設定するステップと、
前記オブジェクトをユーザが移動させるために、そのオブジェクトが表示された前記表示部の位置の近傍に前記入力部位を接近させて移動させたことを前記検知するステップにおいて検知したときに、前記入力部位の速度を算出し、所定の重量よりも軽いオブジェクトについては、所定の速度よりも早く前記入力部位をずらした場合にも、それに追随してオブジェクトを移動させるが、前記所定の重量よりも重いオブジェクトについては、前記所定の速度よりも早く前記入力部位をずらした場合にはオブジェクトを移動させず、前記所定の速度よりもゆっくりと前記入力部位をずらした場合に、それに追随してオブジェクトを移動させるように、前記オブジェクトの移動量を決定し、前記オブジェクトの移動を制御するステップと
をコンピュータに実行させることを特徴とする制御方法。 - ユーザに画像を提示するための表示部に画像を表示する機能と、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知する機能と、
前記提示する機能により表示されたオブジェクトに対して、そのオブジェクトの重さを表すパラメータを設定し、前記オブジェクトをユーザが移動させるために、そのオブジェクトが表示された前記表示部の位置の近傍に前記入力部位を接近させて移動させたことを前記検知する機能が検知したときに、前記入力部位の速度を算出し、所定の重量よりも軽いオブジェクトについては、所定の速度よりも早く前記入力部位をずらした場合にも、それに追随してオブジェクトを移動させるが、前記所定の重量よりも重いオブジェクトについては、前記所定の速度よりも早く前記入力部位をずらした場合にはオブジェクトを移動させず、前記所定の速度よりもゆっくりと前記入力部位をずらした場合に、それに追随してオブジェクトを移動させるように、前記オブジェクトの移動量を決定し、前記オブジェクトの移動を制御する機能と、
をコンピュータに実現させるためのコンピュータプログラム。 - ユーザに画像を提示するための表示部に画像を表示する機能と、
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の動作を検知する機能と、
前記提示する機能により表示されたオブジェクトに対して、そのオブジェクトの重さを表すパラメータを設定し、前記オブジェクトをユーザが移動させるために、そのオブジェクトが表示された前記表示部の位置の近傍に前記入力部位を接近させて移動させたことを前記検知する機能が検知したときに、前記入力部位の速度を算出し、所定の重量よりも軽いオブジェクトについては、所定の速度よりも早く前記入力部位をずらした場合にも、それに追随してオブジェクトを移動させるが、前記所定の重量よりも重いオブジェクトについては、前記所定の速度よりも早く前記入力部位をずらした場合にはオブジェクトを移動させず、前記所定の速度よりもゆっくりと前記入力部位をずらした場合に、それに追随してオブジェクトを移動させるように、前記オブジェクトの移動量を決定し、前記オブジェクトの移動を制御する機能と、
をコンピュータに実現させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003193738A JP4723799B2 (ja) | 2003-07-08 | 2003-07-08 | 制御システムおよび制御方法 |
| PCT/JP2004/006643 WO2005003948A1 (ja) | 2003-07-08 | 2004-05-18 | 制御システムおよび制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003193738A JP4723799B2 (ja) | 2003-07-08 | 2003-07-08 | 制御システムおよび制御方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009000156A Division JP5184384B2 (ja) | 2009-01-05 | 2009-01-05 | 制御システムおよび制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005031799A JP2005031799A (ja) | 2005-02-03 |
| JP4723799B2 true JP4723799B2 (ja) | 2011-07-13 |
Family
ID=33562479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003193738A Expired - Fee Related JP4723799B2 (ja) | 2003-07-08 | 2003-07-08 | 制御システムおよび制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4723799B2 (ja) |
| WO (1) | WO2005003948A1 (ja) |
Families Citing this family (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US8249334B2 (en) | 2006-05-11 | 2012-08-21 | Primesense Ltd. | Modeling of humanoid forms from depth maps |
| JP4627052B2 (ja) * | 2006-07-06 | 2011-02-09 | 株式会社ソニー・コンピュータエンタテインメント | 画像に連携した音声出力方法および装置 |
| JP5324440B2 (ja) | 2006-07-12 | 2013-10-23 | エヌ−トリグ リミテッド | デジタイザのためのホバリングおよびタッチ検出 |
| US8686964B2 (en) | 2006-07-13 | 2014-04-01 | N-Trig Ltd. | User specific recognition of intended user interaction with a digitizer |
| JP4730784B2 (ja) * | 2006-08-09 | 2011-07-20 | アルパイン株式会社 | 車載表示システム |
| WO2008020446A1 (en) * | 2006-08-15 | 2008-02-21 | N-Trig Ltd. | Gesture detection for a digitizer |
| JP2010515170A (ja) * | 2006-12-29 | 2010-05-06 | ジェスチャー テック，インコーポレイテッド | 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作 |
| US7855718B2 (en) * | 2007-01-03 | 2010-12-21 | Apple Inc. | Multi-touch input discrimination |
| WO2009035705A1 (en) | 2007-09-14 | 2009-03-19 | Reactrix Systems, Inc. | Processing of gesture-based user interactions |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| US8933892B2 (en) | 2007-11-19 | 2015-01-13 | Cirque Corporation | Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed |
| JPWO2009069392A1 (ja) * | 2007-11-28 | 2011-04-07 | 日本電気株式会社 | 入力装置、サーバ、表示管理方法および記録媒体 |
| US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| US8576181B2 (en) * | 2008-05-20 | 2013-11-05 | Lg Electronics Inc. | Mobile terminal using proximity touch and wallpaper controlling method thereof |
| JP4318056B1 (ja) * | 2008-06-03 | 2009-08-19 | 島根県 | 画像認識装置および操作判定方法 |
| US8154524B2 (en) * | 2008-06-24 | 2012-04-10 | Microsoft Corporation | Physics simulation-based interaction for surface computing |
| JP2010140300A (ja) * | 2008-12-12 | 2010-06-24 | Sharp Corp | 表示装置、制御方法、制御プログラムおよび記録媒体 |
| KR101609388B1 (ko) * | 2009-03-04 | 2016-04-05 | 엘지전자 주식회사 | 3차원 메뉴를 표시하는 이동 단말기 및 이동 단말기의 제어방법 |
| JP5287403B2 (ja) | 2009-03-19 | 2013-09-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2010244132A (ja) * | 2009-04-01 | 2010-10-28 | Mitsubishi Electric Corp | タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム |
| JP5187280B2 (ja) | 2009-06-22 | 2013-04-24 | ソニー株式会社 | 操作制御装置および操作制御方法 |
| US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
| US20110148801A1 (en) * | 2009-12-18 | 2011-06-23 | Bateman Steven S | Touch panel region of interest reporting scheme |
| US8787663B2 (en) | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| EP2544079A4 (en) * | 2010-03-05 | 2016-07-13 | Nec Corp | PORTABLE TERMINAL DEVICE |
| JP5118719B2 (ja) * | 2010-03-31 | 2013-01-16 | 株式会社エヌ・ティ・ティ・ドコモ | 情報端末及び文書編集方法 |
| US8878821B2 (en) | 2010-04-29 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | System and method for providing object location information and physical contact information |
| US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
| CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| JP5675196B2 (ja) * | 2010-07-24 | 2015-02-25 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
| JP5829390B2 (ja) | 2010-09-07 | 2015-12-09 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| JP5625643B2 (ja) | 2010-09-07 | 2014-11-19 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
| JP2012068713A (ja) | 2010-09-21 | 2012-04-05 | Sony Corp | 情報処理装置、および情報処理方法 |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| EP2645216B1 (en) * | 2010-11-22 | 2019-10-02 | YOSHIDA, Kenji | Information input system, program, medium |
| JP5479414B2 (ja) * | 2010-11-24 | 2014-04-23 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| JP5724422B2 (ja) * | 2011-02-07 | 2015-05-27 | 富士通株式会社 | 操作制御装置，操作制御プログラムおよび操作制御方法 |
| WO2012107892A2 (en) | 2011-02-09 | 2012-08-16 | Primesense Ltd. | Gaze detection in a 3d mapping environment |
| WO2012147960A1 (ja) * | 2011-04-28 | 2012-11-01 | Ｎｅｃシステムテクノロジー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| JP5852346B2 (ja) * | 2011-07-11 | 2016-02-03 | 京セラ株式会社 | 表示機器、制御システムおよび制御プログラム |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
| EP2575006B1 (en) | 2011-09-27 | 2018-06-13 | Elo Touch Solutions, Inc. | Touch and non touch based interaction of a user with a device |
| EP2575007A1 (en) * | 2011-09-27 | 2013-04-03 | Elo Touch Solutions, Inc. | Scaling of gesture based input |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| CN104246682B (zh) | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
| JP2013222317A (ja) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | 数値制御装置 |
| US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| JP5510529B2 (ja) * | 2012-11-16 | 2014-06-04 | ソニー株式会社 | 情報処理装置、記憶媒体、情報処理システム、および情報処理方法、並びにプログラム |
| US9836199B2 (en) | 2013-06-26 | 2017-12-05 | Panasonic Intellectual Property Corporation Of America | User interface device and display object operating method |
| KR20150031384A (ko) * | 2013-09-13 | 2015-03-24 | 현대자동차주식회사 | 맞춤형 인터페이스 시스템 및 그 동작 방법 |
| WO2015045090A1 (ja) * | 2013-09-27 | 2015-04-02 | 株式会社 東芝 | 電子機器および方法 |
| WO2015146813A1 (ja) | 2014-03-28 | 2015-10-01 | 株式会社ソニー・コンピュータエンタテインメント | オブジェクトの操作方法、オブジェクトの操作プログラム、及び情報処理装置 |
| JP2015191480A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム |
| JPWO2015159548A1 (ja) * | 2014-04-18 | 2017-04-13 | Ｎｅｃソリューションイノベータ株式会社 | 投影制御装置、投影制御方法及び投影制御プログラム |
| EP3313420B1 (en) | 2015-06-25 | 2024-03-13 | The Children's Medical Center Corporation | Methods and compositions relating to hematopoietic stem cell expansion, enrichment, and maintenance |
| JP2016042383A (ja) * | 2015-11-25 | 2016-03-31 | カシオ計算機株式会社 | ユーザ操作処理装置、ユーザ操作処理方法及びプログラム |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| EP3429603B1 (en) | 2016-03-15 | 2021-12-29 | Children's Medical Center Corporation | Methods and compositions relating to hematopoietic stem cell expansion |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| JP7155613B2 (ja) * | 2018-05-29 | 2022-10-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| CN111490840B (zh) * | 2019-12-18 | 2021-04-23 | 北京运动宝贝教育科技有限公司 | 分散式播放设备管理平台及其管理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2827612B2 (ja) * | 1991-10-07 | 1998-11-25 | 富士通株式会社 | タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。 |
| US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
| JPH07182101A (ja) * | 1993-10-26 | 1995-07-21 | Itu Res Inc | グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法 |
| JP3997566B2 (ja) * | 1997-07-15 | 2007-10-24 | ソニー株式会社 | 描画装置、及び描画方法 |
| JP4542637B2 (ja) * | 1998-11-25 | 2010-09-15 | セイコーエプソン株式会社 | 携帯情報機器及び情報記憶媒体 |
| JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
| JP3800984B2 (ja) * | 2001-05-21 | 2006-07-26 | ソニー株式会社 | ユーザ入力装置 |
-
2003
- 2003-07-08 JP JP2003193738A patent/JP4723799B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-18 WO PCT/JP2004/006643 patent/WO2005003948A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005031799A (ja) | 2005-02-03 |
| WO2005003948A1 (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4723799B2 (ja) | 制御システムおよび制御方法 | |
| JP5184384B2 (ja) | 制御システムおよび制御方法 | |
| US10353570B1 (en) | Thumb touch interface | |
| Hinckley et al. | Sensor synaesthesia: touch in motion, and motion in touch | |
| KR101544364B1 (ko) | 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법 | |
| KR100984596B1 (ko) | 터치 감지 입력 장치용 제스처 | |
| Cao et al. | ShapeTouch: Leveraging contact shape on interactive surfaces | |
| JP6074170B2 (ja) | 近距離動作のトラッキングのシステムおよび方法 | |
| US9348458B2 (en) | Gestures for touch sensitive input devices | |
| US20200225756A9 (en) | System and method for close-range movement tracking | |
| US9791918B2 (en) | Breath-sensitive digital interface | |
| US20120105367A1 (en) | Methods of using tactile force sensing for intuitive user interface | |
| WO2013035725A1 (ja) | 画面を押圧する操作に応答して画像をズームするユーザインタフェース装置、画像ズーム方法及びプログラム | |
| US9696882B2 (en) | Operation processing method, operation processing device, and control method | |
| US20140191972A1 (en) | Identification and use of gestures in proximity to a sensor | |
| US9280265B2 (en) | Input control device, input control method, and input control program for controlling display target upon receiving input on display screen of display device | |
| JP2013037675A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090106 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090204 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090306 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101214 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110304 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110408 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4723799 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |