JP5653206B2 - 映像処理装置 - Google Patents

映像処理装置 Download PDF

Info

Publication number
JP5653206B2
JP5653206B2 JP2010289122A JP2010289122A JP5653206B2 JP 5653206 B2 JP5653206 B2 JP 5653206B2 JP 2010289122 A JP2010289122 A JP 2010289122A JP 2010289122 A JP2010289122 A JP 2010289122A JP 5653206 B2 JP5653206 B2 JP 5653206B2
Authority
JP
Japan
Prior art keywords
user
hand
gesture
detected
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010289122A
Other languages
English (en)
Other versions
JP2012137899A (ja
Inventor
スティアワン ボンダン
スティアワン ボンダン
孝志 松原
孝志 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Maxell Energy Ltd
Original Assignee
Hitachi Maxell Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Energy Ltd filed Critical Hitachi Maxell Energy Ltd
Priority to JP2010289122A priority Critical patent/JP5653206B2/ja
Priority to CN201510783622.0A priority patent/CN105224090B/zh
Priority to CN201110386052.3A priority patent/CN102591451B/zh
Priority to US13/307,058 priority patent/US9086726B2/en
Publication of JP2012137899A publication Critical patent/JP2012137899A/ja
Application granted granted Critical
Publication of JP5653206B2 publication Critical patent/JP5653206B2/ja
Priority to US14/755,776 priority patent/US9746931B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

技術分野は、電子機器の操作に関する。
本技術分野の背景技術として、特開2003−233452号公報(特許文献1)がある。この公報には、「アプリケーションあるいは他のユーザが任意に登録したジェスチャコマンドに関わらず、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行えるようにするとともに、入力手段に、どのユーザがジェスチャ入力を行っているかを認識し、複数のユーザが各々のジェスチャで、コマンド入力を行えるようにして、利用性の良好なジェスチャコマンド入力装置を提供すること」(特許文献1[0013]参照)等を課題とし、その解決手段として「ユーザの身体の一部または専用の指示媒体を用いて、入力手段に対して行われたジェスチャ入力をコマンドに変換するジェスチャコマンド入力装置において、予め各ユーザ毎に当該ユーザ固有のジェスチャコマンドが登録されている記憶手段と、前記入力手段に対してジェスチャ入力を行うユーザを認識するユーザ認識手段と、前記入力手段に対して前記ジェスチャ入力を行うユーザを、前記ユーザ認識手段が認識すると、当該認識されたユーザに対応して前記記憶手段に登録されているユーザ固有のジェスチャコマンドに基づいて当該ユーザが前記入力手段から入力したジェスチャをコマンドに変換する制御手段と、を備えること」(特許文献1[0025]参照)等が記載されている。
特開2003−233452
しかし、特許文献1の技術的思想においては、各電子機器に予め登録したジェスチャを記憶しなければならず、ユーザにとって使い勝手が悪い。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、映像信号を出力する映像処理装置であって、ユーザを含む映像を撮影するカメラと、前記カメラで撮影された映像に基づいてユーザのジェスチャを認識して前記映像処理装置が出力する前記カメラで撮影された映像を含まない操作用映像に対して、当該ジェスチャに対応する操作を実行させる操作認識部と、を有し、前記操作認識部は、前記カメラで撮影された映像からユーザの体の部位を検出し、一の部位の位置を基準にした境界線を設定し、当該境界線に対する当該検出した部位の相対位置に基づいて、前記映像処理装置が出力する操作用映像に含まれる複数のメニューから、前記ジェスチャに対応する操作の対象となるメニューを決定することを特徴とする。
上記手段によれば、ジェスチャによる電子機器の操作を効率良く行うことが可能となり、当該電子機器のユーザの使い勝手を向上させることができる。
実施例1の入力装置を示す概観図である。 実施例1の入力装置の構成を示すブロック図である。 実施例1の入力装置の操作する際のユーザの手および顔の位置を示す概観図である。 実施例1の入力装置のユーザの手の位置と表示画面の対応を説明する概観図である。 実施例1の入力装置の動作を説明するフローチャートである。 実施例2の入力装置を示す概観図である。 実施例2の入力装置のユーザのジェスチャ操作の領域を示す概観図である。 実施例2の入力装置のユーザの手の動きと表示画面の対応を説明する概観図である。 実施例3の入力装置のユーザの胴体軸を基準としたユーザの手の操作領域を示す概観図である。 実施例3の入力装置のユーザの胴体中心点の縦位置を基準としたユーザの手の操作領域を示す概観図である。 実施例3の入力装置のユーザの顔の位置情報を用いて作成した仮想的な境界線を基準とした操作領域を示す概観図である。 実施例3の入力装置の動作を説明するフローチャートである。 実施例4の入力装置のユーザのジェスチャ操作の領域を示す概観図である。 実施例4の入力装置の動作を説明するフローチャートである。 実施例4の入力装置のユーザの手の位置と表示画面の対応を説明する概観図である。 実施例5の入力装置のユーザのジェスチャを示す概観図である。
以下図面を用いて実施例を説明する。
本実施例の入力装置100は、ユーザを撮像した動画像からユーザの体の部位の位置を検出することが可能であり、ユーザの動作(以下、「ジェスチャ」ともいう)を検出し、該動作に応じて、所定の処理を実行するとともに、GUI(Graphical User Interfaceの略)の表示を変更することが可能な装置である。
図1は、入力装置100をユーザが使用する際の動作環境の概観を示す。
撮像部101は、入力装置100に動画像を入力するためのカメラである。表示部110は、入力装置に備えられる表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイなどの表示装置で構成される。表示部110は、表示パネルとパネル制御回路とパネル制御ドライバとから構成され、後述する映像処理部210から供給されるデータで構成される映像を表示パネルに表示する。
第1のメニュー111および第2のメニュー112は表示部110に示すGUIであり、所定のユーザ操作に対応している。なお、本実施例においては、第1のメニュー111は音量調整のGUI、第2のメニュー112はチャンネル切替えのGUIをしているが、それぞれのメニューに対応する操作は他の操作でもよい。
ユーザ120は、入力装置100に対して、操作を行うユーザである。ユーザの操作は、例えばユーザの顔122を入力装置100に向けたときに、ユーザがユーザの手121を横に振ったり、縦に振ったり、ある所定の位置から手121を上、下、左または右に払ったり(以下、スワイプと記す)、手を回転したりするジェスチャを行い、入力装置100が前記ジェスチャを認識し、前記ジェスチャの認識結果に応じて所定の処理を実行する。
図2は、入力装置100の構成の一例を示すブロック図である。入力装置100は、例えば図2に示すように、撮像部101、システム制御部200、映像処理部210、表示110、を備える。システム制御部200は、部位検出201、ジェスチャ認識部202、の機能を実現する部分を有する。
部位検出部202は、撮像部101から得られる動画像から例えば形状検出アルゴリズムなどの処理を用いて、手、顔、胴体、などのユーザの各体部位の位置を検出する。ジェスチャ認識部202は、部位検出部201で検出されたユーザの手の位置情報を用いて、入力装置100を操作する所定ジェスチャを認識する部分である。なお、本実施例においては手のジェスチャを認識する例を説明するが、本発明はこれに限定されない。例えば、顔や足のジェスチャ、あるいは複数の体の部位を組み合わせたジェスチャを認識する構成としてもよい。
システム制御部200は、部位検出部202の出力や、ジェスチャ認識部202の出力などのデータに対してデータ処理を行う部分である。システム制御部200は、CPUが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。
映像処理部210は、例えば、ASIC、FPGA、MPU等の処理装置により構成される。映像処理部210は、システム制御部200の制御に従いGUIの映像データを、表示部110で処理可能な形態に変換して出力する。
入力装置100は、表示デバイスを備えるテレビやモニタに搭載されることで、これらの装置をユーザのジェスチャにより操作することを可能にする。また、図2において、入力装置100が表示部110を備える構成となっているが、必ずしも表示部110を備える必要はない。例えば、表示装置を備えないディスクプレイヤー等に搭載し、当該ディスクプレイヤーに接続される外部の表示装置を利用してユーザに対して映像を提供するように構成してもよい。また、例えば撮像部を備えるビデオカメラを、表示装置やディスクプレイヤー等に接続し、ビデオカメラで撮影した映像に基づいて表示装置やディスクプレイヤー等において処理が行われるように構成してもよい。
また、図2においては本実施例及び本実施例以外の実施例における説明に用いられる構成を示しているが、必要に応じて他の構成を追加可能であることは言うまでもない。例えば、入力装置100が放送を受信するテレビに搭載される場合、当該テレビには放送の受信、表示に用いるチューナやデマルチプレクサ、デコーダ、音声を出力するスピーカ等が備えられてもよい。
図3は、ユーザがジェスチャによって本実施例の入力装置を操作する様子を示す。ユーザの手121の位置は、例えば検出された手の形状領域の中心点320の横位置302と、該中心点320の縦位置303から構成される座標で表す。また、ユーザの顔122の位置は、例えば検出された顔の中心点310の横位置300と、顔の該中心点310の縦位置301から構成される座標で表す。
本実施例では、ユーザの手121が検出される範囲を、ユーザの顔の横位置300を通った線の右側にある操作領域304と左側にある操作領域305とに分ける方法について説明する。
ここで、システム制御部200のデータ処理により、ユーザがジェスチャを行う際の手121の位置は、ユーザの顔122の横位置300よりも右側の領域(操作領域304)に検出される状態と、顔122の横位置300よりも左側領域(操作領域305)に検出される状態とがある。本実施例の入力装置100においては、この2つの状態に応じて、ユーザが行う所定ジェスチャに対して、異なる操作を割り当てる。
図4は入力装置100を使用するユーザの手121が、操作領域304に検出された場合と、操作領域305に検出された場合の表示部110の概観図を示す。図4(A)には、ユーザの手が操作領域304に検出されたときのユーザ120と入力装置100の表示画面の態様を示す。入力装置100は、表示部110において、第1のメニュー111の表示を強調するなどにより、該状態においてユーザが所定のジェスチャを行うと第1のメニュー111に関する操作(本実施例では音量調整)が実行されることをユーザ120に示す。
図4(B)には、ユーザの手が操作領域305(顔の左側)に検出されたときのユーザ120と入力装置100の表示画面の態様を示す。入力装置100は、表示部110において、第2のメニュー112の表示を強調するなどにより、該状態においてユーザが所定のジェスチャを行うと、第2のメニュー112に関する操作(本実施例ではチャンネル切替)が実行されることをユーザ120に示す
以下、図5のフローチャートを用いて、第1の実施例に係る入力装置100のジェスチャによる操作を説明する。ユーザのジェスチャの検出処理は、図2に示したシステム制御部200がおこなう処理である。
先ず、システム制御部200において、ユーザの手121および顔122の位置を検出し、顔の位置に対する手の位置を計算する(ステップ500)。
前記ステップ500の結果に応じて、検出された顔に対する手の位置に応じてGUI表示を変更する(ステップ501)。図4に示すように、手が顔に対して右に検出された場合は、第1のメニュー111の方を強調し、手が顔に対して左に検出された場合は第2のメニュー112の方を強調する。本ステップによって、ユーザは、自分がこれからジェスチャによってどの操作が実行されるかを理解できる。
本実施例においては、検出された手の位置に対応するメニューを強調表示するように構成したが、ユーザがジェスチャによりどのような操作が実行されるかを認識できるような表示であれば、表示の仕方はこれに限定されない。例えば、手が顔に対して右に検出された場合は、第1のメニュー111のみを表示し、第2のメニュー112は表示しないように構成してもよい。
なお、手や顔が検出できない場合などにより、手や顔の位置情報が存在しなければ、例えば表示部110には第1のメニュー111と第2のメニュー112を表示しない。
次に、システム制御部200において、ジェスチャの認識を行い(ステップ502)、あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する(ステップ503:No)。あらかじめ登録したジェスチャを認識したら、ステップ504に進む(ステップ503:Yes)。
次に、手が顔に対して、右側にあるか、または左側にあるか、を判定する(ステップ504)。
ステップ504の判定結果である顔に対する手の位置が、上記ステップ501において強調表示されたGUIの位置とが整合するか否か、をチェックする(ステップ505、およびステップ506)。整合しなければ、ジェスチャによる操作を受け付けることなく処理を終了する(ステップ505:No、およびステップ506:No)。整合すれば、ステップ504の結果に応じて、ステップ507およびステップ508に進む(ステップ505:Yes、およびステップ506:Yes)。
表示部110に第1のメニュー111(右側のメニュー)を強調して表示しているが、ステップ504の結果によりジェスチャを認識したときの手の位置が左側にあると判定したら(ステップ504:Left)、GUIの表示と、入力装置がこれから実行する操作と、が不整合となるため、ジェスチャ認識のエラーが発生するとみなし、ユーザのジェスチャを受け付けない。
ジェスチャを認識した際の手の位置が顔の右側にあると判定された場合、すなわち手の位置が図3に示した操作領域304に検出された場合(ステップ504:Right)、かつその判定結果が表示中のGUIと整合する場合(ステップ505:Yes)、入力装置100は、第1のメニュー111に関する操作(本実施例では音量調整)を実行する(ステップ507)。
同様に、ジェスチャを認識した際の手の位置が顔の左側にあると判定された場合、すなわち手の位置が図3に示した操作領域305に検出された場合(ステップ504:Left)、かつその判定結果が表示中のGUIと整合する場合(ステップ506:Yes)、入力装置100は第2のメニュー112に関する操作(本実施例ではチャンネル切替)を実行する(ステップ508)。
このように、入力装置100において、顔に対する手の位置を認識することで、ユーザの所定のジェスチャを複数の操作に割り当てることが可能となり、ユーザが複数のジェスチャを記憶することなく、複数の操作を行うことができる。また、手の位置が顔に対して右側に検出された場合は、第1のメニュー111の表示が強調され、手の位置が顔に対して左側に検出された場合は第2のメニュー112の表示を強調されることによって、ユーザは、これから行うジェスチャがどの操作に適応されるかがわかる。さらに、機器を操作する過程においてメニューの切り替えを行う手間を少なくする効果もあり、ユーザが所望の操作をより早く実行できる。
また、ジェスチャにより操作可能な従来の装置に比べ、ジェスチャによる操作の処理負荷を低減することも可能となる。
なお、上記の実施例においては、顔に対する手の位置が右または左といった二種類の状態を用いてユーザのジェスチャを二種類の操作に割り当てる説明したが、顔に対する手の位置が上または下の状態などを用いてもよい。また、顔の位置に対して左上、右上、右下、左下の状態を用いる等により、3種類以上の操作にユーザのジェスチャを割り当てることも可能である。
以下、第2の実施例を、図6ないし図8を用いて説明する。
第1の実施例の入力装置100は、顔に対して手の位置が右側あるいは左側に検出されたときに、対応した第1のメニューまたは第2のメニューを強調して表示するものであった。本実施例では、第1の実施例の操作方法に加えて、ユーザの手が顔の位置に対してどこに検出されているか、をGUIで表示するものである。
図6は、ユーザ120が入力装置100を操作する概観図を示す。入力装置100の表示部110には、実施例1における第1のメニュー111と第2のメニュー112に加え、ユーザの手が検知される領域を示す操作領域表示600およびユーザの手が検知されている位置を示す手の位置表示601のGUIを表示する。入力装置100は、操作領域表示600と手の位置表示601の組み合わせを用いて、ユーザの手が顔に対してどこの位置に検出されているかを表示する。中間線602は、操作領域表示600を左右に分ける中間の境界線である。ユーザは入力装置100の表示部110の画面を確認しながら、ジェスチャを行い、入力装置100を操作する。
図7に本実施例に係るユーザと表示部110に表示する画面との関係を示す。操作領域範囲700は、ジェスチャ認識が可能な範囲である。本実施例において、操作領域範囲700の中間点は、顔の横位置300に対応する。表示部110に表示する操作領域表示600の横の長さは、該操作領域範囲700を表し、中間線602は顔の横位置300に対応している。
図8は、本実施例に係る入力装置100のユーザの手の位置と表示画面の対応を説明する概観図である。図7の操作領域700中における手の位置は、操作領域表示600における手の位置表示601の位置と対応する。すなわち、該操作領域範囲700においてユーザの手121が右側に移動すると、図8(A)に示すように、手の位置表示601の位置を操作領域表示600の右側に移動させる。同様に操作領域範囲700においてユーザの手121が左側に移動すると、図8(B)に示すように、手の位置表示601の位置を操作領域表示600の左側に移動させる。
上記の構成により、第1の実施例の効果に加え、ユーザは操作領域示600における手の位置表示601の位置を見て、自分の手の位置を確認することができるという効果を奏する。
以下、第3の実施例を、図9ないし図12を用いて説明する。
第1の実施例および第2の実施例の入力装置100は、顔の位置情報を用いて所定基準の位置を設定し、該基準の位置に対する手の相対位置に応じて、異なった操作を割り当てるものであった。本実施例では、手とユーザの体のその他の部位との相対位置を用いてジェスチャによる操作を割り当てる方法を説明する。
まず、ユーザの体の各部位の位置を基準として、縦、横、あるいは所定の傾きで、仮想的にある境界線を作成する。境界線の作成により、2つ以上の操作領域が生成される。本実施例では、所定のジェスチャに対して、ユーザの手がどの操作領域に検出されたかに応じて、操作を割り当てる方法について説明する。以下、仮想的な境界線を用いて操作領域を作成する例を説明する。
図9は、本実施例に係るユーザの胴体軸を基準としたときのユーザの手の操作領域を示す概観図である。入力装置100は例えば部位検出部201を用いてユーザの胴体の中心点900、および胴体の傾きを検出する。境界線901は、検出された胴体の中心点900を通り、その傾きは検出された胴体の傾きと同じである。
境界線901が作成されたことによって、操作領域902および操作領域903の2つの手の操作領域が生成される。そして、ユーザのジェスチャによる入力装置100の操作について、手の位置が操作領域902に検出された場合の操作と、操作領域903に検出された場合の操作とに、二種類の操作を割り当てる。
これにより、ユーザの姿勢に合わせて、入力装置100に対するジェスチャによる操作をより適切に複数の操作に割り当てることが可能となり、ユーザの使い勝手を向上させることができる。なお、仮想線901は、例えば顔の中心点310と胴体の中心点900とを通っている線で定義する等、他の方法によって作成してもよい。
図10は、本実施例に係るユーザの胴体の中心点の縦位置を基準としたときのユーザのジェスチャによる操作の操作領域を示す概観図である。上記胴体の中心点900の縦位置に、横に仮想の境界線901−bを作成すると、図10に示す操作領域1000および操作領域1001が生成される。そして、ユーザのジェスチャによる入力装置100の操作について、手の位置が操作領域1000に検出された場合の操作と、操作領域1001に検出された場合の操作とに、二種類の操作を割り当てる。
これにより、手が体の中心点より上にある状態でのジェスチャ、または下にある状態でのジェスチャを使って、入力装置対して複数の操作を割り当てることが可能である。
図11は、ユーザの顔の位置情報を用いて作成した境界線を基準とした操作領域を示す概観図である。右手のジェスチャによる入力装置100の操作において、顔や胴体の中心を通る線を仮想的な境界線とすると、右側に割り当てられた操作に比べ、左側に割り当てられた操作を行ないにくいことが考えられる。そこで、ユーザの顔の横位置300より、ある距離1100において、縦の仮想的な境界線901−cを作成すると、図11に示す操作領域1101および操作領域1102が生成される。ユーザのジェスチャによる入力装置100の操作について、手の位置が操作領域1101に検出された場合の操作と、操作領域1102に検出された場合の操作とに、二種類の操作を割り当てる。
このように、仮想的な境界線901−cを顔の縦位置より右側(左手によるジェスチャの場合には左側)に設定することによって、顔や胴体の中心を通る線を仮想的な境界線とする場合に比べて、ユーザの右手のジェスチャによる左側の領域に割り当てられた操作が行いやすくなる。
また、例えば部位検出部202を用いて、ジェスチャを行う手が右手か左手かを判別し、ユーザが左手でジェスチャを行うと判別した場合に、上記境界線901−cを顔の左側に設定することで、左手のジェスチャによる操作が行いやすくなる。
以下、図12のフローチャートを用いて、本実施例に係る所定のジェスチャに対して、入力装置100に二種類の操作を割り当てる方法を説明する。
入力操作の検出処理は、図2に示したシステム制御部200がおこなう処理である。まず、システム制御部200において、ユーザの手121および操作領域を作成する基準とする体の部位の位置を検出する(ステップ1200)。
ステップ1200の出力であるユーザの体の部位の位置情報を用いて、例えば図9ないし図11に図示したように仮想的な境界線を作成して、2つの操作領域を生成する(ステップ1201)。
次に図5のフローチャートのステップ501と同様に、手がどの操作領域に検出されたかに応じてGUI表示を変更する。(ステップ1202)。
次に図5のフローチャートのステップ502と同様に、ジェスチャの認識を行う(ステップ1203)。あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する(ステップ1204:No)。あらかじめ登録したジェスチャを認識すれば、ステップ1205に進む(ステップ1204:Yes)。
次に、手が第1の操作領域に検出されるか、第2の操作領域に検出されるかを判定する(ステップ1205)。
次に、ステップ1205の判定結果が、上記ステップ1202で処理されたGUIと整合しているか否かをチェックする(ステップ1206、およびステップ1207)。整合しなければ、ジェスチャによる操作を受けつけることなく処理を終了する(ステップ1206:No、およびステップ1207:No)。整合すれば、ステップ1205の結果に応じて、ステップ1208およびステップ1209に進む(ステップ1206:Yes、およびステップ1207:Yes)。
例えば、上記ステップ1202により、表示部110に第1のメニュー111(右側のメニュー)を強調して表示しているが、ステップ1205の結果によりジェスチャを認識したときの手がユーザの左側の操作領域にあると判定した場合、ユーザが見るGUI表示と、入力装置がこれから実行する操作と、が不整合となるため、ジェスチャ認識のエラーが発生するみなし、ユーザのジェスチャによる操作を受け付けない。
ジェスチャが行われた際に、手が第1の操作領域にある場合(ステップ1205:第1の操作領域)、かつその判定結果が表示中のGUIと整合する場合(ステップ1206:Yes)、入力装置100は第1のユーザ操作を実行する(ステップ1208)。同様に、ジェスチャが行われた際に、手が第2の操作領域にある場合(ステップ1205:第2の操作領域)、かつその判定結果が表示中のGUIと整合する場合(ステップ1207:Yes)、入力装置100は第2のユーザ操作を実行する(ステップ1209)。
このように、体の部位の位置情報を用いて仮想的な境界線および操作領域を定義し、手の位置がどの操作領域にあるかの2つの状態を用いれば、所定のジェスチャを行う際に、二種類のユーザ操作に割り当てることが可能である。なお、仮想的な境界線は、ユーザの手の位置を認識する領域の分け方により適宜設定するように構成してもよい。例えば、ユーザの手の位置を認識する領域を左右で分けたい場合には、上述のようにユーザの顔の中心点310と胴体の中心点900とを通っている線で定義してもよいし、ユーザの手の位置を認識する領域を上下で分けたい場合にはユーザの両肩を結んだ線で定義してもよい。さらに、仮想的な境界線を二本以上とし、ユーザの手の位置を認識する領域を3つ以上にして、所定のジェスチャを三種類以上の操作に割り当てることも可能である。
以下、第4の実施例を、図13ないし図15を用いて説明する。
上記第1の実施例、第2の実施例および第3の実施例においては、所定の基準の位置に対して手が右、左、上、下などの状態を用いて入力装置100に複数操作を割り当てる方法を説明した。本実施例においては、所定の基準の位置からの手の距離を用いて入力装置100に複数操作を割り当てる方法を説明する。
図13は、本実施例における入力装置100を操作する際のユーザの様子を示す。操作の境界線901−dは、例えば、あらかじめ決められた所定の体の部位(顔、肩、など)の位置から設定した仮想的な操作の境界線である。ここで、操作の境界線901−dから左右の両側に、ある所定距離で、第1の操作領域1302と、第2の操作領域1303と、第3の操作領域1304と、が生成されるように、仮想的な境界線(ユーザにとっての右の境界線1300、左の境界線1301)を設定する。ユーザが入力装置100に対してジェスチャによる操作を行う際に、手の位置が第1の操作領域1302に検出されるか、第2の操作領域1303に検出されるか、あるいは第3の操作領域1304に検出されるか、の3つの条件を用いて、入力装置100に異なった操作を割り当てる。なお、操作領域範囲700−bは図7に示す操作領域範囲700と同様なものである。
図14は、ユーザの手が上記3つの操作領域に検出された場合のユーザの手の位置と入力装置100の表示部110の表示画面を示す。
図14の(A)は、ユーザの手が第1の操作領域1302に検出された場合のユーザと表示部110画面との関係を示す。表示部110に第1のメニュー111と第2のメニュー112を表示するが、どちらのメニューも操作できないことを示すために、例えばこれらの表示を薄く表示するようにしてもよい。操作領域表示600における手の位置表示601は、操作領域表示600の真中あたりに表示する。本実施例においては、この領域には操作が割り当てられていないため、ユーザがジェスチャを行っても、入力装置100を操作できない。
図14の(B)は、ユーザの手が第2の操作領域1303に検出された場合のユーザと表示部110画面との関係を示す。表示部110には、第1のメニュー111が第2のメニュー112よりも強調して表示され、所定のジェスチャにより第1のメニュー111が示す操作を行うことが可能であることをユーザに示す。操作領域表示600においては、手の位置表示601の表示位置を右側にする。このとき、ユーザがジェスチャを行うと、入力装置100に対して第1の操作(本実施例では音量調整)が実行される。
図14の(C)は、ユーザの手を第3の操作領域1304に検出された場合のユーザと表示部110画面との関係を示す。表示部110には、第2のメニュー112が第1のメニュー111よりも強調して表示され、所定のジェスチャにより第2のメニュー112が示す操作を行うことが可能であることをユーザに示す。操作領域表示600においては、手の位置表示601の表示位置を左側にする。このとき、ユーザがジェスチャを行うと、入力装置100に対して第2の操作(本実施例ではチャンネル切り替え)が実行される。
以下、図15のフローチャートを用いて、本実施例に係る所定のジェスチャ操作を、複数の操作に割り当てる方法を説明する。
まず、システム制御部200において、ユーザの手121、および操作領域を作成する基準とする体の部位の位置を検出する(ステップ1500)。図13の場合には、ユーザの肩が操作領域を設定する基準となる。
前記ステップ1500の出力であるユーザの体の部位の位置情報を用いて、例えば図13に示したように仮想的な境界線を決め、その境界線より所定の距離を用いて3種類の操作領域を定義する(ステップ1501)。
次に、手がどの操作領域に検出されたかに応じてGUI表示を変更する。(ステップ1502)。図14に示すように、ユーザの手がどの操作領域に検出されたかによってGUIの表示を変える。
本実施例においては、検出された手の位置に対応するメニューを強調表示するように構成したが、ユーザがジェスチャによりどのような操作が実行されるかを認識できるような表示であれば、表示の仕方はこれに限定されない。例えば、手が操作領域1303に検出された場合は、第1のメニュー111のみを表示し、第2のメニュー112は表示しないように、または手が操作領域1302に検出された場合は、メニューを表示しないように構成してもよい。また、操作領域表示600や手の位置表示601は表示しない構成にしてもよい。
次にジェスチャの認識処理を行う(ステップ1503)。あらかじめ登録したジェスチャを認識しなければ、そのまま処理を終了する(ステップ1504:No)。あらかじめ登録したジェスチャを認識すれば、ステップ1505に進む(ステップ1504:Yes)。
次に、手が、第1の操作領域に検出されるか、第2の領域に検出されるか、または第3の領域に検出されるか、を判定する(ステップ1505)。
次に、ステップ1505の判定結果が、上記ステップ1502の処理により表示したGUIと整合するか否か、をチェックする(ステップ1506、ステップ1507、およびステップ1508)。整合しなければ、ジェスチャによる操作を受け付けることなく処理を終了する(ステップ1506:No、ステップ1507:No、およびステップ1508:No)。整合すれば、上記ステップ1505の結果に応じて、ステップ1509、ステップ1510またはステップ1511に進む。
例えば上記ステップ1502により、表示部110に第1のメニュー111(右側のメニュー)を強調して表示しているが、ステップ1505において判定したユーザの手の検出位置が左側の領域1304であった場合、ユーザのジェスチャによる操作を受け付けない。
ジェスチャが行われた際に、ユーザの手が第1の領域に検出されたと判定され(ステップ1505:第1の操作領域)、かつその判定結果がステップ1502の処理により表示したGUIと整合する場合(ステップ1506:Yes)、入力装置100は第1のユーザ操作を実行する(ステップ1509)。
ジェスチャが行われた際に、ユーザの手が第2の領域に検出されたと判定され場合や第3の領域に検出されたと判定された場合も同様である(ステップ1507、1510、1508、1511)。
このように、ユーザの体の所定の部位の位置に基づいて設定された境界線からの距離により複数の操作領域を定義することで、ユーザの手が検出された位置に応じて、入力装置100に対する複数の操作を割り当てることができる。
なお、本実施例においては、3つの操作領域を例としたが、境界線の数を減らす、あるいは増やすことにより、操作領域を少なく、あるいは多くすることもできる。また、本実施例においては、所定の部位に基づいて境界線を設定し、当該境界線からの距離によって複数の操作領域を設定したが、境界線を設定せずに、所定の部位からの距離によって複数の操作領域を設定するように構成してもよい。
以下、第5の実施例を、図16を用いて説明する。
本実施例においては、所定の体の部位の位置を用いて、入力装置100を操作するユーザのジェスチャを定義する方法について説明する。
従来、スワイプジェスチャを定義するためには、ある時間の範囲で、手の位置がカメラの撮影範囲において、ある位置から別の位置まで連続的に右または左に動くときに定義したものである。しかし、カメラの撮影範囲の情報を用いることによって、ユーザの身長の差や、入力装置からのユーザが操作する場所の距離などによって、ユーザが同じスワイプのジェスチャを行ったとしても、認識されない場合がある。
本実施例では、カメラの撮影範囲の代わりに、実際に撮影したユーザの体の部位の位置を基準として、スワイプのジェスチャを定義する。
図16は、本実施例に係る入力装置100に対してユーザが行うジェスチャを示す概観図である。例えば、ジェスチャ1600は、ユーザの手が上記操作領域1302から、上記操作領域1304に動くときに成立すると定義する。境界線1201の位置は、検出されたユーザの体の部位の位置情報に基づいて設定されるため、操作領域1302および操作領域の1304の大きさは検出されたユーザの体の大きさや位置に応じて変化する。これにより、身長や体格が異なった複数のユーザが操作する、または同じユーザが違う場所から操作する場合においても、入力装置を適切に操作することが可能となる。
このように、体の部位の位置情報を用いてジェスチャを定義することにより、ユーザや操作する位置の変化に対応可能な入力装置100のジェスチャによる操作を実現することが可能となる。
なお、上記入力装置100が検出した顔、胴体の中心点、などの体の部位の位置を、その他のジェスチャ(手振り、手の回転、など)を定義する基準としてもよい。例えば、ユーザの手の動きが、胴体の中心点の位置を中心に回っているとき、ユーザの手の回転の半径が胴体の横幅から算出した所定の範囲となったとき等を、手を回転させるジェスチャと判定するように構成してもよい。
上記実施例1〜5は、映像を表示する表示部110や、映像処理部210を備える装置を前提として説明されているが、本発明はこれに限定されない。映像を撮影するカメラと当該カメラが撮影した映像に基づいて装置を制御する制御部とを有する装置であれば、カメラで撮影されたユーザの映像に基づいて上記実施例1〜5で説明したジェスチャによる装置の操作は可能である。この場合、メニューを強調表示する等はできないが、同じジェスチャに対して複数の操作を割り当てることは可能である。また、メニューの強調表示に代えて、装置に備えられたLED(Light Emitting Diode)等の発行素子を発光させること(発光素子の位置や光の色を利用する等)により、ユーザに対してジェスチャによりどのような操作がされるかを示すように構成してもよい。
また、上記実施例で説明した処理はソフトウェアにより実行されるように構成してもよい。カメラ等の撮像素子を備える装置であれば、当該装置のCPUが上記実施例で説明した処理を可能とするソフトウェアを実行することで、上記実施例と同様の作用、効果を奏することが可能となる。
100 ・・・ 入力装置
101 ・・・ 撮像部
110 ・・・ 表示部
111 ・・・ 第1のメニュー
112 ・・・ 第2のメニュー
120 ・・・ ユーザ
131 ・・・ ユーザの手
122 ・・・ ユーザの顔
200 ・・・ システム制御部
201 ・・・ 体の部位検出部
202 ・・・ ジェスチャ認識部
210 ・・・ 映像処理部
300 ・・・ 顔の横位置
301 ・・・ 顔の縦位置
302 ・・・ 手の横位置
303 ・・・ 手の縦位置
310 ・・・ 顔の中心点
320 ・・・ 手の中心点
304、305、902、903、1000,1001、1101、1102、1302,1303、1304 ・・・ 個別操作領域
600 ・・・ 操作領域表示
601 ・・・ 手の位置表示
602 ・・・ 操作領域表示の中間線
700、700−b ・・・ 操作領域範囲
900 ・・・ 胴体の中心点
901、901−b、901−c、901−d ・・・ 操作境界線
1600 ・・・ ジェスチャ操作

Claims (5)

  1. 映像信号を出力する映像処理装置であって、
    ユーザを含む映像を撮影するカメラと、
    前記カメラで撮影された映像に基づいてユーザのジェスチャを認識して前記映像処理装置が出力する前記カメラで撮影された映像を含まない操作用映像に対して、当該ジェスチャに対応する操作を実行させる操作認識部と、を有し、
    前記操作認識部は、前記カメラで撮影された映像からユーザの体の部位を検出し、一の部位の位置を基準にした境界線を設定し、当該境界線に対する当該検出した部位の相対位置に基づいて、前記映像処理装置が出力する操作用映像に含まれる複数のメニューから、前記ジェスチャに対応する操作の対象となるメニューを決定する
    ことを特徴とする映像処理装置。
  2. 請求項1の映像処理装置であって、
    さらに、出力する映像信号を処理する映像処理部を有し、
    前記映像処理部は、前記操作認識部により操作の対象となるメニューが決定されていることを示すように映像信号を処理する
    ことを特徴とする映像処理装置。
  3. 請求項1または2の映像処理装置であって、
    前記操作認識部は、前記カメラで撮影された映像からユーザの顔の位置及び手の位置を検出し、検出した顔の位置を基準にした境界線を設定し、検出した手の位置が、当該境界線で分けられた第1の領域に検出された場合には第1の操作の対象となるメニューを決定し、検出した手の位置が、当該境界線で分けられた第2の領域に検出された場合には第2の操作の対象となるメニューを決定することを特徴とする映像処理装置。
  4. 請求項1または2の映像処理装置であって、
    前記操作認識部は、前記カメラで撮影された映像からユーザの手及び手以外の所定の部位を検出し、検出した手の位置と前記境界線との距離に基づいて前記映像処理装置に対する操作の対象となるメニューを決定することを特徴とする映像処理装置。
  5. 請求項3ないし4のいずれかの映像処理装置であって、
    前記操作用映像には、前記操作認識部で検出したユーザの手の位置が示される操作領域表示に関する映像信号が含まれることを特徴とする映像処理装置。

JP2010289122A 2010-12-27 2010-12-27 映像処理装置 Active JP5653206B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010289122A JP5653206B2 (ja) 2010-12-27 2010-12-27 映像処理装置
CN201510783622.0A CN105224090B (zh) 2010-12-27 2011-11-29 图像显示装置
CN201110386052.3A CN102591451B (zh) 2010-12-27 2011-11-29 影像处理装置和影像显示装置
US13/307,058 US9086726B2 (en) 2010-12-27 2011-11-30 Image processing device and image display device
US14/755,776 US9746931B2 (en) 2010-12-27 2015-06-30 Image processing device and image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010289122A JP5653206B2 (ja) 2010-12-27 2010-12-27 映像処理装置

Publications (2)

Publication Number Publication Date
JP2012137899A JP2012137899A (ja) 2012-07-19
JP5653206B2 true JP5653206B2 (ja) 2015-01-14

Family

ID=46316214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010289122A Active JP5653206B2 (ja) 2010-12-27 2010-12-27 映像処理装置

Country Status (3)

Country Link
US (2) US9086726B2 (ja)
JP (1) JP5653206B2 (ja)
CN (2) CN102591451B (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5865615B2 (ja) * 2011-06-30 2016-02-17 株式会社東芝 電子機器および制御方法
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
KR20140005688A (ko) * 2012-07-06 2014-01-15 삼성전자주식회사 사용자 인터페이스 방법 및 장치
KR20140014548A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
WO2014024362A1 (ja) * 2012-08-06 2014-02-13 株式会社ニコン 電子機器、方法およびプログラム
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
JP5896578B2 (ja) * 2012-11-22 2016-03-30 シャープ株式会社 データ入力装置
US11137832B2 (en) 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
JP6198187B2 (ja) * 2012-12-27 2017-09-20 三星電子株式会社Samsung Electronics Co.,Ltd. 信号処理装置及び信号処理方法
CN104010125B (zh) * 2013-02-22 2017-11-28 联想(北京)有限公司 电子设备和方法
GB2513200A (en) * 2013-04-21 2014-10-22 Biogaming Ltd Kinetic user interface
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
KR20150031384A (ko) * 2013-09-13 2015-03-24 현대자동차주식회사 맞춤형 인터페이스 시스템 및 그 동작 방법
US20150277570A1 (en) * 2014-03-31 2015-10-01 Google Inc. Providing Onscreen Visualizations of Gesture Movements
US20150309681A1 (en) * 2014-04-23 2015-10-29 Google Inc. Depth-based mode switching for touchless gestural interfaces
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
KR102530219B1 (ko) * 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109643165A (zh) 2016-09-01 2019-04-16 三菱电机株式会社 手势判定装置、手势操作装置和手势判定方法
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
CN108573216A (zh) * 2018-03-20 2018-09-25 浙江大华技术股份有限公司 一种肢体姿态判断方法及装置
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
US20200142495A1 (en) * 2018-11-05 2020-05-07 Eyesight Mobile Technologies Ltd. Gesture recognition control device
CN110427826B (zh) * 2019-07-04 2022-03-15 深兰科技(上海)有限公司 一种手掌识别方法、装置、电子设备及存储介质
KR20220108027A (ko) * 2019-11-28 2022-08-02 엘지전자 주식회사 스마트 월 및 그 제어 방법
KR20210138923A (ko) * 2020-05-13 2021-11-22 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP4173257A1 (en) 2020-06-30 2023-05-03 Snap Inc. Skeletal tracking for real-time virtual effects
EP4197180A1 (en) * 2020-08-13 2023-06-21 Snap Inc. User interface for pose driven virtual effects
US20220244791A1 (en) * 2021-01-24 2022-08-04 Chian Chiu Li Systems And Methods for Gesture Input
CN113325987A (zh) * 2021-06-15 2021-08-31 深圳地平线机器人科技有限公司 引导操作体进行隔空操作的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP4031255B2 (ja) 2002-02-13 2008-01-09 株式会社リコー ジェスチャコマンド入力装置
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4153818B2 (ja) * 2003-03-31 2008-09-24 本田技研工業株式会社 ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2006209563A (ja) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム
JP4711885B2 (ja) * 2006-05-25 2011-06-29 三菱電機株式会社 遠隔操作装置及び方法
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5559691B2 (ja) * 2007-09-24 2014-07-23 クアルコム,インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
JP2009251702A (ja) * 2008-04-02 2009-10-29 Hiroyuki Hosoda 情報処理装置、情報処理方法及び情報処理プログラム
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
JP2010009558A (ja) * 2008-05-28 2010-01-14 Oki Semiconductor Co Ltd 画像認識装置、電装機器動作制御ユニット、電化製品、画像認識プログラム、半導体装置
JP4221445B1 (ja) 2008-06-11 2009-02-12 株式会社ベイビッグ テレビ電話端末、テレビ電話端末制御方法及びプログラム
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
EP2350792B1 (en) * 2008-10-10 2016-06-22 Qualcomm Incorporated Single camera tracker
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子(中国)研发中心 面向电视控制的动态手势识别信号处理方法
EP2384465A1 (en) * 2009-01-21 2011-11-09 Thomson Licensing Method to control media with face detection and hot spot motion
US9639744B2 (en) * 2009-01-30 2017-05-02 Thomson Licensing Method for controlling and requesting information from displaying multimedia
JP2010283549A (ja) * 2009-06-04 2010-12-16 ▲世▼榮科技股▲分▼有限公司 ジェスチャに基づく遠隔制御システム
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
EP2620849B1 (en) * 2010-09-22 2019-08-28 Shimane Prefectural Government Operation input apparatus, operation input method, and program
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control

Also Published As

Publication number Publication date
US9086726B2 (en) 2015-07-21
US20120162409A1 (en) 2012-06-28
CN105224090B (zh) 2018-05-25
CN102591451B (zh) 2015-12-02
CN105224090A (zh) 2016-01-06
JP2012137899A (ja) 2012-07-19
US20150301612A1 (en) 2015-10-22
CN102591451A (zh) 2012-07-18
US9746931B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
JP5653206B2 (ja) 映像処理装置
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
US10474414B2 (en) Image display system, information processing apparatus, and image display method
US10037078B2 (en) Information processing apparatus, information processing method, and computer program
US10929083B2 (en) Resource sharing device and control method thereof
US9785244B2 (en) Image projection apparatus, system, and image projection method
US9323339B2 (en) Input device, input method and recording medium
JP7005161B2 (ja) 電子機器及びその制御方法
US20180122130A1 (en) Image display apparatus, mobile device, and methods of operating the same
KR20170107987A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램 및 시스템
JP2017191492A (ja) 情報処理装置、情報処理方法および映像生成システム
JP2012238293A (ja) 入力装置
KR20210010930A (ko) 헤드 제스처들을 통해 디스플레이 디바이스를 원격 제어하기 위한 방법, 시스템 및 컴퓨터 프로그램
JP6852612B2 (ja) 表示プログラム、情報処理装置、及び表示方法
US20150077331A1 (en) Display control device, display control method, and program
US20190333468A1 (en) Head mounted display device and visual aiding method
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
JP2013080266A (ja) 入力装置
TWI729507B (zh) 切換裝置與切換系統及其適用之方法
JP6484914B2 (ja) 情報処理機器および操作システム
EP3319308B1 (en) Spherical image display apparatus and method of displaying spherical image on a planar display
KR100758985B1 (ko) 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그방법
KR20140066557A (ko) 디스플레이 장치 및 그의 그래픽 요소 디스플레이 방법
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
US20180203659A1 (en) Image display system, information processing apparatus, and image display method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131212

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140317

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140711

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141118

R150 Certificate of patent or registration of utility model

Ref document number: 5653206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250