JP7186999B2 - 操作入力装置、操作入力方法及びプログラム - Google Patents

操作入力装置、操作入力方法及びプログラム Download PDF

Info

Publication number
JP7186999B2
JP7186999B2 JP2018094374A JP2018094374A JP7186999B2 JP 7186999 B2 JP7186999 B2 JP 7186999B2 JP 2018094374 A JP2018094374 A JP 2018094374A JP 2018094374 A JP2018094374 A JP 2018094374A JP 7186999 B2 JP7186999 B2 JP 7186999B2
Authority
JP
Japan
Prior art keywords
range
display
coordinates
operation input
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018094374A
Other languages
English (en)
Other versions
JP2019200566A (ja
Inventor
堪亮 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEXTEDGE TECHNOLOGY K.K.
Original Assignee
NEXTEDGE TECHNOLOGY K.K.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEXTEDGE TECHNOLOGY K.K. filed Critical NEXTEDGE TECHNOLOGY K.K.
Priority to JP2018094374A priority Critical patent/JP7186999B2/ja
Publication of JP2019200566A publication Critical patent/JP2019200566A/ja
Application granted granted Critical
Publication of JP7186999B2 publication Critical patent/JP7186999B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報機器にオペレータの操作に係る情報を入力する操作入力装置、操作入力方法及びプログラムに関する。
近年、オペレータが非接触で情報機器へ操作入力することのできる操作入力装置が多く開発されている。非接触の操作入力装置は、オペレータの操作負担を軽くすることができ、また手術現場、調理現場等において作業の途中でも情報機器を操作できる手段として注目されている。
このような操作入力装置は、例えば、カメラでオペレータを撮影して画像解析し、画像解析結果に基づいて情報機器へ操作入力するものがある（例えば、特許文献１）。
特許文献１に記載の操作制御装置は、ステレオカメラを用いてユーザの動作によって移動する手等を検出し、手等の動作を判定し、判定した動作に応じて表示領域内のカーソルを移動させるものである。この操作制御装置は、第１の検出対象の動作に基づいてカーソル及びカーソル可動領域を移動させ、第２の検出対象の動作に基づいて、カーソル可動領域内でカーソルのみを移動させる。この構成により、直感的かつ高精度に操作対象を操作することが可能になると説明している。
本出願人も、カメラでオペレータを撮影した画像に基づく操作入力を実行する操作入力装置について出願を行った（例えば、特許文献２）。特許文献２に記載の操作入力装置は、オペレータをカメラで撮影した画像からオペレータの手又は指を検出する。検出した手又は指の位置及び大きさに基づいて、カメラの視野領域から操作領域を特定し、特定された操作領域をディスプレイ領域にマッピングする。そして、マッピングされた操作領域における手又は指の位置、大きさ、形状の変化を検出し、その変化に基づいた操作入力信号を生成する。これにより、オペレータの操作感覚に合致した直感的な操作入力を行うことができた。
特開２０１１－２８３６６号公報 国際公開第２０１６／１０３７６９号
特許文献１に記載の技術によれば、第１、第２の検出対象を検出し、それぞれの動作に応じてカーソル又はカーソルの可動領域を移動させるため、２つの検出対象を追跡する処理が煩雑であった。また、オペレータは第１の検出対象、第２の検出対象を意識した操作をする必要があり、オペレータの操作感覚とカーソルの動きにずれが生じることがあった。また、第１の検出対象の動作により、カーソルの可動領域を変更するため、領域をまたぎディスプレイ全体に渡る操作ができなかった。
また、特許文献２に記載の操作入力装置は、ディスプレイ領域内の位置を特定する際、オペレータが微細な位置調整をすることが困難であった。例えば、ディスプレイ領域内での位置を決定する検出対象が手のひらや指先であった場合、検出対象はある程度の大きさを有するため、オペレータの目標としている正確な位置(点やピクセル)に一致させることが困難であった。
また、カメラからオペレータまでの距離が離れている場合には、カメラの検出領域のうち、小さい操作範囲での手又は指の位置を検出することになり、正確な位置を特定することが困難であった。
本発明は、上記実情に鑑みてなされたものであり、操作に係る位置を特定する際に、ディスプレイの表示領域の全体から極小範囲まで正確に位置を特定することができる操作入力装置等を提供することを目的とする。
上記目的を達成するため、本発明の第１の観点に係る操作入力装置は、
カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくすることを特徴とする。
前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が前記第１範囲以内であり、且つその時点のマッピングしている表示範囲が最小でない場合に、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第２範囲を超え、且つその時点のマッピングしている表示範囲が最大でない場合に、マッピングする前記表示範囲を１段階大きくしてもよい
また、本発明の第２の観点に係る操作入力装置は、
カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記マッピング部は、前記カメラから、前記オペレータの前記検出対象までの距離が第１閾値以下である場合には、マッピングする前記表示範囲を最小とし、前記距離が前記第１閾値より大きい第２閾値を超える場合には、マッピングする前記表示範囲を最大とすることを特徴とする。
また、本発明の第３の観点に係る操作入力装置は、
カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記マッピング部は、前記検出対象の移動軌跡が第１軌跡である場合には、マッピングする前記表示範囲を１段階小さくし、前記移動軌跡が前記第１軌跡と異なる第２軌跡である場合には、マッピングする前記表示範囲を１段階大きくすることを特徴とする。
前記マッピング部は、マッピングを切り替えて前記マッピング情報を生成したときは、前記切り替えたことが識別できる表示を行ってもよい。
前記マッピング部は、前記操作範囲の中央から前記操作範囲の端部に近づくにつれ、前記操作範囲に対する前記表示範囲の拡大率を高くするようにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成してもよい。
前記マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作範囲に仮想し、前記操作範囲に仮想した点と同数の点を前記表示範囲内に一定の間隔で配列し、前記操作範囲内に配列した点の座標と前記表示範囲内に配列した点の座標とを対応づけたマッピング情報を生成してもよい。
前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作範囲における前記検出対象の座標を前記表示範囲における座標に変換し、変換された座標にカーソルを表示させてもよい。
また、本発明の第４の観点に係る操作入力方法は、
カメラ及びディスプレイに接続されたコンピュータが、オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影した画像から前記オペレータの操作に係る検出対象を検出する対象検出ステップと、
前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピングステップと、
前記対象検出ステップで検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
を有し、
前記マッピングステップでは、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくすることを特徴とする。
また、本発明の第５の観点にプログラムは、
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部、
前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部、
前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくすることを特徴とする。
本発明によれば、操作に係る位置を特定する際に、ディスプレイの表示領域の全体から極小範囲まで正確に位置を特定することが可能になる。
操作入力装置のハードウェア構成を示すブロック図である。 操作入力装置の機能構成を示す機能ブロック図である。 片手操作時の操作範囲を示した図である。 両手操作時の操作範囲を示した図である。 操作範囲と表示範囲とのマッピングを示した図である。 操作入力処理のフローチャートである。 実施の形態１に係るマッピング情報更新処理のフローチャートである。 カーソルを表示したときのディスプレイを示した図である。 （ａ）移動時のカーソルを示した図である。（ｂ）停止時のカーソルを示した図である。（ｃ）クリック操作の例を示した図である。（ｄ）クリック操作の例を示した図である。（ｅ）クリック時のカーソルを示した図である。 実施の形態２に係るマッピング情報更新処理のフローチャートである。 実施の形態３に係るマッピング情報更新処理のフローチャートである。 （ａ）ディスプレイとオペレータを上方から見た図である。（ｂ）オペレータの手の位置とカメラが判別する手の位置との関係を示した図である。 実施の形態４に係る操作範囲とディスプレイの表示範囲とのマッピングを示した図である。
（実施の形態１）
本発明の実施の形態１について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、オペレータの操作を判別して生成した操作入力信号に基づく処理を行う情報処理装置である。図１に示すように、操作入力装置１０は、ＣＰＵ（Central Processing Unit：中央処理装置）１１、カメラ１２、ＲＡＭ（Random Access Memory）１３、ディスプレイ１４、記憶部１５を備える。
操作入力装置１０は、操作入力処理のプログラムがインストールされたパソコン、スマートフォン、タブレット型端末等の任意の情報処理端末から構成される。カメラ１２はこれらの情報処理端末に内蔵されたウェブカメラ等でもよく、あるいは外部接続したカメラであってもよい。
カメラ１２は、カラー画像データをリアルタイム出力するカラーカメラである。カメラ１２は、視線方向をディスプレイ１４の表示面に略垂直で表示面から離れる方向に向けて設置されており、例えば、ディスプレイ１４の上縁に設置される。
ＲＡＭ１３は、高速にデータの読み書きが可能なメモリであり、カメラ１２が撮影した画像データや記憶部１５から読み出した画像データ等をＣＰＵ１１が実行するデータ処理のために一時保存する。
ディスプレイ１４は、画像、文字等の情報表示出力を行う表示装置であり、ＣＰＵ１１が生成する画像等を表示する。記憶部１５は、大容量の記憶装置であり、フラッシュメモリ等から構成される。カメラ１２が撮影した画像データや、ＣＰＵ１１の処理により生成した画像のデータを記憶する。また、記憶部１５は、ＣＰＵ１１が実行するプログラムを記憶する。
ＣＰＵ１１、ＲＡＭ１３は、記憶部１５に記憶している操作入力処理のプログラムを実行することにより、図２に示すように、画像取得部１１１、対象検出部１１２、操作範囲特定部１１３、マッピング部１１４、操作入力信号生成部１１５、アプリケーション実行部１１６として機能する。
画像取得部１１１は、カメラ１２が撮影した画像データを取得する。画像取得部１１１はカメラ１２が撮影した画像データに含まれる所定のタイミングのフレーム画像を予め定めた時間間隔で対象検出部１１２に出力する。
対象検出部１１２は、画像取得部１１１より入力されるフレーム画像から予め定めた検出対象の画像を検出する。検出対象の画像は、表示画面における位置を特定するために、オペレータが移動させることのできる部位の画像であって、例えば、人の手、指、ポインタ等の画像である。検出対象の画像を検出する方法は、従来の任意の方法である。本実施の形態においては、手のひらを含む指を広げた手１０１の画像を検出する場合について説明する。
例えば、画像取得部１１１から入力されるフレーム画像に対してカラーマスクを用いて予め設定されている特定色（例えば、肌色）のカラー画像を抽出する。また、そのフレーム画像に対して２値化処理を行う。これらの処理で得られたカラーマスクの抽出画像と２値化画像との論理和を取り、肌色部分の手１０１の画像を検出するようにしてもよい。
また、連続する２以上のフレーム分のフレーム画像、又は２値化処理した２以上のフレーム分のフレーム画像に対してフレーム間差分処理を行い、得られた差分画像からヒストグラムを作成する。このヒストグラムに基づいて、動作の変化が大きい活動エリアを特定して手１０１の画像を検出するようにしてもよい。
また、記憶部１５に予め人の手又は指のテンプレートを記憶しておき、画像取得部１１１から入力されるフレーム画像に対してテンプレートマッチングを行い手１０１の画像を検出するようにしてもよい。
対象検出部１１２が検出した手１０１の大きさ、位置、形状等の情報は操作範囲特定部１１３及びマッピング部１１４に出力される。
操作範囲特定部１１３は、対象検出部１１２から入力された手１０１の大きさ、位置、形状等の情報に基づいて、画像取得部１１１が取得するフレーム画像全体に当たるカメラの視野領域１００１からオペレータが操作に用いる操作範囲１００２，１００３を特定する。操作範囲特定部１１３は、オペレータが片手を用いて操作する場合の操作範囲１００２と、両手を用いて操作する場合の操作範囲１００３をそれぞれ特定する。
まず、オペレータが片手を用いて操作する場合の操作範囲１００２の特定方法の例について、図３を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作範囲特定部１１３は、対象検出部１１２から入力される手１０１の幅Ｗと、手１０１の中心位置Ｐ１を取得する。そして、点Ｐ１を中心として、幅ｍ×Ｗの操作範囲１００２を特定する。ここでｍは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
次に、オペレータが両手を用いて操作する場合の操作範囲１００３の特定方法の例について、図４を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作範囲特定部１１３は、対象検出部１１２から入力された右の手１０１の中心位置Ｐ２と左の手１０１の中心位置Ｐ３を取得する。そして、点Ｐ２と点Ｐ３の中点を中心として、点Ｐ２と点Ｐ３との間の距離Ｌに対して幅ｎ×Ｌの操作範囲１００３を特定する。ここでｎは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
操作範囲特定部１１３が特定する操作範囲１００２，１００３の高さは、手１０１の中心位置Ｐ１，Ｐ２，Ｐ３に基づいて決定した幅に対して所定の比率を乗じた値とする。このようにして特定した操作範囲１００２，１００３の情報をマッピング部１１４に出力する。
マッピング部１１４は、操作範囲特定部１１３より入力された操作範囲１００２，１００３をディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲にマッピングする。図５（ａ）は、両手を用いた場合の操作範囲１００３をディスプレイ領域１００４全体に相当する表示範囲１００５にマッピングした状態を示す。図５（ｂ）は、両手を用いた場合の操作範囲１００３をディスプレイ領域１００４の縦横１／２倍の表示範囲１００６にマッピングした状態を示す。図５（ｃ）は、両手を用いた場合の操作範囲１００３をディスプレイ領域１００４の縦横１／４倍の表示範囲１００７にマッピングした状態を示す。
そして、マッピング部１１４は、操作範囲１００３の座標を各表示範囲１００５，１００６，１００７の座標に対応づけたマッピング情報を生成し、ＲＡＭ１３に記憶する。表示範囲１００５，１００６，１００７のうちいずれにマッピングするかはオペレータの操作又は動きによって切り替えを行う。
本実施の形態では、マッピングの切り替えは、オペレータが手１０１を停止させたか大きく動かしたかに応じて行う。具体的には、検出対象である手１０１の画像の移動軌跡が一定時間予め定めた範囲以内にある場合に、表示範囲１００５から表示範囲１００６に、又は、表示範囲１００６から表示範囲１００７にマッピングを切り替え、マッピング情報を生成する。検出対象である手１０１の画像の移動軌跡が一定時間以内に予め定めた範囲を超えた場合に、表示範囲１００７から表示範囲１００６に、又は、表示範囲１００６から表示範囲１００５にマッピングを切り替え、マッピング情報を生成する。
マッピングを切り替える際は、切り替えたことが識別できる表示をしてもよい。例えば、操作範囲１００３にマッピングする表示範囲を、表示範囲１００５から表示範囲１００６に切り替える場合、切り替えのタイミングで、切り替える前の表示範囲１００５と切り替えた後の表示範囲１００６の外周の枠線を連続して表示させてもよい。
操作入力信号生成部１１５は、対象検出部１１２が検出した手１０１の画像の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報と、マッピング部１１４が生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
具体的には、まず、操作入力信号生成部１１５は、ディスプレイ１４の表示画面にカーソルを表示させる。つまり、対象検出部１１２が検出した手１０１の中心位置の操作範囲１００３における座標を、マッピング部１１４が生成したマッピング情報を用いて変換し、変換後の座標にカーソルを表示させる。
その後、操作入力信号生成部１１５は、対象検出部１１２が検出した手１０１の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報に応じて、ディスプレイ１４に表示されたアイコン等が示すアプリケーションの選択、実行等を指示する操作入力信号を生成する。そして生成した操作入力信号をアプリケーション実行部１１６に入力する。
アプリケーション実行部１１６は、操作入力信号生成部１１５から入力される操作入力信号に基づいて、アプリケーションを選択し、実行させる。
このように構成された操作入力装置１０の操作入力処理について、図６に示すフローチャートに沿って説明する。図６は、操作入力処理を示すフローチャートである。
操作入力処理は、対象検出部１１２が手１０１の画像を検出したときスタートする。対象検出部１１２は、手１０１の検出なしの状態から両手をほぼ同時に検出したとき、つまり２つの手１０１を所定の時間以内に検出開始したとき、（ステップＳ１０１：Ｙｅｓ）、両手操作状態に設定する（ステップＳ１０２）。
操作範囲特定部１１３は、図４の例に示すような両手の操作範囲１００３を特定する（ステップＳ１０３）。マッピング部１１４は、操作範囲特定部１１３が特定した操作範囲１００３を、ＲＡＭ１３に記憶しているマッピング情報を用いて表示範囲１００５，１００６，１００７のいずれかにマッピングする（ステップＳ１０４）。
その後、操作入力信号生成部１１５は、表示範囲１００５，１００６，１００７のいずれかにマッピングされた操作範囲１００３における両手の大きさ、相対位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６とディスプレイ１４に出力する（ステップＳ１０５）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
両手が継続的に検出され、片手又は手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１０６：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１０５）。
一方、片手又は手の検出なしに変化して一定時間以上経過した場合において（ステップＳ１０６：Ｙｅｓ）、片手に変化したときは（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に進む。手の検出なしに変化したときは（ステップＳ１０７：Ｎｏ）、処理を終了する。
ステップＳ１０１において、対象検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出しなかったとき、つまり２つの手を所定の時間以内に検出開始しなかったとき、（ステップＳ１０１：Ｎｏ）、片手操作状態に設定する（ステップＳ１０８）。
操作範囲特定部１１３は、図３の例に示すような片手の操作範囲１００２を特定する（ステップＳ１０９）。マッピング部１１４は、操作範囲特定部１１３が特定した操作範囲１００２を、ＲＡＭ１３に記憶しているマッピング情報を用いて表示範囲１００５，１００６，１００７のいずれかにマッピングする（ステップＳ１１０）。
その後、操作入力信号生成部１１５は、表示範囲１００５，１００６，１００７のいずれかにマッピングされた操作範囲１００２における片手の大きさ、位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６とディスプレイ１４に出力する（ステップＳ１１１）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
片手が継続的に検出され、手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１１２：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１１１）。
一方、手の検出なしに変化して一定時間以上経過した場合は（ステップＳ１１２：Ｙｅｓ）、処理を終了する。
ステップＳ１０４、Ｓ１１０において表示範囲１００５，１００６，１００７にマッピングする際に参照するマッピング情報は、随時更新されＲＡＭ１３に記憶される。マッピング情報更新処理について、図７に示すフローチャートに沿って説明する。図７は、マッピング情報更新処理を示すフローチャートである。
マッピング部１１４は、ＲＡＭ１３よりマッピング情報を読み出す（ステップＳ２０１）。そして、対象検出部１１２が検出する手１０１の移動軌跡が一定時間予め定めた第１範囲以内にとどまっており、停止していると見なせるか否かを判定する（ステップＳ２０２）。手１０１が停止していると見なせる場合（ステップＳ２０２；Ｙｅｓ）、現時点でマッピングしている表示範囲が最小であるか否かを判定する（ステップＳ２０３）。
マッピングしている表示範囲が、図５（ｃ）にように、ディスプレイ領域１００４の１／４の表示範囲１００７で最小である場合には（ステップＳ２０３；Ｙｅｓ）、マッピング情報を更新することなくステップＳ２０１に戻る。一方、マッピングしている表示範囲が最小でない場合には（ステップＳ２０３；Ｎｏ）、１段階小さい表示範囲の座標に操作範囲の座標を対応づけるマッピング情報を生成し、ＲＡＭ１３に上書き保存する。
ステップＳ２０２で、対象検出部１１２が検出する手１０１の移動軌跡が一定時間以内に予め定めた第１範囲を超えて移動し、手１０１が停止していないと見なせる場合（ステップＳ２０２；Ｎｏ）、対象である手１０１が大きく移動したか否かを判定する（ステップＳ２０５）。対象である手１０１の移動軌跡が一定時間予め定めた第２範囲内に留まっており、手１０１が大きく移動する操作を検出しなかった場合は（ステップＳ２０５；Ｎｏ）、ステップＳ２０１に戻る。ここで、第２範囲は第１範囲よりも大きい。
一方、対象である手１０１の移動軌跡が一定時間以内に予め定めた第２範囲を超えて、手１０１が大きく移動する操作を検出した場合は（ステップＳ２０５；Ｙｅｓ）、現時点でマッピングしている表示範囲が最大であるか否かを判定する（ステップＳ２０６）。マッピングしている表示範囲が、図５（ａ）にように、ディスプレイ領域１００４全体の表示範囲１００５で最大である場合には（ステップＳ２０６；Ｙｅｓ）、マッピング情報を更新することなくステップＳ２０１に戻る。
一方、マッピングしている表示範囲が最大でない場合には（ステップＳ２０６；Ｎｏ）、１段階大きい表示範囲の座標に操作範囲の座標を対応づけるマッピング情報を生成し、ＲＡＭ１３に上書き保存する。
このようにして、図６のステップＳ１０４、ステップＳ１１０のマッピングの際に参照するマッピング情報は、オペレータの操作に応じて更新する。
次に、ステップＳ１０５、Ｓ１１１で出力される操作入力信号に基づくディスプレイ１４の表示やアプリケーション実行部１１６の処理の具体例を説明する。
操作入力装置１０のディスプレイ１４に、図８に示すようなアイコン２００１や画像２００２が表示されている場合について説明する。画像２００２は画像表示アプリケーションにより表示されているものである。オペレータがカメラ１２の視野領域１００１に手１０１を入れているときは、ディスプレイ１４はマッピング情報で変換された座標位置にカーソル２００３を表示する。
カーソル２００３の形状は、オペレータの操作が反映されているか否かが直感的に視認できる形状が望ましい。本実施の形態では、図８の画像上に表示されているように、一つの円と、その周囲に等間隔で配置された複数の円から構成されたカーソル２００３の形状を用いる。
カーソル２００３の色は、アイコン２００１又は画像２００２を選択可能な位置にあるか否かに応じて色を変えてもよい。図８の例では、中央に表示した画像２００２を選択可能な位置にあるため、カーソルの各円が黒丸となっている。カーソル２００３の位置が画像２００２から外れており選択可能でないときは白丸とする。
また、カーソル２００３が移動している時は図９（ａ）に示すように中央の円を移動方向にずらして表示してもよい。一方、カーソル２００３が停止している時は図９（ｂ）に示すように中央の円が周囲の円の中心から等距離の点に位置するように表示してもよい。
オペレータのクリック操作は、判別が容易な動作が望ましい。例えば、図９（ｃ）のように手を左右に細かく振る。あるいは、図９（ｄ）のように手を開いた状態から握る動作をする。操作入力信号生成部１１５は、このような操作を検出したときにクリック操作があったと判別し、図９（ｅ）に示すようにカーソル２００３の中央の円を左右に広げ楕円形状としてもよい。これによりオペレータはクリック操作が判別されたことを知ることができる。
その他、操作入力信号生成部１１５は、マッピング情報によりマッピングされた操作範囲１００２,１００３における手１０１の大きさ、位置、形状及びそれらの時間変化、両手の相対的位置に応じた様々な操作入力信号を生成し、アプリケーション実行部１１６とディスプレイ１４に出力する。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
このようにして、手１０１の移動軌跡に応じて切り替えたマッピング情報を用いることにより、ディスプレイ１４の表示領域全体における操作及び極小範囲の微細な操作に基づくアプリケーションの処理を実行することができる。
以上説明したように、本実施の形態においては、手１０１の大きさ、位置、形状等の情報に基づいて、カメラの視野領域１００１からオペレータが操作に用いる操作範囲１００２，１００３を特定する。特定した操作範囲１００２，１００３を、ディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲１００５，１００６，１００７にマッピングし、マッピング情報を生成する。ここで、オペレータが手１０１を停止させたか又は大きく動かしたかに応じて操作範囲１００２、１００３にマッピングする表示範囲１００５，１００６，１００７を切り替える。操作入力信号生成部１１５は、対象検出部１１２が検出した手１０１の画像の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報と、マッピング部１１４が生成したマッピング情報とに基づいて、オペレータの操作を示す操作入力信号を生成することとした。これにより、手１０１を停止させたときにはより小さい範囲において正確に位置を特定し、手１０１を大きく動かした時にはより大きい範囲に渡って位置を変化させて特定できるため、ディスプレイ１４の表示領域全体の操作と極小範囲の微細な操作が共に可能になる。
（実施の形態２）
本発明の実施の形態２について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有し、同様の操作入力処理を実行するが、マッピング部１１４が実行するマッピングの切り替え方法が異なる。マッピングの切り替え方法について詳細に説明する。
マッピング部１１４は、操作範囲特定部１１３が特定した操作範囲１００２，１００３をディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲１００５，１００６，１００７のいずれかにマッピングする。そして、マッピング部１１４は、操作範囲１００２，１００３の座標を各表示範囲１００５，１００６，１００７の座標に対応づけたマッピング情報を生成し、ＲＡＭ１３に記憶する。表示範囲１００５，１００６，１００７のうちいずれにマッピングするかはオペレータの操作又は動きによって切り替えを行う。
本実施の形態では、マッピングの切り替えは、対象検出部１１２が検出する対象であるオペレータの手１０１からカメラ１２までの距離ｒに応じて行う。オペレータはカメラ１２に近づき、又は、離れることにより、オペレータの手１０１からカメラ１２までの距離ｒを変化させることができる。距離ｒは、従来の任意の方法により計測する。例えば、互いに離隔して備えた２つのカメラの撮影画像に基づいて三角測量を用いて計測してもよい。
ここでも、実施の形態１の場合と同様に、図５に示した表示範囲１００５，１００６，１００７のいずれかに操作範囲１００３をマッピングする場合について説明する。手１０１とカメラ１２との距離ｒが距離ａ以下である場合には、表示範囲１００７にマッピングし、ｒがａより大きくｂ以下である場合には、表示範囲１００６にマッピングし、ｒがｂより大きい場合には、表示範囲１００５にマッピングするようにマッピングを切り替える。閾値であるａ、ｂは予め設定しておく。マッピング部１１４はマッピングを切り替える際にマッピング情報を生成する。
マッピングを切り替える際は、切り替えたことが識別できる表示をしてもよい。例えば、操作範囲１００３にマッピングする表示範囲を、表示範囲１００５から表示範囲１００６に切り替える場合、切り替えのタイミングで、切り替える前の表示範囲１００５と切り替えた後の表示範囲１００６の外周の枠線を連続して表示させてもよい。
他の構成は実施の形態１と同様である。このように構成された操作入力装置１０の動作について説明する。操作入力処理の全体のフローは実施の形態１と同様に図６のフローチャートに示した通りである。
図６のステップＳ１０４、Ｓ１１０で、表示範囲１００５，１００６，１００７にマッピングする際に参照するマッピング情報は、随時更新されＲＡＭ１３に記憶される。マッピング情報更新処理が実施の形態１と異なる。マッピング情報更新処理について、図１０に示すフローチャートに沿って説明する。図１０は、本実施の形態２に係るマッピング情報更新処理を示すフローチャートである。マッピング情報更新処理を実行する間、手１０１とカメラ１２との距離ｒは定期的に計測している。また、閾値であるａ、ｂの値は予め設定しておく。
マッピング部１１４は、手１０１とカメラ１２との距離ｒを取得する（Ｓ３０１）。距離ｒがどの数値範囲に属するかを判定する（ステップＳ３０２）。オペレータがカメラに十分に近く、距離ｒがa以下である場合（ステップＳ３０２；ｒ≦ａ）、ディスプレイ領域１００４の１／４の表示範囲１００７にマッピングし、マッピング情報を生成してＲＡＭ１３に保存する（ステップＳ３０３）。
ステップＳ３０２で、距離ｒがａより大きく、ｂ以下である場合（ステップＳ３０２；ａ＜ｒ≦ｂ）、ディスプレイ領域１００４の１／２の表示範囲１００６にマッピングし、マッピング情報を生成してＲＡＭ１３に保存する（ステップＳ３０４）。
ステップＳ３０２で、距離ｒがｂより大きい場合（ステップＳ３０２；ｒ＞ｂ）、ディスプレイ領域１００４の全体の表示範囲１００５にマッピングし、マッピング情報を生成してＲＡＭ１３に保存する（ステップＳ３０５）。
このようにして、図６のステップＳ１０４、ステップＳ１１０のマッピングの際に参照するマッピング情報は、オペレータの操作に応じて更新する。
操作入力信号生成部１１５は、マッピング情報に基づいて、表示範囲１００５，１００６，１００７のいずれかにマッピングされた操作範囲１００２，１００３における手１０１の大きさ、相対位置、形状及びそれらの時間変化に応じた操作入力信号を生成する（ステップＳ１０５、Ｓ１１１）。ステップＳ１０５、Ｓ１１１で出力される操作入力信号に基づくディスプレイ１４の表示やアプリケーション実行部１１６の処理は、実施の形態１と同様である。
以上説明したように、本実施の形態においては、操作範囲１００２，１００３をディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲１００５，１００６，１００７のいずれかにマッピングする際に、手１０１からカメラ１２までの距離に応じて、マッピングする表示範囲を選択し切り替えることとした。これにより、オペレータがカメラ１２に近づき、又は、離れることにより、マッピングを切り替えることができ、ディスプレイ１４の表示領域全体の操作と極小範囲の微細な操作が共に可能になる。
（実施の形態３）
本発明の実施の形態３について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有し、同様の操作入力処理を実行するが、マッピング部１１４が実行するマッピングの切り替え方法が異なる。マッピングの切り替え方法について詳細に説明する。
マッピング部１１４は、操作範囲特定部１１３が特定した操作範囲１００２，１００３をディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲１００５，１００６，１００７のいずれかにマッピングする。そして、マッピング部１１４は、操作範囲１００２，１００３の座標を各表示範囲１００５，１００６，１００７の座標に対応づけたマッピング情報を生成し、ＲＡＭ１３に記憶する。表示範囲１００５，１００６，１００７のうちいずれにマッピングするかはオペレータの操作又は動きによって切り替えを行う。
本実施の形態では、マッピングの切り替えは、オペレータのジェスチャに応じて行う。例えば、オペレータの手１０１を時計回りに回転するジェスチャを判別した場合に、より小さい表示範囲に切り替え、反時計回りに回転するジェスチャを判別した場合に、より大きい表示範囲に切り替えるようにする。ジェスチャの判別は、手１０１の画像の移動軌跡の形状に基づいて判別する。マッピング部１１４はマッピングを切り替える際にマッピング情報を生成する。
マッピングを切り替える際は、切り替えたことが識別できる表示をしてもよい。例えば、操作範囲１００３にマッピングする表示範囲を、表示範囲１００５から表示範囲１００６に切り替える場合、切り替えのタイミングで、切り替える前の表示範囲１００５と切り替えた後の表示範囲１００６の外周の枠線を連続して表示させてもよい。
他の構成は実施の形態１と同様である。このように構成された操作入力装置１０の動作について説明する。ここでも、実施の形態１の場合と同様に、図５に示した表示範囲１００５，１００６，１００７のいずれかに操作範囲１００３をマッピングする場合について説明する。操作入力処理の全体のフローは実施の形態１と同様に図６のフローチャートに示した通りである。
図６のステップＳ１０４、Ｓ１１０で表示範囲１００５，１００６，１００７にマッピングする際に参照するマッピング情報は、随時更新されＲＡＭ１３に記憶される。マッピング情報更新処理が実施の形態１と異なる。マッピング情報更新処理について、図１１に示すフローチャートに沿って説明する。図１１は、本実施の形態３に係るマッピング情報更新処理を示すフローチャートである。マッピング情報更新処理を実行する間、マッピング部１１４は手１０１の画像の移動軌跡を継続して取得している。
マッピング部１１４は、ＲＡＭ１３よりマッピング情報を読み出す（Ｓ４０１）。そして、対象検出部１１２の検出対象である手１０１の移動軌跡が時計回りを描いているか否かを判定する（ステップＳ４０２）。対象の移動軌跡が時計回りであると判定した場合（ステップＳ４０２；Ｙｅｓ）、現時点でマッピングしている表示範囲が最小であるか否かを判定する（ステップＳ４０３）。
マッピングしている表示範囲が、図５（ｃ）に示すように、ディスプレイ領域１００４の１／４の表示範囲１００７で最小である場合には（ステップＳ４０３；Ｙｅｓ）、マッピング情報を更新することなくステップＳ４０１に戻る。一方、マッピングしている表示範囲が最小でない場合には（ステップＳ４０３；Ｎｏ）、１段階小さい表示範囲の座標に操作範囲１００３の座標を対応づけるマッピング情報を生成し（ステップＳ４０４）、ＲＡＭ１３に上書き保存する。
ステップＳ２０２で、対象検出部１１２の検出対象である手１０１の移動軌跡が時計回りではないと判定した場合（ステップＳ４０２；Ｎｏ）、対象である手１０１の軌跡が反時計回りを描いているか否かを判定する（ステップＳ４０５）。対象の移動軌跡が反時計回りでないと判定した場合は（ステップＳ４０５；Ｎｏ）、ステップＳ４０１に戻る。
一方、対象である手１０１の移動軌跡が反時計回りであると判定した場合は（ステップＳ４０５；Ｙｅｓ）、現時点でマッピングしている表示範囲が最大であるか否かを判定する（ステップＳ４０６）。マッピングしている表示範囲が、図５（ａ）に示すように、ディスプレイ領域１００４全体の表示範囲１００５で最大である場合には（ステップＳ４０６；Ｙｅｓ）、マッピング情報を更新することなくステップＳ４０１に戻る。
一方、マッピングしている表示範囲が最大でない場合には（ステップＳ４０６；Ｎｏ）、１段階大きい表示範囲の座標に操作範囲１００３の座標を対応づけるマッピング情報を生成し（ステップＳ４０７）、ＲＡＭ１３に上書き保存する。
このようにして、図６のステップＳ１０４、ステップＳ１１０のマッピングの際に参照するマッピング情報は、オペレータのジェスチャに応じて更新する。
操作入力信号生成部１１５は、マッピング情報に基づいて、表示範囲１００５，１００６，１００７のいずれかにマッピングされた操作範囲１００２，１００３における手１０１の大きさ、相対位置、形状及びそれらの時間変化に応じた操作入力信号を生成する（ステップＳ１０５、Ｓ１１１）。ステップＳ１０５、Ｓ１１１で出力される操作入力信号に基づくディスプレイ１４の表示やアプリケーション実行部１１６の処理は、実施の形態１と同様である。
以上説明したように、本実施の形態においては、操作範囲１００２，１００３をディスプレイ１４の表示領域の全体又は予め定めた範囲の表示範囲１００５，１００６，１００７のいずれかにマッピングする際に、手１０１の画像の移動軌跡の形状に応じて、マッピングする表示範囲を選択し切り替えることとした。これにより、オペレータが簡単なジェスチャをすることにより、マッピングを切り替えることができ、ディスプレイ１４の表示領域全体の操作と極小範囲の微細な操作が共に可能になる。
（実施の形態４）
本発明の実施の形態４について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１乃至３と同様の構成を有し、同様の操作入力処理を実行するが、図６のステップＳ１０４、Ｓ１１０でマッピング部１１４が実行するマッピングの方法が異なる。マッピング方法について詳細に説明する。
操作範囲特定部１１３は、実施の形態１乃至３と同様に片手の操作範囲１００２又は両手の操作範囲１００３を特定する。
ここで、図１２（ａ）に示すように、人は腕の肘又は肩を中心として腕を動かすため、手１０１は肘又は肩を中心とした球殻上を移動する。このため、操作範囲１００２，１００３の中央部分に手が位置するとき、つまり、人の胸部の前面に手１０１が位置するときは、対象検出部１１２が検出する手１０１の画像の移動距離は、実際の手１０１の移動距離にほぼ比例する。しかし、操作範囲１００２，１００３の端部に手１０１が位置するとき、つまり人の胴体１０２から離れた位置に手があるときは、手１０１の画像の移動距離は、実際の手１０１の移動距離より小さくなる。
図１２（ｂ）を用いて説明すると、人がＡからＢに手１０１を移動させたときの手１０１の画像はＡ’からＢ’に移動するのに対し、人がＢからＣに手１０１を移動させたときの手１０１の画像はＢ’からＣ’に移動する。ＡＢ間の弧の長さと、ＢＣ間の弧の長さは等しいが、Ｂ’Ｃ’間の距離はＡ’Ｂ’間の距離と比較して短くなっている。
この実際の手１０１の移動距離と手１０１の画像の移動距離とのずれにより、オペレータの感覚とカーソルの動きにはずれが生じる。このずれを解消するために、マッピング部１１４は操作範囲１００２，１００３内に凸面の仮想空間を想定し、表示範囲１００５，１００６，１００７にマッピングする。
具体的には、マッピング部１１４は、図１３に示すように、表面に縦横それぞれに一定の間隔で配列した点を付した凸面を凸方向から見たような配列の点を操作範囲１００２，１００３内に仮想する。言い換えると、凸面の表面上に縦横それぞれに一定の間隔で配列した点を凸方向から、凸方向に垂直な平面に投影した配列の点を仮想することとなる。
仮想した操作範囲１００２，１００３内の点と、表示範囲１００５，１００６，１００７内に縦横それぞれ一定の間隔で配列した操作範囲１００２，１００３内の点と同数の点と、を配列順に対応付ける。そして、操作範囲１００２，１００３内の各点の座標を表示範囲１００５，１００６，１００７の各点の座標に対応づけたマッピング情報を生成する。このマッピング情報を用いた場合、操作範囲１００２，１００３の中央から端部に近づくにつれ、操作範囲１００２，１００３に対する表示範囲１００５，１００６，１００７の拡大率が高くなるようにマッピングすることとなる。
このようにして生成したマッピング情報を用いることで、オペレータの操作感覚とカーソルの移動のずれを軽減することができる。
操作入力信号生成部１１５は、対象検出部１１２が検出した手１０１の画像の大きさ、位置、形状の変化の情報と、マッピング部１１４で生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
以上説明したように、本実施の形態においては、マッピング部１１４が操作範囲１００２，１００３内に仮想した凸面上に一定間隔で配列した点を凸方向から投影した配列の点の座標を、表示範囲１００５，１００６，１００７内の縦横に一定の間隔で配列した点の座標に対応付けしたマッピング情報を生成し、オペレータの操作の検出にそのマッピング情報を用いることとした。これにより、さらにオペレータの操作感覚に合致した操作入力を行うことが可能になる。
このように本発明は、カメラの視野領域のうちオペレータの操作が有効な操作範囲を特定し、操作範囲をディスプレイの表示領域の全体及び予め定めた一部である複数の表示範囲のいずれか一つにマッピングし、操作範囲と表示範囲との座標の対応関係を示すマッピング情報を生成する。そして、検出対象の操作範囲における座標を、マッピング情報を用いて表示範囲の座標に変換し、変換された座標におけるオペレータの操作入力を示す操作入力信号を生成する。ここで、マッピング部は、検出対象の位置又は移動軌跡に基づいて、マッピングを切り替えることとした。これにより、操作に係る位置を特定する際に、ディスプレイの表示領域の全体から極小範囲まで正確に位置を特定することが可能になる。
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
例えば、マッピング部１１４は操作範囲１００２，１００３を表示範囲１００５，１００６，１００７のいずれか一つにマッピングするとしたが、表示範囲の数は任意であり、２つでもよく、又は、４つ以上であってもよい。
また、操作範囲特定部１１３は、片手の中心位置や幅又は両手の中心位置に基づいて操作範囲１００２，１００３を特定するとしたが、他の部分の位置情報に基づいて操作範囲１００２，１００３を特定しても良い。一例として、人の顔を認識し、顔の中心位置と手の中心位置の縦方向の距離に基づいて操作範囲１００２，１００３の縦の長さを決定するようにしてもよい。
また、操作範囲特定部１１３が特定する操作範囲１００２，１００３は、長方形であるとしたが、ディスプレイ１４の面方向とオペレータの体軸方向が平行でない場合を想定して、台形の操作範囲を特定するようにしてもよい。
また、ＣＰＵ１１が実行した処理のプログラムを、既存のコンピュータ等の情報端末で実行させることにより、当該情報端末を本発明に係る操作入力装置１０として機能させることも可能である。
このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
１０…操作入力装置
１１…ＣＰＵ
１１１…画像取得部
１１２…対象検出部
１１３…操作範囲特定部
１１４…マッピング部
１１５…操作入力信号生成部
１１６…アプリケーション実行部
１２…カメラ
１３…ＲＡＭ
１４…ディスプレイ
１５…記憶部
１０１…手
１０２…胴体
１００１…視野領域
１００２，１００３…操作範囲
１００４…ディスプレイ領域
１００５，１００６，１００７…表示範囲
２００１…アイコン
２００２…画像
２００３…カーソル

Claims (10)

  1. カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
    前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
    前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくする、
    操作入力装置。
  2. 前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が前記第１範囲以内であり、且つその時点のマッピングしている表示範囲が最小でない場合に、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第２範囲を超え、且つその時点のマッピングしている表示範囲が最大でない場合に、マッピングする前記表示範囲を１段階大きくする、
    請求項１に記載の操作入力装置。
  3. カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
    前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
    前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記マッピング部は、前記カメラから、前記オペレータの前記検出対象までの距離が第１閾値以下である場合には、マッピングする前記表示範囲を最小とし、前記距離が前記第１閾値より大きい第２閾値を超える場合には、マッピングする前記表示範囲を最大とする、
    操作入力装置。
  4. カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部と、
    前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部と、
    前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記マッピング部は、前記検出対象の移動軌跡が第１軌跡である場合には、マッピングする前記表示範囲を１段階小さくし、前記移動軌跡が前記第１軌跡と異なる第２軌跡である場合には、マッピングする前記表示範囲を１段階大きくする、
    操作入力装置。
  5. 前記マッピング部は、マッピングを切り替えて前記マッピング情報を生成したときは、前記切り替えたことが識別できる表示を行う、
    請求項１乃至４のいずれか１項に記載の操作入力装置。
  6. 前記マッピング部は、前記操作範囲の中央から前記操作範囲の端部に近づくにつれ、前記操作範囲に対する前記表示範囲の拡大率を高くするようにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成する、
    請求項１乃至５のいずれか１項に記載の操作入力装置。
  7. 前記マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作範囲に仮想し、前記操作範囲に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、前記操作範囲内に配列した点の座標と前記表示範囲内に配列した点の座標とを対応づけたマッピング情報を生成する、
    請求項１乃至６のいずれか１項に記載の操作入力装置。
  8. 前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作範囲における前記検出対象の座標を前記表示範囲における座標に変換し、変換された座標にカーソルを表示させる、
    請求項１乃至７のいずれか１項に記載の操作入力装置。
  9. カメラ及びディスプレイに接続されたコンピュータが、オペレータの操作を入力する操作入力方法であって、
    前記カメラが撮影した画像から前記オペレータの操作に係る検出対象を検出する対象検出ステップと、
    前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピングステップと、
    前記対象検出ステップで検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
    を有し、
    前記マッピングステップでは、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくする、
    操作入力方法。
  10. カメラ及びディスプレイに接続されたコンピュータを、
    前記カメラが撮影した画像からオペレータの操作に係る検出対象を検出する対象検出部、
    前記カメラの視野領域のうち前記オペレータの操作が有効な操作範囲を、ディスプレイの表示領域に対して段階的に大きさの異なる複数の表示範囲のいずれか１つにマッピングし、前記操作範囲と前記表示範囲との座標の対応関係を示すマッピング情報を生成するマッピング部、
    前記対象検出部が検出した前記検出対象の前記操作範囲における座標を、前記マッピング情報を用いて前記表示範囲の座標に変換し、変換された座標における前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
    として機能させるプログラムであって、
    前記マッピング部は、一定時間以内の前記検出対象の移動軌跡が第１範囲以内である場合には、マッピングする前記表示範囲を１段階小さくし、一定時間以内の前記検出対象の移動軌跡が前記第１範囲より大きい第２範囲を超える場合には、マッピングする前記表示範囲を１段階大きくする、
    プログラム。
JP2018094374A 2018-05-16 2018-05-16 操作入力装置、操作入力方法及びプログラム Active JP7186999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018094374A JP7186999B2 (ja) 2018-05-16 2018-05-16 操作入力装置、操作入力方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094374A JP7186999B2 (ja) 2018-05-16 2018-05-16 操作入力装置、操作入力方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019200566A JP2019200566A (ja) 2019-11-21
JP7186999B2 true JP7186999B2 (ja) 2022-12-12

Family

ID=68612150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094374A Active JP7186999B2 (ja) 2018-05-16 2018-05-16 操作入力装置、操作入力方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7186999B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028366A (ja) 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP2011054118A (ja) 2009-09-04 2011-03-17 Sony Corp 表示制御装置、表示制御方法及び表示制御プログラム
JP2011081506A (ja) 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 映像表示装置、および、その表示制御方法
JP2014071672A (ja) 2012-09-28 2014-04-21 Shimane Prefecture 情報入力装置および情報入力方法
JP2015172886A (ja) 2014-03-12 2015-10-01 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
WO2016103769A1 (ja) 2014-12-26 2016-06-30 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
JP2018055549A (ja) 2016-09-30 2018-04-05 三菱電機エンジニアリング株式会社 画面操作方法及び画面操作装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028366A (ja) 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP2011054118A (ja) 2009-09-04 2011-03-17 Sony Corp 表示制御装置、表示制御方法及び表示制御プログラム
JP2011081506A (ja) 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 映像表示装置、および、その表示制御方法
JP2014071672A (ja) 2012-09-28 2014-04-21 Shimane Prefecture 情報入力装置および情報入力方法
JP2015172886A (ja) 2014-03-12 2015-10-01 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
WO2016103769A1 (ja) 2014-12-26 2016-06-30 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
JP2018055549A (ja) 2016-09-30 2018-04-05 三菱電機エンジニアリング株式会社 画面操作方法及び画面操作装置

Also Published As

Publication number Publication date
JP2019200566A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP4965653B2 (ja) 視覚ディスプレイのためのバーチャルコントローラ
JP6314251B2 (ja) 操作入力装置、操作入力方法及びプログラム
JP3114813B2 (ja) 情報入力方法
JP6044426B2 (ja) 情報操作表示システム、表示プログラム及び表示方法
JPH0844490A (ja) インターフェイス装置
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
WO2020124976A1 (zh) 图像处理方法及装置、电子设备及存储介质
JP2014235634A (ja) 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
GB2590286A (en) Image synthesis method and apparatus
CN111739069B (zh) 图像配准方法、装置、电子设备及可读存储介质
CN111736709A (zh) Ar眼镜控制方法、设备、存储介质及装置
CN113253908A (zh) 按键功能执行方法、装置、设备及存储介质
WO2024012268A1 (zh) 虚拟操作方法、装置、电子设备及可读存储介质
JP7186999B2 (ja) 操作入力装置、操作入力方法及びプログラム
JP6746419B2 (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
WO2019037257A1 (zh) 密码输入的控制设备、方法及计算机可读存储介质
Roy et al. Real time hand gesture based user friendly human computer interaction system
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
Shajideen et al. Human-computer interaction system using 2D and 3D hand gestures
JP2019087136A (ja) 画面表示制御方法および画面表示制御システム
JP2015114762A (ja) 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20200167005A1 (en) Recognition device and recognition method
JP2016071824A (ja) インターフェース装置、手指追跡方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221122

R150 Certificate of patent or registration of utility model

Ref document number: 7186999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150