JP6314251B2 - 操作入力装置、操作入力方法及びプログラム - Google Patents

操作入力装置、操作入力方法及びプログラム Download PDF

Info

Publication number
JP6314251B2
JP6314251B2 JP2016565947A JP2016565947A JP6314251B2 JP 6314251 B2 JP6314251 B2 JP 6314251B2 JP 2016565947 A JP2016565947 A JP 2016565947A JP 2016565947 A JP2016565947 A JP 2016565947A JP 6314251 B2 JP6314251 B2 JP 6314251B2
Authority
JP
Japan
Prior art keywords
area
finger
finger image
display
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016565947A
Other languages
English (en)
Other versions
JPWO2016103769A1 (ja
Inventor
堪亮 坂本
堪亮 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEXTEDGE TECHNOLOGY K.K.
Original Assignee
NEXTEDGE TECHNOLOGY K.K.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEXTEDGE TECHNOLOGY K.K. filed Critical NEXTEDGE TECHNOLOGY K.K.
Publication of JPWO2016103769A1 publication Critical patent/JPWO2016103769A1/ja
Application granted granted Critical
Publication of JP6314251B2 publication Critical patent/JP6314251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報機器にオペレータの操作に係る情報を入力する操作入力装置、操作入力方法及びプログラムに関する。
近年、オペレータが非接触で情報機器へ操作入力することのできる操作入力装置が多く開発されている。非接触の操作入力装置は、オペレータの操作負担を軽くすることができ、また手術現場、調理現場等において作業の途中でも情報機器を操作できる手段として注目されている。
このような操作入力装置は、例えば、カメラでオペレータを撮影して画像解析し、画像解析結果に基づいて情報機器へ操作入力するものがある（例えば、特許文献１）。
特許文献１に記載の操作制御装置は、ステレオカメラを用いてユーザの動作によって移動する手等を検出し、手等の動作を判定し、判定した動作に応じて表示領域内のカーソルを移動させるものである。この操作制御装置は、第１の検出対象の動作に基づいてカーソル及びカーソル可動領域を移動させ、第２の検出対象の動作に基づいて、カーソル可動領域内でカーソルのみを移動させる。この構成により、直感的かつ高精度に操作対象を操作することが可能になると説明している。
本出願人も、カメラでオペレータを撮影した画像に基づく操作入力を実行する入力装置について出願を行った（例えば、特許文献２）。特許文献２に記載の入力装置は、並置した２つのビデオカメラでオペレータを撮影し、ビデオカメラからオペレータの手又は指までの距離を測定する。測定した距離が予め設定している奥行き距離の許容範囲内である場合に、手又は指の動きを検出する。その検出結果に応じて仮想カーソルを表示画面内で移動させ、又は選択操作等の各種操作を判別して操作入力信号を生成する。これにより、オペレータとノイズとなる背景とを識別でき、正確な操作入力信号を生成することができた。
特開２０１１−２８３６６号公報 特開２０１２−２３８２９３号公報
特許文献１に記載の技術によれば、第１、第２の検出対象を検出し、それぞれの動作に応じてカーソル又はカーソルの可動領域を移動させるため、２つの検出対象を追跡する処理が煩雑であった。またオペレータは第１の検出対象、第２の検出対象を意識した操作をする必要があり、オペレータの操作感覚とカーソルの動きにずれが生じることがあった。
また、特許文献２に記載の入力装置は、オペレータがカメラの撮影空間内を移動する場合、又は、オペレータがカメラの視野を把握することなく操作をする場合等に、表示画面のうち操作が不能な領域ができるという課題があった。
また、操作入力装置を単一のカメラを使用した簡易な構成とした場合に、カメラの視線方向の距離を測定することができないため、オペレータの位置が変わった場合にオペレータの手などの動作を正確に検出するのが困難であった。
本発明は、上記実情に鑑みてなされたものであり、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことのできる操作入力装置等を提供することを目的とする。
上記目的を達成するため、本発明の第１の観点に係る操作入力装置は、
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備えることを特徴とする。
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定するようにしてもよい。
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記手指画像を検出してもよい。
前記手指画像検出部は、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出してもよい。
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成するようにしてもよい。
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成するようにしてもよい。
前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させるようにしてもよい。
前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示するようにしてもよい。
前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なＺ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成するようにしてもよい。
前記手指画像検出部は、前記フレーム画像から２つの手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のＹ軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成するようにしてもよい。
また、本発明の第２の観点に係る操作入力方法は、
カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
を有することを特徴とする。
また、本発明の第３の観点に係るプログラムは、
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させることを特徴とする。
本発明によれば、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことが可能になる。
操作入力装置のハードウェア構成を示すブロック図である。 操作入力装置の機能構成を示す機能ブロック図である。 片手操作時の操作領域を示した図である。 両手操作時の操作領域を示した図である。 実施の形態１に係る操作領域とディスプレイ領域とのマッピングを示した図である。 操作入力処理のフローチャートである。 仮想カーソルを表示したときのディスプレイを示した図である。 （ａ）移動時のカーソルを示した図である。（ｂ）停止時のカーソルを示した図である。（ｃ）クリック操作の例を示した図である。（ｄ）クリック操作の例を示した図である。（ｅ）クリック時のカーソルを示した図である。 サブメニューの選択操作を示した図である。 画像を拡大する操作を示した図である。 フレーム画像を分割した分割領域を示した図である。 実施の形態３に係る操作領域特定処理のフローチャートである。 （ａ）ディスプレイとオペレータを上方から見た図である（ｂ）オペレータの手の位置とカメラが判別する手の位置との関係を示した図である。 実施の形態４に係る操作領域とディスプレイ領域とのマッピングを示した図である。
（実施の形態１）
本発明の実施の形態１について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、オペレータの操作を判別して生成した操作入力信号に基づく処理を行う情報処理装置である。図１に示すように、操作入力装置１０は、ＣＰＵ（Central Processing Unit：中央処理装置）１１、カメラ１２、ＲＡＭ（Random Access Memory）１３、ディスプレイ１４、記憶部１５を備える。
操作入力装置１０は、操作入力処理のプログラムがインストールされたパソコン、スマートフォン、タブレット型端末等の任意の情報処理端末から構成される。カメラ１２はこれらの情報処理端末に内蔵されたウェブカメラ等でもよく、あるいは外部接続したカメラであってもよい。
カメラ１２は、カラー画像データをリアルタイム出力するカラーカメラである。カメラ１２は、視線方向をディスプレイ１４の表示面に略垂直で表示面から離れる方向に向けて設置されており、例えば、ディスプレイ１４の上縁に設置される。
ＲＡＭ１３は、高速にデータの読み書きが可能なメモリであり、カメラ１２が撮影した画像データや記憶部１５から読み出した画像データ等をＣＰＵ１１が実行するデータ処理のために一時保存する。
ディスプレイ１４は、画像、文字等の情報表示出力を行う表示装置であり、ＣＰＵ１１が生成する画像等を表示する。記憶部１５は、大容量の記憶装置であり、フラッシュメモリ等から構成される。カメラ１２が撮影した画像データや、ＣＰＵ１１の処理により生成した画像のデータを記憶する。また、記憶部１４は、ＣＰＵ１１が実行するプログラムを記憶する。
ＣＰＵ１１、ＲＡＭ１３は、記憶部１４に記憶している操作入力処理のプログラムを実行することにより、図２に示すように、画像取得部１１１、手指画像検出部１１２、操作領域特定部１１３、領域マッピング部１１４、操作入力信号生成部１１５、アプリケーション実行部１１６として機能する。
画像取得部１１１は、カメラ１２が撮影した画像データを取得する。画像取得部１１１はカメラ１２が撮影した画像データに含まれる所定のタイミングのフレーム画像を予め定めた時間間隔で手指画像検出部１１２に出力する。
手指画像検出部１１２は、画像取得部１１１から入力されるフレーム画像から、人の手又は指を示す手指画像を検出し、検出した手又は指の大きさ、位置の情報を取得する。人の手又は指の手指画像を検出する方法は、従来の任意の方法である。本実施の形態においては、手のひらを含む指を広げた手１０１の画像を検出する場合について説明する。
例えば、画像取得部１１１から入力されるフレーム画像に対してカラーマスクを用いて予め設定されている特定色（例えば、肌色）のカラー画像を抽出する。また、そのフレーム画像に対して２値化処理を行う。これらの処理で得られたカラーマスクの抽出画像と２値化画像との論理和を取り、肌色部分の手１０１の画像を検出するようにしてもよい。
また、連続する２以上のフレーム分のフレーム画像、又は２値化処理した２以上のフレーム分のフレーム画像に対してフレーム間差分処理を行い、得られた差分画像からヒストグラムを作成し、動作の変化が大きい活動エリアを特定して手１０１の画像を検出するようにしてもよい。
また、記憶部１５に予め人の手又は指のテンプレートを記憶しておき、画像取得部１１１から入力されるフレーム画像に対してテンプレートマッチングを行い手１０１の画像を検出するようにしてもよい。
手指画像検出部１１２が検出した手１０１の大きさ、位置、形状等の情報は操作領域特定部１１３及び操作入力信号生成部１１５に出力される。
操作領域特定部１１３は、手指画像検出部１１２から入力された手１０１の大きさ、位置、形状等の情報に基づいて、画像取得部１１１が取得するフレーム画像全体に当たるカメラの視野領域１００１からオペレータが操作に用いる操作領域１００２を特定する。操作領域特定部１１３は、オペレータが片手を用いて操作する場合の操作領域と、両手を用いて操作する場合の操作領域をそれぞれ特定する。
まず、オペレータが片手を用いて操作する場合の操作領域の特定方法の例について、図３を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作領域特定部１１３は、手指画像検出部１１２から入力される手１０１の幅Ｗと、手１０１の中心位置Ｐ１を取得する。そして、点Ｐ１を中心として、幅ｍ×Ｗの操作領域１００２を特定する。ここでｍは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
次に、オペレータが両手を用いて操作する場合の操作領域の特定方法の例について、図４を用いて説明する。画像取得部１１１が取得したフレーム画像（カメラの視野領域１００１）にはオペレータの画像が含まれている。操作領域特定部１１３は、手指画像検出部１１２から入力された右の手１０１の中心位置Ｐ２と左の手１０１の中心位置Ｐ３を取得する。そして、点Ｐ２と点Ｐ３の中点を中心として、点Ｐ２と点Ｐ３との間の距離Ｌに対して幅ｎ×Ｌの操作領域１００３を特定する。ここでｎは予め定めた正の係数であり、ユーザにより変更可能としてもよい。
操作領域特定部１１３が特定する操作領域１００２、１００３の高さは、手１０１の中心位置Ｐ１、Ｐ２、Ｐ３に基づいて決定した幅に対して所定の比率を乗じた値とする。このようにして特定した操作領域１００２、１００３の情報を領域マッピング部１１４に出力する。
領域マッピング部１１４は、操作領域特定部１１３より入力された操作領域１００２、１００３をディスプレイ１４の表示領域全体であるディスプレイ領域１００４にマッピングする。図５は、両手を用いた場合の操作領域１００３をディスプレイ領域１００４にマッピングした状態を示す。つまり、操作領域１００３の座標の間隔を縦方向、横方向にそれぞれ一定の比率で拡大して、操作領域１００３の座標をディスプレイ領域１００４の座標に対応づけたマッピング情報を生成し、操作入力信号生成部１１５に出力する。
操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の画像の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報と、領域マッピング部１１４で生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
具体的には、まず、操作入力信号生成部１１５は、ディスプレイ１４の表示画面にカーソルを表示させる。つまり、手指画像検出部１１２が検出した手１０１の中心位置の座標を、領域マッピング部１１４で生成したマッピング情報を用いて変換し、変換後のディスプレイ領域１００４の座標にカーソルを表示させる。
その後、操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の位置又は大きさ又は形状の情報、あるいはこれらの時間変化の情報に応じて、ディスプレイ１４に表示されたアイコン等が示すアプリケーションの選択、実行等を指示する操作入力信号を生成する。そして生成した操作入力信号をアプリケーション実行部１１６に入力する。
アプリケーション実行部１１６は、操作入力信号生成部１１５から入力される操作入力信号に基づいて、アプリケーションを選択し、実行させる。
このように構成された操作入力装置１０の操作入力処理について、図６に示すフローチャートに沿って説明する。
操作入力処理は、手指画像検出部１１２が手１０１の画像を検出したときスタートする。手指画像検出部１１２は、手１０１の検出なしの状態から両手をほぼ同時に検出したとき、つまり２つの手を所定の時間以内に検出開始したとき、（ステップＳ１０１：Ｙｅｓ）、両手操作状態に設定する（ステップＳ１０２）。
操作領域特定部１１３は、図４の例に示すような両手の操作領域１００３を特定する（ステップＳ１０３）。領域マッピング部１１４は、操作領域特定部１１３が特定した操作領域１００３を、ディスプレイ領域１００４にマッピングする（ステップＳ１０４）。
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００３における両手の大きさ、相対位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ１０５）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
両手が継続的に検出され、片手又は手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１０６：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１０５）。
一方、片手又は手の検出なしに変化して一定時間以上経過した場合において（ステップＳ１０６：Ｙｅｓ）、片手に変化したときは（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０８に進む。手の検出なしに変化したときは（ステップＳ１０７：Ｎｏ）、処理を終了する。
ステップＳ１０１において、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出しなかったとき、つまり２つの手を所定の時間以内に検出開始しなかったとき、（ステップＳ１０１：Ｎｏ）、片手操作状態に設定する（ステップＳ１０８）。
操作領域特定部１１３は、図３の例に示すような片手の操作領域１００２を特定する（ステップＳ１０９）。領域マッピング部１１４は、操作領域特定部１１３が特定した操作領域１００２を、ディスプレイ領域１００４にマッピングする（ステップＳ１１０）。
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００２における片手の大きさ、位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ１１１）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
片手が継続的に検出され、手の検出なしに変化して一定時間以上経過していない間は（ステップＳ１１２：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ１１１）。
一方、手の検出なしに変化して一定時間以上経過した場合は（ステップＳ１１２：Ｙｅｓ）、処理を終了する。
ここで、ステップＳ１０５、Ｓ１１１で出力される操作入力信号に基づくディスプレイ１４の表示やアプリケーション実行部１１６の処理の具体例を説明する。
操作入力装置１０のディスプレイ１４に、図７に示すようなアイコン２００１や画像２００２が表示されている場合について説明する。画像２００２は画像表示アプリケーションにより表示されているものである。オペレータがカメラ１２の視野領域に手１０１を入れているときは、ディスプレイ１４はマッピング情報で変換された座標位置にカーソル２００３を表示する。
カーソル２００３の形状は、オペレータの操作が反映されているか否かが直感的に視認できる形状が望ましい。本実施の形態では、図７の画像上に表示されているように、一つの円と、その周囲に等間隔で配置された複数の円から構成されたカーソル２００３の形状を用いる。
カーソル２００３の色は、アイコン２００１又は画像２００２を選択可能な位置にあるか否かに応じて色を変える。図７の例では、中央に表示した画像２００２を選択可能な位置にあるため、カーソルの各円が黒丸なっている。カーソル２００３の位置が画像２００２から外れており選択可能でないときは白丸とする。
また、カーソル２００３が移動している時は図８（ａ）に示すように中央の円を移動方向にずらして表示する。一方、カーソル２００３が停止している時は図８（ｂ）に示すように中央の円が周囲の円の中心から等距離の点に位置するように表示する。
オペレータのクリック操作は、判別が容易な動作が望ましい。例えば、図８（ｃ）のように手を左右に細かく振る。あるいは、図８（ｄ）のように手を開いた状態から握る動作をする。操作入力信号生成部１１５は、このような操作を検出したときにクリック操作があったと判別し、図８（ｅ）に示すようにカーソル２００３の中央の円を左右に広げ楕円形状とする。これによりオペレータはクリック操作が判別されたことを知ることができる。
また、図９のように、手１０１を一定時間停止させたときにカーソル２００３の周囲にサブメニューの仮想ボタン２００４を表示させる。オペレータが各サブメニューの方へカーソル２００３を移動させることにより、サブメニューの選択をすることができる。
オペレータがカメラ１２の視野領域に両手を入れているときは、図１０に示すように２つのカーソル２００３を表示する。アプリケーション実行部１１６は、２つのカーソル２００３の相対位置の変化に対応した処理を実行させることができる。例えば、図１０に示すように、画像２００２内に２つのカーソル２００３を表示させ、それを互いに離反する方向に動かしたとき、その画像２００２を拡大する処理（ズームイン）を実行させる。一方、２つのカーソル２００３を互いに接近する方向に動かしたとき、この画像２００２を縮小する処理（ズームアウト）を実行させる。
２つのカーソル２００３の相対位置の変化に対応した処理の別の例として、片方のカーソル２００３のみを上下することでページアップ、ページダウンさせてもよい。また、２つのカーソル２００３を、２つのカーソル２００３の中間にある点を中心として同方向に回転させることにより、画像２００２を当該方向に回転させてもよい。
図１０の例においては、２つのカーソル２００３（両手の位置）の相対位置を変化させることにより、画像２００２の拡大縮小を行うとしたが、両手の画像の大きさの相対的な変化に応じて、画像２００２の拡大縮小を行うようにしてもよい。つまり、一方の手１０１を前に出す事により当該手１０１の大きさが相対的に大きくなったことを判別したとき又は一方の手１０１を後ろに引く事により当該手１０１の大きさが相対的に小さくなったことを判別したときに、ズームイン又はズームアウトする処理を実行してもよい。また、２つの手の相対的な大きさが変化した事を判別したときに、ディスプレイ１４の縦方向であるＹ軸を軸として画像２００２を回転させる処理を実行してもよい。
以上説明したように、本実施の形態においては、手指画像検出部１１２がカメラ撮影したフレーム画像からオペレータの手又は指を示す手指画像を検出し、操作領域特定部１１３が手指画像のフレーム画像全体における位置及び大きさに基づいてカメラの視野領域１００１から操作領域１００２、１００３を特定する。そして、領域マッピング部１１４が特定した操作領域１００２、１００３をディスプレイ領域１００４にマッピングする。操作入力信号生成部１１５が、マッピングされた操作領域１００２、１００３における手指画像の位置又は大きさ又は形状の情報あるいはこれらの時間変化の情報を取得し、これらの情報に基づいた操作入力信号を生成して出力することとした。これにより、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことができる。
（実施の形態２）
本発明の実施の形態２について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有し、同様の操作入力処理を実行するが、手指画像検出部１１２が実行する手指画像（手１０１）の検出方法が異なる。手指画像の検出方法について詳細に説明する。
手指画像検出部１１２は、画像取得部１１１が取得したフレーム画像１００１を予め定めた数に分割する。そして、分割した分割領域を順に探索し、人の手又は指の手指画像を検出し、検出した手又は指の大きさ、位置の情報を取得する。例えば、図１１に示すように、分割領域１０１１、１０１２の順に探索し手指画像を検出する。分割領域内における手指画像を検出する方法は、実施の形態１と同様である。
手指画像検出部１１２が検出した手１０１の大きさ、位置、形状等の情報は操作領域特定部１１３及び操作入力信号生成部１１５に出力される。
ここで、全ての分割領域において手指画像を発見することができなかったときは、分割領域１０１１、１０１２の大きさを大きく又は小さく変更して（つまり画像を縮小又は拡大して）、再度分割領域内で手指画像を検出するようにしてもよい。
操作領域特定部１１３は、手指画像検出部１１２が検出した手指画像の位置又は大きさに基づいて操作領域１００２、１００３を特定する。
以上説明したように、本実施の形態においては、手指画像検出部１１２が、フレーム画像１００１を予め定めた数に分割した分割領域１０１１、１０１２を順に探索して手指画像を検出し、操作領域特定部１１３が検出した手指画像の位置又は大きさに基づいて操作領域を特定することとした。これにより、オペレータがカメラの視線方向において前後に移動したために、手指画像の大きさが大きく異なった場合であっても、手指画像を検出することができ、最適な操作領域１００２、１００３を特定することができる。
（実施の形態３）
本発明の実施の形態３について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１と同様の構成を有するが、操作入力処理が異なる。図１２のフローチャートに沿って、詳細に説明する。
手指画像検出部１１２は、画像取得部１１１より入力された連続する過去ｋフレーム（ｋは２以上の整数）の画像の情報を取得する（ステップＳ２０１）。連続する過去ｋフレームの画像について、フレーム間の画素値の差分を示すヒストグラムを作成し、変化の大きい領域、つまり、画素値の差分が予め定めた範囲を超えている領域である画像変化領域を特定する（ステップＳ２０２）。
手指画像検出部１１２は、特定した画像変化領域の中で手指画像が存する領域を選択する（ステップＳ２０３）。画像変化領域内における手指画像の探索方法は実施の形態１と同様である。そして、操作領域特定部１１３は、選択した当該領域を含む予め定めた大きさの領域を操作領域１００２、１００３として特定する（ステップＳ２０４）。
そして、領域マッピング部１１４が、ステップＳ２０４で特定した操作領域１００２、１００３をディスプレイ領域１００４にマッピングする（ステップＳ２０５）。
ステップＳ２０４までの操作領域１００２、１００３を特定する過程で、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出していたとき、つまり２つの手を所定の時間以内に検出開始していたとき、（ステップＳ２０６：Ｙｅｓ）、両手操作状態に設定する（ステップＳ２０７）。
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００３における両手の大きさ、相対位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ２０８）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
両手が継続的に検出され、片手又は手の検出なしに変化して一定時間以上経過していない間は（ステップＳ２０９：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ２０８）。
一方、片手又は手の検出なしに変化して一定時間以上経過した場合において（ステップＳ２０９：Ｙｅｓ）、片手に変化したときは（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１１に進む。手の検出なしに変化したときは（ステップＳ２１０：Ｎｏ）、処理を終了する。
ステップＳ２０６において、手指画像検出部１１２が、手１０１の検出なしの状態から両手をほぼ同時に検出していなかったとき、つまり２つの手を所定の時間以内に検出開始していなかったとき、（ステップＳ２０６：Ｎｏ）、片手操作状態に設定する（ステップＳ２１１）。
その後、操作入力信号生成部１１５は、ディスプレイ領域１００４にマッピングされた操作領域１００２における片手の大きさ、位置、形状の時間変化に応じた操作入力信号を生成し、アプリケーション実行部１１６、ディスプレイ１４に出力する（ステップＳ２１２）。入力された操作入力信号に基づいて、ディスプレイ１４はカーソルを移動し又はカーソルの形状を変え、アプリケーション実行部１１６はアプリケーションの処理を実行する。
片手が継続的に検出され、手の検出なしに変化して一定時間以上経過していない間は（ステップＳ２１３：Ｎｏ）、操作入力信号生成部１１５は操作入力信号の生成、出力を継続する（ステップＳ２１２）。
一方、手の検出なしに変化して一定時間以上経過した場合は（ステップＳ２１３：Ｙｅｓ）、処理を終了する。
以上説明したように、本実施の形態においては、操作領域特定部１１３は、連続する複数のフレーム画像について、フレーム間の画素値の差分が予め定めた範囲を超えている画像変化領域を特定し、画像変化領域の中で、手指画像が存する領域を含む領域を操作領域として特定することとした。これにより、より正確に操作領域を特定し、適切な領域マッピングをすることができ、さらにオペレータの操作感覚に合致した操作入力を行うことが可能になる。
（実施の形態４）
本発明の実施の形態４について図面を参照して詳細に説明する。
本実施の形態に係る操作入力装置１０は、実施の形態１又は２と同様の構成を有し、同様の操作入力処理を実行するが、図６のステップＳ１０４、Ｓ１１０で領域マッピング部１１４が実行するマッピングの方法が異なる。マッピング方法について詳細に説明する。
操作領域特定部１１３は、実施の形態１又は２と同様に片手の操作領域１００２又は両手の操作領域１００３を特定する。
ここで、図１３（ａ）に示すように、人は腕の肘又は肩を中心として腕を動かすため、手１０１は肘又は肩を中心とした球殻上を移動する。このため、操作領域１００２、１００３の中央部分に手が位置するとき、つまり、人の胸部の前面に手１０１が位置するときは、手指画像検出部１１２が検出する手指画像の移動距離は、実際の手の移動距離にほぼ比例する。しかし、操作領域１００２、１００３の端部に手１０１が位置するとき、つまり人の胴体１０２から離れた位置に手があるときは、手指画像の移動距離は、実際の手の移動距離より小さくなる。
図１３（ｂ）を用いて説明すると、人がＡからＢに手を移動させたときの手指画像はＡ’からＢ’に移動するのに対し、人がＢからＣに手を移動させたときの手指画像はＢ’からＣ’に移動する。ＡＢ間の弧の長さと、ＢＣ間の弧の長さは等しいが、Ｂ’Ｃ’間の距離はＡ’Ｂ’間の距離と比較して短くなっている。
この実際の手の移動距離と手指画像の移動距離とのずれにより、オペレータの感覚とカーソルの動きにはずれが生じる。このずれを解消するために、領域マッピング部１１４は操作領域１００２、１００３内に凸面の仮想空間を想定し、ディスプレイ領域にマッピングする。
具体的には、領域マッピング部１１４は、図１４に示すように、表面に縦横それぞれに一定の間隔で配列した点を付した凸面を凸方向から見たような配列の点を操作領域１００２、１００３内に仮想する。言い換えると、凸面の表面上に縦横それぞれに一定の間隔で配列した点を凸方向から、凸方向に垂直な平面に投影した配列の点を仮想することとなる。
仮想した操作領域１００２、１００３内の点と、ディスプレイ領域１００４内に縦横それぞれ一定の間隔で配列した操作領域１００２、１００３内の点と同数の点と、を配列順に対応付ける。そして、操作領域１００２、１００３内の各点の座標をディスプレイ領域１００４の各点の座標に対応づけたマッピング情報を生成する。このマッピング情報を用いた場合、操作領域１００２、１００３の中央から端部に近づくにつれ、操作領域１００２、１００３に対するディスプレイ領域１００４の拡大率が高くなるようにマッピングすることとなる。
このようにして生成したマッピング情報を用いることで、オペレータの操作感覚とカーソルの移動のずれを軽減することができる。
操作入力信号生成部１１５は、手指画像検出部１１２が検出した手１０１の画像の大きさ、位置、形状の変化の情報と、領域マッピング部１１４で生成したマッピング情報とに基づいて、オペレータの操作が示す操作入力信号を生成する。
以上説明したように、本実施の形態においては、領域マッピング部１１４が操作領域１００２、１００３内に仮想した凸面上に一定間隔で配列した点を凸方向から投影した配列の点の座標を、ディスプレイ領域１００４内の縦横に一定の間隔で配列した点の座標に対応付けしたマッピング情報を生成し、オペレータの操作の検出にそのマッピング情報を用いることとした。これにより、さらにオペレータの操作感覚に合致した操作入力を行うことが可能になる。
このように本発明は、カメラが撮影したフレーム画像からオペレータの手又は指を示す手指画像を検出し、カメラの視野領域のうちオペレータの操作が有効な操作領域をディスプレイの表示領域にマッピングし、操作領域と表示領域との座標の対応関係を示すマッピング情報を生成する。そして、手指画像の操作領域における座標を、マッピング情報を用いて表示領域内の座標に変換し、変換された座標における手指画像の位置又は大きさ又は形状に基づいて、オペレータの操作入力を示す操作入力信号を生成することとした。これにより、オペレータの位置によらずオペレータの操作感覚に合致した直感的な操作入力を行うことが可能になる。
なお、本発明は、本発明の広義の趣旨及び範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
例えば、操作領域特定部１１３は、片手の中心位置や幅又は両手の中心位置に基づいて操作領域１００２、１００３を特定するとしたが、他の部分の位置情報に基づいて操作領域１００２、１００３を特定しても良い。一例として、人の顔を認識し、顔の中心位置と手の中心位置の縦方向の距離に基づいて操作領域１００２、１００３の縦の長さを決定するようにしてもよい。
また、操作領域特定部１１３が特定する操作領域１００２、１００３は、長方形であるとしたが、ディスプレイ１４の面方向とオペレータの体軸方向が平行でない場合を想定して、台形の操作領域を特定するようにしてもよい。
また、手指画像検出部１１２は、指を全て広げた状態の手の画像を検出するとしたが、他の状態の手の画像を検出するようにしてもよい。例えば、１又は２本の指のみを立てた状態の手の画像を検出するようにしてもよい。この場合、１又は２本の指のみを立てた状態から５本の指を全て広げた状態に変化したときにクリック操作があったと判別するようにしてもよい。
また、実施の形態３において、手指画像検出部１１２が連続する過去ｋフレームの画像について、画素値の変化の大きい画像変化領域を特定するとしたが、実施の形態２のようにフレーム画像１００１を予め定めた数に分割して、順に選択した分割領域において画像変化領域を特定するようにしてもよい。
また、ＣＰＵ１１が実行した処理のプログラムを、既存のコンピュータ等の情報端末で実行させることにより、当該情報端末を本発明に係る操作入力装置１０として機能させることも可能である。
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
本出願は、２０１４年１２月２６日に出願された日本国特許出願特願２０１４−２６４５４６号に基づく。本明細書中に日本国特許出願特願２０１４−２６４５４６号の明細書、特許請求の範囲、及び図面全体を参照として取り込むものとする。
１０…操作入力装置
１１…ＣＰＵ
１１１…画像取得部
１１２…手指画像検出部
１１３…操作領域特定部
１１４…領域マッピング部
１１５…操作入力信号生成部
１１６…アプリケーション実行部
１２…カメラ
１３…ＲＡＭ
１４…ディスプレイ
１５…記憶部
１０１…手
１０２…胴体
１００１…視野領域
１００２，１００３…操作領域
１００４…ディスプレイ領域
１０１１，１０１２…分割領域
２００１…アイコン
２００２…画像
２００３…カーソル
２００４…仮想ボタン

Claims (13)

  1. ディスプレイと、
    オペレータを撮影するカメラと、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
    操作入力装置。
  2. ディスプレイと、
    オペレータを撮影するカメラと、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
    操作入力装置。
  3. ディスプレイと、
    オペレータを撮影するカメラと、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
    操作入力装置。
  4. ディスプレイと、
    オペレータを撮影するカメラと、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
    を備え、
    前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
    操作入力装置。
  5. 前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させる、
    請求項１乃至４のいずれか１項に記載の操作入力装置。
  6. 前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示する、
    請求項５に記載の操作入力装置。
  7. 前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
    前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なＺ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成する、
    請求項１乃至６のいずれか１項に記載の操作入力装置。
  8. 前記手指画像検出部は、前記フレーム画像から２つの前記手指画像を検出し、
    前記操作入力信号生成部は、前記手指画像検出部が検出した２つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のＹ軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成する、
    請求項１乃至７のいずれか１項に記載の操作入力装置。
  9. カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
    前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
    前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
    前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、を有し、
    前記領域マッピングステップでは、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
    操作入力方法。
  10. カメラ及びディスプレイに接続されたコンピュータを、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
    として機能させるプログラムであって、
    前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
    プログラム。
  11. カメラ及びディスプレイに接続されたコンピュータを、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
    として機能させるプログラムであって、
    前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
    プログラム。
  12. カメラ及びディスプレイに接続されたコンピュータを、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
    として機能させるプログラムであって、
    前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
    プログラム。
  13. カメラ及びディスプレイに接続されたコンピュータを、
    前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
    前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
    前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
    前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
    として機能させるプログラムであって、
    前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
    プログラム。
JP2016565947A 2014-12-26 2015-07-06 操作入力装置、操作入力方法及びプログラム Active JP6314251B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014264546 2014-12-26
JP2014264546 2014-12-26
PCT/JP2015/069451 WO2016103769A1 (ja) 2014-12-26 2015-07-06 操作入力装置、操作入力方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016103769A1 JPWO2016103769A1 (ja) 2017-11-02
JP6314251B2 true JP6314251B2 (ja) 2018-04-18

Family

ID=56149815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565947A Active JP6314251B2 (ja) 2014-12-26 2015-07-06 操作入力装置、操作入力方法及びプログラム

Country Status (3)

Country Link
US (1) US9836130B2 (ja)
JP (1) JP6314251B2 (ja)
WO (1) WO2016103769A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343718B2 (ja) * 2015-04-16 2018-06-13 楽天株式会社 ジェスチャインタフェース
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
JP7186999B2 (ja) * 2018-05-16 2022-12-12 株式会社ネクステッジテクノロジー 操作入力装置、操作入力方法及びプログラム
CN109032356B (zh) * 2018-07-27 2022-05-31 深圳绿米联创科技有限公司 手语控制方法、装置及系统
JP7534207B2 (ja) 2020-12-17 2024-08-14 シャープ株式会社 表示装置、表示方法、及び表示プログラム
JP2022096252A (ja) * 2020-12-17 2022-06-29 シャープ株式会社 表示装置、表示方法、及び表示プログラム
JP7182324B1 (ja) 2022-03-14 2022-12-02 ｍｉｒｒｏｒＸ株式会社 プログラム、情報処理装置及び方法
WO2024072310A1 (en) * 2022-09-30 2024-04-04 Flatfrog Laboratories Ab An interaction system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028366A (ja) 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
JP2011243031A (ja) 2010-05-19 2011-12-01 Canon Inc ジェスチャ認識装置及びジェスチャ認識方法
JP2012238293A (ja) * 2011-04-28 2012-12-06 Nextedge Technology Inc 入力装置
KR102035134B1 (ko) 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
JP2014241099A (ja) * 2013-06-12 2014-12-25 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
US20160370865A1 (en) 2016-12-22
US9836130B2 (en) 2017-12-05
WO2016103769A1 (ja) 2016-06-30
JPWO2016103769A1 (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
JP6314251B2 (ja) 操作入力装置、操作入力方法及びプログラム
JP4575829B2 (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
EP2480955B1 (en) Remote control of computer devices
WO2013180151A1 (ja) 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Chu et al. Hand gesture for taking self portrait
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2015018340A (ja) 画像処理装置、画像処理方法
JP2014068264A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011076255A (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
CN112767288B (zh) 图像处理方法及装置、电子设备和存储介质
JP2012238293A (ja) 入力装置
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR101503017B1 (ko) 모션 검출 방법 및 장치
KR20160079531A (ko) 제스처 입력 처리 방법 및 장치
JP2017102598A (ja) 認識装置、認識方法および認識プログラム
JP6746419B2 (ja) 情報処理装置、及びその制御方法ならびにコンピュータプログラム
JP2004272515A (ja) インタフェース方法、装置、およびプログラム
JP6229554B2 (ja) 検出装置および検出方法
WO2018082498A1 (en) Mid-air finger pointing detection for device interaction
WO2011096571A1 (ja) 入力装置
CN115220636B (zh) 虚拟操作方法、装置、电子设备及可读存储介质
JP6397508B2 (ja) 個人用入力パネルを生成する方法および装置
JP2011227828A (ja) 情報処理装置、その処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180326

R150 Certificate of patent or registration of utility model

Ref document number: 6314251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250