JP6314251B2 - 操作入力装置、操作入力方法及びプログラム - Google Patents
操作入力装置、操作入力方法及びプログラム Download PDFInfo
- Publication number
- JP6314251B2 JP6314251B2 JP2016565947A JP2016565947A JP6314251B2 JP 6314251 B2 JP6314251 B2 JP 6314251B2 JP 2016565947 A JP2016565947 A JP 2016565947A JP 2016565947 A JP2016565947 A JP 2016565947A JP 6314251 B2 JP6314251 B2 JP 6314251B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- finger
- finger image
- display
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備えることを特徴とする。
前記操作入力信号生成部は、前記手指画像検出部が検出した2つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なZ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成するようにしてもよい。
前記操作入力信号生成部は、前記手指画像検出部が検出した2つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のY軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成するようにしてもよい。
カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、
を有することを特徴とする。
カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させることを特徴とする。
本発明の実施の形態1について図面を参照して詳細に説明する。
本発明の実施の形態2について図面を参照して詳細に説明する。
本発明の実施の形態3について図面を参照して詳細に説明する。
本発明の実施の形態4について図面を参照して詳細に説明する。
11…CPU
111…画像取得部
112…手指画像検出部
113…操作領域特定部
114…領域マッピング部
115…操作入力信号生成部
116…アプリケーション実行部
12…カメラ
13…RAM
14…ディスプレイ
15…記憶部
101…手
102…胴体
1001…視野領域
1002,1003…操作領域
1004…ディスプレイ領域
1011,1012…分割領域
2001…アイコン
2002…画像
2003…カーソル
2004…仮想ボタン
Claims (13)
- ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
操作入力装置。 - ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
操作入力装置。 - ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
操作入力装置。 - ディスプレイと、
オペレータを撮影するカメラと、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出部と、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部と、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部と、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部と、
を備え、
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
操作入力装置。 - 前記操作入力信号生成部は、前記マッピング情報を用いて、前記操作領域における前記手指画像の座標を前記ディスプレイの前記表示領域における座標に変換し、変換された前記手指画像の位置にカーソルを表示させる、
請求項1乃至4のいずれか1項に記載の操作入力装置。 - 前記操作入力信号生成部が前記手指画像の位置が変化していることを検出した場合に、前記操作入力信号生成部は前記オペレータの手が移動していることを識別できる態様で前記カーソルを表示し、前記手指画像の形状が所定の変化をしていることを検出した場合に、前記操作入力信号生成部は前記オペレータがクリック操作を行ったことを識別できる態様で前記カーソルを表示する、
請求項5に記載の操作入力装置。 - 前記手指画像検出部は、前記フレーム画像から2つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した2つの前記手指画像の前記ディスプレイの縦方向の座標が相対的に変化した場合、前記ディスプレイの表示面に垂直なZ軸を中心とする回転、又は、スクロールアップあるいはスクロールダウンする前記操作入力信号を生成する、
請求項1乃至6のいずれか1項に記載の操作入力装置。 - 前記手指画像検出部は、前記フレーム画像から2つの前記手指画像を検出し、
前記操作入力信号生成部は、前記手指画像検出部が検出した2つの前記手指画像の大きさが相対的に変化した場合、前記ディスプレイの縦方向のY軸を中心とする回転、又は、ズームインあるいはズームアウトする前記操作入力信号を生成する、
請求項1乃至7のいずれか1項に記載の操作入力装置。 - カメラ及びディスプレイに接続されたコンピュータが、カメラが撮影したオペレータの手又は指を示す手指画像に基づいて前記オペレータの操作を入力する操作入力方法であって、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像から前記オペレータの手又は指を示す手指画像を検出する手指画像検出ステップと、
前記手指画像検出ステップで検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定ステップと、
前記操作領域特定ステップで特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピングステップと、
前記手指画像検出ステップで検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成ステップと、を有し、
前記領域マッピングステップでは、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
操作入力方法。 - カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記操作領域特定部は、連続する複数の前記フレーム画像において画像の変化が予め定めた範囲を超えている領域から前記手指画像が存する領域を前記操作領域として特定する、
プログラム。 - カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記手指画像検出部は、前記フレーム画像を予め定めた数の分割領域に分割し、前記分割領域を順に探索し、前記分割領域内において前記手指画像を検出することができなかったときは、当該分割領域内の画像を拡大又は縮小して前記手指画像を検出する、
プログラム。 - カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記領域マッピング部は、前記操作領域の中央から前記操作領域の端部に近づくにつれ、前記操作領域に対する前記表示領域の拡大率を高くするようにマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する、
プログラム。 - カメラ及びディスプレイに接続されたコンピュータを、
前記カメラが撮影したフレーム画像を取得し、前記フレーム画像からオペレータの手又は指を示す手指画像を検出する手指画像検出部、
前記手指画像検出部が検出した前記手指画像の前記フレーム画像における位置又は大きさに基づいて、前記カメラの視野領域から前記オペレータの操作が有効な操作領域を特定する操作領域特定部、
前記操作領域特定部が特定した前記操作領域を前記ディスプレイの表示領域にマッピングし、前記操作領域と前記表示領域との座標の対応関係を示すマッピング情報を生成する領域マッピング部、
前記手指画像検出部が検出した前記手指画像の前記操作領域における座標を、前記マッピング情報を用いて前記表示領域内の座標に変換し、変換された座標における前記手指画像の位置又は大きさ又は形状に基づいて、前記オペレータの操作入力を示す操作入力信号を生成する操作入力信号生成部、
として機能させるプログラムであって、
前記領域マッピング部は、凸面上に一定の間隔で配列した点を凸方向から投影した配列の点を前記操作領域に仮想し、前記操作領域に仮想した点と同数の点を前記表示領域内に一定の間隔で配列し、操作領域内に配列した点の座標と前記表示領域内に配列した点の座標とを対応づけたマッピング情報を生成する、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014264546 | 2014-12-26 | ||
JP2014264546 | 2014-12-26 | ||
PCT/JP2015/069451 WO2016103769A1 (ja) | 2014-12-26 | 2015-07-06 | 操作入力装置、操作入力方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016103769A1 JPWO2016103769A1 (ja) | 2017-11-02 |
JP6314251B2 true JP6314251B2 (ja) | 2018-04-18 |
Family
ID=56149815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016565947A Active JP6314251B2 (ja) | 2014-12-26 | 2015-07-06 | 操作入力装置、操作入力方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9836130B2 (ja) |
JP (1) | JP6314251B2 (ja) |
WO (1) | WO2016103769A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3283938B1 (en) * | 2015-04-16 | 2020-10-07 | Rakuten, Inc. | Gesture interface |
KR20170024715A (ko) * | 2015-08-26 | 2017-03-08 | 삼성전자주식회사 | 객체 검출장치 및 그 객체 검출방법 |
US10102423B2 (en) * | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
JP7186999B2 (ja) * | 2018-05-16 | 2022-12-12 | 株式会社ネクステッジテクノロジー | 操作入力装置、操作入力方法及びプログラム |
CN109032356B (zh) * | 2018-07-27 | 2022-05-31 | 深圳绿米联创科技有限公司 | 手语控制方法、装置及系统 |
JP2022096251A (ja) * | 2020-12-17 | 2022-06-29 | シャープ株式会社 | 表示装置、表示方法、及び表示プログラム |
JP2022096252A (ja) * | 2020-12-17 | 2022-06-29 | シャープ株式会社 | 表示装置、表示方法、及び表示プログラム |
JP7182324B1 (ja) | 2022-03-14 | 2022-12-02 | mirrorX株式会社 | プログラム、情報処理装置及び方法 |
WO2024072310A1 (en) * | 2022-09-30 | 2024-04-04 | Flatfrog Laboratories Ab | An interaction system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011028366A (ja) | 2009-07-22 | 2011-02-10 | Sony Corp | 操作制御装置および操作制御方法 |
JP5614014B2 (ja) * | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
JP4900741B2 (ja) | 2010-01-29 | 2012-03-21 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
JP2011243031A (ja) | 2010-05-19 | 2011-12-01 | Canon Inc | ジェスチャ認識装置及びジェスチャ認識方法 |
JP2012238293A (ja) | 2011-04-28 | 2012-12-06 | Nextedge Technology Inc | 入力装置 |
KR102035134B1 (ko) | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
JP2014241099A (ja) * | 2013-06-12 | 2014-12-25 | 株式会社ニコン | 撮像装置 |
-
2015
- 2015-07-06 US US14/896,975 patent/US9836130B2/en active Active
- 2015-07-06 WO PCT/JP2015/069451 patent/WO2016103769A1/ja active Application Filing
- 2015-07-06 JP JP2016565947A patent/JP6314251B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016103769A1 (ja) | 2016-06-30 |
JPWO2016103769A1 (ja) | 2017-11-02 |
US9836130B2 (en) | 2017-12-05 |
US20160370865A1 (en) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6314251B2 (ja) | 操作入力装置、操作入力方法及びプログラム | |
JP4575829B2 (ja) | 表示画面上位置解析装置及び表示画面上位置解析プログラム | |
EP2480955B1 (en) | Remote control of computer devices | |
WO2013180151A1 (ja) | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム | |
JP6123694B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Chu et al. | Hand gesture for taking self portrait | |
EP3021206B1 (en) | Method and device for refocusing multiple depth intervals, and electronic device | |
JP2015018340A (ja) | 画像処理装置、画像処理方法 | |
JP2014068264A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
KR20120126508A (ko) | 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 | |
CN112767288B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP2012238293A (ja) | 入力装置 | |
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
KR101503017B1 (ko) | 모션 검출 방법 및 장치 | |
KR20160079531A (ko) | 제스처 입력 처리 방법 및 장치 | |
JP2017102598A (ja) | 認識装置、認識方法および認識プログラム | |
JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
JP6229554B2 (ja) | 検出装置および検出方法 | |
WO2018082498A1 (en) | Mid-air finger pointing detection for device interaction | |
WO2011096571A1 (ja) | 入力装置 | |
CN115220636B (zh) | 虚拟操作方法、装置、电子设备及可读存储介质 | |
JP6397508B2 (ja) | 個人用入力パネルを生成する方法および装置 | |
JP2011227828A (ja) | 情報処理装置、その処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170621 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6314251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |