JP6935887B2 - 端末操作システム、および、端末操作プログラム - Google Patents
端末操作システム、および、端末操作プログラム Download PDFInfo
- Publication number
- JP6935887B2 JP6935887B2 JP2020023857A JP2020023857A JP6935887B2 JP 6935887 B2 JP6935887 B2 JP 6935887B2 JP 2020023857 A JP2020023857 A JP 2020023857A JP 2020023857 A JP2020023857 A JP 2020023857A JP 6935887 B2 JP6935887 B2 JP 6935887B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- terminal
- coordinates
- display screen
- reference unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Description
操作用基準部および前記操作用基準部の周囲を含む画像データを連続的に撮像する撮像手段と、
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルを記憶する記憶手段と、
前記撮像手段から画像データを取得し、前記学習済みモデルを用いて前記画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出手段と、
前記検出手段から送られてきた前記画像データにおける前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理手段と、
前記座標処理手段で算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作手段とを有しており、
前記撮像手段によって連続的に撮像された前記画像データ毎に、前記記憶手段、前記検出手段、前記座標処理手段、および前記端末操作手段による作業が実施されることを特徴とする
端末操作システムが提供される。
前記座標処理手段は、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別する機能を有しており、
前記端末操作手段は、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させる。
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師データを用いて学習させた学習済みモデルに対して、撮像手段によって撮像された、操作用基準部および前記操作用基準部の周囲を含む画像データを入力する入力ステップと、
前記学習済みモデルを用いて前記画像データにおける前記操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出ステップと、
前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理ステップと、
算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作ステップとを有しており、
連続的に撮像された前記画像データ毎に、前記入力ステップ、前記検出ステップ、前記座標処理ステップ、および、前記端末操作ステップが実施されることを特徴とする
端末操作プログラムが提供される。
前記座標処理ステップでは、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別し、
前記端末操作ステップでは、さらに、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときときに、前記端末に対して所定のイベントを実施させる。
前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックである。
本発明が適用された実施形態に係る学習済みモデル10、および、それを用いた端末操作システム100について説明する。
次に、本実施態様に係る端末操作システム100における端末操作プログラム200の動作について説明する。なお、オペレータの人差し指Yおよび当該人差し指Yの周囲を含む画像データG中において、人差し指Yを中心とする1つの矩形領域Rおよび当該矩形領域Rの対角の座標Xが設定された教師データKを複数取得し、これら教師データKを用いた公知の機械学習手法により、入力された画像データGにおける人差し指Yを中心とする1つの矩形領域Rの対角の座標Xを出力する学習済みモデル10が生成されている。
本実施形態に係る端末操作システム100によれば、単純な動画撮影ができるカメラを用いて、オペレータが自身の人差し指Yを動かすことにより、このようなカメラを標準的に備えている通常のノートPC、スマートフォン、タブレット等の端末を非接触で操作することのできるシステムを提供できる。
上述した実施形態では、端末操作システム100の座標処理手段60において、連続的に取得された複数の画像データGから人差し指Yを中心とする矩形領域Rの対角の座標Xに基づいて、端末Tの表示画面Mにおける対応する表示画面座標にポインタを表示させるようになっていたが、これに加えて、カメラに対して人差し指Yを前後させる動きを識別させてもよい。
上述した実施形態では、座標処理手段60において、予め、撮像手段20によって取得される画像データGの解像度と、端末Tの表示画面Mの解像度とを取得しておき、両解像度に基づいて画像データGの四隅の座標と、対応する表示画面Mの四隅の座標とが一致するように設定しておき、検出手段50から送られてきた画像データGにおける対角の座標Xに基づいて人差し指Yの座標を決定し、然る後、端末Tの表示画面Mにおいて対応する表示画面座標を算出することにより、当該表示画面座標の位置にポインタを表示させるようにしていた。つまり、人差し指Yの座標とポインタを表示させる座標とを一対一に対応させていたが、これに変えて、ポインタを「差分」で移動させるようにしてもよい。
上述した各実施形態では、本発明を利用して端末Tのポインタを移動させたり、さらに別の操作(例えば、マウスの「クリック」に相当するイベントや「ダブルクリック」に相当するイベント等)を実行させたりする例を示したが、これに限定されることなく、マウスの操作以外で、本発明を端末Tの表示画面M上の点にフォーカスする操作、および、フォーカスした点で何らかのイベントを実行させる入力手段として使用してもよい。
上述した各実施形態では、学習済みモデル10が矩形領域Rの対角の座標Xを検出するとともに、「確度」の値を出力するようになっていたが、「確度」の値の出力をすることなく、矩形領域Rの対角の座標Xを検出するだけでもよい。
上述した各実施形態では、端末Tを操作するために端末操作システム100が検出する「操作用基準部」の例としてオペレータの人差し指Yを使用していたが、「操作用基準部」はこれに限定されるものではなく、例えば、人差し指以外の指であったり、手袋を装着した状態の指であったり、ペンの先端部であったり、特定の形状をした棒の先端部であったり、特定形状の図形であったり、どのようなものであってもよい。
20…撮像手段
30…制御手段
40…記憶手段
50…検出手段
60…座標処理手段
70…端末操作手段
100…端末操作システム
200…端末操作プログラム
T…端末、Y…オペレータの人差し指、R…矩形領域、X…対角の座標、G…画像データ、K…教師データ、M…表示画面
Claims (6)
- 操作用基準部および前記操作用基準部の周囲を含む画像データを連続的に撮像する撮像手段と、
教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師画像データを用いて学習させた学習済みモデルを記憶する記憶手段と、
前記撮像手段から画像データを取得し、前記学習済みモデルを用いて前記画像データにおける操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出手段と、
前記検出手段から送られてきた前記画像データにおける前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理手段と、
前記座標処理手段で算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作手段とを有しており、
前記撮像手段によって連続的に撮像された前記画像データ毎に、前記記憶手段、前記検出手段、前記座標処理手段、および前記端末操作手段による作業が実施される端末操作システムであって、
前記操作用基準部は、人の特定の指を含み、
前記学習済みモデルは、前記教師画像データ中における前記特定の指を中心とする1つの矩形の領域の対角の座標を出力とする前記教師画像データを用いて学習させた学習済みモデルを含む
端末操作システム。 - 前記座標処理手段は、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別する機能を有しており、
前記端末操作手段は、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときに、前記端末に対して所定のイベントを実施させることを特徴とする
請求項1に記載の端末操作システム。 - 前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックであることを特徴とする
請求項2に記載の端末操作システム。 - 教師画像データを入力とし、前記教師画像データ中における操作用基準部を中心とする1つの矩形の領域の対角の座標を出力とする教師データを用いて学習させた学習済みモデルに対して、撮像手段によって撮像された、操作用基準部および前記操作用基準部の周囲を含む画像データを入力する入力ステップと、
前記学習済みモデルを用いて前記画像データにおける前記操作用基準部を中心とする1つの矩形の領域の対角の座標、および、前記学習済みモデル内の前記操作用基準部の特徴量と入力された前記操作用基準部の特徴量との一致度合いを示す確度の値を検出する検出ステップと、
前記対角の座標に基づいて前記操作用基準部の座標を決定し、然る後、端末の表示画面において対応する表示画面座標を算出する座標処理ステップと、
算出された前記表示画面座標に基づいて、前記表示画面座標にフォーカスをする端末操作ステップとを有しており、
連続的に撮像された前記画像データ毎に、前記入力ステップ、前記検出ステップ、前記座標処理ステップ、および、前記端末操作ステップが実施される端末操作プログラムであって、
前記操作用基準部は、人の特定の指を含み、
前記学習済みモデルは、前記教師画像データ中における前記特定の指を中心とする1つの矩形の領域の対角の座標を出力とする前記教師画像データを用いて学習させた学習済みモデルを含む
端末操作プログラム。 - 前記座標処理ステップでは、さらに、所定の時間間隔で取得された複数の前記画像データにおける前記領域の面積が最初に操作用基準部が識別された画像データにおける領域の初期面積と比較して所定の倍率以上になったか否かを判別し、
前記端末操作ステップでは、さらに、前記初期面積と比較して前記領域の面積が所定の倍率以上になったときに、前記端末に対して所定のイベントを実施させることを特徴とする
請求項4に記載の端末操作プログラム。 - 前記フォーカスとは、ポインタを前記表示画面座標の位置に移動させることであり、
前記イベントとは、マウスのクリックおよびダブルクリックであることを特徴とする
請求項5に記載の端末操作プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023857A JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
PCT/JP2021/005380 WO2021162119A1 (ja) | 2020-02-14 | 2021-02-13 | 端末操作に用いられる学習済みモデル生成方法、学習済みモデル、プログラム、端末操作システム、および、端末操作プログラム |
JP2021067391A JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023857A JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021067391A Division JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128643A JP2021128643A (ja) | 2021-09-02 |
JP6935887B2 true JP6935887B2 (ja) | 2021-09-15 |
Family
ID=77292301
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020023857A Active JP6935887B2 (ja) | 2020-02-14 | 2020-02-14 | 端末操作システム、および、端末操作プログラム |
JP2021067391A Pending JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021067391A Pending JP2021128784A (ja) | 2020-02-14 | 2021-04-12 | 端末操作システム、および、端末操作プログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6935887B2 (ja) |
WO (1) | WO2021162119A1 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011007390A1 (ja) * | 2009-07-15 | 2011-01-20 | 株式会社 東芝 | 画像処理装置、及びインターフェース装置 |
JP2013080266A (ja) * | 2010-02-08 | 2013-05-02 | Nextedge Technology Inc | 入力装置 |
JP2013210875A (ja) * | 2012-03-30 | 2013-10-10 | Sony Corp | 情報入力装置及び情報入力方法、並びにコンピューター・プログラム |
JP6039248B2 (ja) * | 2012-06-04 | 2016-12-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP6019947B2 (ja) * | 2012-08-31 | 2016-11-02 | オムロン株式会社 | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム |
JP2018032055A (ja) * | 2015-01-13 | 2018-03-01 | 三菱電機株式会社 | ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体 |
JP2017059207A (ja) * | 2015-09-18 | 2017-03-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識方法 |
CN107179826B (zh) * | 2016-03-11 | 2021-08-31 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
JP6676256B2 (ja) * | 2016-08-10 | 2020-04-08 | 株式会社東海理化電機製作所 | 画像処理装置及び画像処理方法 |
JP2019096072A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
-
2020
- 2020-02-14 JP JP2020023857A patent/JP6935887B2/ja active Active
-
2021
- 2021-02-13 WO PCT/JP2021/005380 patent/WO2021162119A1/ja active Application Filing
- 2021-04-12 JP JP2021067391A patent/JP2021128784A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021162119A1 (ja) | 2021-08-19 |
JP2021128643A (ja) | 2021-09-02 |
JP2021128784A (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10678329B2 (en) | Line-of-sight input device, and method of line-of-sight input | |
JP6159323B2 (ja) | 情報処理方法及び情報処理装置 | |
JP4494002B2 (ja) | 切替器および切替器の切替方法 | |
JP6631541B2 (ja) | タッチ入力のための方法及びシステム | |
JP2010055510A (ja) | 情報処理装置及び情報処理方法 | |
JP6062416B2 (ja) | 情報入力装置及び情報表示方法 | |
JP2008192092A (ja) | タッチパネル装置、情報処理装置及びプログラム | |
US20140111457A1 (en) | Touch discrimination using fisheye lens | |
CN117472189B (zh) | 具有实物感的打字或触控的实现方法 | |
JP6935887B2 (ja) | 端末操作システム、および、端末操作プログラム | |
CN103154877A (zh) | 显示器上的第一图像和第二图像 | |
JP6418585B2 (ja) | ウェアラブルデバイス、及びウェアラブルデバイスの動作方法 | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US20160124602A1 (en) | Electronic device and mouse simulation method | |
JP2013077180A (ja) | 認識装置およびその制御方法 | |
JP6232694B2 (ja) | 情報処理装置、その制御方法及びプログラム | |
JP6823988B2 (ja) | 画面操作方法及び画面操作装置 | |
US20150323999A1 (en) | Information input device and information input method | |
US20220343557A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and information processing system | |
JP5339234B2 (ja) | 操作性評価装置、操作性評価方法、操作性評価プログラム、及び操作性評価システム | |
JP6998775B2 (ja) | 画像測定機およびプログラム | |
Shimada et al. | New design for a dynamic tactile graphic system for blind computer users | |
JP2020160562A (ja) | 制御システム、制御方法、プログラム | |
CN116594549A (zh) | 一种操控三维模型的方法、可读存储介质和计算机设备 | |
JP2015219609A (ja) | 情報処理方法、情報処理装置及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200519 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200519 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A603 | Late request for extension of time limit during examination |
Free format text: JAPANESE INTERMEDIATE CODE: A603 Effective date: 20201127 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201228 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210114 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210323 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210412 |
|
C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20210412 |
|
C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20210423 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210427 |
|
C30 | Protocol of an oral hearing |
Free format text: JAPANESE INTERMEDIATE CODE: C30 Effective date: 20210607 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20210625 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210629 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210817 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |