JP6044426B2 - 情報操作表示システム、表示プログラム及び表示方法 - Google Patents
情報操作表示システム、表示プログラム及び表示方法 Download PDFInfo
- Publication number
- JP6044426B2 JP6044426B2 JP2013077240A JP2013077240A JP6044426B2 JP 6044426 B2 JP6044426 B2 JP 6044426B2 JP 2013077240 A JP2013077240 A JP 2013077240A JP 2013077240 A JP2013077240 A JP 2013077240A JP 6044426 B2 JP6044426 B2 JP 6044426B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- dimensional
- coordinate position
- dimensional coordinate
- operation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、情報操作表示システムの全体の概略構成の一例を示す図である。図1に示すように、情報操作表示システム100は、カメラ1、2と、プロジェクタ(表示装置)3と、情報処理装置10とを有する。情報処理装置10は、カメラ1、2およびプロジェクタ3とネットワーク(図示省略)を介して通信可能に接続される。プロジェクタ3は、所定の投影面上に画像を投影する。カメラ1、2は、投影面上に投影された画像と該画像上に置かれた操作対象物(例えば、操作者の手や指)との画像を撮影する。そして、情報処理装置10は、カメラ1、2により撮影された時系列の画像から、操作対象物の三次元位置を算出する。
次に、図3を用いて、実施例1にかかる情報処理装置10について説明する。図3は、情報処理装置の全体構成を示す図である。図3に示すように、情報処理装置10は、通信I/F(インタフェース)部11と、表示部12と、入力部13と、記憶部14と、制御部15とを有する。
次に、図14を用いて、実施例1に係る情報処理装置10による処理を説明する。図14は、情報処理装置による、アラート線表示処理の手順を示すフローチャートである。
上述してきたように、情報操作表示システム100は、カメラ1、2とプロジェクタ3と情報処理装置10とを有する。この情報処理装置10は、カメラ1、2により撮像された撮影画像を取得し、取得された撮影画像に含まれる操作対象物の3次元座標位置を計測する。そして、情報処理装置10は、計測された3次元座標位置と、カメラ1、2により定まる、手指の3次元座標位置が計測可能な3次元領域の境界との距離に基づいて、手指に画像を表示するようにプロジェクタを制御する。このため、情報処理装置10は、操作性を向上させることが可能である。
上記の実施例1では、カメラ2台で手指などを撮影するステレオカメラの例を説明したが、これに限定されるものではなく、カメラ1台で手指などを撮影する単眼カメラでもよい。ここで、図15を用いて、単眼カメラである場合の情報操作表示システム100Aのハードウェア構成について説明する。図15は、単眼カメラである場合の情報操作表示システムのハードウェア構成を示す図である。
また、上記の実施例1では、視野範囲が四角である場合の例を説明したが、これに限定されるものではなく、視野範囲が円であってもよい。ここで、図17を用いて、視野範囲が円である場合における3次元計測可能領域について説明する。図17は、視野範囲が円で取得可能なステレオカメラの3次元計測可能領域を示す図である。図17に示すように、カメラの画角をαとすると、レンズからのZ軸方向の距離zにおける視野範囲R(z)は、「R(z)=2×z×tan(α/2)」となる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図3に示す取得部151、計測部152、表示部153の各処理部が適宜統合または分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図19は、表示プログラムを実行するコンピュータを示す図である。
3 プロジェクタ
10 情報処理装置
11 通信I/F部
12 表示部
13 入力部
14 記憶部
15 制御部
100 情報操作表示システム
141 3次元計測可能領域情報
142 3次元座標位置情報
143 アラートパターン情報
151 取得部
152 計側部
153 表示部
Claims (10)
- カメラとプロジェクタと情報処理装置とを有する情報操作表示システムであって、
前記情報処理装置は、
前記カメラにより撮像された撮影画像を取得する取得部と、
前記取得部によって取得された撮影画像に含まれる操作対象物の3次元座標位置を計測する計測部と、
前記計測部によって計測された3次元座標位置と、前記カメラにより定まる、操作対象物の3次元座標位置が計測可能な3次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するように前記プロジェクタを制御する表示部と、
を有することを特徴とする情報操作表示システム。 - 前記計測部は、過去の操作対象物の3次元座標位置と現在の操作対象物の3次元座標位置とを比較し、該3次元座標位置の変化に基づいて、操作対象物の3次元座標位置を予測し、
前記表示部は、前記計測部によって予測された操作対象物の3次元座標位置と、前記3次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するように前記プロジェクタを制御することを特徴とする請求項1に記載の情報操作表示システム。 - 前記表示部は、前記操作対象物の3次元座標位置に応じて表示態様が変化する前記3次元領域の境界を示唆する縦線または横線を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1または請求項2に記載の情報操作表示システム。
- 前記表示部は、前記操作対象物の3次元座標位置と前記3次元領域の境界との距離に応じて色が変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1または請求項2に記載の情報操作表示システム。
- 前記表示部は、前記操作対象物の3次元座標位置と前記3次元領域の境界との距離に応じて濃淡が変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1または請求項2に記載の情報操作表示システム。
- 前記表示部は、前記操作対象物の3次元座標位置と前記3次元領域の境界との距離に応じて表示サイズが変化する図形を、前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1または請求項2に記載の情報操作表示システム。
- 前記表示部は、前記操作対象物による特定のジェスチャが検出された場合に、前記計測部によって計測された操作対象物の3次元座標位置と、前記3次元領域の境界との距離に基づいて、前記画像を前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1〜6のいずれか一つに記載の情報操作表示システム。
- 前記表示部は、起動しているアプリケーションが特定の状態である場合に、前記計測部によって計測された操作対象物の3次元座標位置と、前記3次元領域の境界との距離に基づいて、前記画像を前記操作対象物に表示するように前記プロジェクタを制御することを特徴とする請求項1〜7のいずれか一つに記載の情報操作表示システム。
- カメラにより撮像された撮影画像を取得し、
前記撮影画像に含まれる操作対象物の3次元座標位置を計測し、
前記3次元座標位置と、前記カメラにより定まる、前記操作対象物の3次元座標位置が計測可能な3次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するようにプロジェクタを制御する
処理をコンピュータに実行させることを特徴とする表示プログラム。 - カメラにより撮像された撮影画像を取得し、
前記撮影画像に含まれる操作対象物の3次元座標位置を計測し、
前記3次元座標位置と、前記カメラにより定まる、前記操作対象物の3次元座標位置が計測可能な3次元領域の境界との距離に基づいて、前記操作対象物に画像を表示するようにプロジェクタを制御する
ことを含んだことを特徴とする表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013077240A JP6044426B2 (ja) | 2013-04-02 | 2013-04-02 | 情報操作表示システム、表示プログラム及び表示方法 |
US14/164,384 US9645735B2 (en) | 2013-04-02 | 2014-01-27 | Information processing device and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013077240A JP6044426B2 (ja) | 2013-04-02 | 2013-04-02 | 情報操作表示システム、表示プログラム及び表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014203176A JP2014203176A (ja) | 2014-10-27 |
JP6044426B2 true JP6044426B2 (ja) | 2016-12-14 |
Family
ID=51620317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013077240A Expired - Fee Related JP6044426B2 (ja) | 2013-04-02 | 2013-04-02 | 情報操作表示システム、表示プログラム及び表示方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9645735B2 (ja) |
JP (1) | JP6044426B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9734582B2 (en) * | 2013-02-21 | 2017-08-15 | Lg Electronics Inc. | Remote pointing method |
JP6047763B2 (ja) * | 2014-09-03 | 2016-12-21 | パナソニックIpマネジメント株式会社 | ユーザインターフェース装置およびプロジェクタ装置 |
JP6103025B2 (ja) * | 2014-12-22 | 2017-03-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
US10482670B2 (en) * | 2014-12-30 | 2019-11-19 | Qingdao Goertek Technology Co., Ltd. | Method for reproducing object in 3D scene and virtual reality head-mounted device |
CN104656902A (zh) * | 2015-02-26 | 2015-05-27 | 华南理工大学 | 基于Android的视觉处理人机交互投影方法及系统 |
US10444006B2 (en) | 2015-08-19 | 2019-10-15 | Faro Technologies, Inc. | Three-dimensional imager |
US10455216B2 (en) * | 2015-08-19 | 2019-10-22 | Faro Technologies, Inc. | Three-dimensional imager |
EP3182250B1 (en) * | 2015-12-18 | 2019-10-30 | Aptiv Technologies Limited | System and method for monitoring 3d space in front of an output unit for the control of the output unit |
US11275498B2 (en) * | 2016-08-31 | 2022-03-15 | Sony Corporation | Information processing system, information processing method, and program |
CN108230383B (zh) * | 2017-03-29 | 2021-03-23 | 北京市商汤科技开发有限公司 | 手部三维数据确定方法、装置及电子设备 |
JP2019053769A (ja) * | 2018-12-04 | 2019-04-04 | シャープ株式会社 | タッチ検出装置、タッチ検出システム、タッチ検出方法、およびプログラム |
CN110602358B (zh) * | 2019-08-28 | 2021-06-04 | 维沃移动通信有限公司 | 一种图像采集方法及电子设备 |
CN112733577A (zh) * | 2019-10-28 | 2021-04-30 | 富士通株式会社 | 检测手部动作的方法和装置 |
EP4339746A1 (en) * | 2022-09-19 | 2024-03-20 | ameria AG | Touchless user-interface control method including time-controlled fading |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463220B1 (en) * | 2000-11-08 | 2002-10-08 | Xerox Corporation | Method and apparatus for indicating a field of view for a document camera |
JP3863809B2 (ja) | 2002-05-28 | 2006-12-27 | 独立行政法人科学技術振興機構 | 手の画像認識による入力システム |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
JP4789885B2 (ja) * | 2007-07-26 | 2011-10-12 | 三菱電機株式会社 | インタフェース装置、インタフェース方法及びインタフェースプログラム |
JP4991458B2 (ja) * | 2007-09-04 | 2012-08-01 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
JP5347673B2 (ja) * | 2009-04-14 | 2013-11-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20100122383A (ko) * | 2009-05-12 | 2010-11-22 | 삼성전자주식회사 | 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치 |
JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
GB2483168B (en) * | 2009-10-13 | 2013-06-12 | Pointgrab Ltd | Computer vision gesture based control of a device |
JP5779923B2 (ja) * | 2011-03-17 | 2015-09-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2012208439A (ja) * | 2011-03-30 | 2012-10-25 | Sony Corp | 投影装置、投影方法及び投影プログラム |
US9229584B2 (en) * | 2011-06-13 | 2016-01-05 | Citizen Holdings Co., Ltd. | Information input apparatus |
US9210401B2 (en) * | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
-
2013
- 2013-04-02 JP JP2013077240A patent/JP6044426B2/ja not_active Expired - Fee Related
-
2014
- 2014-01-27 US US14/164,384 patent/US9645735B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9645735B2 (en) | 2017-05-09 |
JP2014203176A (ja) | 2014-10-27 |
US20140292723A1 (en) | 2014-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6044426B2 (ja) | 情報操作表示システム、表示プログラム及び表示方法 | |
JP6146094B2 (ja) | 情報操作表示システム、表示プログラム、および、表示方法 | |
CN105659295B (zh) | 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 | |
JP6201379B2 (ja) | 位置算出システム、位置算出プログラム、および、位置算出方法 | |
JP6723814B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
KR100851977B1 (ko) | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. | |
US20120169671A1 (en) | Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor | |
JP2016194799A (ja) | 画像解析装置及び画像解析方法 | |
JP6344530B2 (ja) | 入力装置、入力方法、及びプログラム | |
CN107407959B (zh) | 基于姿势的三维图像的操纵 | |
US9035889B2 (en) | Information processing apparatus and information processing method | |
US10970807B2 (en) | Information processing apparatus and storage medium | |
WO2016103769A1 (ja) | 操作入力装置、操作入力方法及びプログラム | |
JP2012238293A (ja) | 入力装置 | |
KR20150121069A (ko) | 전자 디바이스에 의한 상호작용적 이미지 캐리커처링을 위한 시스템들 및 방법들 | |
JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
JP2016018458A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2017117373A (ja) | 操作装置とその制御方法、及びプログラム | |
KR20110087407A (ko) | 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법 | |
JP6229554B2 (ja) | 検出装置および検出方法 | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2011002292A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム | |
JP6643825B2 (ja) | 装置及び方法 | |
JP6618301B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6044426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |