JP5665396B2 - 情報処理装置およびその制御方法 - Google Patents
情報処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP5665396B2 JP5665396B2 JP2010156925A JP2010156925A JP5665396B2 JP 5665396 B2 JP5665396 B2 JP 5665396B2 JP 2010156925 A JP2010156925 A JP 2010156925A JP 2010156925 A JP2010156925 A JP 2010156925A JP 5665396 B2 JP5665396 B2 JP 5665396B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- operator
- size
- shadow
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
操作者の手が届かないところにあるオブジェクト画像を操作する技術として、仮想的な手の影などを用いて、オブジェクト画像を操作することが知られている。
ことを特徴とする。
図1は、本発明に適用できる情報処理装置(以降では、ユーザインタフェース表示装置と呼ぶ)の機能構成図である。ユーザインタフェース表示装置101は、装置外部のディスプレイ102とカメラ103に接続している。ここでは、ユーザインタフェース表示装置101は、ディスプレイ102とカメラ103を装置内部に備えていないものとして説明するが、本発明はこれに限らない。例えば、ユーザインタフェース表示装置101は、ディスプレイ102を装置内部に備えていても良いし、カメラ103を装置内部に備えていても良い。
(x−A)/(a−A)=(y−B)/(b−B)=(z−C)/(c−C) ...(1)
である。このときのxは、X軸上の変数、yはY軸上の変数、zはZ軸上の変数である。
(x−A)/(a−A)=(y−B)/(b−B)=(Tc−C)/(c−C) ...(2)
となる。そしてx、yの値を求めると、
x=(Tc−C)/(c−C)*(a−A)+A ...(3)
y=(Tc−C)/(c−C)*(b−B)+B ...(4)
となる。
((Tc−C)/(c−C)*(a−A)+A,(Tc−C)/(c−C)*(b−B)+B,Tc) ...(5)
となる。
((Tc−C)/(c−C)*(a−A)+A,(Tc−C)/(c−C)*(b−B)+B) ...(6)
の2次元上の位置に手の影画像304を表示すれば良い。ディスプレイ303の高さをTcと、仮想光源の位置(A,B,C)については、設計時に予め決定することが可能である。よって、手の影画像304を表示するべき座標は、上述したような計算によって算出できるであろう。
手の影の大きさ=M*仮想光源から手の影までの距離/仮想光源から手までの距離 ...(7)
となる。さらに、式(7)を展開すると、
手の影の大きさ=
M*(((Tc−C)/(c−C)*(a−A))^2+((Tc−C)/(c−C)*(b−B))^2+(C−Tc)^2)^0.5/((A−a)^2+(B−b)^2+(C−c)^2)^0.5=M*(Tc−C)/(c−C) ...(8)
となる。
以下では、操作者によって変動される「手の影画像の大きさ」を利用して、オブジェクトの拡大や縮小を行う例を説明する。図4は操作者401が「手の影画像の大きさ」を変動させている様子を横から見た図である。図5は上記図4と同じものをディスプレイの正面から見た図である。図4、図5において、同じものには同じ番号を与えている。更に、図4(a)および図5(a)は、操作者がオブジェクトの選択を行ったときの「選択状態」の様子を示し、図4(b)および図5(b)は、操作者がオブジェクトの開放を行ったときの「開放状態」の様子を示す。なお、図中のディスプレイ406は、以前に説明したディスプレイ303、ディスプレイ102と同じものであり、操作者401は、操作者305と同じである。
開放時のオブジェクトの大きさ =
選択時のオブジェクトの大きさ*(開放時の手の影画像の大きさ/選択時の手の影画像の大きさ) ...(9)
なお、本実施形態では、開放時にオブジェクトの大きさを変更するものとするが、本発明はこれに限らない。例えば、装置101が、開放する候補となる手の影画像408の大きさをリアルタイムに検知できる計算能力がある場合を考える。このような場合には、開放前であっても、手の影画像408の大きさをリアルタイムに検知して、現在選択中のオブジェクト(開放候補であるオブジェクト)の大きさを適宜変更しても良いであろう。
以下では、手の影画像の大きさを利用し、複数のオブジェクトの配置方法を制御する例を説明する。図6の(a)は、上述した「選択状態」に相当する様子を示す図であり、図6(b)は、上述した「開放状態」に相当する様子を示す図である。
S=開放時の手の影画像の大きさ/選択時の手の影画像の大きさ ...(10)
とし、個々のオブジェクトをオブジェクトAnと(n=1、2、・・、Nの何れかとし、Nは選択中のオブジェクトの個数である)すると、
開放時のオブジェクトAnのX座標 =
S*(オブジェクトAnのX座標−選択時の手の影画像のX座標)
+開放時の手の影画像のX座標 ...(11)
開放時のオブジェクトAnのY座標 =
S*(オブジェクトAnのY座標−選択時の手の影画像のY座標)
+開放時の手の影画像のY座標 ...(12)
という式で算出される位置(X,Y)にそれぞれのオブジェクトAnを配置するように、表示すれば良い。
なお、以上の実施形態では、仮想光源の位置は予め設定していたが、本発明はこれに限らない。例えば、この仮想光源は、操作者の姿勢や、顔の向き、あるいは背の高さに応じて、適宜変更しても構わない。具体的には、本実施形態のユーザインタフェース表示装置101が操作者の頭頂部の位置を検出し、さらに操作者の顔の向きを取得できる機能を備える。そして、頭頂部の位置から顔の向きの反対方向に例えば50cmだけ移動した位置を仮想光源とする。このようにすれば、操作者の身長に合わせて適切な仮想光源が設定される。また、操作者が意図的に顔の向きを変更することによって、仮想光源の位置までもジェスチャ入力によって設定できることになる。
Claims (12)
- 表示されたオブジェクトに対する操作を認識する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、
仮想光源および前記操作者の手の位置により定まる前記オブジェクトが表示された面上の位置に、前記仮想光源および前記操作者の手の位置により定まるサイズで、前記手の影に相当する仮想画像を表示させる表示制御手段と、
前記手の位置および形状に基づいて、前記手の影に相当する仮想画像内に表示されたオブジェクトを選択状態、あるいは非選択状態とする状態変更手段とを備え、
前記表示制御手段は、前記状態変更手段によって前記オブジェクトが選択状態とされている間に前記操作者の手の位置が変更されたことに応じて、前記手の影に相当する仮想画像のサイズを大きした場合には、前記選択状態のオブジェクトのサイズを大きく変更し、前記手の影に相当する仮想画像のサイズを小さくした場合には、前記選択状態のオブジェクトのサイズを小さく変更することを特徴とする情報処理装置。 - 前記表示制御手段は、前記状態変更手段によって前記オブジェクトが選択状態とされている間に前記操作者の手の位置が変更された場合には、前記手の影に相当する仮想画像のサイズ変更するのと同じ比率で前記選択状態のオブジェクトのサイズを変更することで、前記オブジェクトが非選択状態から選択状態に変更された時点での前記手の影に相当する仮想画像と前記オブジェクトのサイズの比率を維持することを特徴とする請求項1に記載の情報処理装置。
- 表示されたオブジェクトに対する操作を認識する情報処理装置であって、
操作者の手の位置および形状を検出する検出手段と、
仮想光源および前記操作者の手の位置により定まる前記オブジェクトが表示された面上の位置に、前記仮想光源および前記操作者の手の位置により定まるサイズで、前記手の影に相当する仮想画像を表示させる表示制御手段と、
前記手の位置および形状に基づいて、前記手の影に相当する仮想画像内に表示されたオブジェクトを選択状態、あるいは非選択状態とする状態変更手段とを備え、
前記表示制御手段は、前記状態変更手段によって複数のオブジェクトが選択状態とされている間に前記操作者の手の位置が変更されたことに応じて、前記手の影に相当する仮想画像のサイズを小さくした場合には、前記選択状態の複数のオブジェクトの配置を集合させることを特徴とする情報処理装置。 - 前記表示制御手段は、前記状態変更手段によって前記オブジェクトが選択状態とされている間に前記操作者の手の位置が変更された場合には、前記手の影に相当する仮想画像内に表示されたオブジェクトが非選択状態から選択状態に変更された時点での前記手の影に相当する仮想画像のサイズを変更する比率に基づく移動量で、前記選択されたオブジェクトの位置を移動させることを特徴とする請求項3に記載の情報処理装置。
- 前記表示制御手段は、前記オブジェクトが選択状態から非選択状態に変更された時点において、前記手の影に相当する仮想画像の領域内に収まる位置に、前記選択されたオブジェクトの全てを表示させることを特徴とする請求項3又は4に記載の情報処理装置。
- 前記表示制御手段は、前記操作者の手の位置が、前記仮想光源から遠い位置に移動した場合に、前記手の影に相当する仮想画像のサイズを小さくし、前記仮想光源に近い位置に移動した場合に、前記手の影に相当する仮想画像のサイズを大きくすることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1に記載の表示制御装置として機能させるコンピュータプログラム。
- 請求項7に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
- 表示されたオブジェクトに対する操作を認識する情報処理装置の制御方法であって、
検出手段により、操作者の手の位置および形状を検出する検出工程と、
表示制御手段により、仮想光源および前記操作者の手の位置により定まる前記オブジェクトが表示された面上の位置に、前記仮想光源および前記操作者の手の位置により定まるサイズで、前記手の影に相当する仮想画像を表示させる表示制御工程と、
状態変更手段により、前記手の位置および形状に基づいて、前記手の影に相当する仮想画像内に表示されたオブジェクトを選択状態、あるいは非選択状態とする状態変更工程とを備え、
前記表示制御工程で、前記状態変更工程において前記オブジェクトが選択状態とされている間に前記操作者の手の位置が変更されたことに応じて、前記手の影に相当する仮想画像のサイズを大きした場合には、前記選択状態のオブジェクトのサイズを大きく変更し、前記手の影に相当する仮想画像のサイズを小さくした場合には、前記選択状態のオブジェクトのサイズを小さく変更することを特徴とする
制御方法。 - 表示されたオブジェクトに対する操作を認識する情報処理装置の制御方法であって、
検出手段により、操作者の手の位置および形状を検出する検出工程と、
表示制御手段により、仮想光源および前記操作者の手の位置により定まる前記オブジェクトが表示された面上の位置に、前記仮想光源および前記操作者の手の位置により定まるサイズで、前記手の影に相当する仮想画像を表示させる表示制御工程と、
状態変更手段により、前記手の位置および形状に基づいて、前記手の影に相当する仮想画像内に表示されたオブジェクトを選択状態、あるいは非選択状態とする状態変更工程とを備え、
前記表示制御工程では、前記状態変更工程において複数のオブジェクトが選択状態とされている間に前記操作者の手の位置が変更されたことに応じて、前記手の影に相当する仮想画像のサイズを小さくした場合には、前記選択状態の複数のオブジェクトの配置を集合させることを特徴とする制御方法。 - コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項3に記載の表示制御装置として機能させるコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156925A JP5665396B2 (ja) | 2010-07-09 | 2010-07-09 | 情報処理装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156925A JP5665396B2 (ja) | 2010-07-09 | 2010-07-09 | 情報処理装置およびその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012018620A JP2012018620A (ja) | 2012-01-26 |
JP2012018620A5 JP2012018620A5 (ja) | 2013-08-22 |
JP5665396B2 true JP5665396B2 (ja) | 2015-02-04 |
Family
ID=45603811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010156925A Expired - Fee Related JP5665396B2 (ja) | 2010-07-09 | 2010-07-09 | 情報処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5665396B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360706B2 (en) | 2012-05-22 | 2019-07-23 | Sony Corporation | Device method and program for adjusting a display state of a superimposed image |
US10261612B2 (en) * | 2013-02-22 | 2019-04-16 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing proximity motion using sensors |
US20160266648A1 (en) * | 2015-03-09 | 2016-09-15 | Fuji Xerox Co., Ltd. | Systems and methods for interacting with large displays using shadows |
JP6540426B2 (ja) * | 2015-09-25 | 2019-07-10 | セイコーエプソン株式会社 | 表示システム、表示装置、情報表示方法、及び、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1769328A2 (en) * | 2004-06-29 | 2007-04-04 | Koninklijke Philips Electronics N.V. | Zooming in 3-d touch interaction |
US9772689B2 (en) * | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
-
2010
- 2010-07-09 JP JP2010156925A patent/JP5665396B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012018620A (ja) | 2012-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6159323B2 (ja) | 情報処理方法及び情報処理装置 | |
US9030498B2 (en) | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface | |
JP6074170B2 (ja) | 近距離動作のトラッキングのシステムおよび方法 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
WO2016109409A1 (en) | Virtual lasers for interacting with augmented reality environments | |
US20070216642A1 (en) | System For 3D Rendering Applications Using Hands | |
JP2006209563A (ja) | インターフェース装置 | |
JP2010534895A (ja) | 高度なカメラをベースとした入力 | |
JP2013037675A5 (ja) | ||
JPH04260919A (ja) | データ処理システム | |
TWI403922B (zh) | 徒手人機介面操作系統及其方法 | |
JP2009140390A (ja) | 指示デバイスおよび指紋認証半導体回路 | |
WO2017145423A1 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
JP2004078977A (ja) | インターフェイス装置 | |
KR20140078853A (ko) | 증강현실시스템 및 그 제어방법 | |
US20120313968A1 (en) | Image display system, information processing apparatus, display device, and image display method | |
JP5665396B2 (ja) | 情報処理装置およびその制御方法 | |
CN110543230A (zh) | 基于虚拟现实的舞台灯光元素的设计方法及设计系统 | |
JP6270495B2 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体 | |
JP2012022458A (ja) | 情報処理装置およびその制御方法 | |
JP2005063225A (ja) | 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム | |
CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
WO2020235035A1 (ja) | ヘッドマウントディスプレイ | |
JP2006268212A (ja) | 命令入力装置 | |
KR101246304B1 (ko) | 증강 현실 서비스 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5665396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |