JPWO2018142524A1 - 表示装置、及び遠隔操作制御装置 - Google Patents
表示装置、及び遠隔操作制御装置 Download PDFInfo
- Publication number
- JPWO2018142524A1 JPWO2018142524A1 JP2018565151A JP2018565151A JPWO2018142524A1 JP WO2018142524 A1 JPWO2018142524 A1 JP WO2018142524A1 JP 2018565151 A JP2018565151 A JP 2018565151A JP 2018565151 A JP2018565151 A JP 2018565151A JP WO2018142524 A1 JPWO2018142524 A1 JP WO2018142524A1
- Authority
- JP
- Japan
- Prior art keywords
- point
- display device
- user
- virtual surface
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 claims description 59
- 238000010586 diagram Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 105
- 210000003811 finger Anatomy 0.000 description 258
- 230000006870 function Effects 0.000 description 62
- 230000004048 modification Effects 0.000 description 53
- 238000012986 modification Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 45
- 238000001514 detection method Methods 0.000 description 41
- 238000012545 processing Methods 0.000 description 33
- 239000013598 vector Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 20
- 230000004044 response Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000011000 absolute method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/08—Cursor circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/026—Arrangements or methods related to booting a display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
図1〜図33を用いて、本発明の実施の形態1の表示装置について説明する。実施の形態1の表示装置は、特有の遠隔操作制御機能を有する。この機能では、画面に対し、ユーザの近くに仮想面空間が設定される。仮想面空間に対するユーザの手指の進入度合いが検出される。その検出に応じて、仮想面に対するタッチ等の所定の操作が判定される。その所定の操作に対して操作パネル等の操作入力が対応付けられるように制御される。
図1は、実施の形態1の表示装置を含む、表示システムの構成を示す。図1では、ユーザが表示装置1の画面10を見ている状態を、斜視で概略的に示している。なお、説明上の方向及び座標系として(X,Y,Z)を有し、X方向は第1方向、Y方向は第2方向、Z方向は第3方向である。X方向及びY方向は、画面10を構成する直交する2つの方向であり、X方向は画面内水平方向、Y方向は画面内垂直方向である。Z方向は、画面10のX方向及びY方向に対して垂直な方向である。ユーザは、表示装置1の画面10の映像を視聴する視聴者であり、画面10に対する遠隔操作を行う操作者である。図1では、ユーザの視聴時の姿勢として画面10に正対した標準的な姿勢の場合であり、視聴方向がZ方向に沿っている場合を示す。画面10は、鉛直方向に立っている場合を示す。
図2は、図1の表示システムの表示装置1の機能ブロック構成を示す。表示装置1は、制御部11、記憶部12、コンテンツ表示部13、GUI表示部14、表示駆動回路15、画面10、遠隔操作制御部20を有する。遠隔操作制御部20は、カメラ31,32を含む撮影部30、手指位置検出部21、ユーザ基準位置検出部22、仮想面設定部23、操作判定部24、操作入力情報出力部25、仮想面調整部26、個人認識部27、記憶部28を有する。
実施の形態1の表示システムでは、主に手指位置の点F0の検出処理のみで、所定の操作である仮想面操作を実現する。実施の形態1では、最初、顔等のユーザ基準位置の点P0が検出され、その点P0に対して相対的な位置に仮想面空間100が自動的に設定される(後述の図7の相対方式)。その後、その仮想面空間100に対する手指位置の点F0が検出され、所定の操作であるタッチ操作等が判定、検出される。
図3は、ユーザの視界における画面10と仮想面空間100の特に第2仮想面102との関係を概略的に示す。画面10の横方向(X方向)のサイズをH0、その半分のサイズをH1、縦方向(Y方向)のサイズをV0、その半分のサイズをV1で示す。視界において、画面10の中心の点Q0に対して外れた位置に仮想面空間100の中心の点C0がある。第1仮想面101の中心点を点C1、第2仮想面102の中心点を点C2とする。図3の例では、画面10に、図示省略するコンテンツ映像や、GUIの操作メニュー300等が表示されている。操作メニュー300には例えば選択肢ボタン301,302が含まれている。本例では、ユーザが第2仮想面102の左下領域の点F0をタッチ操作する様子を示す。点F0の位置座標を(Xf,Yf,Zf)で示す。そのタッチ操作に対応して、画面10内の左下領域にある選択肢ボタン301上の点E0に対するタッチ操作が行われている。点E0の位置座標を(xe,ye)で示す。点F0に対応する点E0の位置には、カーソル50が表示されている。
図4は、図1の空間を横から見たYZ平面での状態を示す。カメラ基準位置の点Q0の位置座標を(X0,Y0,Z0)で示す。ユーザ基準位置の点P0の位置座標を(Xp,Yp,Zp)で示す。手指の点F0の位置座標を(Xf,Yf,Zf)で示す。仮想面空間100の中心の点C0の位置座標を(Xc0,Yc0,Zc0)とする。第1仮想面101の中心の点C1の位置座標を(Xc1,Yc1,Zc1)とする。第2仮想面102の中心の点C2の位置座標を(Xc2,Yc2,Zc2)とする。点F0に対応する画面10内の点E0の位置座標を(xe,ye)で示す。
図5は、図1の空間を上から見たXZ平面での状態を示す。図5の状態では、仮想面空間100の第1仮想面101及び第2仮想面102は、基準軸J0に対してユーザの点P0から見て右側にある位置(点C1,C2)に設定されている。仮想面空間100のサイズとして、第1仮想面101及び第2仮想面102のサイズは同じである。ユーザは、手指を仮想面空間100内で所望の面内方向(第2仮想面102等に平行な方向)に自由に動かす。例えば、ユーザは、画面10の左側の領域311内の操作ボタン等の点E0を操作したい場合、それに対応して、仮想面空間100の左側の対応する領域312内に手指の点F0が来るように動かす。
図6は、仮想面空間100に対する手指の位置関係や進入度合い等についての説明図を示す。図6では、図4と同様に空間を横から見た状態で、仮想面空間100付近を拡大で示す。説明上、空間内で、点P0から第1仮想面101までの空間部分を第1空間、第1仮想面101と第2仮想面102との間の空間部分を第2空間、第2仮想面102以降の空間部分を第3空間とする。点P0から第1方向の基準軸K0上で、長さL0の位置に点C0、長さL1の位置に点C1、長さL2の位置に点C2が設けられている。
図7は、実施の形態1における仮想面空間100の設定方式として相対方式を示す。図7では、空間を上から見たXZ平面で示し、仮想面空間100を一枚の平面で省略して表す。使い勝手を考慮し、相対方式では、仮想面空間100は、ユーザ基準位置からの相対的な距離やベクトル等によって決まる位置に設定される。詳しくは以下である。まず、カメラ画像に基づいて、ユーザ基準位置の点P0が検出される。次に、その点P0から前方(Z方向)における、手指が届く範囲内で、所定の方向及び距離dA1のベクトルvA1で決まる位置にある点C0に、デフォルトの仮想面空間100が設定される。例えば、顔の点P0から基準軸J0に対して前方斜め下の方向の所定の距離dA1の位置の点C0aが、デフォルトの位置とされる。また、デフォルトの位置と共に、デフォルトのサイズや傾きが適用される。デフォルトの仮想面空間100を、変更前の仮想面空間100aとして示す。ユーザが最初に表示装置1を使用する際には、デフォルトの仮想面空間100が設定される。表示装置1には、予めデフォルトの仮想面空間100の設定情報が格納されている。
図8は、画面10と仮想面空間100とのサイズ等の対応関係を示す。図8の(A)は、デフォルトの設定例を示す。この状態では、画面10全体の領域に仮想面の領域が一対一で関係付けられている。即ち、第2仮想面102内での点F0の位置と、画面10内での点E0の位置とが対応付けられている。点F0を動かすことで画面10内のすべての点をカバーできる。また、第2仮想面102の縦横の比(SH:SV)は、画面10と同じ比(H0:V0)に設定されている。第2仮想面102のサイズは、画面10よりも小さいサイズに設定されている(SH<H0,SV<V0)。仮想面のサイズが比較的大きい設定の場合、画面10に対するより細かい操作が可能である。仮想面のサイズが比較的小さい設定の場合、仮想面で手指を動かす距離が比較的短くて済む。
図6、図9等を用いて、手指と仮想面空間100との位置関係に応じた画面10の表示制御例を説明する。実施の形態1では、画面10に操作パネルや遠隔操作制御機能のメニュー画面等が表示され、それらに対する仮想面操作を可能とする。最初、表示装置1が起動状態で、ユーザの手指が第1空間内の点f0等にある状態とする。この状態で、画面10には、図9の(A)の例のようにコンテンツ映像が表示されている。ユーザは、画面10の映像を視聴中、例えば選局(チャンネル選択)等の操作を行いたい場合、操作パネルを表示するために、手指を図6のように前方に差し出し、基準軸K0上で奥へ動かし、第1仮想面101に近付ける。
図11は、他の表示制御例を示す。図11の(A)は、手指が第1空間内にある時に、予め表示装置1の機能によって画面10内にGUIの操作メニュー300が表示されている場合を示す。図11の(B)は、手指が第1仮想面101に到達した時に、カーソル50が表示された状態を示す。このカーソル50は、矢印形状カーソルである。(B)の状態は、手指先端が第2仮想面102から相対的に遠い場合である。カーソル50は、その時の距離DSTに応じたサイズとして相対的に大きいサイズで表示される。この状態では、カーソル50は、例えば黄色で表示される。この状態では、まだカーソル50が大きいので、細かいオブジェクトの選択操作はしにくくなっている。第2空間内の手指の動きに同期して画面10のカーソル50が移動する。ユーザは、カーソル50の動きによって操作状態を認識できる。
図13は、実施の形態1で検出可能とする所定の操作の例を示す。図13では、仮想面空間100を横から見た状態で、第2仮想面102に手指が到達及び進入する操作の例を示す。図13の(A)は、一本指の操作を示す。一本指の操作による所定の操作として、タッチ、タップ、スワイプ、フリック等の各種の操作が可能である。図13の(B)は、手のひら全体での操作を示す。手のひらによる所定の操作の例として、同様にタッチ等の各種の操作が可能である。図13の(C)は、片手の複数指での操作を示す。複数指による所定の操作の例として、ピンチ等の操作が可能である。ユーザは、これらの各種の操作を使い分けることができる。遠隔操作制御部20は、これらの各種の操作を区別して検出する。なお、変形例としては、各種の操作のうち一部の操作のみを検出可能とする実装としてもよい。
図16は、実施の形態1で、調整機能を用いた仮想面空間100の調整について示す。実施の形態1の調整方式は、調整モード中に、仮想面空間100の2つの点に対する調整操作によって、仮想面空間100の位置、サイズ、及び傾き等を同時に変更可能とする方式である。図16の(A)は、調整モード中にユーザが手指で仮想面空間100の対角の2つの点を対象に調整操作をしている様子を示す。図16の(B)は、調整操作によって仮想面空間100の位置、サイズ、及び傾きが変更された場合の変更前後の状態を示す。変更前の状態を、仮想面空間100aの第1仮想面101a及び第2仮想面102aで示す。変更後の状態を、仮想面空間100bの第1仮想面101b及び第2仮想面102bで示す。仮想面空間100の中心の点C0は、変更前が点C0a、変更後が点C0bである。
図17は、図16に対応する仮想面空間100の調整操作の詳細を示す。図17では、ユーザの視点から基準軸K0の方向で仮想面空間100、特に第2仮想面102を正視した場合を示す。ユーザが両手の各一本指で、第2仮想面102の二箇所の点、例えば対角の2つの角点に対する調整操作を行う。この一本指の操作は、対象の点の位置を任意の指(例えば人差し指)で指し示す操作である。実施の形態1では、この一本指の調整操作は、通常時の一本指の操作と同様の操作であり、モードの違いによって区別される。本例では、左手の一本指で左上の角点112を指し示す操作、及び右手の一本指で右下の角点114を指し示す操作を示す。表示装置1は、このように2つの一本指が仮想面の2つの角点の位置に近接する調整操作を検出する。調整操作の際の2つの点は、他の角点(角点111,113)としてもよい。
図18は、図17の調整操作の例に対応した、調整モード時の調整モード画面410でのフィードバック表示例を示す。表示装置1は、操作入力情報210の表示制御情報に基づいて、画面10に、ユーザによる仮想面の調整操作状態をフィードバックするための画像情報を表示する。本例では、調整モード画面410内の一部箇所に「調整モード」の旨を表す画像412が表示されている。調整モード画面410内の中央、点Q0に合わせた位置には、仮想面枠画像411として、破線の矩形が表示されている。矩形において、4つの角点(点k1〜k4)の位置には、調整用の端子TS1〜TS4が表示されている。端子TS1〜TS4は、例えば小さい正方形であるが、これに限らず任意の図形でよい。
図19は、補足として、手指位置検出部21の手指位置の点F0の検出に関する、両眼視差に基づいた距離測定についての説明図を示す。原理や例を簡単に説明する。図19では、上から見たXZ平面で示す。カメラ31,32の被写体としてユーザAの顔や手を含む身体部分とする。左右のカメラ31,32のレンズ間の長さ902を、距離Dとする。カメラ31,32のレンズの位置を点c1,c2で示す。長さ902の中間点は、カメラ基準位置に相当する。画像911は右側のカメラ31からの撮影画像、画像912は左側のカメラ32からの撮影画像を示す。画像911,912には、ユーザAの頭、顔、腕、手指、上半身等が含まれている。特に、右手の人差し指で仮想面を操作している時の画像である。
上記のように、実施の形態1の表示装置1によれば、カメラを用いた遠隔操作制御に関して、簡単に操作できる等、ユーザの使い勝手を良好にできる。ユーザの前方の仮想面に対して手指を進入させる動作によって表示装置1の操作入力が容易に可能である。実施の形態1によれば、ユーザにとって、複数のジェスチャを伴う操作方法の学習が不要であり、学習量が少なくて済む。ユーザは、複雑なジェスチャを覚える必要は無い。ユーザは、リモコン等を使用する必要無く、手ぶらでテレビ等の操作入力が容易に可能である。
実施の形態1の表示装置1の変形例として、以下が挙げられる。
カメラ31,32の配置位置は、図1の構成に限らず可能である。配置位置は、例えば画面10の右上の点Q1及び左上の点Q2としてもよいし、右下の点Q3及び左下の点Q4としてもよい。また、その場合、カメラ基準位置と画面10の中心の点Q0とを合わせるための所定の補正計算を適用してもよい。
図23は、第2変形例における、調整機能を用いた仮想面空間100の調整について示す。図23の(A)は、調整モード中の仮想面空間100の調整操作の様子を示す。特に、仮想面の対角の2つの角点を操作する場合を示す。図23の(B)は、(A)の調整操作の詳細を示す。変更前の第2仮想面102a、変更後の第2仮想面102bを示す。第2仮想面102の中心点は、変更前が点C2a、変更後が点C2bである。特に、傾きを変えながら位置を移動する場合を示す。
[変形例(3)]
図24は、第3変形例における調整方式として、調整モード時の調整モード画面410のフィードバック表示例を示す。第3変形例では、調整方式として、仮想面の位置、サイズ、傾きを、同時ではなく、それぞれ個別に調整可能とする。調整モード画面410の中央に、仮想面枠画像411として破線の矩形が表示されている。矩形の中心の位置に、位置調整用の端子TS0、例えば小さい菱形が表示されている。また、矩形の4つの角点(点k1〜k4)には、それぞれ、サイズ調整用の端子TS1〜TS4、例えば小さい正方形が表示されている。また、矩形の四辺の各中間点(点k5〜k8)には、それぞれ、傾き調整用の端子TS5〜TS8、例えば小さい三角が表示されている。
図25の(A)は、仮想面の位置の調整の様子を、上から見たXZ平面で示す。特に、変更前の仮想面空間100aの第2仮想面102aから、変更後の仮想面空間100bの第2仮想面102bへ、平行移動された場合を示す。変更前の第2仮想面102aは、デフォルトとして、点P0から基準軸J0に対して斜め下の点C2aにある場合である。そこから右側の位置の点C2bに移動させた場合を示す。ユーザは、一本指またはつまむ操作によって、端子TS0に対応する点C2を操作し、所望の位置に移動させる。これに伴い、仮想面空間100は、元のサイズ及び傾きを維持したまま、全体的に位置が変更される。
図26の(A)は、他の仮想面の位置の調整の制御例を示す。本例では、左利きのユーザが左手で仮想面空間100の第2仮想面102を調整操作する様子を示す。変更前の第2仮想面102a(例えばデフォルトの設定状態)から変更後の第2仮想面102bに位置が平行移動される場合を示す。左利きのユーザにとって、仮想面は、自身の左側の位置に設定されている方が、一般的に使いやすい。ユーザは、調整操作として、第2仮想面102の1つの角点を一本指で指し示す操作を行う。表示装置1は、その調整操作を、位置調整操作として検出する。この操作は、前述のつまむ操作としてもよい。ユーザは、その角点の手指を所望の方向に動かす。例えば、元の位置から左下の好適な位置に動かされる。表示装置1は、その手指の位置に合わせて、仮想面空間100の全体の位置(点C0)を移動させる。
図27の(A)は、仮想面のサイズの調整の様子を、ユーザの視点から画面10及び第2仮想面102を見たXY平面で示す。特に、変更前の仮想面空間100aの第2仮想面102aから、変更後の仮想面空間100bの第2仮想面102bへ、比率一定でサイズを拡大する場合を示す。変更前後の第2仮想面102の中心点は点C2で変わらない。第2仮想面102aの4つの角点は、変更前の点p1a〜p4aから、変更後の点p1b〜p4bになっている。仮想面の縦横(SH,SV)の比率は、デフォルトでは、画面10の縦横の比率と同じである。本例では、サイズの調整の際、比率が一定に維持される。調整操作は、端子TS1〜TS4に対応するうちの任意の1つの角点をつまむ操作である。この操作は、一本指の操作としてもよい。ユーザは、例えば右手で右下の角点(点p4a)をつまむ操作によって、サイズを拡大する方向に動かす。この操作に伴い、仮想面空間100は、元の位置、比率、及び傾きを維持したまま、サイズが拡大される。サイズ縮小も同様に可能である。また、比率可変でサイズを変更する方式も同様に可能である。
図28は、他の仮想面のサイズの調整の制御例を示す。図28では、ユーザの視点から画面10及び第2仮想面102を見たXY平面で示す。ユーザが点P0から前方斜め下にある第2仮想面102のサイズを調整操作する様子、及びその際のフィードバック表示例を示す。変更前の第2仮想面102aから変更後の第2仮想面102bへ、横(長さSH)のサイズが縮小されて、比率が変わる場合を示す。調整操作は、仮想面の辺の中間点に対するつまむ操作等とする。これにより、仮想面の縦または横のサイズを変更可能とする。本例では、左右辺の2つの端子TS7,TS8に対応する2つの点を、両手で同時に操作することで、横の長さSHを変更可能とする。本例では、右手のつまむ操作によって右辺の中間点p7aを内側左に動かして点p7bにすると共に、左手のつまむ操作によって左辺の中間点p8aを内側右に動かして点p8bにしている。これにより、第2仮想面102aの横の長さSHaが、第2仮想面102bの横の長さSHbに変更されている。それと共に、第2仮想面102bの比率は、画面10の比率よりも縦長にされている。調整モード画面410では、操作された端子TS7,TS8が赤色にされ、横の長さSHの変更を表す矢印画像451が表示されている。上下辺の中間点の操作によって縦の長さSVについても同様に変更可能である。比率を一定にする方式も同様に可能である。
図29の(A)は、仮想面の傾きの調整の様子を、空間を横から見たYZ平面で示す。特に、仮想面の傾きをユーザから見て奥側に倒すように変更する場合を示す。変更前の仮想面空間100aの第1仮想面101a及び第2仮想面102aから、変更後の仮想面空間100bの第1仮想面101b及び第2仮想面102bへ変化している。変更前後の仮想面空間100の中心点は点C0で変わらない。第1仮想面101の傾き及び点C1と、第2仮想面102の傾き及び点C2とが変化している。
図30は、仮想面の傾きを調整する他の制御例を示す。図30の(A)は、第2仮想面102の傾きの調整操作の様子を示す。ユーザが両手で第2仮想面102の対角の2点をつまむ操作で、仮想面の傾きを奥に倒すように変更する場合を示す。変更前の第2仮想面102a、変更後の第2仮想面102bを示す。変更の際に、第2仮想面102の下辺の位置が殆ど変わらず、上辺が斜め下に移動する場合を示す。第2仮想面102bでは、傾きが水平面に近付いている。この場合、ユーザの手指を水平面に置くような感覚での仮想面操作がしやすくなる。
図31は、実施の形態1の変形例として、調整モード時の画面10の他のフィードバック表示例を示す。本例では、調整モード画面410に、カメラ基準位置(点Q0)からユーザ基準位置(点P0)を見た場合の模式的な正面図が表示される。この正面図は、ユーザ及びユーザ基準位置を表す画像480と、仮想面空間100(特に第2仮想面102)を表す仮想面枠画像481とを含む。ユーザの画像480は、カメラ画像を用いて作成した画像でもよいし、輪郭やアイコン等の模式的な画像でもよい。ユーザ基準位置(点P0)に合わせた位置に画像480が表示される。仮想面枠画像481は、点P0に対して相対的に決まる点C0に合わせた位置に表示される。仮想面枠画像481は、デフォルトの位置の場合である。また、調整に応じて、変更後の仮想面を表す仮想面枠画像482を表示してもよい。ユーザは、調整モード画面410を見ることで、現在の仮想面空間100の位置等の状態を概略的に確認できる。
図32は、第4変形例における調整方式として、ユーザの視界における画面10及び第2仮想面102の例を示す。第4変形例では、ユーザに対して明示的な調整モードを設けず、モード切り替えを行わず、画面10に調整モード画面410を表示しない。言い換えると、前述の調整モードは、表示装置1(遠隔操作制御部20)の内部処理として実現される。表示装置1は、通常利用時に、特定の調整操作を検出した場合に、リアルタイムで仮想面の調整を行い、設定情報203を更新する。調整操作は、前述と同様に、仮想面の角点に対する一定時間以上での一本指の操作、またはつまむ操作等とする。本例では、画面10に操作メニュー300やカーソル50が表示されている時、ユーザが第2仮想面102の対角の2つの角点のつまむ操作によって、仮想面の位置を調整する場合を示す。第2仮想面102の位置の点C2は、点C2aから点C2bに変更されている。
図33は、第5変形例における調整方式として、ユーザの視界で画面10及び第2仮想面102を見た状態を示す。第5変形例では、更に仮想面リセット機能を有する。この機能は、ある位置にある仮想面空間100の設定状態を、特定の操作によって取り消して、ユーザの所望の位置に再設定する機能である。第2仮想面102aは、現在の設定状態を示し、中心が点C2aであり、ユーザ基準位置から見て概略的に右側の位置、画面10からは右下の位置にあるとする。ユーザがこの第2仮想面102aの位置を忘れた場合や見失った場合、調整操作に少し手間がかかる。そこで、仮想面リセット機能を用いることができる。
図34を用いて、本発明の実施の形態2の表示装置及び遠隔操作制御装置について説明する。実施の形態2等における基本的な構成は、実施の形態1と同様である。以下では、実施の形態2等における実施の形態1とは異なる構成部分を説明する。実施の形態2では、表示装置1とは別に、遠隔操作制御装置3を有し、表示装置1と遠隔操作制御装置3とが通信で接続されており、連携して動作する。
図35を用いて、本発明の実施の形態3の表示装置について説明する。実施の形態3では、仮想面空間100の設定方式として、絶対方式を用いる。
図36を用いて、本発明の実施の形態4の表示装置について説明する。前述の実施の形態1等は、2台のカメラが配置された構成であるが、カメラの台数は、2台に限らず、3台以上としてもよい。実施の形態4では、3台のカメラを用いる。カメラの台数は、両眼視差による距離計測の計算を可能にするために、最低2台を用い、計算の精度や処理速度を上げる場合に、3台以上を用いる。
図37,図38を用いて、本発明の実施の形態5の表示装置について説明する。実施の形態5は、表示装置1としてプロジェクタに適用する場合を示す。プロジェクタは、デジタル入力データ等に基づいてスクリーン150の画面10に映像を投射表示する機能等を有する。プロジェクタの内部のハードウェア等の構成は公知技術を適用できる。
図39〜図42を用いて、本発明の実施の形態6の表示装置について説明する。実施の形態6では、遠隔操作制御に関連して、センサを用いて表示装置1の電源オン/オフ等の動作状態を制御することで、省電力化を実現する機能を有する。例えば、ユーザが表示装置1の近くにいる時のみ、表示装置1本体の表示機能や遠隔操作制御機能が電源オン状態にされる。
図39は、実施の形態6の表示装置1を含む表示システムの構成を示す。表示装置1は、テレビの場合であり、筐体にカメラ31,32を内蔵している例を示す。カメラ31,32のレンズ部分が外に露出している。カメラ31,32の撮影方向等が調整可能となっている。また、ユーザの手指の近くには、実施の形態4と同様にカメラ35が設置されている。カメラ35を省略した形態でもよい。表示装置1は、制御基板60、人感センサ61、主電源部62等を備えている。制御基板60には、プロセッサや前述の図2の各要素が電子回路として実装されている。各要素は、電源線や通信線で相互に接続されている。主電源部62は、表示装置1本体やカメラ31,32等の各部に電力を供給する。
図41は、表示装置1の第1制御処理フローを示す。図41の処理は主にMPU520によって行われる。図41は、ステップS1〜S11を有する。以下、ステップの順に説明する。
図42は、図41のS9の処理内容に対応する、表示装置1の第2制御処理フローを示す。図42の処理は主にMPU520によって行われ、特に図2の遠隔操作制御部20の処理に相当する処理を含む。図42は、ステップS21〜S33を有する。以下、ステップの順に説明する。
実施の形態6の変形例として、人感センサ61を用いて電源状態を制御する方式以外にも、カメラ画像を用いて電源状態を制御する方式等でもよい。通常時、カメラ31,32またはカメラ35が電源オン状態とされる。表示装置1は、そのカメラの撮影範囲内におけるユーザによる特定の操作を検出する。この特定の操作は、表示機能や遠隔操作制御機能の電源オン指示意図を表し、例えば、画面10またはそのカメラに対して手のひらを一定時間かざす等の簡単な操作である。この特定の操作は、仮想面操作とは異なる。表示装置1は、その特定の操作を、表示機能や遠隔操作制御機能の電源オン指示として対応付けて、表示装置1本体や遠隔操作制御機能をオン状態にする。同様に、カメラの撮影範囲内におけるユーザによる特定の操作を検出し、表示機能や遠隔操作制御機能の電源オフ指示として対応付けてもよい。
図43を用いて、本発明の実施の形態7の表示装置について説明する。実施の形態7は、表示装置1の遠隔操作制御機能を、複数のユーザが同時に利用できるように制御する機能を有する。表示装置1は、表示装置1の近くにいる複数人のユーザのうち、所定のユーザに仮想面空間100の操作権限を与える制御を行う。この機能は、例えば複数のユーザが1つの表示装置1の画面10に表示される資料等の映像を共有して見ながら会議等を行う場面において有用である。
図43は、実施の形態7の表示装置1を含む表示システムの構成を示す。本例は、会議システムに適用した場合を示す。本例では、画面10の映像を利用しながら会議を行う5人のユーザA〜Eがいる。ユーザA〜Eは、カメラ31,32の撮影範囲内に位置する。表示装置1は、カメラ画像から、ユーザA〜Eを各個人として区別して検出する。表示装置1は、ユーザA〜Eの各個人に、それぞれの専用の仮想面空間100を設定する。例えば、仮想面102Bは、ユーザBに設定された第2仮想面102を示す。仮想面102Cは、ユーザCに設定された第2仮想面102を示す。
各実施の形態の補足として以下である。表示装置1は、カメラ画像の解析に基づいて、ユーザの顔や頭の部分と、手指や腕の部分とを検出する際、ユーザ個人の身体の連続性や同一性を判定する。例えば、実施の形態7のように複数人の同時利用の場合、カメラ画像内における顔と、その近くにある手指とが、同一ユーザのものではない可能性もある。例えば、ユーザBの横からユーザAが腕を伸ばしてユーザBの仮想面に手指を進入する場合がある。表示装置1は、このような可能性も考慮し、カメラ画像の解析の際、ユーザ個人の身体の連続性及び同一性を判定する。表示装置1は、例えば、画像内で、ある顔領域から連続的に腕や手指の領域がつながっているかどうかを判定し、つながっている場合には同一ユーザのものと判定する。表示装置1は、画像内の顔と手指とが異なるユーザのものであると判定した場合には、遠隔操作として無効とする。
遠隔操作の際、基本的に、ユーザは、手に何も持たない状態で仮想面操作が可能である。これに限らず、ユーザは、手に指示棒等の物体を持った状態での仮想面操作も可能である。この場合、表示装置1は、ユーザ設定等に基づいて、カメラ画像から、その所定の指示棒等の物体を検出する。表示装置1は、手指とその物体との連続性も判定する。表示装置1は、その物体の先端の位置を表す点を、点F0として検出する。表示装置1は、予め、指示棒等の物体の画像を登録しておき、カメラ画像からの検出の際に、その物体の色や形状等を検出し、制御に利用してもよい。
Claims (22)
- 画面に対するユーザの遠隔操作による操作入力を制御する機能を持つ表示装置であって、
前記画面を視聴する前記ユーザを含む範囲を撮影する少なくとも2つのカメラを含む撮影部を備え、
前記撮影部の撮影映像の解析によって、前記2つのカメラの基準位置を表す第1点に対する、前記ユーザの身体の一部に対応付けられたユーザ基準位置を表す第2点と、前記ユーザの手指の位置を表す第3点と、を検出し、
空間内において、前記第2点から第1方向へ所定の長さの位置の第4点に、少なくとも1つの仮想面を含む仮想面空間を設定し、
前記第3点と前記仮想面空間との距離を含む、前記仮想面空間に対する前記手指の進入度合いを計算し、
前記進入度合いに基づいて、前記仮想面空間に対する前記手指の所定の操作を判定し、
前記第3点の位置座標、または前記第3点に対応付けられた前記画面内の第5点の位置座標と、前記所定の操作を表す操作情報とを含む、操作入力情報を生成し、
前記操作入力情報に基づいて、前記表示装置の前記画面の表示制御を含む動作を制御する、
表示装置。 - 請求項1記載の表示装置において、
前記第1方向及び所定の長さを含む、前記仮想面空間を表す設定情報を保存し、
前記ユーザの手指による前記仮想面空間に対する調整操作を判定し、前記調整操作に応じて、前記仮想面空間の位置、サイズ、及び傾きの少なくとも1つを、リアルタイムで変更し、前記設定情報を更新する、
表示装置。 - 請求項1記載の表示装置において、
前記第3点の位置座標、及び前記進入度合いに応じて、前記画面内の前記第5点に前記手指の存在及び位置を表すポインタ画像を表示するように制御する、
表示装置。 - 請求項2記載の表示装置において、
前記調整操作の際、前記画面に、前記仮想面空間の前記調整操作の状態を前記ユーザに伝えるための仮想面枠画像を含む画像情報を表示する、
表示装置。 - 請求項2記載の表示装置において、
前記調整操作の際、前記画面に、前記ユーザ基準位置と前記仮想面空間との位置関係を含む空間の状態を前記ユーザに伝えるための模式図を含む画像情報を表示する、
表示装置。 - 請求項1記載の表示装置において、
前記所定の操作として、前記第3点が前記仮想面以降奥に進入する第1操作と、前記第3点が前記仮想面以降奥に進入してから前記仮想面よりも手前に戻る第2操作と、前記第3点が前記仮想面以降奥に進入してから面内方向で移動する第3操作と、を区別して検出する、
表示装置。 - 請求項3記載の表示装置において、
前記仮想面空間は、前記第2点から第1長さの位置に設定される第1仮想面と、前記第2点から前記第1長さよりも大きい第2長さの位置に設定される第2仮想面と、を有し、
前記第3点が前記第1仮想面以降奥に進入した場合、前記画面内の前記第5点の位置に前記ポインタ画像を表示する、
表示装置。 - 請求項7記載の表示装置において、
前記第3点と前記第2仮想面との距離に応じて、前記ポインタ画像のサイズまたは色または形状タイプを変えるように表示を制御する、
表示装置。 - 請求項1記載の表示装置において、
前記仮想面空間の前記第4点の位置は、前記第2点と前記画面とを結ぶ第1基準軸上の位置、または前記第1基準軸に対して角度を持つ第2基準軸上の位置に、前記設定が可能であり、
前記仮想面空間の縦横のサイズは、前記画面の縦横のサイズと同じまたは異なるように、前記設定が可能であり、
前記仮想面空間の傾きは、前記画面の傾きと同じまたは異なるように、前記設定が可能である、
表示装置。 - 請求項1記載の表示装置において、
前記仮想面空間は、前記画面の全体の領域または一部の領域に対して、点の位置が対応付けられるように設定され、
前記画面に前記表示装置の動作を制御するための操作パネルが表示されている場合に、前記仮想面空間内の位置に対する前記所定の操作が前記操作パネル内の位置に対する操作入力として対応付けられる、
表示装置。 - 請求項2記載の表示装置において、
前記調整操作は、前記手指によって前記仮想面空間の所定の2つの点を所望の方向に動かす操作を含み、
前記調整操作に応じて、前記仮想面空間の位置、サイズ、及び傾きを同時に変更可能である、
表示装置。 - 請求項1記載の表示装置において、
前記撮影映像の解析の際、前記2つのカメラの両眼視差に基づいた距離計測を用いて、前記第3点の位置座標を検出する、
表示装置。 - 請求項2記載の表示装置において、
前記撮影部を用いて前記ユーザについての個人認識を行い、
前記仮想面空間は、前記ユーザが個人として認識できない場合には、デフォルト設定情報を用いて設定され、前記ユーザが個人として認識できる場合には、前記個人に応じて設定されている前記設定情報を用いて前記調整が反映された状態で設定される、
表示装置。 - 請求項2記載の表示装置において、
前記調整操作は、前記仮想面空間の所定の点を手の二本の指でつまんでまたは囲んで動かす、つまむ操作を含み、
前記つまむ操作に応じて、前記仮想面空間の位置、サイズ、及び傾きの少なくとも1つを変更可能である、
表示装置。 - 請求項2記載の表示装置において、
前記調整操作は、前記手指によって前記仮想面空間の位置調整用の点を所望の方向に動かす位置調整操作と、前記手指によって前記仮想面空間のサイズ調整用の点を所望の方向に動かすサイズ調整操作と、前記手指によって前記仮想面空間の傾き調整用の点を所望の方向に動かす傾き調整操作と、を含み、
前記位置調整操作に応じて前記仮想面空間の位置のみを変更可能であり、
前記サイズ調整操作に応じて前記仮想面空間のサイズのみを変更可能であり、
前記傾き調整操作に応じて前記仮想面空間の傾きのみを変更可能であり、
前記画面に、前記仮想面空間の前記位置調整用の点、前記サイズ調整用の点、及び前記傾き調整用の点、を前記ユーザに伝えるための画像情報を表示する、
表示装置。 - 請求項2記載の表示装置において、
通常モードと調整モードとを有し、
前記通常モード時には、前記ユーザによる前記仮想面空間に対する前記所定の操作、及び調整モード切り替え操作を受け付け、前記調整モード切り替え操作を検出した場合には前記調整モードに切り替え、
前記調整モード時には、前記調整操作、及び通常モード切り替え操作を受け付け、前記調整操作を検出した場合には前記調整を行い、前記通常モード切り替え操作を検出した場合には前記通常モードに切り替える、
表示装置。 - 請求項2記載の表示装置において、
空間内で前記ユーザの手指が2つの点の位置を指し示すリセット操作を判定し、前記リセット操作を検出した場合に、前記2つの点の位置を対角とする矩形を仮想面として前記仮想面空間を再設定し、前記設定情報を更新する、
表示装置。 - 請求項2記載の表示装置において、
前記ユーザ基準位置に依らずに、前記2つのカメラの基準位置の前記第1点、または前記画面の中心点から、第2方向へ所定の長さの位置の前記第4点に、前記仮想面空間を設定して、前記第2方向及び所定の長さを含む、前記仮想面空間の前記設定情報を保存する、
表示装置。 - 請求項1記載の表示装置において、
前記撮影部は、前記ユーザの手指の近くに配置される増設カメラを含み、
前記2つのカメラの撮影映像と前記増設カメラの撮影映像とを用いて、前記第3点の位置座標を検出する、
表示装置。 - 請求項1記載の表示装置において、
前記表示装置の周囲の人の存在を検出するセンサを備え、
前記人の存在を検出した時には、前記撮影部を電源オン状態にして撮影を開始させ、前記仮想面空間を用いた前記遠隔操作の機能または前記表示装置の表示機能をオン状態にし、
前記人の存在を検出できない時には、前記撮影部を電源オフ状態にして撮影を終了させ、前記仮想面空間を用いた前記遠隔操作の機能または前記表示装置の表示機能をオフ状態にする、
表示装置。 - 請求項1記載の表示装置において、
前記ユーザとして複数のユーザが同時に前記遠隔操作を利用する場合に、前記ユーザ毎に前記仮想面空間を設定し、
前記複数のユーザにおける複数の仮想面空間のうち、先にいずれかの仮想面空間に手指を進入した所定人数までのユーザに、前記遠隔操作の権限を与え、
前記画面に、現在時点で前記権限を持つユーザの手指の存在及び位置を表すポインタ画像、及び前記権限を持つユーザを表す画像情報を表示する、
表示装置。 - 表示装置に接続され、前記表示装置の画面に対するユーザの遠隔操作による操作入力を制御する機能を持つ遠隔操作制御装置であって、
前記画面を視聴する前記ユーザを含む範囲を撮影する少なくとも2つのカメラを含む撮影部を備え、
前記撮影部の撮影映像の解析によって、前記2つのカメラの基準位置を表す第1点に対する、前記ユーザの身体の一部に対応付けられたユーザ基準位置を表す第2点と、前記ユーザの手指の位置を表す第3点と、を検出し、
空間内において、前記第2点から第1方向へ所定の長さの位置の第4点に、少なくとも1つの仮想面を含む仮想面空間を設定し、
前記第3点と前記仮想面空間との距離を含む、前記仮想面空間に対する前記手指の進入度合いを計算し、
前記進入度合いに基づいて、前記仮想面空間に対する前記手指の所定の操作を判定し、
前記第3点の位置座標、または前記第3点に対応付けられた前記画面内の第5点の位置座標と、前記所定の操作を表す操作情報とを含む、操作入力情報を生成し、
前記操作入力情報に基づいて、前記表示装置の前記画面の表示制御を含む動作を制御する、
遠隔操作制御装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/003711 WO2018142524A1 (ja) | 2017-02-02 | 2017-02-02 | 表示装置、及び遠隔操作制御装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020184934A Division JP2021015637A (ja) | 2020-11-05 | 2020-11-05 | 表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018142524A1 true JPWO2018142524A1 (ja) | 2019-11-07 |
JP6791994B2 JP6791994B2 (ja) | 2020-11-25 |
Family
ID=63040357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018565151A Active JP6791994B2 (ja) | 2017-02-02 | 2017-02-02 | 表示装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11089351B2 (ja) |
JP (1) | JP6791994B2 (ja) |
CN (2) | CN110199251B (ja) |
WO (1) | WO2018142524A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142420A1 (ja) * | 2018-01-22 | 2019-07-25 | ソニー株式会社 | 情報処理装置および情報処理方法 |
WO2020070821A1 (ja) * | 2018-10-03 | 2020-04-09 | 富士通株式会社 | 生体認証装置、生体認証方法、及び生体認証プログラム |
US10942637B2 (en) * | 2018-10-09 | 2021-03-09 | Midea Group Co., Ltd. | Method and system for providing control user interfaces for home appliances |
CN109121031B (zh) * | 2018-10-29 | 2020-11-17 | 歌尔科技有限公司 | 一种音频设备定向显示方法、装置和音频设备 |
JP2020149152A (ja) * | 2019-03-11 | 2020-09-17 | 株式会社デンソーテン | 制御装置および制御方法 |
CN110456957B (zh) * | 2019-08-09 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 显示交互方法、装置、设备、存储介质 |
CN110493625A (zh) * | 2019-09-11 | 2019-11-22 | 四川长虹电器股份有限公司 | 基于摄像头的平板电视遥控系统及方法 |
JP2021071944A (ja) * | 2019-10-31 | 2021-05-06 | ソニー株式会社 | 画像表示装置 |
CN110868750B (zh) * | 2019-11-13 | 2022-02-18 | 联想(北京)有限公司 | 信息处理方法以及第一电子设备 |
US11513604B2 (en) | 2020-06-17 | 2022-11-29 | Motorola Mobility Llc | Selectable response options displayed based-on device grip position |
CN113949936A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 一种电子设备的屏幕交互方法及装置 |
JP2022081966A (ja) * | 2020-11-20 | 2022-06-01 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN112331127B (zh) * | 2020-11-30 | 2023-06-20 | 武汉天马微电子有限公司 | 显示面板的驱动方法、显示面板和显示装置 |
JP7318670B2 (ja) * | 2021-01-27 | 2023-08-01 | セイコーエプソン株式会社 | 表示方法および表示システム |
CN112938672B (zh) * | 2021-02-24 | 2022-12-09 | 深圳市呤云科技有限公司 | 一种基于图像矩阵变化的无接触电梯按键触发方法及装置 |
WO2023003759A1 (en) * | 2021-07-22 | 2023-01-26 | Dathomir Laboratories Llc | Multi-modal tracking of an input device |
US20230141680A1 (en) * | 2021-11-10 | 2023-05-11 | Pencil Learning Technologies, Inc. | Multi-user collaborative interfaces for streaming video |
US11726734B2 (en) | 2022-01-13 | 2023-08-15 | Motorola Mobility Llc | Configuring an external presentation device based on an impairment of a user |
US20230221838A1 (en) * | 2022-01-13 | 2023-07-13 | Motorola Mobility Llc | Configuring An External Presentation Device Based On User Handedness |
CN114428574B (zh) * | 2022-01-21 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 操作控制方法、装置和存储介质及电子设备 |
EP4258087A1 (en) * | 2022-04-08 | 2023-10-11 | ameria AG | Calibration method for an electronic display screen for touchless gesture control |
CN115033170A (zh) * | 2022-05-20 | 2022-09-09 | 阿里巴巴(中国)有限公司 | 一种基于虚拟键盘的输入控制系统、方法及相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
JP2013016060A (ja) * | 2011-07-05 | 2013-01-24 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
US20150058811A1 (en) * | 2013-08-20 | 2015-02-26 | Utechzone Co., Ltd. | Control system for display screen, input apparatus and control method |
JP2016134022A (ja) * | 2015-01-20 | 2016-07-25 | エヌ・ティ・ティ アイティ株式会社 | 仮想タッチパネルポインティングシステム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
JP2004258837A (ja) | 2003-02-25 | 2004-09-16 | Nippon Hoso Kyokai <Nhk> | カーソル操作装置、その方法およびそのプログラム |
JP4481280B2 (ja) | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
KR20090063679A (ko) * | 2007-12-14 | 2009-06-18 | 삼성전자주식회사 | 포인팅 기능을 구비한 영상표시장치 및 그 방법 |
CA2811868C (en) * | 2010-09-22 | 2017-05-09 | Shimane Prefectural Government | Operation input apparatus, operation input method, and program |
US20130342572A1 (en) * | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
JP2014045232A (ja) * | 2012-08-24 | 2014-03-13 | Hitachi Consumer Electronics Co Ltd | 遠隔操作システム、及び端末装置 |
CN105308536A (zh) * | 2013-01-15 | 2016-02-03 | 厉动公司 | 用于显示器控制和定制姿势解释的动态用户交互 |
KR101533319B1 (ko) * | 2014-02-22 | 2015-07-03 | 주식회사 브이터치 | 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법 |
US10264211B2 (en) * | 2014-03-14 | 2019-04-16 | Comcast Cable Communications, Llc | Adaptive resolution in software applications based on dynamic eye tracking |
DE102014114742A1 (de) * | 2014-10-10 | 2016-04-14 | Infineon Technologies Ag | Eine Vorrichtung zum Erzeugen eines Anzeigensteuerungssignals und ein Verfahren derselben |
US11188154B2 (en) * | 2018-05-30 | 2021-11-30 | International Business Machines Corporation | Context dependent projection of holographic objects |
-
2017
- 2017-02-02 CN CN201780083772.8A patent/CN110199251B/zh active Active
- 2017-02-02 JP JP2018565151A patent/JP6791994B2/ja active Active
- 2017-02-02 CN CN202210630439.7A patent/CN115016678A/zh active Pending
- 2017-02-02 WO PCT/JP2017/003711 patent/WO2018142524A1/ja active Application Filing
- 2017-02-02 US US16/481,080 patent/US11089351B2/en active Active
-
2021
- 2021-07-06 US US17/367,794 patent/US11470377B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
JP2013016060A (ja) * | 2011-07-05 | 2013-01-24 | Shimane Prefecture | 操作入力装置および操作判定方法並びにプログラム |
US20150058811A1 (en) * | 2013-08-20 | 2015-02-26 | Utechzone Co., Ltd. | Control system for display screen, input apparatus and control method |
JP2016134022A (ja) * | 2015-01-20 | 2016-07-25 | エヌ・ティ・ティ アイティ株式会社 | 仮想タッチパネルポインティングシステム |
Non-Patent Citations (1)
Title |
---|
中道 上: "大画面インタラクションのためのリモートタッチポインティング", インタラクション2013 情報処理学会 シンポジウムシリーズ VOL.2013 NO.1 [CD−R, vol. 2013, no. 1, JPN6020017935, 2 March 2013 (2013-03-02), JP, pages 762 - 763, ISSN: 0004274511 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018142524A1 (ja) | 2018-08-09 |
JP6791994B2 (ja) | 2020-11-25 |
US11089351B2 (en) | 2021-08-10 |
CN110199251A (zh) | 2019-09-03 |
CN115016678A (zh) | 2022-09-06 |
US20200389691A1 (en) | 2020-12-10 |
CN110199251B (zh) | 2022-06-24 |
US11470377B2 (en) | 2022-10-11 |
US20210337260A1 (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6791994B2 (ja) | 表示装置 | |
US10606441B2 (en) | Operation control device and operation control method | |
JP7369834B2 (ja) | 表示装置 | |
KR101198727B1 (ko) | 화상투영장치 및 그 제어 방법 | |
US8818027B2 (en) | Computing device interface | |
EP2950180B1 (en) | Method for determining screen display mode and terminal device | |
WO2016021022A1 (ja) | 投写型映像表示装置及びその制御方法 | |
WO2009148064A1 (ja) | 画像認識装置および操作判定方法並びにプログラム | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
JP2011081506A (ja) | 映像表示装置、および、その表示制御方法 | |
US11076125B2 (en) | Information processing apparatus and information processing method | |
JP2012238293A (ja) | 入力装置 | |
JP2020204914A (ja) | 電子機器およびその制御方法 | |
WO2018083737A1 (ja) | 表示装置及び遠隔操作制御装置 | |
KR20120136719A (ko) | 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법 | |
JP4712754B2 (ja) | 情報処理装置及び情報処理方法 | |
CN109683718A (zh) | 一种交互显示装置及方法 | |
JP4687820B2 (ja) | 情報入力装置及び情報入力方法 | |
JP2015163930A (ja) | 画像投射装置、画像投射装置の制御方法、および画像投射装置の制御プログラム | |
JP6170457B2 (ja) | プレゼンテーション管理装置およびプレゼンテーション管理プログラム | |
JP2020149336A (ja) | 情報処理装置、表示制御方法、及びプログラム | |
JP2021036440A (ja) | 情報処理装置 | |
JP2016066837A (ja) | 制御システム、携帯端末装置、操作対象物制御装置、携帯端末装置用プログラムおよび操作対象物制御装置用プログラム | |
JP2016045918A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6791994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |