WO2014181587A1 - 携帯端末装置 - Google Patents

携帯端末装置 Download PDF

Info

Publication number
WO2014181587A1
WO2014181587A1 PCT/JP2014/057662 JP2014057662W WO2014181587A1 WO 2014181587 A1 WO2014181587 A1 WO 2014181587A1 JP 2014057662 W JP2014057662 W JP 2014057662W WO 2014181587 A1 WO2014181587 A1 WO 2014181587A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
terminal device
display unit
camera
virtual
Prior art date
Application number
PCT/JP2014/057662
Other languages
English (en)
French (fr)
Inventor
文仁 近藤
Original Assignee
株式会社セガ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社セガ filed Critical 株式会社セガ
Publication of WO2014181587A1 publication Critical patent/WO2014181587A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a technique for controlling another device by a mobile terminal device.
  • monitor screens of televisions and the like have been expanding, and accordingly, the viewing position has also moved away from the monitor screen.
  • the input operation for a mobile terminal device such as a smartphone is generally a touch input to a touch panel provided in the mobile terminal device, and it seems that the object displayed on the screen of the mobile terminal device is directly touched. Intuitive operation is accepted.
  • the pointing device disclosed in Patent Document 1 extracts the contour of the monitor screen from the image, the three-dimensional information (position information in the space) of the monitor screen is not acquired, and the monitor screen becomes a video camera.
  • the input to the touch panel may not be accurately converted to coordinates on the monitor screen.
  • the extracted contour is a trapezoid
  • the pointing device disclosed in Patent Document 1 can be applied only to the monitor screen, and cannot be used to control other various devices.
  • the present invention has been proposed in view of the above-described conventional problems, and an object of the present invention is to enable intuitive operation with respect to a wide range of devices in consideration of a three-dimensional arrangement. is there.
  • a display unit provided on the front surface of the housing, a touch panel integrated with the display unit, a back surface of the housing,
  • a virtual three-dimensional space is constructed based on a camera having a field of view in the rear and normal directions, display means for displaying a captured image of the camera on the display unit in real time, and the captured image of the camera, and the captured image Position information calculating means for detecting the presence of an object in the virtual three-dimensional space and calculating the position information in the virtual three-dimensional space, and when there is a touch input on the touch panel, the touch input position on the touch panel is Based on the position of the detected intersection point, the intersection detection means for detecting the intersection point between the normal vector passing through and the recognition area preset in the object positioned in the virtual three-dimensional space, So that and an operating message transmitting means for transmitting the operation message to the control device of the elephant thereof.
  • FIG. 1 It is a figure which shows the structural example of the system concerning one Embodiment of this invention. It is a figure which shows the example which used the big screen monitor as an operation target. It is a figure which shows the example of the marker which sets the recognition area
  • FIG. 1 is a diagram showing a configuration example of a system according to an embodiment of the present invention.
  • a mobile terminal device 1 is an information processing device such as a tablet or a smartphone.
  • a screen / touch panel 12 is provided on the front surface, and a camera 11 is provided on the back surface.
  • the camera 11 is arranged so as to have a field of view in the normal direction of the back direction of the screen / touch panel 12.
  • one or a plurality of operation objects 2 to be operated by the mobile terminal device 1 are provided, and the operation object 2 is provided with an operation object control device 3 for controlling the operation object 2.
  • the portable terminal device 1 and the operation target control device 3 communicate with each other by WiFi, Bluetooth (registered trademark), infrared rays, or the like.
  • WiFi wireless local area network
  • Bluetooth registered trademark
  • infrared rays or the like.
  • the operation target object 2 and the operation target object control apparatus 3 were shown as a different body, the operation target object 2 and the operation object control apparatus 3 may be comprised integrally.
  • the operation object 2 is imaged by the camera 11 of the mobile terminal device 1 and the user touches and operates (tap, drag and drop, flick, etc.) on the screen / touch panel 12 on which the captured content is displayed in real time.
  • the operation target object 2 can be operated via the operation target object control device 3.
  • FIG. 2 is a diagram showing an example in which a large screen monitor (image display device) is used as the operation object 2.
  • the buttons and characters displayed on the large screen monitor can be operated by touching the screen of the mobile terminal device 1.
  • FIG. 3 is a diagram illustrating an example of the marker 21 for setting the recognition area of the operation target object 2.
  • FIG. 3A shows a rectangular area formed by four markers 21 set as a recognition area by sticking the markers 21 to the four corners of the screen with a card or a sticker.
  • the marker 21 describes figures, symbols, and the like in a predetermined format. By analyzing this from an image captured by the camera 11 of the mobile terminal device 1, the three-dimensional position and marker of each marker 21 are analyzed. The angle (direction) at which 21 faces can be recognized.
  • FIG. 3B replaces the marker 21 with a screen display so that it is not necessary to attach a card or a sticker.
  • the marker 21 does not need to be displayed at all times, and may be displayed at the time of initial recognition.
  • the display without using visible light can eliminate a sense of incongruity.
  • FIG. 3 shows the case where a recognition area is set by a plurality of markers 21, there may be a case where even one marker 21 can set a recognition area.
  • one marker 21 is used, and a predetermined range around it is set as a recognition area. Can do.
  • the range of the size and shape indicated by the read information is set as the recognition area on the basis of one marker 21. be able to.
  • FIG. 4 is a diagram illustrating an example in which a lighting fixture is used as the operation target object 2.
  • ON / OFF of a lighting fixture, a light quantity, a luminescent color, etc. can be operated by touching the screen of the portable terminal device 1.
  • a marker (21) is provided on the outer surface of the operation target 2 in order to set a recognition area, as in FIG.
  • FIG. 5 is a diagram illustrating a configuration example of the mobile terminal device 1.
  • the mobile terminal device 1 includes a power system 101, a main system 102 including a processor 103, a memory controller 104, and a peripheral interface 105, a storage unit 106, an external port 107, a high-frequency circuit 108, an antenna 109, , An audio circuit 110, a speaker 111, a microphone 112, a proximity sensor 113, a GPS (Global Positioning System) circuit 114, a display controller 116, an optical sensor controller 117, and an input controller 118. ) Subsystem 115, touch-responsive display system 119, optical sensor 120, and input unit 121.
  • the optical sensor 120 corresponds to the camera 11, and the touch-responsive display system 119 corresponds to the screen / touch panel 12.
  • FIG. 6 is a diagram illustrating a configuration example of the operation target object control device 3.
  • the operation target control device 3 includes a computer device (including a game device) 31 and an interface device 32 as necessary.
  • a computer device including a game device
  • an interface device 32 that mediates exchange of state signals and control signals between the operation target 2 and the computer device 31 is provided.
  • FIG. 7 is a flowchart showing a processing example of the above embodiment, and shows the processing contents of the mobile terminal device 1.
  • the mobile terminal device 1 takes in the video signal of the camera 11 as data and makes it operable from the program (step S101).
  • this data is obtained by converting a camera image into a collection of RGB (Red, Green, Blue) points (pixels).
  • RGB Red, Green, Blue
  • the mobile terminal device 1 recognizes a plurality of objects (corresponding to the recognition area of the operation object 2) based on the marker 21 (FIG. 3), and obtains basic data necessary for operation (step S102).
  • the basic data is matrix information about the recognized object, and indicates in which position, at which angle, and in which size the object exists in the three-dimensional space.
  • processing can be performed using an AR library of QUALCOM.
  • the mobile terminal device 1 accumulates basic data and obtains interrelation data while repeating at high speed (step S103).
  • the interrelation data is relative position data between the objects to be recognized or between the object to be recognized and the camera 11.
  • the mobile terminal device 1 follows real-time changes such as movement of the object based on the correlation data, and corrects camera shake or the like (step S104).
  • a correction -When there are multiple pieces of matrix information for recognizing the object, processing is performed to exclude inaccurate ones. If there is a unique value only at a certain moment while repeating at high speed, processing is performed.
  • step S101 to S104 By continuing to recalculate video analysis and mutual position recognition at high speed (steps S101 to S104), it is possible to follow changes such as movement of the mobile terminal device 1 and the operation target 2 at hand.
  • the mobile terminal device 1 performs the following processing.
  • a normal line (normal vector) is virtually extended from the touch position to the back surface of the mobile terminal device 1, and an object exists on the normal line. If it exists, the corresponding operation target position is obtained by obtaining the intersection with the three-dimensional surface of the operation target 2 (step S105).
  • FIG. 8 shows the concept of the processing.
  • the operation target object 2OBJ corresponds to the recognition area of the operation target object 2.
  • the mobile terminal device 1 specifies the operation target 2 to be the operation target from the operation target position and the effective range of the target (step S106). That is, when each of the plurality of objects has an effective range (in the case of a screen, a rectangle), the operation object 2 is specified by determining which one should be preferentially operated. As a determination criterion, priority is given to the vicinity (closer to the portable terminal device 1) as a standard.
  • the mobile terminal device 1 converts the operation target position into the coordinates of the operation target object 2 (step S107). That is, the part where the normal line for operation intersects the specific shape of the target object is obtained, and when the shape is a solid having a plurality of faces, the intersection of each of the closed faces Evaluate and transform coordinates. In the three-dimensional shape, there are cases where intersections are established with respect to a plurality of surfaces, but the vicinity is given priority. Which of the plurality of intersecting points is to be preferentially operated (priority is given priority in principle) is determined, and local matrix information of the target device is generated.
  • the mobile terminal device 1 calculates local data for controlling the operation target 2 based on the converted coordinates (step S108).
  • the tap is determined by touching and separating the screen / touch panel 12 of the mobile terminal device 1.
  • the second pattern means that drag and drop can be realized by moving the hand device or the target device without moving the fingertip while tapping.
  • Flick is valid when an operation equivalent to a flick is performed on the touch panel of the local device. This is because it is naturally accepted that the target device is affected by the distance and angle and input is difficult, and that it is established by the feeling of touching the hand device. The determination itself of whether or not a flick has been established at the hand device is left to the OS or driver of the hand device. This is to avoid creating a sense of incongruity by using the same conditions as are used normally.
  • Flick determination is based on the condition that the slide distance on the touch panel is equal to or longer than the predetermined distance and the time taken for the slide is within a predetermined time. Is determined to have been performed on the touch panel.
  • the mobile terminal device 1 when the event is established, the mobile terminal device 1 generates a message in which its own device ID is added to the local data (step S109).
  • the mobile terminal device 1 transmits a message to the operation object control device 3 that controls the operation object 2 (step S110).
  • the message may be data equivalent to a mouse, but since the number of gesture patterns that can be input at the local terminal is expected to increase, the message system is a general-purpose message system that leaves an undefined area that can be expanded.
  • the operation target control device 3 that has received the message performs processing corresponding to the message and reflects the result on the operation target 2.
  • the operation object 2 is a large screen monitor (FIG. 2)
  • operations such as tapping, dragging and dropping, flicking, etc. on the buttons, icons and characters displayed on the large screen monitor are applied, and the operation process and result images are displayed. Display on a large screen monitor.
  • the operation target 2 is a lighting fixture (FIG. 4)
  • the power ON / OFF, the light amount, the emission color, and the like are controlled according to the operation content.
  • a response message may be received from the operation target object control device 3, and processing corresponding to the received message may be performed.
  • the input operation to the touch panel has been mainly described.
  • the recognized operation object and the image linked to the operation can be superimposed and displayed on the touch panel.
  • the position information of the object in the virtual three-dimensional space can be used, for example, the intersection with the recognition area (coordinate position of the target device) detected based on the operation on the touch panel flies from the touch panel.
  • the coordinate position of the target device that the user is trying to operate is indicated by compositing and displaying an image of the object to be moved (such as an arrow or a ball)
  • the object moves in the space containing the target object. can be displayed. Thereby, the user can operate more intuitively.
  • FIG. 9 shows an example in which an image 202 such as a title is displayed along the upper end of the image 201 of the operation target 2 on the screen of the mobile terminal device 1 and a character image 203 is displayed on the left side.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

広範な機器に対して３次元的な配置を考慮して直観的に操作できるようにする。 筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、前記カメラの撮像画像に基づいて仮想３次元空間を構築し、前記撮像画像に対象物が含まれていることを検出して前記仮想３次元空間内での位置情報を算出する位置情報算出手段と、前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段と、検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段とを備える。

Description

携帯端末装置
　本発明は携帯端末装置により他の機器を制御する技術に関する。
　近年、テレビ等のモニタ画面は拡大傾向にあり、それに伴って視聴位置もモニタ画面から遠ざかるようになっている。
　また、スマートフォン等の携帯端末装置に対する入力操作は、携帯端末装置に設けられたタッチパネルへのタッチ入力が一般的となっており、携帯端末装置の画面に表示されているオブジェクトに直接触れるかのような、直観的な操作が受け入れられている。
　モニタ画面の表示を制御するには遠隔操作とならざるを得ないが、手元の携帯端末装置にビデオカメラを設け、取り込んだ画像からモニタ画面の輪郭を抽出し、タッチパネルに表示することで、モニタ画面上の座標を直接指示し得るポインティング装置が提案されている（例えば、特許文献１参照。）。
特開平７－１０４９２８号公報
　特許文献１に開示されたポインティング装置は、画像からモニタ画面の輪郭を抽出しているため、モニタ画面の３次元情報（空間中の位置情報）を取得しておらず、モニタ画面がビデオカメラに対して正対していない場合にはタッチパネルへの入力が正確にモニタ画面上の座標に変換されないことが考えられる。
　例えば、抽出した輪郭が台形だった場合、モニタ画面が台形でビデオカメラに正対しているのか、モニタ画面が矩形でビデオカメラに傾斜しているのか区別することができない。
　また、特許文献１に開示されたポインティング装置は、モニタ画面についてしか適用することができず、その他の種々の機器の制御に用いることはできない。
　本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、広範な機器に対して３次元的な配置を考慮して直観的に操作できるようにすることにある。
　上記の課題を解決するため、本発明にあっては、筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、前記カメラの撮像画像に基づいて仮想３次元空間を構築し、前記撮像画像に対象物が含まれていることを検出して前記仮想３次元空間内での位置情報を算出する位置情報算出手段と、前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段と、検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段とを備えるようにしている。
　本発明にあっては、広範な機器に対して３次元的な配置を考慮して直観的に操作することができる。
本発明の一実施形態にかかるシステムの構成例を示す図である。 操作対象物として大画面モニタを用いた例を示す図である。 操作対象物の認識領域を設定するマーカの例を示す図である。 操作対象物として照明器具を用いた例を示す図である。 携帯端末装置の構成例を示す図である。 操作対象物制御装置の構成例を示す図である。 実施形態の処理例を示すフローチャートである。 実空間における操作対象位置算出の概念を示す図である。 携帯端末装置の画面／タッチパネルへの画像の重畳の例を示す図である。
　以下、本発明の好適な実施形態につき説明する。
　＜構成＞
　図１は本発明の一実施形態にかかるシステムの構成例を示す図である。
　図１において、携帯端末装置１はタブレット、スマートフォン等の情報処理装置であり、前面に画面／タッチパネル１２が設けられ、背面にカメラ１１が設けられている。カメラ１１は、画面／タッチパネル１２の背面方向の法線方向に視野を持つように配置されている。
　また、携帯端末装置１により操作の対象となる単数もしくは複数の操作対象物２が設けられ、操作対象物２には操作対象物２を制御する操作対象物制御装置３が設けられている。携帯端末装置１と操作対象物制御装置３は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等により通信を行うようになっている。なお、操作対象物２と操作対象物制御装置３を別体として示したが、操作対象物２と操作対象物制御装置３を一体に構成してもよい。
　携帯端末装置１のカメラ１１により操作対象物２を撮像し、撮像した内容がリアルタイムに表示される画面／タッチパネル１２の上をユーザがタッチして操作（タップ、ドラッグアンドドロップ、フリック等）することにより、操作対象物制御装置３を介して操作対象物２を操作することができる。
　図２は操作対象物２として大画面モニタ（画像表示装置）を用いた例を示す図である。この場合、大画面モニタに表示されたボタンやキャラクタを、携帯端末装置１の画面にタッチすることで操作することができる。
　図３は操作対象物２の認識領域を設定するマーカ２１の例を示す図である。図３（ａ）は、カードもしくはステッカー等によりマーカ２１を画面の四隅に貼り付けることにより、４個のマーカ２１により形成される矩形領域を認識領域として設定したものである。マーカ２１には、所定の形式で図形や記号等が記載されており、これを携帯端末装置１のカメラ１１により撮像した画像から解析することで、個々のマーカ２１の３次元的な位置やマーカ２１の面する角度（方向）を認識することができる。
　図３（ｂ）は、マーカ２１を画面表示により代用することで、カードやステッカー等を貼り付けるのを不要にしたものである。マーカ２１は常時表示する必要はなく、初回認識の際に表示されていればよい。また、可視光を用いない表示とすることで、違和感をなくすこともできる。
　なお、図３では複数のマーカ２１により認識領域を設定する場合について示したが、マーカ２１は１個でも認識領域を設定することができる場合がある。例えば、操作対象物２の形状が複雑でなく、マーカ２１と同じ程度の大きさであり、制御も大まかでよい場合は、マーカ２１を１個とし、その周辺の所定範囲を認識領域とすることができる。また、マーカ２１から読み取ることのできる情報に、認識領域の大きさや形状に関する情報を付加することにより、１個のマーカ２１を基準として、読み取った情報の示す大きさや形状の範囲を認識領域とすることができる。
　図４は操作対象物２として照明器具を用いた例を示す図である。この場合、照明器具のＯＮ／ＯＦＦや光量や発光色等を携帯端末装置１の画面をタッチすることで操作することができる。例えば、操作対象物２の画像をタップすることでＯＮ／ＯＦＦを切り替えたり、画像上で上下にドラッグすることで光量を増減したり、左右にドラッグすることで発光色を変えたりすることができる。操作対象物２の外面には、図３と同様に、認識領域を設定するためにマーカ（２１）が設けられる。
　図５は携帯端末装置１の構成例を示す図である。
　図５において、携帯端末装置１は、電源システム１０１と、プロセッサ１０３、メモリコントローラ１０４、周辺インタフェース１０５を含むメインシステム１０２と、記憶部１０６と、外部ポート１０７と、高周波回路１０８と、アンテナ１０９と、オーディオ回路１１０と、スピーカ１１１と、マイク１１２と、近接センサ１１３と、ＧＰＳ（Global Positioning System）回路１１４と、ディスプレイコントローラ１１６、光学センサコントローラ１１７、入力コントローラ１１８を含むＩ／Ｏ（Input/Output）サブシステム１１５と、タッチ反応型ディスプレイシステム１１９と、光学センサ１２０と、入力部１２１とを備えている。光学センサ１２０はカメラ１１に対応し、タッチ反応型ディスプレイシステム１１９は画面／タッチパネル１２に対応する。
　図６は操作対象物制御装置３の構成例を示す図である。
　図６において、操作対象物制御装置３は、コンピュータ装置（ゲーム装置を含む）３１と、必要に応じてインタフェース装置３２とが含まれている。操作対象物２が図２に示した大画面モニタである場合には、インタフェース装置３２を設けることなく、コンピュータ装置３１から映像・音声信号を操作対象物２に直接に供給することで足りる。操作対象物２が図４に示した照明器具である場合には、操作対象物２とコンピュータ装置３１の間で状態信号や制御信号のやり取りを仲介するインタフェース装置３２が設けられる。
　＜動作＞
　図７は上記の実施形態の処理例を示すフローチャートであり、携帯端末装置１の処理内容を示したものである。
　図７において、携帯端末装置１は、カメラ１１の映像信号をデータとして取り込み、プログラムから操作可能な状態にする（ステップＳ１０１）。例えば、このデータは、カメラ映像をＲＧＢ（Red, Green, Blue）の点（ピクセル）の集合体に変換したものである。このようなデータをプログラムからアクセス可能なメモリ上に展開することで、プログラムから操作可能な状態になる。
　次いで、携帯端末装置１は、マーカ２１（図３）に基づいて複数の対象物（操作対象物２の認識領域に相当）を認識し、操作等に必要な基礎データを得る（ステップＳ１０２）。基礎データは、認識した対象物についてのマトリクス情報であり、対象物が３次元空間内で、どの位置に、どの角度で、どの大きさで存在しているかを示す。実装としては、例えば、ＱＵＡＬＣＯＭ社のＡＲライブラリを用いて処理を行うことができる。
　次いで、携帯端末装置１は、基礎データを累積し、高速に繰り返す中での相互関係データを得る（ステップＳ１０３）。相互関係データは、認識する対象物同士や、認識する対象物とカメラ１１の相対的な位置データである。
　次いで、携帯端末装置１は、相互関係データをもとに、対象物の移動等のリアルタイムな変化に追従し、また手ぶれ等の補正を行う（ステップＳ１０４）。補正としては、
・対象物を認識するためのマトリクス情報が複数ある場合、不正確らしきものを除外
・高速に繰り返す中で、ある瞬間だけ特異な値がある場合、それを除外
といった処理を行う。
　映像の解析と相互の位置の認識を高速に再演算し続けることで（ステップＳ１０１～Ｓ１０４）、手元の携帯端末装置１や操作対象物２の移動等の変化に追従することができる。
　次いで、携帯端末装置１は、画面／タッチパネル１２がユーザによりタッチされている場合、以下の処理を行う。
　先ず、タッチ位置と、累積した補正後の相互関係データとに基づき、携帯端末装置１の背面へタッチ位置から仮想的に法線（法線ベクトル）をのばし、その法線上に対象物が存在するかどうか判定し、存在する場合、操作対象物２の３次元的な表面との交点を求めることにより、対応する操作対象位置を求める（ステップＳ１０５）。図８はその処理の概念を示している。操作対象物オブジェクト２ＯＢＪは操作対象物２の認識領域に対応するものである。複数の対象物と法線が交差する場合、この段階での操作対象位置は複数となる。
　図７に戻り、携帯端末装置１は、操作対象位置と対象物の有効範囲から、操作対象となるべき操作対象物２を特定する（ステップＳ１０６）。すなわち、複数の対象物がそれぞれに有効範囲（画面なら矩形）がある場合、どれが優先的に操作されるべきかを判定することで、操作対象物２を特定する。判定の基準は、標準として、近傍（携帯端末装置１により近いこと）を優先にしている。
　次いで、携帯端末装置１は、操作対象位置を特定した操作対象物２の座標へ変換する（ステップＳ１０７）。すなわち、操作用の法線が、対象物が持つ固有の形状のどこの部分に交差するのかを求め、形状が複数の面を有する立体である場合は、閉じた面のそれぞれに対して交差の評価を行い、座標を変換する。立体形状では、複数の面に対して交差が成立する場合があるが近傍を優先にする。複数の交差する点から、どれを優先的に操作するか（原則近傍を優先）を決め、対象機器のローカルなマトリクス情報を生成する。
　次いで、携帯端末装置１は、変換した座標に基づき、操作対象物２を制御するためのローカルデータを算出する（ステップＳ１０８）。
　次に、タップ、ドラッグアンドドロップ、フリック等のイベントが成立した場合の処理を説明する。なお、イベントの成立は次のように判断する。
　タップは、携帯端末装置１の画面／タッチパネル１２へのタッチおよび離間によって判断する。
　ドラッグアンドドロップは、
・対象物と手元端末を固定したまま、指を動かしてドラッグ
・対象物と指を固定したまま、手元端末を動かしてドラッグ
・手元端末と指を固定したまま、対象物を動かしてドラッグ
の３つのパターンの発生によりドラッグとなり、それぞれ、指を離すとドロップの判定となる。
　２つめのパターンによれば、タップ中の指先を動かすことがなくても、手元装置や対象装置の移動によってドラッグアンドドロップ等が実現できることを意味している。
　また、関係する３種類の情報（対象物座標、手元端末座標、指の位置）が２つ以上同時に動く場合も成立する。
　フリックは、手元装置のタッチパネル上でフリックに相当する操作が成立した場合を有効とする。これは、対象装置相当では距離や角度に影響を受け入力が困難であること、手元装置に触れる感覚で成立することが自然に受け入れられるためである。手元装置でフリックが成立したかどうかの判定そのものは、手元装置のＯＳやドライバの判定に任せる。これは、普段利用している条件と同じにすることで、違和感が生まれないようにするためである。
　フリックの判定は、タッチパネル上のスライド距離が所定距離以上であり、かつ、スライドにかかった時間が所定時間以内であることを条件に、フリック入力（接触→接触位置を素早く所定距離スライド→離す、を所定時間内に行う入力操作）がタッチパネルに対して行われたと判定する。
　図７において、イベントが成立した場合、携帯端末装置１は、ローカルデータに自己の機器ＩＤを付加したメッセージを生成する（ステップＳ１０９）。
　次いで、携帯端末装置１は、操作対象物２を制御する操作対象物制御装置３にメッセージを送信する（ステップＳ１１０）。メッセージとしては、マウス相当のデータとしてもよいが、手元端末で入力できるジェスチャパターンは増加すると見込まれるため、拡張可能な未定義領域を残す、汎用的なメッセージシステムとしている。
　メッセージを受信した操作対象物制御装置３は、メッセージに対応した処理を行い、結果を操作対象物２に反映させる。操作対象物２が大画面モニタである場合（図２）、大画面モニタに表示されたボタンやアイコンやキャラクタに対するタップ、ドラッグアンドドロップ、フリック等の操作を適用し、操作過程および結果の画像を大画面モニタに表示する。操作対象物２が照明器具である場合（図４）、操作内容に応じて電源のＯＮ／ＯＦＦや光量や発光色等を制御する。
　また、メッセージ送信（ステップＳ１１０）の後に操作対象物制御装置３から応答のメッセージを受信し、その受信メッセージに応じた処理を行うようにしてもよい。
　なお、上記の実施形態ではタッチパネルへの入力操作について主に説明したが、タッチパネルに、認識した操作対象物や操作に連動した画像を重畳して表示することもできる。　
　本実施形態では、仮想３次元空間中の対象物の位置情報を利用できるので、例えば、タッチパネルへの操作に基づいて検出された認識領域との交点（対象機器の座標位置）に、タッチパネルから飛んでいくオブジェクト（矢やボール等）の画像を合成表示することで、ユーザが操作しようとしている対象機器の座標位置を示す場合に、あたかもオブジェクトが対象物の含まれる空間中を移動していくように表示することができる。これにより、ユーザは、より直観的に操作を行うことができる。
　また、例えば、タッチパネルへの操作に基づいて対象物の周囲に入力結果を示すオブジェクト（当たりや外れ等を示すフキダシ等）の画像を合成表示する場合に、対象物の位置に合わせて表示することができる。図９は携帯端末装置１の画面における操作対象物２の画像２０１の上端に沿ってタイトル等の画像２０２を表示し、左側にキャラクタの画像２０３を表示した例を示している。
　＜総括＞
　以上説明したように、本実施形態によれば、広範な機器に対して３次元的な配置を考慮して直観的に操作することができる。
　以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
　１　　　　　　携帯端末装置
　１１　　　　　カメラ
　１２　　　　　画面／タッチパネル
　１０１　　　　電源システム
　１０２　　　　メインシステム
　１０３　　　　プロセッサ
　１０４　　　　メモリコントローラ
　１０５　　　　周辺インタフェース
　１０６　　　　記憶部
　１０７　　　　外部ポート
　１０８　　　　高周波回路
　１０９　　　　アンテナ
　１１０　　　　オーディオ回路
　１１１　　　　スピーカ
　１１２　　　　マイク
　１１３　　　　近接センサ
　１１４　　　　ＧＰＳ回路
　１１５　　　　Ｉ／Ｏサブシステム
　１１６　　　　ディスプレイコントローラ
　１１７　　　　光学センサコントローラ
　１１８　　　　入力コントローラ
　１１９　　　　タッチ反応型ディスプレイシステム
　１２０　　　　光学センサ
　１２１　　　　入力部
　２　　　　　　操作対象物
　２１　　　　　マーカ
　２ＯＢＪ　　　操作対象物オブジェクト
　３　　　　　　操作対象物制御装置
　３１　　　　　コンピュータ装置
　３２　　　　　インタフェース装置

Claims (5)

  1. 　筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、
    　前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラと、
    　前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段と、
    　前記カメラの撮像画像に基づいて仮想３次元空間を構築し、前記撮像画像に対象物が含まれていることを検出して前記仮想３次元空間内での位置情報を算出する位置情報算出手段と、
    　前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段と、
    　検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段と
    を備えたことを特徴とする携帯端末装置。
  2. 　請求項１に記載の携帯端末装置において、
    　前記対象物は、認識領域となる画面を有する画像表示装置であり、
    　前記操作メッセージ送信手段は、前記交点が検出された場合に、認識領域における交点の位置情報を生成して前記制御装置に送信する
    ことを特徴とする携帯端末装置。
  3. 　請求項１または２のいずれか一項に記載の携帯端末装置において、
    　前記タッチパネルの操作について設定された判定条件に基づいて、特定の操作がタッチパネルに対して行われたことを判定する判定手段
    を備え、
    　前記操作メッセージ送信手段は、前記判定手段の判定結果を前記対象物の位置情報に付加して前記制御装置に送信する
    ことを特徴とする携帯端末装置。
  4. 　請求項３に記載の携帯端末装置において、
    　前記判定手段は、前記タッチパネル上のスライド距離が所定距離以上であり、かつ、スライドにかかった時間が所定時間以内であることを条件に、フリック入力が前記タッチパネルに対して行われたと判定する
    ことを特徴とする携帯端末装置。
  5. 　筐体の前面に設けられた表示部および当該表示部と一体化されたタッチパネルと、前記筐体の背面に設けられ、前記表示部の背面および法線の方向に視野を有するカメラとを備えた携帯端末装置を構成するコンピュータを、
    　前記カメラの撮像画像をリアルタイムに前記表示部に表示する表示手段、
    　前記カメラの撮像画像に基づいて仮想３次元空間を構築し、前記撮像画像に対象物が含まれていることを検出して前記仮想３次元空間内での位置情報を算出する位置情報算出手段、
    　前記タッチパネルにタッチ入力があった際、前記タッチパネル上のタッチ入力位置を通る法線ベクトルと前記仮想３次元空間に位置付けられた前記対象物に予め設定されている認識領域との交点を検出する交点検出手段、
    　検出した交点の位置に基づき、前記対象物の制御装置に操作メッセージを送信する操作メッセージ送信手段
    として機能させる携帯端末装置制御プログラム。
PCT/JP2014/057662 2013-05-07 2014-03-20 携帯端末装置 WO2014181587A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013097788A JP6075193B2 (ja) 2013-05-07 2013-05-07 携帯端末装置
JP2013-097788 2013-05-07

Publications (1)

Publication Number Publication Date
WO2014181587A1 true WO2014181587A1 (ja) 2014-11-13

Family

ID=51867073

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/057662 WO2014181587A1 (ja) 2013-05-07 2014-03-20 携帯端末装置

Country Status (2)

Country Link
JP (1) JP6075193B2 (ja)
WO (1) WO2014181587A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314803A (zh) * 2017-02-28 2019-02-05 比科利克株式会社 远程操作系统
US10957070B2 (en) * 2016-08-22 2021-03-23 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, operation object, and information processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6553527B2 (ja) * 2016-02-26 2019-07-31 株式会社エクシング カラオケ指示操作プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2008527572A (ja) * 2005-01-12 2008-07-24 スィンクオプティクス インコーポレイテッド ハンドヘルドビジョン型絶対ポインティングシステム
JP2008198112A (ja) * 2007-02-15 2008-08-28 Namco Bandai Games Inc 指示位置演算システム、指示体及びゲームシステム
JP2012064199A (ja) * 2010-08-20 2012-03-29 Nintendo Co Ltd 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2008527572A (ja) * 2005-01-12 2008-07-24 スィンクオプティクス インコーポレイテッド ハンドヘルドビジョン型絶対ポインティングシステム
JP2008198112A (ja) * 2007-02-15 2008-08-28 Namco Bandai Games Inc 指示位置演算システム、指示体及びゲームシステム
JP2012064199A (ja) * 2010-08-20 2012-03-29 Nintendo Co Ltd 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957070B2 (en) * 2016-08-22 2021-03-23 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, operation object, and information processing method
CN109314803A (zh) * 2017-02-28 2019-02-05 比科利克株式会社 远程操作系统
EP3591985A4 (en) * 2017-02-28 2021-01-06 Biclick Co., Ltd. REMOTE OPERATION SYSTEM

Also Published As

Publication number Publication date
JP2014219800A (ja) 2014-11-20
JP6075193B2 (ja) 2017-02-08

Similar Documents

Publication Publication Date Title
US8791962B2 (en) Information processing device, information processing method, and program for 3D object selection and interaction
JP5103380B2 (ja) 大型タッチシステムおよび該システムと相互作用する方法
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
US9529527B2 (en) Information processing apparatus and control method, and recording medium
US8466934B2 (en) Touchscreen interface
US20160292922A1 (en) Display control device, display control method, and recording medium
WO2021004415A1 (zh) 一种手持输入设备的鼠标光标控制方法和装置
US20140300542A1 (en) Portable device and method for providing non-contact interface
US20160291687A1 (en) Display control device, display control method, and recording medium
US20120249422A1 (en) Interactive input system and method
CN103729054A (zh) 多显示设备及其控制方法
WO2016021022A1 (ja) 投写型映像表示装置及びその制御方法
US10276133B2 (en) Projector and display control method for displaying split images
JP5921981B2 (ja) 映像表示装置および映像表示方法
JP2006209563A (ja) インターフェース装置
US20120019460A1 (en) Input method and input apparatus
US10936184B2 (en) Display apparatus and controlling method thereof
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
EP3037936A2 (en) Image projection apparatus, and system employing interactive input-output capability
US20140362017A1 (en) Input device, input control method, and input control program
JP6075193B2 (ja) 携帯端末装置
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
CN107924272B (zh) 信息处理装置、信息处理方法和程序
JP2014115876A5 (ja)
KR101432483B1 (ko) 제어영역을 이용한 터치스크린 제어방법 및 이를 이용한 단말

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14794765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14794765

Country of ref document: EP

Kind code of ref document: A1