WO2012133226A1 - 電子機器、制御方法および制御プログラム - Google Patents

電子機器、制御方法および制御プログラム Download PDF

Info

Publication number
WO2012133226A1
WO2012133226A1 PCT/JP2012/057602 JP2012057602W WO2012133226A1 WO 2012133226 A1 WO2012133226 A1 WO 2012133226A1 JP 2012057602 W JP2012057602 W JP 2012057602W WO 2012133226 A1 WO2012133226 A1 WO 2012133226A1
Authority
WO
WIPO (PCT)
Prior art keywords
predetermined
strength
electronic device
displacement
predetermined object
Prior art date
Application number
PCT/JP2012/057602
Other languages
English (en)
French (fr)
Inventor
雄大 永田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP12764899.6A priority Critical patent/EP2690524B1/en
Priority to US14/007,307 priority patent/US9430081B2/en
Publication of WO2012133226A1 publication Critical patent/WO2012133226A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the present invention relates to an electronic device, a control method, and a control program.
  • Patent Document 1 discloses a technique that allows a musical instrument performance to be simulated.
  • Patent Document 1 realizes a simulated experience by touching the touch panel surface. Yes, it is difficult to give enough sense to actually play a musical instrument.
  • the electronic device includes a display unit that three-dimensionally displays a predetermined object, an operation unit that performs an operation associated with the object, and a displacement of the predetermined object in a three-dimensional space where the object is displayed.
  • control method is a control method executed by an electronic device having a display unit, the step of three-dimensionally displaying a predetermined object, the step of executing an operation associated with the object, Detecting a displacement of a predetermined object in a three-dimensional space in which the object is displayed, and determining an intensity of an operation with respect to the object based on the detected displacement, and according to the determined intensity, the content of the operation is determined. Changing.
  • control program includes a step of three-dimensionally displaying a predetermined object on an electronic device having a display unit, a step of executing an operation associated with the object, and a three-dimensional space in which the object is displayed.
  • a step of detecting a displacement of a predetermined object and a step of determining an intensity of an operation on the object based on the detected displacement and changing a content of the operation according to the determined intensity are executed.
  • the present invention has an effect that it is possible to detect a user operation in a space in which a stereoscopic display is made.
  • FIG. 1 is a front view illustrating an appearance of a mobile phone terminal (electronic device) according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the mobile phone terminal according to the present embodiment.
  • FIG. 3 is a diagram for explaining detection of an operation on a three-dimensional object.
  • FIG. 4 is a diagram illustrating an example of an image photographed when operating a three-dimensional object.
  • FIG. 5 is a diagram for explaining the detection of the intensity of operation on a three-dimensional object.
  • FIG. 6 is a flowchart showing the processing procedure of the operation intensity adjustment processing.
  • FIG. 7 is a diagram illustrating an example in which the adjustment process is performed by dividing the intensity level.
  • FIG. 8 is a diagram illustrating an example of adjusting the degree of stereoscopic vision.
  • FIG. 9 is a diagram illustrating an example in which the degree of stereoscopic vision is adjusted on the unlock screen.
  • a mobile phone terminal will be described as an example of an electronic device.
  • the application target of the present invention is not limited to a mobile phone terminal.
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • portable navigation device notebook
  • notebook notebook
  • FIG. 1 is a front view showing the appearance of the mobile phone terminal 1.
  • FIG. 2 is a block diagram showing a functional configuration of the mobile phone terminal 1.
  • the mobile phone terminal 1 includes an operation unit 13, a microphone 15, a receiver 16, a control unit 22, a storage unit 24, a communication unit 26, an audio processing unit 30, A touch panel 32 and a photographing unit 40 are included.
  • the operation unit 13, the microphone 15, the receiver 16, the touch panel 32, and the photographing unit 40 are partly exposed on the front surface of the mobile phone terminal 1.
  • the operation unit 13 has a physical button and outputs a signal corresponding to the pressed button to the control unit 22.
  • the operation unit 13 has only one button, but the operation unit 13 may have a plurality of buttons.
  • the microphone 15 acquires external sound.
  • the receiver 16 outputs the other party's voice during a call.
  • the sound processing unit 30 converts the sound input from the microphone 15 into a digital signal and outputs the digital signal to the control unit 22.
  • the audio processing unit 30 decodes the digital signal input from the control unit 22 and outputs the decoded digital signal to the receiver 16.
  • the communication unit 26 includes an antenna 26a, and establishes a radio signal line by a CDMA (Code Division Multiple Access) system or the like with a base station via a channel assigned by the base station.
  • the communication unit 26 performs telephone communication and information communication with other devices through a radio signal line established with the base station.
  • CDMA Code Division Multiple Access
  • the touch panel 32 displays various information such as characters, figures, images, and the like, and detects an input operation on a predetermined area such as a displayed icon, button, or character input area.
  • the touch panel 32 is configured by superimposing a display unit 32a and a touch sensor 32b.
  • the display unit 32 a includes a display device such as a liquid crystal display (Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) panel, and displays various types of information according to control signals input from the control unit 22.
  • the touch sensor 32 b detects an input operation performed on the surface of the touch panel 32 and outputs a signal corresponding to the detected input operation to the control unit 22.
  • the touch sensor 32b is assumed to be a capacitive sensor.
  • the touch panel 32 can display a three-dimensional object.
  • a three-dimensional object is an image or shape created so as to look stereoscopically using parallax.
  • the method for displaying the three-dimensional object may be a method for realizing stereoscopic vision using an instrument such as glasses, or a method for realizing stereoscopic vision with the naked eye.
  • the imaging unit 40 acquires an image electronically with an imaging sensor.
  • the photographing unit 40 includes a photographing unit 40a and a photographing unit 40b that are arranged on the opposite side of the surface on which the touch panel 32 is provided, but the photographing unit 40 necessarily requires a plurality of photographing means. And not. Note that it is preferable that the photographing unit 40 has an angle of view and an arrangement so that the finger can be photographed at any position on the touch panel 32.
  • the photographing unit 40 may be a device that acquires an image of visible light, or may be a device that acquires an image of invisible light such as infrared rays.
  • the control unit 22 includes a CPU (Central Processing Unit) that is a calculation unit and a memory that is a storage unit, and implements various functions by executing programs using these hardware resources. Specifically, the control unit 22 reads a program or data stored in the storage unit 24 and expands it in a memory, and causes the CPU to execute instructions included in the program expanded in the memory. The control unit 22 reads / writes data from / to the memory and the storage unit 24 and controls operations of the communication unit 26, the display unit 32a, and the like according to the execution result of the instruction by the CPU. When the CPU executes an instruction, data developed in the memory, a signal input from the touch sensor 32b, or the like is used as a part of parameters or determination conditions.
  • a CPU Central Processing Unit
  • the storage unit 24 includes a non-volatile storage device such as a flash memory, and stores various programs and data.
  • the program stored in the storage unit 24 includes a control program 24a.
  • storage part 24 may be comprised by the combination of portable storage media, such as a memory card, and the reading / writing apparatus which reads / writes with respect to a storage medium.
  • the control program 24a may be stored in a storage medium.
  • the control program 24a may be acquired from another device such as a server device by wireless communication by the communication unit 26.
  • the control program 24 a provides functions related to various controls for operating the mobile phone terminal 1.
  • the functions provided by the control program 24a include a function for controlling the display of the three-dimensional object on the touch panel 32 and a function for detecting the strength of the user's operation on the three-dimensional object displayed on the touch panel 32.
  • FIG. 3 is a diagram for explaining detection of an operation on a three-dimensional object.
  • FIG. 4 is a diagram illustrating an example of an image photographed when operating a three-dimensional object.
  • FIG. 5 is a diagram for explaining the detection of the intensity of operation on a three-dimensional object.
  • the touch panel 32 displays a three-dimensional object OB1 as shown in FIG. Since the three-dimensional object OB1 appears to the user to float from the touch panel 32 in the three-dimensional space, the operation on the three-dimensional object OB1 is performed at a position away from the touch panel 32. In FIG. 3, the user performs an operation of returning the finger F1 to the original position after swinging down the finger F1 to the three-dimensional object OB1.
  • the three-dimensional space is an actual space that appears to the user as if the object OB1 exists.
  • an image P as shown in FIG. 4 a picture is taken of a fingertip that was initially small in size being enlarged with a swing-down motion and returning to the original size with a motion to return the fingertip to its original position.
  • FP1 is a fingertip area before the operation is started
  • FP2 is a fingertip area when the finger F1 comes closest to the touch panel 32
  • FP3 is a fingertip area after the operation is completed.
  • the strength of the operation can be determined based on the ratio between the size Smin of the fingertip region FP1 at the start of the operation and the size Smax of the fingertip region FP2 when the finger F1 is closest to the touch panel 32. That is, it can be determined that the larger the Smax / Smin, the stronger the operation, and the smaller the Smax / Smin, the weaker the operation.
  • the time T clearly indicates the strength of the operation
  • Smax / Smin may clearly indicate the strength of the operation. It is preferable to use these indicators in combination to determine the strength of the operation. Further, in order to obtain these indexes, it is necessary to identify the start time of the operation. For example, the timing at which the size of the fingertip area included in the image photographed by the photographing unit 40 continuously increases a predetermined number of times or more. May be processed as the start time of the operation.
  • the user's fingerprint data may be registered in the mobile phone terminal 1 in advance, and an area that matches the registered fingerprint data may be processed as the fingertip area.
  • FIG. 6 is a flowchart showing the processing procedure of the operation intensity adjustment processing.
  • the processing procedure shown in FIG. 6 is realized by the control unit 22 executing the control program 24a. Note that the processing procedure shown in FIG. 6 is executed at a timing before the user performs an operation on the three-dimensional object for the first time, a periodic timing thereafter, or the like.
  • control part 22 displays a three-dimensional object on the touch panel 32 first as step S11. Then, the control part 22 displays the message which instruct
  • the period during which the image of the fingertip is continuously captured by the imaging unit 40 may be a period of a predetermined length, or a period until the completion of the operation is detected from the captured image. May be.
  • step S14 the control unit 22 selects an image with the smallest fingertip size and an image with the largest fingertip size from the captured images. Subsequently, in step S15, the control unit 22 calculates at least one of the elapsed time between the selected images or the ratio of the fingertip size. In step S16, the control unit 22 adjusts the operation intensity by correcting a threshold value for determining the operation intensity based on the calculation result.
  • a threshold value for determining the operation intensity based on the calculation result.
  • a value indicating the strength of the operation is calculated, and the difference between the strength that is associated with the threshold in advance and the calculated strength is calculated. Or you may adjust a threshold value according to a ratio.
  • the determination of the operation intensity can be matched with the characteristics of the user.
  • three pins are displayed as a three-dimensional object, the left pin is struck strongly, the center pin is struck with medium strength, and the right pin is struck weakly. Based on this, the intensity of the operation is adjusted.
  • the operation intensity adjustment process can be performed more precisely.
  • the strength of the operation performed by the user is detected based on the time required for the operation and the movement distance accompanying the operation, the strength of the operation performed by the user is accurately determined. Can be detected.
  • control program 24a shown in the above embodiment may be divided into a plurality of modules or may be integrated with other programs.
  • the three-dimensional object is operated with a finger, but the three-dimensional object may be operated using a tool.
  • the finger movement in the three-dimensional space is detected based on the image taken by the photographing unit 40.
  • the finger movement in the three-dimensional space is detected using the touch sensor 32b. May be.
  • the touch sensor 32b By adjusting the sensitivity of the touch sensor 32b, the movement of the finger in the X-axis direction, the Y-axis direction, and the Z-axis direction can be detected even when the finger is not in contact with the touch sensor 32b.
  • the stereoscopic vision assumed by the mobile phone terminal 1 and the stereoscopic vision actually seen by the user may be adjusted. . Adjustment of the degree of stereoscopic vision will be described with reference to FIGS. 8 and 9.
  • the control unit 22 displays one spherical three-dimensional object on the touch panel 32 and prompts the user to touch the three-dimensional object with a finger. Then, the user places a finger at a position where the three-dimensional object is visible. By detecting the position of the finger at this time, the degree of stereoscopic vision assumed by the mobile phone terminal 1 can be matched with the degree of stereoscopic vision actually seen by the user.
  • control unit 22 displays a plurality of three-dimensional objects having different degrees of stereoscopic vision on the touch panel 32 and prompts the user to touch the three-dimensional object that looks most stereoscopic. Then, the user brings a finger into contact with the three-dimensional object that looks most stereoscopic. By determining which three-dimensional object the finger touches, the most suitable degree of stereoscopic vision can be determined.
  • the suitable degree of stereoscopic vision changes also with physical condition etc., it is preferable to determine as frequently as possible.
  • a plurality of three-dimensional objects having different levels of stereoscopic vision are displayed on the unlock screen displayed when returning from the power saving state, and correspond to the most stereoscopically visible three-dimensional object.
  • the strength of the operation is determined based on the time required for the size of the predetermined object to change, but the present invention is not limited to this.
  • the strength of the operation may be determined based on the distance that a predetermined object has moved in the space where the stereoscopic image is displayed. And it is good to set operation intensity high, so that movement distance is large.
  • the movement of the finger may be imaged by the imaging unit. In this case, if the photographing unit is arranged so that the moving direction of the finger is substantially parallel to the photographing surface that can be photographed by the photographing unit, the amount of movement of the object can be easily measured.
  • the intensity of the operation may be determined based on the time required for the predetermined object to move from the predetermined first position to the predetermined second position. The shorter the time required, the higher the operation intensity should be set. In this case, the movement of the finger may be imaged by the imaging unit. Further, the predetermined first position and the predetermined second position may be set by the user while viewing the stereoscopic display. Of course, instead of the time required to move from the predetermined first position to the predetermined second position, it may be the time from when the predetermined object starts moving until it stops.
  • the operation intensity may be set higher as the speed converted from the time required to move from the predetermined first position to the predetermined second position is higher.
  • the linear distance from the first position to the second position is measured or set in advance, and the speed for moving from the first position to the second position is calculated from this distance and the time required for the movement. Good.
  • the photographing unit is used to detect the displacement of each physical quantity caused by the movement of a predetermined object, but the present invention is not limited to this.
  • a sensor using a TOF (Time-of-Flight) method may be used instead of the photographing unit.
  • an infrared sensor or proximity sensor that can detect movement in the plane direction in a three-dimensional display space is arranged almost horizontally with the movement direction of the predetermined object, the displacement of the predetermined object can be detected without contact. These may be used.
  • it is preferable that the displacement can be detected without arranging a sensor or the like on a predetermined object. In that case, it is not necessary to attach an acceleration sensor to the finger or move an electronic device itself with acceleration. Therefore, cost reduction can be achieved.
  • the strength level can be adjusted. Anything is fine. For example, depending on the strength, change the speed of the object, change the speed of the movement, change the object, or change the amount of deformation. Also good.
  • a piano keyboard may be displayed as an object, and the operation content may be such that the higher the strength, the louder the piano sound.
  • the display of the object itself is not changed, but the volume of the sound, which is a physical quantity associated with the object, can be changed, and the sound output can be changed.
  • the light intensity, blinking, tempo, period, etc. may be changed.
  • the present invention can be applied to the case where the three-dimensional object is present behind the display unit.
  • a sensor or a camera may be disposed on the back side of the display unit.
  • the electronic device When the electronic device is a mobile phone, for example, it is often equipped with both an in-camera for photographing the user himself and an out-camera for photographing the landscape. Therefore, by using this out-camera, the displacement of a predetermined object on the back side may be captured.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

　携帯電話端末（電子機器）（１）は、所定のオブジェクトを３次元表示する表示部（３２ａ）と、オブジェクトに関連付けられた動作を実行する動作部（音声処理部（３０）、タッチパネル（３２）等）と、オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部（撮影部（４０））と、当該検出した変位に基づいてオブジェクトに対する操作の強度を判定し、判定された強度に応じて、上記の動作の内容を変化させる制御部（２２）とを備える。ここで、検出部は、前記所定の物体に接触することなく前記変位を検出することが好ましい。

Description

電子機器、制御方法および制御プログラム
　本発明は、電子機器、制御方法および制御プログラムに関する。
　近年、仮想現実技術や拡張現実技術の進歩により、人々は様々な事象を擬似的に体験できるようになってきている。例えば、特許文献１では、楽器の演奏を擬似的に体験ことができる技術が開示されている。
特開２０１１－０１１００８号公報
　しかしながら、楽器を演奏するに際しては、鍵盤をたたく強度等の操作の強度が重要であるところ、特許文献１に記載されている技術は、タッチパネル面上に接触することによって擬似体験を実現するものであり、実際に楽器を演奏する感覚を十分に与えることは難しい。
　このような理由から、立体表示がなされた空間における利用者の操作を検出することができる電子機器、制御方法および制御プログラムに対するニーズがある。
　１つの態様において、電子機器は、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトに関連付けられた動作を実行する動作部と、前記オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部と、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させる制御部とを備える。
　他の態様において、制御方法は、表示部を有する電子機器によって実行される制御方法であって、所定のオブジェクトを３次元表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップとを含む。
　他の態様において、制御プログラムは、表示部を有する電子機器に、所定のオブジェクトを３次元表示するステップと、前記オブジェクトに関連付けられた動作を実行するステップと、前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップとを実行させる。
　本発明は、立体表示がなされた空間における利用者の操作を検出することができるという効果を奏する。
図１は、本実施例に係る携帯電話端末（電子機器）の外観を示す正面図である。 図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。 図３は、３次元オブジェクトに対する操作の検出について説明するための図である。 図４は、３次元オブジェクトに対する操作時に撮影される画像の例を示す図である。 図５は、３次元オブジェクトに対する操作の強度の検出について説明するための図である。 図６は、操作の強度の調整処理の処理手順を示すフローチャートである。 図７は、強度の段階を分けて調整処理を行う例を示す図である。 図８は、立体視の程度の調整の例を示す図である。 図９は、ロック解除画面で立体視の程度の調整を行う例を示す図である。
　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal　Handyphone　System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
　まず、図１および図２を参照しながら、本実施例に係る携帯電話端末（電子機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。
　図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮影部４０は、携帯電話端末１の正面に一部が露出する。
　操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
　マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
　通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code　Division　Multiple　Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
　タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
　表示部３２ａは、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬ（Organic　Electro－Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。本実施例において、タッチセンサ３２ｂは、静電容量式のセンサであるものとする。
　また、本実施例において、タッチパネル３２は、３次元オブジェクトを表示できるものとする。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
　撮影部４０は、撮像センサによって画像を電子的に取得する。本実施例において、撮影部４０は、タッチパネル３２が設けられた面の対角に配置された撮影部４０ａおよび撮影部４０ｂとから構成されるが、撮影部４０は、必ずしも複数の撮影手段を必要としない。なお、撮影部４０は、タッチパネル３２上のどの位置に指が置かれていてもその指を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
　制御部２２は、演算手段であるＣＰＵ（Central　Processing　Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
　制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作の強度を検出する機能が含まれる。
　次に、図３から図５を参照しながら、３次元オブジェクトに対する操作の強度の検出について説明する。図３は、３次元オブジェクトに対する操作の検出について説明するための図である。図４は、３次元オブジェクトに対する操作時に撮影される画像の例を示す図である。図５は、３次元オブジェクトに対する操作の強度の検出について説明するための図である。
　図３に示すように、タッチパネル３２が、３次元オブジェクトＯＢ１を表示しているものとする。３次元オブジェクトＯＢ１は、利用者には立体空間中にタッチパネル３２から浮き上がって見えるため、３次元オブジェクトＯＢ１に対する操作は、タッチパネル３２から離れた位置で行われる。図３では、利用者は、指Ｆ１を３次元オブジェクトＯＢ１まで振り下ろした後、元の位置まで戻す操作を行っている。なお、立体空間とは、利用者には、あたかもオブジェクトＯＢ１が存在しているように見えている現実の空間をいう。
　このような操作中に、図４に示すような画像Ｐが撮影部４０によって撮影される。図４では、当初は小さく写っていた指先が振り下ろし動作にともなって大きくなり、指先を元の位置へ戻す動作にともなって元の大きさに戻っていく様子が撮影されている。図４において、ＦＰ１は、操作開始前の指先領域であり、ＦＰ２は、指Ｆ１がタッチパネル３２に最も近づいたときの指先領域であり、ＦＰ３は、操作完了後の指先領域である。
　操作中に撮影される各画像Ｐに含まれる指先の大きさを時間順にプロットすると、図５に示すような曲線が得られる。ここで、指Ｆ１で３次元オブジェクトＯＢ１を操作する場合、指Ｆ１を強く動かすほど、操作に要する時間は短くなると考えられる。したがって、操作開始時の指Ｆ１の画像が撮影されてから、指先が最も大きく写った画像が撮影されるまでの時間Ｔに基づいて操作の強弱を判定することができる。すなわち、時間Ｔが短いほど強く操作が行われ、時間Ｔが短いほど弱く操作が行われたと判定することができる。
　また、指Ｆ１で３次元オブジェクトＯＢ１を操作する場合、指Ｆ１を強く動かすほど、指Ｆ１の移動量が大きくなると考えられる。したがって、操作開始時の指先領域ＦＰ１の大きさＳｍｉｎと、指Ｆ１が最もタッチパネル３２に近づいたときの指先領域ＦＰ２の大きさＳｍａｘとの比率に基づいて操作の強弱を判定することもできる。すなわち、Ｓｍａｘ／Ｓｍｉｎが大きいほど強く操作が行われ、Ｓｍａｘ／Ｓｍｉｎが小さいほど弱く操作が行われたと判定することができる。
　なお、個人によっては、比較的弱く操作を行う場合には時間Ｔが操作の強弱を明確に表し、比較的強く操作を行う場合にはＳｍａｘ／Ｓｍｉｎが操作の強弱を明確に表すこともあるため、これらの指標を併用して操作の強弱を判定することが好ましい。また、これらの指標を求めるには、操作の開始時点を識別する必要があるが、例えば、撮影部４０によって撮影される画像に含まれる指先領域の大きさが所定回数以上連続して増大したタイミングを操作の開始時点として処理してもよい。
　また、指先領域の大きさを精度よく識別するため、利用者の指紋データを携帯電話端末１に予め登録しておき、登録されている指紋データとマッチする領域を指先領域として処理してもよい。
　次に、図６を参照しながら、操作の強度の調整処理の処理手順について説明する。図６は、操作の強度の調整処理の処理手順を示すフローチャートである。図６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、図６に示す処理手順は、利用者が３次元オブジェクトに対する操作を初めて行う前のタイミングや、その後の定期的なタイミング等に実行される。
　図６に示すように、制御部２２は、まず、ステップＳ１１として、タッチパネル３２に３次元オブジェクトを表示させる。続いて、制御部２２は、ステップＳ１２として、３次元オブジェクトに対する操作を指示するメッセージをタッチパネル３２に表示させる。そして、制御部２２は、ステップＳ１３として、撮影部４０に指先の画像を連続して撮影させる。
　なお、撮影部４０に指先の画像を連続して撮影させる期間は、予め定められた長さの期間であってもよいし、撮影された画像から操作の完了が検出されるまでの期間であってもよい。
　制御部２２は、ステップＳ１４として、撮影された画像の中から指先のサイズが最小の画像と指先のサイズが最大の画像とを選択する。続いて、制御部２２は、ステップＳ１５として、選択された画像間の経過時間または指先のサイズの比率の少なくとも一方を算出する。そして、制御部２２は、ステップＳ１６として、算出結果に基づいて、操作の強度を判定するための閾値を補正する等して、操作の強度の調整を行う。なお、ここでは、選択された画像間の経過時間または指先のサイズの比率に基づいて、操作の強度を示す値を算出し、閾値と予め対応づけられている強度と算出された強度との差或いは比率に応じて閾値を調整してもよい。
　このように、操作の強度の調整処理を実施することにより、操作の強度の判定を利用者の特性に合わせることができる。なお、図７に示すように、強度の段階を分けて調整処理を行ってもよい。図７に示す例では、３本のピンを３次元オブジェクトとして表示し、左側のピンを強くたたかせ、中央のピンを中程度の強さでたたかせ、右側のピンを弱くたたかせた結果に基づいて操作の強度の調整が行われる。強度の段階を分けて調整処理を行うことにより、操作の強度の調整処理をより精密に行うことができる。
　上述してきたように、本実施例では、操作に要した時間や操作にともなう移動距離に基づいて利用者が行う操作の強度を検出することとしたので、利用者が行う操作の強度を適確に検出することができる。
　なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、３次元オブジェクトに対して道具を使って操作することとしてもよい。
　また、上記の実施例では、３次元空間での指の動きを撮影部４０が撮影した画像に基づいて検出することとしたが、タッチセンサ３２ｂを用いて３次元空間での指の動きを検出してもよい。タッチセンサ３２ｂの感度を調整することにより、指がタッチセンサ３２ｂと接触していなくても、指のＸ軸方向、Ｙ軸方向およびＺ軸方向の動きを検出することができる。
　また、操作の強度の判定の精度を向上させるために、携帯電話端末１が想定している立体視の程度と、実際に利用者に見えている立体視の程度とを調整することとしてもよい。立体視の程度の調整について、図８および図９を参照しながら説明する。
　図８に示すように、制御部２２は、球形の３次元オブジェクトをタッチパネル３２上に１つ表示し、その３次元オブジェクトに指を接触させるように利用者に促す。すると、利用者は、３次元オブジェクトが見えている位置に指を置く。このときの指の位置を検出することにより、携帯電話端末１が想定している立体視の程度と、実際に利用者に見えている立体視の程度とを一致させることができる。
　続いて、制御部２２は、立体視の程度が異なる複数の３次元オブジェクトをタッチパネル３２上に表示し、最も立体的に見える３次元オブジェクトに指を接触させるように利用者に促す。すると、利用者は、最も立体的に見える３次元オブジェクトに指を接触させる。どの３次元オブジェクトに指が接触したかを判定することにより、最も好適な立体視の程度が分かる。
　なお、好適な立体視の程度は、体調等によっても変化するため、なるべく頻繁に判定を行うことが好ましい。例えば、図９に示すように、省電力状態から復帰する際に表示されるロック解除画面に立体視の程度が異なる複数の３次元オブジェクトを表示し、最も立体的に見える３次元オブジェクトに対応する操作によって復帰を実現することにより、利用者に負担をかけることなく、好適な立体視の程度を高い頻度で判定することができる。
　なお、上述では、所定の物体の大きさが変化するのに要した時間に基づいて操作の強度を判定するようにしたが、これに限られない。たとえば所定の物体が、立体画像が表示される空間において移動した距離に基づいて操作の強度を判定してもよい。そして移動距離が大きいほど、操作強度を高く設定するとよい。この場合、指の移動を撮影部で撮影すればよい。この場合、指の移動方向が、撮影部が撮影できる撮影面とほぼ平行になるように撮影部を配置していると、物体の移動量を容易に計測できる。
　あるいは、所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間に基づいて前記操作の強度を判定してもよい。そして要した時間が短いほど、操作強度を高く設定するとよい。この場合、指の移動を撮影部で撮影すればよい。また、所定の第１位置および所定の第２位置は、ユーザーが立体表示を見ながら設定できるようにしてもよい。もちろん、所定の第１位置から所定の第２位置まで移動するのに要した時間に換えて、所定の物体が移動を開始してから停止するまでの時間としてもよい。
　あるいは、上記所定の第１位置から上記所定の第２位置まで移動するのに要した時間から換算される速度が速いほど、操作強度を高く設定してもよい。この場合、第１位置から第２位置までの直線距離をあらかじめ測定あるいは設定しておき、この距離と移動に要した時間から第１位置から第２位置まで移動する際の速度を算出してもよい。
　また、上記実施例では、所定の物体の移動により生じる各物理量の変位を検出するために撮影部を用いた例を示したが、これに限られない。たとえば撮影部に変えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また立体表示がされた空間における面方向の移動を検出できる赤外線センサや近接センサ等を、所定の物体の移動方向とほぼ水平に配置すると、所定の物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、所定の物体にセンサ等を配置することなく、上記変位の検出ができるとよく、その場合、指にわざわざ加速度センサを取り付けたり、加速度を備えた電子機器そのものを移動させたりする必要がないので、コスト低減が図れる。
　また、判定された強度の強さに応じて、動作内容を変化させる例としては、指等を空間内で移動させたときの強度に対応付けられており、強弱のレベル調整が行えるものであればなんでもよい。たとえば、強度の強さに応じて、オブジェクトを移動させる、あるいはその際の移動の速さを変える、オブジェクトを変形させる、あるいは変形させる量を変える等、オブジェクト自体についてのなんらかの変化があるようにしてもよい。
　あるいは、オブジェクトとしてピアノの鍵盤を表示しており、当該強度が高いほどピアノの音を大きくするような動作内容としてもよい。この場合、オブジェクト自体の表示を変化させるわけではないが、オブジェクトと関連付けられた物理量である音の大きさを変えたり、音の出し方を変えたりすることができる。その他、音以外の物理量として、光の強度、明滅、そのテンポ、周期等を変化させてもよい。
　また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。
　電子機器がたとえば携帯電話の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラを共に備えていることが多い。そこで、このアウトカメラを用いることで裏面側における所定の物体の変位を捕捉することができるようにしてもよい。
　１　携帯電話端末
１３　操作部
２２　制御部
２４　記憶部
２４ａ　制御プログラム
２６　通信部
３０　音声処理部
３２　タッチパネル
３２ａ　表示部
３２ｂ　タッチセンサ
４０　撮影部

Claims (13)

  1. 　所定のオブジェクトを３次元表示する表示部と、
    　前記オブジェクトに関連付けられた動作を実行する動作部と、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部と、
    　当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させる制御部と
    　を備えることを特徴とする電子機器。
  2. 　前記検出部は、前記所定の物体に接触することなく前記変位を検出する
    ことを特徴とする電子機器。
  3. 　前記制御部は、前記所定の物体が、前記立体空間において移動した距離に基づいて前記操作の強度を判定する
    ことを特徴とする請求項１に記載の電子機器。
  4. 　前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間に基づいて前記操作の強度を判定する
    ことを特徴とする請求項１に記載の電子機器。
  5. 　前記制御部は、前記所定の物体が、所定の第１位置から所定の第２位置まで移動するのに要した時間から換算される速度に基づいて前記操作の強度を判定する
    ことを特徴とする請求項１に記載の電子機器。
  6. 　前記制御部は、前記所定の物体の大きさが変化するのに要した時間に基づいて前記操作の強度を判定することを特徴とする請求項１に記載の電子機器。
  7. 　前記制御部は、前記所定の物体の大きさが変化する比率に基づいて前記操作の強度を判定することを特徴とする請求項１に記載の電子機器。
  8. 　前記所定の物体は指であることを特徴とする請求項１から７のいずれか１項に記載の電子機器。
  9. 　前記所定の物体の変位は、前記空間を撮影する撮影部の画像に基づいて検出され、
    　前記制御部は、予め記憶している指紋データと前記画像とを照合することにより、前記所定の物体の大きさを求めることを特徴とする請求項８に記載の電子機器。
  10. 　前記制御部は、指定した操作の強度と、前記所定の物体の変位に基づいて判定した操作の強度との差或いは比率に基づいて、操作の強度を判定するための閾値を調整することを特徴とする請求項１から９のいずれか１項に記載の電子機器。
  11. 　前記制御部は、前記表示部に前記オブジェクトを３次元表示する立体視の程度と、当該オブジェクトに接触する操作を行った際の前記所定の物体の位置の検出結果とに基づいて、前記表示部にオブジェクトを３次元表示する立体視の程度を調整することを特徴とする請求項１から１０のいずれか１項に記載の電子機器。
  12. 　表示部を有する電子機器によって実行される制御方法であって、
    　所定のオブジェクトを３次元表示するステップと、
    　前記オブジェクトに関連付けられた動作を実行するステップと、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、
    　当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップと
    　を含むことを特徴とする制御方法。
  13. 　表示部を有する電子機器に、
    　所定のオブジェクトを３次元表示するステップと、
    　前記オブジェクトに関連付けられた動作を実行するステップと、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、
    　当該検出した変位に基づいて前記オブジェクトに対する操作の強度を判定し、判定された前記強度に応じて、前記動作の内容を変化させるステップと
    　を実行させることを特徴とする制御プログラム。
PCT/JP2012/057602 2011-03-25 2012-03-23 電子機器、制御方法および制御プログラム WO2012133226A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12764899.6A EP2690524B1 (en) 2011-03-25 2012-03-23 Electronic device, control method and control program
US14/007,307 US9430081B2 (en) 2011-03-25 2012-03-23 Electronic device, control method, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011068967A JP5766479B2 (ja) 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム
JP2011-068967 2011-03-25

Publications (1)

Publication Number Publication Date
WO2012133226A1 true WO2012133226A1 (ja) 2012-10-04

Family

ID=46930948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057602 WO2012133226A1 (ja) 2011-03-25 2012-03-23 電子機器、制御方法および制御プログラム

Country Status (4)

Country Link
US (1) US9430081B2 (ja)
EP (1) EP2690524B1 (ja)
JP (1) JP5766479B2 (ja)
WO (1) WO2012133226A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113631477A (zh) * 2019-04-02 2021-11-09 索尼集团公司 信息处理装置、信息处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
AU2015230785A1 (en) * 2014-09-29 2016-04-14 Aristocrat Technologies Australia Pty Limited A gaming machine and a method of gaming thereon
JP2016115028A (ja) * 2014-12-12 2016-06-23 富士通株式会社 情報処理装置および情報処理装置の制御方法
CN106062683B (zh) * 2014-12-26 2021-01-08 株式会社尼康 检测装置、电子设备、检测方法以及程序
JP6520918B2 (ja) * 2014-12-26 2019-05-29 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
JP6460094B2 (ja) * 2014-12-26 2019-01-30 株式会社ニコン 検出装置、空中像制御装置、検出方法および検出プログラム
CN108427522A (zh) * 2017-02-15 2018-08-21 上海箩箕技术有限公司 终端及其可阅读内容的查阅方法、装置、指纹模组

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322071A (ja) * 2004-05-10 2005-11-17 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
JP2011011008A (ja) 2009-07-06 2011-01-20 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE40891E1 (en) * 1991-11-26 2009-09-01 Sandio Technology Corp. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5801681A (en) * 1996-06-24 1998-09-01 Sayag; Michel Method and apparatus for generating a control signal
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US7728848B2 (en) * 2000-03-28 2010-06-01 DG FastChannel, Inc. Tools for 3D mesh and texture manipulation
US7131907B2 (en) * 2001-02-22 2006-11-07 Kabushiki Kaisha Sega System and method for superimposing an image on another image in a video game
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP2008040576A (ja) * 2006-08-02 2008-02-21 Sharp Corp 画像処理システム及び該システムを備えた映像表示装置
EP2613281B1 (en) 2006-12-29 2014-08-13 Qualcomm Incorporated Manipulation of virtual objects using enhanced interactive system
US8230367B2 (en) * 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
JP5148960B2 (ja) * 2007-09-21 2013-02-20 独立行政法人情報通信研究機構 体積走査型３次元空中映像ディスプレイ
JP4657331B2 (ja) * 2008-08-27 2011-03-23 富士フイルム株式会社 ３次元表示時における指示位置設定装置および方法並びにプログラム
US9248376B2 (en) * 2008-09-30 2016-02-02 Nintendo Co., Ltd. Computer-readable storage medium having stored game program therein, and game apparatus
JP4793422B2 (ja) * 2008-10-10 2011-10-12 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
US8974301B2 (en) * 2009-03-30 2015-03-10 Nintentdo Co., Ltd. Computer readable storage medium having game program stored thereon and game apparatus
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
TW201104494A (en) * 2009-07-20 2011-02-01 J Touch Corp Stereoscopic image interactive system
JP5357685B2 (ja) * 2009-09-28 2013-12-04 株式会社ソニー・コンピュータエンタテインメント ３次元オブジェクト処理装置、３次元オブジェクト処理方法、プログラム、及び情報記憶媒体
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5573487B2 (ja) * 2010-08-20 2014-08-20 ソニー株式会社 情報処理装置、プログラム及び操作制御方法
JP6049990B2 (ja) * 2010-09-15 2016-12-21 京セラ株式会社 携帯電子機器、画面制御方法および画面制御プログラム
EP2656181B1 (en) * 2010-12-22 2019-10-30 zSpace, Inc. Three-dimensional tracking of a user control device in a volume
JP5846738B2 (ja) * 2011-01-06 2016-01-20 任天堂株式会社 表示制御プログラム、表示装置、表示システム、および、表示制御方法
US8963883B2 (en) * 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
JP5708083B2 (ja) * 2011-03-17 2015-04-30 ソニー株式会社 電子機器、情報処理方法、プログラム、及び電子機器システム
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322071A (ja) * 2004-05-10 2005-11-17 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
JP2011011008A (ja) 2009-07-06 2011-01-20 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113631477A (zh) * 2019-04-02 2021-11-09 索尼集团公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
JP2012203736A (ja) 2012-10-22
EP2690524B1 (en) 2019-03-20
EP2690524A4 (en) 2015-04-29
US9430081B2 (en) 2016-08-30
EP2690524A1 (en) 2014-01-29
JP5766479B2 (ja) 2015-08-19
US20140009424A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
JP5766479B2 (ja) 電子機器、制御方法および制御プログラム
JP5785753B2 (ja) 電子機器、制御方法および制御プログラム
CN108710525B (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
US9501204B2 (en) Display device
EP2601640B1 (en) Three dimensional user interface effects on a display by using properties of motion
US20120287065A1 (en) Electronic device
CN109324739B (zh) 虚拟对象的控制方法、装置、终端及存储介质
US9535493B2 (en) Apparatus, method, computer program and user interface
CN110931048B (zh) 语音端点检测方法、装置、计算机设备及存储介质
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
CN113253908A (zh) 按键功能执行方法、装置、设备及存储介质
US9619048B2 (en) Display device
CN108509127B (zh) 启动录屏任务的方法、装置及计算机设备
JP5684618B2 (ja) 撮影装置および仮想情報表示プログラム
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN110213205B (zh) 验证方法、装置及设备
JP2012138776A (ja) コンテンツ表示装置、コンテンツ表示方法、および、コンテンツ表示用プログラム
JP5926008B2 (ja) 電子機器、制御方法および制御プログラム
WO2018155123A1 (ja) 表示装置、表示方法、制御装置および車両
CN109886226B (zh) 确定图像的特征数据的方法、装置、电子设备及存储介质
JP6126195B2 (ja) 表示機器
JP2015109092A (ja) 表示機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12764899

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14007307

Country of ref document: US

Ref document number: 2012764899

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE