WO2012133227A1 - 電子機器、制御方法および制御プログラム - Google Patents

電子機器、制御方法および制御プログラム Download PDF

Info

Publication number
WO2012133227A1
WO2012133227A1 PCT/JP2012/057603 JP2012057603W WO2012133227A1 WO 2012133227 A1 WO2012133227 A1 WO 2012133227A1 JP 2012057603 W JP2012057603 W JP 2012057603W WO 2012133227 A1 WO2012133227 A1 WO 2012133227A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
dimensional object
displacement
detected
predetermined
Prior art date
Application number
PCT/JP2012/057603
Other languages
English (en)
French (fr)
Inventor
上野　泰弘
茂輝 田辺
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US14/007,313 priority Critical patent/US9507428B2/en
Priority to EP12763260.2A priority patent/EP2690528A4/en
Publication of WO2012133227A1 publication Critical patent/WO2012133227A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the present invention relates to an electronic device, a control method, and a control program.
  • touch panels have been widely used to realize small electronic devices that can be operated intuitively and do not include devices that require a physically large area such as a keyboard. .
  • a specific process is assigned to an operation such as a tap detected by the touch panel (for example, Patent Document 1).
  • the electronic device includes a display unit that three-dimensionally displays a predetermined object, a detection unit that detects a displacement of the predetermined object in the three-dimensional space where the object is displayed, and the detection unit that detects the displacement
  • a control unit that performs an operation associated with the object according to a displacement of a predetermined object.
  • control method is a control method executed by an electronic device having a display unit, the step of three-dimensionally displaying a predetermined object on the display unit, and a predetermined in a three-dimensional space in which the object is displayed Detecting a displacement of the object, and performing an operation associated with the object according to the detected displacement of the predetermined object.
  • control program includes a step of three-dimensionally displaying a predetermined object on the display unit on an electronic device having a display unit, and a step of detecting a displacement of the predetermined object in a three-dimensional space where the object is displayed. And a step of performing an operation associated with the object according to the detected displacement of the predetermined object.
  • the present invention has an effect that various operation methods can be provided to the user.
  • FIG. 1 is a front view illustrating an appearance of a mobile phone terminal (electronic device) according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the mobile phone terminal according to the present embodiment.
  • FIG. 3 is a diagram for explaining detection of an operation on a three-dimensional object.
  • FIG. 4 is a diagram illustrating an example of control realized by detecting an operation on a three-dimensional object.
  • FIG. 5 is a diagram illustrating an example of an operation trajectory in which a finger touches a three-dimensional object for a moment.
  • FIG. 6 is a diagram illustrating an example of a trajectory of an operation for moving a finger along a three-dimensional object.
  • FIG. 1 is a front view illustrating an appearance of a mobile phone terminal (electronic device) according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the mobile phone terminal according to the present embodiment.
  • FIG. 3 is a diagram for explaining detection of an operation on
  • FIG. 7 is a diagram illustrating an example of an operation trajectory for crushing a three-dimensional object with a finger.
  • FIG. 8 is a flowchart showing a control processing procedure executed by the mobile phone terminal upon detection of an operation on a three-dimensional object.
  • FIG. 9 is a front view showing an appearance of a mobile phone terminal including two touch panels.
  • a mobile phone terminal will be described as an example of an electronic device.
  • the application target of the present invention is not limited to a mobile phone terminal.
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • portable navigation device notebook
  • notebook notebook
  • FIG. 1 is a front view showing the appearance of the mobile phone terminal 1.
  • FIG. 2 is a block diagram showing a functional configuration of the mobile phone terminal 1.
  • the mobile phone terminal 1 includes an operation unit 13, a microphone 15, a receiver 16, a control unit 22, a storage unit 24, a communication unit 26, an audio processing unit 30, A touch panel 32, a projector 34, and a photographing unit 40 are included.
  • the operation unit 13, the microphone 15, the receiver 16, the touch panel 32, and the photographing unit 40 are partly exposed on the front surface of the mobile phone terminal 1.
  • the operation unit 13 has a physical button and outputs a signal corresponding to the pressed button to the control unit 22.
  • the operation unit 13 has only one button, but the operation unit 13 may have a plurality of buttons.
  • the microphone 15 acquires external sound.
  • the receiver 16 outputs the other party's voice during a call.
  • the sound processing unit 30 converts the sound input from the microphone 15 into a digital signal and outputs the digital signal to the control unit 22.
  • the audio processing unit 30 decodes the digital signal input from the control unit 22 and outputs the decoded digital signal to the receiver 16.
  • the communication unit 26 includes an antenna 26a, and establishes a radio signal line by a CDMA (Code Division Multiple Access) system or the like with a base station via a channel assigned by the base station.
  • the communication unit 26 performs telephone communication and information communication with other devices through a radio signal line established with the base station.
  • CDMA Code Division Multiple Access
  • the touch panel 32 displays various information such as characters, figures, images, and the like, and detects an input operation on a predetermined area such as a displayed icon, button, or character input area.
  • the touch panel 32 is configured by superimposing a display unit 32a and a touch sensor 32b.
  • the display unit 32 a includes a display device such as a liquid crystal display (Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) panel, and displays various types of information according to control signals input from the control unit 22.
  • the touch sensor 32 b detects an input operation performed on the surface of the touch panel 32 and outputs a signal corresponding to the detected input operation to the control unit 22.
  • the touch sensor 32b is assumed to be a capacitive sensor.
  • the touch panel 32 can display a three-dimensional object.
  • a three-dimensional object is an image or shape created so as to look stereoscopically using parallax.
  • the method for displaying the three-dimensional object may be a method for realizing stereoscopic vision using an instrument such as glasses, or a method for realizing stereoscopic vision with the naked eye.
  • the projector 34 projects an image on a wall surface or a screen in accordance with a control signal input from the control unit 22.
  • the method by which the projector 34 projects an image is not particularly limited.
  • the projector 34 may draw an image by reflecting laser light emitted from a light source with a MEMS (Micro Electro Mechanical System) mirror.
  • the projector 34 may be configured by combining a light source such as a halogen light, LED, or LD and an optical system such as an LCD or DMD (Digital Micro-mirror Device).
  • the imaging unit 40 acquires an image electronically with an imaging sensor. It is preferable that the photographing unit 40 has an angle of view and an arrangement so that the finger can be photographed at any position on the touch panel 32. Note that the imaging unit 40 may be a device that acquires an image of visible light, or may be a device that acquires an image of invisible light such as infrared rays.
  • the control unit 22 includes a CPU (Central Processing Unit) that is a calculation unit and a memory that is a storage unit, and implements various functions by executing programs using these hardware resources. Specifically, the control unit 22 reads a program or data stored in the storage unit 24 and expands it in a memory, and causes the CPU to execute instructions included in the program expanded in the memory. The control unit 22 reads / writes data from / to the memory and the storage unit 24 and controls operations of the communication unit 26, the display unit 32a, and the like according to the execution result of the instruction by the CPU. When the CPU executes an instruction, data developed in the memory, a signal input from the touch sensor 32b, or the like is used as a part of parameters or determination conditions.
  • a CPU Central Processing Unit
  • the storage unit 24 includes a non-volatile storage device such as a flash memory, and stores various programs and data.
  • the program stored in the storage unit 24 includes a control program 24a.
  • storage part 24 may be comprised by the combination of portable storage media, such as a memory card, and the reading / writing apparatus which reads / writes with respect to a storage medium.
  • the control program 24a may be stored in a storage medium.
  • the control program 24a may be acquired from another device such as a server device by wireless communication by the communication unit 26.
  • the control program 24 a provides functions related to various controls for operating the mobile phone terminal 1.
  • Functions provided by the control program 24 a include a function for controlling the display of a three-dimensional object on the touch panel 32, a function for controlling the projection of an image by the projector 34, and a user's operation on the three-dimensional object displayed by the touch panel 32. Includes the ability to detect operations.
  • FIG. 3 is a diagram for explaining detection of an operation on a three-dimensional object.
  • the touch panel 32 displays a three-dimensional object OB1. Since the three-dimensional object OB1 appears to the user to float from the touch panel 32 in the three-dimensional space, the finger F1 of the user who wants to operate the three-dimensional object OB1 does not necessarily contact the touch panel 32.
  • the three-dimensional space refers to a real space that appears to the user as if the object OB1 exists at a position facing the display surface of the display unit 32a that displays a three-dimensional object.
  • the control unit 22 uses either one or both of the touch sensor 32b and the photographing unit 40 as a detection unit for detecting a user operation on the three-dimensional object.
  • the touch sensor 32b detects the position of the finger F1 in the X-axis direction and the Y-axis direction by increasing sensitivity, for example, even when the distance H in the Z-axis direction between the finger F1 and the surface of the touch panel 32 is about 10 cm. be able to.
  • the control part 22 can calculate the distance H based on the magnitude
  • control unit 22 can calculate the positions of the finger F1 in the X-axis direction, the Y-axis direction, and the Z-axis direction from the position and size of the finger F1 included in the image photographed by the photographing unit 40.
  • the template image of the finger F1 may be stored in the mobile phone terminal 1 in advance.
  • the control unit 22 may calculate the position of the finger F1 by using the distance between the imaging unit 40 and the finger F1 measured by the focusing mechanism so that the imaging unit 40 focuses on the subject.
  • the detection results may be averaged to specify the position of the finger F1.
  • the weight of the touch sensor 32b since it is difficult for the photographing unit 40 to acquire the image of the finger F1 in the area close to the touch panel 32, the weight of the touch sensor 32b is increased, and in the area far from the touch panel 32, the detection accuracy of the touch sensor 32b is low.
  • a weighted average obtained by increasing the weighting of the photographing unit 40 may be used.
  • another sensor such as a proximity sensor may be used alone or in combination to function as a detection unit for detecting a user's operation on the three-dimensional object.
  • FIG. 4 is a diagram illustrating an example of control realized by detecting an operation on a three-dimensional object.
  • FIG. 5 is a diagram illustrating an example of an operation trajectory in which the finger F1 is brought into contact with the three-dimensional object for a moment.
  • FIG. 6 is a diagram illustrating an example of a trajectory of an operation for moving the finger F1 along the three-dimensional object.
  • FIG. 7 is a diagram illustrating an example of a trajectory of an operation of crushing a three-dimensional object with the finger F1.
  • step S11 shown in FIG. 4 the control unit 22 displays a spherical globe on the touch panel 32 as a three-dimensional object OB1. Furthermore, the control unit 22 projects a map, which is an enlarged view of Japan, displayed at the center of the three-dimensional object OB1 viewed from above, as a projection image P1 from the projector 34. In this way, the control unit 22 links the three-dimensional object displayed on the touch panel 32 and the image projected from the projector 34.
  • a map of Japan is projected as an image related to Japan displayed at the center of the three-dimensional object OB1, but other images related to Japan such as the Japanese flag and national flowers may be projected. Good. Further, the displayed three-dimensional object and image may be stored in advance in the storage unit 24 or may be acquired through communication by the communication unit 26.
  • step S11 it is assumed that an operation of moving the finger F1 obliquely downward as shown in FIG. 5 to make contact with the three-dimensional object OB1 for a moment and releasing it immediately is detected.
  • This operation is similar to a tap operation in which the finger F1 is brought into contact with the touch panel 32 for a moment and then released immediately, but the tap operation can select only a point on the plane, while selecting an arbitrary place of the three-dimensional object OB1. It is excellent in that it can be done.
  • the control unit 22 may dynamically calculate the size of the three-dimensional object that can be seen by the user while controlling the display of the three-dimensional object. Alternatively, calibration may be performed in advance, and the correspondence between the range of the three-dimensional object viewed from the user and the position of the finger F1 detected by the touch sensor 32b or the like may be stored.
  • the control unit 22 determines that the position touched by the finger F1 has been selected, and executes processing corresponding to the selected position.
  • the process corresponding to the selected position is, for example, a process of projecting detailed information corresponding to the selected position from the projector 34.
  • a process corresponding to the selected position a process of rotating the three-dimensional object OB1 so that the selected position is the center is executed.
  • step S12 shown in FIG. 4 as a result of detecting the operation shown in FIG. 5, the control unit 22 rotates the three-dimensional object OB1 so that the vicinity of the touched Florida peninsula is the center.
  • the control unit 22 projects a map near the Florida peninsula moved to the center of the three-dimensional object OB1 from the projector 34 as a projection image P1.
  • the direction in which the finger F1 is moved to make contact with the three-dimensional object OB1 for a moment is not limited to the diagonally downward direction, and may be any direction.
  • Step S11 it is assumed that an operation for moving the finger F1 as shown in FIG. 6 along the three-dimensional object OB1 is detected.
  • the control unit 22 rotates the three-dimensional object OB1 according to the moving direction and moving amount of the finger F1. As described above, it is intuitive and easy for the user to rotate the three-dimensional object OB1 as a process corresponding to the movement of the finger F1 along the three-dimensional object OB1.
  • step S13 shown in FIG. 4 as a result of detecting the operation shown in FIG. 6, the control unit 22 rotates the three-dimensional object OB1 leftward by an angle corresponding to the movement amount of the finger F1. In conjunction with the rotation of the three-dimensional object OB1, the control unit 22 projects a map near the Florida peninsula moved to the center of the three-dimensional object OB1 from the projector 34 as a projection image P1.
  • step S11 it is assumed that an operation for crushing the three-dimensional object OB1 from above using the finger F1 as shown in FIG. 7 is detected.
  • the control unit 22 reduces the three-dimensional object OB1 according to the amount by which the user pushes the finger F1 into the three-dimensional object OB1.
  • step S14 shown in FIG. 4 as a result of detecting the operation shown in FIG. 7, the control unit 22 reduces the three-dimensional object OB1. Further, the control unit 22 reduces the map projected from the projector 34 as the projection image P1 in conjunction with the reduction of the three-dimensional object OB1.
  • FIG. 8 is a flowchart illustrating a control processing procedure executed by the mobile phone terminal 1 in accordance with detection of an operation on a three-dimensional object.
  • the processing procedure shown in FIG. 8 is realized by the control unit 22 executing the control program 24a.
  • control unit 22 first displays a three-dimensional object on the touch panel 32 as step S101.
  • control unit 22 causes the projector 34 to project an image corresponding to the three-dimensional object in step S102.
  • step S103 the control unit 22 determines whether the finger is detected by the detection unit.
  • the control unit 22 determines whether an end operation by the user is detected as Step S108.
  • the control unit 22 re-executes Step S103 and the subsequent steps.
  • the control unit 22 ends the series of processing procedures.
  • step S103 If a finger is detected in step S103 (step S103, Yes), the control unit 22 determines the movement of the finger in the three-dimensional space based on the detection result of the detection unit in step S104. Then, when an operation in which a finger touches the three-dimensional object for a moment is detected (step S105, Yes), the control unit 22 executes a process corresponding to the touched position as step S106. Then, in step S107, the control unit 22 updates the image projected in association with the three-dimensional object, and executes step S108 described above.
  • step S105 When a displacement corresponding to the movement of the finger along the three-dimensional object is detected (step S105, No, step S109, Yes), the control unit 22 performs the finger movement direction and amount as step S110.
  • the three-dimensional object is rotated according to Then, in step S107, the control unit 22 updates the image projected in association with the three-dimensional object, and executes step S108 described above.
  • step S109 when a displacement corresponding to the action of crushing the three-dimensional object with a finger is detected (step S109, No, step S111, Yes), the control unit 22 pushes the finger into the three-dimensional object as step S112. The three-dimensional object is reduced according to Then, in step S107, the control unit 22 updates the image projected in association with the three-dimensional object, and executes step S108 described above.
  • control unit 22 maintains the projected image as it is and executes Step S108 described above.
  • control program 24a shown in the above embodiment may be divided into a plurality of modules or may be integrated with other programs.
  • the three-dimensional object is operated with a finger.
  • a rod-like object having a static charge at the tip may be used instead of the finger.
  • the three types of operations are detected based on the movement of the finger in the three-dimensional space.
  • the operation detected based on the movement of the finger or the hand in the three-dimensional space is: It is not limited to these.
  • the user in cooperation with the creation program, the user may be able to produce an image or a building by operating a block or viscosity displayed three-dimensionally with a finger. Further, in cooperation with the racing game program, the user may enjoy the race by operating the handle displayed three-dimensionally by hand.
  • the user may be able to enjoy the performance by operating the piano or keyboard displayed in three dimensions with his / her fingers.
  • an image of the cut surface may be projected from the projector 34.
  • the mobile phone terminal 1 is provided with a capacitive touch panel as a display unit.
  • the mobile phone terminal 1 may not include a capacitive touch panel.
  • the cellular phone terminal 1 may include a touch panel of a detection method other than the capacitance type as the display unit, or may include a device that simply displays information as the display unit.
  • an image associated with the three-dimensional object is projected from the projector.
  • the mobile phone terminal includes a plurality of display means
  • the three-dimensional object is displayed on one display means
  • the image may be displayed on other display means.
  • FIG. 9 is a front view showing an appearance of the mobile phone terminal 2 having two touch panels.
  • the mobile phone terminal 2 includes a housing 2a and a housing 2b configured to be slidable.
  • the housing 2a has a touch panel 33a
  • the housing 2b has a touch panel 33b.
  • the cellular phone terminal 2 exposes the touch panel 33a and the touch panel 33b to the outside in the open state where the overlap between the casing 2a and the casing 2b is the smallest, and only the touch panel 33a in the closed state where the casing 2a and the casing 2b overlap. Exposed outside.
  • the touch panel 33a may be used to display a three-dimensional object.
  • the touch panel 33b is used to display a related image.
  • the mobile phone terminal 2 may be a foldable electronic device including a plurality of touch panels.
  • an imaging unit or a touch sensor is used to detect a displacement of a predetermined object
  • a sensor using a TOF (Time-of-Flight) method may be used instead of the photographing unit.
  • TOF Time-of-Flight
  • a proximity sensor that can detect the movement in the plane direction in the space where the stereoscopic display is performed is arranged almost horizontally with the movement direction of the predetermined object, the displacement of the predetermined object can be detected even without contact. May be.
  • the displacement can be detected without arranging a sensor or the like on a predetermined object. In that case, it is not necessary to attach an acceleration sensor to the finger or move an electronic device itself with acceleration. Therefore, cost reduction can be achieved.
  • any operation related to the object performed in response to the detected displacement may be used.
  • the object in response to the detected displacement, there may be some change in the object itself, such as moving the object or deforming the object.
  • the present invention can also be applied to the case where the three-dimensional object is present behind the display unit.
  • a sensor or a camera may be disposed on the back side of the display unit.
  • the electronic device is, for example, a mobile phone
  • an in-camera for photographing the user himself and an out-camera for photographing a landscape are often provided. Therefore, by using this out camera, the displacement of a predetermined object on the back side may be captured.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　携帯電話端末（電子機器）（１）は、所定のオブジェクトを３次元表示する表示部（３２ａ）と、オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部（タッチセンサ（３２ｂ）、撮影部（４０））と、検出部によって検出される所定の物体の変位に応じてオブジェクトに関連づけられた動作を行う制御部（２２）とを備える。制御部（２２）は、例えば、検出部によって所定の物体のオブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させてオブジェクトを回転させる。

Description

電子機器、制御方法および制御プログラム
　本発明は、電子機器、制御方法および制御プログラムに関する。
　近年、直感的な操作を可能にするとともに、キーボードのように物理的に大きな面積を必要とするデバイスを具備しない小型の電子機器を実現するために、タッチパネルが広く利用されるようになっている。タッチパネルを備える電子機器では、タッチパネルによって検出されるタップ等の動作に対して特定の処理が割り当てられる（例えば、特許文献１）。
特開２００９－１６４７９４号公報
　しかしながら、タッチパネルによって検出される動作は、タップ、フリック、スワイプ等の数種類に過ぎない。このため、タッチパネルを備える従来の電子機器では、利用者に対して多様な操作方法を提供することができなかった。
　このような理由から、利用者に対して多様な操作方法を提供することができる電子機器、制御方法および制御プログラムに対するニーズがある。
　１つの態様において、電子機器は、所定のオブジェクトを３次元表示する表示部と、前記オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部と、前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部とを備える。
　他の態様において、制御方法は、表示部を有する電子機器によって実行される制御方法であって、所定のオブジェクトを前記表示部に３次元表示するステップと、前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを含む。
　他の態様において、制御プログラムは、表示部を有する電子機器に、所定のオブジェクトを前記表示部に３次元表示するステップと、前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップとを実行させる。
　本発明は、利用者に対して多様な操作方法を提供することができるという効果を奏する。
図１は、本実施例に係る携帯電話端末（電子機器）の外観を示す正面図である。 図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。 図３は、３次元オブジェクトに対する操作の検出について説明するための図である。 図４は、３次元オブジェクトに対する操作を検出することによって実現される制御の一例を示す図である。 図５は、指を３次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。 図６は、指を３次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。 図７は、指で３次元オブジェクトを押しつぶす操作の軌跡の一例を示す図である。 図８は、３次元オブジェクトに対する操作の検出にともなって携帯電話端末が実行する制御の処理手順を示すフローチャートである。 図９は、２つのタッチパネルを備える携帯電話端末の外観を示す正面図である。
　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal　Handyphone　System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
　まず、図１および図２を参照しながら、本実施例に係る携帯電話端末（電子機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。
　図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、プロジェクタ３４と、撮影部４０とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮影部４０は、携帯電話端末１の正面に一部が露出する。
　操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
　マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
　通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code　Division　Multiple　Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
　タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
　表示部３２ａは、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬ（Organic　Electro－Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。本実施例において、タッチセンサ３２ｂは、静電容量式のセンサであるものとする。
　また、本実施例において、タッチパネル３２は、３次元オブジェクトを表示できるものとする。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
　プロジェクタ３４は、制御部２２から入力される制御信号に従って、画像を壁面やスクリーンに投影する。なお、プロジェクタ３４が画像を投影する方式は特に限定しない。例えば、プロジェクタ３４は、光源から照射されるレーザー光をＭＥＭＳ（Micro　Electro　Mechanical　System）ミラーで反射して画像を描画してもよい。また、プロジェクタ３４は、ハロゲンライト、ＬＥＤ、ＬＤ等の光源と、ＬＣＤ、ＤＭＤ（Digital　Micro-mirror　Device）等の光学系とを組み合わせて構成されてもよい。
　撮影部４０は、撮像センサによって画像を電子的に取得する。撮影部４０は、タッチパネル３２上のどの位置に指が置かれていてもその指を撮影することができるように画角や配置が設定されていることが好ましい。なお、撮影部４０は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
　制御部２２は、演算手段であるＣＰＵ（Central　Processing　Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
　記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
　制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、プロジェクタ３４による画像の投影を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
　次に、図３を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図３は、３次元オブジェクトに対する操作の検出について説明するための図である。図３に示すように、タッチパネル３２が、３次元オブジェクトＯＢ１を表示しているものとする。３次元オブジェクトＯＢ１は、利用者には、立体空間中に、タッチパネル３２から浮き上がって見えるため、３次元オブジェクトＯＢ１を操作しようとする利用者の指Ｆ１は、必ずしもタッチパネル３２と接触しない。なお、立体空間とは、３次元オブジェクトを表示する表示部３２ａの表示面に対向した位置で、利用者にはあたかもオブジェクトＯＢ１が存在しているように見えている現実の空間をいう。
　したがって、３次元オブジェクトに対する操作を検出するには、タッチパネル３２の表面に平行なＸ軸方向およびＹ軸方向への指Ｆ１の動きだけでなく、タッチパネル３２の表面と垂直なＺ軸方向への指Ｆ１の動きを検出することが好ましい。Ｚ軸方向への指Ｆ１の動きを検出することは、Ｘ軸方向およびＹ軸方向への指Ｆ１の動きの検出だけでは実現できない多様な操作を可能にするという点においても好ましい。
　制御部２２は、３次元オブジェクトに対する利用者の操作を検出するための検出部として、タッチセンサ３２ｂおよび撮影部４０のいずれか一方または両方を利用する。タッチセンサ３２ｂは、感度を高めることで、例えば、指Ｆ１とタッチパネル３２の表面とのＺ軸方向の距離Ｈが１０ｃｍ程度ある場合でも、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、制御部２２は、タッチセンサ３２ｂが検出する静電容量の大きさに基づいて距離Ｈを算出することができる。
　また、制御部２２は、撮影部４０によって撮影される画像に含まれる指Ｆ１の位置および大きさから、指Ｆ１のＸ軸方向、Ｙ軸方向およびＺ軸方向の位置を算出することができる。なお、算出される位置の精度を向上させるために、指Ｆ１のテンプレート画像を予め携帯電話端末１に記憶させておいてもよい。また、制御部２２は、撮影部４０が被写体に焦点を合わせるために合焦機構によって測定される撮影部４０と指Ｆ１との距離を併用して、指Ｆ１の位置を算出してもよい。
　タッチセンサ３２ｂおよび撮影部４０を併用する場合、それぞれの検出結果を平均して指Ｆ１の位置を特定してもよい。この場合、タッチパネル３２と近い領域は撮影部４０では、指Ｆ１の画像を取得し難いのでタッチセンサ３２ｂの重みづけを大きくし、タッチパネル３２と遠い領域では、タッチセンサ３２ｂの検出精度が低くなるので撮影部４０の重みづけを大きくした加重平均を用いてもよい。
　なお、近接センサ等の他のセンサを単独利用または併用して、３次元オブジェクトに対する利用者の操作を検出するための検出部として機能させてもよい。
　次に、図４から図７を参照しながら、３次元オブジェクトに対する操作を検出することによって実現される制御の例について説明する。図４は、３次元オブジェクトに対する操作を検出することによって実現される制御の一例を示す図である。図５は、指Ｆ１を３次元オブジェクトに一瞬接触させる操作の軌跡の一例を示す図である。図６は、指Ｆ１を３次元オブジェクトに沿って移動させる操作の軌跡の一例を示す図である。図７は、指Ｆ１で３次元オブジェクトを押しつぶす操作の軌跡の一例を示す図である。
　図４に示すステップＳ１１では、制御部２２は、球形の地球儀を３次元オブジェクトＯＢ１として、タッチパネル３２に表示させている。さらに、制御部２２は、上から見た３次元オブジェクトＯＢ１の中心に表示されている日本を拡大した地図を投影画像Ｐ１としてプロジェクタ３４から投影している。このように、制御部２２は、タッチパネル３２に表示される３次元オブジェクトとプロジェクタ３４から投影される画像とを連動させる。
　なお、ここでは、３次元オブジェクトＯＢ１の中心に表示されている日本に関連する画像として日本の地図を投影させているが、日本の国旗、国花等日本に関連する他の画像を投影させてもよい。また、表示される３次元オブジェクトおよび画像は、記憶部２４に予め記憶されていてもよいし、通信部２６による通信によって取得されてもよい。
　ステップＳ１１の状態において、図５に示すような指Ｆ１を斜め下へ移動させて３次元オブジェクトＯＢ１に一瞬接触させて直ぐに離す操作が検出されたものとする。この操作は、タッチパネル３２に指Ｆ１を一瞬接触させて直ぐに離すタップ操作と類似しているが、タップ操作は平面上の点しか選択できないのに対して、３次元オブジェクトＯＢ１の任意の場所を選択できる点において優れている。
　なお、利用者から見える３次元オブジェクトの大きさについては、予め算出された値が３次元オブジェクトのデータ中に含まれていれば、その値を使用することとしてもよい。また、制御部２２は、３次元オブジェクトの表示を制御しながら、利用者から見える３次元オブジェクトの大きさを動的に算出してもよい。あるいは、事前にキャリブレーションを行って、利用者から見た３次元オブジェクトの範囲と、タッチセンサ３２ｂ等が検出する指Ｆ１の位置との対応を記憶しておいてもよい。
　図５に示すような操作が検出されると、制御部２２は、指Ｆ１によって接触された位置が選択されたと判定し、選択された位置に対応する処理を実行する。選択された位置に対応する処理とは、例えば、選択された位置に対応する詳細情報をプロジェクタ３４から投影する処理である。本実施例では、選択された位置に対応する処理として、選択された位置が中心になるように３次元オブジェクトＯＢ１を回転させる処理が実行されるものとする。
　図４に示すステップＳ１２では、図５に示すような操作が検出された結果、制御部２２は、接触されたフロリダ半島付近が中心になるように３次元オブジェクトＯＢ１を回転させている。３次元オブジェクトＯＢ１の回転と連動して、制御部２２は、３次元オブジェクトＯＢ１の中心へ移動したフロリダ半島付近の地図を投影画像Ｐ１としてプロジェクタ３４から投影させている。なお、３次元オブジェクトＯＢ１に一瞬接触させるために指Ｆ１を移動させる方向は、斜め下方向に限定されず、どの方向であってもよい。
　また、ステップＳ１１の状態において、図６に示すような指Ｆ１を３次元オブジェクトＯＢ１に沿って移動させる操作が検出されたものとする。図６に示すような操作が検出されると、制御部２２は、指Ｆ１の移動方向および移動量に応じて３次元オブジェクトＯＢ１を回転させる。このように、３次元オブジェクトＯＢ１に沿った指Ｆ１の移動に応じた処理として３次元オブジェクトＯＢ１を回転させることは、利用者にとって直感的で覚えやすい。
　図４に示すステップＳ１３では、図６に示すような操作が検出された結果、制御部２２は、３次元オブジェクトＯＢ１を左方向に指Ｆ１の移動量に応じた角度だけ回転させている。３次元オブジェクトＯＢ１の回転と連動して、制御部２２は、３次元オブジェクトＯＢ１の中心へ移動したフロリダ半島付近の地図を投影画像Ｐ１としてプロジェクタ３４から投影させている。
　また、ステップＳ１１の状態において、図７に示すような指Ｆ１を使って３次元オブジェクトＯＢ１を上から押しつぶすような操作が検出されたものとする。図７に示すような操作が検出されると、制御部２２は、利用者が指Ｆ１を３次元オブジェクトＯＢ１に押し込む量に応じて３次元オブジェクトＯＢ１を縮小させる。このように、３次元オブジェクトＯＢ１を押しつぶす操作に応じた処理として３次元オブジェクトＯＢ１を縮小させることは、利用者にとって直感的で覚えやすい。
　図４に示すステップＳ１４では、図７に示すような操作が検出された結果、制御部２２は、３次元オブジェクトＯＢ１を縮小させている。また、制御部２２は、３次元オブジェクトＯＢ１の縮小と連動して、投影画像Ｐ１としてプロジェクタ３４から投影される地図も縮小させている。
　次に、図８を参照しながら、３次元オブジェクトに対する操作の検出にともなって携帯電話端末１が実行する制御の処理手順について説明する。図８は、３次元オブジェクトに対する操作の検出にともなって携帯電話端末１が実行する制御の処理手順を示すフローチャートである。図８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
　図８に示すように、制御部２２は、まず、ステップＳ１０１として、３次元オブジェクトをタッチパネル３２に表示させる。また、制御部２２は、ステップＳ１０２として、３次元オブジェクトに対応する画像をプロジェクタ３４から投影させる。
　続いて、制御部２２は、ステップＳ１０３として、検出部によって指が検出されているかを判定する。検出部によって指が検出されていない場合（ステップＳ１０３，Ｎｏ）、制御部２２は、ステップＳ１０８として、利用者による終了操作が検出されたかを判定する。終了操作が検出されていない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０３以降を再実行する。一方、終了操作が検出されていた場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、一連の処理手順を終了させる。
　ステップＳ１０３において指が検出されている場合（ステップＳ１０３，Ｙｅｓ）、制御部２２は、ステップＳ１０４として、検出部の検出結果に基づいて、３次元空間での指の動きを判定する。そして、３次元オブジェクトに指が一瞬接触する動作が検出された場合（ステップＳ１０５，Ｙｅｓ）、制御部２２は、ステップＳ１０６として、接触された位置に対応する処理を実行する。そして、制御部２２は、ステップＳ１０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップＳ１０８を実行する。
　また、３次元オブジェクトに沿って指が移動する動作に対応する変位が検出された場合（ステップＳ１０５，Ｎｏ、ステップＳ１０９，Ｙｅｓ）、制御部２２は、ステップＳ１１０として、指の移動方向および移動量に応じて３次元オブジェクトを回転させる。そして、制御部２２は、ステップＳ１０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップＳ１０８を実行する。
　また、指で３次元オブジェクトを押しつぶすような動作に対応する変位が検出された場合（ステップＳ１０９，Ｎｏ、ステップＳ１１１，Ｙｅｓ）、制御部２２は、ステップＳ１１２として、指を３次元オブジェクトに押し込む量に応じて３次元オブジェクトを縮小させる。そして、制御部２２は、ステップＳ１０７として、３次元オブジェクトに対応づけて投影されている画像を更新し、上述したステップＳ１０８を実行する。
　上記の動作のいずれも検出されない場合（ステップＳ１１１，Ｎｏ）、制御部２２は、投影されている画像をそのまま維持して、上述したステップＳ１０８を実行する。
　上述してきたように、本実施例では、３次元空間での指の動きに基づいて利用者の操作を検出することとしたため、利用者に多様な操作方法を提供することができる。
　なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
　また、上記の実施例では、３次元空間での指の動きに基づいて３種類の操作を検出することとしたが、３次元空間での指や手の動きに基づいて検出される操作は、これらに限定されない。例えば、創作プログラムと連係して、利用者が３次元表示されたブロックや粘度を指で操作して像や建物を製作できるようにしてもよい。また、レースゲームプログラムと連係して、利用者が３次元表示されたハンドルを手で操作してレースを楽しめるようにしてもよい。
　また、楽器演奏プログラムと連係して、利用者が３次元表示されたピアノや鍵盤を指で操作して演奏を楽しめるようにしてもよい。また、データ表示プログラムと連係して、３次元表示された形状の任意の部分を手で切断すると、切断面の画像がプロジェクタ３４から投影されることとしてもよい。
　また、上記の実施例では、携帯電話端末１が、表示手段として静電容量式のタッチパネルを備えることとしたが、撮影部４０によって３次元空間での指や手の動きを精度よく検出できる場合は、携帯電話端末１は、静電容量式のタッチパネルを備えなくてもよい。この場合、携帯電話端末１は、表示手段として静電容量式以外の検出方式のタッチパネルを備えてもよいし、表示手段として単に情報を表示するだけの装置を備えてもよい。
　また、上記の実施例では、３次元オブジェクトと関連する画像をプロジェクタから投影することとしたが、携帯電話端末が複数の表示手段を備える場合は、１つの表示手段に３次元オブジェクトを表示し、他の表示手段に画像を表示することとしてもよい。
　図９は、２つのタッチパネルを備える携帯電話端末２の外観を示す正面図である。携帯電話端末２は、スライド可能に構成された筐体２ａおよび筐体２ｂとを有する。筐体２ａは、タッチパネル３３ａを有し、筐体２ｂはタッチパネル３３ｂを有する。携帯電話端末２は、筐体２ａおよび筐体２ｂの重複が最も小さい開状態では、タッチパネル３３ａおよびタッチパネル３３ｂを外部に露出し、筐体２ａおよび筐体２ｂが重なり合う閉状態では、タッチパネル３３ａのみを外部に露出する。
　開状態において、タッチパネル３３ａは、３次元オブジェクトを表示するために用いられることがあり、その場合、タッチパネル３３ｂは、関連する画像を表示するために用いられる。なお、携帯電話端末２は、複数のタッチパネルを備える折り畳み式の電子機器であってもよい。
　なお、上記実施例では、所定の物体の変位を検出するために撮影部やタッチセンサを用いた例を示したが、これに限られない。たとえば撮影部に代えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また立体表示がされた空間における面方向の移動を検出できる近接センサ等を、所定の物体の移動方向とほぼ水平に配置すると、所定の物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、所定の物体にセンサ等を配置することなく、上記変位の検出ができるとよく、その場合、指にわざわざ加速度センサを取り付けたり、加速度を備えた電子機器そのものを移動させたりする必要がないので、コスト低減が図れる。
　また、検出した変位に対応して行われるオブジェクトに関連する動作はなんでもよい。たとえば、検出された変位に対応して、オブジェクトを移動させる、オブジェクトを変形させる等、オブジェクト自体についてのなんらかの変化があるようにしてもよい。
　また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。
　電子機器がたとえば携帯電話の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラを共に備えていることが多い。そこで、このアウトカメラを用いることで裏面側における所定の物体の変位を捕捉することができるようにしてもよい。
　１　携帯電話端末
１３　操作部
２２　制御部
２４　記憶部
２４ａ　制御プログラム
２６　通信部
３０　音声処理部
３２　タッチパネル
３２ａ　表示部
３２ｂ　タッチセンサ（検出部）
３４　プロジェクタ
４０　撮影部（検出部）

Claims (10)

  1. 　所定のオブジェクトを３次元表示する表示部と、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出する検出部と、
    　前記検出部によって検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行う制御部と
    　を備えることを特徴とする電子機器。
  2. 　前記制御部は、前記検出部によって前記所定の物体の前記オブジェクトに沿って移動する変位が検出された場合に、当該物体の移動方向に対応させて前記オブジェクトを回転させることを特徴とする請求項１に記載の電子機器。
  3. 　前記制御部は、前記動作の移動量に応じた角度だけ前記オブジェクトを回転させることを特徴とする請求項２に記載の電子機器。
  4. 　前記制御部は、前記検出部によって前記所定の物体が前記オブジェクトに接触した後に離れる動作が検出された場合に、前記オブジェクトの接触された位置に対応する処理を実行することを特徴とする請求項１から３のいずれか１つに記載の電子機器。
  5. 　画像を投影する投影部をさらに備え、
    　前記制御部は、前記オブジェクトに関連する画像を前記投影部から投影させることを特徴とする請求項１から４のいずれか１つに記載の電子機器。
  6. 　第２の表示部をさらに備え、
    　前記制御部は、前記オブジェクトに関連する画像を前記第２の表示部に表示させることを特徴とする請求項１から４のいずれか１つに記載の電子機器。
  7. 　前記検出部は、静電容量式のタッチセンサであることを特徴とする請求項１から６のいずれか１つに記載の電子機器。
  8. 　前記検出部は、画像を撮影する撮影部であることを特徴とする請求項１から６のいずれか１つに記載の電子機器。
  9. 　表示部を有する電子機器によって実行される制御方法であって、
    　所定のオブジェクトを前記表示部に３次元表示するステップと、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、
    　検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップと
    　を含むことを特徴とする制御方法。
  10. 　表示部を有する電子機器に、
    　所定のオブジェクトを前記表示部に３次元表示するステップと、
    　前記オブジェクトが表示される立体空間における所定の物体の変位を検出するステップと、
    　検出される前記所定の物体の変位に応じて前記オブジェクトに関連づけられた動作を行うステップと
    　を実行させることを特徴とする制御プログラム。
PCT/JP2012/057603 2011-03-25 2012-03-23 電子機器、制御方法および制御プログラム WO2012133227A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/007,313 US9507428B2 (en) 2011-03-25 2012-03-23 Electronic device, control method, and control program
EP12763260.2A EP2690528A4 (en) 2011-03-25 2012-03-23 ELECTRONIC APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-068968 2011-03-25
JP2011068968A JP5785753B2 (ja) 2011-03-25 2011-03-25 電子機器、制御方法および制御プログラム

Publications (1)

Publication Number Publication Date
WO2012133227A1 true WO2012133227A1 (ja) 2012-10-04

Family

ID=46930949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057603 WO2012133227A1 (ja) 2011-03-25 2012-03-23 電子機器、制御方法および制御プログラム

Country Status (4)

Country Link
US (1) US9507428B2 (ja)
EP (1) EP2690528A4 (ja)
JP (1) JP5785753B2 (ja)
WO (1) WO2012133227A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082605A (ja) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc 情報処理装置、その制御方法及びプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
JP6322029B2 (ja) * 2014-03-31 2018-05-09 株式会社メガチップス ジェスチャー検出装置、ジェスチャー検出装置の動作方法および制御プログラム
JP6021272B2 (ja) * 2014-07-08 2016-11-09 京セラドキュメントソリューションズ株式会社 情報処理システムおよび情報処理方法
JP6460094B2 (ja) 2014-12-26 2019-01-30 株式会社ニコン 検出装置、空中像制御装置、検出方法および検出プログラム
WO2016103522A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
EP3239816A4 (en) 2014-12-26 2018-07-25 Nikon Corporation Detection device, electronic instrument, detection method, and program
WO2017142977A1 (en) 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
US12061742B2 (en) 2016-06-28 2024-08-13 Nikon Corporation Display device and control device
US10983680B2 (en) 2016-06-28 2021-04-20 Nikon Corporation Display device, program, display method and control device
WO2018003859A1 (ja) 2016-06-28 2018-01-04 株式会社ニコン 表示装置、プログラム、表示方法および制御装置
JP2019010337A (ja) * 2017-06-30 2019-01-24 株式会社コーエーテクモゲームス 端末装置及び制御プログラム
JP6920900B2 (ja) * 2017-06-30 2021-08-18 株式会社コーエーテクモゲームス 端末装置及び制御プログラム
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
JP6583486B2 (ja) * 2018-06-07 2019-10-02 株式会社リコー 情報処理方法、情報処理プログラムおよび情報処理装置
JP7286857B2 (ja) * 2021-07-20 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7052128B1 (ja) * 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7163526B1 (ja) 2021-07-20 2022-10-31 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) * 2022-03-30 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041314A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2009164794A (ja) 2007-12-28 2009-07-23 Kyocera Corp 携帯通信端末
JP2010055507A (ja) * 2008-08-29 2010-03-11 Sony Corp 入出力装置
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608850A (en) * 1994-04-14 1997-03-04 Xerox Corporation Transporting a display object coupled to a viewpoint within or between navigable workspaces
EP0910046A1 (en) * 1997-03-14 1999-04-21 Sony Corporation Image synthesizing device and method, position detecting device and method, and supply medium
JP2002229991A (ja) * 2001-01-31 2002-08-16 Fujitsu Ltd サーバ，ユーザ端末，情報提供サービスシステムおよび情報提供サービス方法
JP2003004441A (ja) * 2001-06-18 2003-01-08 Hitachi Ltd 距離計測方法および距離計測機能を有する画像入力装置
US7692667B2 (en) * 2001-08-17 2010-04-06 Palm, Inc. Handheld computer having moveable segments that are interactive with an integrated display
WO2008156437A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN100421064C (zh) * 2003-12-19 2008-09-24 升达科技股份有限公司 触控装置、控制方法及其采用该触控装置的电子装置
JP4655563B2 (ja) * 2004-09-21 2011-03-23 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
WO2006043456A1 (ja) * 2004-10-20 2006-04-27 Kyocera Corporation カメラモジュール及びこれを備えた携帯端末並びに情報端末
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
JP2006150912A (ja) * 2004-12-01 2006-06-15 Seiko Epson Corp 画像出力システム、および情報報知方法
US9137417B2 (en) * 2005-03-24 2015-09-15 Kofax, Inc. Systems and methods for processing video data
US7567419B2 (en) * 2005-06-10 2009-07-28 Kyocera Wireless Corp. Apparatus, system, and method for electrostatic discharge protection
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
JP2007170951A (ja) * 2005-12-21 2007-07-05 Fine Tech Corp 極低測定圧接触式測長装置
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US9327192B2 (en) * 2006-11-17 2016-05-03 Nintendo Co., Ltd. Game system and storage medium storing game program
US8384769B1 (en) * 2007-05-23 2013-02-26 Kwangwoon University Research Institute For Industry Cooperation 3D image display method and system thereof
JP4997175B2 (ja) * 2008-05-23 2012-08-08 株式会社Ｐｆｕ オブジェクト管理装置、携帯端末、および、オブジェクト操作方法
KR101908033B1 (ko) * 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
JP5113655B2 (ja) * 2008-07-18 2013-01-09 富士フイルム株式会社 電子フォトアルバム
JP2010134629A (ja) * 2008-12-03 2010-06-17 Sony Corp 情報処理装置および情報処理方法
JP4875050B2 (ja) * 2008-12-09 2012-02-15 京セラ株式会社 入力装置
TW201032091A (en) * 2009-02-17 2010-09-01 Pixart Imaging Inc Optical displacement detecting device and operating method thereof
US8289316B1 (en) * 2009-04-01 2012-10-16 Perceptive Pixel Inc. Controlling distribution of error in 2D and 3D manipulation
US9182854B2 (en) * 2009-07-08 2015-11-10 Microsoft Technology Licensing, Llc System and method for multi-touch interactions with a touch sensitive screen
KR101608764B1 (ko) * 2009-07-14 2016-04-04 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
JP5127792B2 (ja) * 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
CN102640502B (zh) * 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
KR20110044424A (ko) * 2009-10-23 2011-04-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9146669B2 (en) * 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
WO2011094855A1 (en) * 2010-02-05 2011-08-11 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
JP5658500B2 (ja) * 2010-07-26 2015-01-28 キヤノン株式会社 情報処理装置及びその制御方法
US20120066648A1 (en) * 2010-09-14 2012-03-15 Xerox Corporation Move and turn touch screen interface for manipulating objects in a 3d scene
US8483617B2 (en) * 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US20120105367A1 (en) * 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
JP5708083B2 (ja) * 2011-03-17 2015-04-30 ソニー株式会社 電子機器、情報処理方法、プログラム、及び電子機器システム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
JP5774387B2 (ja) * 2011-06-28 2015-09-09 京セラ株式会社 表示機器
KR101883376B1 (ko) * 2011-11-22 2018-07-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041314A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2009164794A (ja) 2007-12-28 2009-07-23 Kyocera Corp 携帯通信端末
JP2010055507A (ja) * 2008-08-29 2010-03-11 Sony Corp 入出力装置
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2690528A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082605A (ja) * 2012-10-15 2014-05-08 Canon Marketing Japan Inc 情報処理装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
EP2690528A1 (en) 2014-01-29
US20140015794A1 (en) 2014-01-16
JP5785753B2 (ja) 2015-09-30
EP2690528A4 (en) 2014-12-17
JP2012203737A (ja) 2012-10-22
US9507428B2 (en) 2016-11-29

Similar Documents

Publication Publication Date Title
JP5785753B2 (ja) 電子機器、制御方法および制御プログラム
EP2180676B1 (en) Mobile communication terminal and screen scrolling method thereof
KR102524190B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 제어방법
JP5864144B2 (ja) 表示機器
CN115720651A (zh) 利用对象操纵的增强现实体验
KR102251252B1 (ko) 가상 현실에서의 위치 지구본
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
WO2012133226A1 (ja) 電子機器、制御方法および制御プログラム
CN110743168A (zh) 虚拟场景中的虚拟对象控制方法、计算机设备及存储介质
CN110052030B (zh) 虚拟角色的形象设置方法、装置及存储介质
US9619048B2 (en) Display device
JP5684618B2 (ja) 撮影装置および仮想情報表示プログラム
US8970483B2 (en) Method and apparatus for determining input
KR20110046886A (ko) 휴대용 단말기
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US20140015859A1 (en) Mobile terminal and control method thereof
JP2012138776A (ja) コンテンツ表示装置、コンテンツ表示方法、および、コンテンツ表示用プログラム
JP5685464B2 (ja) 撮影装置、制御方法および仮想情報表示プログラム
US8659626B2 (en) Projection control
JP6126195B2 (ja) 表示機器
EP4361770A1 (en) Information processing system, information processing device, and image display device
CN109788090B (zh) 电子设备和控制电子设备的方法
JP5926008B2 (ja) 電子機器、制御方法および制御プログラム
JP2015109092A (ja) 表示機器
JP2001236172A (ja) 携帯情報端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12763260

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14007313

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012763260

Country of ref document: EP