WO2011024915A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2011024915A1
WO2011024915A1 PCT/JP2010/064519 JP2010064519W WO2011024915A1 WO 2011024915 A1 WO2011024915 A1 WO 2011024915A1 JP 2010064519 W JP2010064519 W JP 2010064519W WO 2011024915 A1 WO2011024915 A1 WO 2011024915A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
movement
unit
control unit
Prior art date
Application number
PCT/JP2010/064519
Other languages
English (en)
French (fr)
Inventor
大祐 嶋田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US13/392,161 priority Critical patent/US8941768B2/en
Publication of WO2011024915A1 publication Critical patent/WO2011024915A1/ja
Priority to US14/464,145 priority patent/US20140354869A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Definitions

  • the present invention relates to an electronic apparatus having a display unit for displaying an image and a photographing unit for acquiring the image.
  • Patent Document 1 includes a projector-equipped mobile phone that includes an upper cabinet, a lower cabinet, a hinge portion that rotatably connects the upper cabinet and the lower cabinet, and a projector having a lens and a light source. The terminal is listed.
  • Patent Document 2 discloses a projection unit that projects a projection image input from the outside onto a screen, an imaging unit that captures the screen and generates a captured image, and the captured image generated by the imaging unit. Based on the above, there is described a projector device including a writing storage unit that stores writing directly written on the screen in association with the projection image.
  • Patent Document 2 can detect the operation written by the operator on the screen by the photographing unit and store it, thereby detecting the operation by the operator and processing the displayed image. It becomes.
  • Patent Document 2 since the apparatus described in Patent Document 2 stores an image written on the screen by the operator using a writing instrument, the screen on which the image is projected needs to be writable. In addition, since information such as characters is actually written, it is necessary to erase the information written on the screen every time the image is switched, which takes time and effort. In addition, the apparatus described in Patent Document 2 merely captures information written on the screen as an image, and it is necessary to operate the operation unit to perform operations such as switching the image displayed on the screen. There is.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an electronic device that can operate an image to be displayed with a simple operation and has high operability.
  • the present invention is an electronic device that detects an image display unit that displays an image, a shooting unit that captures a subject, a movement of the subject captured by the shooting unit, and based on the detected movement of the subject, And a control unit that changes an image displayed on the image display unit.
  • control unit switches the image to be displayed on the image display unit to another image when detecting a specific movement of a preset subject.
  • control unit estimates a momentum of the subject from the movement of the subject, and determines a change in an image projected on the subject based on the estimated momentum.
  • control unit displays the subject photographed by the photographing unit on an image displayed by the image display unit.
  • the image display unit preferably projects and displays an image.
  • the photographing unit detects a movement of a subject at a position different from a surface on which the image display unit displays an image.
  • the specific movement of the subject is movement related to human movement.
  • control unit extracts a part of a human body from the subject photographed by the photographing unit.
  • control unit extracts light having a specific wavelength from a subject photographed by the photographing unit.
  • control unit switches control of an image displayed on the image display unit according to the detected wavelength of light.
  • the electronic device has an effect that an image to be displayed on the image display unit can be controlled based on the movement of the subject acquired by the photographing unit.
  • FIG. 1 is a perspective view illustrating a schematic configuration of an embodiment of a portable electronic device.
  • FIG. 2 is a block diagram showing a schematic configuration of functions of the portable electronic device shown in FIG.
  • FIG. 3 is an explanatory diagram showing a state in which an image is displayed on the portable electronic device shown in FIG.
  • FIG. 4 is a flowchart illustrating an example of the operation of the mobile electronic device.
  • FIG. 5 is an explanatory diagram for explaining the operation of the portable electronic device.
  • FIG. 6 is an explanatory diagram for explaining the operation of the portable electronic device.
  • FIG. 7 is an explanatory diagram for explaining the operation of the portable electronic device.
  • FIG. 8 is a flowchart illustrating another example of the operation of the portable electronic device.
  • FIG. 9 is an explanatory diagram for explaining the operation of the portable electronic device.
  • the present invention will be described in detail with reference to the drawings.
  • constituent elements in the following description include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those in a so-called equivalent range.
  • the case where the electronic device is a mobile phone will be described as an example.
  • the application target of the present invention is not limited to the mobile phone.
  • PHS Personal Handy-phone System
  • PDA Personal Digital Assistant
  • video camera The present invention also applies to various portable electronic devices such as portable navigation devices, notebook computers, portable game machines, image display devices (for example, television monitors), stationary projectors, game machines, and other stationary electronic devices. Applicable.
  • FIG. 1 is a perspective view illustrating a schematic configuration of an embodiment of a portable electronic device.
  • the mobile electronic device 10 is a mobile phone having a wireless communication function.
  • the mobile electronic device 10 is a straight mobile phone in which each part is housed inside a single box-shaped housing 11.
  • the casing 11 has a single box shape.
  • the casing 11 may be a foldable casing constituted by two members connected by a hinge, or a casing in which two members are slid.
  • a housing in which three or more members are connected can also be used.
  • the housing 11 is provided with a display 12 shown in FIG. 1 as a display unit.
  • the display 12 displays a standby image as a predetermined image when the portable electronic device 10 is in a standby state for reception, or displays a menu image used to assist the operation of the portable electronic device 10. To do.
  • the casing 11 is provided with a plurality of operation keys 13 for inputting characters at the time of creating a mail, for example, a telephone number of a call partner. Further, a dedicated key 14 for controlling the operation of the projector 34 to be described later is provided on one side of the housing 11 (one of the surfaces substantially orthogonal to the surface on which the operation keys 13 are provided). The operation keys 13 and the dedicated keys 14 constitute an operation unit of the mobile electronic device 10. In addition, the casing 11 is provided with a microphone 15 that receives sound when the mobile electronic device 10 is in a call and a receiver 16 that emits sound when the mobile electronic device 10 is in a call.
  • the projector 34 that projects an image on the upper surface of the housing 11 (one side is in contact with the surface on which the operation key 13 is provided and the other side is in contact with the surface on which the dedicated key 14 is provided).
  • the light emission part 34a is provided.
  • An imaging unit 38a of the imaging unit 38 is further provided on the surface of the housing 11 opposite to the surface on which the dedicated key 14 is provided.
  • FIG. 2 is a block diagram showing a schematic configuration of functions of the portable electronic device shown in FIG.
  • the portable electronic device 10 includes a control unit 22, a storage unit 24, a transmission / reception unit 26, an operation unit 28, an audio processing unit 30, a display unit 32, a projector 34, and a photographing unit 38. And having.
  • the control unit 22 is a processing unit that comprehensively controls the operation of the mobile electronic device 10 such as a CPU (Central Processing Unit).
  • the control unit 22 transmits and receives various processes of the mobile electronic device 10 so as to be executed in an appropriate procedure according to the operation of the operation unit 28 and the software stored in the storage unit 24 of the mobile electronic device 10.
  • the operations of the unit 26, the voice processing unit 30, the display unit 32, and the like are controlled.
  • Various processes of the portable electronic device 10 include, for example, a voice call performed via a circuit switching network, creation and transmission / reception of an e-mail, browsing of an Internet Web (World Wide Web) site, and the like.
  • transmission / reception of signals by the transmission / reception unit 26 input / output of audio by the audio processing unit 30, display of images by the display unit 32, projector 34. Projection of the image by the camera, acquisition of the image by the photographing unit 38, and the like.
  • the control unit 22 executes processing based on a program (for example, an operating system program, an application program, etc.) stored in the storage unit 24.
  • the control unit 22 is constituted by, for example, a microprocessor unit (MPU: Micro Processor Unit), and executes various processes of the portable electronic device 10 described above in accordance with a procedure instructed by the software. That is, the control unit 22 sequentially reads instruction codes from an operating system program, application program, or the like stored in the storage unit 24 and executes processing.
  • MPU Micro Processor Unit
  • the control unit 22 has a function of executing a plurality of application programs.
  • Examples of application programs executed by the control unit 22 include a plurality of application programs such as an application program that controls driving of the projector 34, an application program that controls driving of the photographing unit 38, and a game application program that operates various games. is there.
  • the storage unit 24 stores software and data used for processing in the control unit 22, and controls the above-described task for operating the application program for controlling the driving of the projector 34 and the driving of the photographing unit 38.
  • a task for operating an application program to be executed and a task for operating various game application programs are stored.
  • the storage unit 24 stores, for example, communication, downloaded voice data, software used by the control unit 22 to control the storage unit 24, the telephone number and mail address of the communication partner, and the like.
  • an address book to be managed a voice file such as a dial tone and a ring tone, and temporary data used in a software processing process are stored.
  • the storage unit 24 also stores image data having size information of the subject (projection target). Note that computer programs and temporary data used in the software process are temporarily stored in the work area assigned to the storage unit 24 by the control unit 22.
  • the storage unit 24 is, for example, a nonvolatile storage device (nonvolatile semiconductor memory such as ROM: Read Only Memory, a hard disk device, etc.), or a readable / writable storage device (eg, SRAM: Static Random Access Memory, DRAM: Dynamic Random Access Memory).
  • nonvolatile semiconductor memory such as ROM: Read Only Memory, a hard disk device, etc.
  • a readable / writable storage device eg, SRAM: Static Random Access Memory, DRAM: Dynamic Random Access Memory
  • the transmission / reception unit 26 has an antenna 26a, establishes a radio signal line by a CDMA method or the like with the base station via a channel assigned by the base station, and performs telephone communication and information communication with the base station. .
  • the operation unit 28 includes, for example, an operation key 13 and a dedicated key 14 to which various functions are assigned such as a power key, a call key, a numeric key, a character key, a direction key, a determination key, and a call key.
  • various functions such as a power key, a call key, a numeric key, a character key, a direction key, a determination key, and a call key.
  • the operation unit 28 When these keys are input by a user operation, the operation unit 28 generates a signal corresponding to the operation content.
  • the generated signal is input to the control unit 22 as a user instruction.
  • the audio processing unit 30 executes processing of an audio signal input to the microphone 15 and an audio signal output from the receiver 16. That is, the audio processing unit 30 amplifies the audio input from the microphone 15, performs AD conversion (Analog Digital conversion), and then performs signal processing such as encoding to convert it into digital audio data for control. To the unit 22. Further, the audio processing unit 30 performs processing such as decoding, DA conversion (Digital Analog conversion), amplification and the like on the audio data sent from the control unit 22 to convert it into an analog audio signal, and then to the receiver 16. Output.
  • the display unit 32 includes a display panel (such as the display 12 described above) configured by a liquid crystal display (LCD, Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like. A video corresponding to the data and an image corresponding to the image data are displayed on the display panel.
  • a display panel such as the display 12 described above
  • LCD Liquid Crystal Display
  • organic EL Organic Electro-Luminescence
  • the projector 34 is an image projection mechanism that projects an image, and as described above, the light emitting unit 34 a that projects an image on the upper surface of the housing 11 is provided.
  • FIG. 3 is an explanatory view showing a state in which an image is displayed on the portable electronic device shown in FIG.
  • the portable electronic device 10 projects an image from the light emitting unit 34a of the projector 34, that is, emits light constituting the image, so that the wall surface on the surface facing the upper surface of the housing 11 as shown in FIG.
  • An image can be projected onto a certain area (projection area) of a screen or the like.
  • the operation of the projector 34 is controlled by the control unit 22, and various images such as movies and presentation materials sent from the control unit 22 are projected and displayed on the projection area.
  • the projector 34 includes a light source and an optical system that switches whether to project the light emitted from the light source according to the image data.
  • a projector having a configuration in which a halogen light, an LED light source, or an LD light source is used as a light source, and an LCD (Liquid Crystal Display) or DMD (Digital Micro-mirror Device) is used as an optical system can be used as the projector 34.
  • the optical system is arranged on the entire surface of the projection region corresponding to each pixel, and the image is projected on the entire surface of the projection region by turning on and off the optical system according to the light emitted from the light source in accordance with the image. it can.
  • the projector 34 includes an optical system that includes a switching element that uses laser light as a light source and switches whether to transmit light emitted from the light source, and a mirror that performs raster scanning of light that has passed through the switching element.
  • a projector having the above configuration can also be used. In this case, by changing the angle of the light emitted from the laser light by the mirror and scanning the light emitted from the light source over the entire projection area, an image can be projected onto the projection area.
  • the imaging unit 38 is a mechanism that acquires an image by the imaging unit 38 a provided on the side surface of the housing 11. That is, the photographing unit 38 acquires an image in a direction different from the direction in which the projector 34 emits light.
  • the imaging unit 38 sends the image acquired from the imaging unit 38 a to the control unit 22.
  • FIG. 4 is a flowchart showing an example of the operation of the portable electronic device.
  • the mobile electronic device 10 extracts a subject included in the image acquired by the photographing unit 38, detects the motion of the subject, and controls (operates) the image projected from the projector 34 based on the motion of the subject. Can be set.
  • Various image processing techniques can be used as a method for extracting a subject from an image. Further, the relationship between subject movement and image control is preset and stored in the storage unit 24.
  • step S12 acquisition of an image by the photographing unit 38 is started. Specifically, the imaging unit 38 is activated and the image acquired from the imaging unit 38 a is sent to the control unit 22.
  • control unit 22 When the control unit 22 starts acquiring an image in step S12, the control unit 22 extracts a subject from the captured image in step S14. Specifically, the control unit 22 analyzes the image acquired by the photographing unit 38 and extracts a subject shown in the image. If the subject cannot be extracted from the acquired image, the control unit 22 extracts the subject from the next acquired image (an image after a predetermined time has elapsed).
  • the control unit 22 determines whether a predetermined subject has been extracted in step S16. Specifically, the control unit 22 determines whether the subject extracted in step S14 is a preset subject, that is, a subject stored in association with image control. If the control unit 22 determines that the subject extracted in step S16 is not a predetermined subject (No), the control unit 22 proceeds to step S14 and extracts the subject from the next acquired image. In this way, the control unit 22 repeats the processes of step S14 and step S16 until a predetermined subject is extracted.
  • control unit 22 detects the movement of the extracted subject in step S18. That is, the control unit 22 extracts the predetermined subject specified in step S16 from the image for a predetermined time, and detects the movement of the predetermined subject.
  • control unit 22 determines whether there is an operation corresponding to the movement detected in step S18 as step S20. That is, the control unit 22 determines whether or not the detected movement of the subject is a movement of the subject stored in association with the control of the image.
  • Step S20 When it is determined that there is a corresponding operation in Step S20 (Yes), the control unit 22 changes the screen based on the operation detected in Step S20 as Step S22. That is, the control unit 22 controls the screen based on the detected operation instruction. The screen operation will be described later. If the screen is changed in step S22, the control unit 22 proceeds to step S24. If it is determined that there is no corresponding operation in Step S20 (No), the control unit 22 proceeds to Step S24.
  • step S24 determines whether there is an instruction to end the process as step S24. Note that the instruction to end the process is input by an input from the operation unit 28, an operation instruction detected in the process from step S16 to step S22, or the like. If it is determined in step S24 that the process has not ended (No), that is, if the end instruction has not been input, the control unit 22 proceeds to step S14 and repeats the processes from step S14 to step S24. In addition, when the control unit 22 determines that the process is ended in step S24 (Yes), that is, if an end instruction is input, in step S26, the acquisition of the image by the photographing unit 38 is ended and the process is ended. .
  • the portable electronic device 10 extracts the subject from the image captured by the photographing unit 38, and the image projected by the projector 34 based on the motion (regularity of movement, amount of movement, amount of exercise) of the subject.
  • the operator can manipulate the image only by moving the subject.
  • various movements can be set as the movement of the subject, and various operations can be set according to the movement. Thereby, the operativity of an image can be made high.
  • the direction in which the projector 34 projects an image and the direction in which the image capturing unit 38 captures an image are different, so that the subject does not feel dazzled.
  • the subject can be moved (that is, an operation instruction can be input).
  • the housing 11 is small. Therefore, when the operation unit 28 is operated, the housing 11 moves and the position where the projector 34 projects an image shifts. Although there is a possibility, the portable electronic device 10 can operate an image without contacting the housing 11. Accordingly, it is not necessary to move the housing 11 by an operation, and it is possible to prevent the image projection position from being shifted and projecting an image in an unintended direction.
  • FIGS. 5 to 7 are explanatory diagrams for explaining the operation of the portable electronic device.
  • a human hand or fingertip
  • the portable electronic device 10 projects an image by the projector 34.
  • the movement of the subject and characters are stored in the portable electronic device 10 in association with each other.
  • the operator user
  • the photographing unit 38 acquires an image of an operation in which the subject writes characters.
  • the portable electronic device 10 analyzes the characters written by the subject and displays the detected characters superimposed on the image projected by the projector 34.
  • a position to be displayed may be determined from the relationship between the reference point and the hand position, with a predetermined portion of the subject, for example, the user's head and elbow as the reference point (center).
  • the distance from the elbow to the hand may be calculated by image processing, and the distance from the center on the screen may be determined using the length as a reference length. Specifically, twice the distance from the elbow to the hand is assigned to the edge from the center of the image, and the distance from the screen center is calculated from the distance between the reference point and the hand.
  • the movement of writing the character of the subject is associated with the input of the character, and the operator performs the movement of writing the character toward the photographing unit 38 by detecting the character by analyzing the movement of the subject.
  • the control unit 22 may display the character drawn by the subject as it is, but may display the extracted character in a preset font and style.
  • the character detected from the movement of the subject is input.
  • the movement of the subject may be directly drawn as a line. In other words, when the subject draws a figure or picture, the figure or picture drawn by the subject may be displayed on the screen.
  • FIG. 6 is a case where a moving image is reproduced by the projector 34 of the portable electronic device 10, and the movement of the subject and the operation of the moving image are stored in association with each other.
  • the operator draws a clockwise (clockwise) circle toward the photographing unit 38 with the subject (hand)
  • it will fast-forward, rewind if it draws a counterclockwise (counterclockwise) circle, and stop if it moves up and down.
  • the fast-forwarding and rewinding speeds may be changed according to the speed of drawing a circle, that is, the speed may be changed to double speed or triple speed.
  • the photographing unit 38 acquires an image of an action in which the subject draws a clockwise circle.
  • the mobile electronic device 10 acquires an image of the motion of the subject by the photographing unit 38
  • the motion of the subject is analyzed, an operation corresponding to the detected motion of the subject is performed, and the image projected by the projector 34 is operated.
  • the moving image projected on the projector 34 is fast-forwarded.
  • playback, stop, fast forward, and rewind are illustrated as operations.
  • the operation is not limited to this, but pause, skip, cue, playback from start of video, volume adjustment, brightness
  • pause, skip, cue playback from start of video
  • volume adjustment volume adjustment
  • brightness By associating various operations such as adjustments with the movement of the subject, the operator can perform the operation only by moving the subject.
  • the caption when a caption is displayed as a video, the caption may be displayed, hidden, or the type of caption displayed may be switched depending on the movement of the subject.
  • the image displayed on the projector 34 is described as a moving image.
  • various movements of the subject and operations can be stored in association with each other. Can be operated. For example, when a plurality of still images are displayed in order as in a slide show, the previous image is displayed, the next image is displayed, or the previous image is displayed depending on the movement of the subject. Or search for an image containing a specific keyword.
  • the example shown in FIG. 7 is a case where a movie or a TV program is played (displayed) by the projector 34 of the portable electronic device 10, and the movement of the subject and the search operation are stored in association with each other.
  • the mobile electronic device 10 is displaying an image
  • the operator inputs an operation that surrounds an arbitrary area of the screen by the movement of the subject.
  • an operation for enclosing a person displayed on the screen is input.
  • the control unit 22 displays a position on the screen as a pointer so that the operator can surround a desired area of the screen.
  • the control unit 22 identifies a person displayed in the area surrounded by the movement of the subject, collects information about the person, and displays the information on the screen.
  • the information to be displayed on the screen includes the name of the identified person, a history (appearance movie, appearance program, date of birth), and the like.
  • the method of specifying the person displayed in the enclosed area by the control unit 22 is not particularly limited, and various methods can be used.
  • a person is extracted by image analysis of the enclosed area, and the extracted person image is stored in a database (a database in the mobile electronic device 10 or an external database connected via a communication line).
  • a person can be identified by performing matching (pattern matching).
  • information indicating which person is displayed in each area of the image is stored or acquired in advance as data of a movie or television program to be reproduced.
  • the method for acquiring information related to the specified person is not particularly limited, and information acquired by searching an external database using the Internet may be used even if information stored in the storage unit 24 is displayed. It may be displayed.
  • information about the person displayed in the enclosed area is displayed.
  • information on an object displayed in the enclosed area may be retrieved and displayed.
  • the output of music information when music is output may be determined based on the movement of the subject. For example, music information is displayed when a specific area of the screen is surrounded, or when the subject's movement is not movement surrounding the area, or when a predetermined movement (such as drawing large X or simply moving to the left or right) is detected You can make it.
  • FIG. 8 is a flowchart showing another example of the operation of the portable electronic device
  • FIG. 9 is an explanatory diagram for explaining the operation of the portable electronic device.
  • a fighting game is executed as application software in the mobile electronic device 10.
  • the control unit 22 projects an image by the projector 34 in step S40.
  • the projector 34 projects a fighting game start screen and starts the game.
  • the operator stands at a position where the whole body enters the imaging region of the imaging unit 38.
  • the control unit 22 After projecting an image (starting image projection) in step S40, the control unit 22 starts photographing of the user (operator) by the photographing unit 38 in step S42. That is, the image of the shooting area is acquired by the shooting unit 38.
  • the control unit 22 extracts the entire body of the user as a subject from the acquired image.
  • the control unit 22 When the control unit 22 extracts a subject from the image acquired by capturing the user in step S42, the control unit 22 projects the user on the projection image in step S44. That is, the image of the subject acquired in step S42 is synthesized with the image projected on the projector 34, and the synthesized image is projected by the projector 34. As a result, the projector 34 projects an image including the subject. Further, the control unit 22 displays the subject at a position corresponding to the position of the subject in the image acquired by the photographing unit 38 in the image to be projected. In addition, since this example is a fighting game, an image of an opponent who battles the subject is displayed on the projected screen.
  • the screen to be projected only needs to know the position of the subject on the screen, the motion of the subject, the position of the limbs (that is, whether the hand is raised or lowered), and the display shape of the subject is not particularly limited. Therefore, in the image to be projected, the image of the subject acquired by the photographing unit 38 may be displayed as it is, but only the outline of the subject may be displayed as a line. That is, the subject may be displayed as a symbol (icon). In addition, a specific character may be displayed instead of the subject image.
  • control unit 22 determines whether the user has operated in step S46. Specifically, even after performing the process of step S44, the control unit 22 extracts a subject from the image acquired by the photographing unit 38, and projects the extracted subject onto the projected image, while moving the extracted subject. Is detected. Here, the control unit 22 determines whether the specific movement set in advance in step S46 (in this example, any one of punch, kick, and body contact) has been performed. Whether or not the movement is a specific movement may be determined based on the extracted change in the subject.
  • the control unit 22 can determine whether the subject is a specific motion by specifying the hand, foot, torso, and head of the subject and extracting the motion of each part. For example, when the position of one hand changes significantly compared to the other parts, it may be set so as to be determined as a punch. If it is determined in step S46 that the user is not operating (No), the control unit 22 proceeds to step S46 and repeats the same process. That is, the control unit 22 repeats the process of step S46 until the user performs a predetermined process.
  • Step S48 the control unit 22 performs operation determination in Step S48.
  • the control unit 22 determines, as step S48, the type of operation detected at step S46, which is punch, kick, or body contact in this example. If it is determined in step S48 that the user has punched, the control unit 22 adds 10 points of damage in step S50. If it is determined in step S48 that the user has kicked, in step S52, 15 points of damage is applied. When it is determined that the user has touched the body in step S48, damage of 50 points is added in step S54.
  • FIG. 9 shows a state where the user is kicking.
  • the image of the user who is kicking is acquired by the imaging unit 38, the image of the user projected on the projector 34 is also in the state of kicking. In addition, it is displayed on the screen that damage has been given 15 points, and the opponent displayed on the screen is displayed in a state where it has been damaged by the kick.
  • the initial value of damage is 0, and is added when the processing of step S50, step S52, and step S54 is performed.
  • the control part 22 will determine whether the given damage is 100 points or more as step S56, if the process of step S50, step S52, and step S54 is performed. If the control unit 22 determines in step S56 that the damage is less than 100 points, the control unit 22 proceeds to step S46 and repeats the above processing. Moreover, if the control part 22 determines with damage being 100 points or more by step S56, a process will be complete
  • the photographing unit 38 by extracting a user photographed by the photographing unit 38 as a subject and detecting its movement, it is possible for the user to move his body and to input the actual action and the game operation. Thereby, the operator can operate intuitively and can enjoy a game more. Moreover, since an operation part is not required, the apparatus configuration can be simplified.
  • the user can move while looking at the screen, and the light projected from the projector 34 directly hits the operator. It is possible to prevent dazzling thoughts.
  • a fighting game is taken as an example of the game, but it can also be used for a running game such as a marathon.
  • a running game such as a marathon.
  • project a landscape image and detect that the user is running, then switch to running the projected landscape on the screen according to the running rhythm. You can taste the atmosphere.
  • the user's momentum may be detected from the movement of the subject.
  • calorie consumption can be calculated. Specifically, the body information such as the user's weight and the calorie table associated with the body movement are stored, and the calorie consumption is calculated based on the relationship between the detected user movement and the calorie table. That's fine.
  • a part or the whole of a person is detected as a subject.
  • the subject is not limited to a person, and the screen is based on the movement of a predetermined subject (set subject) of an image acquired by the photographing unit 38.
  • a predetermined subject set subject
  • a predetermined wavelength range or light of a predetermined wavelength for example, laser pointer light
  • the screen may be operated based on the movement of this light.
  • light of a plurality of wavelength ranges or a plurality of wavelengths may be set as the subject, and the screen operation may be switched according to the detected wavelength range of the subject.
  • the movement of the subject and the wavelength range of the subject may be associated with the operation of the screen, and the screen may be operated based on the detected movement of the subject and the wavelength range of the subject.
  • blinking of the subject can be detected as subject movement. For example, when the subject blinks three times, an operation of turning off the power of the projector, that is, ending the image display can be set.
  • the wavelength range of light detected as a subject may be the wavelength range of invisible light. By making it invisible light, it is possible to prevent the light of the pointer from entering the eyes and feeling dazzling.
  • the direction in which the image is projected by the projector and the direction in which the image is acquired by the photographing unit may be the same direction. That is, the photographing unit may acquire an image including an image projected by the projector.
  • the subject is detected from the image including the image projected by the projector as described above, the subject is detected after removing the image projected by the projector from the image acquired by the photographing unit by image processing. For example, when light in a predetermined wavelength range is detected as a subject, even if there is light in a predetermined wavelength range in an image projected by a projector, the light in that portion is not detected as a subject. Thereby, the movement of the subject operated by the operator can be detected more reliably.
  • a pen or a rod can be used in addition to light of a predetermined wavelength range. Note that it is not necessary for the operator to have a separate object for inputting the movement of the subject, and the configuration can be simplified. Therefore, the subject is preferably the entire person or a predetermined portion of the person.
  • the portable electronic device is provided with a sensor (ranging sensor) that measures the distance from the subject at the position facing the photographing unit. Since the portable electronic device is provided with a sensor and can measure the distance between the subject and the portable electronic device, the distance between the subject and the reference position and the amount of movement of the subject can be calculated more accurately. This makes it easier to calculate the position of the subject on the projected image.
  • a sensor ranging sensor
  • the image projected by the projector 34 is operated.
  • the display unit 32 is not limited to the projector 34, and an image displayed on a display device such as a liquid crystal monitor may be operated. .
  • the operation examples and display examples of the screen are merely examples, and the present invention is not limited to the above examples. Further, the above examples may be combined. For example, when the movement of a predetermined subject is detected, the mode may be shifted to the character input mode, and the character may be detected from the movement of the subject.
  • the electronic device according to the present invention is suitable for use in an electronic device that controls display of an image by a predetermined input.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

　電子機器（１０）であって、画像を表示する画像表示部（３２）と、被写体を撮影する撮影部（３８）と、撮影部（３８）で撮影した画像を解析して被写体の動きを検出し、検出した被写体の動きに基づいて、画像表示部（３２）に表示する画像を変化させる制御部（２２）と、を有する。これにより、電子機器（１０）は、撮影部（３８）で取得した被写体の動きに基づいて、画像表示部（３２）に表示させる画像を制御することで、簡単な操作で、画像を操作することができ、装置としての操作性を高くすることができる。

Description

電子機器
　本発明は、画像を表示する表示部と画像を取得する撮影部とを有する電子機器に関する。
　従来から、画像を表示する電子機器としては、ブラウン管、液晶ディスプレイ等の所定の表示面に表示させる装置、プロジェクタ等の壁面やスクリーンに画像を投影する装置がある。
　このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。また、近年、プロジェクタとしては、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献１には、上キャビネットと、下キャビネットと、上キャビネットおよび下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。
　また、電子機器としては、画像を表示する機能と、画像を撮影する機能の両方を備える装置もある。例えば、特許文献２には、外部から入力された投影画像をスクリーン上に投影する投影部と、前記スクリーンを撮像し、撮像画像を生成する撮像部と、前記撮像部により生成された前記撮像画像に基づいて、前記スクリーン上に直接書き込まれた書き込みを前記投影画像に対応付けて記憶する書込記憶部とを備えるプロジェクタ装置が記載されている。
特開２００７－９６５４２号公報 特開２００５－１１４９９６号公報
　特許文献２に記載の装置は、操作者によりスクリーン上に書き込まれた書き込みを撮影部により検出し、記憶することで、操作者による操作を検出し、表示していた画像を加工することが可能となる。
　しかしながら、特許文献２に記載の装置は、操作者が筆記具によりスクリーンに書き込まれた画像を記憶させているため、画像を投影するスクリーンが書き込みできるものである必要がある。また、文字等の情報を実際に書き込むため、画像が切り替わるたびにスクリーンに書いた情報を消す必要があり、操作に手間がかかる。また、特許文献２に記載の装置は、単にスクリーンに書かれた情報を画像として取り込んでいるに過ぎず、スクリーンに表示される画像を切り替える等の操作を行うためには操作部で操作する必要がある。
　本発明は、上記に鑑みてなされたものであって、簡単な操作で表示する画像を操作することができ、操作性の高い電子機器を提供することを目的とする。
　本発明は、電子機器であって、画像を表示する画像表示部と、被写体を撮影する撮影部と、前記撮影部で撮影した被写体の動きを検出し、検出した被写体の動きに基づいて、前記画像表示部に表示する画像を変化させる制御部と、を有することを特徴とする。
　ここで、前記制御部は、予め設定されている被写体の特定の動きを検出したら、前記画像表示部に表示する画像を他の画像に切り替えることが好ましい。
　また、前記制御部は、前記被写体の動きから、前記被写体の運動量を推定し、推定した運動量に基づいて前記被写体に投影する画像の変化を決定することが好ましい。
　また、前記制御部は、前記画像表示部が表示する画像に、前記撮影部により撮影された前記被写体を表示させることが好ましい。
　また、前記画像表示部は、画像を投影して表示させることが好ましい。
　また、前記撮影部は、前記画像表示部が画像を表示させている面とは異なる位置の被写体の動きを検出することが好ましい。
　また、前記被写体の特定の動きは、人間の運動に関連する動きであることが好ましい。
　前記制御部は、前記撮影部が撮影した被写体から、人間の身体の一部を抽出することが好ましい。
　また、前記制御部は、前記撮影部が撮影する被写体からの特定の波長の光を抽出することが好ましい。
　また、前記制御部は、検出した光の波長に応じて、前記画像表示部に表示させる画像の制御を切り替えることが好ましい。
　本発明にかかる電子機器は、撮影部で取得した被写体の動作に基づいて、画像表示部に表示させる画像を制御することができるという効果を奏する。
図１は、携帯電子機器の一実施形態の概略構成を示す斜視図である。 図２は、図１に示す携帯電子機器の機能の概略構成を示すブロック図である。 図３は、図１に示す携帯電子機器で画像を表示させている状態を示す説明図である。 図４は、携帯電子機器の動作の一例を示すフロー図である。 図５は、携帯電子機器の動作を説明するための説明図である。 図６は、携帯電子機器の動作を説明するための説明図である。 図７は、携帯電子機器の動作を説明するための説明図である。 図８は、携帯電子機器の動作の他の例を示すフロー図である。 図９は、携帯電子機器の動作を説明するための説明図である。
　以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器を携帯電話機とした場合を例として説明するが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal　Handy-phone　System）、ＰＤＡ、ビデオカメラ、ポータブルナビゲーション装置、ノートパソコン、ポータブルゲーム機等の各種携帯電子機器、画像表示装置（例えば、テレビモニタ）、据置き型プロジェクタ、ゲーム機等の据置き型の電子機器に対しても本発明は適用できる。
　まず、携帯電子機器の外観の構成を説明する。図１は、携帯電子機器の一実施形態の概略構成を示す斜視図である。携帯電子機器１０は、無線通信機能を備えた携帯電話機である。携帯電子機器１０は、１つの箱型形状の筐体１１の内部に各部が収納されたストレート形状の携帯電話機である。なお、本実施形態では、筐体１１を１つの箱型形状としたが、ヒンジで連結された２つの部材で構成した折りたたみ可能な筐体や、２つの部材をスライドさせる筐体としてもよい。また、３つ以上の部材を連結した筐体も用いることができる。
　筐体１１には、表示部として、図１に示すディスプレイ１２が設けられる。ディスプレイ１２は、所定の画像として、携帯電子機器１０が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１０の操作を補助するために用いられるメニュー画像を表示したりする。
　筐体１１には、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３が複数設けられている。さらに、筐体１１の１つの側部（操作キー１３が設けられる面と略直交する面のうちの１つ）には、後述するプロジェクタ３４の動作を制御する専用キー１４が設けられる。なお、操作キー１３及び専用キー１４は、携帯電子機器１０の操作部を構成する。また、筐体１１には、携帯電子機器１０の通話時に音声を受け取るマイク１５、携帯電子機器１０の通話時に音声を発するレシーバ１６が設けられる。
　また、筐体１１の上面（一辺が、操作キー１３が設けられる面と接し、他の一辺が、専用キー１４が設けられている面と接している面）には、画像を投影するプロジェクタ３４の光射出部３４ａが設けられている。また、筐体１１の専用キー１４が設けられている面とは反対側の面には、さらに、撮影部３８の撮像部３８ａが設けられている。
　図２は、図１に示す携帯電子機器の機能の概略構成を示すブロック図である。図２に示すように携帯電子機器１０は、制御部２２と、記憶部２４と、送受信部２６と、操作部２８と、音声処理部３０と、表示部３２と、プロジェクタ３４と、撮影部３８と、を有する。
　制御部２２は、ＣＰＵ（Central　Processing　Unit）等の携帯電子機器１０の動作を統括的に制御する処理部である。すなわち、制御部２２は、携帯電子機器１０の各種の処理が、操作部２８の操作や携帯電子機器１０の記憶部２４に保存されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。携帯電子機器１０の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World　Wide　Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示、プロジェクタ３４による画像の投影、撮影部３８による画像の取得等がある。
　制御部２２は、記憶部２４に保存されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。制御部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro　Processor　Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１０の各種の処理を実行する。すなわち、制御部２２は、記憶部２４に保存されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
　制御部２２は、複数のアプリケーションプログラムを実行する機能を有する。制御部２２が実行するアプリケーションプログラムとしては、例えば、プロジェクタ３４の駆動を制御するアプリケーションプログラムや、撮影部３８の駆動を制御するアプリケーションプログラム、各種ゲームを作動させるゲームアプリケーションプログラム等の複数のアプリケーションプログラムがある。
　記憶部２４には、制御部２２での処理に利用されるソフトウェアやデータが保存されており、上述した、プロジェクタ３４の駆動を制御するアプリケーションプログラムを作動させるタスクや、撮影部３８の駆動を制御するアプリケーションプログラムを作動させるタスクや、各種ゲームアプリケーションプログラムを作動させるタスクが保存されている。
　また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に制御部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等を保存し、管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が保存されている。また、記憶部２４には、被写体（被投影対象）の大きさ情報を有する画像のデータ等も保存されている。なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、制御部２２によって記憶部２４に割り当てられた作業領域へ一時的に保存される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read　Only　Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static　Random　Access　Memory、ＤＲＡＭ：Dynamic　Random　Access　Memory）等で構成される。
　送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。
　操作部２８は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キーなど、各種の機能が割り当てられた操作キー１３と専用キー１４とで構成される。操作部２８は、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。そして、発生した信号は、ユーザの指示として制御部２２へ入力される。
　音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog　Digital変換）を実行した後さらに符号化等の信号処理を施して、ディジタルの音声データに変換して制御部２２へ出力する。また、音声処理部３０は、制御部２２から送られる音声データに対して復号化、ＤＡ変換（Digital　Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６へ出力する。
　表示部３２は、液晶ディスプレイ（ＬＣＤ、Liquid　Crystal　Display）や、有機ＥＬ（Organic　Electro－Luminescence）パネルなどで構成された表示パネル（上述したディスプレイ１２等）を備え、制御部２２から供給される映像データに応じた映像、画像データに応じた画像を表示パネルに表示させる。
　プロジェクタ３４は、画像を投影する画像投影機構であり、上述したように、筐体１１の上面に画像を投影する光射出部３４ａが設けられている。ここで、図３は、図１に示す携帯電子機器で画像を表示させている状態を示す説明図である。携帯電子機器１０は、プロジェクタ３４の光射出部３４ａから画像を投影する、つまり画像を構成する光を射出することで、図３に示すように、筐体１１の上面に対向する面にある壁面、スクリーン等のうち、一定の領域（投影領域）に画像を投影することができる。なお、プロジェクタ３４は、制御部２２により動作が制御され、制御部２２から送られる種々の映像、例えば映画、プレゼンテーション資料を投影し、投影領域に表示させる。
　プロジェクタ３４は、光源と、画像データに応じて、光源から射出された光を投影するか否かを切り換える光学系とで構成されている。例えば、プロジェクタ３４には、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤ（Liquid　Crystal　Display）や、ＤＭＤ（Digital　Micro-mirror　Device）を光学系とした構成のプロジェクタを用いることができる。この場合は、光学系を各画素に対応して投影領域の全面に配置し、光源から射出された光を画像に合わせて光学系をオンオフさせることで画像を投影領域の全面に投影させることができる。また、プロジェクタ３４には、レーザ光を光源とし、光源から射出された光を透過させるか否かを切り換える切り換え素子と、切り換え素子を通過した光をラスター走査させるミラーとで構成される光学系とした構成のプロジェクタを用いることもできる。この場合は、ミラーによってレーザ光から射出された光の角度を変えて、投影領域の全面に光源から照射された光を走査させることで、投影領域に画像を投影させることができる。
　撮影部３８は、筐体１１の側面に設けられた撮像部３８ａにより画像を取得する機構である。つまり、撮影部３８は、プロジェクタ３４が光を射出する方向とは異なる方向の画像を取得する。撮影部３８は、撮像部３８ａから取得した画像を制御部２２に送る。
　次に、図４を用いて携帯電子機器１０の動作について説明する。ここで、図４は、携帯電子機器の動作の一例を示すフロー図である。携帯電子機器１０は、撮影部３８で取得した画像に含まれる被写体を抽出し、その被写体の動きを検出し、被写体の動きに基づいて、プロジェクタ３４から投影する画像の制御（操作）を行うモードが設定可能となっている。なお、画像から被写体を抽出する方法としては、種々の画像処理技術を用いることができる。また、被写体の動きと画像の制御との関係は、予め設定され、記憶部２４に記憶されている。
　まず、操作者による操作部２８の操作、または、設定により、撮影部３８により取得した被写体の動きに基づいて画像を制御するモードを立ち上げる指示が入力されると、制御部２２は、処理を開始し、ステップＳ１２として、撮影部３８による画像の取得を開始する。具体的には、撮影部３８を起動させ、撮像部３８ａから取得した画像を制御部２２に送る。
　制御部２２は、ステップＳ１２で画像の取得を開始したら、ステップＳ１４として、撮影した画像から被写体を抽出する。具体的には、制御部２２は、撮影部３８で取得した画像を解析し、画像に写っている被写体を抽出する。なお、制御部２２は、取得した画像から被写体が抽出できない場合は、次に取得した画像（一定時間経過後の画像）から被写体の抽出を行う。
　制御部２２は、ステップＳ１４で被写体を抽出したら、ステップＳ１６として、所定の被写体が抽出されたかを判定する。具体的には、制御部２２は、ステップＳ１４で抽出した被写体が、予め設定されている被写体、つまり、画像の制御と対応付けて記憶されている被写体であるかを判定する。制御部２２は、ステップＳ１６で抽出した被写体が所定の被写体ではない（Ｎｏ）と判定したら、ステップＳ１４に進み、次に取得した画像から被写体の抽出を行う。制御部２２は、このように、所定の被写体が抽出されるまで、ステップＳ１４とステップＳ１６の処理を繰り返す。
　制御部２２は、ステップＳ１６で抽出した被写体が所定の被写体である（Ｙｅｓ）と判定したら、ステップＳ１８として、抽出した被写体の動きを検出する。つまり、制御部２２は、一定時間分の画像から、ステップＳ１６で特定した所定の被写体を抽出し、所定の被写体の動きを検出する。
　制御部２２は、ステップＳ１８で被写体の動きを検出したら、ステップＳ２０として、ステップＳ１８で検出した動きに対応する操作はあるかを判定する。つまり、制御部２２は、検出した被写体の動きが画像の制御と対応付けて記憶されている被写体の動きであるかを判定する。
　制御部２２は、ステップＳ２０で対応する操作がある（Ｙｅｓ）と判定したら、ステップＳ２２として、ステップＳ２０で検出した操作に基づいて画面を変化させる。つまり、制御部２２は、検出した操作指示に基づいて画面を制御する。画面の操作については、後ほど説明する。制御部２２は、ステップＳ２２で画面を変化させたらステップＳ２４に進む。制御部２２は、ステップＳ２０で対応する操作がない（Ｎｏ）と判定したら、ステップＳ２４に進む。
　制御部２２は、ステップＳ２０でＮｏと判定したら、または、ステップＳ２２の処理を行ったら、ステップＳ２４として、処理終了の指示があるかを判定する。なお、処理終了の指示は、操作部２８からの入力や、ステップＳ１６からステップＳ２２の処理で検出される操作指示等によって入力される。制御部２２は、ステップＳ２４で処理終了ではない（Ｎｏ）、つまり、終了指示が入力されていないと判定したら、ステップＳ１４に進み、ステップＳ１４からステップＳ２４の処理を繰り返す。また、制御部２２は、ステップＳ２４で処理終了である（Ｙｅｓ）、つまり、終了指示が入力されていると判定したら、ステップＳ２６として、撮影部３８による画像の取得を終了し、処理を終了する。
　以上のように、携帯電子機器１０が、撮影部３８で撮影した画像から被写体を抽出し、その被写体の動き（動きの規則性、移動量、運動量）に基づいてプロジェクタ３４により投影している画像、または、表示部３２に表示させている画像を操作することで、操作者は、被写体を動かすのみで画像を操作することができる。また、被写体の動きとして種々の動きを設定することができ、その動きに応じて種々の操作を設定することができる。これにより、画像の操作性を高くすることができる。
　また、本実施形態のように、プロジェクタ３４が画像を投影する方向と、撮影部３８が撮影する方向（画像を取得する方向）とを異なる方向とすることで、被写体がまぶしい思いをすることなく、被写体を動かすこと（つまり、操作指示を入力すること）ができる。
　また、特に本実施形態のように、携帯電子機器１０の場合は、筐体１１が小型であるため、操作部２８を操作すると、筐体１１が移動しプロジェクタ３４による画像を投影する位置がずれる可能性があるが、携帯電子機器１０は、筐体１１に接触することなく、画像を操作することができる。これにより、操作により筐体１１を移動させる必要がなくなり、画像の投影位置がずれ、意図しない方向に画像を投影することを防止することができる。
　次に、図５から図７を用いて、ステップＳ１６からステップＳ２２までの処理を具体的に説明する。ここで、図５から図７は、それぞれ携帯電子機器の動作を説明するための説明図である。なお、図５から図７に示す例では、特定の被写体として、人間の手（または指先）を検出する。また、携帯電子機器１０は、プロジェクタ３４により画像を投影している。
　図５に示す例は、携帯電子機器１０に、被写体の動きと文字とが対応付けて記憶されている。この場合、画像が取得される領域内、つまり、撮像部３８ａの撮影領域内で、操作者（ユーザ）が手により空中に文字（図５ではアルファベットの大文字の「Ａ」）を書く（描く）動作を行うと、撮影部３８が、被写体が文字を書く動作の画像を取得する。携帯電子機器１０は、撮影部３８で被写体が文字を書く動作の画像を取得したら、被写体によって書かれた文字を解析し、検出した文字をプロジェクタ３４により投影している画像に重ねて表示させる。
　なお、プロジェクタ３４の画面内において、文字を表示させる位置は、設定により種々の位置とすればよい。例えば、撮影領域において被写体がある位置、つまり、取得した画像内における被写体の位置に対応した位置に文字を表示させるように設定することもできる。また、被写体の所定部分、例えば、ユーザの頭部、肘を基準点（中心）として、基準点と手の位置との関係から表示させる位置を決定するようにしてもよい。また、この時、例えば、画像処理により肘から手先までの距離を算出し、その長さを基準長さとして、画面上における中心からの距離を決定するようにしてもよい。具体的には、肘から手先までの距離の２倍を、画像の中心から端に割り当て、基準点と手との距離から画面中心からの距離を算出するようにする。
　このように、被写体の文字を書く動きと文字の入力とを対応付け、被写体の動きを解析して文字を検出することで、操作者は、撮影部３８に向かって文字を書く動きを行うことで、画面に文字を描くことができる。なお、この時、制御部２２は、被写体が描いた文字をそのまま表示させてもよいが、抽出した文字を予め設定されたフォント、スタイルで表示させるようにしてもよい。また、上記実施例では、被写体の動きから検出した文字を入力するようにしたが、被写体の動きをそのまま線として描くようにしてもよい。つまり、被写体が図形や絵を描く動作をしたら、画面上に被写体が描いた図形や絵を表示させるようにしてもよい。
　次に、図６に示す例は、携帯電子機器１０のプロジェクタ３４で動画を再生する場合であり、被写体の動きと動画の操作とが対応付けて記憶されている。例えば、操作者が被写体（手）で、撮影部３８に向かって右回り（時計回り）の円を描けば早送り、左回り（反時計回り）の円を描けば巻き戻し、上下動させたら停止、左右に動かしたら再生等の関係が記憶されている。また、円を描く速度に応じて、早送り、巻き戻しの速度を変化させる、つまり２倍速、３倍速に変化させるようにしてもよい。
　この対応関係が記憶されている場合、画像が取得される領域内、つまり、撮像部３８ａの撮影領域内で、操作者（ユーザ）が手により空中に右回りの円を描く動作を行うと、撮影部３８が、被写体が右回りの円を描いている動作の画像を取得する。携帯電子機器１０は、撮影部３８で被写体の動作の画像を取得したら、被写体の動作を解析し、検出した被写体の動作に対応する操作を行い、プロジェクタ３４により投影している画像を操作する。本例では、プロジェクタ３４に投影している動画を早送りする。
　このように、被写体の動きにより表示する画面を操作、つまり画像を変化させることができることで、操作者は、手を動かすのみで、画像を変化させることができる。
　なお、図６に示す例では、操作として、再生、停止、早送り、巻き戻しを例示したが、これに限定されず、一時停止、スキップ、頭だし、動画のスタートから再生、音量の調整、輝度の調整等種々の操作も、被写体の動きと対応付けておくことで、操作者は被写体を動かすだけで操作を行うことができる。また、映像として字幕を表示させている場合は、被写体の動きにより、字幕の表示、非表示、また表示させる字幕の種類を切り替えるようにしてもよい。
　また、図６に示す例では、プロジェクタ３４に表示させる画像を動画の場合として説明したが、静止画の場合も同様に、被写体の動きと操作とを対応付けて記憶させておくことで、種々の操作を行うことができる。例えば、スライドショーのように複数の静止画を順番に表示させる場合は、被写体の動きによって、１つ前の画像を表示させたり、１つ後の画像を表示させたり、２つ前の画像を表示させたり、特定のキーワードを含む画像を検索させたりすることができる。
　次に、図７に示す例は、携帯電子機器１０のプロジェクタ３４で映画や、テレビ番組を再生（表示）する場合であり、被写体の動きと検索操作とが対応付けて記憶されている。この場合は、携帯電子機器１０が画像を表示している際に、操作者が被写体の動きにより画面の任意の領域を囲う動作を入力する。なお、図７に示す例では、画面に表示されている人物を囲う動作が入力される。なお、操作者が画面の所望の領域を囲うことができるように、制御部２２は、被写体が画面のどの位置にあるかをポインタとして表示させるようにすることが好ましい。
　制御部２２は、被写体の動きにより囲まれた領域に表示されている人物を特定し、その人物に関する情報を収集し、画面上に表示させる。ここで、画面に表示させる情報としては、特定した人物の名前、経歴（出演映画、出演番組、生年月日）等である。
　このように、被写体の動きにより囲まれた領域に表示されている人物の情報を表示させることで、その画面に表示されている人物について知ることができる。また、単にその人物を囲うのみで、その人物の情報が表示されるため、操作者は簡単な操作で所望の情報を取得することができる。
　なお、制御部２２により、囲まれた領域に表示されている人物を特定する方法は、特に限定されず種々の方法を用いることができる。例えば、囲まれた領域を画像解析して人物を抽出し、抽出した人物の画像を、データベース（携帯電子機器１０内のデータベース、または、通信回線を介して接続された外部のデータベース）にある画像と照合（パターンマッチング）を行うことで、人物を特定すればよい。また、再生させる映画、テレビ番組のデータとして、画像、音声データに加え、予め画像の各領域にどの人物が表示されているかの情報を記憶、または、取得しておく。これにより、被写体の動きで囲まれた領域の情報と、予め記憶または取得してある画像の領域にどの人物が表示されているかの情報とから、囲まれた領域にいる人物を特定することができる。また、特定した人物に関する情報を取得する方法は、特に限定されず、記憶部２４に記憶されている情報を表示させるようにしても、インターネットを用いて外部のデータベースを検索して取得した情報を表示させてもよい。
　また、上記実施例では、囲まれた領域に表示されている人物についての情報を表示させるようにしたが、囲まれた領域に表示されている物の情報を検索して表示させるようにしてもよい。また、表示されている物に限らず、音楽が出力されている場合は、出力されている音楽の情報を表示させるようにしてもよい。なお、画像に表示されている物、人物の情報を表示させるか、画像には写っていない音楽の情報を表示させるかの判定は、被写体の動きに基づいて判定すればよい。例えば、画面の特定の領域が囲まれた場合や、被写体の動きが領域を囲う動きではない、所定の動き（大きく×を描く、単に左右に動く等）を検出した場合に音楽の情報を表示させるようにすればよい。
　また、上記実施形態では、被写体として、人物の手を用いた場合を説明したが、人物の全体を被写体としてもよい。人物全体を被写体とすることで、被写体の全体の動きに基づいて画面の操作を行うことができる。以下、図８及び図９を用いて、一例を説明する。ここで、図８は、携帯電子機器の動作の他の例を示すフロー図であり、図９は、携帯電子機器の動作を説明するための説明図である。また、本例では、携帯電子機器１０でアプリケーションソフトウェアとして格闘ゲームを実行させた場合の例である。
　まず、制御部２２は、操作者による操作により格闘ゲームが起動されると、ステップＳ４０としてプロジェクタ３４により画像を投影する。プロジェクタ３４は、例えば、格闘ゲームの起動画面を投影し、ゲームをスタートさせる。また、操作者は、この時、撮影部３８の撮影領域内に全身が入る位置に立っている。
　制御部２２は、ステップＳ４０で画像を投影（画像の投影を開始）したら、ステップＳ４２として、撮影部３８によりユーザ（操作者）の撮影を開始する。つまり、撮影部３８により撮影領域の画像を取得する。制御部２２は、撮影部３８により画像を取得したら、取得した画像から被写体としてユーザの体全体を抽出する。
　制御部２２は、ステップＳ４２でユーザを撮影し取得した画像から被写体を抽出したら、ステップＳ４４として、投影画像にユーザを投影する。つまり、ステップＳ４２で取得した被写体の画像をプロジェクタ３４に投影する画像に合成し、合成した画像をプロジェクタ３４により投影する。これにより、プロジェクタ３４からは被写体を含む画像が投影される。また、制御部２２は、投影させる画像で、被写体を撮影部３８で取得した画像の被写体の位置に対応した位置に表示させる。また、本例は、格闘ゲームであるので、投影される画面には、被写体と対戦する対戦相手の画像が表示されている。
　ここで、投影する画面には、画面における被写体の位置や、被写体の動作、手足の位置（つまり手を上げているか下げているか）等がわかればよく、被写体の表示形状は特に限定されない。したがって、投影する画像には、撮影部３８で取得した被写体の画像をそのまま表示させてもよいが、被写体の外形だけを線で表示させてもよい。つまり、被写体を記号化（アイコン化）して表示させるようにしてもよい。また、被写体の画像に変えて特定のキャラクタで表示してもよい。
　制御部２２は、ステップＳ４４で投影画像にユーザを投影したら、ステップＳ４６としてユーザが動作したかを判定する。具体的には、制御部２２は、ステップＳ４４の処理を行った後も、撮影部３８により取得した画像から被写体を抽出し、抽出した被写体を投影する画像に投影しつつ、抽出した被写体の動きを検出する。ここで、制御部２２は、ステップＳ４６で予め設定された特定の動き（本例では、パンチ、キック、体当たりのいずれか）をしたかを判定する。また、特定の動きであるか否かは、抽出した被写体の変化に基づいて判定すればよい。つまり、制御部２２は、被写体を抽出する際に、被写体の手、足、胴体、頭部分を特定し、各部の動きを抽出することで、特定の動きであるかを判定することができる。例えば、他の部分に比べ、一方の手の位置が大きく変化した場合は、パンチであると判定するように設定すればよい。制御部２２は、ステップＳ４６でユーザが動作していない（Ｎｏ）と判定したら、ステップＳ４６に進み同じ処理を繰り返す。つまり、制御部２２は、ユーザが所定の処理を行うまで、ステップＳ４６の処理を繰り返す。
　制御部２２は、ステップＳ４６でユーザが動作した（Ｙｅｓ）と判定したら、ステップＳ４８として、動作判定を行う。つまり、制御部２２は、ステップＳ４８として、ステップＳ４６で検出した動作の種類、本例では、パンチ、キック、体当たりのいずれであるか判定する。制御部２２は、ステップＳ４８でユーザがパンチをしたと判定したら、ステップＳ５０として、１０ポイントのダメージを加算し、ステップＳ４８でユーザがキックをしたと判定したら、ステップＳ５２として、１５ポイントのダメージを加算し、ステップＳ４８でユーザが体当たりをしたと判定したら、ステップＳ５４として、５０ポイントのダメージを加算する。なお、図９は、ユーザがキックをしている状態である。撮影部３８によりキックをしているユーザの画像を取得しているため、プロジェクタ３４に投影されるユーザの画像もキックをしている状態となる。また、画面には、ダメージ１５ポイントを与えたことが表示され、さらに、画面上に表示された対戦相手は、キックによるダメージを受けた状態で表示される。なお、ダメージの初期値は、０であり、ステップＳ５０、ステップＳ５２、ステップＳ５４の処理が行われると加算される。
　制御部２２は、ステップＳ５０、ステップＳ５２、ステップＳ５４の処理を行ったらステップＳ５６として、与えたダメージが合計１００ポイント以上であるかを判定する。制御部２２は、ステップＳ５６でダメージが１００ポイント未満であると、判定したら、ステップＳ４６に進み、上記処理を繰り返す。また、制御部２２は、ステップＳ５６でダメージが１００ポイント以上であると判定したら、処理を終了する。なお、終了する前に、対戦相手を倒したことを通知するメッセージや、画像を表示させるようにしてもよい。また、そのまま、次の対戦相手との対戦を開始する場合は、ステップＳ４０からの処理を繰り返す。
　このように、撮影部３８で撮影したユーザを被写体として抽出し、その動きを検出することで、ユーザが体を動かすことが入力となり、実際の動作とゲームの操作とを対応付けることができる。これにより、操作者は、直感で操作をすることができ、ゲームをより楽しむことができる。また、操作部を必要としないため、装置構成を簡単にすることができる。
　また、本実施形態のように、投影する方向と画像を取得する方向を異なる方向とすることで、ユーザは、画面を見ながら動くことができ、プロジェクタ３４から投影される光が直接操作者に当たり、まぶしい思いをすることも防止することができる。
　また、上記例では、ゲームとして、格闘ゲームを例にしたが、マラソン等の走るゲームにも用いることができる。この場合は、風景の画像を投影し、ユーザが走っていることを検出したら、その走りのリズムに合わせて、投影している画面の風景を走っているように切り替えるようにすることで、走っている雰囲気を味わうことができる。また、ジャンプ、しゃがむ等の動作を検出し、障害物を乗り越えるゲームも行うことができる。
　この時、被写体の動きから、ユーザの運動量を検出するようにしてもよい。ユーザの運動量を検出することで、消費カロリーを算出することができる。具体的には、ユーザの体重等の身体情報と、体の動きに対応付けられたカロリー表とを記憶しておき、検出したユーザの動きとカロリー表との関係に基づいて消費カロリーを算出すればよい。
　また、上記実施形態では、被写体として、人物の一部または全体を検出したが、人物に限定されず、撮影部３８で取得した画像の所定の被写体（設定された被写体）の動きに基づいて画面を操作すればよい。例えば、被写体として所定の波長域、または所定波長の光（例えば、レーザポインタの光）を用い、この光の動きに基づいて画面を操作するようにしてもよい。被写体として、所定の波長域の光を用いることで、撮影部３８で取得した画像から簡単に被写体を抽出することができる。
　また、複数の波長域または複数の波長の光、つまり複数の色の光を被写体として、設定し、検出した被写体の波長域に応じて、画面操作を切り替えるようにしてもよい。つまり、被写体の動き及び被写体の波長域と、画面の操作とを対応付けておき、検出した、被写体の動きと被写体の波長域とに基づいて、画面を操作するようにしてもよい。このように、光の波長域によって操作を切り替えることで、同一の動きでも異なる操作を入力することが可能となり、より多くの操作を行うことが可能となる。
　また、被写体の動きに基づいて、被写体の動き、検出した文字や図形を画面に表示させる場合は、画面に表示させる被写体の動き、検出した文字や図形を被写体の色に合わせて変化させるようにしてもよい。これにより、操作者は、種々の色で画面に書き込むことが可能となる。
　また、被写体の点滅も被写体の動きとして検出することができる。例えば、被写体が３回点滅したら、プロジェクタの電源をオフにする、つまり画像の表示を終了する操作も設定することができる。
　また被写体として検出する光の波長域は、不可視光の波長域としてもよい。不可視光とすることで、ポインタの光が目に入りまぶしい思いをすることを防止することができる。
　また、電子機器は、プロジェクタにより画像を投影する方向と、撮影部により画像を取得する方向を同じ方向としてもよい。つまり、プロジェクタが投影する画像を含む画像を撮影部が取得するようにしてもよい。このようにプロジェクタが投影した画像を含む画像から被写体を検出する場合は、画像処理により、撮影部が取得した画像からプロジェクタが投影した画像を除去した後、被写体を検出するようにする。例えば、所定の波長域の光を被写体として検出する場合に、プロジェクタが投影する画像に所定の波長域の光があっても、当該部分の光は、被写体として検出しないようにする。これにより、操作者が操作した被写体の動きをより確実に検出することができる。
　また、被写体としては、所定の波長域の光、以外にもペンや、棒も用いることができる。なお、操作者が被写体の動きを入力するために別途物を持つ必要がなくなり、構成を簡単にすることができるため、被写体は、人物全体、または人物の所定の部分とすることが好ましい。
　携帯電子機器は、撮影部に対面する位置にある被写体との距離を計測するセンサ（測距センサ）を設けることが好ましい。携帯電子機器は、センサを設け、被写体と携帯電子機器との距離が計測できることで、被写体と基準位置との距離、被写体の移動量をより正確に算出することができる。これにより、投影する画像上における被写体の位置が算出しやすくなる。
　また、上記実施形態では、プロジェクタ３４により投影した画像を操作したが、表示部３２としては、プロジェクタ３４に限定されず、液晶モニタ等の表示装置に表示させた画像を操作するようにしてもよい。
　なお、上記画面の操作例、表示例は、一例であり本発明は上記例に限定されない。また、上記各例を組み合わせてもよい。例えば、所定の被写体の動きを検出したら文字入力モードに移行し、被写体の動きから文字を検出するようにしてもよい。
　以上のように、本発明にかかる電子機器は、所定の入力により画像の表示を制御する電子機器に用いることに適している。
　１０　携帯電子機器
　１１　筐体
　１２　ディスプレイ
　１３　操作キー
　１４　専用キー
　１５　マイク
　１６　レシーバ
　２２　制御部
　２４　記憶部
　２６　送受信部
　２６ａ　アンテナ
　２８　操作部
　３０　音声処理部
　３２　表示部
　３４　プロジェクタ
　３４ａ　光射出部
　３８　撮影部
　３８ａ　撮像部

Claims (10)

  1. 　画像を表示する画像表示部と、
    　被写体を撮影する撮影部と、
    　前記撮影部で撮影した被写体の動きを検出し、検出した被写体の動きに基づいて、前記画像表示部に表示する画像を変化させる制御部と、を有することを特徴とする電子機器。
  2. 　前記制御部は、予め設定されている被写体の特定の動きを検出したら、前記画像表示部に表示する画像を他の画像に切り替えることを特徴とする請求項１に記載の電子機器。
  3. 　前記制御部は、前記被写体の動きから、前記被写体の運動量を推定し、推定した運動量に基づいて前記被写体に投影する画像の変化を決定することを特徴とする請求項２に記載の電子機器。
  4. 　前記制御部は、前記画像表示部が表示する画像に、前記撮影部により撮影された前記被写体を表示させることを特徴とする請求項１から３のいずれか１項に記載の電子機器。
  5. 　前記画像表示部は、画像を投影して表示させることを特徴とする請求項１から４のいずれか１項に記載の電子機器。
  6. 　前記撮影部は、前記画像表示部が画像を表示させている面とは異なる位置の被写体の動きを検出することを特徴とする請求項１から５のいずれか１項に記載の電子機器。
  7. 　前記被写体の特定の動きは、人間の運動に関連する動きであることを特徴とする請求項１から６のいずれか１項に記載の電子機器。
  8. 　前記制御部は、前記撮影部が撮影した被写体から、人間の身体の一部を抽出することを特徴とする請求項７に記載の電子機器。
  9. 　前記制御部は、前記撮影部が撮影する被写体からの特定の波長の光を抽出することを特徴とする請求項１から６のいずれか１項に記載の電子機器。
  10. 　前記制御部は、検出した光の波長に応じて、前記画像表示部に表示させる画像の制御を切り替えることを特徴とする請求項９に記載の電子機器。
PCT/JP2010/064519 2009-08-27 2010-08-26 電子機器 WO2011024915A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/392,161 US8941768B2 (en) 2009-08-27 2010-08-26 Electronic device control system having image displaying function and image capturing function
US14/464,145 US20140354869A1 (en) 2009-08-27 2014-08-20 Electronic device control system having image displaying function and image capturing function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-197435 2009-08-27
JP2009197435A JP5254906B2 (ja) 2009-08-27 2009-08-27 電子機器

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/392,161 A-371-Of-International US8941768B2 (en) 2009-08-27 2010-08-26 Electronic device control system having image displaying function and image capturing function
US14/464,145 Continuation US20140354869A1 (en) 2009-08-27 2014-08-20 Electronic device control system having image displaying function and image capturing function

Publications (1)

Publication Number Publication Date
WO2011024915A1 true WO2011024915A1 (ja) 2011-03-03

Family

ID=43628015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/064519 WO2011024915A1 (ja) 2009-08-27 2010-08-26 電子機器

Country Status (3)

Country Link
US (2) US8941768B2 (ja)
JP (1) JP5254906B2 (ja)
WO (1) WO2011024915A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5793900B2 (ja) * 2011-03-14 2015-10-14 株式会社リコー 画像投影装置、機能設定方法、および機能設定プログラム
JP5942343B2 (ja) * 2011-05-25 2016-06-29 株式会社リコー 撮像装置
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
JP5906779B2 (ja) * 2012-02-09 2016-04-20 株式会社リコー 画像表示装置
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6047917B2 (ja) * 2012-05-07 2016-12-21 セイコーエプソン株式会社 投写型表示装置
US9632685B2 (en) * 2012-05-31 2017-04-25 Eric Qing Li Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
US9030446B2 (en) * 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
JP2014191688A (ja) * 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
JP2013214306A (ja) * 2013-04-18 2013-10-17 Kyocera Corp 電子機器、電子機器制御用プログラム、及び電子機器の制御方法
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JP6589216B2 (ja) * 2014-09-08 2019-10-16 任天堂株式会社 電子機器
JP6458782B2 (ja) * 2016-07-28 2019-01-30 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
CN110168474A (zh) * 2017-02-24 2019-08-23 索尼移动通信株式会社 信息处理设备、信息处理方法和程序
CN114647138B (zh) * 2020-12-18 2024-07-09 宁波舜宇车载光学技术有限公司 投影系统及其制备方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301475A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP2006192080A (ja) * 2005-01-13 2006-07-27 Sharp Corp ゲーム機、ゲーム方法、制御プログラムおよび可読記録媒体
JP2008287142A (ja) * 2007-05-21 2008-11-27 Brother Ind Ltd 画像投影装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS631475A (ja) 1986-06-20 1988-01-06 Tomoegumi Giken:Kk 海洋構造物用塗装装置
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
JP2002032092A (ja) 2000-07-18 2002-01-31 Daiichikosho Co Ltd カラオケ装置およびその運用方法
JP2003175279A (ja) 2001-12-07 2003-06-24 Konami Co Ltd ビデオゲーム装置及び動きセンサ構造体
AU2003291320A1 (en) * 2002-11-05 2004-06-07 Disney Enterprises, Inc. Video actuated interactive environment
JP4445707B2 (ja) 2003-01-31 2010-04-07 株式会社コナミデジタルエンタテインメント ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP2005114996A (ja) 2003-10-07 2005-04-28 Seiko Epson Corp プロジェクタ装置および書き込み取得方法
CN101068605B (zh) * 2004-12-03 2011-07-13 新世代株式会社 拳击游戏的处理方法，显示控制方法，位置检测方法，光标控制方法，能量消耗计算方法和练习系统
JP4086862B2 (ja) * 2005-06-28 2008-05-14 株式会社コナミデジタルエンタテインメント ゲームシステム及びその制御方法、ゲーム装置、並びにプログラム
JP4437777B2 (ja) 2005-09-27 2010-03-24 シャープ株式会社 プロジェクタ機能付携帯端末
JP2007143748A (ja) * 2005-11-25 2007-06-14 Sharp Corp 画像認識装置、フィットネス支援装置、フィットネス支援システム、フィットネス支援方法、制御プログラムおよび可読記録媒体
JP2009022440A (ja) * 2007-07-18 2009-02-05 Seiko Instruments Inc ゲームシステム及び運動量測定装置
US8009866B2 (en) * 2008-04-26 2011-08-30 Ssd Company Limited Exercise support device, exercise support method and recording medium
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301475A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP2006192080A (ja) * 2005-01-13 2006-07-27 Sharp Corp ゲーム機、ゲーム方法、制御プログラムおよび可読記録媒体
JP2008287142A (ja) * 2007-05-21 2008-11-27 Brother Ind Ltd 画像投影装置

Also Published As

Publication number Publication date
US8941768B2 (en) 2015-01-27
US20140354869A1 (en) 2014-12-04
JP5254906B2 (ja) 2013-08-07
US20120154661A1 (en) 2012-06-21
JP2011049897A (ja) 2011-03-10

Similar Documents

Publication Publication Date Title
JP5254906B2 (ja) 電子機器
JP5566397B2 (ja) 拡張現実アプリケーションのためのモバイル装置
US10877583B2 (en) Game apparatus and information processing apparatus
JP5785753B2 (ja) 電子機器、制御方法および制御プログラム
JP2019510321A (ja) 仮想現実用パススルーカメラのユーザインターフェイス要素
JP5635850B2 (ja) 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法
JP2007532994A (ja) 移動できる投影可能なｇｕｉ
JP2010233958A (ja) プログラム、情報記憶媒体及びゲーム装置
JP2008219285A (ja) 映像コンテンツ表示プログラムおよび映像コンテンツ表示装置
WO2006008950A1 (ja) ゲーム装置、コンピュータの制御方法及び情報記憶媒体
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
JP5436884B2 (ja) 携帯電子機器
JP5583741B2 (ja) 携帯端末装置、端末プログラムおよび玩具
CN116260999A (zh) 显示设备及视频通讯数据处理方法
JP2015007986A (ja) 電子機器、電子機器制御用プログラム、及び電子機器の制御方法
JP2006318385A (ja) 画像生成システム、プログラムおよび情報記憶媒体
JP2017176765A (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
JP2013214306A (ja) 電子機器、電子機器制御用プログラム、及び電子機器の制御方法
JP2021053466A (ja) ゲームプログラム、ゲームプログラムを実行する方法、および情報処理装置
JP6088748B2 (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、及びゲームプログラム
JP2017185190A (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
US20240198226A1 (en) Method and ar glasses for ar glasses interactive display
JP2020075137A (ja) プログラム、情報処理方法及び情報処理装置
WO2017169748A1 (ja) ゲームプログラム、方法及びタッチスクリーンを備える情報処理装置
JP2019126417A (ja) 情報処理装置、動作制御プログラム及び動作制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10811964

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13392161

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10811964

Country of ref document: EP

Kind code of ref document: A1