WO2016199731A1 - ヘッドマウントディスプレイ、表示制御方法及びプログラム - Google Patents

ヘッドマウントディスプレイ、表示制御方法及びプログラム Download PDF

Info

Publication number
WO2016199731A1
WO2016199731A1 PCT/JP2016/066792 JP2016066792W WO2016199731A1 WO 2016199731 A1 WO2016199731 A1 WO 2016199731A1 JP 2016066792 W JP2016066792 W JP 2016066792W WO 2016199731 A1 WO2016199731 A1 WO 2016199731A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
optical axis
user
display
Prior art date
Application number
PCT/JP2016/066792
Other languages
English (en)
French (fr)
Inventor
勇一郎 中村
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2017523630A priority Critical patent/JP6348665B2/ja
Priority to US15/570,872 priority patent/US10715735B2/en
Priority to EP16807438.3A priority patent/EP3310043A4/en
Priority to CN201680032213.XA priority patent/CN107615759B/zh
Publication of WO2016199731A1 publication Critical patent/WO2016199731A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Definitions

  • the present invention relates to a head mounted display, a display control method, and a program.
  • a head-mounted display that is worn by a user on the head to view a video
  • HMDs there is a camera that is mounted on the HMD so that the user can visually recognize the front of the display unit by displaying an image of the front of the display unit.
  • the image of the subject near the optical axis of the camera appears more clearly. Therefore, when an image of a subject near the optical axis of the camera is displayed at a position in the user's line of sight direction, the user can see a clear image.
  • the image of the subject near the optical axis of the camera in the image displayed on the display unit is fixedly displayed at the center. For this reason, if the user changes the line-of-sight direction to a position other than the center of the image displayed on the display unit, the user cannot view a clear image.
  • the present invention has been made in view of the above circumstances, and one of its purposes is to change the position where an image of a subject near the optical axis of the camera is displayed in an image displayed on the display unit. It is an object to provide a head mounted display, a display control method, and a program.
  • a head-mounted display is a head-mounted display worn by a user, and includes a display unit disposed in front of the user's eyes, and a camera for photographing the front of the display unit.
  • a camera control unit that controls the direction of the optical axis of the camera, and a partial image that is cut out from a captured image captured by the camera and that corresponds to the direction of the optical axis of the camera is displayed on the display unit A display control unit.
  • the camera control unit further includes a detection unit that detects the user's line-of-sight direction, and the camera control unit controls the direction of the optical axis of the camera according to the user's line-of-sight direction.
  • the position where the partial image is cut out in the captured image changes in the opposite direction to the direction in which the optical axis of the camera changes. Also good.
  • the display control unit may perform control so that an image of the subject on the optical axis of the camera is displayed at a position in the user's line of sight.
  • the camera control unit starts controlling the direction of the optical axis of the camera when a predetermined image is included in a captured image captured by the camera.
  • the display control method includes a step of controlling the direction of the optical axis of a camera provided in a head-mounted display worn by a user, and the direction of the optical axis of the camera cut out from a captured image captured by the camera. And displaying a partial image corresponding to a part on a display unit arranged in front of the user's eyes.
  • the program according to the present invention corresponds to a procedure for controlling the direction of the optical axis of the camera included in the head-mounted display worn by the user, and the direction of the optical axis of the camera cut out from the captured image captured by the camera.
  • the computer is caused to execute a procedure for displaying a partial image that is a part on a display unit arranged in front of the user's eyes.
  • FIG. 1 is a diagram showing an example of the overall configuration of a video display system 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of the configuration of the head mounted display (HMD) 12 according to the present embodiment.
  • HMD head mounted display
  • the video display system 10 includes an HMD 12, an entertainment device 14, a relay device 16, a display 18, a camera microphone unit 20, and a controller 22.
  • the HMD 12 includes a control unit 30, a storage unit 32, an input / output unit 34, a display unit 36, an audio output unit 38, a sensor unit 40, a camera unit 42, and a drive unit 44. , Is included.
  • the control unit 30 is a program control device such as a microprocessor that operates according to a program installed in the HMD 12, for example.
  • the storage unit 32 is, for example, a storage element such as a ROM or a RAM.
  • the storage unit 32 stores a program executed by the control unit 30.
  • the input / output unit 34 is an input / output port such as an HDMI (registered trademark) (High-Definition Multimedia Interface) port or a USB port.
  • HDMI registered trademark
  • High-Definition Multimedia Interface High-Definition Multimedia Interface
  • the display unit 36 is a display such as a liquid crystal display or an organic EL display, for example, and displays a video generated by the entertainment device 14 or a video shot by the camera unit 42.
  • the display unit 36 according to the present embodiment can display a three-dimensional image by displaying a left-eye image and a right-eye image, for example. Note that the display unit 36 may not be able to display a three-dimensional image but only a two-dimensional image.
  • the audio output unit 38 is, for example, a speaker, and outputs the audio represented by the audio data generated by the entertainment device 14.
  • the sensor unit 40 includes sensors such as a line-of-sight sensor 40a, a movement / rotation sensor 40b, and a mounting / detaching sensor 40c.
  • the line-of-sight sensor 40a is, for example, a camera that can track the line-of-sight direction of the user wearing the HMD 12 at a predetermined frame rate (for example, at an interval of 1/60 seconds) using a known iris detection technique or the like.
  • the movement / rotation sensor 40b is a sensor such as an acceleration sensor or a motion sensor, and outputs measurement results such as the attitude, rotation amount, and movement amount of the HMD 12 to the control unit 30 at a predetermined frame rate. To do. And the control part 30 specifies the moving amount
  • the attachment / detachment sensor 40c is, for example, an infrared sensor or the like that can detect attachment or detachment of the HMD 12 by the user.
  • the sensor unit 40 may include sensors other than the line-of-sight sensor 40a, the movement / rotation sensor 40b, and the attachment / detachment sensor 40c.
  • the camera unit 42 is a camera such as a digital camera, for example, and shoots a situation around the user wearing the HMD 12 at a predetermined frame rate.
  • the camera unit 42 according to the present embodiment is a stereo camera that includes a left-eye camera 42a for capturing a left-eye image and a right-eye camera 42b for capturing a right-eye image.
  • Each of the left-eye camera 42a and the right-eye camera 42b includes, for example, a lens and an image sensor.
  • the left-eye camera 42 a and the right-eye camera 42 b are arranged side by side above the display unit 36 so that the front of the display unit 36 can be photographed.
  • the direction of the optical axis of both the left-eye camera 42a and the right-eye camera 42b can be freely changed.
  • the direction of the optical axis of a lens provided in the camera can be freely changed.
  • the drive unit 44 is a motor or the like, and changes the orientation of the left-eye camera 42a and the right-eye camera 42b included in the camera unit 42 according to a position control signal received from the control unit 30, for example.
  • the entertainment device 14 is a computer such as a game console, a DVD player, a Blu-ray (registered trademark) player, or the like.
  • the entertainment device 14 according to the present embodiment transmits, for example, a video signal representing a video generated by executing a stored game program or reproducing content recorded on an optical disc via the relay device 16 to the HMD 12 or the like. Output to the display 18.
  • the display 18 is, for example, a liquid crystal display, and displays a video or the like represented by a video signal output from the entertainment device 14.
  • the camera microphone unit 20 includes, for example, a camera 20a that outputs an image obtained by imaging a subject to the entertainment device 14, and a microphone that acquires surrounding audio, converts the audio to audio data, and outputs the audio data to the entertainment device 14. 20b is included.
  • the camera 20a according to this embodiment is a stereo camera.
  • the HMD 12 and the relay device 16 are connected via, for example, an HDMI cable or a USB cable.
  • the entertainment device 14 and the relay device 16 are connected via, for example, an HDMI cable or a USB cable.
  • the relay device 16 and the display 18 are connected via, for example, an HDMI cable.
  • the entertainment apparatus 14 and the camera microphone unit 20 are connected via, for example, an AUX cable.
  • the controller 22 is an operation input device for performing operation input to the entertainment device 14.
  • the user can perform various operation inputs using the controller 22 by pressing a direction key or button provided in the controller 22 or tilting an operation stick.
  • the controller 22 outputs input data associated with the operation input to the entertainment device 14.
  • the controller 22 according to the present embodiment includes a USB port. And the controller 22 can output input data to the entertainment apparatus 14 with a wire by connecting with the entertainment apparatus 14 with a USB cable.
  • the controller 22 according to the present embodiment includes a wireless communication module and the like, and can output input data to the entertainment apparatus 14 wirelessly.
  • the video generated by the entertainment device 14 due to the execution of the game program or the reproduction of content such as a movie recorded on the optical disc is displayed on the display unit 36.
  • the image in front of the user wearing the HMD 12 captured by the camera unit 42 is also displayed on the display unit 36.
  • a user wearing the HMD 12 appropriately switches between displaying an image generated by the entertainment device 14 or displaying an image captured by the camera unit 42 by operating the controller 22, for example. Can be done.
  • FIG. 3 is a diagram illustrating an example of an object arranged in a real space where a user wearing the HMD 12 exists.
  • a chair 50 and a stuffed toy 52 placed on the chair 50 are arranged in the real space where the user exists, as shown in FIG.
  • the left-eye camera 42a displays, for example, the captured image 54-1 shown in FIG. Take a video that includes it as an image.
  • the captured image 54-1 illustrated in FIG. 4 includes an image of the chair 50 and an image of the stuffed toy 52.
  • an area occupying a part of the captured image 54-1 is specified as the cutout area 56-1, according to the user's line-of-sight direction detected by the line-of-sight sensor 40a.
  • FIG. 4 shows an example of the cutout region 56-1 when the line-of-sight direction of the user's left eye is straight forward.
  • the center area of the captured image 54-1 is specified as the cut-out area 56-1.
  • the partial image 58-1 illustrated in FIG. 5 obtained by cutting out the image occupying the cutout region 56-1 from the photographed image 54-1 shown in FIG. 4 is displayed on the display unit 36 as the image for the left eye.
  • the Rukoto is displayed on the display unit 36 as the image for the left eye.
  • the direction of the optical axis of the left-eye camera 42a changes to the direction in which the line-of-sight direction changes.
  • FIG. 6 shows an example of a captured image 54-2 captured by the left-eye camera 42a when the optical axis of the left-eye camera 42a is directed upward in this way.
  • the positions of the chair 50 and the stuffed toy 52 in the photographed image 54-2 shown in FIG. 6 are the positions of the chair in the photographed image 54-1 shown in FIG. 50 and the position of the stuffed toy 52 are relatively below.
  • an area in the captured image 54-2 corresponding to the direction of the optical axis of the left-eye camera 42a is specified as the cut-out area 56-2.
  • the cutout region 56-2 in the captured image 54-2 has a direction opposite to the direction in which the direction of the optical axis of the left-eye camera 42a changes. Will change.
  • an area below the center is cut out in the captured image 54-2 shown in FIG. Identified as region 56-2.
  • a partial image 58-2 illustrated in FIG. 7 obtained by cutting out an image occupying the cutout region 56-2 from the photographed image 54-2 illustrated in FIG. 6 is displayed on the display unit 36. .
  • FIG. 8 shows an example of a photographed image 54-3 photographed by the left-eye camera 42a when the optical axis of the left-eye camera 42a is directed downward in this way.
  • the positions of the chair 50 and the stuffed toy 52 in the photographed image 54-3 shown in FIG. 8 are the positions of the chair in the photographed image 54-1 shown in FIG. 50 and the position of the stuffed toy 52 are relatively above.
  • the optical axis of the left-eye camera 42a is directed downward in accordance with the user's line-of-sight direction being directed downward, it is above the center in the captured image 54-3 shown in FIG.
  • the area is specified as the cutout area 56-3.
  • the partial image 58-3 illustrated in FIG. 9 obtained by cutting out the image occupying the cutout region 56-3 from the photographed image 54-3 illustrated in FIG. 8 is displayed on the display unit 36. .
  • the field-of-view range in the real space displayed on the display unit 36 when the captured image 54-2 or the captured image 54-3 is captured is the display unit when the captured image 54-1 is captured. It becomes the same as the visual field range in the real space displayed at 36. Therefore, the partial image 58-1 shown in FIG. 5, the partial image 58-2 shown in FIG. 7, and the partial image 58-3 shown in FIG. 9 are substantially the same image.
  • the visual field range in the real space displayed on the display unit 36 does not change.
  • an image of a subject near the optical axis of the camera appears more clearly.
  • the image of a subject near the optical axis of a lens provided in the camera has a higher resolution.
  • the subject image closer to the optical axis of the left-eye camera 42a is arranged at the center of the captured image 54. Therefore, for each of the photographed image 54-1 shown in FIG. 4, the photographed image 54-2 shown in FIG. 6, or the photographed image 54-3 shown in FIG. The image will be clearly visible.
  • FIG. 4 shows the center position P1 of the photographed image 54-1.
  • the photographed image 54-1 shown in FIG. 4 the image of the subject arranged in the vicinity of the position P1 is clearly displayed.
  • FIG. 6 shows the position P2 of the center of the captured image 54-2. The position P2 is located above the center of the cutout area 56-2 in the captured image 54-2.
  • the photographed image 54-2 shown in FIG. 6 the image of the subject arranged in the vicinity of the position P2 is clearly displayed.
  • FIG. 8 shows the center position P3 of the captured image 54-3. The position P3 is located below the center of the cutout area 56-3 in the captured image 54-3. In the photographed image 54-3 shown in FIG. 8, the image of the subject arranged in the vicinity of the position P3 is clearly displayed.
  • the image of the subject arranged near the center of the captured image 54 is arranged at a position in the partial image 58 in the user's line-of-sight direction.
  • the partial image 58-1 shown in FIG. 5 shows a position Q1 corresponding to the position P1 in the photographed image 54-1 shown in FIG.
  • the position Q1 is located at the center of the partial image 58-1.
  • the center of the partial image 58-1 is displayed on the line of sight of the user's left eye.
  • a clear subject image near a certain position Q1 is arranged.
  • the partial image 58-2 shown in FIG. 7 shows a position Q2 corresponding to the position P2 in the photographed image 54-2 shown in FIG.
  • the position Q2 is located above the center of the partial image 58-2.
  • the partial image 58-2 illustrated in FIG. 7 is displayed when the line of sight of the user's left eye is pointing straight upwards, so that the partial image 58- is displayed above the line of sight of the user's left eye.
  • a clear subject image near the position Q2 above the center of 2 is arranged.
  • the partial image 58-3 shown in FIG. 9 shows a position Q3 corresponding to the position P3 in the photographed image 54-3 shown in FIG.
  • the position Q3 is located below the center of the partial image 58-3.
  • the partial image 58-3 shown in FIG. 9 is displayed when the line of sight of the user's left eye is straight downward, the partial image 58-3 is displayed above the line of sight of the user's left eye.
  • a clear image of the subject in the vicinity of the position Q3 that is lower than the center of is arranged.
  • the position where the partial image 58 is cut out in the captured image 54 changes according to the direction of the optical axis of the left-eye camera 42a. In this way, in the present embodiment, the position at which the image of the subject near the optical axis of the left-eye camera 42a is displayed in the image displayed on the display unit 36 can be changed.
  • the direction of the optical axis of the camera included in the camera unit 42 changes according to the user's line-of-sight direction. Therefore, in this embodiment, the user can place a clear subject image at a position corresponding to the line-of-sight direction. Further, according to the HMD 12 according to the present embodiment, when the partial image 58 is displayed, a clear subject image is arranged in the user's line-of-sight direction, so that the user can see a clear video. Become.
  • the control of the direction of the optical axis of the left-eye camera 42a and the specification of the position of the cut-out area 56 where the partial image 58 displayed as the left-eye image is cut out according to the change in the line-of-sight direction of the left eye explained.
  • the direction of the optical axis of the right-eye camera 42b is controlled and the position of the cut-out area 56 where the partial image 58 displayed as the right-eye image is cut out is determined according to the change in the line-of-sight direction of the right eye.
  • the present invention can also be applied to the case where the camera unit 42 includes only one camera and the display unit 36 can display only a two-dimensional image.
  • the direction of the optical axis of the camera or the extraction area 56 may be specified in accordance with the change in the line-of-sight direction of both eyes or one of the eyes detected by the line-of-sight sensor 40a.
  • the ratio of the area of the cutout area 56 to the area of the captured image 54 is not limited to that shown in FIGS. 4, 6, and 8.
  • FIG. 10 is a functional block diagram showing an example of functions implemented by the HMD 12 according to the present embodiment. Note that the HMD 12 according to the present embodiment does not have to include all the functions illustrated in FIG. 10, and functions other than the functions illustrated in FIG. 10 may be mounted.
  • the HMD 12 functionally includes, for example, a detection unit 60, a camera control unit 62, a captured image generation unit 64, a cutout region specification unit 66, a partial image generation unit 68, and display control.
  • Part 70 The detector 60 is mainly mounted with the line-of-sight sensor 40a.
  • the camera control unit 62 is mainly mounted with the control unit 30 and the drive unit 44.
  • the captured image generation unit 64 is mainly implemented by the camera unit 42.
  • the cutout area specifying unit 66 and the partial image generating unit 68 are mainly implemented by the control unit 30.
  • the display control unit 70 is mainly implemented by the control unit 30 and the display unit 36.
  • the above functions are implemented by causing the control unit 30 to execute a program that is installed in the HMD 12 that is a computer and that includes commands corresponding to the above functions.
  • This program is supplied to the HMD 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet.
  • the detection unit 60 detects the user's line-of-sight direction at a predetermined frame rate.
  • the camera control unit 62 controls the direction of the optical axis of the camera included in the camera unit 42 at a predetermined frame rate.
  • the camera control unit 62 controls the direction of the optical axis of the camera according to the user's line-of-sight direction detected by the detection unit 60.
  • the camera control unit 62 controls the direction of the optical axis of the left-eye camera 42a according to the line-of-sight direction of the user's left eye detected by the detection unit 60, and the line of sight of the user's right eye detected by the detection unit 60.
  • the direction of the optical axis of the right-eye camera 42b is controlled according to the direction.
  • the camera control unit 62 may change the direction of the optical axis of the camera in the direction in which the user's line-of-sight direction detected by the detection unit 60 has changed.
  • the direction and angle at which the user's line-of-sight direction has changed may coincide with the direction and angle at which the optical axis of the camera changes. Further, the direction and angle at which the user's line-of-sight direction has changed may not coincide with the direction and angle at which the optical axis of the camera changes.
  • the captured image generation unit 64 generates a captured image 54, for example.
  • the left-eye captured image 54 and the right-eye captured image 54 are generated at a predetermined frame rate.
  • the cutout area specifying unit 66 specifies the position of the cutout area 56 in the captured image 54, for example.
  • the cutout area specifying unit 66 may specify the position of the cutout area 56 in the captured image 54 based on the direction of the optical axis of the camera included in the camera unit 42 at a predetermined frame rate.
  • the cutout area specifying unit 66 may specify the position of the cutout area 56 at a predetermined frame rate based on the line-of-sight direction detected by the detection unit 60.
  • the position of the cutout region 56 in the captured image 54 is the direction in which the optical axis of the camera included in the camera unit 42 changes. It changes in the opposite direction.
  • cutout area specifying unit 66 may specify a cutout area 56 having the same visual field range as that of the image occupied by the cutout area 56 in the captured image 54 generated in the immediately preceding frame.
  • the cutout area specifying unit 66 holds data indicating the correspondence between the position of the cutout area 56 and the direction of the optical axis of the camera, or the correspondence between the position of the cutout area 56 and the user's line-of-sight direction. Also good. Then, even if the cutout region specifying unit 66 specifies the position of the cutout region 56 in the captured image 54 based on the line-of-sight direction or the direction of the optical axis of the camera included in the camera unit 42 and the held data. Good.
  • the partial image generation unit 68 generates a partial image 58, for example.
  • the partial image generation unit 68 generates the partial image 58 by cutting out, for example, an image occupying the cutout region 56 from the captured image 54 as the partial image 58.
  • the display control unit 70 displays a partial image 58 that is a part of the captured image 54 captured by the camera included in the camera unit 42 according to the direction of the optical axis of the camera included in the camera unit 42. It is displayed on the display unit 36.
  • the display control unit 70 causes the display unit 36 to display the partial image 58 generated by the partial image generation unit 68.
  • the display control unit 70 may perform control so that the image of the subject on the optical axis of the camera is displayed at a position in the user's line-of-sight direction.
  • the detection unit 60 detects the viewing direction of the user's left eye (S101).
  • the camera control unit 62 determines the orientation of the left-eye camera 42a based on the line-of-sight direction detected in the process shown in S101 (S102).
  • the cutout area specifying unit 66 specifies the position of the cutout area 56 in the captured image 54 based on the orientation of the left-eye camera 42a determined in the process shown in S102 (S103).
  • the camera control unit 62 controls the direction of the left-eye camera 42a so as to face the direction determined in the process shown in S102 (S104).
  • the photographed image generation unit 64 generates a photographed image 54 photographed by the left-eye camera 42a whose direction is controlled in the process shown in S103 (S105).
  • the partial image generation unit 68 cuts out an image occupying the cutout area 56 at the position specified in the process shown in S103 from the captured image 54 shot in the process shown in S105, thereby generating the partial image 58. (S106).
  • the display control unit 70 causes the display unit 36 to display the partial image 58 generated by the processing shown in S106 (S107).
  • the partial image 58 that is an image for the right eye is displayed on the display unit 36 at a predetermined frame rate.
  • the orientation of the left-eye camera 42a and the orientation of the right-eye camera 42b are controlled independently.
  • the orientation of the left-eye camera 42a and the orientation of the right-eye camera 42b are controlled in conjunction with each other. It doesn't matter if you do.
  • the flow of display control processing performed at a predetermined frame rate is not limited to that shown in FIG.
  • the process shown in S103 may be executed between the process shown in S104 and the process shown in S105, or between the process shown in S105 and the process shown in S106.
  • the camera control unit 62 may start controlling the direction of the optical axis of the camera. .
  • the change in the position of the cutout region 56 is also started. In this way, it is possible to control whether or not an image in which a clear location changes following the change in the line-of-sight direction is provided to the user according to the image to be captured.
  • the camera control unit 62 determines the direction of the optical axis of the camera. Control may be started. Further, for example, when it is determined by a known character recognition technique or the like that the photographed image 54 includes a predetermined number or more of character images, the camera control unit 62 may start controlling the direction of the optical axis of the camera. Good. Further, for example, when it is determined that the smartphone image is included in the captured image 54, the camera control unit 62 may start controlling the direction of the optical axis of the camera.
  • the above-described control of the direction of the optical axis of the camera may be started.
  • the user looks at his / her hand for example, when reading a book or looking at a smartphone, an image in which a clear place changes following the change in the user's line-of-sight direction can be provided to the user.
  • the user wearing the HMD 12 faces down based on the captured image 54 captured by the camera unit 42 or a combination of the captured image 54 and the detection result of the sensor unit 40. It may be.
  • the area where the floor image is arranged in the captured image 54 may be specified by a known image analysis technique. Then, when the ratio of the area of the specified region to the entire area of the captured image 54 is larger than a predetermined value, it may be determined that the user wearing the HMD 12 faces downward. Further, for example, based on the measurement result of the movement / rotation sensor 40b, it may be determined that the user wearing the HMD 12 faces downward.
  • the determination that the user wearing the HMD 12 faces down may be performed based on an image captured by the camera 20a.
  • the line-of-sight sensor 40a detects that the user's line-of-sight direction is directed downward from the front, for example, when it is detected that the user is directed downward from 45 degrees obliquely below the horizontal direction.
  • the control of the direction of the optical axis of the camera may be started. In this way, when the user's line-of-sight direction is directed downward, it is possible to provide the user with an image in which a clear location changes following the change in the line-of-sight direction.
  • a user wearing the HMD 12 may be specified, and it may be determined whether or not the user has worn the HMD 12. If it is determined that the identified user has not worn the HMD 12, calibration for the user may be executed and the result stored in the storage unit 32. On the other hand, if it is determined that the specified user has worn the HMD 12, the calibration result stored in the storage unit 32 is used without performing the calibration again. May be.
  • the HMD 12 may display on the display unit 36 an image that has been subjected to image processing that increases the resolution in the line-of-sight direction detected by the line-of-sight sensor 40a.
  • the division of roles between the HMD 12 and the entertainment device 14 is not limited to the above.
  • the entertainment device 14 may generate the partial image 58 based on the captured image 54.

Abstract

表示部に表示される映像内においてカメラの光軸の近くにある被写体の像が表示される位置を変えることができるヘッドマウントディスプレイ、表示制御方法及びプログラムを提供する。カメラ制御部（６２）は、ユーザの眼前に配置されている表示部の前方を撮影するカメラの光軸の向きを制御する。表示制御部（７０）は、カメラが撮影する撮影画像から切り出される、カメラの光軸の向きに応じた一部である部分画像を表示部に表示させる。

Description

ヘッドマウントディスプレイ、表示制御方法及びプログラム
　本発明は、ヘッドマウントディスプレイ、表示制御方法及びプログラムに関する。
　例えば特許文献１～３に記載されているような、ユーザが頭部に装着して映像を観賞等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。このようなＨＭＤのなかには、カメラが搭載されており、表示部の前方を撮影した映像を表示させることでユーザが表示部の前方を視認できるものがある。
　また、虹彩検出などによりユーザの視線方向を追跡する視線トラッキングに関する技術も知られている。
特開２００４－２０５７１１号公報 特開２０１２－２８８９号公報 特開２０１３－２１０５８８号公報
　カメラが撮影する映像では、カメラの光軸の近くにある被写体の像ほど鮮明に映る。そのためユーザの視線方向上の位置にカメラの光軸の近くにある被写体の像が表示されるようにすると、ユーザは鮮明な映像を視覚できることとなる。
　しかし従来のＨＭＤでは、表示部に表示される映像内においてカメラの光軸の近くにある被写体の像は中心に固定的に表示されるようになっていた。そのため、ユーザが表示部に表示される映像の中心以外に視線方向を移すと、ユーザは鮮明な映像を視覚することができなかった。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、表示部に表示される映像内においてカメラの光軸の近くにある被写体の像が表示される位置を変えることができるヘッドマウントディスプレイ、表示制御方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係るヘッドマウントディスプレイは、ユーザが装着するヘッドマウントディスプレイであって、前記ユーザの眼前に配置された表示部と、前記表示部の前方を撮影するカメラと、前記カメラの光軸の向きを制御するカメラ制御部と、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記表示部に表示させる表示制御部と、を含む。
　本発明の一態様では、前記ユーザの視線方向を検出する検出部、をさらに含み、前記カメラ制御部は、前記ユーザの視線方向に応じて、前記カメラの光軸の向きを制御する。
　この態様では、前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化してもよい。
　あるいは、前記表示制御部は、前記ユーザの視線方向上の位置に前記カメラの光軸上の被写体の像が表示されるよう制御してもよい。
　また、本発明の一態様では、前記カメラ制御部は、前記カメラが撮影する撮影画像に所定の画像が含まれる場合に前記カメラの光軸の向きの制御を開始する。
　また、本発明に係る表示制御方法は、ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御するステップと、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させるステップと、を含む。
　また、本発明に係るプログラムは、ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御する手順、前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させる手順、をコンピュータに実行させる。
本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 実空間内に配置された椅子とぬいぐるみの一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 撮影画像の一例を示す図である。 部分画像の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。
　図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
　本実施形態に係るＨＭＤ１２には、例えば図２に示すように、制御部３０、記憶部３２、入出力部３４、表示部３６、音声出力部３８、センサ部４０、カメラ部４２、駆動部４４、が含まれる。
　制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
　記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。
　入出力部３４は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。
　表示部３６は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像や、カメラ部４２が撮影する映像などを表示させる。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
　音声出力部３８は、例えばスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。
　センサ部４０は、本実施形態では例えば、視線センサ４０ａ、移動・回転センサ４０ｂ、装着・脱着センサ４０ｃ、などのセンサを含む。
　本実施形態に係る視線センサ４０ａは、例えば公知の虹彩検出技術等により、ＨＭＤ１２を装着するユーザの視線方向を所定のフレームレート（例えば、１／６０秒間隔）で追跡可能なカメラなどである。
　また本実施形態に係る移動・回転センサ４０ｂは、例えば加速度センサやモーションセンサなどのセンサであり、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のフレームレートで、制御部３０に出力する。そして制御部３０は、当該計測結果に基づいて、単位時間あたりのＨＭＤ１２の移動量及び回転量、すなわちＨＭＤ１２の速度及び角速度を特定する。
　装着・脱着センサ４０ｃは、例えばユーザによるＨＭＤ１２の装着又は脱着を検出可能な赤外線センサ等である。
　なおセンサ部４０が、視線センサ４０ａ、移動・回転センサ４０ｂ、装着・脱着センサ４０ｃ、以外のセンサを含んでいてもよい。
　カメラ部４２は、例えばデジタルカメラなどのカメラであり、所定のフレームレートでＨＭＤ１２を装着するユーザの周辺の様子を撮影する。本実施形態に係るカメラ部４２は、左目用の画像を撮影するための左目用カメラ４２ａと、右目用の画像を撮影するための右目用カメラ４２ｂと、を含むステレオカメラである。左目用カメラ４２ａ及び右目用カメラ４２ｂは、それぞれ、例えばレンズ及び撮像素子などを含んで構成される。そして本実施形態では、図１に示すように、左目用カメラ４２ａ及び右目用カメラ４２ｂが、表示部３６の上方に、表示部３６の前方を撮影できるよう横に並んで配置されている。また本実施形態では、左目用カメラ４２ａも右目用カメラ４２ｂもその光軸の向きを自在に変更することができるようになっている。例えばカメラが備えるレンズの光軸の向きが自在に変更可能になっている。
　駆動部４４は、モータ等であり、例えば、制御部３０から受け付ける位置制御信号に応じて、カメラ部４２が備える左目用カメラ４２ａや右目用カメラ４２ｂの向きを変化させる。
　本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって生成される映像を表す映像信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。
　本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
　本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
　ＨＭＤ１２と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
　本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
　本実施形態では、上述のように、ゲームプログラムの実行や光ディスクに記録された映画等のコンテンツの再生などによってエンタテインメント装置１４で生成される映像が表示部３６に表示される。また本実施形態では、上述のように、カメラ部４２が撮影した、ＨＭＤ１２を装着するユーザの前方の映像も表示部３６に表示される。本実施形態では、ＨＭＤ１２を装着するユーザは、例えばコントローラ２２への操作により、エンタテインメント装置１４で生成される映像が表示されるか、カメラ部４２が撮影した映像が表示されるかを適宜切り替えることができるようになっている。
　以下、カメラ部４２が撮影した映像が表示部３６に表示される状況についてさらに説明する。
　図３は、ＨＭＤ１２を装着するユーザが存在する実空間内に配置されている物体の一例を示す図である。ここでは例えば、ユーザが存在する実空間内には、図３に示すように、椅子５０、及び、椅子５０に乗せられたぬいぐるみ５２が配置されていることとする。
　そして本実施形態では、上述のように、ＨＭＤ１２を装着したユーザが、ぬいぐるみ５２が置かれた椅子５０の方を向くと、左目用カメラ４２ａは、例えば図４に示す撮影画像５４－１をフレーム画像として含む映像を撮影する。図４に示す撮影画像５４－１には、椅子５０の像及びぬいぐるみ５２の像が含まれている。
　そして本実施形態では、視線センサ４０ａが検出するユーザの視線方向に応じて、撮影画像５４－１の一部を占める領域が、切り出し領域５６－１として特定される。図４には、ユーザの左目の視線方向がまっすぐ前を向いている際における切り出し領域５６－１の一例が示されている。このように本実施形態では、ユーザの左目の視線方向がまっすぐ前を向いている際には、撮影画像５４－１の中心の領域が切り出し領域５６－１として特定される。
　そして本実施形態では、図４に示す撮影画像５４－１から切り出し領域５６－１を占める画像を切り出した、図５に例示する部分画像５８－１が左目用の画像として表示部３６に表示されることとなる。
　そして本実施形態では、ユーザが左目の視線方向を変えると、視線方向が変化した向きに左目用カメラ４２ａの光軸の向きが変わることとなる。
　例えば、ユーザが左目の視線方向をまっすぐ前よりも上に向けたことを視線センサ４０ａが検出したとする。そうすると、この視線方向の変化に応じて、左目用カメラ４２ａの光軸が上に向くよう制御される。このようにして左目用カメラ４２ａの光軸が上に向いた際に左目用カメラ４２ａが撮影する撮影画像５４－２の一例を図６に示す。ここでは左目用カメラ４２ａの光軸が上を向いたので、図６に示す撮影画像５４－２内における椅子５０やぬいぐるみ５２の像の位置は、図４に示す撮影画像５４－１内における椅子５０やぬいぐるみ５２の像の位置よりも相対的に下となる。
　そして本実施形態では、左目用カメラ４２ａの光軸の向きに応じた撮影画像５４－２内の領域が切り出し領域５６－２として特定される。例えば、左目用カメラ４２ａの光軸の向きが変化した際には、撮影画像５４－２内における切り出し領域５６－２は、左目用カメラ４２ａの光軸の向きが変化した向きとは逆の向きに変化することとなる。例えばユーザの視線方向が上を向くことに応じて、左目用カメラ４２ａの光軸が上を向いた際には、図６に示す撮影画像５４－２内における、中心よりも下の領域が切り出し領域５６－２として特定される。
　そして本実施形態では、図６に例示する撮影画像５４－２から切り出し領域５６－２を占める画像を切り出した、図７に例示する部分画像５８－２が表示部３６に表示されることとなる。
　一方、ユーザが左目の視線方向をまっすぐ前よりも下に向けたことを視線センサ４０ａが検出したとする。そうすると、この視線方向の変化に応じて、左目用カメラ４２ａの光軸が下に向くよう制御される。このようにして左目用カメラ４２ａの光軸が下に向いた際に左目用カメラ４２ａが撮影する撮影画像５４－３の一例を図８に示す。ここでは左目用カメラ４２ａの光軸が下を向いたので、図８に示す撮影画像５４－３内における椅子５０やぬいぐるみ５２の像の位置は、図４に示す撮影画像５４－１内における椅子５０やぬいぐるみ５２の像の位置よりも相対的に上となる。
　そしてこのように、ユーザの視線方向が下を向くことに応じて、左目用カメラ４２ａの光軸が下を向いた際には、図８に示す撮影画像５４－３内における中心よりも上の領域が切り出し領域５６－３として特定されることとなる。
　そして上述のように、図８に例示する撮影画像５４－３から切り出し領域５６－３を占める画像を切り出した、図９に例示する部分画像５８－３が表示部３６に表示されることとなる。
　本実施形態では、撮影画像５４－２や撮影画像５４－３が撮影された場合に表示部３６に表示される実空間内における視野範囲は、撮影画像５４－１が撮影された場合に表示部３６に表示される実空間内における視野範囲と同じになる。そのため、図５に示す部分画像５８－１も、図７に示す部分画像５８－２も、図９に示す部分画像５８－３も、概ね同じ画像となる。
　このように本実施形態では、左目の視線方向が変化しても、それに応じて左目用カメラ４２ａの光軸の向きが変化し、さらには撮影画像５４内における切り出し領域５６の位置が変化する。このようにして本実施形態によれば、左目の視線方向が変化しても、表示部３６に表示される実空間内における視野範囲は変化しないこととなる。
　また一般的に、レンズ等の光学系の特性として、カメラ部４２が撮影する映像においては、カメラの光軸の近くにある被写体の像ほど鮮明に映る。例えばカメラが備えるレンズの光軸の近くにある被写体の像ほど解像度が高いこととなる。そして左目用カメラ４２ａの光軸の近くにある被写体の像ほど撮影画像５４の中心に配置される。そのため、図４に示す撮影画像５４－１、図６に示す撮影画像５４－２、又は、図８に示す撮影画像５４－３のそれぞれについて、撮影画像５４の中心付近に配置されている被写体の像は鮮明に映ることとなる。
　図４には、撮影画像５４－１の中心の位置Ｐ１が示されている。図４に示す撮影画像５４－１では、位置Ｐ１の付近に配置されている被写体の像が鮮明に映ることとなる。図６には、撮影画像５４－２の中心の位置Ｐ２が示されている。位置Ｐ２は撮影画像５４－２内の切り出し領域５６－２の中心よりは上に位置することとなる。図６に示す撮影画像５４－２では、位置Ｐ２の付近に配置されている被写体の像が鮮明に映ることとなる。図８には、撮影画像５４－３の中心の位置Ｐ３が示されている。位置Ｐ３は撮影画像５４－３内の切り出し領域５６－３の中心よりは下に位置することとなる。図８に示す撮影画像５４－３では、位置Ｐ３の付近に配置されている被写体の像が鮮明に映ることとなる。
　そして本実施形態では、撮影画像５４の中心付近に配置されている被写体の像が、部分画像５８内におけるユーザの視線方向上の位置に配置されることとなる。
　例えば図５に示す部分画像５８－１には、図４に示す撮影画像５４－１内の位置Ｐ１に相当する位置Ｑ１が示されている。位置Ｑ１は部分画像５８－１の中心に位置する。本実施形態ではユーザの左目の視線方向がまっすぐ前を向いている場合に図５に示す部分画像５８－１が表示されるので、ユーザの左目の視線方向上に部分画像５８－１の中心である位置Ｑ１付近の鮮明な被写体の像が配置されることとなる。
　また例えば図７に示す部分画像５８－２には、図６に示す撮影画像５４－２内の位置Ｐ２に相当する位置Ｑ２が示されている。上述のように位置Ｐ２は図６に示す撮影画像５４－２内の切り出し領域５６－２の中心より上に位置するため、位置Ｑ２は部分画像５８－２の中心より上に位置することとなる。本実施形態ではユーザの左目の視線方向がまっすぐ前よりも上を向いている場合に図７に例示する部分画像５８－２が表示されるので、ユーザの左目の視線方向上に部分画像５８－２の中心よりも上である位置Ｑ２付近の鮮明な被写体の像が配置されることとなる。
　また例えば図９に示す部分画像５８－３には、図８に示す撮影画像５４－３内の位置Ｐ３に相当する位置Ｑ３が示されている。上述のように位置Ｐ３は図８に示す撮影画像５４－３内の切り出し領域５６－３の中心より下に位置するため、位置Ｑ３は部分画像５８－３の中心より下に位置することとなる。本実施形態ではユーザの左目の視線方向がまっすぐ前よりも下を向いている場合に図９に示す部分画像５８－３が表示されるので、ユーザの左目の視線方向上に部分画像５８－３の中心よりも下である位置Ｑ３付近の鮮明な被写体の像が配置されることとなる。
　以上のようにして本実施形態では、左目用カメラ４２ａの光軸の向きに応じて撮影画像５４内において部分画像５８が切り出される位置が変化する。このようにして本実施形態では、表示部３６に表示される映像内において左目用カメラ４２ａの光軸の近くにある被写体の像が表示される位置を変えることができることとなる。
　また本実施形態では、ユーザの視線方向に応じてカメラ部４２が備えるカメラの光軸の向きが変化する。そのため本実施形態では、ユーザが視線方向に応じた位置に鮮明な被写体の像を配置できることとなる。また本実施形態に係るＨＭＤ１２によれば、部分画像５８が表示される際に、ユーザの視線方向上に鮮明な被写体の像が配置されるので、ユーザに鮮明な映像を視覚させることができることとなる。
　なお以上の例では、ユーザの視線方向が上又は下を向いた場合について説明したが、ユーザの視線方向が例えば左や右などといったその他の方向を向いた場合についても同様である。
　また以上、左目の視線方向の変化に応じて左目用カメラ４２ａの光軸の向きの制御及び左目用の画像として表示される部分画像５８が切り出される切り出し領域５６の位置の特定が行われることについて説明した。同様にして、右目の視線方向の変化に応じて右目用カメラ４２ｂの光軸の向きの制御及び右目用の画像として表示される部分画像５８が切り出される切り出し領域５６の位置の特定が行われてももちろん構わない。
　また本発明は、カメラ部４２が１つのカメラしか備えておらず、表示部３６が二次元画像しか表示できない場合においても適用可能である。例えば、視線センサ４０ａが検出する両目又はいずれか片方の目の視線方向の変化に応じて、当該カメラの光軸の向きの制御や切り出し領域５６の特定が行われるようにしても構わない。また、撮影画像５４の面積に対する切り出し領域５６の面積の比率は図４、図６、及び、図８に示されているものに限定されない。
　以下、本実施形態に係るＨＭＤ１２の機能並びに本実施形態に係るＨＭＤ１２で実行される処理についてさらに説明する。
　図１０は、本実施形態に係るＨＭＤ１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１２で、図１０に示す機能のすべてが実装される必要はなく、また、図１０に示す機能以外の機能が実装されていても構わない。
　図１０に示すように、本実施形態に係るＨＭＤ１２は、機能的には例えば、検出部６０、カメラ制御部６２、撮影画像生成部６４、切り出し領域特定部６６、部分画像生成部６８、表示制御部７０、を含む。検出部６０は、視線センサ４０ａを主として実装される。カメラ制御部６２は、制御部３０及び駆動部４４を主として実装される。撮影画像生成部６４は、カメラ部４２を主として実装される。切り出し領域特定部６６、部分画像生成部６８は、制御部３０を主として実装される。表示制御部７０は、制御部３０及び表示部３６を主として実装される。
　そして以上の機能は、コンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給される。
　検出部６０は、本実施形態では例えば、所定のフレームレートでユーザの視線方向を検出する。
　カメラ制御部６２は、本実施形態では例えば、所定のフレームレートでカメラ部４２が備えるカメラの光軸の向きを制御する。本実施形態では、カメラ制御部６２は、検出部６０が検出するユーザの視線方向に応じてカメラの光軸の向きを制御する。本実施形態では、カメラ制御部６２は、検出部６０が検出するユーザの左目の視線方向に応じて左目用カメラ４２ａの光軸の向きを制御し、検出部６０が検出するユーザの右目の視線方向に応じて右目用カメラ４２ｂの光軸の向きを制御する。カメラ制御部６２は、上述の通り、検出部６０が検出するユーザの視線方向が変化した向きにカメラの光軸の向きを変化させてもよい。なおこのときユーザの視線方向が変化した向き及び角度とカメラの光軸が変化する向き及び角度が一致するようにしてもよい。またユーザの視線方向が変化した向き及び角度とカメラの光軸が変化する向き及び角度が一致しなくても構わない。
　撮影画像生成部６４は、本実施形態では例えば、撮影画像５４を生成する。本実施形態では上述のように、所定のフレームレートで左目用の撮影画像５４と右目用の撮影画像５４とが生成されることとなる。
　切り出し領域特定部６６は、本実施形態では例えば、撮影画像５４内における切り出し領域５６の位置を特定する。ここで切り出し領域特定部６６は、所定のフレームレートでカメラ部４２が備えるカメラの光軸の向きに基づいて、撮影画像５４内における切り出し領域５６の位置を特定してもよい。また切り出し領域特定部６６は、検出部６０が検出する視線方向に基づいて切り出し領域５６の位置を所定のフレームレートで特定してもよい。
　本実施形態では上述の通り、カメラ部４２が備えるカメラの光軸が変化した際には、撮影画像５４内における切り出し領域５６の位置はカメラ部４２が備えるカメラの光軸が変化した向きとは逆の向きに変化する。
　なお切り出し領域特定部６６は、直前のフレームに生成された撮影画像５４内の切り出し領域５６が占める画像の視野範囲と視野範囲が同じとなる切り出し領域５６を特定するようにしてもよい。
　また切り出し領域特定部６６が、切り出し領域５６の位置とカメラの光軸の向きとの対応関係、あるいは、切り出し領域５６の位置とユーザの視線方向との対応関係を示すデータを保持するようにしてもよい。そして切り出し領域特定部６６が、視線方向又はカメラ部４２が備えるカメラの光軸の向きと、保持しているデータと、に基づいて、撮影画像５４内における切り出し領域５６の位置を特定してもよい。
　部分画像生成部６８は、本実施形態では例えば、部分画像５８を生成する。部分画像生成部６８は、例えば、撮影画像５４内から切り出し領域５６を占める画像を部分画像５８として切り出すことで、部分画像５８を生成する。
　表示制御部７０は、本実施形態では例えば、カメラ部４２が備えるカメラが撮影する撮影画像５４から切り出される、カメラ部４２が備えるカメラの光軸の向きに応じた一部である部分画像５８を表示部３６に表示させる。表示制御部７０は、本実施形態では、部分画像生成部６８が生成する部分画像５８を表示部３６に表示させる。なお、上述のように、カメラの光軸の向きが変化した際に、撮影画像５４内における部分画像５８が切り出される切り出し領域５６の位置は、カメラの光軸が変化した向きとは逆の向きに変化するようにしてもよい。また上述のように、表示制御部７０が、ユーザの視線方向上の位置にカメラの光軸上の被写体の像が表示されるよう制御してもよい。
　ここで、本実施形態に係るＨＭＤ１２において所定のフレームレートで行われる表示制御処理の流れの一例を、図１１に例示するフロー図を参照しながら説明する。なお以下の説明では、左目用の画像である部分画像５８を所定のフレームレートで表示部３６に表示させる処理の流れの一例について説明する。
　まず、検出部６０が、ユーザの左目の視線方向を検出する（Ｓ１０１）。
　そして、カメラ制御部６２が、Ｓ１０１に示す処理で検出された視線方向に基づいて、左目用カメラ４２ａの向きを決定する（Ｓ１０２）。
　そして、切り出し領域特定部６６が、Ｓ１０２に示す処理で決定された左目用カメラ４２ａの向きに基づいて、撮影画像５４内における切り出し領域５６の位置を特定する（Ｓ１０３）。
　そしてカメラ制御部６２が、Ｓ１０２に示す処理で決定された向きに向くよう左目用カメラ４２ａの向きを制御する（Ｓ１０４）。
　そして撮影画像生成部６４が、Ｓ１０３に示す処理で向きが制御された左目用カメラ４２ａが撮影する撮影画像５４を生成する（Ｓ１０５）。
　そして部分画像生成部６８が、Ｓ１０５に示す処理で撮影された撮影画像５４からＳ１０３に示す処理で特定された位置の切り出し領域５６を占める画像を部分画像５８として切り出すことで、部分画像５８を生成する（Ｓ１０６）。
　そして表示制御部７０が、Ｓ１０６に示す処理で生成された部分画像５８を表示部３６に表示させる（Ｓ１０７）。
　そして本処理例では、上述したように、Ｓ１０１～Ｓ１０７に示す処理が所定のフレームレートで繰り返し実行されることとなる。
　また本処理例に示す処理と同様にして、右目用の画像である部分画像５８が所定のフレームレートで表示部３６に表示されることとなる。
　なお以上の説明では、左目用カメラ４２ａの向きと右目用カメラ４２ｂの向きは、独立に制御されることとしたが、左目用カメラ４２ａの向きと右目用カメラ４２ｂの向きが連動して制御されるようにしても構わない。
　なお所定のフレームレートで行われる表示制御処理の流れは、図１１に示すものに限定されない。例えば、Ｓ１０３に示す処理が、Ｓ１０４の処理とＳ１０５に示す処理の間や、Ｓ１０５に示す処理とＳ１０６に示す処理の間に実行されても構わない。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えばカメラ部４２が備えるカメラが撮影する撮影画像５４に所定の画像が含まれることが判定される場合に、カメラ制御部６２が、カメラの光軸の向きの制御を開始するようにしてもよい。この場合、カメラの光軸の向きの制御の開始に応じて、切り出し領域５６の位置の変化も併せて開始されることとなる。このようにすれば、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供されるか否かを撮影される画像に応じて制御できることとなる。
　具体的には例えば、公知の形状認識技術等により、撮影画像５４に本の像などといった所定の物体の像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。また例えば、公知の文字認識技術等により、撮影画像５４に所定数以上の文字の画像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。また例えば、撮影画像５４にスマートフォンの画像が含まれると判定された場合に、カメラ制御部６２がカメラの光軸の向きの制御を開始してもよい。人間は一般的に、スマートフォンを見る場合や本を読む場合などのように、文字を目で追う際には、頭部が動かず視線方向が激しく動く傾向にある。そのため以上のようにすると、ユーザの視線方向が激しく動く可能性が高い場合に、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。
　また例えば、ＨＭＤ１２を装着するユーザが下を向いたと判定された場合に、上述したカメラの光軸の向きの制御が開始されてもよい。こうすれば例えば本を読む場合やスマートフォンを見る場合などといったユーザが手元を見る場合に、ユーザの視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。
　ここで例えば、ＨＭＤ１２を装着するユーザが下を向いたことの判定は、カメラ部４２が撮影する撮影画像５４、又は、撮影画像５４とセンサ部４０の検出結果との組合せに基づいて行われるようにしてもよい。例えば、公知の画像解析技術によって撮影画像５４内において床の像が配置されている領域が特定されるようにしてもよい。そして撮影画像５４全体の面積に対する特定された領域の面積の比率が所定値よりも大きい際に、ＨＭＤ１２を装着するユーザが下を向いたと判定されてもよい。また例えば、移動・回転センサ４０ｂの計測結果に基づいて、ＨＭＤ１２を装着するユーザが下を向いたことの判定が行われるようにしてもよい。
　またＨＭＤ１２を装着するユーザが下を向いたことの判定は、カメラ２０ａが撮影する画像に基づいて行われるようにしても構わない。
　また例えば、視線センサ４０ａが、ユーザの視線方向がまっすぐ前よりも下を向いたことを検出した際、例えば水平方向に対して斜め下４５度よりも下を向いたことが検出された際に、カメラの光軸の向きの制御が開始されてもよい。こうすれば、ユーザの視線方向が下を向いた場合に、視線方向の変化に追従して鮮明な場所が変化する映像がユーザに提供できることとなる。
　また例えば、視線センサ４０ａが認識する虹彩に基づいて、ＨＭＤ１２を装着しているユーザが特定され、当該ユーザがＨＭＤ１２を装着したことがあるか否かが判定されるようにしてもよい。そして、特定されたユーザがＨＭＤ１２を装着したことがないと判定された場合は、当該ユーザについてのキャリブレーションが実行され、その結果が記憶部３２に記憶されるようにしてもよい。一方、特定されたユーザがＨＭＤ１２を装着したことがあると判定された場合は、再度のキャリブレーションが実行されることなく、記憶部３２に記憶されているキャリブレーションの結果が利用されるようにしてもよい。
　またＨＭＤ１２は例えば、視線センサ４０ａが検出する視線方向の解像度が高くなるような画像処理が実行された画像が表示部３６に表示されるようにしてもよい。
　またＨＭＤ１２とエンタテインメント装置１４の役割分担は上述のものに限定されない。例えば、エンタテインメント装置１４が撮影画像５４に基づいて部分画像５８を生成してもよい。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (7)

  1. 　ユーザが装着するヘッドマウントディスプレイであって、
    　前記ユーザの眼前に配置された表示部と、
    　前記表示部の前方を撮影するカメラと、
    　前記カメラの光軸の向きを制御するカメラ制御部と、
    　前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記表示部に表示させる表示制御部と、
    　を含むことを特徴とするヘッドマウントディスプレイ。
  2. 　前記ユーザの視線方向を検出する検出部、をさらに含み、
    　前記カメラ制御部は、前記ユーザの視線方向に応じて、前記カメラの光軸の向きを制御する、
    　ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
  3. 　前記カメラの光軸の向きが変化した際には、前記撮影画像内における前記部分画像が切り出される位置は、前記カメラの光軸が変化した向きとは逆の向きに変化する、
    　ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
  4. 　前記表示制御部は、前記ユーザの視線方向上の位置に前記カメラの光軸上の被写体の像が表示されるよう制御する、
    　ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
  5. 　前記カメラ制御部は、前記カメラが撮影する撮影画像に所定の画像が含まれる場合に前記カメラの光軸の向きの制御を開始する、
    　ことを特徴とする請求項１から４のいずれか一項に記載のヘッドマウントディスプレイ。
  6. 　ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御するステップと、
    　前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させるステップと、
    　を含むことを特徴とする表示制御方法。
  7. 　ユーザが装着するヘッドマウントディスプレイが備えるカメラの光軸の向きを制御する手順、
    　前記カメラが撮影する撮影画像から切り出される、前記カメラの光軸の向きに応じた一部である部分画像を前記ユーザの眼前に配置された表示部に表示させる手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2016/066792 2015-06-10 2016-06-06 ヘッドマウントディスプレイ、表示制御方法及びプログラム WO2016199731A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017523630A JP6348665B2 (ja) 2015-06-10 2016-06-06 ヘッドマウントディスプレイ、表示制御方法及びプログラム
US15/570,872 US10715735B2 (en) 2015-06-10 2016-06-06 Head-mounted display, display control method, and program
EP16807438.3A EP3310043A4 (en) 2015-06-10 2016-06-06 HEAD-MOUNTED DISPLAY, DISPLAY CONTROL METHOD AND PROGRAM
CN201680032213.XA CN107615759B (zh) 2015-06-10 2016-06-06 头戴式显示器、显示控制方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-117762 2015-06-10
JP2015117762 2015-06-10

Publications (1)

Publication Number Publication Date
WO2016199731A1 true WO2016199731A1 (ja) 2016-12-15

Family

ID=57504774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066792 WO2016199731A1 (ja) 2015-06-10 2016-06-06 ヘッドマウントディスプレイ、表示制御方法及びプログラム

Country Status (5)

Country Link
US (1) US10715735B2 (ja)
EP (1) EP3310043A4 (ja)
JP (1) JP6348665B2 (ja)
CN (1) CN107615759B (ja)
WO (1) WO2016199731A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2023149126A1 (ja) * 2022-02-04 2023-08-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2023167915A (ja) * 2022-05-13 2023-11-24 Ｎｅｃプラットフォームズ株式会社 情報処理装置、情報処理方法及びプログラム
US11953809B2 (en) 2019-06-11 2024-04-09 Sony Interactive Entertainment Inc. Camera support structure and head-mounted display

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
US11057614B1 (en) * 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
CN112462942B (zh) * 2020-12-01 2023-05-16 苏州椒图电子有限公司 一种可穿戴设备及其使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2008252711A (ja) * 2007-03-30 2008-10-16 Nikon Corp ディジタルカメラ
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205711A (ja) 2002-12-24 2004-07-22 Canon Inc 表示装置
FR2880762A1 (fr) * 2005-01-07 2006-07-14 France Telecom Terminal de visiophonie avec reglages intuitifs
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
JP5259172B2 (ja) * 2007-12-19 2013-08-07 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 手振れ補正制御回路およびそれを搭載した撮像装置
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US8896715B2 (en) * 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US10217264B2 (en) * 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
JP2012002889A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd シースルー型画像表示装置
TW201218761A (en) * 2010-10-27 2012-05-01 Hon Hai Prec Ind Co Ltd Image stabilization system and method
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
EP2819402A4 (en) * 2012-02-22 2016-02-24 Sony Corp DISPLAY DEVICE, IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND COMPUTER PROGRAM
JP5803784B2 (ja) 2012-03-30 2015-11-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
AU2013202775B2 (en) * 2012-06-01 2015-09-17 Ultradent Products, Inc. Stereoscopic video imaging
CA2820241C (en) * 2012-06-13 2020-01-14 Robert G. Hilkes An apparatus and method for enhancing human visual performance in a head worn video system
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
JP6115268B2 (ja) * 2013-04-05 2017-04-19 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
JP2015035039A (ja) * 2013-08-08 2015-02-19 ソニー株式会社 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム
JP2015066631A (ja) * 2013-09-27 2015-04-13 三菱マテリアル株式会社 硬質被覆層がすぐれた耐チッピング性を備える表面被覆切削工具
JP6176070B2 (ja) * 2013-11-13 2017-08-09 株式会社デンソー 視線方向検知装置
KR102268462B1 (ko) * 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9961213B2 (en) * 2014-01-28 2018-05-01 Beijing Lenovo Software Ltd. Electronic device and image capturing apparatus
WO2015127146A1 (en) * 2014-02-19 2015-08-27 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
JP6707809B2 (ja) * 2015-03-27 2020-06-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10491828B2 (en) * 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2008252711A (ja) * 2007-03-30 2008-10-16 Nikon Corp ディジタルカメラ
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3310043A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019029952A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7000066B2 (ja) 2017-08-03 2022-01-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11953809B2 (en) 2019-06-11 2024-04-09 Sony Interactive Entertainment Inc. Camera support structure and head-mounted display
WO2023149126A1 (ja) * 2022-02-04 2023-08-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP2023167915A (ja) * 2022-05-13 2023-11-24 Ｎｅｃプラットフォームズ株式会社 情報処理装置、情報処理方法及びプログラム
JP7420441B2 (ja) 2022-05-13 2024-01-23 Ｎｅｃプラットフォームズ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20180295290A1 (en) 2018-10-11
US10715735B2 (en) 2020-07-14
CN107615759B (zh) 2020-09-01
JP6348665B2 (ja) 2018-06-27
CN107615759A (zh) 2018-01-19
JPWO2016199731A1 (ja) 2017-09-28
EP3310043A1 (en) 2018-04-18
EP3310043A4 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6348665B2 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP6572893B2 (ja) 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
WO2016017062A1 (en) Information processing for motion sickness prevention in an image display system
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
CN104781873A (zh) 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序
WO2017051564A1 (ja) 情報処理装置
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
US20220335734A1 (en) Head-mounted display, display control method, and program
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
EP3346375B1 (en) Program, recording medium, content provision device, and control method
KR102195450B1 (ko) 줌 장치 및 관련된 방법
US20190114841A1 (en) Method, program and apparatus for providing virtual experience
KR20170089228A (ko) 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법
JP2016180955A (ja) ヘッドマウントディスプレイ、表示制御方法及び位置制御方法
US11287881B2 (en) Presenting images on a display device
KR101378407B1 (ko) 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
EP4120237A1 (en) Video recording and playback systems and methods
US20230118559A1 (en) Information processing apparatus and information processing method
KR101838501B1 (ko) 가상화면과 현실화면을 동시에 표시해주는 입체영상 에이치엠디 장치 및 이를 이용한 영상표시방법
WO2018101162A1 (ja) ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807438

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017523630

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15570872

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE