WO2015107817A1 - 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム - Google Patents

画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム Download PDF

Info

Publication number
WO2015107817A1
WO2015107817A1 PCT/JP2014/082900 JP2014082900W WO2015107817A1 WO 2015107817 A1 WO2015107817 A1 WO 2015107817A1 JP 2014082900 W JP2014082900 W JP 2014082900W WO 2015107817 A1 WO2015107817 A1 WO 2015107817A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewing angle
display device
image display
output device
Prior art date
Application number
PCT/JP2014/082900
Other languages
English (en)
French (fr)
Inventor
長谷川 雄一
鎌田 恭則
田中 英一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/031,351 priority Critical patent/US10437060B2/en
Priority to CA2928248A priority patent/CA2928248C/en
Priority to JP2015557741A priority patent/JPWO2015107817A1/ja
Priority to CN201480058413.3A priority patent/CN105684074B/zh
Priority to KR1020167009580A priority patent/KR102233223B1/ko
Priority to EP14878787.2A priority patent/EP3057089A4/en
Publication of WO2015107817A1 publication Critical patent/WO2015107817A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475Constructional details of television projection apparatus
    • H04N5/7491Constructional details of television projection apparatus of head mounted projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Definitions

  • the technology disclosed in this specification includes an image display device and an image display method for displaying an image provided from the image output device, an image output device and an image output method for providing an image to the image display device, and an image display device.
  • the present invention relates to an image display system including an image output device, and more particularly to an image display device and an image display method for displaying an image with a wide viewing angle, an image output device and an image output method, and an image display system.
  • An image display device that is worn on a head or a face and is used for viewing an image, that is, a head-mounted display is known.
  • a head-mounted display for example, an image display unit is arranged for each of the left and right eyes, and a user can observe a realistic image by forming an enlarged virtual image of the display image by a virtual image optical system.
  • Head-mounted displays are very popular. If mass production progresses in the future, it will become widespread like mobile phones, smartphones and portable game machines, and one person may have one head-mounted display.
  • VR sickness virtual reality
  • FOV Field of View
  • FPV first person view
  • VR sickness with a sickness response process that reduces the stimulus intensity of a virtual space video presented by the VR system in response to a VR sickness subjective input by the user or a user's VR sickness determination by physiological index measurement Proposals have been made for reduction methods.
  • An object of the technology disclosed in this specification is to provide an excellent image display device and image display method, an image output device and an image output method capable of displaying or outputting an image with a wide viewing angle while suppressing VR sickness, and
  • the object is to provide an image display system.
  • a display for displaying an image An attribute information storage unit that stores attribute information including attributes of image display in the display unit; A communication unit that communicates with the image output device; Comprising Transmitting the attribute information to the image output device, receiving an image converted by the image output device based on the attribute information, and displaying the image on the display unit; An image display device.
  • the image display device according to claim 1 is configured to be used by being mounted on the face or head of an observer who observes the image displayed by the display unit. Has been.
  • the display unit of the image display device includes a display panel that displays an image, and a virtual image optical unit that magnifies and projects the image displayed on the display panel. It has.
  • the attribute information storage unit of the image display device stores information on the first viewing angle of the image displayed by the display unit. Yes.
  • the information on the first viewing angle is transmitted to the image output device, and the image output device receives an image converted based on the first viewing angle and displays the image on the display unit. It is configured.
  • the image display device is based on the difference between the second viewing angle of the original image and the first viewing angle on the image output device side. An image obtained by converting the original image is received and displayed on the display unit.
  • the image display device when the second viewing angle is larger than the first viewing angle, the image output device performs the original display. An image obtained by cutting out the first viewing angle region from the image is received and displayed on the display unit.
  • the original image is output from the image output device. Is received and displayed on the display unit.
  • the image display device is configured to display an image received from the image output device in a relationship between the first viewing angle and the second viewing angle. Based on this, it is configured to display on the display unit.
  • the second viewing angle is larger than the first viewing angle, and the first viewing field is determined from the original image.
  • the image from which the corner area is cut out is configured to be displayed on the full screen on the display unit.
  • the image display apparatus is configured to display an image having the second viewing angle smaller than the first viewing angle on the display unit.
  • the surplus area is filled with black or a wallpaper is displayed.
  • the image display device is configured to display an image including the second viewing angle smaller than the first viewing angle up to the first viewing angle.
  • the image is stretched and displayed on the display unit.
  • the image display device receives an image having the second viewing angle smaller than the first viewing angle from the image output device.
  • it is configured to display on the display unit according to a method based on an instruction from the observer, attribute information of the observer, or an instruction added to the original image.
  • the technique according to claim 13 of the present application is Transmitting attribute information including image display attributes to the image output device; Receiving an image converted based on the attribute information from the image output device; Displaying the received image; Is an image display method.
  • a communication unit that communicates with the image display device; An image acquisition unit for acquiring an original image to be provided to the image display device; An image processing unit for processing the original image; Comprising Receiving attribute information including attributes of image display from the image display device, the image processing unit converts the original image based on the attribute information, and transmits the converted image to the image display device; An image output device.
  • the image output device receives information on a first viewing angle of an image displayed by the image display device, and the image processing unit The original image is converted based on the difference between the second viewing angle and the first viewing angle of the original image, and the converted image is transmitted to the image display device.
  • the image processing unit of the image output device according to claim 15 is configured such that the original viewing angle is larger when the second viewing angle is larger than the first viewing angle.
  • the first viewing angle region is cut out from the image.
  • the image processing unit of the image output device is configured such that when the first viewing angle is equal to or larger than the second viewing angle, the viewing angle is different.
  • the original image is not converted based on the above.
  • the image display device stores the attribute information in accordance with EDID (Extended Display Identification Data) or other predetermined data format.
  • EDID Extended Display Identification Data
  • the image output device according to claim 14 is configured to acquire the attribute information from the image display device via the communication unit according to a DDC (Display Data Channel) or other predetermined protocol.
  • DDC Display Data Channel
  • the technology described in claim 19 of the present application is: Obtaining an original image for provision to an image display device; Receiving attribute information including image display attributes from the image display device; Converting the original image based on the attribute information; Transmitting the converted image to the image display device; Is an image output method.
  • the technique described in claim 20 of the present application is: An image display device having attribute information including image display attributes; An image output device that outputs an image converted based on the attribute information acquired from the image display device to the image display device; Is an image display system.
  • system here refers to a logical collection of a plurality of devices (or functional modules that realize specific functions), and each device or functional module is in a single housing. It does not matter whether or not.
  • an image with a wide viewing angle can be displayed while suppressing VR sickness.
  • An excellent image display device and image display method, image output device and image output method, and image display system can be provided.
  • FIG. 1 is a diagram schematically illustrating a configuration example of an image display system 100 to which the technology disclosed in this specification is applied.
  • FIG. 2 is a diagram schematically showing the internal configuration of a device that functions as the image output device 200 in the image display system 100.
  • FIG. 3 is a diagram schematically illustrating an internal configuration of a device that functions as the image display device 300 in the image display system 100.
  • FIG. 4 is a diagram for explaining a process of matching the viewing angle FOV O of the image provided by the image output device 200 with the viewing angle FOV D observed by the user of the image display device 300.
  • FIG. 5 is a diagram for explaining a process of matching the viewing angle FOV O of the image provided by the image output device 200 with the viewing angle FOV D observed by the user of the image display device 300.
  • FIG. 6 is a diagram for explaining processing for displaying an image sent from the image output apparatus 200 on the image display apparatus 300 side.
  • FIG. 7 is a diagram for explaining processing for displaying an image sent from the image output device 200 on the image display device 300 side.
  • FIG. 8 is a diagram for explaining processing for displaying an image sent from the image output apparatus 200 on the image display apparatus 300 side.
  • FIG. 9 is a diagram illustrating an example of an operation sequence of the image display system 100 that transmits an image from the image output apparatus 200 and displays the image on the image display apparatus 300.
  • FIG. 10 is a flowchart showing the procedure of the image format conversion process executed in the image output apparatus 200 in SEQ903 in FIG.
  • FIG. 11 is a flowchart showing the procedure of the image display process executed in image display apparatus 300 in SEQ905 in FIG.
  • FIG. 12 is a diagram illustrating another operation sequence example of the image display system 100 that transmits an image from the image output device 200 and displays the image on the image display device 300.
  • FIG. 13 is a flowchart illustrating a procedure of distortion correction table switching and image conversion processing executed in the image output apparatus 200 in SEQ1203 in FIG.
  • FIG. 1 schematically shows a configuration example of an image display system 100 to which the technology disclosed in this specification is applied.
  • the illustrated image display system 100 includes an image output device 200 that provides an image to the image display device 300, and an image display device 300 that displays an image provided from the image output device 200, and an observer of the image display device 300. It is assumed that a wide viewing angle image is provided.
  • the image output device 200 serving as an image supply source includes an information terminal 200-1 such as a personal computer, a smartphone, and a tablet, a media playback device 200-2 that plays back images from media such as Blu-ray (registered trademark), and a set top.
  • An information terminal 200-1 such as a personal computer, a smartphone, and a tablet
  • a media playback device 200-2 that plays back images from media such as Blu-ray (registered trademark)
  • a set top such as Blu-ray (registered trademark)
  • a box or TV tuner 200-3 is assumed.
  • an image display device 300 that is an image providing destination
  • a display device that displays an image of its own viewpoint with a screen fixed to the face or head of the observer such as a head-mounted display or a head-up display.
  • a general display device such as a large screen display may be included in the image display device 300.
  • the image reproduction device 200 and the image display device 300 are, for example, cables 400-1 and 400- conforming to interface standards such as DVI (Digital Visual Interface), HDMI (registered trademark) (High Definition Multimedia interface), and Display port. 2 and 400-3.
  • interface standards such as DVI (Digital Visual Interface), HDMI (registered trademark) (High Definition Multimedia interface), and Display port. 2 and 400-3.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • BLE Bluetooth (registered trademark) Low Energy
  • wireless communication such as communication.
  • the image output device 200 and the image display device 300 may be interconnected using both wired and wireless.
  • uncompressed image data is transmitted from the image playback device 200 to the image display device 300.
  • image data is transmitted from the image reproduction device 200 to the image display device 300 in a compressed format according to an algorithm such as H264, VC1, MPEG (Moving Picture Experts Group) 2, JPEG (Joint Photographic Experts Group), etc.
  • an algorithm such as H264, VC1, MPEG (Moving Picture Experts Group) 2, JPEG (Joint Photographic Experts Group), etc.
  • H264 Joint Photographic Experts Group
  • MPEG Moving Picture Experts Group
  • JPEG Joint Photographic Experts Group
  • FIG. 2 schematically shows an internal configuration of a device that functions as the image output device 200 in the image display system 100.
  • the image output device 200 is a supplier of images to the image display device 300.
  • the information terminal 200-1 such as a personal computer, a smartphone, or a tablet, or Blu-ray (registered trademark) is used.
  • An image reproducing apparatus 200-2 for reproducing an image from a medium such as a set top box or a TV tuner 200-3 is assumed.
  • the image output apparatus 200 shown in FIG. 2 includes a control unit 201, an attribute information storage unit 202, an image acquisition unit 203, an image processing unit 204, and a communication unit 205.
  • the control unit 201 includes, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and comprehensively controls operations in the image output apparatus 200.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the attribute information storage unit 202 is configured by a nonvolatile memory such as an EEPROM (Electrically Erasable Programmable ROM), and stores attribute information.
  • the attribute information includes image resolution and frame rate handled by the image output device 200, manufacturer identification information (VendorID), product identification information (ProductID), and the like.
  • EDID Extended Display Identification Data
  • the attribute information related to image display includes the viewing angle (FOV O ) of the original image sent from the image output apparatus 200 to the image display apparatus 300.
  • Attribute information related to image display ⁇ Resolution ⁇ Image shape and aspect ratio ⁇ Frame rate (frequency) -Viewing angle (both eyes, one eye, including overlap) -Distortion information-Interocular distance and visual acuity-Color gamut, brightness, gamma-Whether the image is stretched when the field of view of the original image and the field of view observed by the image display device 300 are different-Information about text display-Display position, Area, font, size, color, ... ⁇ Delay time from signal input to display (not limited to video) (2) Attribute information related to audio output-Either headphones or speakers-Number of headphones or speakers
  • the image acquisition unit 203 acquires image data to be provided to the image display device 300.
  • the image output device 200 is an information terminal such as a personal computer, a smartphone, or a tablet
  • the image acquisition unit 203 receives image content by streaming or the like from a content server on the Internet, for example.
  • the image output device 200 is a media playback device such as Blu-ray (registered trademark)
  • the image acquisition unit 203 reads image data from the media.
  • the image output apparatus 200 is a set top box or a TV tuner
  • the image acquisition unit 203 selects and receives broadcast content.
  • the viewing angle of the original image acquired by the image acquisition unit 203 for provision to the image display device 300 is hereinafter referred to as FOV O.
  • the image processing unit 204 performs a process of converting the image data into a format suitable for displaying the image data acquired by the image acquisition unit 203 on the image display device 300. As the conversion processing here, the viewing angle is adjusted, and details thereof will be described later.
  • the communication unit 205 transmits the image data processed by the image processing unit 204 to the image display device 300 via the cable 400.
  • the configuration of the communication unit 205 is arbitrary.
  • the communication unit 205 can be configured according to a communication protocol applied to communication with the image display apparatus 300 that is a communication partner.
  • it is assumed that the communication unit 205 is configured in accordance with interface standards such as DVI, HDMI (registered trademark), and display port.
  • FIG. 3 schematically shows an internal configuration of a device that functions as the image display device 300 in the image display system 100.
  • the image display device 300 displays the image provided from the image output device 200, but the screen is fixed to the face or head of the observer like a head-mounted display or a head-up display. It is assumed that the display device displays an image of its own viewpoint.
  • the control unit 301 includes a ROM (Read Only Memory) 301A and a RAM (Random Access Memory) 301B.
  • the ROM 301A stores program codes executed by the control unit 301 and various data.
  • the control unit 301 executes the program loaded to the RAM 301B, thereby starting the image display control and comprehensively controlling the operation of the entire image display apparatus 300.
  • Examples of programs and data stored in the ROM 301A include an image display control program such as reproduction of moving image content, and a communication control program that communicates with an external device such as the image output device 200 that is an image provider according to a predetermined communication protocol. it can.
  • the input operation unit 302 includes one or more operators (none of which are shown) that the user performs input operations, such as keys, buttons, and switches, accepts user instructions via the operators, and outputs them to the control unit 301. To do. Further, the input operation unit 302 receives a user instruction including a remote control command received by the remote control reception unit 303 and outputs it to the control unit 301.
  • the status information acquisition unit 304 is a functional module that acquires status information of the image display device 300 main body or a user (an observer of the display image) wearing the image display device 300.
  • the state information acquisition unit 304 may be equipped with various sensors for detecting state information by itself, or an external device (for example, a user wears a part or all of these sensors).
  • the status information may be acquired via a communication unit 305 (described later) from a smartphone, a wristwatch, or another multifunction terminal. Further, the attribute information may be directly designated or input by the user.
  • the status information acquisition unit 304 acquires, for example, information on the position and posture of the user's head or information on the posture in order to track the user's head movement.
  • the state information acquisition unit 304 is, for example, a sensor that can detect a total of nine axes including a three-axis gyro sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor.
  • the state information acquisition unit 304 may use any one or more sensors such as a GPS (Global Positioning System) sensor, a Doppler sensor, an infrared sensor, and a radio wave intensity sensor.
  • the state information acquisition unit 304 acquires information provided from various infrastructures such as mobile phone base station information and PlaceEngine (registered trademark) information (electrical measurement information from a wireless LAN access point) for acquiring position and orientation information. Further, it may be used in combination.
  • the state acquisition unit 304 for tracking the head movement is built in a head-mounted display as the image display device 300, but accessory parts attached to the head-mounted display, etc. You may make it comprise.
  • the externally connected state acquisition unit 304 expresses the posture information of the head in the form of a rotation matrix, for example, wireless communication such as Bluetooth (registered trademark) communication, or USB (Universal Serial Bus). Send to the head-mounted display via high-speed wired interface.
  • the state information acquisition unit 304 may include, for example, the user's work state (the head mounted display 100's) as the state information of the user wearing the image display device 300. Wearing state), user action state (moving state such as stationary, walking, running, etc., hand / fingertip gesture, eyelid opening / closing state, gaze direction, pupil size), mental state (user observing display image) Or the like), visual acuity (diopter), and physiological state.
  • the state information acquisition unit 304 acquires the state information from the user by using a mounting sensor such as a mechanical switch, an inner camera that captures the face of the user, a gyro sensor, an acceleration sensor, a speed sensor, and a pressure sensor.
  • a mounting sensor such as a mechanical switch, an inner camera that captures the face of the user, a gyro sensor, an acceleration sensor, a speed sensor, and a pressure sensor.
  • Temperature sensor to detect body temperature or temperature sweat sensor, pulse sensor, myoelectric sensor, electro-oculogram sensor, electroencephalogram sensor, breath sensor, gas / ion concentration sensor, etc., various timers (not shown) You may have.
  • the communication unit 305 performs communication processing with an external device, modulation / demodulation of communication signals, and encoding / decoding processing.
  • An example of the external device is an image output device 200 that supplies an image.
  • the control unit 301 transmits transmission data to the external device from the communication unit 305.
  • the configuration of the communication unit 305 is arbitrary.
  • the communication unit 305 can be configured according to a communication protocol applied to communication with the image output apparatus 200 that is a communication partner. In the present embodiment, it is assumed that the communication unit 305 is configured in accordance with an interface standard such as DVI, HDMI (registered trademark), or Display port.
  • the attribute information storage unit 306 is configured by a nonvolatile memory such as an EEPROM (Electrically Erasable Programmable ROM), and stores attribute information.
  • the attribute information includes the resolution and frame rate when the image display apparatus 300 displays an image, manufacturer identification information (VendorID), product identification information (ProductID), and the like.
  • VendorID manufacturer identification information
  • ProductID product identification information
  • EDID can be used as a file format for storing such attribute information, it is not particularly limited to this.
  • the EDID is expanded to include attribute information related to image display, attribute information related to audio output, attribute information about the user of the image display device 200, and the image display device 200 as described below. It is assumed that attribute information related to the sensor included in is stored in the attribute information storage unit 306. As attribute information related to image display, the viewing angle (FOV D ) of an image displayed by the image display device 300 is also included in the attribute information.
  • attribute information related to image display the viewing angle (FOV D ) of an image displayed by the image display device 300 is also included in the attribute information.
  • Attribute information related to image display ⁇ Resolution ⁇ Image shape and aspect ratio ⁇ Frame rate (frequency) -Viewing angle (both eyes, one eye, including overlap) -Distortion information-Interocular distance, visual acuity / color gamut, brightness, gamma-Whether the image is stretched when the field of view of the original image and the field of view observed by the image display device 300 are different-Information about text display-Display position, Area, font, size, color, ...
  • the image processing unit 307 further performs signal processing such as image quality correction on the image signal output from the control unit 301 and converts the image signal to a resolution that matches the screen of the display unit 309.
  • the display driving unit 308 sequentially selects the pixels of the display unit 309 for each row and performs line sequential scanning, and supplies a pixel signal based on the image signal subjected to signal processing.
  • the display unit 309 includes a display panel (not shown) configured by a laser scanning display such as an organic EL (Electro-Luminescence) element, a micro display such as a liquid crystal display, or a retina direct drawing display.
  • a laser scanning display such as an organic EL (Electro-Luminescence) element
  • a micro display such as a liquid crystal display, or a retina direct drawing display.
  • the virtual image optical unit 310 enlarges and projects the display image of the display unit 309 and causes the user to observe it as an enlarged virtual image.
  • the virtual image optical unit 310 enlarges and projects the display image of the display unit 309 and causes the user to observe it as an enlarged virtual image having an appropriate angle of view.
  • the virtual image optical unit 310 includes a wide-field optical system, for example, forms an enlarged virtual image with an angle of view of 45 degrees on the user's pupil (see, for example, Patent Document 1) so as to be viewed at the best seat in the movie theater. Reproduce a realistic sensation.
  • the viewing angle of the enlarged virtual image observed by the user is assumed to be FOV D.
  • the sound processing unit 311 further performs signal processing such as sound quality correction, sound amplification, and input sound signal on the sound signal output from the control unit 301.
  • the voice input / output unit 312 outputs the voice after voice processing to the outside and inputs voice from a microphone (not shown).
  • the outer camera 313 is arranged, for example, in the center of the front surface of the head mounted display 100 (not shown), and can capture a surrounding image. More preferably, the outer camera 313 is composed of a plurality of cameras so that the three-dimensional information of the surrounding image can be acquired using the parallax information. In addition, even with one camera, shooting is performed while moving the camera using SLAM (Simultaneous Localization and Mapping) image recognition, and parallax information is calculated using a plurality of frame images that move in time (for example, (See Patent Document 2), and the three-dimensional information of the surrounding image can be acquired from the calculated parallax information.
  • SLAM Simultaneous Localization and Mapping
  • the following can be illustrated as a method of acquiring the visual acuity information in the state information acquisition unit 304.
  • the user inputs manually.
  • Input information model number, etc. relating to a vision correction lens prepared in advance by the user and collate with a separately prepared database.
  • Information such as the model number of the vision correction lens is not manually input by the user, but is read by the state information acquisition unit 304 as information written on the lens side. Information can be written and read by mechanical (notch shape, number, etc.), electrical, optical (barcode pattern, etc.) methods.
  • Calibration is performed with the lens mounted, diopter is estimated, and a distortion correction table is created. Display a known calibration pattern such as a square lattice on the display panel, capture it with a camera placed at the user's eyeball position, obtain a distortion pattern, and calculate the inverse mapping to obtain an appropriate distortion correction table. Create
  • a lens attachment can be used to correct the user's diopter.
  • the state information acquisition unit 304 automatically identifies the presence and type of the lens attachment by other means such as mechanical, electrical, and optical, and acquires information on the user's diopter, An appropriate distortion correction table according to the degree may be selected. The user can set the diopter information by himself to obtain the same effect.
  • the viewing angle of the image provided by the image output device 200 and the user of the image display device 300 observe the image.
  • the discrepancy with the viewing angle is considered to be the main cause of VR sickness.
  • Distortion remains, and VR sickness is likely to occur.
  • attribute information including information related to image display is exchanged between the image output device 200 and the image display device 300, and the image output device 200 displays an image on the image display device 300 side.
  • VR sickness is prevented by outputting an image converted into a format suitable for the above.
  • the image conversion process is performed by the image processing unit 204 in the image output apparatus 200.
  • the image format conversion includes, for example, processing for matching the viewing angle FOV O of the image provided by the image output device 200 with the viewing angle FOV D observed by the user of the image display device 300.
  • the image output device 200 cuts out the region 42 of the viewing angle FOV D from the original image 41 and sends it to the image display device 300.
  • the image output apparatus 200 sends the original image 51 to the image display apparatus 300 as it is.
  • the viewing angle FOV O of the original image provided from the image output device 200 is larger than the viewing angle FOV D of the image observed by the user wearing the image display device 300 (FOV O > FOV D ).
  • FOV D the viewing angle of the image observed by the user wearing the image display device 300.
  • FOV T the viewing angle of the image observed by the user of the image display device 300.
  • FOV D the image 61 sent from the image output device 200 is displayed on the display panel 309 in full screen as shown in FIG.
  • the surplus area 72 when the transmitted image 71 of the viewing angle FOV T is displayed in the range of the viewing angle FOV D is displayed in black as shown in FIG. You may make it fill or display a wallpaper.
  • the transmitted image 81 of the viewing angle FOV T is enlarged to the viewing angle FOV D indicated by the reference numeral 82 and displayed on the display panel 309.
  • a processing method when the transmitted image of the viewing angle FOV T is displayed in the range of the viewing angle FOV D (as shown in FIG. 7, the surplus area is filled in black or wallpaper is displayed, or FIG. Whether the image of the viewing angle FOV T that has been transmitted as shown in FIG. 5 is enlarged to the viewing angle FOV D for display may be specified by the user from the input operation unit 302 or the like, or the image display device 300 may be designated. May be automatically selected based on user attribute information. Alternatively, a processing method may be defined in the metadata of the original image.
  • the image output device 200 and the image display device are used. It is necessary to exchange attribute information stored in the mutual attribute information storage units 202 and 306 among the 300.
  • DDC Display Data Channel
  • attribute information may be exchanged using this protocol.
  • the exchange of the attribute information is not limited to the DDC, and the attribute information may be exchanged via the cable 400 using another protocol.
  • FIG. 9 shows an operation sequence example of the image display system 100 in which an image is transmitted from the image output device 200 and displayed on the image display device 300.
  • the image display apparatus 300 When the image display apparatus 300 is connected to the image output apparatus 200 using the cable 400 of DVI, HDMI (registered trademark), or Display port, power is supplied to the image display apparatus 300 via the cable 400 (SEQ901). The display device 300 is activated.
  • the image output apparatus 200 acquires attribute information related to image display such as the viewing angle FOV D observed by the user, the screen shape of the display panel 309, and the resolution from the image display apparatus 300 (SEQ902).
  • Attribute information relating to image display is stored in the attribute information storage unit 306 in the image display device 300.
  • the attribute information is described in, for example, EDID format, and the image output apparatus 200 can acquire necessary attribute information according to, for example, the DDC protocol.
  • the file format for describing the attribute information is not limited, and the image output apparatus 200 may acquire the attribute information using another protocol.
  • the image output device 200 performs image format conversion processing to be provided to the image display device 300 by the image processing unit 204 based on the attribute information acquired from the image display device 300 (SEQ903). Then, the image output apparatus 200 sends the image after the format conversion process to the image display apparatus 300 (SEQ904).
  • the image display device 300 performs processing corresponding to the format on the image received from the image output device 200 and displays the image on the display panel 309 (SEQ905).
  • FIG. 10 shows, in the form of a flowchart, the procedure of image format conversion processing executed in the image output apparatus 200 in SEQ903 in FIG.
  • the image format conversion is a process for matching the viewing angle FOV O of the image provided by the image output apparatus 200 with the viewing angle FOV D observed by the user of the image display apparatus 300, and is executed by the image processing unit 204. To do.
  • the viewing angle FOV D observed by the user of the image display device 300 is acquired from the image display device 300 via the communication unit 205 (step S1001). Then, the image processing unit 204 compares the viewing angle FOV O of the image provided by the image output device 200 with the viewing angle FOV D observed by the user of the image display device 300 (step S1002).
  • step S1003 When the viewing angle FOV O of the original image provided from the image output device 200 is larger than the viewing angle FOV D of the image observed by the user wearing the image display device 300 (Yes in step S1002), the image processing unit 204 Then, a region of the viewing angle FOV D is cut out from the original image (step S1003).
  • the image processing unit 204 Does not process the original image.
  • the image is sent from the communication unit 205 to the image display device 300 via the cable 400 (step S1004).
  • FIG. 12 shows another operation sequence example of the image display system 100 in which an image is sent from the image output device 200 and displayed on the image display device 300.
  • the image display apparatus 300 When the image display apparatus 300 is connected to the image output apparatus 200 using the cable 400 of DVI, HDMI (registered trademark), or Display port, power is supplied to the image display apparatus 300 via the cable 400 (SEQ1201). The display device 300 is activated.
  • the image display apparatus 300 transmits the information of the user's visual acuity (diopter) acquired by the state information acquisition unit 304 to the image output apparatus 200 (SEQ1202).
  • the method for acquiring information on visual acuity has already been described.
  • the image output device 200 switches the distortion correction table according to the visual acuity information acquired from the image display device 300, and the image processing unit 204 performs conversion processing of an image provided to the image display device 300 based on the distortion correction table. (SEQ1203).
  • the image output device 200 sends the converted image to the image display device 300 (SEQ1204), and the image display device 300 displays the image received from the image output device 200 on the display panel 309 (SEQ1205).
  • FIG. 13 shows, in the form of a flowchart, the procedure of distortion correction table switching and image conversion processing executed in the image output apparatus 200 in SEQ1203 in FIG.
  • step S1302 When the user's visual acuity information can be acquired from the image display device 300 (Yes in step S1301), a distortion correction table corresponding to the visual acuity information is read (step S1302). Then, image conversion processing is performed using the read distortion correction table (step S1303), and the converted image is sent to the image display device 300 (step S1304).
  • the image output device 200 transmits an image to the image display device 300 without performing a conversion process according to the user's visual acuity. It is sent out (step S1304).
  • a head-mounted display applied as the image display device 300 is usually equipped with an eyepiece (such as the virtual image optical unit 310 in FIG. 3).
  • the distortion correction table includes information for canceling the distortion of the entire synthetic optical system, which includes distortion caused by the eyepiece lens of the head mounted display and distortion caused by the additional lens.
  • a distortion correction table that corrects only the distortion caused by the eye-mounted lens of the head-mounted display. What is necessary is just to make it process.
  • a distortion correction table for distortion caused by the eyepiece lens of the head-mounted display and a distortion correction table for distortion caused by the vision correction glasses are stored separately, and appropriate for image conversion processing.
  • a combination of distortion correction tables may be read and image conversion processing may be performed using a distortion correction table obtained by combining these.
  • FIG. 11 shows, in the form of a flowchart, the procedure of image display processing executed in the image display device 300 in SEQ905 in FIG. 9 (or SEQ1205 in FIG. 12).
  • the illustrated process is executed by the control unit 301 or the image processing unit 307.
  • the viewing angle FOV O of the image provided by the image output device 200 is acquired from the image output device 200 via the communication unit 305 (step S1101).
  • information indicating what format conversion processing is applied to the output image may be acquired.
  • the viewing angle FOV O of the original image provided from the image output device 200 is compared with the viewing angle FOV D of the image observed by the user wearing the image display device 300 (step S1102).
  • the image output device 200 When the viewing angle FOV O of the original image provided from the image output device 200 is larger than the viewing angle FOV D of the image observed by the user wearing the image display device 300 (Yes in step S1102), the image output device 200 It is understood that the region of the viewing angle FOV D is cut out from the original image and transmitted, that is, the viewing angle FOV T of the transmitted image is equal to the viewing angle FOV D of the image observed by the user of the image display device 300. . Therefore, as illustrated in FIG. 6, the control unit 301 instructs the image processing unit 307 to display the image sent from the image output apparatus 200 on the display panel 309 as it is (step S1103).
  • the control unit 301 instructs the image processing unit 307 to execute the process designated by the user, the process automatically selected by the image display apparatus 300, or the process designated by the current image. Then, the image processed by the image processing unit 307 is displayed on the display panel 309 (step S1104).
  • step S1104 the image processing unit 307 fills a surplus area when the transmitted image of the viewing angle FOV T is displayed in the range of the viewing angle FOV D with black or wallpaper. Is displayed.
  • the image processing unit 307 enlarges the transmitted image of the viewing angle FOV T to the viewing angle FOV D and displays it on the display panel 309.
  • the image display system 100 As described above, according to the image display system 100 according to the present embodiment, a mismatch between the viewing angle FOV O of the image provided on the image output apparatus 200 side and the viewing angle FOV D of the image displayed on the image display apparatus 300 is corrected. As a result, it is possible to display an image of one's own viewpoint or an image with a wide viewing angle while suppressing VR sickness.
  • the user does not need to perform an operation of checking the viewing angle FOV D of the image display device 300 that he / she wears and setting it in the image output device 200, and always appropriately selects an image sent from the image output device 200. You can watch with a wide viewing angle. As a result, the VR sickness of the user can be greatly reduced.
  • an image that is corrected so as to cancel both the distortion caused by the eyepiece mounted in the image display apparatus 300 and the distortion caused by the eyesight correction glasses is output as an image.
  • the image display device 300 By providing the image display device 300 on the device 200 side, it is possible to display a self-viewpoint image or a wide viewing angle image while suppressing VR sickness.
  • the embodiment in the case where the image display device 300 is configured as a head-mounted display has been mainly described, but the gist of the technology disclosed in the present specification is not limited to this. Even if the image display device 300 is various display devices such as a head-up display and a large screen display, the technology disclosed in the present specification can be similarly applied.
  • a display unit for displaying an image An attribute information storage unit that stores attribute information including attributes of image display in the display unit; A communication unit that communicates with the image output device; Comprising Transmitting the attribute information to the image output device, receiving an image converted by the image output device based on the attribute information, and displaying the image on the display unit; Image display device.
  • the display unit includes a display panel that displays an image, and a virtual image optical unit that enlarges and projects the image displayed on the display panel.
  • the attribute information storage unit stores information on a first viewing angle of an image displayed by the display unit, Transmitting the first viewing angle information to the image output device, receiving the image converted by the image output device based on the first viewing angle, and displaying the image on the display unit;
  • An image obtained by converting the original image based on the difference between the second viewing angle of the original image and the first viewing angle on the image output device side is received and displayed on the display unit.
  • the image output device receives an image obtained by cutting out the region of the first viewing angle from the original image, and the display To display
  • the original image is received from the image output device and displayed on the display unit.
  • An image received from the image output device is displayed on the display unit based on a relationship between the first viewing angle and the second viewing angle.
  • the image display device according to (5) above. (9)
  • the second viewing angle is larger than the first viewing angle, and an image obtained by cutting out the region of the first viewing angle from the original image is displayed on the full screen on the display unit.
  • the image display device according to (8) above. (10) When an image having the second viewing angle smaller than the first viewing angle is displayed on the display unit, a surplus area is filled with black or wallpaper is displayed.
  • An image composed of the second viewing angle smaller than the first viewing angle is extended to the first viewing angle and displayed on the display unit.
  • (12) When an image having the second viewing angle smaller than the first viewing angle is received from the image output device, it is added to the instruction from the observer, the attribute information of the observer, or the original image. Display on the display unit according to a method based on the received instructions, The image display device according to (8) above.
  • An image display method comprising: (14) a communication unit that communicates with the image display device; An image acquisition unit for acquiring an original image to be provided to the image display device; An image processing unit for processing the original image; Comprising Receiving attribute information including attributes of image display from the image display device, the image processing unit converts the original image based on the attribute information, and transmits the converted image to the image display device; Image output device.
  • Information on a first viewing angle of an image displayed by the image display device is received, and the image processing unit is based on a difference between the second viewing angle of the original image and the first viewing angle.
  • the image processing unit cuts out the region of the first viewing angle from the original image when the second viewing angle is larger than the first viewing angle.
  • the image processing unit does not perform conversion of an original image based on a difference in viewing angle when the first viewing angle is equal to or larger than the second viewing angle.
  • the image display device stores the attribute information according to EDID or other predetermined data format, Acquiring the attribute information from the image display device via the communication unit according to DDC or other predetermined protocol; The image output apparatus according to (14) above.
  • An image output method comprising: (20) an image display device having attribute information including image display attributes; An image output device that outputs an image converted based on the attribute information acquired from the image display device to the image display device;
  • An image display system comprising:
  • DESCRIPTION OF SYMBOLS 100 ... Image display system 200 ... Image output device 201 ... Control part, 202 ... Attribute information storage part, 203 ... Image acquisition part 204 ... Image processing part, 205 ... Communication part 300 ... Image display apparatus 301 ... Control part, 301A ... ROM , 301B ... RAM 302 ... Input operation unit 303 ... Remote control reception unit 304 ... Status information acquisition unit 305 ... Communication unit 306 ... Attribute information storage unit 307 ... Image processing unit 308 ... Display drive unit 309 ... Display unit 310 ... Virtual image optical unit 311 ... Audio processing unit, 312 ... Audio input / output unit, 313 ... Outside camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 VR酔いを抑制しながら広視野角の画像を表示する画像表示システムを提供する。画像出力装置(200)から提供する原画像の視野角FOVO の方が画像表示装置(300)を装着したユーザーが観察する画像の視野角FOVD よりも大きいときには、画像出力装置(200)は、原画像から視野角FOVD の領域を切り出して、画像表示装置(300)に送出する。また、画像表示装置(300)を装着したユーザーが観察する画像の視野角FOVD が画像出力装置(200)から提供する原画像の視野角FOVO 以上のときには、画像出力装置(200)は原画像をそのまま画像表示装置(300)に送出する。

Description

画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
 本明細書で開示する技術は、画像出力装置から提供される画像を表示する画像表示装置及び画像表示方法、画像表示装置に画像を提供する画像出力装置及び画像出力方法、並びに、画像表示装置と画像出力装置からなる画像表示システムに係り、特に、広視野角の画像を表示する画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システムに関する。
 頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、1人が1台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。
 大画面TVやヘッド・マウント・ディスプレイで画像を視聴する場合、視界の大部分をその画像が占めることになる。このような場合、ヴァーチャル・リアリティー(VR)酔いとも呼ばれる、酔いの症状が発生することが知られている。VR酔いの原因は、提供される画像の視野角(FOV:Field of View)と観察者が体感する視野角との不一致や、画像で提示される奥行き観察者が体感する奥行きとの不一致などとも言われている。とりわけ、ヘッド・マウント・ディスプレイのように、自分視点(First person View:FPV)の画像を観察する画像表示装置、あるいは、画面が観察者の顔に固定される画像表示装置の場合、VR酔いを起こし易い。
 例えば、利用者によるVR酔いの主観申告入力又は生理指標計測による利用者のVR酔い判定に応じて、VRシステムによって提示される仮想空間の映像の刺激強度を低下させる酔い対応過程を備えたVR酔い低減方法について提案がなされている。
 本明細書で開示する技術の目的は、VR酔いを抑制しながら広視野角の画像を表示又は出力することができる、優れた画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システムを提供することにある。
 本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
 画像を表示する表示部と、
 前記表示部における画像表示の属性を含む属性情報を記憶する属性情報記憶部と、
 画像出力装置と通信する通信部と、
を具備し、
 前記画像出力装置に前記属性情報を送信するとともに、前記画像出力装置が前記属性情報に基づいて変換した画像を受信して、前記表示部で表示する、
画像表示装置である。
 本願の請求項2に記載の技術によれば、請求項1に記載の画像表示装置は、前記表示部が表示する画像を観察する観察者の顔又は頭部に装着して用いられるように構成されている。
 本願の請求項3に記載の技術によれば、請求項2に記載の画像表示装置の前記表示部は、画像を表示する表示パネルと、前記表示パネルに表示した画像を拡大投影する虚像光学部を備えている。
 本願の請求項4に記載の技術によれば、請求項1に記載の画像表示装置の前記属性情報記憶部は、前記表示部が表示する画像が持つ第1の視野角の情報を記憶している。そして、前記画像出力装置に前記第1の視野角の情報を送信するとともに、前記画像出力装置が前記第1の視野角に基づいて変換した画像を受信して、前記表示部で表示するように構成されている。
 本願の請求項5に記載の技術によれば、請求項4に記載の画像表示装置は、前記画像出力装置側で原画像の第2の視野角と前記第1の視野角との相違に基づいて原画像を変換した画像を受信して、前記表示部で表示するように構成されている。
 本願の請求項6に記載の技術によれば、請求項5に記載の画像表示装置は、前記第2の視野角が前記第1の視野角よりも大きいときに、前記画像出力装置が前記原画像から前記第1の視野角の領域を切り出した画像を受信して、前記表示部で表示するように構成されている。
 本願の請求項7に記載の技術によれば、請求項5に記載の画像表示装置は、前記第1の視野角が前記第2の視野角以上のときに、前記画像出力装置から前記原画像を受信して、前記表示部で表示するように構成されている。
 本願の請求項8に記載の技術によれば、請求項5に記載の画像表示装置は、前記画像出力装置から受信した画像を、前記第1の視野角と前記第2の視野角の関係に基づいて前記表示部で表示するように構成されている。
 本願の請求項9に記載の技術によれば、請求項8に記載の画像表示装置は、前記第2の視野角が前記第1の視野角よりも大きく、前記原画像から前記第1の視野角の領域を切り出された画像を、前記表示部で全画面表示するように構成されている。
 本願の請求項10に記載の技術によれば、請求項8に記載の画像表示装置は、前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記表示部で表示するときに、余剰の領域を黒で塗り潰し又は壁紙を表示するように構成されている。
 本願の請求項11に記載の技術によれば、請求項8に記載の画像表示装置は、前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記第1の視野角まで引き伸ばして前記表示部で表示するように構成されている。
 本願の請求項12に記載の技術によれば、請求項8に記載の画像表示装置は、前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記画像出力装置から受信したときに、観察者からの指示、観察者の属性情報、又は原画像に付加された指示に基づいた方法に従って前記表示部で表示するように構成されている。
 また、本願の請求項13に記載の技術は、
 画像表示の属性を含む属性情報を画像出力装置に送信するステップと、
 前記属性情報に基づいて変換した画像を前記画像出力装置から受信するステップと、
 受信した画像を表示するステップと、
を有する画像表示方法である。
 また、本願の請求項14に記載の技術は、
 画像表示装置と通信する通信部と、
 前記画像表示装置に提供するための原画像を取得する画像取得部と、
 前記原画像を処理する画像処理部と、
を具備し、
 画像表示の属性を含む属性情報を前記画像表示装置から受信し、前記画像処理部が前記属性情報に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信する、
画像出力装置である。
 本願の請求項15に記載の技術によれば、請求項14に記載の画像出力装置は、前記画像表示装置が表示する画像が持つ第1の視野角の情報を受信し、前記画像処理部が前記原画像の第2の視野角と前記第1の視野角との相違に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信するように構成されている。
 本願の請求項16に記載の技術によれば、請求項15に記載の画像出力装置の前記画像処理部は、前記第2の視野角が前記第1の視野角よりも大きいときに、前記原画像から前記第1の視野角の領域を切り出すように構成されている。
 本願の請求項17に記載の技術によれば、請求項15に記載の画像出力装置の前記画像処理部は、前記第1の視野角が前記第2の視野角以上のときには、視野角の相違に基づく原画像の変換を行なわないように構成されている。
 本願の請求項18に記載の技術によれば、前記画像表示装置は前記属性情報をEDID(Extended Display Identification Data)又はその他の所定のデータ・フォーマットに従って記憶している。そして、請求項14に記載の画像出力装置は、DDC(Display Data Channel)又はその他の所定のプロトコルに従って前記通信部を介して前記画像表示装置から前記属性情報を取得するように構成されている。
 また、本願の請求項19に記載の技術は、
 画像表示装置に提供するための原画像を取得するステップと、
 画像表示の属性を含む属性情報を前記画像表示装置から受信するステップと、
 前記属性情報に基づいて前記原画像を変換するステップと、
 変換後の画像を前記画像表示装置に送信するステップと、
を有する画像出力方法である。
 また、本願の請求項20に記載の技術は、
 画像表示の属性を含む属性情報を持つ画像表示装置と、
 前記画像表示装置から取得した属性情報に基づいて変換した画像を前記画像表示装置に出力する画像出力装置と、
を具備する画像表示システムである。
 但し、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
 本明細書で開示する技術によれば、提供される画像の視野角と観察者が体感する視野角の不一致を補正することにより、VR酔いを抑制しながら広視野角の画像を表示することができる、優れた画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システムを提供することができる。
 また、本明細書で開示する技術によれば、画像出力装置側で提供する画像の視野角と画像表示装置が表示する画像の視野角の不一致を補正することにより、VR酔いを抑制しながら広視野角の画像を表示することができる、優れた画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システムを提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示した図である。 図2は、画像表示システム100において画像出力装置200として機能する装置の内部構成を模式的に示した図である。 図3は、画像表示システム100において画像表示装置300として機能する装置の内部構成を模式的に示した図である。 図4は、画像出力装置200が提供する画像の視野角FOVOと、画像表示装置300のユーザーが観察する視野角FOVDを一致させる処理を説明するための図である。 図5は、画像出力装置200が提供する画像の視野角FOVOと、画像表示装置300のユーザーが観察する視野角FOVDを一致させる処理を説明するための図である。 図6は、画像出力装置200から送られてきた画像を画像表示装置300側で表示する処理を説明するための図である。 図7は、画像出力装置200から送られてきた画像を画像表示装置300側で表示する処理を説明するための図である 図8は、画像出力装置200から送られてきた画像を画像表示装置300側で表示する処理を説明するための図である。 図9は、画像出力装置200から画像を送出して画像表示装置300で表示する画像表示システム100の動作シーケンス例を示した図である。 図10は、図9中のSEQ903で画像出力装置200において実行される、画像のフォーマット変換処理の手順を示したフローチャートである。 図11は、図9中のSEQ905で画像表示装置300において実行される画像の表示処理の手順を示したフローチャートである。 図12は、画像出力装置200から画像を送出して画像表示装置300で表示する画像表示システム100の他の動作シーケンス例を示した図である。 図13は、図12中のSEQ1203で画像出力装置200において実行される、歪み補正テーブルの切り替え及び画像変換の処理の手順を示したフローチャートである。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 図1には、本明細書で開示する技術を適用した画像表示システム100の構成例を模式的に示している。図示の画像表示システム100は、画像表示装置300に画像を提供する画像出力装置200と、画像出力装置200から提供される画像を表示する画像表示装置300で構成され、画像表示装置300の観察者に対して広視野角の画像を提供することを想定している。
 画像の供給元となる画像出力装置200は、パーソナル・コンピューターやスマートフォン、タブレットなどの情報端末200-1や、ブルーレイ(登録商標)などのメディアから画像を再生するメディア再生装置200-2、セットトップボックス若しくはTVチューナー200-3などを想定している。
 また、画像の提供先である画像表示装置300として、ヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイのように、画面が観察者の顔又は頭に固定され、自分視点の画像を表示する表示装置を想定している。勿論、大画面ディスプレイなど一般的な表示装置を画像表示装置300に含めることもできる。
 画像再生装置200と画像表示装置300とは、例えば、DVI(Digital Visual Interface)やHDMI(登録商標)(High Definition Multimedia Interface)、Display portのようなインターフェース規格に則ったケーブル400-1、400-2、400-3を介して相互接続されている。勿論、画像再生装置200と画像表示装置300間は、有線のケーブル400ではなく、Wi-Fi(登録商標)(Wireless Fidelity)やBluetooth(登録商標)通信、BLE(Bluetooth(登録商標) Low Energy)通信などの無線通信により相互接続されていてもよい。あるいは、有線と無線を併用して画像出力装置200と画像表示装置300を相互接続するようにしてもよい。
 本実施形態では、画像再生装置200から画像表示装置300へ、非圧縮の画像データが伝送されることを想定している。勿論、H264、VC1、MPEG(Moving Picture Experts Group)2、JPEG(Joint Photographic Experts Group)などのアルゴリズムに従って圧縮された形式で画像データを画像再生装置200から画像表示装置300へ伝送する場合であっても、同様に、本明細書で開示する技術を適用することができる。
 図2には、画像表示システム100において画像出力装置200として機能する装置の内部構成を模式的に示している。上述したように、画像出力装置200は、画像表示装置300への画像の供給元であり、本実施形態では、パーソナル・コンピューターやスマートフォン、タブレットなどの情報端末200-1や、ブルーレイ(登録商標)などのメディアから画像を再生する画像再生装置200-2、セットトップボックス若しくはTVチューナー200-3などを想定している。
 図2に示す画像出力装置200は、制御部201と、属性情報記憶部202と、画像取得部203と、画像処理部204と、通信部205を備えている。
 制御部201は、例えばCPU(Central Processing Unit)とRAM(Random Access Memory)とROM(Read Only Memory)などで構成され、画像出力装置200内の動作を統括的にコントロールする。
 属性情報記憶部202は、例えばEEPROM(Electrically Erasable Programmable ROM)などの不揮発性メモリーで構成され、属性情報を記憶する。属性情報として、画像出力装置200が扱う画像の解像度やフレームレート、製造業者識別情報(VendorID)、製品識別情報(ProductID)などを含む。このような属性情報を記憶するファイル・フォーマットとしてEDID(Extended Display Identification Data)を利用することができるが、特にこれに限定される訳ではない。
 本実施形態では、EDIDを拡張して、以下に挙げるような、画像出力装置200が扱う画像や音声に関する属性情報を属性情報記憶部202に記憶するものとする。画像表示に関する属性情報として、画像出力装置200が画像表示装置300に送出する原画像の視野角(FOVO)も含む点に十分留意されたい。
(1)画像表示に関する属性情報
 ・解像度
 ・画像の形状、アスペクト比
 ・フレームレート(周波数)
 ・視野角(両眼、片眼毎、オーバーラップ量を含む)
 ・歪み情報
 ・眼間距離や視力
 ・色域、輝度、ガンマ
 ・原画像の視野と画像表示装置300で観察する視野が異なるときに、画像を引き伸ばすか否か
 ・テキスト表示にまつわる情報
 ・表示位置、面積、フォント、サイズ、カラー、…
 ・信号入力から表示されるまでの遅延時間(映像だけに限らず)
(2)音声出力に関する属性情報
 ・ヘッドフォン又はスピーカーのいずれか
 ・ヘッドフォン又はスピーカーの数
 画像取得部203は、画像表示装置300に提供する画像データを取得する。画像出力装置200がパーソナル・コンピューターやスマートフォン、タブレットなどの情報端末の場合、画像取得部203は、例えばインターネット上のコンテンツ・サーバーなどから画像コンテンツをストリーミングなどにより受信する。また、画像出力装置200がブルーレイ(登録商標)などのメディア再生装置の場合には、画像取得部203は、メディアから画像データの読み出しを行なう。また、画像出力装置200がセットトップボックス若しくはTVチューナーの場合には、画像取得部203は、放送コンテンツを選局し、受信する。画像表示装置300に提供するために画像取得部203が取得した原画像の視野角を、以下ではFOVOとする。
 画像処理部204は、画像取得部203が取得した画像データを画像表示装置300で表示するのに適した形式に画像データを変換する処理を行なう。ここで言う変換処理として、視野角の調整を行なうが、その詳細については後述に譲る。
 通信部205は、画像処理部204で処理後の画像データを、ケーブル400を介して画像表示装置300に伝送する。通信部205の構成は任意である。例えば、通信相手である画像表示装置300との通信に適用する通信プロトコルに従って通信部205を構成することができる。本実施形態では、DVIやHDMI(登録商標)、Display portなどのインターフェース規格に則って通信部205を構成することを想定している。
 図3には、画像表示システム100において画像表示装置300として機能する装置の内部構成を模式的に示している。上述したように、画像表示装置300は、画像出力装置200から提供される画像を表示するが、ヘッド・マウント・ディスプレイやヘッド・アップ・ディスプレイのように、画面が観察者の顔又は頭に固定され、自分視点の画像を表示する表示装置を想定している。
 制御部301は、ROM(Read Only Memory)301AやRAM(Random Access Memory)301Bを備えている。ROM301A内には、制御部301で実行するプログラム・コードや各種データを格納している。制御部301は、RAM301Bへロードしたプログラムを実行することで、画像の表示制御を始め、画像表示装置300全体の動作を統括的にコントロールする。ROM301Aに格納するプログラムやデータとして、動画像コンテンツの再生など画像の表示制御プログラムや、画像提供元である画像出力装置200など外部機器と所定の通信プロトコルに従って通信する通信制御プログラムなどを挙げることができる。
 入力操作部302は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう1以上の操作子(いずれも図示しない)を備え、操作子を介したユーザーの指示を受け付けて、制御部301に出力する。また、入力操作部302は、リモコン受信部303で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部301に出力する。
 状態情報取得部304は、当該画像表示装置300本体、又は当該画像表示装置300を装着したユーザー(表示画像の観察者)の状態情報を取得する機能モジュールである。状態情報取得部304は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器(例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末)から通信部305(後述)を介して状態情報を取得するようにしてもよい。また、それらの属性情報をユーザーが直接指定若しくは入力できるようにしてもよい。
 状態情報取得部304は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部304は、例えば、3軸ジャイロ・センサー、3軸加速度センサー、3軸地磁気センサーの合計9軸を検出可能なセンサーとする。また、状態情報取得部304は、GPS(Global Positioning System)センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか1つ又は2以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部304は、位置姿勢情報の取得に、携帯電話基地局情報やPlaceEngine(登録商標)情報(無線LANアクセスポイントからの電測情報)など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図3に示す例では、頭部動作追跡のための状態取得部304は、画像表示装置300としてのヘッド・マウント・ディスプレイに内蔵されるが、ヘッド・マウント・ディスプレイに外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部304は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Bluetooth(登録商標)通信などの無線通信やUSB(Universal Serial Bus)のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ本体に送信する。
 また、状態情報取得部304は、上述したユーザーの頭部動作の追跡の他に、当該画像表示装置300を装着したユーザーの状態情報として、例えば、ユーザーの作業状態(ヘッド・マウント・ディスプレイ100の装着の有無)や、ユーザーの行動状態(静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小)、精神状態(ユーザーが表示画像を観察中に没入しているかなど)、視力(視度)、さらには生理状態を取得する。また、状態情報取得部304は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー(いずれも図示しない)を備えていてもよい。
 通信部305は、外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、画像を供給する画像出力装置200を挙げることができる。また、制御部301は、外部機器への送信データを通信部305から送出する。通信部305の構成は任意である。例えば、通信相手である画像出力装置200との通信に適用する通信プロトコルに従って通信部305を構成することができる。本実施形態では、DVIやHDMI(登録商標)、Display portなどのインターフェース規格に則って通信部305を構成することを想定している。
 属性情報記憶部306は、例えばEEPROM(Electrically Erasable Programmable ROM)などの不揮発性メモリーで構成され、属性情報を記憶する。属性情報として、画像表示装置300が画像を表示する際の解像度やフレームレート、製造業者識別情報(VendorID)、製品識別情報(ProductID)などを含む。このような属性情報を記憶するファイル・フォーマットとしてEDIDを利用することができるが、特にこれに限定される訳ではない。
 本実施形態では、EDIDを拡張して、以下に挙げるような、画像表示装置300が備える画像表示に関する属性情報や、音声出力に関する属性情報、画像表示装置200のユーザーの属性情報、画像表示装置200が備えるセンサーに関する属性情報を属性情報記憶部306に記憶するものとする。画像表示に関する属性情報として、画像表示装置300が表示する画像の視野角(FOVD)も属性情報に含むものとする。
(1)画像表示に関する属性情報
 ・解像度
 ・画像の形状、アスペクト比
 ・フレームレート(周波数)
 ・視野角(両眼、片眼毎、オーバーラップ量を含む)
 ・歪み情報
 ・眼間距離や視力
・色域、輝度、ガンマ
 ・原画像の視野と画像表示装置300で観察する視野が異なるときに、画像を引き伸ばすか否か
 ・テキスト表示にまつわる情報
 ・表示位置、面積、フォント、サイズ、カラー、…
 ・信号入力から表示されるまでの遅延時間(映像だけに限らず)
(2)音声出力に関する属性情報
 ・ヘッドフォン又はスピーカーのいずれか
 ・ヘッドフォン又はスピーカーの数
(3)ユーザーに関する属性情報
 ・眼間距離や視力
 ・聴力、耳の形状
 ・身長、体重、体型、歩き方
 ・ユーザー識別情報(暗号化された認識パスワード)
 ・VR酔いのし易さ
 ・年齢(子供には立体視出力しない、など)
(4)センサーに関する属性情報
 ・マイク、内側カメラ、外側カメラ、動きセンサー、アイトラッキング
 ・各センサーの有無、個数
 ・位置、方向、サンプリングレートや精度などの情報
 ・カメラ画角、フレームレート、明るさ、画素数、歪み、色、ガンマ、…
 ・頭以外のものの位置情報(手、足、腰、ガンコン、リモコン、…)
 ・マーカーでも画像認識でも方法は問わない
 画像処理部307は、制御部301から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部309の画面に合わせた解像度に変換する。そして、表示駆動部308は、表示部309の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
 表示部309は、例えば有機EL(Electro-Luminescence)素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネル(図示しない)を有する。
 虚像光学部310は、表示部309の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。虚像光学部310は、表示部309の表示画像を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させる。虚像光学部310は、広視野光学系を備え、例えば画角45度の拡大虚像をユーザーの瞳に結像し(例えば、特許文献1を参照のこと)、映画館の最も良い席で見るような臨場感を再現する。以下では、ユーザーが観察する拡大虚像の視野角を、FOVDとする。
 音声処理部311は、制御部301から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部312は、音声処理後の音声を外部出力、並びにマイクロフォン(図示しない)からの音声入力を行なう。
 外側カメラ313は、例えばヘッド・マウント・ディスプレイ100本体前面のほぼ中央に配置され(図示しない)、周囲画像を撮影することができる。外側カメラ313は、視差情報を利用して、周囲画像の3次元情報を取得できるように、外側カメラ313を複数台のカメラで構成することがより好ましい。また、1台のカメラでも、SLAM(Simultaneous Localization and Mapping)画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し(例えば、特許文献2を参照のこと)、算出した視差情報から周囲画像の3次元情報を取得することもできる。
 なお、状態情報取得部304において視力の情報を取得する方法として、以下を例示することができる。
(1)ユーザーが手動で入力する。
(2)ユーザーがあらかじめ準備した視力矯正用レンズに関する情報(型番など)を入力し、別途用意されたデータベースと照合する。
(3)視力矯正用レンズの型番などの情報をユーザーが手動で入力するのではなく、レンズ側に書き込まれている情報として、状態情報取得部304が読み取る。機械的(切り欠きの形や個数など)、電気的、光学的(バーコードのパターンなど)な方法で情報の書き込み並びに読み取りを行なうことができる。
(4)レンズを装着した状態でキャリブレーションを行ない、視度を推定したり、歪み補正テーブルを作成したりする。ディスプレイ・パネルに正方格子など既知のキャリブレーション・パターンを表示し、それをユーザーの眼球位置においたカメラで撮影することでひずみパターンを取得し、その逆写像を計算することにより適切な歪み補正テーブルを作成する。
 また、ユーザーの視度を矯正するためにレンズ・アタッチメントを用いることができる。この際、状態情報取得部304が機械的、電気的、光学的なその他の手段によりレンズ・アタッチメントの存在とその種別を自動的に識別し、ユーザーの視度に関する情報を取得することで、視度に応じた適切な歪み補正テーブルを選択するようにしてもよい。ユーザーがそれらの視度情報を自ら設定することで、同等の効果を得ることもできる。
 画像表示装置300で広視野角の画像を提示する場合、画像を観察するユーザーがVR酔いを起こすことが懸念される。特に、画像表示装置300がヘッド・マウント・ディスプレイのように、画面がユーザーの顔に固定され、自分視点の画像を観察するように構成されている場合には、VR酔いを起こし易い。
 VR酔いの原因はさまざまである。図1に示したように画像出力装置200と画像表示装置300で構成される画像表示システム100の場合には、画像出力装置200が提供する画像の視野角と、画像表示装置300のユーザーが観察する視野角との不一致が、VR酔いを起こす主な原因と考えられる。画像出力装置200が提供する広い範囲の画像を画像表示装置300側で狭い視野で観察するときや、画像出力装置200が提供する狭い範囲の画像を画像表示装置300側で広い視野で観察するときには、歪みが残り、VR酔いを起こし易い。
 そこで、本実施形態に係る画像表示システム100では、画像出力装置200と画像表示装置300の間で画像表示に関する情報を含む属性情報をやり取りし、画像出力装置200が画像表示装置300側の画像表示に適したフォーマットに変換した画像を出力することにより、VR酔いを防止するようにしている。画像の変換処理は、画像出力装置200内の画像処理部204で行なわれる。
 画像のフォーマット変換は、例えば、画像出力装置200が提供する画像の視野角FOVOと、画像表示装置300のユーザーが観察する視野角FOVDを一致させる処理を含む。
 図4に示すように、画像出力装置200から提供する原画像41の視野角FOVOの方が画像表示装置300を装着したユーザーが観察する画像の視野角FOVDよりも大きいときには(FOVO>FOVD)、画像出力装置200は、原画像41から視野角FOVDの領域42を切り出して、画像表示装置300に送出する。
 また、図5に示すように、画像表示装置300から提供する原画像51の視野角FOVDが画像出力装置200を装着したユーザーが観察する画像52の視野角FOVO以上のときには(FOVD≧FOVO)、画像出力装置200は原画像51をそのまま画像表示装置300に送出する。
 そして、画像表示装置300側では、画像出力装置200から送られてくる画像のフォーマットに応じた画面表示を行なう。
 画像出力装置200から提供する原画像の視野角FOVOの方が画像表示装置300を装着したユーザーが観察する画像の視野角FOVDよりも大きく(FOVO>FOVD)、画像出力装置200が原画像から視野角FOVDの領域を切り出して送出する場合には(図4を参照のこと)、伝送されてくる画像の視野角FOVTは画像表示装置300のユーザーが観察する画像の視野角FOVDと等しくなる。そこで、画像表示装置300側では、図6に示すように、画像出力装置200から送られてくる画像61をそのまま表示パネル309に全画面表示する。
 また、画像表示装置300から提供する原画像の視野角FOVDが画像出力装置200を装着したユーザーが観察する画像の視野角FOVO以上のときには(FOVD≧FOVO)、画像表示装置300のユーザーが観察する画像の視野角FOVDよりも小さい視野角FOVTから画像が画像出力装置200から伝送されてくる。
 このような場合、画像表示装置300側では、伝送されてきた視野角FOVTの画像71を視野角FOVDの範囲で表示したときの余剰の領域72を、図7に示すように、黒で塗り潰す、あるいは、壁紙を表示するようにしてもよい。あるいは、画像表示装置300側では、図8に示すように、伝送されてきた視野角FOVTの画像81を、参照番号82で示す視野角FOVDまで引き伸ばして表示パネル309に表示する。
 伝送されてきた視野角FOVTの画像を視野角FOVDの範囲で表示したときの処理方法(図7に示したように、余剰の領域を黒く塗り潰し又は壁紙を表示するか、あるいは、図8に示したように伝送されてきた視野角FOVTの画像を視野角FOVDまで引き伸ばして表示するか)は、ユーザーが入力操作部302などから指定できるようにしてもよいし、画像表示装置300においてユーザー属性情報などに基づいて自動選択するようにしてもよい。あるいは、原画像のメタデータなどに処理方法が規定されている場合もある。
 画像出力装置200において図4並びに図5に示したような処理を実行し、画像表示装置300において図6~図8に示したような処理を実行するには、画像出力装置200と画像表示装置300間で、互いの属性情報記憶部202、306に記憶されている属性情報を交換する必要がある。例えば、EDIDを伝送するプロトコルとしてDDC(Display Data Channel)が知られているが、このプロトコルを用いて属性情報の交換を行なうようにしてもよい。勿論、属性情報の交換はDDCには限定されず、その他のプロトコルを用いてケーブル400を介して属性情報の交換を行なうようにしてもよい。
 図9には、画像出力装置200から画像を送出して画像表示装置300で表示する、画像表示システム100の動作シーケンス例を示している。
 DVI、HDMI(登録商標)、又はDisplay portのケーブル400を使って、画像表示装置300を画像出力装置200に接続すると、ケーブル400を介して画像表示装置300に電力が供給され(SEQ901)、画像表示装置300は起動する。
 画像出力装置200は、画像表示装置300から、ユーザーが観察する視野角FOVD、表示パネル309の画面形状、解像度といった画像表示に関する属性情報を取得する(SEQ902)。
 画像表示に関する属性情報は、画像表示装置300内の属性情報記憶部306に記憶されている。属性情報は例えばEDIDフォーマットで記述されており、画像出力装置200は例えばDDCプロトコルに従って必要な属性情報を取得することができる。勿論、属性情報を記述するファイル・フォーマットは限定されず、また、画像出力装置200は他のプロトコルを用いて属性情報を取得するようにしてもよい。
 画像出力装置200は、画像表示装置300から取得した属性情報に基づいて、画像表示装置300に提供する画像のフォーマット変換処理を画像処理部204で行なう(SEQ903)。そして、画像出力装置200は、フォーマット変換処理後の画像を画像表示装置300に送出する(SEQ904)。
 そして、画像表示装置300は、画像出力装置200から受信した画像に対し、フォーマットに応じた処理を行なって、表示パネル309に表示する(SEQ905)。
 図10には、図9中のSEQ903で画像出力装置200において実行される、画像のフォーマット変換処理の手順をフローチャートの形式で示している。画像のフォーマット変換は、画像出力装置200が提供する画像の視野角FOVOと画像表示装置300のユーザーが観察する視野角FOVDを一致させる処理であり、画像処理部204で実行されるものとする。
 まず、通信部205を介して、画像表示装置300のユーザーが観察する視野角FOVDを画像表示装置300から取得する(ステップS1001)。そして、画像処理部204は、画像出力装置200が提供する画像の視野角FOVOと画像表示装置300のユーザーが観察する視野角FOVDを比較する(ステップS1002)。
 画像出力装置200から提供する原画像の視野角FOVOの方が画像表示装置300を装着したユーザーが観察する画像の視野角FOVDよりも大きいときには(ステップS1002のYes)、画像処理部204は、原画像から視野角FOVDの領域を切り出す(ステップS1003)。
 一方、画像表示装置300から提供する原画像の視野角FOVDが画像出力装置200を装着したユーザーが観察する画像の視野角FOVO以上のときには(ステップS1002のNo)、画像処理部204は、原画像の処理を行なわない。
 そして、上記のような処理を行なった後、画像を通信部205からケーブル400を介して画像表示装置300に送出する(ステップS1004)。
 また、図12には、画像出力装置200から画像を送出して画像表示装置300で表示する、画像表示システム100の他の動作シーケンス例を示している。
 DVI、HDMI(登録商標)、又はDisplay portのケーブル400を使って、画像表示装置300を画像出力装置200に接続すると、ケーブル400を介して画像表示装置300に電力が供給され(SEQ1201)、画像表示装置300は起動する。
 画像表示装置300は、状態情報取得部304が取得したユーザーの視力(視度)の情報を、画像出力装置200に伝送する(SEQ1202)。視力の情報の取得方法については、既に説明した通りである。
 画像出力装置200は、画像表示装置300から取得した視力情報に応じて歪み補正テーブルを切り替えて、その歪み補正テーブルに基づいて画像表示装置300に提供する画像の変換処理を画像処理部204で行なう(SEQ1203)。
 そして、画像出力装置200は、変換処理後の画像を画像表示装置300に送出し(SEQ1204)、画像表示装置300は画像出力装置200から受信した画像を表示パネル309に表示する(SEQ1205)。
 図13には、図12中のSEQ1203で画像出力装置200において実行される、歪み補正テーブルの切り替え及び画像変換の処理の手順をフローチャートの形式で示している。
 画像表示装置300からユーザーの視力情報を取得できたときには(ステップS1301のYes)、その視力情報に応じた歪み補正テーブルを読み出す(ステップS1302)。そして、読み出した歪み補正テーブルを用いて画像の変換処理を行ない(ステップS1303)、変換処理した後の画像を画像表示装置300に送出する(ステップS1304)。
 一方、画像表示装置300からユーザーの視力情報を取得できなかったときには(ステップS1301のNo)、画像出力装置200は、ユーザーの視力に応じた変換処理を行なうことなく、画像を画像表示装置300に送出する(ステップS1304)。
 画像表示装置300として適用されるヘッド・マウント・ディスプレイは、通常、接眼レンズ(図3中の虚像光学部310など)を装備している。また、ヘッド・マウント・ディスプレイを着用するユーザーの中には、視力矯正用メガネなどの追加レンズを使用する場合が想定される。したがって、歪み補正テーブルは、ヘッド・マウント・ディスプレイの接眼レンズに起因する歪みと、追加レンズに起因する歪みからなる、合成光学系全体に対する歪みを打ち消すための情報が含まれている。
 ヘッド・マウント・ディスプレイを着用するユーザーが、視力矯正用メガネを使用していない場合には、ヘッド・マウント・ディスプレイの接眼レンズに起因する歪みのみを補正する歪み補正テーブルを読み出して、画像の変換処理を行なうようにすればよい。また、ヘッド・マウント・ディスプレイの接眼レンズに起因する歪みのための歪み補正テーブルと、視力矯正メガネに起因する歪みのための歪み補正テーブルを別々に格納し、画像変換処理の際には適切な歪み補正テーブルの組み合わせを読み出しこれらを合成した歪み補正テーブルを用いて画像変換処理するようにしてもよい。
 図11には、図9中のSEQ905(若しくは図12中のSEQ1205)で画像表示装置300において実行される画像の表示処理の手順をフローチャートの形式で示している。図示の処理は、制御部301又は画像処理部307で実行されるものとする。
 まず、通信部305を介して、画像出力装置200が提供する画像の視野角FOVOを画像出力装置200から取得する(ステップS1101)。但し、視野角FOVOではなく、出力する画像にどのようなフォーマット変換処理を適用したかを示す情報を取得するようにしてもよい。
 そして、画像出力装置200から提供する原画像の視野角FOVOと画像表示装置300を装着したユーザーが観察する画像の視野角FOVDを比較する(ステップS1102)。
 画像出力装置200から提供する原画像の視野角FOVOの方が画像表示装置300を装着したユーザーが観察する画像の視野角FOVDよりも大きい場合(ステップS1102のYes)、画像出力装置200が原画像から視野角FOVDの領域を切り出して送出したこと、すなわち、伝送されてくる画像の視野角FOVTは画像表示装置300のユーザーが観察する画像の視野角FOVDと等しくなることが分かる。そこで、制御部301は、図6に示すように、画像出力装置200から送られてくる画像をそのまま表示パネル309に全画面表示するように、画像処理部307に指示する(ステップS1103)。
 一方、画像表示装置300から提供する原画像の視野角FOVDが画像出力装置200を装着したユーザーが観察する画像の視野角FOVO以上のときには(ステップS1102のNo)、画像出力装置200から伝送されてくる画像の視野角FOVTは画像表示装置300のユーザーが観察する画像の視野角FOVDよりも小さいことが分かる。そこで、制御部301は、ユーザーが指定した処理、画像表示装置300で自動選択した処理、又は、現画像で指定されている処理を実行するように画像処理部307に指示する。そして、画像処理部307で処理した後の画像を表示パネル309に表示する(ステップS1104)。
 ステップS1104では、画像処理部307は、図7に示したように、伝送されてきた視野角FOVTの画像を視野角FOVDの範囲で表示したときの余剰の領域を、黒で塗り潰したり壁紙を表示したりする。あるいは、画像処理部307は、図8に示したように、伝送されてきた視野角FOVTの画像を視野角FOVDまで引き伸ばして表示パネル309に表示する。
 このように、本実施形態に係る画像表示システム100によれば、画像出力装置200側で提供する画像の視野角FOVOと画像表示装置300が表示する画像の視野角FOVDの不一致を補正することにより、VR酔いを抑制しながら、自分視点の画像や広視野角の画像を表示することができる。
 また、ユーザーは、自分が装着する画像表示装置300の視野角FOVDを調べて画像出力装置200に設定するような操作を行なう必要はなく、画像出力装置200から送られてくる画像を常に適切な視野角で視聴することができる。この結果、ユーザーのVR酔いを大きく軽減することができる。
 また、本実施形態に係る画像表示システム100によれば、画像表示装置300に搭載されている接眼レンズに起因する歪みと視力矯正用メガネに起因する歪みをともに打ち消すよう補正された画像を画像出力装置200側が画像表示装置300に提供することにより、VR酔いを抑制しながら、自分視点の画像や広視野角の画像を表示することができる。
特開2000-339490号公報 特開2008-304268号公報
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書では、画像表示装置300がヘッド・マウント・ディスプレイとして構成される場合の実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。画像表示装置300がヘッド・アップ・ディスプレイや大画面ディスプレイを始めさまざまな表示装置であっても、同様に本明細書で開示する技術を適用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画像を表示する表示部と、
 前記表示部における画像表示の属性を含む属性情報を記憶する属性情報記憶部と、
 画像出力装置と通信する通信部と、
を具備し、
 前記画像出力装置に前記属性情報を送信するとともに、前記画像出力装置が前記属性情報に基づいて変換した画像を受信して、前記表示部で表示する、
画像表示装置。
(2)前記表示部が表示する画像を観察する観察者の顔又は頭部に装着して用いられる、
上記(1)に記載の画像表示装置。
(3)前記表示部は、画像を表示する表示パネルと、前記表示パネルに表示した画像を拡大投影する虚像光学部を備える、
上記(2)に記載の画像表示装置。
(4)前記属性情報記憶部は、前記表示部が表示する画像が持つ第1の視野角の情報を記憶し、
 前記画像出力装置に前記第1の視野角の情報を送信するとともに、前記画像出力装置が前記第1の視野角に基づいて変換した画像を受信して、前記表示部で表示する、
上記(1)に記載の画像表示装置。
(5)前記画像出力装置側で原画像の第2の視野角と前記第1の視野角との相違に基づいて原画像を変換した画像を受信して、前記表示部で表示する、
上記(4)に記載の画像表示装置。
(6)前記第2の視野角が前記第1の視野角よりも大きいときに、前記画像出力装置が前記原画像から前記第1の視野角の領域を切り出した画像を受信して、前記表示部で表示する、
上記(5)に記載の画像表示装置。
(7)前記第1の視野角が前記第2の視野角以上のときに、前記画像出力装置から前記原画像を受信して、前記表示部で表示する、
上記(5)に記載の画像表示装置。
(8)前記画像出力装置から受信した画像を、前記第1の視野角と前記第2の視野角の関係に基づいて前記表示部で表示する、
上記(5)に記載の画像表示装置。
(9)前記第2の視野角が前記第1の視野角よりも大きく、前記原画像から前記第1の視野角の領域を切り出された画像を、前記表示部で全画面表示する、
上記(8)に記載の画像表示装置。
(10)前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記表示部で表示するときに、余剰の領域を黒で塗り潰し又は壁紙を表示する、
上記(8)に記載の画像表示装置。
(11)前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記第1の視野角まで引き伸ばして前記表示部で表示する、
上記(8)に記載の画像表示装置。
(12)記第1の視野角よりも小さい前記第2の視野角からなる画像を前記画像出力装置から受信したときに、観察者からの指示、観察者の属性情報、又は原画像に付加された指示に基づいた方法に従って前記表示部で表示する、
上記(8)に記載の画像表示装置。
(13)画像表示の属性を含む属性情報を画像出力装置に送信するステップと、
 前記属性情報に基づいて変換した画像を前記画像出力装置から受信するステップと、
 受信した画像を表示するステップと、
を有する画像表示方法。
(14)画像表示装置と通信する通信部と、
 前記画像表示装置に提供するための原画像を取得する画像取得部と、
 前記原画像を処理する画像処理部と、
を具備し、
 画像表示の属性を含む属性情報を前記画像表示装置から受信し、前記画像処理部が前記属性情報に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信する、
画像出力装置。
(15)前記画像表示装置が表示する画像が持つ第1の視野角の情報を受信し、前記画像処理部が前記原画像の第2の視野角と前記第1の視野角との相違に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信する、
上記(14)に記載の画像出力装置。
(16)前記画像処理部は、前記第2の視野角が前記第1の視野角よりも大きいときに、前記原画像から前記第1の視野角の領域を切り出す、
上記(15)に記載の画像出力装置。
(17)前記画像処理部は、前記第1の視野角が前記第2の視野角以上のときには、視野角の相違に基づく原画像の変換を行なわない、
上記(15)に記載の画像出力装置。
(18)前記画像表示装置は前記属性情報をEDID又はその他の所定のデータ・フォーマットに従って記憶しており、
 DDC又はその他の所定のプロトコルに従って前記通信部を介して前記画像表示装置から前記属性情報を取得する、
上記(14)に記載の画像出力装置。
(19)画像表示装置に提供するための原画像を取得するステップと、
 画像表示の属性を含む属性情報を前記画像表示装置から受信するステップと、
 前記属性情報に基づいて前記原画像を変換するステップと、
 変換後の画像を前記画像表示装置に送信するステップと、
を有する画像出力方法。
(20)画像表示の属性を含む属性情報を持つ画像表示装置と、
 前記画像表示装置から取得した属性情報に基づいて変換した画像を前記画像表示装置に出力する画像出力装置と、
を具備する画像表示システム。
 100…画像表示システム
 200…画像出力装置
 201…制御部、202…属性情報記憶部、203…画像取得部
 204…画像処理部、205…通信部
 300…画像表示装置
 301…制御部、301A…ROM、301B…RAM
 302…入力操作部、303…リモコン受信部
 304…状態情報取得部、305…通信部、306…属性情報記憶部
 307…画像処理部、308…表示駆動部
 309…表示部、310…虚像光学部
 311…音声処理部、312…音声入出力部、313…外側カメラ

Claims (20)

  1.  画像を表示する表示部と、
     前記表示部における画像表示の属性を含む属性情報を記憶する属性情報記憶部と、
     画像出力装置と通信する通信部と、
    を具備し、
     前記画像出力装置に前記属性情報を送信するとともに、前記画像出力装置が前記属性情報に基づいて変換した画像を受信して、前記表示部で表示する、
    画像表示装置。
  2.  前記表示部が表示する画像を観察する観察者の顔又は頭部に装着して用いられる、
    請求項1に記載の画像表示装置。
  3.  前記表示部は、画像を表示する表示パネルと、前記表示パネルに表示した画像を拡大投影する虚像光学部を備える、
    請求項2に記載の画像表示装置。
  4.  前記属性情報記憶部は、前記表示部が表示する画像が持つ第1の視野角の情報を記憶し、
     前記画像出力装置に前記第1の視野角の情報を送信するとともに、前記画像出力装置が前記第1の視野角に基づいて変換した画像を受信して、前記表示部で表示する、
    請求項1に記載の画像表示装置。
  5.  前記画像出力装置側で原画像の第2の視野角と前記第1の視野角との相違に基づいて原画像を変換した画像を受信して、前記表示部で表示する、
    請求項4に記載の画像表示装置。
  6.  前記第2の視野角が前記第1の視野角よりも大きいときに、前記画像出力装置が前記原画像から前記第1の視野角の領域を切り出した画像を受信して、前記表示部で表示する、
    請求項5に記載の画像表示装置。
  7.  前記第1の視野角が前記第2の視野角以上のときに、前記画像出力装置から前記原画像を受信して、前記表示部で表示する、
    請求項5に記載の画像表示装置。
  8.  前記画像出力装置から受信した画像を、前記第1の視野角と前記第2の視野角の関係に基づいて前記表示部で表示する、
    請求項5に記載の画像表示装置。
  9.  前記第2の視野角が前記第1の視野角よりも大きく、前記原画像から前記第1の視野角の領域を切り出された画像を、前記表示部で全画面表示する、
    請求項8に記載の画像表示装置。
  10.  前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記表示部で表示するときに、余剰の領域を黒で塗り潰し又は壁紙を表示する、
    請求項8に記載の画像表示装置。
  11.  前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記第1の視野角まで引き伸ばして前記表示部で表示する、
    請求項8に記載の画像表示装置。
  12.  前記第1の視野角よりも小さい前記第2の視野角からなる画像を前記画像出力装置から受信したときに、観察者からの指示、観察者の属性情報、又は原画像に付加された指示に基づいた方法に従って前記表示部で表示する、
    請求項8に記載の画像表示装置。
  13.  画像表示の属性を含む属性情報を画像出力装置に送信するステップと、
     前記属性情報に基づいて変換した画像を前記画像出力装置から受信するステップと、
     受信した画像を表示するステップと、
    を有する画像表示方法。
  14.  画像表示装置と通信する通信部と、
     前記画像表示装置に提供するための原画像を取得する画像取得部と、
     前記原画像を処理する画像処理部と、
    を具備し、
     画像表示の属性を含む属性情報を前記画像表示装置から受信し、前記画像処理部が前記属性情報に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信する、
    画像出力装置。
  15.  前記画像表示装置が表示する画像が持つ第1の視野角の情報を受信し、前記画像処理部が前記原画像の第2の視野角と前記第1の視野角との相違に基づいて前記原画像を変換し、変換後の画像を前記画像表示装置に送信する、
    請求項14に記載の画像出力装置。
  16.  前記画像処理部は、前記第2の視野角が前記第1の視野角よりも大きいときに、前記原画像から前記第1の視野角の領域を切り出す、
    請求項15に記載の画像出力装置。
  17.  前記画像処理部は、前記第1の視野角が前記第2の視野角以上のときには、視野角の相違に基づく原画像の変換を行なわない、
    請求項15に記載の画像出力装置。
  18.  前記画像表示装置は前記属性情報をEDID(Extended Display Identification Data)又はその他の所定のデータ・フォーマットに従って記憶しており、
     DDC(Display Data Channel)又はその他の所定のプロトコルに従って前記通信部を介して前記画像表示装置から前記属性情報を取得する、
    請求項14に記載の画像出力装置。
  19.  画像表示装置に提供するための原画像を取得するステップと、
     画像表示の属性を含む属性情報を前記画像表示装置から受信するステップと、
     前記属性情報に基づいて前記原画像を変換するステップと、
     変換後の画像を前記画像表示装置に送信するステップと、
    を有する画像出力方法。
  20.  画像表示の属性を含む属性情報を持つ画像表示装置と、
     前記画像表示装置から取得した属性情報に基づいて変換した画像を前記画像表示装置に出力する画像出力装置と、
    を具備する画像表示システム。
PCT/JP2014/082900 2014-01-20 2014-12-11 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム WO2015107817A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/031,351 US10437060B2 (en) 2014-01-20 2014-12-11 Image display device and image display method, image output device and image output method, and image display system
CA2928248A CA2928248C (en) 2014-01-20 2014-12-11 Image display device and image display method, image output device and image output method, and image display system
JP2015557741A JPWO2015107817A1 (ja) 2014-01-20 2014-12-11 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
CN201480058413.3A CN105684074B (zh) 2014-01-20 2014-12-11 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
KR1020167009580A KR102233223B1 (ko) 2014-01-20 2014-12-11 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
EP14878787.2A EP3057089A4 (en) 2014-01-20 2014-12-11 Image display device and image display method, image output device and image output method, and image display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-007472 2014-01-20
JP2014007472 2014-01-20

Publications (1)

Publication Number Publication Date
WO2015107817A1 true WO2015107817A1 (ja) 2015-07-23

Family

ID=53542720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082900 WO2015107817A1 (ja) 2014-01-20 2014-12-11 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム

Country Status (7)

Country Link
US (1) US10437060B2 (ja)
EP (1) EP3057089A4 (ja)
JP (1) JPWO2015107817A1 (ja)
KR (1) KR102233223B1 (ja)
CN (1) CN105684074B (ja)
CA (1) CA2928248C (ja)
WO (1) WO2015107817A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017023705A1 (en) 2015-07-31 2017-02-09 Google Inc. Unique reflective lenses to auto-calibrate eye tracking system
JP2018137609A (ja) * 2017-02-22 2018-08-30 株式会社東芝 部分画像処理装置
WO2019207728A1 (ja) * 2018-04-26 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
JP2021532681A (ja) * 2018-07-30 2021-11-25 アップル インコーポレイテッドApple Inc. 補助レンズを備える電子デバイスシステム
JP2022500700A (ja) * 2018-09-24 2022-01-04 アップル インコーポレイテッドApple Inc. 交換可能なレンズを備えたディスプレイシステム
WO2022070701A1 (ja) * 2020-09-30 2022-04-07 富士フイルム株式会社 電子ビューファインダーおよび光学装置
WO2022244340A1 (ja) * 2021-05-20 2022-11-24 ソニーグループ株式会社 送信装置、送信方法および映像表示システム
JP7379734B2 (ja) 2018-06-25 2023-11-14 マクセル株式会社 ヘッドマウントディスプレイ

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016845A (ko) * 2014-06-12 2017-02-14 엘지전자 주식회사 Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
WO2018051964A1 (ja) * 2016-09-14 2018-03-22 株式会社スクウェア・エニックス 映像表示システム及び映像表示方法、映像表示プログラム
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
CN110431471B (zh) * 2017-03-21 2023-06-23 奇跃公司 用于具有宽视野的波导投影仪的方法和系统
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10803642B2 (en) 2017-08-18 2020-10-13 Adobe Inc. Collaborative virtual reality anti-nausea and video streaming techniques
GB2566142B (en) * 2017-08-18 2020-11-25 Adobe Inc Collaborative virtual reality anti-nausea and video streaming techniques
US10613703B2 (en) 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
KR101951406B1 (ko) * 2017-10-11 2019-02-22 한양대학교 산학협력단 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
KR102233099B1 (ko) * 2017-12-05 2021-03-29 한국전자통신연구원 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
US10832483B2 (en) 2017-12-05 2020-11-10 Electronics And Telecommunications Research Institute Apparatus and method of monitoring VR sickness prediction model for virtual reality content
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
CN112601509B (zh) 2018-05-29 2024-01-23 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
JP7163656B2 (ja) * 2018-07-30 2022-11-01 株式会社リコー 配信システム、受信クライアント端末、配信方法
CN110868581A (zh) 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及系统
EP3856098A4 (en) 2018-09-24 2022-05-25 Eyedaptic, Inc. IMPROVED AUTONOMOUS HANDS-FREE CONTROL OF ELECTRONIC VISION AIDS
KR20210014819A (ko) * 2019-07-30 2021-02-10 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
EP4104034A4 (en) 2020-02-10 2024-02-21 Magic Leap Inc POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339490A (ja) 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2001154144A (ja) * 1999-11-30 2001-06-08 Shimadzu Corp 頭部装着型表示システム
JP2008304268A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009103908A (ja) * 2007-10-23 2009-05-14 Sharp Corp 画像表示装置および画像表示方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US6623428B2 (en) * 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP4186766B2 (ja) * 2003-09-12 2008-11-26 セイコーエプソン株式会社 眼鏡レンズの製造システム及び眼鏡レンズの製造方法
WO2006051743A1 (ja) * 2004-11-12 2006-05-18 Nikon Corporation 映像表示装置
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
CN103607585A (zh) * 2009-01-21 2014-02-26 株式会社尼康 图像处理装置、图像处理方法
JP5901122B2 (ja) * 2011-02-24 2016-04-06 キヤノン株式会社 表示制御装置および表示制御方法
US8729216B2 (en) * 2011-03-18 2014-05-20 Prc Desoto International, Inc. Multifunctional sulfur-containing polymers, compositions thereof and methods of use
JP5118266B2 (ja) * 2011-03-25 2013-01-16 パナソニック株式会社 表示装置
WO2013006739A2 (en) * 2011-07-05 2013-01-10 Zia Shlaimoun Method and system for video messaging
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法
JP2014215604A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置および画像処理方法
GB201310367D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
WO2014203440A1 (ja) * 2013-06-19 2014-12-24 パナソニックIpマネジメント株式会社 画像表示装置および画像表示方法
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
US9465237B2 (en) * 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
JP6092437B1 (ja) * 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
JP6087453B1 (ja) * 2016-02-04 2017-03-01 株式会社コロプラ 仮想空間の提供方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339490A (ja) 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2001154144A (ja) * 1999-11-30 2001-06-08 Shimadzu Corp 頭部装着型表示システム
JP2008304268A (ja) 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009103908A (ja) * 2007-10-23 2009-05-14 Sharp Corp 画像表示装置および画像表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3057089A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3329671A4 (en) * 2015-07-31 2019-03-20 Google LLC UNIQUE REFLECTIVE LENS FOR SELF-CALIBRATING AN EYES TRACKING SYSTEM
CN112181140A (zh) * 2015-07-31 2021-01-05 谷歌有限责任公司 自动校准穿戴式眼睛跟踪系统的独特反射镜片
WO2017023705A1 (en) 2015-07-31 2017-02-09 Google Inc. Unique reflective lenses to auto-calibrate eye tracking system
JP2018137609A (ja) * 2017-02-22 2018-08-30 株式会社東芝 部分画像処理装置
US11599192B2 (en) 2018-04-26 2023-03-07 Sony Interactive Entertainment Inc. Image presentation apparatus, image presentation method, recording medium, and program
WO2019207728A1 (ja) * 2018-04-26 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
JPWO2019207728A1 (ja) * 2018-04-26 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
JP7379734B2 (ja) 2018-06-25 2023-11-14 マクセル株式会社 ヘッドマウントディスプレイ
JP2021532681A (ja) * 2018-07-30 2021-11-25 アップル インコーポレイテッドApple Inc. 補助レンズを備える電子デバイスシステム
JP7494336B2 (ja) 2018-07-30 2024-06-03 アップル インコーポレイテッド 補助レンズを備える電子デバイスシステム
JP2022500700A (ja) * 2018-09-24 2022-01-04 アップル インコーポレイテッドApple Inc. 交換可能なレンズを備えたディスプレイシステム
WO2022070701A1 (ja) * 2020-09-30 2022-04-07 富士フイルム株式会社 電子ビューファインダーおよび光学装置
JP7436699B2 (ja) 2020-09-30 2024-02-22 富士フイルム株式会社 電子ビューファインダーおよび光学装置
WO2022244340A1 (ja) * 2021-05-20 2022-11-24 ソニーグループ株式会社 送信装置、送信方法および映像表示システム

Also Published As

Publication number Publication date
KR102233223B1 (ko) 2021-03-29
JPWO2015107817A1 (ja) 2017-03-23
CA2928248C (en) 2023-03-21
CA2928248A1 (en) 2015-07-23
KR20160110350A (ko) 2016-09-21
CN105684074B (zh) 2020-01-07
US20160246057A1 (en) 2016-08-25
EP3057089A1 (en) 2016-08-17
CN105684074A (zh) 2016-06-15
US10437060B2 (en) 2019-10-08
EP3057089A4 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
WO2015107817A1 (ja) 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム
KR102420313B1 (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 화상 처리 시스템
KR102331780B1 (ko) 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
EP2889873B1 (en) Image display device and image display method, information communication terminal and information communication method, and image display system
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
KR20210130206A (ko) 헤드 마운트 디스플레이를 위한 이미지 디스플레이 방법 및 장치
US20150355463A1 (en) Image display apparatus, image display method, and image display system
US20160306173A1 (en) Display control device, display control method, and computer program
US20170070730A1 (en) Imaging apparatus and imaging method
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP6391423B2 (ja) 画像生成装置、画像抽出装置、画像生成方法、および画像抽出方法
US11327317B2 (en) Information processing apparatus and information processing method
CN108989784A (zh) 虚拟现实设备的图像显示方法、装置、设备及存储介质
US20220053179A1 (en) Information processing apparatus, information processing method, and program
WO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11343567B1 (en) Systems and methods for providing a quality metric for media content
US20230236442A1 (en) Multimedia system and method for AR/VR Smart Contact Lens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015557741

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167009580

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2928248

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2014878787

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878787

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15031351

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE