WO2021261231A1 - 表示装置及び表示方法 - Google Patents

表示装置及び表示方法 Download PDF

Info

Publication number
WO2021261231A1
WO2021261231A1 PCT/JP2021/021533 JP2021021533W WO2021261231A1 WO 2021261231 A1 WO2021261231 A1 WO 2021261231A1 JP 2021021533 W JP2021021533 W JP 2021021533W WO 2021261231 A1 WO2021261231 A1 WO 2021261231A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
display device
main
observer
Prior art date
Application number
PCT/JP2021/021533
Other languages
English (en)
French (fr)
Inventor
諭司 三谷
友哉 谷野
祐治 中畑
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022531684A priority Critical patent/JPWO2021261231A1/ja
Priority to US18/002,367 priority patent/US20230237944A1/en
Publication of WO2021261231A1 publication Critical patent/WO2021261231A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/14Advertising or display means not otherwise provided for using special optical effects displaying different signs depending upon the view-point of the observer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/12Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/16Controlling the light source by timing means
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Definitions

  • This technology relates to a display device and a display method for displaying an image.
  • Patent Document 1 describes a lighting system for a video device in which a flat-screen television and a lighting device are combined. This system is provided with a light source unit that illuminates the back side and the viewing side of the display. In addition, lighting data is generated by analyzing the video data displayed on the display. Illumination by the light source unit is performed according to this illumination data. As a result, it is possible to emit light according to the brightness and color of the screen reflected on the display, and it is possible to illuminate with a sense of spaciousness and presence (paragraphs [0083] [0104] of Patent Document 1. ] [0168] FIG. 1, FIG. 2 and the like).
  • tubular displays and the like that can display images in various directions have been developed, and there is a demand for technology that realizes effective production according to the observation direction.
  • the purpose of the present technology is to provide a display device and a display method capable of realizing an effective effect according to the observation direction.
  • the display device includes a display unit, a motion sensor, an area setting unit, and an information generation unit.
  • the display unit has a tubular display having an azimuth range in which an image is displayed wider than 180 °.
  • the motion sensor detects an observer observing the display. Based on the detection result of the motion sensor, the area setting unit sets a first area visible to the observer and a second area different from the first area as the area on the display. do.
  • the information generation unit generates the main information displayed in the first region and the illumination information regarding the illumination light presented in accordance with the second region.
  • this display device an image is displayed on a tubular display in an azimuth range wider than 180 °. An observer observing this display is detected, and a first region visible to the observer and a second region different from the first region are set based on the detection result. Then, the main information displayed in the first region and the illumination information of the illumination light corresponding to the second region are generated. As a result, for example, it is possible to perform lighting according to the position of the observer, and it is possible to realize an effective effect according to the observation direction.
  • a display method includes detecting an observer observing a tubular display having an orientation range in which an image is displayed wider than 180 °. Based on the detection result of the motion sensor, a first region visible to the observer and a second region different from the first region are set as the region on the display. The main information displayed in the first region and the illumination information regarding the illumination light presented in accordance with the second region are generated.
  • FIG. 1 is a schematic diagram showing a configuration example of a display device according to a first embodiment of the present technology.
  • the display device 100 is a tubular device capable of displaying an image in various directions.
  • the image includes a still image and a moving image (video).
  • the display device 100 is configured as a cylindrical device as a whole.
  • the direction parallel to the central axis O of the cylindrical display device 100 (the direction in which the display device 100 extends) is referred to as the Z-axis direction.
  • the directions orthogonal to each other are described as the X-axis direction and the Y-axis direction.
  • FIG. 1A is a side view showing the appearance of the display device 100 as viewed along the Y-axis direction.
  • FIG. 1B is a cross-sectional view showing a cross section of a display device 100 cut along an XZ plane so as to include a center O.
  • the display device 100 includes a pedestal portion 10, a display portion 11, and a motion sensor. It has 12.
  • the pedestal portion 10 is a housing that serves as a pedestal for the display device 100.
  • the display device 100 is used by arranging the pedestal portion 10 on a desk, floor, or the like.
  • the side on which the pedestal portion 10 is provided is described as the lower side of the display device 100, and the opposite side (the side on which the reflection mirror 14 described later is provided) is described as the upper side of the display device 100.
  • the pedestal portion 10 has a substantially cylindrical side surface and a bottom surface connected to the lower side of the side surface, and the inside is hollow.
  • an image projection unit 13, a storage unit 19, a controller 30, and the like of the display unit 11, which will be described later, are provided in the space inside the pedestal portion 10.
  • a motion sensor 12 is provided on the side surface of the pedestal portion 10.
  • a communication module, a power supply module, or the like may be provided on the pedestal portion 10.
  • the display unit 11 is a display module capable of multi-directional display that displays images in various directions.
  • a projection type display module is used as the display unit 11.
  • the display unit 11 includes an image projection unit 13, a reflection mirror 14, and a screen 15. Of these, the screen 15 functions as a display according to the present embodiment.
  • the image projection unit 13 is a projector that projects the image light 1.
  • the image light 1 is light that constitutes an image, and includes a light flux for displaying each pixel included in the image.
  • the image light 1 is projected radially around a predetermined optical axis.
  • the image projection unit 13 is arranged in the space inside the pedestal unit 10 toward the upper side of the display device 100 so that the optical axis coincides with the central axis O.
  • the image projection unit 13 is typically a color projector capable of displaying a color image, but a projector or the like capable of displaying a single color may be used.
  • the specific configuration of the image projection unit 13 is not limited.
  • a laser projector including a laser light source or the like is used.
  • a projector including a light source such as an LED (Light Emitting Diode) light source or a halogen lamp may be used.
  • the reflection mirror 14 reflects the image light 1 projected from the image projection unit 13 toward the screen 15.
  • the reflection mirror 14 has a reflection surface that reflects the image light 1, and is arranged on the upper side of the display device 100 with the reflection surface facing the image projection unit 13.
  • the reflection mirror 14 is typically designed so that the image light 1 reflected by the reflective surface has the same incident angle with respect to any position on the screen 15.
  • Such a design can be realized, for example, by appropriately constructing a reflective surface using a paraboloid or a free curved surface.
  • the image light 1 radially projected around the central axis O is reflected in the direction away from the central axis O as substantially parallel light (parallel light) in the plane including the central axis O. Ru. This makes it possible to align the incident angles of the image light 1 with respect to the screen 15. Further, by controlling the angle of the parallel light, the angle of incidence on the screen 15 can be controlled.
  • the specific configuration of the reflection mirror 14 is not limited.
  • the screen 15 diffuses the incident image light 1 and displays an image.
  • a cylindrical screen centered on the central axis O is used as the screen 15.
  • the screen 15 is used, for example, by being bonded to the inside or the outside of a cylindrical transparent member (not shown). Alternatively, the screen 15 itself may be configured as a structural member.
  • the pedestal portion 10 is connected to the lower side of the screen 15, and the reflection mirror 14 is connected to the upper side.
  • the inner surface of the screen 15, that is, the surface facing the central axis O will be referred to as an inner peripheral surface 16.
  • the outer surface of the screen 15, that is, the surface opposite to the inner peripheral surface 16 is referred to as an outer peripheral surface 17.
  • the screen 15 is a transmission type diffused screen that emits image light 1 incident from the inner peripheral surface 16 as diffused light from the outer peripheral surface 17. Therefore, the diffused light of each pixel constituting the image is emitted from the outer peripheral surface 17. As a result, the outer peripheral surface 17 becomes a cylindrical display surface on which an image is displayed. In this way, the screen 15 constitutes a cylindrical surface (outer peripheral surface 17) on which an image is displayed.
  • the screen 15 is configured so that an image can be displayed in an orientation of 360 ° with the central axis O as an axis. That is, the screen 15 is an all-around screen (all-around display) capable of displaying an image on the entire circumference. This allows the observer to observe the image displayed on the screen 15 from any direction.
  • the screen 15 does not necessarily have to be able to display an image in all directions, and may have a structure (slit or the like) such that the image is not displayed in a part of the outer peripheral surface 17, for example.
  • the present technique is applied to a tubular screen 15 such that an area where an image cannot be seen is generated. In the following, the all-around screen will be mainly described.
  • a transparent diffusion screen configured by using a transmissive HOE (Holographic Optical Element) is typically used.
  • the HOE is an element that diffracts incident light by using interference fringes. By appropriately exposing the interference fringes, it is possible to change the traveling direction of the light and diffuse the light.
  • a transmission type HOE is used to configure a screen 15 that diffuses light incident on the inner peripheral surface 16 at a predetermined incident angle from the outer peripheral surface 17 in a substantially vertical direction.
  • the above-mentioned reflection mirror 14 is configured to make the image light 1 incident on the screen 15 at this predetermined incident angle. As a result, the brightest image is displayed on the outer peripheral surface 17 of the screen 15 when viewed from the vertical direction.
  • the screen 15 is a transparent screen (transparent display) that transmits visible light.
  • the display unit 11 is 360 on the screen 15 (transparent diffusion screen) in which the image from the image projection unit 13 (projector) arranged in the lower center of the display device 100 is sown in a cylinder by the reflection mirror 14 on the upper surface. It is configured to project in all directions of the degree.
  • the configuration of the display unit 11 is not limited to the configuration using the projector and the transparent diffusion screen, but other configurations may be used.
  • a curved display or the like configured by using a transparent OLED (Organic Light Emitting Diode) or a transparent LED (Light Emitting Diode) may be used.
  • a transparent micro LED display or the like in which the LED element size is miniaturized may be used.
  • the configuration of the display unit 11 is not limited, and any projection type or self-luminous transparent display may be used.
  • the motion sensor 12 detects an observer observing the screen 15. Specifically, a sensor capable of detecting the direction in which the observer 2 is present and the distance to the observer 2 is used as the motion sensor 12.
  • a plurality of camera sensors 18 for photographing the periphery of the display device 100 are used as the motion sensor 12.
  • a plurality of camera sensors 18 are provided along the outer periphery on the side surface of the pedestal portion 10 on the lower side of the screen 15.
  • Each camera sensor 18 is arranged so as to be able to capture the entire circumference (direction of 360 °) of the display device 100. For example, when the angle of view in the azimuth direction of one camera sensor 18 is 60 °, six camera sensors 18 are arranged at equal intervals on the side surface of the pedestal portion 10.
  • the camera sensor 18 is, for example, an RGB camera that captures a color image, and a digital camera including an image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (Charge Coupled Device) sensor is used. Further, as the camera sensor 18, an infrared camera or the like that receives infrared rays and captures an infrared image may be used. In this case, the infrared light source is arranged on the side surface of the display device 100 or the like. This makes it possible to detect the observer with high accuracy.
  • the motion sensor 12 is not limited to the camera sensor 18, and may be configured by using other sensors.
  • thermoelectric sensor that detects the observer as a heat source
  • an ultrasonic sensor that detects ultrasonic waves reflected by the observer
  • a ToF sensor that measures the distance to the observer by the ToF (Time of Flight) method
  • the observer 2 A directional microphone or the like that detects the sound wave or the moving sound may be used.
  • these sensors may be used alone or in combination of a plurality of types of sensors.
  • the motion sensor 12 may be omitted.
  • FIG. 2 is a schematic diagram showing an example of image display by the display device 100. Here, an outline of the operation of the display device 100 will be described.
  • 2 (a) and 2 (b) are schematic views of a state in which the observer 2 is observing the screen 15 as viewed from the side surface and the upper surface of the display device 100.
  • FIG. 2C is a developed view of the outer peripheral surface 17 of the screen 15 developed into a plane.
  • the directional range in which the image displayed on the screen 15 can be observed is the omnidirectional range around the display device 100.
  • the direction in which the observer 2 observes the screen 15 is estimated based on the output of the motion sensor 12.
  • a plurality of display areas are set on the screen 15 according to the direction in which the observer 2 observes the screen 15 (observation direction 3).
  • FIG. 2C schematically shows an example of a display area set on the screen 15.
  • the main display area 5 and the sub display area 6 are set on the screen 15.
  • the main display area 5 and the sub display area 6 shown in FIG. 2C are merely examples.
  • the orientation with respect to the observation direction 3 will be referred to as a relative orientation.
  • setting examples of the main display area 5 and the sub display area 6 are shown using relative orientations.
  • the direction with respect to the display device 100 is described as an absolute direction.
  • the origin of the relative orientation described above changes according to the observation direction 3, but the absolute orientation is a fixed orientation with respect to the display device 100.
  • the main display area 5 is a display area set in a portion visible to the observer 2 on the screen 15. Therefore, the observer 2 can directly see the main display area 5.
  • a rectangular area having a relative orientation of ⁇ 90 ° is set.
  • the vertical width of the main display area 5 is set to the same width as the screen 15. That is, the front half surface of the screen 15 as viewed from the observer 2 is the main display area 5.
  • the main display area 5 corresponds to the first area.
  • the main image 7 is displayed in the main display area 5.
  • the main image 7 is, for example, an image to be displayed to the observer 2, and is an image that is the main content in the display device 100.
  • an image such as a landscape or a character is displayed in the main display area 5 as the main image 7.
  • the main image 7 may be an image that changes depending on the viewing direction, or may be an image that always displays the same scene regardless of the viewing direction.
  • a UI screen, a message screen, or the like may be displayed as the main image 7.
  • the information of the main image 7 is an example of the main information displayed in the first area.
  • the sub display area 6 is a display area set in a portion different from the main display area 5.
  • the sub-display area 6 also includes, for example, a portion that the observer 2 cannot directly see.
  • a rectangular region having a relative orientation of ⁇ 90 ° to ⁇ 180 ° and a rectangular region having a relative orientation of + 90 ° to + 180 ° are set.
  • the vertical width of the sub-display area 6 is set to the same width as the screen 15. Therefore, all areas of the screen 15 other than the main display area 5 (that is, the rear half surface of the screen 15 when viewed from the observer 2) are set as the sub display area 6.
  • the sub-display area 6 corresponds to the second area.
  • the enhanced image 8 is displayed in the sub-display area 6.
  • the enhanced image 8 is an image that generates illumination light that enhances (extends) the main image 7, for example. That is, it can be said that the enhanced image 8 is an image that is displayed in the sub-display area 6 to generate illumination light and produce the display of the main image 7. Therefore, the light of the enhanced image 8 diffused by the screen 15 functions as the illumination light presented in accordance with the sub-display area 6.
  • the information of the enhanced image 8 is an example of the illumination information regarding the illumination light presented in accordance with the second region.
  • the main image 7 and the enhanced image 8 are simultaneously displayed on the main display area 5 and the sub display area 6 set in this way.
  • 2 (b) shows the direction (direction range) in which each image is displayed when the main image 7 and the enhanced image 8 are displayed in the main display area 5 and the sub display area 6 shown in FIG. 2 (c), respectively.
  • the main image 7 is displayed on the screen 15 in the first half of the observer 2
  • the enhanced image 8 is displayed on the screen 15 in the second half.
  • the periphery of the display device 100 (wall, floor, ceiling, other furniture, etc.) is illuminated, and a lighting effect that enhances (extends) the main image 7 is realized. It becomes possible to do.
  • FIG. 3 is a schematic diagram showing a usage example of the display device 100.
  • FIG. 3 schematically shows an image when a lighting effect that enhances the main image 7 is applied.
  • the surroundings of the display device 100 are illuminated by the illumination light that produces the main image 7.
  • the display device 100 is arranged and used in a room such as a living room or a bedroom.
  • the atmosphere of the room can be matched with the image (main image 7) by displaying the enhanced image 8 that illuminates the surrounding area in green.
  • the image of the bamboo grove is displayed as the main image 7 in the main display area 5 seen by the observer 2 on the screen 15.
  • a green image is displayed as the enhanced image 8. This makes it possible to produce, for example, the spatial expanse of the bamboo grove.
  • main display area 5 and the sub display area 6 are dynamically set based on the output of the motion sensor 12. As a result, it is possible to display the image (main image 7) that the observer 2 wants to show, and display the image (enhanced image 8) that enhances the image that the observer 2 does not want to show. It becomes. As a result, it is possible to produce the atmosphere of the main image 7 without impairing the visibility of the main image 7, and it is possible to effectively produce the space in which the image is viewed.
  • FIG. 4 is a block diagram showing a functional configuration example of the display device.
  • the display device 100 further includes a storage unit 19 and a controller 30 in addition to the display unit 11 and the motion sensor 12 described above.
  • the storage unit 19 is a non-volatile storage device.
  • a recording medium using a solid-state element such as an SSD (Solid State Drive) or a magnetic recording medium such as an HDD (Hard Disk Drive) is used.
  • the type of recording medium used as the storage unit 19 is not limited, and for example, any recording medium for recording data non-temporarily may be used.
  • a control program (not shown) for controlling the overall operation of the display device 100 is stored in the storage unit 19.
  • the control program is a program according to the present embodiment, and the storage unit 19 functions as a recording medium that can be read by a computer in which the program is recorded.
  • the storage unit 19 stores the main image data 20 which is the data of the main image 7.
  • the format of the main image data 20 is not limited.
  • the main image data 20 may be read from a server or the like on the network via a communication unit (not shown), or may be read into the storage unit 19 from another device (smartphone, digital camera, or the like).
  • the controller 30 controls the operation of each block of the display device 100.
  • the controller 30 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed by the CPU loading the control program stored in the storage unit 19 into the RAM and executing the control program.
  • the controller 30 functions as an information processing device according to the present embodiment.
  • controller 30 for example, a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or another device such as an ASIC (Application Specific Integrated Circuit) may be used. Further, for example, a processor such as a GPU (Graphics Processing Unit) may be used as the controller 30.
  • a PLD Processable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a processor such as a GPU (Graphics Processing Unit) may be used as the controller 30.
  • the human detection processing unit 31, the display area setting unit 32, the feature extraction unit 33, the enhanced image generation unit 34, and the enhanced image generation unit 34 are used as functional blocks.
  • the display image generation unit 35 is realized. Then, the display method according to this embodiment is executed by these functional blocks.
  • dedicated hardware such as an IC (integrated circuit) may be appropriately used.
  • the person detection processing unit 31 detects the position of the observer 2 observing the screen 15 around the display device 100 based on the output of the motion sensor 12, and generates the position information of the observer 2.
  • the position information of the observer 2 is information that can represent the position of the observer 2 as seen from the display device 100 (screen 15).
  • the position where the observer 2 is located is detected based on the images from the plurality of camera sensors 18, and the position information is generated based on the detection result.
  • the orientation (absolute orientation) of the observer 2 as seen from the display device 100 is detected as position information.
  • position information For example, a front position is set on the display device 100, and image processing or the like is executed with the front position as a reference. With this front position as a reference, the orientation of the observer 2 is calculated in the range of ⁇ 180 ° (or the range of 0 ° to 360 °).
  • the distance from the display device 100 to the observer 2 may be detected as position information. In this case, for example, the distance (distance to the viewpoint) from the central axis O of the display device 100 (screen 15) to the observer 2 is calculated.
  • the coordinate position in the plane (XY plane) orthogonal to the central axis O may be calculated.
  • the display area setting unit 32 sets the main display area 5 seen by the observer 2 and the sub-display area 6 different from the main display area 5 as the area on the screen 15 based on the detection result of the motion sensor 12. do.
  • the main display area 5 and the sub display area 6 are set in the range of the screen 15 for 360 ° based on the position information of the observer 2 output from the person detection processing unit 31. The method of setting each display area will be described in detail later.
  • the display area setting unit 32 corresponds to the area setting unit.
  • the feature extraction unit 33 extracts the feature amount of the main image 7 based on the main image data 20. For example, based on each pixel value of the main image 7, a parameter representing the main color of the main image 7 and a luminance value of the main image 7 are calculated as feature quantities.
  • the movement pattern in the main image 7 (for example, the direction and speed of the movement of an element whose position in the image dynamically changes, etc.) is based on the data for a plurality of frames. ) is calculated as a feature amount. Alternatively, the amount of change in color or brightness may be calculated.
  • the method for calculating each feature amount is not limited, and any image recognition technique capable of extracting the features of the main image 7 may be used.
  • the enhanced image generation unit 34 generates an enhanced image 8 according to the main image 7 based on the feature amount of the main image 7 extracted by the feature extraction unit 33.
  • the enhanced image generation unit 34 generates an enhanced image 8 that generates illumination light having the same color as that of the main image 7, for example. For example, when the main image 7 is a green image as a whole, a green enhanced image 8 is generated.
  • an enhanced image 8 that changes according to the brightness and movement of the main image 7 may be generated.
  • image data for all directions of 360 ° is generated. In this case, the data in the required range is extracted and used by the display image generation unit 35 described later.
  • the method of generating the enhanced image 8 is not limited.
  • the display image generation unit 35 generates output image data (display image) output to the display unit 11.
  • the output image data is the data of the image finally displayed on the screen 15.
  • the display image generation unit 35 includes the main image 7 and the enhanced image 8 corresponding to each display area based on the information of the main display area 5 and the sub display area 6 set by the display area setting unit 32. Generate output image data in combination with.
  • the output image data data representing a rectangular image projected by the image projection unit 13 toward the reflection mirror 14 is generated.
  • the main image 7 and the enhanced image 8 are displayed on the entire circumference of the screen 15. Therefore, the output image data includes the main image 7 and the enhanced image 8 deformed according to the optical system of the display unit 11.
  • the display image generation unit 35 based on the projection optical system of the display unit 11, the main image 7 and the enhanced image 8 are properly displayed in the main display area 5 and the sub display area 6 on the screen 15, respectively. The output image data is generated.
  • the output image data is data including the information of the main image 7 (main information) and the information of the enhanced image 8 (illumination information).
  • the feature extraction unit 33, the enhanced image generation unit 34, and the display image generation unit 35 described above cooperate with each other to match the main information displayed in the first region with the second region.
  • An information generation unit that generates lighting information about the presented illumination light is realized.
  • FIG. 5 is a flowchart showing the basic operation of the display device.
  • the process shown in FIG. 5 is, for example, a loop process that is repeatedly executed during the operation of the display device 100.
  • the process of setting the display area according to the orientation of the observer 2 (steps 101 and 102) and the process of generating an enhanced image suitable for the characteristics of the main image (steps 103 and 104) are executed in parallel. Will be done.
  • step 101 the observer 2 in the vicinity of the display device 100 is detected.
  • the human detection processing unit 31 reads the detection result of the motion sensor 12 (for example, an image around the display device 100), and generates the position information of the observer 2. For example, the absolute orientation of the observer 2 as seen from the display device 100 is estimated as position information.
  • the position information is output to the display area setting unit 32.
  • the main display area 5 and the sub display area 6 are set.
  • the display area setting unit 32 sets the main display area 5 and the sub display area 6, respectively, based on the position information of the observer 2.
  • the sub display area 6 is set together with the main display area 5.
  • a predetermined azimuth range centered on the absolute azimuth of the observer 2 (for example, ⁇ 90 ° as shown in FIG. 2) is set in the main display area 5.
  • the sub display area 6 is appropriately set according to the result.
  • the information of each display area is output to the display image generation unit 35.
  • the feature amount is detected from the main image 7.
  • the feature extraction unit 33 reads the main image 7 to be reproduced, and extracts the feature amount of the main image 7.
  • the main image 7 is an image or the like, features such as color arrangement, brightness, and movement of the image are constantly changing.
  • the feature extraction unit 33 the feature amount that changes with time is appropriately extracted by executing an image recognition process or the like.
  • the feature amount information is output to the enhanced image generation unit 34.
  • the enhanced image 8 is generated.
  • the enhanced image generation unit 34 generates the enhanced image 8 based on the feature amount of the main image 7. For example, an image having the same color scheme as that of the main image 7 is generated. Further, for example, an enhanced image 8 in which the brightness and pattern of the image change according to the change in the brightness and movement of the main image 7 is generated.
  • the enhanced image 8 is generated as image data for all directions and is output to the display image generation unit 35.
  • output image data including the main image 7 and the enhanced image 8 is generated (step 105).
  • the display image generation unit 35 generates image data including the main image 7 and the enhanced image 8.
  • the positions for displaying the main image 7 and the enhanced image 8 are determined based on the information of the main display area 5 and the sub display area 6 set by the display area setting unit 32.
  • the generated output image data is output to the display unit 11 (image projection unit 13).
  • the main image 7 which is the main content is displayed in the main display area 5 which can be seen by the observer 2 on the screen 15, and the enhanced image 8 which generates the illumination light is displayed in the other sub display areas 6. It will be.
  • step 106 it is determined whether or not the display process by the display device 100 is completed. For example, when the switch of the display device 100 is turned off and the display ends (Yes in step 106), the display process ends. If the display is not completed (No in step 106), the above-mentioned parallel processing is executed again. Therefore, when the observer 2 moves, the main image 7 and the enhanced image 8 are displayed according to the position after the movement.
  • step 101 the cycle of detecting the observer 2 in step 101 and the cycle of performing the image display process (output image data generation process) do not always coincide with each other.
  • step 101 the position information of the observer 2 is updated in the operation cycle of the human detection processing unit 31.
  • a series of processes for generating output image data is executed, for example, at a preset frame rate. Therefore, for example, when the operation of the person detection processing unit 31 is not in time for updating the output image data, the main display area 5 and the sub-main display area 5 calculated in the past by the display area setting unit 32 as the processing of step 102.
  • the information in the display area 6 (typically the latest information) is output instead. That is, if the observer 2 is not detected in time, the old display area is used as it is. This makes it possible to continue the display without freezing the image, for example.
  • FIG. 6 is a schematic diagram illustrating a main display area 5 set for one observer 2.
  • FIG. 6A is a schematic view of a state in which one observer 2 is observing the screen 15 as viewed from the upper surface of the display device 100.
  • a method of setting the range of the screen that can be observed from the observation position by the observer 2 as the main display area 5 will be described.
  • the main display area In the plane (XY plane) orthogonal to the central axis O of the screen 15, the area sandwiched by the tangents drawn from the left and right eyes of the observer 2 to the outer peripheral surface 17 of the screen 15 is the main display area. It is set as 5.
  • the angle representing the directional range defining the main display area 5 is referred to as a display angle ⁇ .
  • the display angle ⁇ is an angle formed by the contact point of each tangent line drawn from the left and right eyes to the outer peripheral surface 17 and the central axis O.
  • FIG. 6B illustrates the main display area 5 defined by the display angle ⁇ .
  • the display angle ⁇ is an angle representing the width of the main display area 5. Therefore, a region in which the range of the azimuth angle is the display angle ⁇ with respect to the observation direction is set as the main display region 5.
  • FIG. 7 is a schematic diagram showing an example of a method for calculating the display angle ⁇ .
  • 7A and 7B schematically show the positional relationship between the left eye and the right eye of the observer 2 and the screen 15 in the XY plane.
  • the positions (observation positions) of the left eye and the right eye of the observer 2 are described as E1 and E2, respectively.
  • FIG. 7A is a schematic diagram showing the orientation range ⁇ of the screen 15 seen from one eye of the observer 2.
  • the azimuth range ⁇ seen from the observation position (E2) of the right eye is illustrated by using an arrow.
  • the azimuth range ⁇ is an angle formed by each contact point of two tangents drawn from one eye of the observer 2 on the outer peripheral surface 17 of the screen 15 and the central axis O in the XY plane.
  • FIG. 7B is a schematic diagram showing the convergence angle ⁇ when the screen 15 is viewed by both eyes of the observer 2. In FIG. 7B, the convergence angle ⁇ is illustrated with arrows.
  • the convergence angle ⁇ is an angle formed by the observation positions (E1 and E2) of both eyes of the observer 2 and the central axis O in the XY plane.
  • the display angle ⁇ is calculated by using this relationship. Specifically, the diameter of the outer peripheral surface 17 is D, the observation distance (viewing distance) from the central axis O of the outer peripheral surface 17 to the observation position is Lv, and the distance between the left and right eyes of the observer 2 is Le.
  • the display angle ⁇ is calculated according to the following equation (1), where ⁇ is the display angle that is the directional range that defines the display area 5.
  • the diameter D of the outer peripheral surface 17 the actual design value of the screen 15 or the like is used.
  • the observation distance Lv the distance to the observer 2 detected by the motion sensor 12 may be used, or the viewing distance assumed when using the display device 100 may be used.
  • the distance Le between the left and right eyes for example, an input value of the user may be used, or a default value (for example, 65 mm or the like) may be used.
  • the angle represented by the inverse cosine function (cos -1 ) on the right side of equation (1) is ⁇ / 2, which is a term corresponding to the azimuth range ⁇ .
  • the angle represented by the inverse tangent function (tan -1 ) is ⁇ / 2, which is a term corresponding to the convergence angle ⁇ .
  • the display area 5 (display angle ⁇ ) is set. This makes it possible to reliably set the main display area 5 in the range that the observer 2 can observe. Further, it is possible to avoid the situation where the main image 7 is displayed in a range invisible to the observer 2 and expand the range in which the enhanced image 8 is displayed. As a result, it becomes possible to realize an effective production.
  • FIG. 8 is a graph showing an example of setting the display angle ⁇ .
  • FIG. 8 shows the relationship between the display angle ⁇ calculated according to the equation (1) and the observation distance Lv.
  • the horizontal axis of the graph is the observation distance Lv
  • the vertical axis is the display angle ⁇ .
  • the distance Le between the left and right eyes is 65 mm.
  • the display angle ⁇ 173 °.
  • Such a setting of the main display range is effective, for example, when the desktop display is viewed from a relatively short distance.
  • the display angle ⁇ can be calculated as appropriate under other conditions.
  • the screen 15 having a large diameter D the range of the screen seen by the observer 2 observed at a short distance becomes narrow. In such a case, it is sufficient to display the main image 7 only in the area visible to the observer 2, and the enhanced image 8 can be displayed in the other areas. This makes it possible to display necessary information in an appropriate range and enhance the effect of production.
  • the method for setting the main display area 5 is not limited to the above method.
  • the range defined by the display angle ⁇ calculated according to the equation (1) may be adjusted.
  • the main display area 5 can be intentionally set narrow.
  • the sub-display area 6 can be set wide, and the enhanced image 8 becomes wide.
  • the viewing angle of the screen 15 the angle range in which the diffused light can be seen
  • the viewing angle may be limited.
  • the viewing angle of the screen 15 using HOE is about 90 °, and the image near the side surface of the screen 15 may not be observable from the observer 2.
  • the main display area 5 may be set narrow.
  • the main display area 5 is set with the angle at which the diffused light display can actually be seen as the upper limit.
  • the sub-display area 6 enhanced image 8 is expanded, and the effect (range) of illumination can be further increased.
  • the sub-display area 6 on which the enhanced image 8 is displayed it is not always necessary to limit the sub-display area 6 on which the enhanced image 8 is displayed to a range invisible to the observer 2.
  • the main display area 5 and the sub display area 6 may be set so as to partially overlap each other.
  • the output image data is generated so that the portion where the main image 7 and the enhanced image 8 overlap is gradually changed due to a gradation or the like.
  • the main display area 5 can be intentionally set wide.
  • the sub-display area 6 is set narrow and the enhanced image 8 is narrowed.
  • the main display area 5 is set wide. This makes it possible to sufficiently avoid a situation in which the enhanced image 8 is visible to the observer 2.
  • the main display area 5 may be set according to the distance to the observer 2 (observation distance Lv). That is, the main display area 5 may be set to actively change according to the observation distance Lv. In this case, when the observer 2 approaches, the main display area 5 is set narrow, and when the observer 2 moves away, the main display area 5 is set wide. At this time, the sub display area 6 is appropriately set according to the change of the main display area 5. This makes it possible to always perform the optimum effect according to the observation distance Lv.
  • FIG. 9 is a schematic diagram illustrating a main display area 5 set for a plurality of observers.
  • the main display area 5 is mainly set for one observer 2 has been described.
  • a method of setting the main display area 5 when two or more observers 2 are present will be described.
  • FIG. 9A is a schematic view of a state in which two observers 2a and 2b are observing the screen 15 as viewed from the upper surface of the display device 100.
  • FIG. 9B is a schematic diagram showing an example of the main display area 5 set for the two observers 2a and 2b.
  • the main display area 5 and the sub display area 6 are represented in absolute orientation with respect to the display device 100.
  • the motion sensor 12 can detect a plurality of observers 2 at the same time.
  • the image captured by each camera sensor 18 is output to the human detection processing unit 31 in real time. This makes it possible to detect a plurality of observers 2 at the same time.
  • the person detection processing unit 31 estimates the absolute orientation of each observer 2.
  • the observation direction of the observer 2a on the left side of the figure is estimated to be ⁇ 1 in the absolute direction
  • the observation direction of the observer 2b on the right side of the figure is estimated to be ⁇ 2 in the absolute direction.
  • the display area setting unit 32 individual areas 9 that can be seen by each observer 2 are set with reference to the absolute directions ⁇ 1 and ⁇ 2.
  • the individual area 9 is set by the same method as the main display area 5 set for one observer 2 (for example, the method described with reference to FIGS. 6 and 7). That is, it can be said that the individual area 9 is an area for displaying the main image 7 for each observer 2.
  • FIG. 9A the observation direction of the observer 2a on the left side of the figure is estimated to be ⁇ 1 in the absolute direction
  • the observation direction of the observer 2b on the right side of the figure is estimated to be ⁇ 2 in the absolute direction.
  • individual areas 9 that can be seen by each observer 2 are set with reference to the absolute directions ⁇ 1 and ⁇ 2.
  • the individual regions 9a and 9b set for the observer 2a and the observer 2b are schematically illustrated as a range of absolute orientations, respectively.
  • the individual region 9a of the observer 2a is a range centered on ⁇ 1
  • the individual region 9b of the observer 2b is a range centered on ⁇ 2.
  • the display area setting unit 32 sets the area that is the union of the individual areas 9a and 9b calculated for each observer 2 as the main display area 5. That is, the main display area 5 is set so that the portion (individual area 9) for displaying the main image 7 for each observer 2 has an OR relationship. Therefore, in FIG. 9B, the directional range including both the entire directional range of the individual region 9a and the entire directional range of the individual region 9b is set as the main display region 5. In this case, the main display area 5 includes both the overlapping directional ranges of the individual areas 9a and 9b and the non-overlapping directional ranges of the individual areas 9a and 9b.
  • the display area setting unit 32 calculates a plurality of individual areas 9 as areas on the screen 15 that can be seen by the plurality of observers 2, and a region that is a union of the plurality of individual areas 9 is obtained. It is set in the main display area 5. Further, when the main display area 5 is set, the sub display area 6 is appropriately set in the other areas. This makes it possible to properly display the main image 7 to be shown to each observer 2 even when a plurality of observers 2 are present. Further, for example, it is possible to set the sub-display area 6 in a portion that cannot be seen by all the observers 2. As a result, it is possible to realize a natural effect without showing the enhanced image 8 or the like directly. Even when a plurality of observers 2 are present, the main display area 5 and the sub display area 6 can be appropriately adjusted by using the above method.
  • FIG. 10 is a schematic diagram showing a setting example of a main display area and a sub display area.
  • the main display area 5 a rectangular area whose width in the vertical direction is narrower than the width of the screen 15 is set in the central portion. Areas other than the main display area 5 are set in the sub display area 6. Therefore, the enhanced image 8 is displayed not only on the left side and the right side of the main display area 5 but also on the upper side and the lower side so as to surround the main display area 5.
  • the sub display area 6 may be set only on the upper side or the lower side of the main display area 5. As a result, it is possible to add a lighting effect to the side that the observer 2 is looking at, that is, the front side when viewed from the observer 2, and it is possible to make the effect stand out.
  • an elliptical area is set as the main display area 5. Areas other than the main display area 5 are set in the sub display area 6. As described above, the shape of the main display area 5 does not have to be rectangular. The width of the main display area 5 is set according to, for example, the equation (1). By setting the shape of the main display area 5 in this way, it is possible to realize an expression such as a cutout of a picture (main image 7), for example. Further, as in FIG. 10A, it is possible to add a lighting effect to the front side when viewed from the observer 2.
  • an elliptical area is set as the main display area 5. Further, the area outside the directional range in which the main display area 5 is set is set in the sub display area 6. That is, the area around the elliptical main display area 5 is a black area where the enhanced image 8 and the like are not displayed. This makes it possible to realize an expression in which the main image 7 is projected and displayed. Further, since the enhanced image 8 cannot be directly seen by the observer 2, a natural effect can be produced.
  • the shape of the main display area 5 shown in FIGS. 10 (b) and 10 (c) is not limited to an elliptical shape and can be arbitrarily set.
  • main display areas 5a and 5b two rectangular areas (main display areas 5a and 5b) having the same vertical width as the width of the screen 15 are set in the directional range seen by the observer 2. .. Further, the areas other than the main display areas 5a and 5b are set in the sub display area 6. Different main images 7 are displayed in the main display areas 5a and 5b (for example, photographs and text information). In this way, a plurality of main display areas 5 for displaying different main images 7 may be set in the directional range visible to the observer 2.
  • the main display area 5 does not need to be set to be arranged horizontally, and may be set to be arranged vertically, for example. Further, a plurality of sub-display areas 6 may be set for each main display area 5.
  • a portion adjacent to or overlapping the main display area 5 is set as the sub-display area 6 corresponding to the main display area 5.
  • an enhanced image 8 corresponding to the corresponding main image 7 is displayed. In this way, it is also possible to display different main images 7 on the left and right or up and down, and display an enhanced image 8 for producing each.
  • a rectangular area (main display area 5c) whose vertical width is smaller than the width of the screen 15 and a diameter of the screen 15 are included in the directional range visible to the observer 2.
  • a circular area (main display area 5d) smaller than the width is set.
  • the areas other than the main display areas 5c and 5d are set in the sub display area 6. In this way, when a plurality of main display areas 5 are set, their shapes and sizes may be different from each other. This makes it possible to display a plurality of pieces of information (main image 7) with effects according to the type and the like. Further, since the enhanced image 8 is displayed so as to fill the space between the main display areas 5, it is possible to fully exert the lighting effect.
  • FIG. 10 (f) as the main display area 5, a rectangular area (main display area 5e) and a circular area (main display area 5f) are set as in FIG. 10 (e).
  • the area outside the directional range in which the main display areas 5e and 5f are set is set in the sub display area 6. That is, the area around the main display areas 5e and 5f is a black area where the enhanced image 8 and the like are not displayed. This makes it possible to realize an expression in which a plurality of main images 7 are projected and displayed. Further, by using the enhanced image 8 that cannot be directly seen by the observer 2, it is possible to naturally produce a plurality of main images 7.
  • the method of setting the main display area 5 and the sub display area 6 is not limited.
  • FIG. 11 is a schematic diagram showing a method of setting the position of the main image 7 in the output image data.
  • FIG. 11A is an example of the main image data 20 stored in the storage unit 19.
  • FIG. 11B is an example of the output image data 21 generated by the display image generation unit 35.
  • a method of setting the position of the main image 7 will be described.
  • a front position may be set on the image itself.
  • the main image data 20 which is the original data of the main image 7
  • an image viewed from an orientation other than the front is displayed in the main display area 5. Therefore, in the present embodiment, zero point alignment is performed in which the main image data 20 is rotated according to the observation direction of the observer 2.
  • the output image data 21 is an image in which the front surface of the main image 7 coincides with the observation direction. This allows the observer 2 to observe the front of the main image 7 from any direction. It is not necessary to perform such zero point adjustment in an image such as a bamboo grove image in which the front does not need to be set. In this case, it is possible to display an image that changes according to the observation direction.
  • FIG. 12 is a schematic diagram for explaining a method of generating an enhanced image.
  • the upper view of FIGS. 12A and 12B is a schematic view showing the main image 7, and the lower figure is a schematic view showing the output image data 21 including the main image 7 and the enhanced image 8.
  • an image of a snowy landscape is used as the main image 7.
  • FIG. 12A it is snowing toward the lower right of the screen
  • FIG. 12B it is snowing toward the lower right of the screen.
  • a method of generating an enhanced image 8 that creates a snowy atmosphere will be described with reference to FIGS. 12A and 12B.
  • the feature extraction unit 33 extracts the feature amount of the main image 7. For example, color information (for example, overall hue, etc.) regarding the main image 7 is calculated. Further, for example, brightness information (for example, overall brightness average) regarding the main image 7 is calculated. Further, for example, motion information related to the main image 7 (for example, the moving direction and speed of an element (snow) moving in the screen) is calculated. Alternatively, information that the main image 7 contains snow or information that the main image 7 is a winter landscape may be extracted based on image recognition such as machine learning.
  • image recognition such as machine learning.
  • the enhanced image generation unit 34 When the features (color information, brightness information, motion information, etc.) of the main image 7 are extracted, the enhanced image generation unit 34 generates the enhanced image 8 corresponding to the main image 7 for 360 ° in all directions.
  • an image that creates a snowy atmosphere is generated.
  • an image in which the plurality of lighting elements 25 move along the direction of snowfall is generated as the enhanced image 8.
  • a circular illumination element 25 is used in the enhanced image 8 shown in FIGS. 12A and 12B.
  • the background of the illumination element 25 is set to black, for example. This makes it possible to realize an effect in which a ball of light (lighting) moves.
  • the color and brightness of the lighting element 25 are set based on the color information and brightness information of the main image 7.
  • a color similar to the color of snow (white, etc.) is set as the color of the lighting element 25.
  • the brightness of the illumination element 25 is set according to the brightness of the main image 7.
  • the background color, brightness, and the like of the lighting element 25 may be set by using the color information and the brightness information of the main image 7.
  • the moving direction of the lighting element 25 is set based on the movement information of the main image 7.
  • the enhanced image 8 in which the illumination element 25 moves downward is generated. This makes it possible to produce an effect in which a ball of light swings downward.
  • the main image 7 shown in FIG. 12B snow is falling toward the lower right direction.
  • the enhanced image 8 is displayed on the back side of the main image 7 when viewed from the observer 2, the enhanced image 8 is generated so that the illumination element 25 moves toward the lower left direction.
  • the enhanced image 8 is generated so that the illumination element 25 moves toward the lower left direction.
  • the screen 15 is a transparent screen, the image (enhanced image 8) displayed on the screen 15 on the back side can be seen through. As a result, it is possible to exert a deep superimposition effect, and it is possible to further improve the video experience.
  • the lighting element 25 by moving and displaying the lighting element 25, it is possible to express a feeling of running such as the scenery of a car window. It is also possible to produce movements such as rotation and rocking such as windmills, wind chimes, and flames. Alternatively, it is also possible to display the still image as rotating like a rotating bonbon and move the enhanced image 8 according to the rotation. In this case, the direction in which the enhanced image 8 (illumination element or the like) is moved may be the same as that in the main image 7 or may be in the opposite direction. Further, when the brightness changes abruptly like a thunder or a spotlight, it is possible to increase the brightness of the enhanced image 8 according to the change in the brightness.
  • the enhanced image generation unit 34 generates the enhanced image 8 based on at least one of the color information, the brightness information, and the motion information regarding the main image 7. This makes it possible to produce an effect using appropriate lighting that matches the atmosphere of the main image 7.
  • the image is displayed on the tubular screen 15 in an azimuth range wider than 180 °.
  • An observer 2 observing the screen 15 is detected, and based on the detection result, a main display area 5 seen by the observer 2 and a sub-display area 6 different from the main display area 5 are set.
  • the main information (main image 7) displayed in the main display area 5 and the illumination information (enhanced image 8) of the illumination light matched to the sub display area 6 are generated.
  • a method of producing a display such as a flat display there is a technique of providing a lighting mechanism on the back surface or the like to perform lighting according to an image.
  • a light source unit that illuminates the back surface of a flat display and a surface on the viewing side outside the screen is provided, and a light source unit is controlled by generating a light emission pattern (chromaticity, illuminance, etc.) from the characteristics of the image.
  • a light emission pattern chromaticity, illuminance, etc.
  • the observation direction is not limited. For this reason, if lighting or the like with a fixed place is performed as in the case of a flat display, the display may be hindered.
  • the main display area 5 for displaying the main image 7, which is the main content, is set so as to be visible to the observer 2 as the area on the cylindrical screen 15.
  • the sub-display area 6 for displaying the enhanced image 8 that produces the display of the main image 7 is set to, for example, an area that cannot be seen by the observer 2. That is, the display range of the image (enhanced image 8) that generates the illumination light is set according to the position of the observer 2.
  • the present technology detects the direction in which the observer 2 is present on the cylindrical screen 15 in which the observation direction is not limited, displays the main image 7 on the observer 2 side, and displays the enhanced image 8 on the opposite side. By displaying the image, it is possible to realize an effective image effect without impairing the visibility of the main image 7.
  • FIG. 13 is a block diagram showing a functional configuration example of the display device according to the second embodiment.
  • the data of the enhanced image 8 (enhanced image data 221) prepared in advance is used.
  • the display device 200 includes a display unit 211, a motion sensor 212, a storage unit 219, and a controller 230.
  • the display unit 211 and the motion sensor 212 are configured in the same manner as the display unit 11 and the motion sensor 12 described with reference to, for example, FIGS. 1 and 4.
  • the storage unit 219 stores the main image data 220 and the enhanced image data 221.
  • the main image data 220 is image data that is the main image 7 displayed in the main display area 5.
  • the enhanced image data 221 is image data that becomes the enhanced image 8 displayed in the sub-display area 6.
  • the enhanced image data 221 (enhanced image 8) corresponding to the main image data 220 (main image 7) is generated in advance and stored in the storage unit 219.
  • image data including green illumination light is stored.
  • an image (video) in which a plurality of lighting elements move in the snowing direction is stored.
  • the controller 230 has a human detection processing unit 231, a display area setting unit 232, and a display image generation unit 235 as functional blocks.
  • the configuration of the human detection processing unit 231 and the display area setting unit 232 and the display image generation unit 235 includes, for example, the human detection processing unit 31, the display area setting unit 32, and the display image generation unit 35 described with reference to FIG. It is almost the same.
  • the display image generation unit 235 reads the main image data 220 and the enhanced image data 221 from the storage unit 219 to generate output image data.
  • the enhanced image 8 corresponding to the main image 7 is read. Therefore, the display device 200 does not execute the process of generating the enhanced image 8 according to the main image 7. As a result, the processing load of the controller 230 can be reduced and the processing speed can be improved. Further, by preparing the enhanced image 8 that is in the main image 7 in advance, it is possible to surely realize an appropriate effect processing.
  • FIG. 14 is a block diagram showing a functional configuration example of the display device according to the third embodiment.
  • the display device 300 includes a display unit 311, a motion sensor 312, a storage unit 319, and a controller 330.
  • the display unit 311, the motion sensor 312, and the storage unit 319 are configured in the same manner as the display unit 11, the motion sensor 12, and the storage unit 19 described with reference to, for example, FIGS. 1 and 4.
  • the controller 330 includes a human detection processing unit 331, a display area setting unit 332, a feature extraction unit 333, an enhanced image generation unit 334, a display image generation unit 335, and a black area setting unit 336 as functional blocks.
  • the configuration of each unit except the black area setting unit 336 is substantially the same as the functional block described with reference to FIG. 4, for example.
  • the blackout area setting unit 336 sets the blackout area to be the target of the blackout processing.
  • the blackout process is a process of reducing the brightness of the enhanced image 8 according to the area where the display object included in the main image 7 is displayed.
  • the enhanced image 8 is displayed so as to be partially darkened according to the display object in the main image 7.
  • the image on the back surface can be seen through, or the reflected light of the enhanced image 8 can be seen through, so that the main image 7 displayed on the front surface seen by the observer 2 can be seen. It may be difficult (such as low contrast). Therefore, it is possible to improve the visibility of the displayed object by displaying a part of the enhanced image 8 darkly according to the position of the main image 7 and the position of the observer 2.
  • the black area setting unit 336 the area on the back side of the screen 15 that overlaps with the display object when viewed from the observer 2 is calculated based on the position information of the main image 7 and the observer 2.
  • the area that overlaps with this display object is set as the blackout area to be blackened.
  • the size of the black area is set based on the size of the display object included in the main image 7.
  • the position of the black area is set based on the position of the observer 2.
  • FIG. 15 is a schematic diagram showing a display example of a main image using a blackout process.
  • the main image 7 including the building is used as the display object 26.
  • FIG. 15A is a schematic diagram showing the output image data 21 in which the black area 27 is set.
  • the main image 7 main display area 5
  • the area on the back side of the main image 7 is the area at both ends in the output image data 21.
  • the areas at both ends are set as the black areas 27.
  • the set information of the black area 27 is output to, for example, the display image generation unit 35, and the brightness of the enhanced image 8 included in the black area 27 is reduced. Note that this process may be executed by the enhanced image generation unit 334. As described above, in the present embodiment, in the enhanced image 8, the luminance of the portion overlapping the display object 26 included in the main image 7 is set to be lower than the luminance of the other portions.
  • the brightness is lowered so that the enhanced image 8 is sufficiently darkened in the portion directly behind the display object (for example, the portion that is ⁇ 180 ° with respect to the observation direction) when viewed from the observation direction.
  • a gradation is set in the vicinity of the boundary between the black area 27 and the normal area so that the brightness gradually becomes darker. This makes it possible to avoid a situation in which the brightness becomes unnaturally dark.
  • FIG. 15B is a perspective view of the screen 15 on which the blackened output image data 21 is displayed. As shown in FIG. 15B, the luminance is low on the opposite side where the display object 26 is displayed.
  • FIG. 15C is an image diagram of the main image 7 displayed by using the blackout process. By performing the blackout process and reducing the brightness of the background, it is possible to improve the contrast of the display object 26 (main image 7) displayed on the front surface.
  • FIG. 16 is a schematic diagram showing a display example of a main image given as a comparative example.
  • the blackout process is not executed here.
  • the area overlapping the display object 26 is displayed with the same brightness as the other enhanced images 8.
  • the display object 26 (main image 7) is displayed brightly as a whole due to the influence of the light of the enhanced image 8 on the rear side. Therefore, the contrast of the display object 26 may decrease.
  • the content of the main image 7 (display object 26) to be displayed to the observer 2 can be clearly displayed by executing the blackout process. Further, in the area where the blackout process is not executed, the enhanced image 8 is displayed with normal brightness. This makes it possible to realize various effects while improving the contrast.
  • FIG. 17 is a block diagram showing a functional configuration example of the display device according to the fourth embodiment.
  • the display device 400 executes a slide process of switching while sliding the image displayed on the screen 15.
  • the display device 400 includes a display unit 411, a motion sensor 412, a storage unit 419, and a controller 430.
  • the display unit 411 and the motion sensor 412 are configured in the same manner as the display unit 11 and the motion sensor 12 described with reference to, for example, FIGS. 1 and 4.
  • the storage unit 419 stores the main image data 420a and 420b.
  • the main image data 420a is image data of the main image 7a displayed in the main display area 5 before the slide processing is executed.
  • the main image data 420b is the image data of the main image 7b newly displayed in the main display area 5 by the slide processing.
  • the storage unit 419 stores a plurality of main image data in this way. In the slide processing, it is possible to switch any main image data stored in the storage unit 419.
  • the controller 430 has a human detection processing unit 431, a display area setting unit 432, a feature extraction unit 433a and 433b, an enhanced image generation unit 434a and 434b, a display image generation unit 435, and a slide control unit 436 as functional blocks. And an image synthesizing unit 437.
  • the human detection processing unit 431 and the display area setting unit 432 are configured in substantially the same manner as the functional blocks described with reference to, for example, FIG.
  • the feature extraction units 433a and 433b read the main image data 420a and 420b, and extract the feature amounts of the main images 7a and 7b, respectively.
  • the enhanced image generation units 434a and 434b generate enhanced images 8a and 8b according to the main images 7a and 7b based on the feature amounts of the main images 7a and 7b. These processes are executed in parallel, for example, during the execution of the slide process.
  • the slide control unit 436 controls the movement of the switching line when switching images in the slide process.
  • the switching line is a boundary line between an image that has already been displayed and an image that is newly displayed. In the slide process, image switching is executed while moving the switching line along the screen 15.
  • the slide control unit 436 sets the initial position of the switching line based on the position information of the observer 2.
  • the slide control unit 436 sets the moving speed, moving direction, and the like of the switching line. In this way, the slide control unit 436 controls the switching line for switching the main image 7 and the enhanced image 8 to the next image by moving along the screen 15.
  • the image composition unit 437 includes an image in which the main image 7a and the main image 7b are combined (composite main image) and an image in which the enhanced image 8a and the enhanced image 8b are combined (composite enhanced image) based on the position of the switching line.
  • the composite main image is an image in which the main image 7b is combined with the portion where the switching line has already moved (the portion where the image has been switched) in the azimuth range of 360 °, and the main image 7a is combined with the remaining portion.
  • the composite enhanced image is an image in which the enhanced image 8b is synthesized in the portion where the switching line has already moved in the azimuth range of 360 °, and the enhanced image 8a is synthesized in the remaining portion. Therefore, by moving the switching line, the composite main image is switched from the main image 7a to the main image 7b, and the composite enhanced image is switched from the enhanced image 8a to the enhanced image 8b.
  • the display image generation unit 435 generates output image data based on the composite main image and the composite enhanced image generated by the image composite unit 437. Specifically, the output image data is generated so as to display the composite main image and the composite enhanced image in the main display area 5 and the sub display area 6 set by the display area setting unit 432. As a result, the image (main image 7a and enhanced image 8a) displayed before the slide processing is switched to a new image (main image 7b and enhanced image 8b) with the switching line as a boundary. It becomes possible to do.
  • the composite main image and the composite enhanced image may be simply referred to as the main image 7 and the enhanced image 8.
  • FIG. 18 is a schematic diagram showing an example of slide processing in the display device 400.
  • a slide process for switching images by moving one switching line 28 in the circumferential direction of the screen 15 will be described.
  • the enhanced image 8 is continuously switched from the main image 7 without distinction.
  • the switching line 28 is schematically illustrated with a black triangle representing its position.
  • the slide control unit 436 sets the initial position of the switching line 28 to a position opposite to the position of the observer 2 (relative orientation is 0 °) and opposite to the screen 15 (relative orientation is 180 °). Ru. That is, the initial position of the switching line 28 is set to a position invisible to the observer 2.
  • the switching is performed from the enhanced image 8 on the opposite side seen by the observer 2.
  • the illumination light changes, and it becomes possible to inform the observer 2 of the timing at which the main image 7 is switched.
  • the starting point of switching (initial position of the switching line 28) is a position invisible to the observer 2, but it does not necessarily have to be directly behind.
  • the switching line 28 is moved counterclockwise in the figure.
  • the enhanced image 8a displayed on the left rear side of the screen 15 as viewed from the observer 2 is switched to the enhanced image 8b as the switching line 28 moves.
  • the main image 7a is switched to the main image 7b.
  • the main image 7a is completely switched to the main image 7b according to the slide of the switching line 28.
  • the switching line 28 reaches the rear right of the observer 2
  • the remaining enhanced image 8a is switched to the enhanced image 8b.
  • the portion where the image is switched may be clearly separated or may be smoothly changed by a gradation.
  • the initial position of the switching line 28 is appropriately set to a position (sub-display area) invisible to each observer 2.
  • the switching line 28 is set at the position farthest from the two observers 2, and the slide process of moving the switching line 28 counterclockwise is executed.
  • the initial position of the switching line 28 is set to a position invisible to the observer 2, and the switching line 28 is moved along the circumferential direction of the screen 15 to obtain the main image 7 and the enhanced image. 8 is continuously switched.
  • image switching starts from a position that cannot be directly seen by the observer 2. Therefore, it is possible to avoid the display that the main image 7 that has been viewed up to that point is switched so as to be broken from the middle, and it is possible to express that the images are switched so that the entire image can be smoothly repainted.
  • FIG. 19 is a schematic diagram showing another example of the slide processing in the display device 400.
  • a slide process for switching images by moving the two switching lines 28a and 28b in synchronization with the circumferential direction of the screen 15 will be described.
  • the switching line 28a is a line for switching the main image 7
  • the switching line 28b is a line for switching the enhanced image 8.
  • the switching line 28a corresponds to the first line
  • the switching line 28b corresponds to the second line.
  • the slide control unit 436 sets the initial positions of the switching lines 28a and 28b to the same positions.
  • the boundary position between the main image 7 and the enhanced image (main display area 5 and sub-display area 6) on the left side when viewed from the observer 2 is set at the initial positions of the switching lines 28a and 28b.
  • the switching line 28a moves counterclockwise along the screen 15.
  • the main image 7a is switched to the main image 7b from the left side to the right side when viewed from the observer 2.
  • the switching line 28b moves clockwise along the screen 15 in synchronization with the switching line 28a.
  • the enhanced image 8a is switched to the enhanced image 8b from the left side to the right side when viewed from the observer 2.
  • the moving speeds of the switching lines 28a and 28b are appropriately set so that the switching between the main image 7 and the enhanced image 8 ends at the same time.
  • the switching line 28a for switching the main image and the switching line 28b for switching the enhanced image 8 are used as the switching line 28, the switching line 28a for switching the main image and the switching line 28b for switching the enhanced image 8 are used. Further, the initial positions of the switching lines 28a and 28b are set at positions that serve as boundaries between the main image 7 and the enhanced image 8, and the switching lines 28a and 28b are simultaneously moved so as to be in the same moving direction as viewed from the observer 2. , The main image 7 and the enhanced image 8 are switched in synchronization. This makes it possible to produce an effect in which the display of the screen 15 (main image 7) and its illumination light (enhanced image 8) change while sliding as a whole. In the slide process of synchronously switching the main image 7 and the enhanced image 8 in this way, the switching lines 28a and 28b may be slid in the vertical direction or the diagonal direction of the screen 15. This makes it possible to realize various effects.
  • FIG. 20 is a block diagram showing a functional configuration example of the display device according to the fifth embodiment.
  • FIG. 21 is a schematic view showing the appearance of the display device 500.
  • the display device 500 is provided with an illumination unit 505 that emits illumination light.
  • the display device 500 includes a display unit 511, a motion sensor 512, a storage unit 519, a controller 530, and a lighting unit 505.
  • the display unit 511, the motion sensor 512, and the storage unit 519 are configured in the same manner as the display unit 11, the motion sensor 12, and the storage unit 19 described with reference to, for example, FIGS. 1 and 4.
  • the illumination unit 505 has a plurality of illumination elements 506 that emit illumination light around the display device 500.
  • Each illuminating element 506 is arranged along the side surface of the pedestal portion 510.
  • FIG. 21 schematically illustrates a plurality of lighting elements 506 arranged above the motion sensor 512 (camera sensor).
  • the plurality of illumination elements 506 are provided on the outside of the screen 515.
  • a light emitting element such as an LED is used.
  • the illumination element 506 may be a color light source that emits illumination light of an arbitrary color, or a monochromatic light source or the like may be used.
  • the controller 530 has a human detection processing unit 531, a display area setting unit 532, a feature extraction unit 533, an enhanced image generation unit 534, a display image generation unit 535, and a lighting pattern generation unit 536 as functional blocks. .. Among these functional blocks, each functional block excluding the illumination pattern generation unit 536 is configured in substantially the same manner as the functional block described with reference to FIG. 4, for example.
  • the illumination pattern generation unit 536 generates an illumination pattern for causing the illumination unit 505 (illumination element 506) to emit light.
  • the illumination pattern includes, for example, information that specifies the emission range, color, brightness, timing, and the like of the illumination light.
  • the lighting pattern information is an example of lighting information.
  • the illumination pattern generation unit 536 generates an illumination pattern according to the feature amount of the main image 7 extracted by the feature extraction unit 533. Specifically, the color and brightness of the illumination light are set according to the color and brightness of the main image 7. Further, the timing and rhythm of blinking the illumination light are set based on the motion information of the main image 7.
  • a light emission range for emitting the illumination light is set based on the information of the main display area 5 and the sub display area 6 set by the display area setting unit 532. For example, the azimuth range in which the sub-display area 6 is set is set in the light emitting range.
  • the illumination element 506 included in this emission range emits illumination light.
  • the generated lighting pattern information is output to the lighting unit 505. Then, each lighting element 506 is driven according to the lighting pattern.
  • the method of setting the light emission pattern is not limited.
  • the effect of the illumination light by the illumination unit 505 is used in combination with the illumination using the enhanced image 8.
  • the overall brightness and the like can be enhanced by the illumination light of the illumination unit 505. It is also possible to produce the main image 7 by using only one of the illumination unit 505 and the enhanced image 8.
  • FIG. 22 is a schematic cross-sectional view showing a configuration example of the display device according to the sixth embodiment.
  • the display device 600 includes a pedestal unit 610, an image projection unit 613, a reflection mirror 614, a screen 615, and an illumination unit 605.
  • the illumination unit 605 is provided inside the screen 615.
  • the screen 615 is a transparent screen having a cylindrical shape and diffusing light incident from a predetermined direction (predetermined incident angle).
  • the screen 615 is typically configured using HOE.
  • the HOE has the property of selectively diffracting light incident at a predetermined incident angle.
  • the image light emitted from the image projection unit 613 is reflected by the reflection mirror 614 and is incident on the screen 615 at a predetermined incident angle.
  • the screen 615 selectively diffuses the image light reflected by the reflection mirror 614 and incident from diagonally above, and emits the image light from the outer peripheral surface. Light incident on the screen 615 at an angle other than the predetermined incident angle is transmitted.
  • the lighting unit 605 has a plurality of lighting elements 606.
  • Each illumination element 606 is arranged on the upper surface of the pedestal portion 610 so as to surround the entire circumference of the emission portion of the image projection portion 613.
  • the illumination element 606 for example, a light emitting element such as an LED is used.
  • the plurality of illumination elements 606 are arranged diagonally upward on the outside of the screen 615, respectively. Therefore, the illumination light (shaded area in the figure) emitted from each illumination element 606 is incident on the screen 615 from diagonally below. In this way, the illumination light incident on the screen 615 from a direction different from the image light passes through the screen 615 without being diffused.
  • the plurality of illumination elements 606 are provided inside the screen 615 so that the illumination light is incident on the screen 615 from a direction different from the predetermined direction (predetermined incident angle).
  • a transparent screen that mainly transmits visible light is used as the display of the display device.
  • the specific configuration of the display is not limited.
  • a transparent LCD (Liquid Crystal Display), a transparent OLED, a transparent display configured by using a transparent LED, or the like may be used.
  • an opaque display that does not transmit visible light may be used as the display of the display device.
  • a projector image projection unit
  • a cylindrical screen or the like made of an opaque material is used as a display of a display device.
  • Examples of such an opaque screen include a transmissive diffusion screen made of a white material or the like.
  • a self-luminous opaque display may be used as a display of a display device.
  • an LCD having no light transmission an OLED display having no light transmission, an LED display, or the like is used.
  • an opaque display for example, by setting a sub-display area in a part that cannot be seen by the observer (such as the back surface) and displaying an enhanced image, a natural effect can be exhibited. It is possible.
  • the shape of the screen is not limited to the cylindrical shape.
  • a prismatic screen, a screen having an elliptical cross section, or the like may be used.
  • the main image is displayed in the area visible to the observer, and the area invisible to the observer is used for illumination. Is possible.
  • the shape of the screen is not limited, and a tubular screen having an arbitrary shape in which the directional range in which the image is displayed is wider than 180 ° may be used.
  • the enhanced image may be configured as an illumination image unrelated to the main image.
  • constant illumination can be performed regardless of the content and type of the main image.
  • the display positions of the main image and the illumination image are appropriately set according to the position of the observer.
  • the display device can also be used as a lighting device for illuminating a room or the like while displaying the main image to the observer.
  • a motion sensor that detects an observer observing the display, Based on the detection result of the motion sensor, a region setting unit for setting a first region visible to the observer and a second region different from the first region as a region on the display.
  • a display device including an information generation unit that generates main information displayed in the first area and lighting information related to illumination light presented in accordance with the second area.
  • the area setting unit obtains the first area based on the azimuth range of the display seen from one eye of the observer and the convergence angle when the display is viewed by both eyes of the observer.
  • the display constitutes a cylindrical surface on which an image is displayed. In the region setting unit, the diameter of the cylindrical surface is D, the observation distance Lv from the axis of the cylindrical surface to the observation position, the distance between the left and right eyes of the observer is Le, and the first region is defined.
  • the display angle ⁇ is calculated according to the following equation (1), where the display angle, which is the azimuth range to be used, is ⁇ . Equation (1) Display device. (4) The display device according to any one of (1) to (3).
  • the motion sensor can detect the distance to the observer, and the motion sensor can detect the distance to the observer.
  • the area setting unit is a display device that sets the first area according to the distance to the observer. (5) The display device according to any one of (1) to (4). The motion sensor can detect a plurality of observers at the same time.
  • the area setting unit is a display device that calculates a plurality of individual areas as regions on the display that can be seen by the plurality of observers, and sets a region that is a union of the plurality of individual regions as the first region. (6) The display device according to any one of (1) to (5).
  • the main information includes information on the main image displayed in the first area.
  • a display device that includes information on an enhanced image that generates the illumination light by displaying the illumination information in the second region and directs the display of the main image.
  • the information generation unit is a display device that generates the enhanced image according to the main image or reads the enhanced image corresponding to the main image.
  • the information generation unit is a display device that generates the enhanced image based on at least one of color information, brightness information, and motion information related to the main image.
  • the information generation unit is a display device that sets the brightness of a portion of the enhanced image that overlaps the display object included in the main image to be lower than the brightness of the other portion.
  • the information generation unit is a display device that controls a switching line for switching between the main image and the enhanced image to the next image by moving along the display.
  • the information generation unit sets the initial position of the switching line to a position invisible to the observer, and moves the switching line along the circumferential direction of the display to continuously connect the main image and the enhanced image. Display device to switch to.
  • the switching line includes a first line for switching the main image and a second line for switching the enhanced image.
  • the information generation unit sets the initial positions of the first and second lines to positions that serve as boundaries between the main image and the enhanced image, and the first and second lines are viewed by the observer.
  • a display device that synchronously switches between the main image and the enhanced image by simultaneously moving them in the same moving direction.
  • a lighting unit having a plurality of lighting elements that emit the illumination light is provided around the display device.
  • the illumination information is a display device including information on an illumination pattern of the illumination light.
  • the plurality of lighting elements are display devices provided outside the display.
  • the display is a transparent screen that diffuses light incident from a predetermined direction.
  • the plurality of lighting elements are display devices provided inside the display so that the illumination light is incident on the display from a direction different from the predetermined direction.
  • the display is a display device that is an all-around display capable of displaying an image all around.
  • the display is a display device that is either a transparent display that transmits visible light or an opaque display that does not transmit visible light.
  • the motion sensor is a display device including at least one of a camera sensor, an infrared sensor, a charcoal sensor, an ultrasonic sensor, a ToF sensor, and a directional microphone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術の一形態に係る表示装置は、表示部と、人感センサと、領域設定部と、情報生成部とを具備する。前記表示部は、画像が表示される方位範囲が180°よりも広い筒形のディスプレイを有する。前記人感センサは、前記ディスプレイを観察する観察者を検出する。前記領域設定部は、前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定する。前記情報生成部は、前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する。

Description

表示装置及び表示方法
 本技術は、画像を表示する表示装置及び表示方法に関する。
 従来、ディスプレイに表示される画像を演出する方法が知られている。特許文献1には、薄型テレビに照明装置を組み合わせた映像装置用照明システムについて記載されている。このシステムには、ディスプレイの背面側及び鑑賞側を照明する光源部が設けられる。またディスプレイに表示される映像データを解析して照明データが生成される。この照明データに応じて光源部による照明が行われる。これにより、ディスプレイに映る画面の輝度や色に応じた光を発光することが可能となり、広がり感のある臨場感をもった照明が可能となる(特許文献1の明細書段落[0083][0104][0168]図1、図2等)。
特開2007-220651号公報
 近年では、様々な方向に画像を表示できる筒形のディスプレイ等が開発されており、観察方向に応じた効果的な演出を実現する技術が求められている。
 以上のような事情に鑑み、本技術の目的は、観察方向に応じた効果的な演出を実現することが可能な表示装置及び表示方法を提供することにある。
 上記目的を達成するため、本技術の一形態に係る表示装置は、表示部と、人感センサと、領域設定部と、情報生成部とを具備する。
 前記表示部は、画像が表示される方位範囲が180°よりも広い筒形のディスプレイを有する。
 前記人感センサは、前記ディスプレイを観察する観察者を検出する。
 前記領域設定部は、前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定する。
 前記情報生成部は、前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する。
 この表示装置では、筒形のディスプレイに180°よりも広い方位範囲で画像が表示される。このディスプレイを観察する観察者が検出され、その検出結果をもとに、観察者から見える第1の領域と、第1の領域とは異なる第2の領域とが設定される。そして第1の領域に表示される主情報と、第2の領域に合わせた照明光の照明情報とが生成される。これにより、例えば観察者の位置に合わせた照明等が可能となり、観察方向に応じた効果的な演出を実現することが可能となる。
 本技術の一形態に係る表示方法は、画像が表示される方位範囲が180°よりも広い筒形のディスプレイを観察する観察者を検出することを含む。
 前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とが設定される。
 前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とが生成される。
本技術の第1の実施形態に係る表示装置の構成例を示す模式図である。 表示装置による画像表示の一例を示す模式図である。 表示装置の使用例を示す模式図である。 表示装置の機能的な構成例を示すブロック図である。 表示装置の基本的な動作を示すフローチャートである。 一人の観察者に対して設定される主表示領域について説明する模式図である。 表示角θの算出方法の一例を示す模式図である。 表示角θの設定例を示すグラフである。 複数の観察者に対して設定される主表示領域について説明する模式図である。 主表示領域及び副表示領域の設定例を示す模式図である。 出力画像データにおける主画像の位置を設定する方法を示す模式図である。 エンハンス画像の生成方法について説明するための模式図である。 第2の実施形態に係る表示装置の機能的な構成例を示すブロック図である。 第3の実施形態に係る表示装置の機能的な構成例を示すブロック図である。 黒抜き処理を用いた主画像の表示例を示す模式図である。 比較例として挙げる主画像の表示例を示す模式図である。 第4の実施形態に係る表示装置の機能的な構成例を示すブロック図である。 表示装置におけるスライド処理の一例を示す模式図である。 表示装置におけるスライド処理の他の一例を示す模式図である。 第5の実施形態に係る表示装置の機能的な構成例を示すブロック図である。 表示装置の外観を示す模式図である。 第6の実施形態に係る表示装置の構成例を示す模式的な断面図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 [表示装置の構成]
 図1は、本技術の第1の実施形態に係る表示装置の構成例を示す模式図である。
 表示装置100は、様々な方位に向けて画像を表示することができる筒形の装置である。本開示において、画像には、静止画像及び動画像(映像)が含まれる。
 本実施形態では、表示装置100は、全体として円筒型の装置として構成される。以下では、円筒形の表示装置100の中心軸Oと平行な方向(表示装置100が延在する方向)をZ軸方向と記載する。またZ軸方向と垂直に交わる面内において、互いに直交する方向をX軸方向及びY軸方向と記載する。
 図1Aは、Y軸方向に沿って見た表示装置100の外観を示す側面図である。図1Bは、中心Oを含むようにXZ面で切断した表示装置100の断面を示す断面図である
 図1に示すように表示装置100は、台座部10と、表示部11と、人感センサ12と有する。
 台座部10は、表示装置100の台座となる筐体である。表示装置100は、台座部10を机や床等に配置して用いられる。以下では、台座部10が設けられる側を表示装置100の下側と記載し、その反対側(後述する反射ミラー14が設けられる側)を表示装置100の上側と記載する。
 台座部10は、略円筒形状の側面と、側面の下側に接続される底面とを有し、内側が空洞となっている。台座部10の内側の空間には、後述する表示部11の画像投射部13、記憶部19、及びコントローラ30等が設けられる。また、台座部10の側面には、人感センサ12が設けられる。この他、図示しない通信モジュールや電源モジュール等が台座部10に設けられてもよい。
 表示部11は、様々な方位に向けて画像を表示する多方位表示が可能な表示モジュールである。本実施形態では、表示部11として、投射型の表示モジュールが用いられる。
 表示部11は、画像投射部13と、反射ミラー14と、スクリーン15とを有する。このうち、スクリーン15は、本実施形態に係るディスプレイとして機能する。
 画像投射部13は、画像光1を投射するプロジェクタである。ここで画像光1とは、画像を構成する光であり、画像に含まれる各画素を表示するための光束を含む。画像光1は、所定の光軸を中心に放射状に投射される。図1Bに示すように、画像投射部13は、光軸が中心軸Oと一致するように、台座部10の内側の空間に表示装置100の上側に向けて配置される。
 画像投射部13は、典型的にはカラー画像を表示可能なカラープロジェクタであるが、単色表示を行うプロジェクタ等が用いられてもよい。
 画像投射部13の具体的な構成は限定されない。例えばレーザ光源を含むレーザプロジェクタ等が用いられる。あるいは、LED(Light Emitting Diode)光源やハロゲンランプ等の光源を含むプロジェクタが用いられてもよい。
 反射ミラー14は、画像投射部13から投射された画像光1をスクリーン15に向けて反射する。反射ミラー14は、画像光1を反射する反射面を有し、反射面を画像投射部13に向けて表示装置100の上側に配置される。
 反射ミラー14は、典型的には、反射面で反射された画像光1がスクリーン15のどの位置に対しても入射角度が等しくなるように設計される。このような設計は、例えば、放物面や自由曲面を用いて反射面を適宜構成することで実現可能である。
 図1Bに示す例では、中心軸Oを中心として放射状に投射された画像光1が、中心軸Oを含む面内において略平行な光(平行光)として、中心軸Oから離れる方向に反射される。これにより、スクリーン15に対する画像光1の入射角度をそろえることが可能となる。また平行光の角度を制御することで、スクリーン15に対する入射角度を制御可能である。
 この他、反射ミラー14の具体的な構成は限定されない。
 スクリーン15は、入射した画像光1を拡散して画像を表示する。
 本実施形態では、スクリーン15として中心軸Oを中心とする円筒型のスクリーンが用いられる。スクリーン15は、例えば図示しない円筒型の透明部材の内側あるいは外側に貼合して用いられる。あるいはスクリーン15自体が構造部材として構成されてもよい。スクリーン15の下側には台座部10が接続され、上側には反射ミラー14が接続される。
 以下では、スクリーン15の内側の面、すなわち中心軸Oに向けられた面を内周面16と記載する。またスクリーン15の外側の面、すなわち内周面16とは反対側の面を外周面17と記載する。
 図1に示すように、スクリーン15は、内周面16から入射した画像光1を外周面17から拡散光として出射する透過型の拡散スクリーンである。従って、外周面17からは、画像を構成する各画素の拡散光が出射されることになる。これにより、外周面17は、画像が表示される円筒型の表示面となる。このように、スクリーン15は、画像が表示される円筒面(外周面17)を構成する。
 また本実施形態では、スクリーン15は、中心軸Oを軸として360°の方位に向けて画像を表示可能なように構成される。すなわち、スクリーン15は、全周に画像を表示可能な全周スクリーン(全周ディスプレイ)である。これにより、観察者は、どの方位からでもスクリーン15に表示された画像を観察することが可能となる。
 なお、スクリーン15は、必ずしも全方位に画像を表示可能である必要はなく、例えば外周面17の一部の方位に画像が表示されないような構造(スリット等)があってもよい。
具体的には、画像が表示される方位範囲が180°よりも広い筒形のスクリーン15を用いることが可能である。このようなスクリーン15には、観察者から画像が見えなくなる領域が必ず存在することになる。本技術は、このように画像が見えなくなる領域が生じるような筒形のスクリーン15に適用される。
 以下では、主に全周スクリーンについて説明する。
 スクリーン15としては、典型的には、透過型HOE(Holographic Optical Element)を用いて構成された透明拡散スクリーンが用いられる。ここでHOEとは、干渉縞を利用して入射光を回折する素子である。この干渉縞を適宜露光することで、光の進行方向を変えることや、光を拡散させることが可能である。
 本実施形態では、透過型HOEを用いて、内周面16に対して所定の入射角度で入射した光を外周面17から略垂直方向に向けて拡散させるスクリーン15が構成される。上記した反射ミラー14は、この所定の入射角度で画像光1をスクリーン15に入射させるように構成される。これにより、スクリーン15の外周面17には、垂直方向から見た場合に最も明るく画像が表示されることになる。
 なお、スクリーン15(透過型HOE)に対して、所定の入射角度以外の角度で入射した光は、干渉縞による回折をほとんど受けることなくスクリーン15を透過する。このため、例えばスクリーン15に対して垂直方向から入射する背景の光等は、そのままスクリーン15を透過する。観察者は、スクリーン15を挟んで反対側にある背景に重畳された画像等を観察することが可能である。従って、スクリーン15は、可視光を透過する透明スクリーン(透明ディスプレイ)であるといえる。
 このように、表示部11は、表示装置100の下部中央に配置された画像投射部13(プロジェクタ)からの映像を上面の反射ミラー14で円筒にまかれたスクリーン15(透明拡散スクリーン)に360度の全方位にわたって投影する構成となっている。
 なお、表示部11の構成は、プロジェクタと透明拡散スクリーンとを用いた構成だけでなく、他の構成が用いられてもよい。
 例えば、表示部11として、透明OLED(Organic Light Emitting Diode)や透明LED(Light Emitting Diode)を用いて構成された曲面ディスプレイ等か用いられてもよい。またLEDの素子サイズを微細化した透明マイクロLEDディスプレイ等が用いられてもよい。この他、表示部11の構成は限定されず、投射型あるいは自発光型の任意の透明ディスプレイが用いられてよい。
 人感センサ12は、スクリーン15を観察する観察者を検出する。具体的には、観察者2が存在する方位や、観察者2までの距離を検出可能なセンサが人感センサ12として用いられる。
 本実施形態では、人感センサ12として、表示装置100の周辺を撮影する複数のカメラセンサ18が用いられる。図1に示す例では、スクリーン15の下側の台座部10の側面に、外周に沿って複数のカメラセンサ18が設けられる。
 各カメラセンサ18は、表示装置100の全周(360°の方位)を撮影できるようにそれぞれ配置される。例えば、1つのカメラセンサ18の方位角方向の画角が60°である場合には、台座部10の側面に6台のカメラセンサ18が等間隔で配置される。
 カメラセンサ18は、例えばカラー画像を撮影するRGBカメラであり、CMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。
 またカメラセンサ18として、赤外線を受光して赤外線画像を撮影する赤外線カメラ 等が用いられてもよい。この場合、赤外線光源が表示装置100の側面等に配置される。これにより、観察者を精度よく検出することが可能である。
 人感センサ12は、カメラセンサ18に限らず、他のセンサを用いて構成されてもよい。例えば、観察者を熱源として探知する焦電センサ、観察者で反射された超音波を検出する超音波センサ、観察者までの距離をToF(Time of Flight)方式で測定するToFセンサ、観察者2の音声や移動音を検出する指向性マイク等が用いられてもよい。またこれらのセンサは単体で用いられてもよいし、複数種類のセンサを組み合わせて用いることも可能である。以下では、人感センサ12の図示を省略する場合がある。
 [表示装置の動作概要]
 図2は、表示装置100による画像表示の一例を示す模式図である。ここで、表示装置100の動作概要について説明する。
 図2(a)及び(b)は、観察者2がスクリーン15を観察している状態を表示装置100の側面及び上面から見た模式図である。図2(c)は、スクリーン15の外周面17を平面に展開した展開図である。
 図2(a)に示すように、一人の観察者2がある方向からスクリーン15を観察しているとする。上記したように、スクリーン15は全周スクリーンであるため、スクリーン15に表示される画像を観察できる方位範囲は、表示装置100の周りの全方位となる。
 この時、表示装置100では、人感センサ12の出力に基づいて観察者2がスクリーン15を観察する方向が推定される。そして、観察者2がスクリーン15を観察する方向(観察方向3)に応じて、スクリーン15上に複数の表示領域が設定される。
 図2(c)には、スクリーン15に設定される表示領域の一例が模式的に図示されている。本実施形態では、スクリーン15上に主表示領域5と副表示領域6とが設定される。なお、図2(c)に示す主表示領域5及び副表示領域6はあくまで一例である。
 以下では、観察方向3を基準とする方位を相対方位と記載する。例えば、スクリーン15の中心軸Oから観察者2に向かう方位を相対方位の原点(相対方位=0°)とする。図2(c)では、主表示領域5及び副表示領域6の設定例が、相対方位を用いて図示されている。
 また、表示装置100を基準とする方位を絶対方位と記載する。例えば表示装置100の正面位置に設定された方位を絶対方位の原点(絶対方位=0°)とする。上記した相対方位は、観察方向3に応じて原点が変化するが、絶対方位は、表示装置100に対して固定された方位となる。
 主表示領域5は、スクリーン15上の観察者2から見える部分に設定される表示領域である。従って、観察者2は、主表示領域5を直接見ることが可能である。
 図2(c)では、主表示領域5の一例として、相対方位が±90°となる矩形の領域が設定される。また主表示領域5の上下方向の幅は、スクリーン15と同じ幅に設定される。すなわち、観察者2から見てスクリーン15の前側の半面が主表示領域5となる。
 本実施形態では、主表示領域5は、第1の領域に相当する。
 また主表示領域5には、主画像7が表示される。ここで主画像7とは、例えば観察者2に表示するべき画像であり、表示装置100においてメインコンテンツとなる画像である。
 例えば、風景やキャラクタ等の画像が主画像7として主表示領域5に表示される。また主画像7は、見る方位によって変化する画像であってもよいし、見る方位によらず常に同じ場面を表示する画像であってもよい。また例えば、UI画面やメッセージ画面等が主画像7として表示されてもよい。
 本実施形態では、主画像7の情報は、第1の領域に表示される主情報の一例である。
 副表示領域6は、主表示領域5とは異なる部分に設定される表示領域である。副表示領域6には、例えば観察者2が直接見ることができない部分も含まれる。
 図2(c)では、副表示領域6の一例として、相対方位が-90°から-180°となる矩形の領域と、相対方位が+90°から+180°となる矩形の領域が設定される。また副表示領域6の上下方向の幅は、スクリーン15と同じ幅に設定される。従って、主表示領域5以外のスクリーン15の全ての領域(すなわち観察者2から見てスクリーン15の後側の半面)が副表示領域6に設定される。
 本実施形態では、副表示領域6は、第2の領域に相当する。
 また、副表示領域6には、エンハンス画像8が表示される。ここでエンハンス画像8とは、例えば主画像7をエンハンス(拡張)するような照明光を発生させる画像である。すなわち、エンハンス画像8は、副表示領域6に表示されることで照明光を発生し、主画像7の表示を演出する画像であると言える。従って、スクリーン15で拡散されたエンハンス画像8の光は、副表示領域6に合わせて提示される照明光として機能する。
 本実施形態では、エンハンス画像8の情報は、第2の領域に合わせて提示される照明光に関する照明情報の一例である。
 本実施形態では、このように設定された主表示領域5及び副表示領域6に対して、主画像7及びエンハンス画像8が同時に表示される。図2(b)には、図2(c)に示す主表示領域5及び副表示領域6に主画像7及びエンハンス画像8をそれぞれ表示した場合に、各画像が表示される方向(方位範囲)が模式的に図示されている。
 ここでは、観察者2に対して前半分のスクリーン15には主画像7が表示され、後半分のスクリーン15にはエンハンス画像8が表示される。このように、エンハンス画像8を表示することで、表示装置100の周辺(壁、床、天井、あるいは他の家具等)が照明され、主画像7をエンハンス(拡張)するような照明効果を実現することが可能となる。
 図3は、表示装置100の使用例を示す模式図である。図3には、主画像7をエンハンスするような照明効果をつけた時のイメージが模式的に図示されている。このイメージでは、全体として暗い室内において、表示装置100の周りが主画像7を演出する照明光で照らされている。図2に示すように表示装置100は、例えばリビングや寝室等の室内に配置して用いられる。
 例えば、竹林のような映像を主画像7として表示する場合、周辺を緑色に照明するようなエンハンス画像8を表示することで、部屋の雰囲気を映像(主画像7)に合わせることができる。この場合、スクリーン15上の観察者2から見える主表示領域5には、主画像7として竹林の映像が表示される。また主表示領域5以外の副表示領域6(例えば観察者2から見えない領域)には、エンハンス画像8として緑色の映像が表示される。これにより、例えば竹林の空間的な広がりを演出するといったことが可能となる。
 また、主表示領域5及び副表示領域6は、人感センサ12の出力をもとに動的に設定される。これにより、観察者2のいるほうへ見せたい映像(主画像7)を表示し、観察者2のいないほうへ、見せたい映像をエンハンスするような映像(エンハンス画像8)を表示することが可能となる。この結果、主画像7の視認性を阻害することなく、主画像7の雰囲気等を演出することが可能となり、画像が視聴される空間を効果的に演出することが可能となる。
 [表示装置の機能ブロック]
 図4は、表示装置の機能的な構成例を示すブロック図である。表示装置100は、上記した表示部11及び人感センサ12に加え、さらに、記憶部19と、コントローラ30とを有する。
 記憶部19は、不揮発性の記憶デバイスである。記憶部19としては、例えばSSD(Solid State Drive)等の固体素子を用いた記録媒体や、HDD(Hard Disk Drive)等の磁気記録媒体が用いられる。この他、記憶部19として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
 記憶部19には、表示装置100の全体の動作を制御するための制御プログラム(図示省略)が記憶される。制御プログラムは、本実施形態に係るプログラムであり、記憶部19は、プログラムが記録されているコンピュータが読み取り可能な記録媒体として機能する。
 また、記憶部19には、主画像7のデータである主画像データ20が記憶される。主画像データ20としては、例えば360°の全方位分の画像データが用いられる。主画像データ20の形式等は限定されない。
 主画像データ20は、例えば図示しない通信部を介してネットワーク上のサーバ等から読み込まれてもよいし、他のデバイス(スマートフォンやデジタルカメラ等)から記憶部19に読み込まれてもよい。
 コントローラ30は、表示装置100が有する各ブロックの動作を制御する。コントローラ30は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部19に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。コントローラ30は、本実施形態に係わる情報処理装置として機能する。
 コントローラ30として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。また例えばGPU(Graphics Processing Unit)等のプロセッサがコントローラ30として用いられてもよい。
 本実施形態では、コントローラ30のCPUが本実施形態に係るプログラムを実行することで、機能ブロックとして、人検知処理部31、表示領域設定部32、特徴抽出部33、エンハンス画像生成部34、及び表示画像生成部35が実現される。そしてこれらの機能ブロックにより、本実施形態に係る表示方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。
 人検知処理部31は、人感センサ12の出力に基づいて、表示装置100の周りでスクリーン15を観察する観察者2の位置を検知して、観察者2の位置情報を生成する。ここで、観察者2の位置情報とは、表示装置100(スクリーン15)から見た観察者2の位置を表すことが可能な情報である。本実施形態では、複数のカメラセンサ18からの映像をもとに観察者2のいる位置が検出され、その検出結果に基づいて、位置情報が生成される。
 具体的には、表示装置100から見た観察者2の方位(絶対方位)が位置情報として検出される。例えば表示装置100には、正面位置が設定され、正面位置を基準として画像処理等が実行される。この正面位置を基準として、観察者2の方位が±180°の範囲(あるいは0°から360°の範囲)で算出される。
 また表示装置100から見た観察者2までの距離が位置情報として検出されてもよい。この場合、例えば表示装置100(スクリーン15)の中心軸Oから観察者2までの距離(視点までの距離)が算出される。この他、観察者2の位置情報として、中心軸Oに直交する面内(XY平面)での座標位置が算出されてもよい。
 表示領域設定部32は、人感センサ12の検出結果に基づいて、スクリーン15上の領域として、観察者2から見える主表示領域5と、主表示領域5とは異なる副表示領域6とを設定する。本実施形態では、人検知処理部31から出力された観察者2の位置情報をもとに、360°分のスクリーン15の範囲において、主表示領域5及び副表示領域6がそれぞれ設定される。各表示領域を設定する方法については、後に詳しく説明する。
 本実施形態では、表示領域設定部32は、領域設定部に相当する。
 特徴抽出部33は、主画像データ20に基づいて、主画像7の特徴量を抽出する。例えば、主画像7の各画素値に基づいて、主画像7の主要な色を表すパラメータや、主画像7の輝度値が特徴量として算出される。また主画像7が映像である場合等には、複数フレーム分のデータに基づいて、主画像7における動きのパターン(例えば画像中での位置が動的に変化する要素の動きの方向や速度等)が特徴量として算出される。あるいは、色や輝度の変化量等が算出されてもよい。
 各特徴量を算出する方法は限定されず、主画像7の特徴を抽出可能な任意の画像認識技術が用いられてよい。
 エンハンス画像生成部34は、特徴抽出部33により抽出された主画像7の特徴量に基づいて、主画像7に応じたエンハンス画像8を生成する。
 エンハンス画像生成部34では、例えば主画像7と同系統の色の照明光を発生させるようなエンハンス画像8が生成される。例えば、主画像7が全体として緑色の画像である場合、緑色のエンハンス画像8が生成される。この他、主画像7の輝度や動きに合わせて変化するようなエンハンス画像8が生成されてもよい。
 また、エンハンス画像8としては、例えば360°の全方位分の画像データが生成される。この場合、必要な範囲のデータが後述する表示画像生成部35により抽出して用いられることになる。
 エンハンス画像8を生成する方法は限定されない。
 表示画像生成部35は、表示部11に出力される出力画像データ(表示映像)を生成する。出力画像データは、最終的にスクリーン15に表示される画像のデータである。
 具体的には、表示画像生成部35は、表示領域設定部32により設定された主表示領域5及び副表示領域6の情報に基づいて、各表示領域に対応する主画像7とエンハンス画像8とを組み合わせた出力画像データを生成する。
 上記したように、本実施形態では、主画像7及びエンハンス画像8が、360°の全方位分用意される。例えば各画像の0度位置(正面位置)が決まっている場合等には、出力画像データを作成する際に、それぞれの0度位置を観察者2の位置(相対方位=0°)に合わせた状態にしてから、主表示領域5及び副表示領域6ごとに主画像7及びエンハンス画像8が切り出される。この切り出された画像を組み合わせて出力画像データが生成される。
 また、本実施形態では、出力画像データとして、画像投射部13が反射ミラー14に向けて投射する矩形の画像を表すデータが生成される。この矩形の画像が反射ミラー14により反射されることで、スクリーン15の全周に主画像7及びエンハンス画像8が表示される。従って、出力画像データには、表示部11の光学系に合わせて変形された主画像7及びエンハンス画像8が含まれる。
 表示画像生成部35では、このような表示部11の投射光学系を踏まえて、主画像7及びエンハンス画像8がスクリーン15上の主表示領域5及び副表示領域6にそれぞれ適正に表示されるように、出力画像データが生成される。
 このように、出力画像データは、主画像7の情報(主情報)と、エンハンス画像8の情報(照明情報)とを含むデータである。
 本実施形態では、上記した特徴抽出部33、エンハンス画像生成部34、及び表示画像生成部35が共動することで、第1の領域に表示される主情報と、第2の領域に合わせて提示される照明光に関する照明情報とを生成する情報生成部が実現される。
 [表示装置の基本動作]
 図5は、表示装置の基本的な動作を示すフローチャートである。図5に示す処理は、例えば、表示装置100の動作中に繰り返し実行されるループ処理である。
 ここでは、観察者2の方位に合わせて表示領域を設定する処理(ステップ101及び102)と、主画像の特徴にあったエンハンス画像を生成する処理(ステップ103及び104)とが並列して実行される。
 ステップ101では、表示装置100の周辺にいる観察者2が検出される。ここでは、人検知処理部31により、人感センサ12の検出結果(例えば表示装置100の周辺の画像等)が読み込まれ、観察者2の位置情報が生成される。例えば、表示装置100から見た観察者2の絶対方位が位置情報として推定される。位置情報は、表示領域設定部32に出力される。
 ステップ102では、主表示領域5及び副表示領域6が設定される。ここでは、表示領域設定部32により、観察者2の位置情報に基づいて、主表示領域5及び副表示領域6がそれぞれ設定される。典型的には、主表示領域5が設定された後で、その主表示領域5合わせて副表示領域6が設定される。
 例えば、観察者2の位置情報として、観察者2までの距離等が検出されている場合には、後述する図6に示す方法等を用いて主表示領域5が設定される。あるいは、観察者2の絶対方位を中心とする所定の方位範囲(例えば図2に示すように±90°等)が主表示領域5に設定される。また主表示領域5が設定されると、その結果に合わせて副表示領域6が適宜設定される。各表示領域の情報は、表示画像生成部35に出力される。
 ステップ103では、主画像7から特徴量が検出される。ここでは、特徴抽出部33により、再生対象となる主画像7が読み込まれ、主画像7の特徴量が抽出される。
 主画像7が映像等である場合、映像の配色、輝度、動き等の特徴が常時変化する。特徴抽出部33では、このように時間とともに変化する特徴量が、画像認識処理等を実行することで適宜抽出される。特徴量の情報は、エンハンス画像生成部34に出力される。
 ステップ104では、エンハンス画像8が生成される。ここでは、エンハンス画像生成部34により、主画像7の特徴量に基づいてエンハンス画像8が生成される。
 例えば、主画像7の配色と同系統の色の画像が生成される。また例えば、主画像7の輝度や動きの変化に合わせて、画像の輝度や柄等が変化するエンハンス画像8が生成される。
 なお、エンハンス画像8は、全方位分の画像データとして生成され、表示画像生成部35に出力される。
 次に、主画像7及びエンハンス画像8を含む出力画像データが生成される(ステップ105)。ここでは、表示画像生成部35により、主画像7及びエンハンス画像8を含む画像データが生成される。この時、表示領域設定部32により設定された主表示領域5及び副表示領域6の情報に基づいて、主画像7及びエンハンス画像8を表示する位置が決定される。
 生成された出力画像データは、表示部11(画像投射部13)に出力される。この結果、スクリーン15上の観察者2から見える主表示領域5には、メインコンテンツである主画像7が表示され、その他の副表示領域6には、照明光を発生するエンハンス画像8が表示されることになる。
 出力画像データが生成されると、表示装置100による表示処理が終了したか否かが判定される(ステップ106)。
 例えば表示装置100のスイッチがOFFにされて表示が終了した場合(ステップ106のYes)、表示処理が終了する。また、表示が終了していない場合(ステップ106のNo)、上記した並列処理が再度実行される。従って、観察者2が移動した場合等には、移動後の位置に合わせて主画像7及びエンハンス画像8が表示される。
 なお、ステップ101において観察者2を検出する周期と、画像の表示処理(出力画像データの生成処理)を行う周期とは、必ずしも一致するわけではない。例えばステップ101では、人検知処理部31の動作周期で観察者2の位置情報が更新される。一方で、出力画像データを生成する一連の処理は、例えば予め設定されたフレームレートで実行される。
 このため、例えば人検知処理部31の動作が、出力画像データの更新に間に合わない場合等には、ステップ102の処理として、表示領域設定部32により、過去に算出された主表示領域5及び副表示領域6の情報(典型的には直近の情報)が代わりに出力される。すなわち、観察者2の検出が間に合わない場合には、古い表示領域がそのまま使用される。これにより、例えば映像をフリーズさせることなく表示を継続することが可能となる。
 [主表示領域及び副表示領域の設定]
 図6は、一人の観察者2に対して設定される主表示領域5について説明する模式図である。図6Aは、一人の観察者2がスクリーン15を観察している状態を表示装置100の上面から見た模式図である。
 ここでは、観察者2がある観察位置から観察可能なスクリーンの範囲を、主表示領域5として設定する方法について説明する。具体的には、スクリーン15の中心軸Oに直交する面内(XY平面)において、観察者2の左右の眼からスクリーン15の外周面17に引いた接線で挟まれた領域が、主表示領域5として設定される。
 以下では、主表示領域5を規定する方位範囲を表す角度を表示角θと記載する。図6Aに示すように、表示角θは、左右の眼から外周面17に引かれた各接線の接点と中心軸Oとのなす角度である。
 図6Bには、表示角θで規定される主表示領域5が図示されている。表示角θは、主表示領域5の幅を表す角度である。従って、観察方向を中心として方位角の範囲が表示角θとなる領域が、主表示領域5として設定される。
 図7は、表示角θの算出方法の一例を示す模式図である。図7A及び図7Bには、XY平面における観察者2の左眼及び右眼とスクリーン15との位置関係が模式的に図示されている。ここでは、観察者2の左眼及び右眼の位置(観察位置)をそれぞれE1及びE2と記載する。
 図7Aは、観察者2の一方の眼から見えるスクリーン15の方位範囲αを示す模式図である。図7Aには、右眼の観察位置(E2)から見た方位範囲αが矢印を用いて図示されている。方位範囲αは、XY平面において、観察者2の一方の眼から、スクリーン15の外周面17に引いた2つの接線の各接点と中心軸Oとのなす角度である。
 図7Bは、観察者2の両方の眼でスクリーン15を見た場合の輻輳角βを示す模式図である。図7Bには、輻輳角βが矢印を用いて図示されている。輻輳角βは、XY平面において、観察者2の両方の眼の観察位置(E1及びE2)と中心軸Oとのなす角度である。
 図6Aに示す表示角θは、方位範囲α及び輻輳角βを用いて表される。すなわち、θ/2=(α/2+β/2)と表すことが可能である。本実施形態では、この関係を利用して、表示角θが算出される。
 具体的には、外周面17の直径をDとし、外周面17の中心軸Oから観察位置までの観察距離(視聴距離)をLvとし、観察者2の左右の眼の間隔をLeとし、主表示領域5を規定する方位範囲である表示角をθとして、以下の式(1)に従って表示角θが算出される。
Figure JPOXMLDOC01-appb-M000002
                          式(1)
 ここで、外周面17の直径Dとしては、実際のスクリーン15の設計値等が用いられる。また観察距離Lvとしては、人感センサ12により検出された観察者2までの距離が用いられてもよいし、表示装置100を使用する際に想定される視聴距離等が用いられてもよい。左右の眼の間隔Leとしては、例えば使用者の入力値が用いられてもよいし、デフォルトの値(例えば65mm等)が用いられてもよい。
 式(1)の右辺の逆余弦関数(cos-1)が表す角度はα/2であり、方位範囲αに対応する項となる。また逆正接関数(tan-1)が表す角度はβ/2であり、輻輳角βに対応する項となる。
 このように、本実施形態では、観察者2の一方の眼から見えるスクリーン15の方位範囲αと、観察者2の両方の眼でスクリーン15を見た場合の輻輳角βとに基づいて、主表示領域5(表示角θ)が設定される。
 これにより、観察者2が観察できる範囲に確実に主表示領域5を設定することが可能となる。また観察者2が見えない範囲に主画像7が表示されるといった事態を回避し、エンハンス画像8を表示する範囲を広げることが可能となる。この結果、効果的な演出を実現することが可能となる。
 図8は、表示角θの設定例を示すグラフである。図8には、(1)式に従って算出された表示角θと観察距離Lvとの関係が示されている。グラフの横軸は、観察距離Lvであり、縦軸は、表示角θである。ここでは、左右の眼の間隔Leを65mmとしている。また図8には、スクリーン15の直径をD=100mm、200mm、及び300mmに設定した場合のデータがそれぞれプロットされている。
 例えば、D=100mm、Lv=300mmの場合、表示角θ=173°となる。このような主表示範囲の設定は、例えば卓上ディスプレイを比較的近い距離から見る場合に有効である。もちろん、他の条件でも表示角θを適宜算出可能である。
 例えば、観察距離Lvが遠くなるほど、表示角θは大きくなり180°に漸近する。この場合、スクリーン15の前側半分の略全面が主表示領域5となり、主画像7が大きく表示される。これにより主画像7を見やすく表示することが可能となる。
 一方で、観察距離Lvが近いほど、表示角θは小さくなる。特に、直径Dが大きいスクリーン15では、近距離で観察する観察者2から見えるスクリーンの範囲は狭くなる。このような場合には、観察者2に見える領域にのみ主画像7を表示すれば十分であり、他の領域にはエンハンス画像8が表示可能となる。これにより、必要な情報を適切な範囲に表示するとともに、演出効果を高めるといったことが可能となる。
 主表示領域5を設定する方法は、上記した方法に限定されない。例えば式(1)に従って算出される表示角θで規定される範囲が調整されてもよい。
 例えば、主表示領域5をあえて狭く設定することも可能である。この場合、副表示領域6を広く設定することが可能となり、エンハンス画像8が広くなる。例えば、スクリーン15の視野角(拡散光の見える角度範囲)が狭い場合には、視野角が制限になる可能性もある。例えば、HOEを用いたスクリーン15では視野角は90°程度であり、観察者2から見てスクリーン15の側面付近の画像は、観察できない場合がある。
 このように、スクリーンの視野角が狭い場合は主表示領域5を狭く設定してもよい。例えば視野角による制限に基づいて、実際に拡散光の表示が見える角度を上限として主表示領域5が設定される。この場合、副表示領域6(エンハンス画像8)が広がることになり、より照明の効果(範囲)を大きくすることが可能である。
 また、必ずしもエンハンス画像8が表示される副表示領域6を観察者2から見えない範囲に抑える必要はない。例えば副表示領域6(エンハンス画像8)を広げ、わざと観察者2に少し見せるようにして、縁取りの様な演出映像効果を付け加えることも可能である。
 また、主表示領域5と副表示領域6とが部分的に重なるように設定されてもよい。この場合、主画像7とエンハンス画像8とが重なっている部分がグラデーション等で徐々に画像が変わるように出力画像データが生成される。これにより、主画像7とエンハンス画像8と切り替わりとなる部分を目立たせないようにすることが可能となり、違和感のない自然な演出が可能となる。
 また例えば、主表示領域5をあえて広く設定することも可能である。この場合、副表示領域6が狭く設定され、エンハンス画像8が狭くなる。
 例えば、観察者2の位置(方向)を検出する際の応答速度や精度が低い場合には、主表示領域5が広く設定される。これにより、観察者2の目にエンハンス画像8が見えてしまうといった事態を十分に回避することが可能である。
 また観察者2までの距離(観察距離Lv)に応じて主表示領域5が設定されてもよい。すなわち、主表示領域5が観察距離Lvに合わせて、アクティブに変化するように設定されてもよい。この場合、観察者2が近づいた場合には、主表示領域5が狭く設定され、観察者2が離れた場合には、主表示領域5が広く設定される。この時、副表示領域6は、主表示領域5の変化に合わせて、適宜設定される。これにより、観察距離Lvに応じた最適な演出を常時行うことが可能となる。
 図9は、複数の観察者に対して設定される主表示領域5について説明する模式図である。上記では、主に一人の観察者2に対して主表示領域5が設定される場合について説明した。ここでは、二人以上の観察者2が存在する場合の主表示領域5の設定方法について説明する。図9Aは、二人の観察者2a及び2bがスクリーン15を観察している状態を表示装置100の上面から見た模式図である。図9Bは、二人の観察者2a及び2bに対して設定される主表示領域5の一例を示す模式図である。なお図9Bでは、主表示領域5及び副表示領域6が、表示装置100を基準とする絶対方位で表されている。
 本実施形態では、人感センサ12は、複数の観察者2を同時に検出可能であるとする。例えば人感センサ12として複数のカメラセンサ18が用いられる場合には、各カメラセンサ18が撮影した画像がリアルタイムで人検知処理部31に出力される。これにより、複数の観察者2を同時に検出することが可能となる。この時、人検知処理部31では、各観察者2の絶対方位がそれぞれ推定される。
 図9Aでは、図中左側の観察者2aの観察方向が絶対方位でω1と推定され、図中右側の観察者2bの観察方向が絶対方位でω2と推定される。表示領域設定部32では、各絶対方位ω1及びω2を基準として、各観察者2から見える個別領域9がそれぞれ設定される。
 個別領域9は、一人の観察者2について設定される主表示領域5と同様の方法(例えば図6及び図7を参照して説明した方法等)で設定される。すなわち個別領域9は、各観察者2に対して主画像7が表示するための領域であるといえる。
 図9Bには、観察者2a及び観察者2bについて設定された個別領域9a及び9bがそれぞれ絶対方位の範囲として模式的に図示されている。観察者2aの個別領域9aは、ω1を中心とした範囲であり、観察者2bの個別領域9bは、ω2を中心とした範囲である。
 本実施形態では、表示領域設定部32により、このように観察者2ごとに算出された個別領域9a及び9bの和集合となる領域が、主表示領域5として設定される。すなわち、各観察者2のそれぞれに主画像7を表示する部分(個別領域9)がORの関係になるように、主表示領域5が設定される。
 従って、図9Bでは、個別領域9aの全ての方位範囲と、個別領域9bの全ての方位範囲との両方を含む方位範囲が、主表示領域5として設定される。この場合、主表示領域5には、個別領域9a及び9bの重複する方位範囲及び、個別領域9a及び9bが重複しない方位範囲がともに含まれることになる。
 このように、本実施形態では、表示領域設定部32により、複数の観察者2から見えるスクリーン15上の領域として複数の個別領域9が算出され、複数の個別領域9の和集合となる領域が主表示領域5に設定される。
 また、主表示領域5が設定されると、その他の領域に副表示領域6が適宜設定される。
 これにより、複数の観察者2が存在する場合であっても、各観察者2に見せるべき主画像7を適正に表示することが可能となる。また、例えば全ての観察者2から見えない部分等に副表示領域6を設定することが可能である。これにより、エンハンス画像8等を直接見せることなく、違和感のない演出等を実現することが可能である。
 なお、複数の観察者2が存在する場合であっても、上記した方法を用いて、主表示領域5や副表示領域6が適宜調整することが可能である。
 図10は、主表示領域及び副表示領域の設定例を示す模式図である。
 図10(a)では、主表示領域5として、上下方向の幅がスクリーン15の幅よりも狭い矩形の領域が中央部分に設定される。また主表示領域5以外の領域は、副表示領域6に設定される。従って、主表示領域5を囲うように、主表示領域5の左側及び右側に加え、上側及び下側にもエンハンス画像8が表示されることになる。なお、副表示領域6は、主表示領域5の上側、あるいは下側の一方にのみ設定されてもよい。
 これにより、観察者2が見ている側、すなわち観察者2から見て前方側にも照明効果を付加することが可能となり、演出を際立たせることが可能となる。
 図10(b)では、主表示領域5として、楕円形の領域が設定される。また主表示領域5以外の領域は、副表示領域6に設定される。このように、主表示領域5の形状は、矩形である必要はない。なお、主表示領域5の横幅は、例えば式(1)等に従って設定される。
 このように、主表示領域5の形状を設定することで、例えば絵(主画像7)を切り抜いたような表現を実現することが可能である。また、図10(a)と同様に、観察者2から見て前方側にも照明効果を付加することが可能となる。
 図10(c)では、主表示領域5として、楕円形の領域が設定される。また、主表示領域5が設定された方位範囲の外側の領域が、副表示領域6に設定される。すなわち、楕円形の主表示領域5の周りは、エンハンス画像8等は表示されない黒色の領域となる。
 これにより、主画像7が浮き出して表示されるような表現を実現することが可能となる。また、観察者2にはエンハンス画像8が直接見えないため、自然な演出が可能となる。
 なお図10(b)及び(c)に示す主表示領域5の形状は、楕円形に限定されず、任意に設定可能である。
 図10(d)では、主表示領域5として、観察者2から見える方位範囲に、上下方向の幅がスクリーン15の幅と同じ二つの矩形の領域(主表示領域5a及び5b)が設定される。また、各主表示領域5a及び5b以外の領域は、副表示領域6に設定される。主表示領域5a及び5bには、それぞれ異なる主画像7が表示される(例えば写真と文字情報等)。このように、観察者2から見える方位範囲に互いに異なる主画像7を表示する複数の主表示領域5が設定されてもよい。なお、主表示領域5は、横に並ぶように設定される必要はなく、例えば縦に並ぶように設定されてもよい。
 また、各主表示領域5ごとに複数の副表示領域6が設定されてもよい。例えば、主表示領域5に隣接する部分や重なる部分が、その主表示領域5に対応する副表示領域6として設定される。各副表示領域6には、対応する主画像7に応じたエンハンス画像8が表示される。
 このように、左右あるいは上下に異なる主画像7を表示し、それぞれを演出するエンハンス画像8を表示することも可能である。
 図10(e)では、主表示領域5として、観察者2から見える方位範囲に、上下方向の幅がスクリーン15の幅よりも小さい矩形の領域(主表示領域5c)と、直径がスクリーン15の幅よりも小さい円形の領域(主表示領域5d)とが設定される。また、各主表示領域5c及び5d以外の領域は、副表示領域6に設定される。このように、複数の主表示領域5を設定する場合、その形状やサイズは互いに異なっていてもよい。
 これにより、複数の情報(主画像7)をその種類等に応じた演出を加えて表示することが可能となる。また、各主表示領域5の間を埋めるように、エンハンス画像8が表示されるため、照明効果を十分に発揮することが可能となる。
 図10(f)では、主表示領域5として、図10(e)と同様に矩形の領域(主表示領域5e)と、円形の領域(主表示領域5f)とが設定される。各主表示領域5e及び5fが設定された方位範囲の外側の領域が、副表示領域6に設定される。すなわち、主表示領域5e及び5fの周りは、エンハンス画像8等は表示されない黒色の領域となる。
 これにより、複数の主画像7が浮き出して表示されるような表現を実現することが可能となる。また観察者2に直接見えないエンハンス画像8を用いて、複数の主画像7を自然に演出することが可能となる。
 この他、主表示領域5及び副表示領域6を設定する方法は限定されない。
 [主画像の位置の設定]
 図11は、出力画像データにおける主画像7の位置を設定する方法を示す模式図である。図11Aは、記憶部19に記憶された主画像データ20の一例である。図11Bは、表示画像生成部35により生成される出力画像データ21の一例である。ここでは、主画像7の位置を設定する方法について説明する。
 図11Aに示すように、例えば建物、人物、キャラクタ等の主画像では、画像自体に正面位置が設定される場合がある。この場合、主画像7のもともとのデータである主画像データ20では、表示装置100の正面(絶対方位=0°)と一致するように画像の正面が設定されている。
 このような主画像データ20を正面の位置をずらさずに用いた場合、正面以外の方位から見た画像が主表示領域5に表示されてしまう。
 従って、本実施形態では、主画像データ20を観察者2の観察方位にあわせて回転するゼロ点合わせが実行される。
 例えば図11Bに示すように、観察者2の絶対方位ωが推定された場合、絶対方位ωに画像の正面が一致するように、画像が回転(スライド)される。従って、出力画像データ21は、主画像7の正面が観察方位と一致した画像となる。これにより、観察者2はどの方位からでも主画像7の正面を観察することが可能となる。
 なお、竹林の画像のように正面を設定する必要のない画像では、このようなゼロ点合わせを行う必要はない。この場合、観察方向に応じて変化するような画像表示が可能となる。
 [エンハンス画像の生成]
 図12は、エンハンス画像の生成方法について説明するための模式図である。図12A及び図12Bの上側の図は、主画像7を示す模式図であり、下側の図は、主画像7及びエンハンス画像8を含む出力画像データ21を示す模式図である。図12では、雪が降っている風景の映像が主画像7として用いられる。
 図12Aでは、画面の下方向に向けて雪が降っており、図12Bでは、画面の右下方向に向けて雪が降っている。
 ここでは、図12A及び図12Bを参照して、雪が降る雰囲気を演出するエンハンス画像8を生成する方法について説明する。
 まず、特徴抽出部33により、主画像7の特徴量が抽出される。例えば、主画像7に関する色情報(例えば全体の色合い等)が算出される。また例えば、主画像7に関する明るさ情報(例えば全体の輝度平均等)が算出される。また例えば、主画像7に関する動き情報(例えば、画面内を移動する要素(雪)の移動方向や速度等)が算出される。
 あるいは、機械学習等の画像認識に基づいて、主画像7に雪が含まれているといった情報や、主画像7が冬の景色であるといった情報が抽出されてもよい。
 主画像7の特徴(色情報、明るさ情報、動き情報等)が抽出されると、エンハンス画像生成部34により、主画像7に応じたエンハンス画像8が360°の全方位分生成される。
 ここでは、雪の降る雰囲気を演出する画像が生成される。具体的には、複数の照明要素25が雪の降る方向に沿って移動するような映像がエンハンス画像8として生成される。図12A及び12Bに示すエンハンス画像8では、円形の照明要素25が用いられる。なお照明要素25の背景は例えば黒色に設定される。これにより、光の玉(照明)が移動するような演出を実現することが可能となる。
 例えば照明要素25の色や輝度が、主画像7の色情報や明るさ情報に基づいて設定される。ここでは、雪の色と同系色の色(白色等)が照明要素25の色に設定される。また照明要素25の明るさが、主画像7の輝度に応じて設定される。なお、主画像7の色情報や明るさ情報を用いて、照明要素25の背景の色や輝度等が設定されてもよい。
 また例えば、照明要素25の移動方向が、主画像7の動き情報に基づいて設定される。例えば図12Aに示す主画像7では、雪が下方向に向けて降っている。この場合、照明要素25が下方向に向けて移動するようなエンハンス画像8が生成される。これにより、光の玉が下方向に振るような演出が可能となる。
 また図12Bに示す主画像7では、雪が右下方向に向けて降っている。この場合、エンハンス画像8は観察者2から見て主画像7の裏側に表示されるため、照明要素25が左下方向に向けて移動するようなエンハンス画像8が生成される。これにより、光の玉が主画像7の雪と同様に右下方向に振るような演出が可能となる。
 また、スクリーン15は、透明スクリーンであるため、裏側のスクリーン15に表示される画像(エンハンス画像8)が透けて見える。これにより、奥行きのある重畳効果を発揮することが可能であり、さらに映像体験が向上することが可能である。
 この他にも、照明要素25を動かして表示することで、車窓の風景等の疾走感を表現することが可能である。また、風車、風鈴、炎といった回転や揺動などの動きを演出することも可能である。あるいは、回転するぼんぼりのように、静止画像を回転するように表示して、その回転に合わせてエンハンス画像8を動かすことも可能である。この場合、エンハンス画像8(照明要素等)を動かす向きは、主画像7と同じ向きでもよいし、逆向きでもよい。
 また、雷鳴やスポットライトのように、輝度が急激に変化する場合に、輝度の変化に合わせてエンハンス画像8の輝度を明るくするといった演出も可能である。
 このように、本実施形態では、エンハンス画像生成部34により、主画像7に関する色情報、明るさ情報、及び動き情報の少なくとも1つに基づいて、エンハンス画像8が生成される。
これにより、主画像7の雰囲気に合った適正な照明を用いて演出を行うことが可能となる。
 以上、本実施形態に係る表示装置100では、筒形のスクリーン15に180°よりも広い方位範囲で画像が表示される。このスクリーン15を観察する観察者2が検出され、その検出結果をもとに、観察者2から見える主表示領域5と、主表示領域5とは異なる副表示領域6とが設定される。そして主表示領域5に表示される主情報(主画像7)と、副表示領域6に合わせた照明光の照明情報(エンハンス画像8)とが生成される。これにより、例えば観察者2の位置に合わせた照明等が可能となり、観察方向に応じた効果的な演出を実現することが可能となる。
 平面ディスプレイ等の表示を演出する方法として、背面等に照明機構を設け映像に応じた照明を行う技術がある。これらの技術は平面ディスプレイの背面と、画面より外側の鑑賞側の面を照明する光源部を設け、映像の特徴から発光パターン(色度・照度など)を生成して光源部が制御される。これにより、映像に適した照明空間を容易に形成でき、臨場感を向上させることができる。このように、平面ディスプレイの場合は視聴方向が限られているため、照明を行う部分(背面と鑑賞側等)を規定することができる。
 一方で、例えば円筒ディスプレイのように、様々な方向から観察が可能な装置では、観察方向が限られない。このため、平面ディスプレイの場合と同様に場所を固定した照明等を行うと、かえって表示の妨げとなる可能性がある。
 本実施形態では、円筒型のスクリーン15上の領域として、メインコンテンツである主画像7を表示する主表示領域5が観察者2から見えるように設定される。この時、主表示領域5と合わせて、主画像7の表示を演出するエンハンス画像8を表示する副表示領域6が、例えば観察者2から見えないような領域等に設定される。すなわち、観察者2の位置に応じて、照明光を生成する画像(エンハンス画像8)の表示範囲が設定される。
 このように、本技術は、観察方向が限られない円筒型のスクリーン15において、観察者2のいる方向を検知し、観察者2側に主画像7を表示し、反対側にエンハンス画像8を表示することで、主画像7の視認性を阻害することなく、効果的な映像演出を実現することが可能となる。
 <第2の実施形態>
 本技術に係る第2の実施形態の表示装置について説明する。これ以降の説明では、上記の実施形態で説明した表示装置100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
 図13は、第2の実施形態に係る表示装置の機能的な構成例を示すブロック図である。表示装置200では、予め用意されたエンハンス画像8のデータ(エンハンス画像データ221)が用いられる。
 表示装置200は、表示部211、人感センサ212、記憶部219、及びコントローラ230を有する。表示部211及び人感センサ212は、例えば図1及び図4等を参照して説明した表示部11及び人感センサ12と同様に構成される。
 記憶部219は、主画像データ220と、エンハンス画像データ221とを記憶する。主画像データ220は、主表示領域5に表示される主画像7となる画像データである。エンハンス画像データ221は、副表示領域6に表示されるエンハンス画像8となる画像データである。
 本実施形態では、主画像データ220(主画像7)に対応するエンハンス画像データ221(エンハンス画像8)が予め生成されて記憶部219に格納されている。例えば、竹林の風景を表示する主画像7に対応するエンハンス画像8として、緑色の照明光を含む画像データが記憶される。また例えば雪の降る風景を表示する主画像7に対応するエンハンス画像8として、複数の照明要素が雪の降る方向に合わせて移動するような画像(映像)が記憶される。
 コントローラ230は、機能ブロックとして人検知処理部231と、表示領域設定部232と、表示画像生成部235とを有する。人検知処理部231、表示領域設定部232、及び表示画像生成部235の構成は、例えば図4を参照して説明した人検知処理部31、表示領域設定部32、及び表示画像生成部35と略同様である。
 例えば、表示画像生成部235により、主画像データ220と、エンハンス画像データ221とが記憶部219から読み込まれて、出力画像データが生成される。このように、本実施形態では、主画像7に対応するエンハンス画像8が読み込まれる。従って、表示装置200では、エンハンス画像8を主画像7に応じて生成する処理等は実行されない。
 これにより、コントローラ230の処理負荷が軽減するとともに、処理速度を向上することが可能となる。また主画像7にあったエンハンス画像8を予め用意することで、適正な演出処理を確実に実現することが可能となる。
 <第3の実施形態>
 図14は、第3の実施形態に係る表示装置の機能的な構成例を示すブロック図である。表示装置300では、エンハンス画像8に対して黒抜き処理が実行される。
 表示装置300は、表示部311、人感センサ312、記憶部319、及びコントローラ330を有する。表示部311、人感センサ312、及び記憶部319は、例えば図1及び図4等を参照して説明した表示部11、人感センサ12、及び記憶部19と同様に構成される。
 コントローラ330は、機能ブロックとして、人検知処理部331と、表示領域設定部332と、特徴抽出部333と、エンハンス画像生成部334と、表示画像生成部335と、黒抜き領域設定部336とを有する。黒抜き領域設定部336を除く各部の構成は、例えば図4を参照して説明した機能ブロックと略同様である。
 黒抜き領域設定部336は、黒抜き処理の対象となる黒抜き領域を設定する。
 ここで、黒抜き処理とは、主画像7に含まれる表示物が表示される領域に合わせてエンハンス画像8の輝度を下げる処理である。この黒抜き処理により、エンハンス画像8が主画像7内の表示物に合わせて一部暗くなるように表示される。
 例えば、透明な円筒形状のスクリーンの場合、裏面の映像が透けて見えたり、エンハンス画像8の反射光が透けて見えたりすることで、観察者2から見える表面に表示された主画像7が見えにくくなる(コントラストが落ちるなど)可能性がある。このため、主画像7の位置及び観察者2の位置に合わせて、エンハンス画像8の一部を暗く表示することで、表示物の視認性を向上させることが可能となる。
 黒抜き領域設定部336では、主画像7及び観察者2の位置情報に基づいて、観察者2から見て表示物と重なるスクリーン15の裏側の領域が算出される。この表示物と重なる領域が、黒抜き処理の対象となる黒抜き領域として設定される。
 具体的には、主画像7に含まれる表示物のサイズに基づいて、黒抜き領域のサイズが設定される。また観察者2の位置に基づいて黒抜き領域の位置が設定される。
 図15は、黒抜き処理を用いた主画像の表示例を示す模式図である。図15では、表示物26として建物を含む主画像7が用いられる。
 図15Aは、黒抜き領域27が設定された出力画像データ21を示す模式図である。例えば観察者2の観察方向3が出力画像データ21の中央の方位に対応している場合、図15Aに示すように主画像7(主表示領域5)は出力画像データ21の中央に配置される。この場合、主画像7(表示物26)の裏側となる領域は、出力画像データ21において、両端の領域となる。この両端の領域が黒抜き領域27として設定される。
 設定された黒抜き領域27の情報は、例えば表示画像生成部35に出力され、黒抜き領域27に含まれるエンハンス画像8の輝度が下げられる。なおこの処理は、エンハンス画像生成部334で実行されてもよい。
 このように、本実施形態では、エンハンス画像8において、主画像7に含まれる表示物26と重なる部分の輝度が他の部分の輝度よりも低く設定される。
 図15Aに示す例では、観察方向から見て表示物の真後ろとなる部分(例えば観察方位に対して±180°となる部分)では十分にエンハンス画像8が暗くなるように輝度が下げられる。なお、黒抜き領域27と通常の領域との境界付近には、輝度が徐々に暗くなるようにグラデーションが設定される。これにより、不自然に輝度が暗くなるといった事態を回避することが可能となる。
 図15Bは、黒抜き処理された出力画像データ21が表示されたスクリーン15の斜視図である。図15Bに示すように、表示物26が表示される反対側では、輝度が低くなっている。図15Cは、黒抜き処理を用いて表示された主画像7のイメージ図である。黒抜き処理を行い、背景の輝度が低下することで、前面に表示された表示物26(主画像7)のコントラストを向上することが可能となっている。
 図16は、比較例として挙げる主画像の表示例を示す模式図である。図16A及び図16Bに示すように、ここでは黒抜き処理が実行されない。この場合、表示物26と重なる領域は、他のエンハンス画像8と同様の明るさで表示される。この結果、図16Cに示すように、表示物26(主画像7)は、後ろ側のエンハンス画像8の光の影響により全体的に明るく表示される。このため表示物26のコントラストが低下する恐れがある。
 これに対し、本実施形態では、黒抜き処理を実行することで、観察者2に表示するべき主画像7の内容(表示物26)を明瞭に表示することが可能となる。また、黒抜き処理を実行していない領域では、エンハンス画像8が通常の輝度で表示される。これにより、コントラストを向上しつつ、様々な演出効果を実現することが可能である。
 <第4の実施形態>
 図17は、第4の実施形態に係る表示装置の機能的な構成例を示すブロック図である。表示装置400では、スクリーン15に表示された画像をスライドさせながら切り替えるスライド処理が実行される。
 表示装置400は、表示部411、人感センサ412、記憶部419、及びコントローラ430を有する。表示部411及び人感センサ412は、例えば図1及び図4等を参照して説明した表示部11及び人感センサ12と同様に構成される。
 記憶部419は、主画像データ420a及び420bを記憶する。主画像データ420aは、スライド処理が実行される前に、主表示領域5に表示される主画像7aの画像データである。主画像データ420bは、スライド処理により新たに主表示領域5に表示される主画像7bの画像データである。記憶部419には、このように複数の主画像データが記憶されている。スライド処理では、記憶部419に記憶された任意の主画像データを切り替えることが可能である。
 コントローラ430は、機能ブロックとして、人検知処理部431と、表示領域設定部432と、特徴抽出部433a及び433bと、エンハンス画像生成部434a及び434bと、表示画像生成部435と、スライド制御部436と、画像合成部437とを有する。これらの機能ブロックのうち、人検知処理部431及び表示領域設定部432は、例えば図4を参照して説明した機能ブロックと略同様に構成される。
 特徴抽出部433a及び433bは、主画像データ420a及び420bを読み込み、主画像7a及び7bの特徴量をそれぞれ抽出する。エンハンス画像生成部434a及び434bは、主画像7a及び7bの特徴量に基づいて、各主画像7a及び7bに応じたエンハンス画像8a及び8bを生成する。これらの処理は、例えばスライド処理の実行中に並列して実行される。
 スライド制御部436は、スライド処理において画像を切り替える際の切り替えラインの移動を制御する。切り替えラインは、既に表示されている画像と新たに表示される画像との境界線である。スライド処理では、切り替えラインをスクリーン15に沿って移動させながら画像の切り替えが実行される。
 スライド制御部436では、観察者2の位置情報に基づいて、切り替えラインの初期位置が設定される。また、スライド制御部436では、切り替えラインの移動速度及び移動方向等が設定される。
 このようにスライド制御部436は、スクリーン15に沿って移動することで、主画像7及びエンハンス画像8をそれぞれ次の画像に切り替える切り替えラインを制御する。
 画像合成部437は、切り替えラインの位置に基づいて、主画像7a及び主画像7bを組み合わせた画像(合成主画像)と、エンハンス画像8a及びエンハンス画像8bとを組み合わせた画像(合成エンハンス画像)とを生成する。
 合成主画像は、360°分の方位範囲において、切り替えラインがすでに移動した部分(画像が切り替えられた部分)に主画像7bを合成し、残りの部分に主画像7aを合成した画像である。また、合成エンハンス画像は、360°分の方位範囲において、切り替えラインがすでに移動した部分にエンハンス画像8bを合成し、残りの部分にエンハンス画像8aを合成した画像である。
 従って、切り替えラインが移動することで、合成主画像は、主画像7aから主画像7bに切り替わることになり、また合成エンハンス画像は、エンハンス画像8aからエンハンス画像8bに切り替わることになる。
 表示画像生成部435は、画像合成部437により生成された合成主画像及び合成エンハンス画像に基づいて、出力画像データを生成する。具体的には、表示領域設定部432で設定された主表示領域5及び副表示領域6に、合成主画像及び合成エンハンス画像を表示するように出力画像データが生成される。これにより、切り替えラインを境界として、スライド処理の前から表示されている画像(主画像7a及びエンハンス画像8a)が、新しい画像(主画像7b及びエンハンス画像8b)にスライドしながら切り替えられる様子を表示することが可能となる。以下では、合成主画像及び合成エンハンス画像を、単に主画像7及びエンハンス画像8と記載する場合がある。
 図18は、表示装置400におけるスライド処理の一例を示す模式図である。ここでは、1つの切り替えライン28をスクリーン15の周方向に移動させて画像を切り替えるスライド処理について説明する。この場合、エンハンス画像8は、主画像7と区別なく連続的に切り替えられる。図18では、切り替えライン28が、その位置を表す黒い三角を用いて模式的に図示されている。
 図18Aに示すように、一人の観察者2がスクリーン15を観察しているとする。ここでは、スライド制御部436により、切り替えライン28の初期位置が、観察者2の位置(相対方位が0°)に対してスクリーン15の反対側となる位置(相対方位が180°)に設定される。すなわち、切り替えライン28の初期位置は、観察者2から見えない位置に設定される。
 このように、図18Aでは、主画像7を切り替える際に観察者2が見ている反対側のエンハンス画像8から切り替えが行われる。エンハンス画像8が先に切り替わり始めることで、照明光が変化し、主画像7が切り替わるタイミングを観察者2に伝えることが可能となる。
 なお、切り替えの起点(切り替えライン28の初期位置)は観察者2から見えない位置とするが、必ずしも真後ろである必要はない。
 図18Aに示す例では、切り替えライン28が図中の反時計回りに移動される。この場合、観察者2から見てスクリーン15の左後方に表示されていたエンハンス画像8aが、切り替えライン28の移動に伴いエンハンス画像8bに切り替えられる。さらに切り替えライン28が観察者2から見て左前方に到達すると、主画像7aが主画像7bに切り替えられる。この結果、主画像7aは切り替えライン28のスライドにあわせて主画像7bに完全に切り替えられる。さらに切り替えライン28が観察者2からみて右後方に到達すると、残りのエンハンス画像8aがエンハンス画像8bに切り替えられる。
 なお、画像が切り替わる部分(切り替えライン28の周辺部分)は、くっきり分かれていてもよいし、滑らかにグラデーションで変化していてもよい。
 また、図18Bに示すように、複数の観察者2がスクリーン15を観察しているとする。この場合、切り替えライン28の初期位置は、各観察者2から見えない位置(副表示領域)に適宜設定される。図18Bでは、二人の観察者2から最も離れた位置に切り替えライン28が設定され、反時計回りに切り替えライン28を移動するスライド処理が実行される。
 このように、本実施形態では、切り替えライン28の初期位置が観察者2から見えない位置に設定され、切り替えライン28をスクリーン15の周方向に沿って移動させることで、主画像7及びエンハンス画像8が連続的に切り替えられる。
 これにより、観察者2から直接見えない位置から画像の切り替えが始まることになる。従って、それまで見ていた主画像7が途中から割れるように切り替わるといった表示が回避され、滑らかに全体を塗り替えらえるように画像を切り替える表現が可能となる。
 図19は、表示装置400におけるスライド処理の他の一例を示す模式図である。ここでは、2つの切り替えライン28a及び28bをスクリーン15の周方向に同期して移動させて画像を切り替えるスライド処理について説明する。この場合、主画像7が切り替わる際に、それと同期したようにエンハンス画像8が切り替えられる。
 ここで、切り替えライン28aは、主画像7を切り替える線であり、切り替えライン28bは、エンハンス画像8を切り替える線である。本実施形態では、切り替えライン28aは、第1のラインに相当し、切り替えライン28bは、第2のラインに相当する。
 図19に示すように、一人の観察者2がスクリーン15を観察しているとする。ここでは、スライド制御部436により、切り替えライン28a及び28bの初期位置が、同じ位置に設定される。図19では、観察者2から見て左側の主画像7及びエンハンス画像(主表示領域5と副表示領域6)との境界位置が、各切り替えライン28a及び28bの初期位置に設定される。
 例えば、切り替えライン28aは、スクリーン15に沿って反時計回りに移動する。これにより、観察者2からみて左側から右側にかけて主画像7aが主画像7bに切り替えられる。この場合、切り替えライン28bは、切り替えライン28aと同期してスクリーン15に沿って時計回りに移動する。これにより、観察者2からみて左側から右側にかけてエンハンス画像8aがエンハンス画像8bに切り替えられる。
 なお、切り替えライン28a及び28bの移動速度は、主画像7及びエンハンス画像8の切り替えが同時に終了するように適宜設定される。
 このように、本実施形態では、切り替えライン28として、主画像を切り替える切り替えライン28aと、エンハンス画像8を切り替える切り替えライン28bとが用いられる。また切り替えライン28a及び28bの初期位置は主画像7及びエンハンス画像8の境界となる位置に設定され、切り替えライン28a及び28bを観察者2から見て同じ移動方向となるように同時に移動させることで、主画像7及びエンハンス画像8が同期して切り替えられる。
 これにより、スクリーン15の表示(主画像7)とその照明光(エンハンス画像8)とが、全体的にスライドしながら変化していくといった演出が可能となる。
 なお、このように主画像7及びエンハンス画像8を同期して切り替えるスライド処理では、切り替えライン28a及び28bをスクリーン15の上下方向や斜め方向にスライドさせてもよい。これにより、様々な演出を実現することが可能となる。
 <第5の実施形態>
 図20は、第5の実施形態に係る表示装置の機能的な構成例を示すブロック図である。図21は、表示装置500の外観を示す模式図である。
 本実施形態では、表示装置500に、照明光を出射する照明部505が設けられる。
 図20に示すように、表示装置500は、表示部511、人感センサ512、記憶部519、コントローラ530、及び照明部505を有する。表示部511、人感センサ512、及び記憶部519は、例えば図1及び図4等を参照して説明した表示部11、人感センサ12、及び記憶部19と同様に構成される。
 図21に示すように、照明部505は、表示装置500の周囲に照明光を出射する複数の照明素子506を有する。各照明素子506は、台座部510の側面に沿って配置される。図21には、人感センサ512(カメラセンサ)の上側に配置された複数の照明素子506が模式的に図示されている。このように、本実施形態では、複数の照明素子506が、スクリーン515の外側に設けられる。
 照明素子506としては、例えばLED等の発光素子が用いられる。また照明素子506は、任意の色の照明光を出射するカラー光源であってもよいし、単色光源等が用いられてもよい。
 コントローラ530は、機能ブロックとして、人検知処理部531と、表示領域設定部532と、特徴抽出部533と、エンハンス画像生成部534と、表示画像生成部535と、照明パターン生成部536とを有する。これらの機能ブロックのうち、照明パターン生成部536を除く各機能ブロックは、例えば図4を参照して説明した機能ブロックと略同様に構成される。
 照明パターン生成部536は、照明部505(照明素子506)を発光させるための照明パターンを生成する。照明パターンには、例えば照明光の発光範囲、色、輝度、タイミング等を指定する情報が含まれる。本実施形態では、照明パターンの情報は、照明情報の一例である。
 照明パターン生成部536では、特徴抽出部533により抽出された主画像7の特徴量に応じて照明パターンが生成される。具体的には、主画像7の色や明るさ等に応じて、照明光の色や輝度が設定される。また主画像7の動き情報等に基いて、照明光を明滅させるタイミングやリズム等が設定される。
 また照明パターン生成部536では、表示領域設定部532により設定された主表示領域5及び副表示領域6の情報に基づいて、照明光を発光させる発光範囲が設定される。例えば、副表示領域6が設定される方位範囲が、発光範囲に設定される。この発光範囲に含まれる照明素子506が照明光を発光することになる。生成された照明パターンの情報は、照明部505に出力される。そして照明パターンに合わせて各照明素子506が駆動される。
 これにより、副表示領域6に合わせた照明光を発光させることが可能となり、例えば観察者2から直接見えない照明光を用いた演出等が可能となる。この結果、自然な照明効果を実現することが可能である。
 この他、発光パターンを設定する方法等は限定されない。
 照明部505による照明光の演出は、エンハンス画像8を用いた照明と合わせて用いられる。これにより、例えばスクリーン515に表示される映像だけではエンハンス効果が十分得られないような場合であっても、照明部505の照明光により全体の明るさ等を増強することが可能となる。なお、照明部505及びエンハンス画像8のどちらか一方のみを用いて、主画像7を演出することも可能である。
 <第6の実施形態>
 図22は、第6の実施形態に係る表示装置の構成例を示す模式的な断面図である。
 表示装置600は、台座部610と、画像投射部613と、反射ミラー614と、スクリーン615と、照明部605とを有する。表示装置600では、照明部605がスクリーン615の内側に設けられる。
 スクリーン615は、円筒形状であり、所定の方向(所定の入射角度)から入射する光を拡散する透明スクリーンである。
 スクリーン615は、典型的にはHOEを用いて構成される。図1を参照して説明したように、HOEは、所定の入射角度で入射する光を選択的に回折する特性を有する。ここでは、画像投射部613から出射された画像光が、反射ミラー614で反射され、所定の入射角度でスクリーン615に入射する。スクリーン615は、このように反射ミラー614で反射され斜め上方から入射した画像光を選択的に拡散して外周面から出射する。
 なお、スクリーン615に対して所定の入射角度以外の角度で入射する光は透過される。
 照明部605は、複数の照明素子606を有する。各照明素子606は、画像投射部613の出射部分の全周を囲うように台座部610の上面に配置される。照明素子606としては、例えばLED等の発光素子が用いられる。
 また複数の照明素子606は、スクリーン615の外側の斜め上方に向けてそれぞれ配置される。従って各照明素子606から出射された照明光(図中の網掛けの領域)は、斜め下方からスクリーン615に入射する。このように、画像光とは異なる方向からスクリーン615に入射する照明光は、拡散されることなくスクリーン615を透過する。
 このように、複数の照明素子606は、所定の方向(所定の入射角度)とは異なる方向からスクリーン615に照明光を入射するように、スクリーン615の内側に設けられる。
 これにより、スクリーン615の内側から照明光を発光させて、表示装置600の外側の空間を照らすことが可能となる。これにより、例えば天井照明等を実現することが可能となる。また照明素子606の発光範囲は、観察者2の位置に応じて適宜設定される。これにより、自然な照明効果等を実現することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記では、表示装置のディスプレイとして、主に可視光を透過する透明スクリーンが用いられる場合について説明した。ディスプレイの具体的な構成は限定されない。透明LCD(Liquid Crystal Display)や、透明OLEDや、透明LED等を用いて構成された透明ディスプレイが用いられてもよい。
 また、表示装置のディスプレイとして、可視光を透過しない不透明ディスプレイが用いられてもよい。
 例えばプロジェクタ(画像投射部)を用いて画像を投射する場合、不透明な素材で構成された円筒スクリーン等が表示装置のディスプレイとして用いられる。このような不透明なスクリーンとしては、白色素材等で構成された透過型の拡散スクリーンが挙げられる。
 また、自発光型の不透明ディスプレイが表示装置のディスプレイとして用いられてもよい。この場合、光透過性のないLCDや、光透過性のないOLEDディスプレイやLEDディスプレイ等が用いられる。
 このように、不透明ディスプレイが用いられる場合であっても、例えば観察者から見えない部分(背面等)に副表示領域を設定しエンハンス画像を表示することで、自然な演出効果を発揮することが可能である。
 上記では、円筒型のスクリーンが用いられる場合について説明した。スクリーンの形状は、円筒型に限定されない。例えば角柱型のスクリーンや、断面形状が楕円型のスクリーン等が用いられてもよい。この場合、スクリーンの形状に合わせて主表示領域や副表示領域を適宜設定することで、観察者から見える領域に主画像を表示し、観察者から見えない領域を利用して照明を行うといったことが可能である。
 この他、スクリーンの形状は限定されず、画像が表示される方位範囲が180°よりも広い任意の形状の筒形のスクリーンが用いられてよい。
 上記では、主画像を演出するエンハンス画像を用いて照明を行う場合について説明した。これに限定されず、例えばエンハンス画像は、主画像とは関係ない照明画像として構成されてもよい。この場合、例えば主画像の内容や種類等にかかわらず、一定の照明を行うことが可能である。なお主画像及び照明画像の表示位置は、観察者の位置に応じて適宜設定される。このように、表示装置は、観察者に向けて主画像を表示しつつ、室内等を照明する照明装置として用いることも可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 なお、本技術は以下のような構成も採ることができる。
(1)画像が表示される方位範囲が180°よりも広い筒形のディスプレイを有する表示部と、
 前記ディスプレイを観察する観察者を検出する人感センサと、
 前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定する領域設定部と、
 前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する情報生成部と
 を具備する表示装置。
(2)(1)に記載の表示装置であって、
 前記領域設定部は、前記観察者の一方の眼から見える前記ディスプレイの方位範囲と、前記観察者の両方の眼で前記ディスプレイを見た場合の輻輳角とに基づいて、前記第1の領域を設定する
 表示装置。
(3)(1)又は(2)に記載の表示装置であって、
 前記ディスプレイは、画像が表示される円筒面を構成し、
 前記領域設定部は、前記円筒面の直径をDとし、前記円筒面の軸から観察位置までの観察距離Lvとし、前記観察者の左右の眼の間隔をLeとし、前記第1の領域を規定する方位範囲である表示角をθとして、以下の式(1)に従って前記表示角θを算出する
Figure JPOXMLDOC01-appb-M000003
                          式(1)
 表示装置。
(4)(1)から(3)のうちいずれか1つに記載の表示装置であって、
 前記人感センサは、前記観察者までの距離を検出可能であり、
 前記領域設定部は、前記観察者までの距離に応じて前記第1の領域を設定する
 表示装置。
(5)(1)から(4)のうちいずれか1つに記載の表示装置であって、
 前記人感センサは、複数の観察者を同時に検出可能であり、
 前記領域設定部は、前記複数の観察者から見える前記ディスプレイ上の領域として複数の個別領域を算出し、前記複数の個別領域の和集合となる領域を前記第1の領域に設定する
 表示装置。
(6)(1)から(5)のうちいずれか1つに記載の表示装置であって、
 前記主情報は、前記第1の領域に表示される主画像の情報を含み、
 前記照明情報は、前記第2の領域に表示されることで前記照明光を発生し、前記主画像の表示を演出するエンハンス画像の情報を含む
 表示装置。
(7)(6)に記載の表示装置であって、
 前記情報生成部は、前記主画像に応じて前記エンハンス画像を生成する、又は前記主画像に対応する前記エンハンス画像を読み込む
 表示装置。
(8)(6)又は(7)に記載の表示装置であって、
 前記情報生成部は、前記主画像に関する色情報、明るさ情報、及び動き情報の少なくとも1つに基づいて、前記エンハンス画像を生成する
 表示装置。
(9)(6)から(8)のうちいずれか1つに記載の表示装置であって、
 前記情報生成部は、前記エンハンス画像において、前記主画像に含まれる表示物と重なる部分の輝度を他の部分の輝度よりも低く設定する
 表示装置。
(10)(6)から(9)のうちいずれか1つに記載の表示装置であって、
 前記情報生成部は、前記ディスプレイに沿って移動することで、前記主画像及び前記エンハンス画像をそれぞれ次の画像に切り替える切り替えラインを制御する
 表示装置。
(11)(10)に記載の表示装置であって、
 前記情報生成部は、前記切り替えラインの初期位置を前記観察者から見えない位置に設定し、前記切り替えラインを前記ディスプレイの周方向に沿って移動させることで、前記主画像及び前記エンハンス画像を連続的に切り替える
 表示装置。
(12)(10)に記載の表示装置であって、
 前記切り替えラインは、前記主画像を切り替える第1のラインと、前記エンハンス画像を切り替える第2のラインとを含み、
 前記情報生成部は、前記第1及び前記第2のラインの初期位置を前記主画像及び前記エンハンス画像の境界となる位置に設定し、前記第1及び前記第2のラインを前記観察者から見て同じ移動方向となるように同時に移動させることで、前記主画像及び前記エンハンス画像を同期して切り替える
 表示装置。
(13)(1)から(12)のうちいずれか1つに記載の表示装置であって、さらに、
 前記表示装置の周囲に前記照明光を出射する複数の照明素子を有する照明部を具備し、
 前記照明情報は、前記照明光の照明パターンの情報を含む
 表示装置。
(14)(13)に記載の表示装置であって、
 前記複数の照明素子は、前記ディスプレイの外側に設けられる
 表示装置。
(15)(13)に記載の表示装置であって、
 前記ディスプレイは、所定の方向から入射する光を拡散する透明スクリーンであり、
 前記複数の照明素子は、前記所定の方向とは異なる方向から前記ディスプレイに前記照明光を入射するように、前記ディスプレイの内側に設けられる
 表示装置。
(16)(1)から(15)のうちいずれか1つに記載の表示装置であって、
 前記ディスプレイは、全周に画像を表示可能な全周ディスプレイである
 表示装置。
(17)(1)から(16)のうちいずれか1つに記載の表示装置であって、
 前記ディスプレイは、可視光を透過する透明ディスプレイ、又は可視光を透過しない不透明ディスプレイのいずれか一方である
 表示装置。
(18)(1)から(17)のうちいずれか1つに記載の表示装置であって、
 前記人感センサは、カメラセンサ、赤外線センサ、焦電センサ、超音波センサ、ToFセンサ、及び指向性マイクの少なくとも1つを含む
 表示装置。
(19)画像が表示される方位範囲が180°よりも広い筒形のディスプレイを観察する観察者を検出し、
 前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定し、
 前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する
 表示方法。
 1…画像光
 2、2a、2b…観察者
 3…観察方向
 5、5a~5f…主表示領域
 6…副表示領域
 7、7a、7b…主画像
 8、8a、8b…エンハンス画像
 9、9a、9b…個別領域
 11、211、311、411、511…表示部
 12、212、312、412、512…人感センサ
 15、515、615…スクリーン
 17…外周面
 19、219、319、419、519…記憶部
 20…主画像データ
 21…出力画像データ
 26…表示物
 27…黒抜き領域
 28、28a、28b…切り替えライン
 30、230、330、430、530…コントローラ
 31、231、331、431、431…人検知処理部
 32、232、332、432、532…表示領域設定部
 33、333、433a、433b、533…特徴抽出部
 34、334、434a、434b、534…エンハンス画像生成部
 35、235、335、435、535…表示画像生成部
 100、200、300、400、500、600…表示装置
 505、605…照明部
 506、606…照明素子

Claims (19)

  1.  画像が表示される方位範囲が180°よりも広い筒形のディスプレイを有する表示部と、
     前記ディスプレイを観察する観察者を検出する人感センサと、
     前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定する領域設定部と、
     前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する情報生成部と
     を具備する表示装置。
  2.  請求項1に記載の表示装置であって、
     前記領域設定部は、前記観察者の一方の眼から見える前記ディスプレイの方位範囲と、前記観察者の両方の眼で前記ディスプレイを見た場合の輻輳角とに基づいて、前記第1の領域を設定する
     表示装置。
  3.  請求項1に記載の表示装置であって、
     前記ディスプレイは、画像が表示される円筒面を構成し、
     前記領域設定部は、前記円筒面の直径をDとし、前記円筒面の軸から観察位置までの観察距離Lvとし、前記観察者の左右の眼の間隔をLeとし、前記第1の領域を規定する方位範囲である表示角をθとして、以下の式(1)に従って前記表示角θを算出する
    Figure JPOXMLDOC01-appb-M000001
                              式(1)
     表示装置。
  4.  請求項1に記載の表示装置であって、
     前記人感センサは、前記観察者までの距離を検出可能であり、
     前記領域設定部は、前記観察者までの距離に応じて前記第1の領域を設定する
     表示装置。
  5.  請求項1に記載の表示装置であって、
     前記人感センサは、複数の観察者を同時に検出可能であり、
     前記領域設定部は、前記複数の観察者から見える前記ディスプレイ上の領域として複数の個別領域を算出し、前記複数の個別領域の和集合となる領域を前記第1の領域に設定する
     表示装置。
  6.  請求項1に記載の表示装置であって、
     前記主情報は、前記第1の領域に表示される主画像の情報を含み、
     前記照明情報は、前記第2の領域に表示されることで前記照明光を発生し、前記主画像の表示を演出するエンハンス画像の情報を含む
     表示装置。
  7.  請求項6に記載の表示装置であって、
     前記情報生成部は、前記主画像に応じて前記エンハンス画像を生成する、又は前記主画像に対応する前記エンハンス画像を読み込む
     表示装置。
  8.  請求項6に記載の表示装置であって、
     前記情報生成部は、前記主画像に関する色情報、明るさ情報、及び動き情報の少なくとも1つに基づいて、前記エンハンス画像を生成する
     表示装置。
  9.  請求項6に記載の表示装置であって、
     前記情報生成部は、前記エンハンス画像において、前記主画像に含まれる表示物と重なる部分の輝度を他の部分の輝度よりも低く設定する
     表示装置。
  10.  請求項6に記載の表示装置であって、
     前記情報生成部は、前記ディスプレイに沿って移動することで、前記主画像及び前記エンハンス画像をそれぞれ次の画像に切り替える切り替えラインを制御する
     表示装置。
  11.  請求項10に記載の表示装置であって、
     前記情報生成部は、前記切り替えラインの初期位置を前記観察者から見えない位置に設定し、前記切り替えラインを前記ディスプレイの周方向に沿って移動させることで、前記主画像及び前記エンハンス画像を連続的に切り替える
     表示装置。
  12.  請求項10に記載の表示装置であって、
     前記切り替えラインは、前記主画像を切り替える第1のラインと、前記エンハンス画像を切り替える第2のラインとを含み、
     前記情報生成部は、前記第1及び前記第2のラインの初期位置を前記主画像及び前記エンハンス画像の境界となる位置に設定し、前記第1及び前記第2のラインを前記観察者から見て同じ移動方向となるように同時に移動させることで、前記主画像及び前記エンハンス画像を同期して切り替える
     表示装置。
  13.  請求項1に記載の表示装置であって、さらに、
     前記表示装置の周囲に前記照明光を出射する複数の照明素子を有する照明部を具備し、
     前記照明情報は、前記照明光の照明パターンの情報を含む
     表示装置。
  14.  請求項13に記載の表示装置であって、
     前記複数の照明素子は、前記ディスプレイの外側に設けられる
     表示装置。
  15.  請求項13に記載の表示装置であって、
     前記ディスプレイは、所定の方向から入射する光を拡散する透明スクリーンであり、
     前記複数の照明素子は、前記所定の方向とは異なる方向から前記ディスプレイに前記照明光を入射するように、前記ディスプレイの内側に設けられる
     表示装置。
  16.  請求項1に記載の表示装置であって、
     前記ディスプレイは、全周に画像を表示可能な全周ディスプレイである
     表示装置。
  17.  請求項1に記載の表示装置であって、
     前記ディスプレイは、可視光を透過する透明ディスプレイ、又は可視光を透過しない不透明ディスプレイのいずれか一方である
     表示装置。
  18.  請求項1に記載の表示装置であって、
     前記人感センサは、カメラセンサ、赤外線センサ、焦電センサ、超音波センサ、ToFセンサ、及び指向性マイクの少なくとも1つを含む
     表示装置。
  19.  画像が表示される方位範囲が180°よりも広い筒形のディスプレイを観察する観察者を検出し、
     前記人感センサの検出結果に基づいて、前記ディスプレイ上の領域として、前記観察者から見える第1の領域と、前記第1の領域とは異なる第2の領域とを設定し、
     前記第1の領域に表示される主情報と、前記第2の領域に合わせて提示される照明光に関する照明情報とを生成する
     表示方法。
PCT/JP2021/021533 2020-06-25 2021-06-07 表示装置及び表示方法 WO2021261231A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022531684A JPWO2021261231A1 (ja) 2020-06-25 2021-06-07
US18/002,367 US20230237944A1 (en) 2020-06-25 2021-06-07 Display apparatus and display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-109578 2020-06-25
JP2020109578 2020-06-25

Publications (1)

Publication Number Publication Date
WO2021261231A1 true WO2021261231A1 (ja) 2021-12-30

Family

ID=79282578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021533 WO2021261231A1 (ja) 2020-06-25 2021-06-07 表示装置及び表示方法

Country Status (3)

Country Link
US (1) US20230237944A1 (ja)
JP (1) JPWO2021261231A1 (ja)
WO (1) WO2021261231A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050094111A1 (en) * 2003-11-04 2005-05-05 May Gregory J. Image display system
JP2005274692A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 広告装置
JP2014048565A (ja) * 2012-09-03 2014-03-17 Nikon Corp 画像表示装置
WO2019073688A1 (ja) * 2017-10-11 2019-04-18 ソニー株式会社 画像表示装置
WO2019202935A1 (ja) * 2018-04-16 2019-10-24 ソニー株式会社 画像表示装置
JP2019197192A (ja) * 2018-05-11 2019-11-14 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2020080111A1 (ja) * 2018-10-18 2020-04-23 ソニー株式会社 画像表示装置
WO2020110760A1 (ja) * 2018-11-27 2020-06-04 ソニー株式会社 画像表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360876B1 (en) * 2016-03-02 2019-07-23 Amazon Technologies, Inc. Displaying instances of visual content on a curved display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050094111A1 (en) * 2003-11-04 2005-05-05 May Gregory J. Image display system
JP2005274692A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 広告装置
JP2014048565A (ja) * 2012-09-03 2014-03-17 Nikon Corp 画像表示装置
WO2019073688A1 (ja) * 2017-10-11 2019-04-18 ソニー株式会社 画像表示装置
WO2019202935A1 (ja) * 2018-04-16 2019-10-24 ソニー株式会社 画像表示装置
JP2019197192A (ja) * 2018-05-11 2019-11-14 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2020080111A1 (ja) * 2018-10-18 2020-04-23 ソニー株式会社 画像表示装置
WO2020110760A1 (ja) * 2018-11-27 2020-06-04 ソニー株式会社 画像表示装置

Also Published As

Publication number Publication date
JPWO2021261231A1 (ja) 2021-12-30
US20230237944A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
CN105278905B (zh) 显示具有视觉效果的对象的装置和方法
JP7050067B2 (ja) ディスプレイ装置及びその制御方法
US9967529B2 (en) Output light monitoring for benchmarking and enhanced control of a display system
ES2821299T3 (es) Control remoto de fuente de luz
WO2010007787A1 (ja) 裸眼立体映像表示システム、裸眼立体映像表示装置、遊技ゲーム機、パララックスバリアシート
KR20140010872A (ko) 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템
US20160350967A1 (en) Dynamic adjustments for augmented, mixed and virtual reality presentations
KR20180098065A (ko) 디스플레이 장치 및 그 제어 방법
JP6686791B2 (ja) 映像表示方法及び映像表示システム
CN112262413A (zh) 混合现实中的实时合成
JPWO2019130374A1 (ja) 端末装置、システム、プログラム及び方法
US10594995B2 (en) Image capture and display on a dome for chroma keying
JP4386298B1 (ja) 裸眼立体映像表示装置
CN110870304B (zh) 向用户提供信息以观察多视图内容的方法和装置
JP6644472B2 (ja) 星空投影装置,星空投影システムおよび星空投影方法
JP6624541B2 (ja) 光投影装置及びそれを用いた照明装置
JP2010091887A (ja) パララックスバリア、裸眼立体映像表示装置
WO2021261231A1 (ja) 表示装置及び表示方法
JP4392520B1 (ja) 裸眼立体映像表示装置
KR102235679B1 (ko) 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
JP7454648B2 (ja) 画像生成装置および画像生成方法
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
Santos et al. The daylight blocking optical stereo see-through HMD
US20200234401A1 (en) Display apparatus and method of producing images using rotatable optical element

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531684

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21828097

Country of ref document: EP

Kind code of ref document: A1