WO2022219877A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022219877A1
WO2022219877A1 PCT/JP2022/003278 JP2022003278W WO2022219877A1 WO 2022219877 A1 WO2022219877 A1 WO 2022219877A1 JP 2022003278 W JP2022003278 W JP 2022003278W WO 2022219877 A1 WO2022219877 A1 WO 2022219877A1
Authority
WO
WIPO (PCT)
Prior art keywords
attraction
degree
image
area
viewpoint
Prior art date
Application number
PCT/JP2022/003278
Other languages
English (en)
French (fr)
Inventor
一樹 横山
瑠璃 大屋
幸治 青山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023514343A priority Critical patent/JPWO2022219877A1/ja
Priority to CN202280026440.7A priority patent/CN117121475A/zh
Publication of WO2022219877A1 publication Critical patent/WO2022219877A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • a naked-eye stereoscopic display that performs stereoscopic display using binocular parallax is known.
  • Left-eye and right-eye viewpoint images are supplied to the left and right eyes of the observer. This realizes a display as if a virtual object were present in front of the observer's eyes.
  • the images reflected on the left and right retinas are fused in the observer's brain and recognized as a single stereoscopic image.
  • This brain function is called fusion.
  • fusion When the correspondence between left and right images is clear, fusion of images is likely to occur.
  • the depth being represented is large, or when the same virtual objects are arranged continuously, the image range to be recognized as one stereoscopic image becomes unclear, making fusion difficult. .
  • no consideration is given to the easiness of image fusion. Therefore, depending on the display content, image fusion may rarely occur, resulting in a decrease in visibility.
  • the present disclosure proposes an information processing device, an information processing method, and a program capable of realizing stereoscopic display that is easy to fuse.
  • a display generation unit that generates a plurality of viewpoint images to be displayed as a stereoscopic image, an attraction area detection unit that detects an attraction area in a virtual space that should attract the user's visual attention, and A map generation unit for generating a control map showing the distribution of the degree of attraction in the viewpoint image for each viewpoint image based on the distance from the eye-attracting region; and adjusting the degree of attraction of the viewpoint image based on the control map.
  • An information processing apparatus is provided that includes an image correction unit and a display control unit that displays the stereoscopic image in the virtual space using the plurality of viewpoint images with the degree of attraction adjusted. Further, according to the present disclosure, there are provided an information processing method in which the information processing of the information processing device is executed by a computer, and a program for causing the computer to implement the information processing of the information processing device.
  • FIG. 1 is a diagram showing an example of a display system; FIG. It is a figure which shows the functional structure of a display system. It is a figure which shows an example of the stereo image presented in virtual space. It is a figure which shows an example of the stereo image presented in virtual space.
  • FIG. 4 is a diagram showing a viewpoint image of a stereoscopic image viewed from a specific viewpoint; It is a figure explaining the flow of signal processing.
  • FIG. 10 is a diagram showing a distance map of viewpoint images; It is a figure which shows an example of spatial distribution of conspicuity. It is a figure which shows an example of spatial distribution of conspicuity. It is a figure which shows an example of spatial distribution of conspicuity. It is a figure which shows an example of spatial distribution of conspicuity.
  • FIG. 1 is a diagram showing an example of a display system 1. As shown in FIG. 1
  • the display system 1 has a display 21 in which the screen SCR is inclined by an angle ⁇ with respect to the horizontal plane BT.
  • the angle ⁇ is, for example, 45 degrees.
  • the direction parallel to the lower side of the screen SCR is defined as the x direction.
  • the direction in the horizontal plane BT perpendicular to the lower side be the z-direction.
  • a direction (vertical direction) orthogonal to the x-direction and the z-direction is defined as the y-direction.
  • the size of the screen SCR is W in the x direction, D in the z direction, and H in the y direction.
  • a rectangular parallelepiped space with sizes of W, 2 ⁇ D and H in the x, y and z directions is the virtual space VS.
  • a plurality of viewpoint images VI (see FIG. 5) displayed on the screen SCR are presented in the virtual space VS as stereoscopic images.
  • the vertical surface of the virtual space VS on the front side of the screen SCR as viewed from the user (observer) is called the front surface FT
  • the vertical surface of the virtual space VS on the rear side of the screen SCR is called the rear surface RE.
  • the viewpoint images VI reflected by the left and right eyes of the user are fused and recognized as a single stereoscopic image.
  • the virtual object VOB (see FIG. 3) protrudes greatly from the screen SCR or is arranged at a deep depth position, or when the same virtual object VOB is arranged continuously, one stereoscopic image
  • a specific area in the virtual space VS is set as the attracting area RA (see FIG. 8), and the attracting area RA is corrected to be more noticeable than other areas.
  • FIG. 2 is a diagram showing the functional configuration of the display system 1. As shown in FIG. 1
  • the display system 1 has a processing unit 10, an information presentation unit 20, an information input unit 30, and a sensor unit 40.
  • the processing unit 10 is an information processing device that processes various types of information.
  • the processing unit 10 controls the information presentation unit 20 based on the sensor information acquired from the sensor unit 40 and the user input information acquired from the information input unit 30 .
  • the sensor unit 40 has a plurality of sensors for sensing the external world.
  • the plurality of sensors includes, for example, a visible light camera 41, a distance measuring sensor 42, a line of sight detection sensor 43, and the like.
  • the visible light camera 41 captures a visible light image of the outside world.
  • the distance measuring sensor 42 detects the distance of a real object existing in the outside world by using the time of flight of the laser light.
  • the line-of-sight detection sensor 43 detects the line-of-sight ES of the user directed toward the display 21 using a known eye-tracking technique.
  • the information presentation unit 20 presents various types of information such as video information, audio information, and tactile information to the user.
  • the information presenting unit 20 has, for example, a display 21, a speaker 22 and a haptic device 23.
  • a display 21 a known display such as LCD (Liquid Crystal Display) or OLED (Organic Light-Emitting Diode) is used.
  • a known speaker capable of outputting voice or the like is used as the speaker 22 .
  • the haptics device 23 a known haptics device capable of presenting tactile information related to display information using ultrasonic waves or the like is used.
  • the information input unit 30 has a plurality of input devices with which various types of information can be input by user's input operations.
  • the multiple input devices include, for example, a touch panel 31, keyboard 32, mouse 33, microphone 34, and the like.
  • the processing unit 10 includes, for example, a data processing unit 11, an I/F unit 12, a line-of-sight recognition unit 13, a distance recognition unit 14, a user recognition unit 15, an attraction information recognition unit 16, a virtual space recognition unit 17, a timer 18, and a storage unit. 19.
  • the processing unit 10 acquires sensor information detected by the sensor unit 40 and user input information input from the information input unit 30 via the I/F unit 12 .
  • the line-of-sight recognition unit 13 generates line-of-sight information of the user directing the line of sight ES to the display 21 based on the information detected by the line-of-sight detection sensor 43 .
  • the line-of-sight information includes information about the position of the user's eyes (viewpoint VP: see FIG. 8) and the direction of the line-of-sight ES.
  • a known eye-tracking technique is used for the line-of-sight recognition processing.
  • the distance recognition unit 14 generates distance information of real objects existing in the outside world based on the information detected by the ranging sensor 42 .
  • the distance information includes information on the distance between the real object and the display 21, for example.
  • the user recognition unit 15 extracts the image of the user who directs the line of sight ES to the display 21 from the visible light image captured by the visible light camera 41 .
  • the user recognition unit 15 generates user action information based on the extracted user image.
  • the motion information includes, for example, information on the status of work performed by the user while looking at the display 21 and information on gestures.
  • the attraction information recognition unit 16 generates attraction information for the virtual space VS based on the user input information, sensor information, and content data CT.
  • the attraction information includes information about an object or place (attraction area RA) that should attract the user's visual attention.
  • the attraction information is used to specify the positional information of the attraction area RA, which is the key.
  • information specifying the near object is generated as attraction information.
  • the content data CT includes the information of the attraction position (object or place) specified by the content creator
  • the information of the attraction position extracted from the content data CT is generated as the attraction information.
  • the user is continuously gazing at a specific position
  • information about the user's gazing position is generated as eye-attraction information. For example, if it is detected from the sensor information that the user is inserting a finger or pen into the virtual space VS and is performing some kind of work such as drawing or modeling on the virtual object VOB, the work location (gazing point) is detected. position) is generated as attraction information.
  • the virtual space recognition unit 17 generates virtual space information regarding the virtual space VS.
  • the virtual space information includes, for example, information regarding the angle ⁇ of the screen SCR and the position and size of the virtual space VS.
  • the data processing unit 11 synchronously drives the information presentation unit 20 and the sensor unit 40 based on the timing signal generated by the timer 18 .
  • the data processing unit 11 controls the information presenting unit 20 to display in the virtual space VS a stereoscopic image whose degree of attraction (ease of conspicuity) is adjusted according to the distance from the eye-attracting area.
  • the data processing unit 11 has, for example, an eye-attracting area detection unit 51, a map generation unit 52, a display generation unit 53, an image correction unit 54, and a display control unit 55.
  • the display generation unit 53 generates a plurality of viewpoint images VI to be displayed as stereoscopic images.
  • a viewpoint image VI means a two-dimensional image viewed from one viewpoint VP.
  • the multiple viewpoint images VI include a left-eye image viewed from the user's left eye and a right-eye image viewed from the user's right eye.
  • the display generation unit 53 detects the position and size of the virtual space VS based on the virtual space information acquired from the virtual space recognition unit 17.
  • the display generation unit 53 detects the positions of the user's left eye and right eye (viewpoint VP) based on the line-of-sight information acquired from the line-of-sight recognition unit 13 .
  • the display generation unit 53 extracts 3D data from the content data CT, renders the extracted 3D data based on the user's viewpoint, and generates a viewpoint image VI.
  • the attraction area detection unit 51 detects the attraction area RA of the virtual space VS that should attract the user's visual attention based on the attraction information acquired from the attraction information recognition unit 16 .
  • the attraction area RA is, for example, a specific virtual object VOB presented in the virtual space VS, or a local area within the virtual space VS containing the specific virtual object VOB.
  • the attracting area RA is detected, for example, based on the user input information, the user's gaze position, or the attracting position extracted from the content data CT.
  • the gaze position of the user is detected based on the user's motion information acquired from the user recognition unit 15, for example.
  • the map generator 52 generates a control map CM (see FIG. 11) for each viewpoint image VI based on the distance from the eye-attracting area RA.
  • the control map CM indicates the distribution of the degree of attraction in the viewpoint image VI.
  • a spatial distribution of the degree of attraction is set in the virtual space VS such that the degree of attraction is maximized in the attraction region RA.
  • control map CM defines a distribution of the degree of attraction such that the degree of attraction decreases as the distance from the attraction area RA increases.
  • the degree of attraction is calculated based on the distance from the attraction area RA.
  • the reference distance may be the distance in the depth direction or the distance in the direction orthogonal to the depth direction.
  • the depth direction may be the line-of-sight direction of the user or may be the z-direction.
  • the distance from the eye-attracting area RA is calculated based on the distance information acquired from the distance recognition section 14 .
  • the image correction unit 54 adjusts the attractiveness of the viewpoint image VI based on the control map CM. For example, the image correction unit 54 adjusts the attractiveness of the viewpoint image VI by adjusting the frequency characteristics, brightness, saturation, contrast, transparency, or hue of the viewpoint image VI for each pixel.
  • the image correction unit 54 maximizes characteristics such as frequency characteristics, brightness, saturation, contrast, and transparency in the eye-attracting area RA. As a result, the eye-attracting area RA is revealed and the degree of eye-catching is increased.
  • the image correction unit 54 adjusts the hue of the virtual object VOB presented in the attracting area RA to match the hue of the virtual objects VOB in other areas. can be different.
  • the hue-adjusted virtual object VOB is identified from others as a foreign virtual object VOB. Therefore, the degree of attraction of the virtual object VOB in the attraction area RA increases.
  • the degree of attraction is adjusted for each area by the image processing described above. Therefore, even if edges and textures of the same quality are arranged continuously, they are likely to be perceived as different edges and textures. This promotes image fusion and realizes display with high visibility. Since the visibility is improved, it is possible to express a large depth, and the perceived three-dimensional effect is also improved. Furthermore, difficulty in fusion causes visual fatigue, but by eliminating this, it is expected that visual fatigue will be reduced.
  • the display control unit 55 displays a stereoscopic image in the virtual space VS using a plurality of viewpoint images VI whose attractiveness is adjusted.
  • the setting information STI Information on settings, conditions, and criteria used for various calculations is included in the setting information STI.
  • the content data CT, setting information STI, and program PG used for the above process are stored in the storage unit 19 .
  • the program PG is a program that causes a computer to execute information processing according to this embodiment.
  • the processing unit 10 performs various processes according to the program PG stored in the storage unit 19 .
  • the storage unit 19 may be used as a working area that temporarily stores the processing results of the processing unit 10 .
  • Storage unit 19 includes, for example, any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage unit 19 includes, for example, an optical disc, a magneto-optical disc, or a flash memory.
  • the program PG is stored, for example, in a non-transitory computer-readable storage medium.
  • the processing unit 10 is, for example, a computer configured with a processor and memory.
  • the memory of the processing unit 10 includes RAM (Random Access Memory) and ROM (Read Only Memory).
  • the processing unit 10 includes a data processing unit 11, an I/F unit 12, a line-of-sight recognition unit 13, a distance recognition unit 14, a user recognition unit 15, an attraction information recognition unit 16, and a virtual space recognition unit 17. , a timer 18 , an eye-attracting area detection unit 51 , a map generation unit 52 , a display generation unit 53 , an image correction unit 54 and a display control unit 55 .
  • FIG. 5 is a diagram showing a viewpoint image VI of a stereoscopic image viewed from a specific viewpoint VP.
  • the content data CT includes information on the 3D model of the stereoscopic image.
  • a viewpoint image VI viewed from an arbitrary viewpoint VP is generated by rendering the 3D model based on the information of the viewpoint VP.
  • a plurality of cubic virtual objects VOB are periodically arranged in the x-, y-, and z-directions.
  • a plurality of virtual objects VOB are widely distributed in the z direction from the front side to the back side of the screen SCR.
  • the viewpoint image VI includes, for example, a plurality of virtual objects VOB and their shadow images SH.
  • the user observes the stereoscopic image from the front FT side of the virtual space VS.
  • a virtual object VOB having the same edges and textures in all directions is observed depending on the observation position. Therefore, it is difficult to distinguish between the virtual objects VOB one by one, and the display is extremely difficult to fuse.
  • a specific spatial region is revealed and the user's line of sight ES is guided to this spatial region to promote fusion. An example of information processing will be described below.
  • FIG. 6 is a diagram for explaining the flow of signal processing.
  • FIG. 7 is a diagram showing the distance map DM of the viewpoint image VI.
  • the map generator 52 generates a distance map DM for each viewpoint image VI based on the three-dimensional coordinate information of the stereoscopic image.
  • the distance map DM shows the distribution of distances from the viewpoint VP to the surface of the virtual object VOB.
  • the distance map DM defines the distance from the viewpoint VP for each pixel. For each pixel of the distance map DM, for example, the distance to the position in the virtual space VS closest to the user (for example, the front FT) is set to 0, and the distance to the position in the virtual space VS farthest (for example, the rear RE) is set to 0.
  • a distance value normalized with a distance of 1 is defined as a pixel value.
  • the attraction area detection unit 51 generates position information of the attraction area RA based on the attraction information.
  • the attracting area detection unit 51 supplies the position information of the attracting area RA to the map generating unit 52 as a control key.
  • the map generator 52 determines the spatial distribution AD of the degree of attraction of the virtual space VS with reference to the position of the attraction area RA.
  • the position in the virtual space VS closest to the user's viewpoint VP is determined as the eye-attracting area RA.
  • the eye-attracting area RA is defined as a plane area perpendicular to the line of sight ES. As the distance from the viewpoint VP increases, the degree of attraction decreases.
  • the front FT of the virtual space VS is determined as the eye-attracting area RA.
  • a spatial distribution AD of the degree of attraction is set such that the degree of attraction decreases as the distance from the front surface FT increases.
  • the degree of attraction of the back RE is the smallest.
  • the area in the virtual space VS whose distance from the standardized viewpoint VP is DSA is determined as the eye - attracting area RA.
  • the map generator 52 determines the correction value of the image according to the degree of attraction as the control value CV.
  • the map generator 52 determines a control curve CCV that defines the relationship between the distance DS and the control value CV based on the spatial distribution AD of the degree of attraction.
  • FIG. 11 is a diagram showing an example of the control map CM.
  • the map generator 52 generates a control map CM based on the distance map DM and the spatial distribution AD. For example, the map generator 52 generates the control map CM for each viewpoint image VI by applying the control curve CCV to the distance map DM.
  • the control map CM shows the distribution of the control values CV of the corresponding viewpoint image VI.
  • the control map CM defines control values CV for each pixel of the viewpoint image VI.
  • the image correction unit 54 generates control signals for correction signal processing based on the control map CM.
  • the image corrector 54 corrects the viewpoint image VI using the control signal.
  • the eye-attracting area RA is set in the central portion (indicated by symbol "a") of the virtual space VS when viewed from the direction of the user's line of sight ES (line of sight direction ESD).
  • a plane area in the center of the virtual space VS perpendicular to the line-of-sight direction ESD is the eye-attracting area RA.
  • the attraction level is the highest in the attraction area RA, and the attraction level gradually decreases on the near side (closer side to the user) and the rear side (farther side from the user) of the attraction area RA according to the distance from the attraction area RA.
  • the eye-attracting area RA is set at the end on the front FT side of the virtual space VS when viewed from the line-of-sight direction ESD.
  • a plane area passing through the upper side of the front surface FT and perpendicular to the line-of-sight direction ESD is an eye-attracting area RA.
  • the attractiveness is highest in the attractive area RA, and the attractiveness gradually decreases from the attractive area RA to the central portion of the virtual space VS according to the distance from the attractive area RA.
  • the degree of attraction does not change.
  • the eye-attracting area RA is set closer to the viewer than the center of the virtual space VS when viewed from the line-of-sight direction ESD.
  • a plane area orthogonal to the line-of-sight direction ESD is the eye-attracting area RA.
  • the degree of attraction gradually decreases according to the distance from the attraction area RA.
  • the eye-attracting area RA is set in the center of the virtual space VS when viewed from the line-of-sight direction ESD.
  • the spatial distribution AD of the degree of attention is the same as in the example of FIG.
  • the eye-attracting area RA is set behind the center of the virtual space VS when viewed from the line-of-sight direction ESD.
  • a plane area orthogonal to the line-of-sight direction ESD is the eye-attracting area RA.
  • the degree of attraction gradually decreases according to the distance from the attraction area RA.
  • the eye-attracting area RA is set at the end of the virtual space VS on the back RE side when viewed from the line-of-sight direction ESD.
  • a plane region passing through the lower side of the back surface RE and perpendicular to the line-of-sight direction ESD is the eye-attracting region RA.
  • the attractiveness is highest in the attractive area RA, and the attractiveness gradually decreases from the attractive area RA to the central portion of the virtual space VS according to the distance from the attractive area RA.
  • the degree of attraction does not change on the hand side of the central portion of the virtual space VS.
  • the attracting area RA is set in the center of the virtual space VS when viewed from the z direction.
  • a plane area in the center of the virtual space VS orthogonal to the z-direction is an eye-attracting area RA.
  • the degree of attraction is highest in the attraction area RA, and the degree of attraction gradually decreases on the near side and the rear side of the attraction area RA according to the distance from the attraction area RA.
  • correction signal processing 15 to 17 are diagrams showing specific examples of correction signal processing.
  • the left side of each figure shows the viewpoint image VI before correction, and the right side shows the viewpoint image VI after correction (corrected image VIC).
  • the correction signal processing is processing for adjusting the attractiveness of the viewpoint image VI for each pixel.
  • the purpose of the correction signal processing is to make the area to be attracted more conspicuous and to make the other areas inconspicuous, or to distinguish and easily recognize each virtual object VOB when there are many virtual objects VOB of the same type. and In the correction signal processing, for example, a plurality of processes shown below are performed singly or in combination.
  • processing is performed to increase the frequency characteristic in areas where the control value CV is high and to decrease it in other areas according to the control map CM.
  • the sharpness of the main area to be the eye-attracting area RA and the virtual object VOB is increased, and the visibility of edges and textures is also improved.
  • the eye-catching degree is set to be high on the front side as seen from the line-of-sight direction ESD.
  • the sharpness is highest on the near side, and the sharpness decreases toward the back.
  • a process of brightening areas with high control values CV and darkening other areas is performed according to the control map CM.
  • the brightness of the main area to be the eye-attracting area RA and the virtual object VOB is increased and becomes more conspicuous.
  • the visibility of the main area to be the eye-attracting area RA and the virtual object VOB is enhanced, and a display that facilitates image fusion can be obtained.
  • the eye-catching degree is set to be high on the front side as seen from the line-of-sight direction ESD.
  • the front side is brighter and the rear side is darker.
  • processing is performed to increase the saturation of areas with high control values CV and to decrease the saturation of other areas according to the control map CM.
  • the saturation of the main area to be the eye-attracting area RA and the virtual object VOB becomes brighter than others.
  • the visibility of the main area to be the eye-attracting area RA and the virtual object VOB is enhanced, and a display that facilitates image fusion can be obtained.
  • the eye-catching degree is set to be high on the front side as seen from the line-of-sight direction ESD.
  • the colors are brighter on the front side and darker toward the back side.
  • correction signal processing is not limited to the above.
  • processing may be performed to increase the local contrast in areas where the control value CV is high and to decrease the contrast in other areas.
  • Local contrast means contrast within a virtual object VOB that exists in a local space.
  • processing may be performed to reduce the transparency of areas with high control values CV and increase the transparency of other areas.
  • This process makes the main area that will be the eye-attracting area RA and the virtual object VOB more conspicuous. As a result, the visibility of the main area to be the eye-attracting area RA and the virtual object VOB is enhanced, and a display that facilitates image fusion can be obtained.
  • the virtual object VOB is displayed for each region by changing the region with the high control value CV and the hue of that region according to the control map CM.
  • a heterogeneous process may be performed. This processing makes it easier to distinguish individual virtual objects VOB. As a result, the visibility of the main virtual object VOB that serves as the eye-attracting area RA is enhanced, and a display that facilitates image fusion is obtained.
  • FIG. 18 is a diagram showing a modified example of correction signal processing.
  • All of the correction signal processing described above is performed as post-processing applied to the viewpoint image VI.
  • a similar display can be realized by controlling the settings of each virtual object VOB itself, such as the material of each virtual object VOB to be drawn, according to the position.
  • the image correction unit 54 extracts multiple virtual objects VOB from the content data CT.
  • the image correction unit 54 adjusts the degree of attraction of each virtual object VOB based on the alpha value corresponding to the distance between the virtual object VOB and the eye-attracting area RA.
  • the front side viewed from the z-direction is defined as the main area that becomes the eye-attracting area RA.
  • the alpha value of the material is lowered, and the transparency is high.
  • the virtual object VOB on the near side, which serves as the eye-attracting area RA becomes more conspicuous.
  • the visibility of the virtual object VOB on the front side, which serves as the eye-attracting area RA is enhanced, and a display that is easy to fuse can be obtained.
  • FIG. 19 is a diagram showing a hardware configuration example of the display system 1. As shown in FIG.
  • the display system 1 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the display system 1 also includes a bridge 904 , an external bus 904 b , an interface 905 , an input device 906 , an output device 907 , a storage device 908 , a drive 909 , a connection port 911 , a communication device 913 and a sensor 915 .
  • the display system 1 may have a processing circuit such as a DSP or ASIC in place of or together with the CPU 901 .
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations within the display system 1 according to various programs.
  • the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901 .
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form, for example, the data processing unit 11 , the line-of-sight recognition unit 13 , the distance recognition unit 14 , the user recognition unit 15 , the attraction information recognition unit 16 and the virtual space recognition unit 17 .
  • the CPU 901, ROM 902 and RAM 903 are interconnected by a host bus 904a including a CPU bus.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • the host bus 904a, the bridge 904 and the external bus 904b do not necessarily have to be configured separately, and these functions may be implemented in one bus.
  • the input device 906 is implemented by a device through which information is input by the user, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the display system 1 .
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above input means and outputs the signal to the CPU 901 .
  • a user of the display system 1 can input various data to the display system 1 and instruct processing operations by operating the input device 906 .
  • the input device 906 may form the information input unit 30, for example.
  • the output device 907 is formed by a device capable of visually or audibly notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the display system 1 .
  • the display device visually displays the results obtained by various processes performed by the display system 1 in various formats such as text, image, table, and graph.
  • an audio output device converts an audio signal, which is composed of reproduced audio data, acoustic data, etc., into an analog signal and aurally outputs the analog signal.
  • the output device 907 can form the information presentation unit 20, for example.
  • the storage device 908 is a data storage device formed as an example of the storage unit of the display system 1 .
  • the storage device 908 is implemented by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, and various data acquired from the outside.
  • the storage device 908 can form the storage unit 19, for example.
  • a drive 909 is a reader/writer for storage media, and is built in or externally attached to the display system 1 .
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903 .
  • Drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 920 .
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • This communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP/IP.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a ranging sensor, and a force sensor.
  • the sensor 915 acquires information about the state of the display system 1 itself, such as the posture and movement speed of the display system 1 , and information about the surrounding environment of the display system 1 , such as brightness and noise around the display system 1 .
  • Sensor 915 may also include a GPS sensor that receives GPS signals to determine the latitude, longitude and altitude of the device. Sensor 915 may form sensor portion 40, for example.
  • the network 920 is a wired or wireless transmission path for information transmitted from devices connected to the network 920 .
  • the network 920 may include a public network such as the Internet, a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • Network 920 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the processing unit 10 has a display generation unit 53 , an eye-attracting area detection unit 51 , a map generation unit 52 , an image correction unit 54 and a display control unit 55 .
  • the display generation unit 53 generates a plurality of viewpoint images VI to be displayed as stereoscopic images.
  • the attracting area detection unit 51 detects an attracting area RA in the virtual space VS that should attract the user's visual attention.
  • the map generator 52 generates, for each viewpoint image VI, a control map CM indicating the distribution of the degree of attraction in the viewpoint image VI, based on the distance from the attraction area RA.
  • the image correction unit 54 adjusts the attractiveness of the viewpoint image VI based on the control map CM.
  • the display control unit 55 displays a stereoscopic image in the virtual space VS using a plurality of viewpoint images VI whose attractiveness is adjusted.
  • the processing of the processing unit 10 described above is executed by a computer.
  • the program of the present embodiment causes a computer to implement the processing of the processing unit 10 described above.
  • the control map CM defines a distribution of the degree of attraction such that the degree of attraction decreases as the distance from the attraction area RA increases.
  • the eye-attracting area RA becomes more conspicuous than other areas. Therefore, fusion is promoted.
  • the map generator 52 generates a distance map DM for each viewpoint image VI based on the three-dimensional coordinate information of the stereoscopic image.
  • the map generator 52 determines the spatial distribution AD of the degree of attraction of the virtual space VS with reference to the position of the attraction area RA.
  • the map generator 52 generates a control map CM based on the distance map DM and the spatial distribution AD of the degree of attention.
  • control map CM is easily generated based on the three-dimensional coordinate information of the stereoscopic image.
  • the image correction unit 54 adjusts the attractiveness of the viewpoint image VI by adjusting the frequency characteristics, brightness, saturation, contrast, transparency, or hue of the viewpoint image VI for each pixel.
  • the image correction unit 54 extracts a plurality of virtual objects VOB from the content data CT.
  • the image correction unit 54 adjusts the degree of attraction of each virtual object VOB based on the alpha value corresponding to the distance between the virtual object VOB and the eye-attracting area RA.
  • the attracting area detection unit 51 detects the attracting area RA based on the user input information, the gaze position of the user, or the attracting position extracted from the content data CT.
  • the attracting area RA is appropriately set.
  • the present technology can also take the following configuration.
  • a display generation unit that generates a plurality of viewpoint images to be displayed as a stereoscopic image; an attractive area detection unit that detects an attractive area in the virtual space that should attract the user's visual attention; a map generation unit that generates a control map showing the distribution of the degree of attraction in each viewpoint image based on the distance from the attraction region; an image correction unit that adjusts the degree of attraction of the viewpoint image based on the control map; a display control unit that displays the stereoscopic image in the virtual space using the plurality of viewpoint images with the degree of attraction adjusted;
  • Information processing device having (2)
  • the control map defines a distribution of the degree of attraction such that the degree of attraction decreases as the distance from the attraction area increases.
  • the information processing apparatus according to (1) above.
  • the map generation unit generates a distance map of each viewpoint image based on the three-dimensional coordinate information of the stereoscopic image, determines a spatial distribution of the degree of attraction of the virtual space based on the position of the attraction area, and generating the control map based on the distance map and the spatial distribution of the degree of attraction;
  • the information processing apparatus according to (1) or (2) above.
  • the image correction unit adjusts the attractiveness of the viewpoint image by adjusting the frequency characteristics, brightness, saturation, contrast, transparency, or hue of the viewpoint image for each pixel.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the image correction unit extracts a plurality of virtual objects from the content data, and adjusts the degree of attraction of each virtual object based on an alpha value corresponding to the distance between the virtual object and the attracting area.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the attracting area detection unit detects the attracting area based on user input information, the gaze position of the user, or an attracting position extracted from content data.
  • the information processing apparatus according to any one of (1) to (5) above.
  • a computer-implemented information processing method comprising: (8) generating multiple viewpoint images for display as a stereoscopic image; Detecting an attractive area in a virtual space that should attract the user's visual attention, generating, for each viewpoint image, a control map showing the distribution of the degree of attraction in the viewpoint image based on the distance from the attraction region; adjusting the degree of attraction of the viewpoint image based on the control map; displaying the stereoscopic image in the virtual space using the plurality of viewpoint images with the adjusted degree of attraction;
  • a computer-implemented information processing method comprising: (8) generating multiple viewpoint images for display as a stereoscopic image; Detecting an attractive area in a virtual space that should attract the user's visual attention, generating, for each viewpoint image, a control map showing the distribution of the degree of attraction in the viewpoint image based on the distance from the attraction region; adjusting the degree of attraction of the viewpoint image based on the control map; displaying the stereoscopic image in the virtual space using the plurality of viewpoint images with the adjusted
  • processing unit (information processing device) 51 Attraction region detection unit 52 Map generation unit 53 Display generation unit 54 Image correction unit 55 Display control unit AD Spatial distribution of degree of attraction CM Control map CT Content data DM Distance map PG Program RA Attraction region VI Viewpoint image VOB Virtual object VS Virtual space

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

情報処理装置（１０）は、表示生成部（５３）と誘目領域検出部（５１）とマップ生成部（５２）と画像補正部（５４）と表示制御部（５５）とを有する。表示生成部（５３）は、立体画像として表示するための複数の視点画像を生成する。誘目領域検出部（５１）は、ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する。マップ生成部（５２）は、誘目領域からの距離に基づいて、視点画像ごとに、視点画像における誘目度の分布を示す制御マップを生成する。画像補正部（５４）は、制御マップに基づいて視点画像の誘目度を調整する。表示制御部（５５）は、誘目度が調整された複数の視点画像を用いて仮想空間に立体画像を表示させる。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　両眼視差を用いて立体表示を行う裸眼立体ディスプレイが知られている。観察者の左眼および右眼に左眼用および右眼用の視点画像が供給される。これにより、あたかも観察者の目の前に仮想物体が存在するかのような表示が実現される。
国際公開第２０１８／１１６５８０号
　左右の網膜に映った像は、観察者の脳内で融合され、１つの立体画像として認識される。このような脳の働きは、融像と呼ばれる。左右の像の対応関係が明瞭である場合には、融像は生じやすい。しかし、表現している奥行きが大きかったり、同一の仮想物体が連続して配置されるような場合には、１つの立体画像として認識すべき画像範囲が不明瞭になり、融像が困難になる。従来の裸眼立体ディスプレイでは、融像しやすさについては何ら考慮されていないため、表示コンテンツによっては、稀に融像が困難になり、視認性が低下する場合がある。
　そこで、本開示では、融像しやすい立体表示を実現可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、立体画像として表示するための複数の視点画像を生成する表示生成部と、ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、を有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
表示システムの一例を示す図である。 表示システムの機能構成を示す図である。 仮想空間に呈示される立体画像の一例を示す図である。 仮想空間に呈示される立体画像の一例を示す図である。 立体画像を特定の視点から見た視点画像を示す図である。 信号処理の流れを説明する図である。 視点画像の距離マップを示す図である。 誘目度の空間分布の一例を示す図である。 誘目度の空間分布の一例を示す図である。 誘目度の空間分布の一例を示す図である。 制御マップの一例を示す図である。 誘目度の空間分布のバリエーションを示す図である。 誘目度の空間分布のバリエーションを示す図である。 誘目度の空間分布のバリエーションを示す図である。 補正信号処理の具体例を示す図である。 補正信号処理の具体例を示す図である。 補正信号処理の具体例を示す図である。 補正信号処理の変形例を示す図である。 表示システムのハードウェア構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．表示システムの構成］
［２．立体画像の具体例］
［３．情報処理方法］
　［３－１．距離マップの生成］
　［３－２．誘目度の空間分布の設定］
　［３－３．制御マップの生成および補正処理］
　［３－４．誘目度の空間分布のバリエーション］
　［３－５．補正信号処理の具体例］
［４．変形例］
［５．ハードウェア構成例］
［６．効果］
［１．表示システムの構成］
　図１は、表示システム１の一例を示す図である。
　表示システム１は、スクリーンＳＣＲが水平面ＢＴに対して角度θだけ傾斜したディスプレイ２１を有する。角度θは、例えば、４５度である。以下、スクリーンＳＣＲの下辺と平行な方向をｘ方向とする。下辺と直交する水平面ＢＴ内の方向をｚ方向とする。ｘ方向およびｚ方向と直交する方向（鉛直方向）をｙ方向とする。
　図１の例では、スクリーンＳＣＲのｘ方向のサイズはＷであり、ｚ方向のサイズはＤであり、ｙ方向のサイズはＨである。ｘ方向、ｙ方向およびｚ方向のサイズが、Ｗ、２×ＤおよびＨの直方体の空間が仮想空間ＶＳとなる。スクリーンＳＣＲに表示された複数の視点画像ＶＩ（図５参照）は、立体画像として仮想空間ＶＳに呈示される。以下、ユーザ（観察者）から見てスクリーンＳＣＲの手前側にある仮想空間ＶＳの鉛直面を前面ＦＴと呼び、スクリーンＳＣＲの後ろ側にある仮想空間ＶＳの鉛直面を背面ＲＥと呼ぶ。
　両眼視差を利用した表示システム１では、ユーザの左右の目に映る視点画像ＶＩが融像して１つの立体画像として認識される。しかし、仮想物体ＶＯＢ（図３参照）がスクリーンＳＣＲから大きく飛びだしたり深い奥行き位置に配置されたりした場合や、同一の仮想物体ＶＯＢが連続して配置されるような場合には、１つの立体画像として認識すべき画像範囲が不明瞭になるケースがある。そのようなケースでは、稀に融像が困難になり、視認性が低下する場合がある。
　実物体を鑑賞する場合には、目のピントを調節することによって、実物体の奥行方向の位置を探索することができる。そのため、奥行方向の位置を手掛かりとして、左右の像の対応関係を認識することができる。しかし、裸眼立体ディスプレイでは、実際に観察されているのは、スクリーンＳＣＲ上に表示されているステレオの錯視画像（視点画像ＶＩ）である。錯視画像の焦点位置は光源となるスクリーンＳＣＲ上に固定される。そのため、目のピント調節により、仮想物体ＶＯＢの奥行きを探索することはできない。このことが、融像をより困難にする。
　本開示では、このような問題を解決するため、仮想空間ＶＳ内の特定の領域を誘目領域ＲＡ（図８参照）として設定し、誘目領域ＲＡが他の領域に比べて顕著になるように補正信号処理を行う手法を提案する。ユーザの視線ＥＳ（図８参照）を誘目領域ＲＡに誘導することで、１つの立体画像として認識すべき画像範囲が特定しやすくなる。その結果、融像が促進される。以下、詳細に説明する。
　図２は、表示システム１の機能構成を示す図である。
　表示システム１は、処理部１０、情報提示部２０、情報入力部３０およびセンサ部４０を有する。処理部１０は、各種情報を処理する情報処理装置である。処理部１０は、センサ部４０から取得したセンサ情報および情報入力部３０から取得したユーザ入力情報に基づいて、情報提示部２０を制御する。
　センサ部４０は、外界をセンシングするための複数のセンサを有する。複数のセンサには、例えば、可視光カメラ４１、測距センサ４２、視線検出センサ４３などが含まれる。可視光カメラ４１は、外界の可視光画像を撮影する。測距センサ４２は、レーザ光の飛行時間などを用いて、外界に存在する実物体の距離を検出する。視線検出センサ４３は、公知のアイトラッキング技術を用いて、ディスプレイ２１に向けられたユーザの視線ＥＳを検出する。
　情報提示部２０は、ユーザに映像情報、音響情報および触覚情報などの各種情報を提示する。情報提示部２０は、例えば、ディスプレイ２１、スピーカ２２およびハプティクスデバイス２３を有する。ディスプレイ２１には、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの公知のディスプレイが用いられる。スピーカ２２には、音声などを出力可能な公知のスピーカが用いられる。ハプティクスデバイス２３には、超音波などにより、表示情報に関連した触覚情報を提示可能な公知のハプティクスデバイスが用いられる。
　情報入力部３０は、ユーザの入力操作によって各種情報を入力可能な複数の入力機器を有する。複数の入力機器には、例えば、タッチパネル３１、キーボード３２、マウス３３およびマイクロフォン３４などが含まれる。
　処理部１０は、例えば、データ処理部１１、Ｉ／Ｆ部１２、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６、仮想空間認識部１７、タイマー１８および記憶部１９を有する。処理部１０は、センサ部４０で検出されたセンサ情報および情報入力部３０から入力されたユーザ入力情報をＩ／Ｆ部１２を介して取得する。
　視線認識部１３は、視線検出センサ４３で検出された情報に基づいて、ディスプレイ２１に視線ＥＳを向けるユーザの視線情報を生成する。視線情報には、ユーザの目の位置（視点ＶＰ：図８参照）および視線ＥＳの方向に関する情報が含まれる。視線認識処理には、公知のアイトラッキング技術が用いられる。
　距離認識部１４は、測距センサ４２で検出された情報に基づいて、外界に存在する実物体の距離情報を生成する。距離情報は、例えば、実物体とディスプレイ２１との間の距離の情報を含む。
　ユーザ認識部１５は、可視光カメラ４１で撮影された可視光画像から、ディスプレイ２１に視線ＥＳを向けるユーザの画像を抽出する。ユーザ認識部１５は、抽出されたユーザの画像に基づいて、ユーザの動作情報を生成する。動作情報には、例えば、ユーザがディスプレイ２１を見ながら実施している作業の状況やジェスチャに関する情報が含まれる。
　誘目情報認識部１６は、ユーザ入力情報、センサ情報およびコンテンツデータＣＴに基づいて、仮想空間ＶＳの誘目情報を生成する。誘目情報は、ユーザの視覚的な注意を誘引すべき物や場所（誘目領域ＲＡ）に関する情報を含む。誘目情報は、キーとなる誘目領域ＲＡの位置情報を特定するために用いられる。
　例えば、手前側（ユーザに近い側）に主要な物が配置される一般的な表示形態では、手前側にある物を特定する情報が誘目情報として生成される。コンテンツデータＣＴに、コンテンツ製作者が指定した誘目位置（物や場所）の情報が含まれる場合には、コンテンツデータＣＴから抽出された誘目位置の情報が誘目情報として生成される。ユーザが特定の位置を継続的に注視している場合には、ユーザの注視位置に関する情報が誘目情報として生成される。例えば、センサ情報から、ユーザが仮想空間ＶＳに指やペンなどを挿入し、仮想物体ＶＯＢに対して描画や造形などの何らかの作業を行っている状況が検出された場合には、作業箇所（注視位置）の位置情報が誘目情報として生成される。
　仮想空間認識部１７は、仮想空間ＶＳに関する仮想空間情報を生成する。仮想空間情報には、例えば、スクリーンＳＣＲの角度θ、ならびに、仮想空間ＶＳの位置およびサイズに関する情報が含まれる。
　データ処理部１１は、タイマー１８で生成されたタイミング信号に基づいて、情報提示部２０およびセンサ部４０を同期して駆動する。データ処理部１１は、情報提示部２０を制御し、誘目領域からの距離に応じて誘目度（目立ちやすさ）が調整された立体画像を仮想空間ＶＳに表示させる。データ処理部１１は、例えば、誘目領域検出部５１、マップ生成部５２、表示生成部５３、画像補正部５４および表示制御部５５を有する。
　表示生成部５３は、立体画像として表示するための複数の視点画像ＶＩを生成する。視点画像ＶＩは、１つの視点ＶＰから見た２次元画像を意味する。複数の視点画像ＶＩには、ユーザの左眼から見た左眼画像と、ユーザの右眼から見た右眼画像と、が含まれる。
　例えば、表示生成部５３は、仮想空間認識部１７から取得した仮想空間情報に基づいて、仮想空間ＶＳの位置およびサイズを検出する。表示生成部５３は、視線認識部１３から取得した視線情報に基づいて、ユーザの左眼および右眼の位置（視点ＶＰ）を検出する。表示生成部５３は、コンテンツデータＣＴから３Ｄデータを抽出し、抽出された３Ｄデータをユーザの視点に基づいてレンダリングして視点画像ＶＩを生成する。
　誘目領域検出部５１は、誘目情報認識部１６から取得した誘目情報に基づいて、ユーザの視覚的な注意を誘引すべき仮想空間ＶＳの誘目領域ＲＡを検出する。誘目領域ＲＡは、例えば、仮想空間ＶＳに呈示される特定の仮想物体ＶＯＢ、または、特定の仮想物体ＶＯＢを含む仮想空間ＶＳ内の局所領域である。誘目領域ＲＡは、例えば、ユーザ入力情報、ユーザの注視位置、または、コンテンツデータＣＴから抽出された誘目位置に基づいて検出される。ユーザの注視位置は、例えば、ユーザ認識部１５から取得したユーザの動作情報に基づいて検出される。
　マップ生成部５２は、誘目領域ＲＡからの距離に基づいて、視点画像ＶＩごとに制御マップＣＭ（図１１参照）を生成する。制御マップＣＭは、視点画像ＶＩにおける誘目度の分布を示す。仮想空間ＶＳには、誘目領域ＲＡにおいて誘目度が最も大きくなるような誘目度の空間分布が設定される。
　例えば、制御マップＣＭには、誘目領域ＲＡから離れるにしたがって誘目度が低下するような誘目度の分布が規定される。誘目度は、誘目領域ＲＡからの距離を基準として算出される。基準となる距離は、奥行方向の距離でもよいし、奥行方向と直交する方向の距離でもよい。奥行方向は、ユーザの視線方向でもよいし、ｚ方向でもよい。誘目領域ＲＡからの距離は、距離認識部１４から取得した距離情報に基づいて算出される。
　画像補正部５４は、制御マップＣＭに基づいて視点画像ＶＩの誘目度を調整する。例えば、画像補正部５４は、視点画像ＶＩの周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、視点画像ＶＩの誘目度を調整する。
　例えば、画像補正部５４は、周波数特性、明度、彩度、コントラストおよび透明度などの特性を誘目領域ＲＡにおいて最も高くする。これにより、誘目領域ＲＡが顕在化され、誘目度が高まる。仮想空間ＶＳに同じ色相を持つ複数の仮想物体ＶＯＢが呈示される場合には、画像補正部５４は、誘目領域ＲＡに提示される仮想物体ＶＯＢの色相を他の領域の仮想物体ＶＯＢの色相と異ならせることができる。色相が調整された仮想物体ＶＯＢは、異質な仮想物体ＶＯＢとして他から識別される。そのため、誘目領域ＲＡの仮想物体ＶＯＢの誘目度が高まる。
　上述の画像処理により、領域ごとに誘目度が調整される。そのため、同質のエッジやテクスチャが連続的に配置されても、異なるエッジやテクスチャとして知覚されやすくなる。これにより、融像が促進され、視認性の高い表示が実現される。視認性が改善されるため、大きな奥行表現が可能となるとともに、知覚される立体感も向上する。さらに、融像のしにくさは視覚疲労の原因となるが、これが解消されることで、視覚疲労の低減も期待できる。
　表示制御部５５は、誘目度が調整された複数の視点画像ＶＩを用いて仮想空間ＶＳに立体画像を表示させる。
　各種演算に用いられる設定、条件および基準に関する情報は、設定情報ＳＴＩに含まれる。上述の処理に用いられるコンテンツデータＣＴ、設定情報ＳＴＩおよびプログラムＰＧは記憶部１９に記憶される。プログラムＰＧは、本実施形態に係る情報処理をコンピュータに実行させるプログラムである。処理部１０は、記憶部１９に記憶されているプログラムＰＧにしたがって各種の処理を行う。記憶部１９は、処理部１０の処理結果を一時的に記憶する作業領域として利用されてもよい。記憶部１９は、例えば、半導体記憶媒体および磁気記憶媒体などの任意の非一過的な記憶媒体を含む。記憶部１９は、例えば、光ディスク、光磁気ディスクまたはフラッシュメモリを含んで構成される。プログラムＰＧは、例えば、コンピュータにより読み取り可能な非一過的な記憶媒体に記憶されている。
　処理部１０は、例えば、プロセッサとメモリとで構成されるコンピュータである。処理部１０のメモリには、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）が含まれる。処理部１０は、プログラムＰＧを実行することにより、データ処理部１１、Ｉ／Ｆ部１２、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６、仮想空間認識部１７、タイマー１８、誘目領域検出部５１、マップ生成部５２、表示生成部５３、画像補正部５４および表示制御部５５として機能する。
［２．立体画像の具体例］
　図３および図４は、仮想空間ＶＳに呈示される立体画像の一例を示す図である。図５は、立体画像を特定の視点ＶＰから見た視点画像ＶＩを示す図である。
　コンテンツデータＣＴには、立体画像の３Ｄモデルに関する情報が含まれる。３Ｄモデルを視点ＶＰの情報に基づいてレンダリングすることにより、任意の視点ＶＰから見た視点画像ＶＩが生成される。図３ないし図５の例では、複数のキューブ状の仮想物体ＶＯＢがｘ方向、ｙ方向およびｚ方向に周期的に配列されている。複数の仮想物体ＶＯＢは、スクリーンＳＣＲの手前側から後ろ側にかけてｚ方向に広く分布している。視点画ＶＩには、例えば、複数の仮想物体ＶＯＢとその影画像ＳＨとが含まれる。
　ユーザは、仮想空間ＶＳの前面ＦＴ側から立体画像を観察する。観察位置によっては全ての方向に同一のエッジやテクスチャを持つ仮想物体ＶＯＢが観察される。そのため、１つ１つの仮想物体ＶＯＢが区別しにくく、非常に融像しづらい表示となる。この問題を解決するために、本開示では、特定の空間領域を顕在化し、ユーザの視線ＥＳをこの空間領域に誘導して融像を促している。以下、情報処理の一例を説明する。
［３．情報処理方法］
［３－１．距離マップの生成］
　図６は、信号処理の流れを説明する図である。図７は、視点画像ＶＩの距離マップＤＭを示す図である。
　マップ生成部５２は、立体画像の３次元座標情報に基づいて、各視点画像ＶＩの距離マップＤＭを生成する。距離マップＤＭは、視点ＶＰから仮想物体ＶＯＢの表面までの距離の分布を示す。距離マップＤＭは、視点ＶＰからの距離を画素ごとに規定する。距離マップＤＭの各画素には、例えば、ユーザから見て最も近い仮想空間ＶＳ内の位置（例えば前面ＦＴ）までの距離を０とし、最も遠い仮想空間ＶＳ内の位置（例えば背面ＲＥ）までの距離を１として規格化された距離値が画素値として規定されている。
［３－２．誘目度の空間分布の設定］
　図８ないし図１０は、誘目度の空間分布ＡＤの一例を示す図である。
　誘目領域検出部５１は、誘目情報に基づいて誘目領域ＲＡの位置情報を生成する。誘目領域検出部５１は、誘目領域ＲＡの位置情報を制御キーとしてマップ生成部５２に供給する。マップ生成部５２は、誘目領域ＲＡの位置を基準とした仮想空間ＶＳの誘目度の空間分布ＡＤを決定する。図８の例では、ユーザの視点ＶＰから最も近い仮想空間ＶＳ上の位置が誘目領域ＲＡとして決定されている。誘目領域ＲＡは、視線ＥＳと直交する平面領域として規定される。視点ＶＰからの距離が大きくなるほど誘目度は小さくなる。
　図９の例では、仮想空間ＶＳの前面ＦＴが誘目領域ＲＡとして決定されている。前面ＦＴからの距離が大きくなるほど誘目度は小さくなるような誘目度の空間分布ＡＤが設定される。背面ＲＥの誘目度は最も小さい。図１０の例では、規格化された視点ＶＰからの距離がＤＳＡとなる仮想空間ＶＳ内の領域が誘目領域ＲＡとして決定されている。マップ生成部５２は、誘目度に応じた画像の補正値を制御値ＣＶとして決定する。マップ生成部５２は、誘目度の空間分布ＡＤに基づいて、距離ＤＳと制御値ＣＶとの関係を規定した制御カーブＣＣＶを決定する。
［３－３．制御マップの生成および補正処理］
　図１１は、制御マップＣＭの一例を示す図である。
　マップ生成部５２は、距離マップＤＭと空間分布ＡＤとに基づいて制御マップＣＭを生成する。例えば、マップ生成部５２は、制御カーブＣＣＶを距離マップＤＭに適用することで、視点画像ＶＩごとに制御マップＣＭを生成する。制御マップＣＭは、対応する視点画像ＶＩの制御値ＣＶの分布を示す。制御マップＣＭは、視点画像ＶＩの各画素の制御値ＣＶを規定する。画像補正部５４は、制御マップＣＭに基づいて、補正信号処理用の制御信号を生成する。画像補正部５４は、制御信号を用いて視点画像ＶＩを補正する。
［３－４．誘目度の空間分布のバリエーション］
　図１２ないし図１４は、誘目度の空間分布ＡＤのバリエーションを示す図である。
　図１２の例では、誘目領域ＲＡは、ユーザの視線ＥＳの方向（視線方向ＥＳＤ）から見て仮想空間ＶＳの中央部（符号「ａ」で示される）に設定されている。視線方向ＥＳＤと直交する仮想空間ＶＳの中央部の平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡの手前側（ユーザに近い側）および後ろ側（ユーザから遠い側）では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。
　図１３の左から１番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの前面ＦＴ側の端部に設定されている。前面ＦＴの上辺を通って視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡから仮想空間ＶＳの中央部までは、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。仮想空間ＶＳの中央部よりも後ろ側では、誘目度は変化しない。
　図１３の左から２番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部よりも手前側に設定されている。視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。
　図１３の左から３番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部に設定されている。誘目度の空間分布ＡＤは、図１２の例と同様である。
　図１３の左から４番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの中央部よりも後ろ側に設定されている。視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。
　図１３の左から５番目の例では、誘目領域ＲＡは、視線方向ＥＳＤから見て仮想空間ＶＳの背面ＲＥ側の端部に設定されている。背面ＲＥの下辺を通って視線方向ＥＳＤと直交する平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡから仮想空間ＶＳの中央部までは、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。仮想空間ＶＳの中央部よりも手間側では、誘目度は変化しない。
　図１４の例では、誘目領域ＲＡは、ｚ方向から見て仮想空間ＶＳの中央部に設定されている。ｚ方向と直交する仮想空間ＶＳの中央部の平面領域が誘目領域ＲＡとなっている。誘目領域ＲＡにおいて誘目度が最も大きく、誘目領域ＲＡの手前側および後ろ側では、誘目領域ＲＡからの距離に応じて誘目度が徐々に低下する。
［３－５．補正信号処理の具体例］
　図１５ないし図１７は、補正信号処理の具体例を示す図である。各図の左側は補正前の視点画像ＶＩを示し、右側は補正後の視点画像ＶＩ（補正画像ＶＩＣ）を示す。
　補正信号処理は、視点画像ＶＩの誘目度を画素ごとに調整する処理である。補正信号処理は、誘目させたい領域をより目立たせそれ以外の領域を目立たないようにさせること、あるいは、同種の仮想物体ＶＯＢが多数存在する場合に、それぞれを区別して認識しやすくすることを目的とする。補正信号処理では、例えば、下記に示す複数の処理が単独で、または、組み合わせて実施される。
　図１５の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域の周波数特性を高くし、それ以外の部分を低くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの鮮鋭度が上がり、エッジやテクスチャの視認性も他より高まる。その結果、融像しやすい表示が得られる。図１５の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側の鮮鋭度が高く、後ろ側に行くほど鮮鋭度が低くなっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。
　図１６の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域を明るく、それ以外の部分を暗くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの明るさが他よりも上がり、目立ちやすくなる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。図１６の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側が明るく、後ろ側に行くほど暗くなっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。
　図１７の例では、制御マップＣＭに応じて、制御値ＣＶの高い領域の彩度を高くし、それ以外の部分の彩度を低くする処理が行われる。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの彩度が他よりも鮮やかになる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。図１７の例では、視線方向ＥＳＤから見て最も手前側の誘目度が高く設定されている。補正画像ＶＩＣでは、最も手前側が鮮やかで、後ろ側に行くほどくすんだ色になっている。手前側に誘目させると同時に後ろ側との差をつけることにより、融像しやすくなっている。
　なお、補正信号処理は上述のものに限られない。例えば、制御マップＣＭに応じて、制御値ＣＶの高い領域の局所コントラストを高くし、それ以外の部分のコントラストを低くする処理が行われてもよい。局所コントラストとは、局所的な空間に存在する仮想物体ＶＯＢ内のコントラストを意味する。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢのテクスチャ等が他よりも鮮やかに表示される。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。
　制御マップＣＭに応じて、制御値ＣＶの高い領域の透明度を低くし、それ以外の部分の透明度を上げる処理が行われてもよい。この処理により、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢが目立ちやすくなる。その結果、誘目領域ＲＡとなる主要な領域や仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。
　複数の同質の仮想物体ＶＯＢが仮想空間ＶＳに呈示される場合には、制御マップＣＭに応じて、制御値ＣＶの高い領域とその領域の色相等を変えることにより、領域ごとに仮想物体ＶＯＢを異質化する処理が行われてもよい。この処理により、個々の仮想物体ＶＯＢが区別しやすくなる。その結果、誘目領域ＲＡとなる主要な仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。
［４．変形例］
　図１８は、補正信号処理の変形例を示す図である。
　上述した補正信号処理は、いずれも視点画像ＶＩに適用されるポスト処理として実施される。しかし、描画する個々の仮想物体ＶＯＢのマテリアルなど、それ自体の設定を位置に応じて制御することにより、同様な表示を実現することもできる。例えば、画像補正部５４は、コンテンツデータＣＴから複数の仮想物体ＶＯＢを抽出する。画像補正部５４は、仮想物体ＶＯＢごとに、仮想物体ＶＯＢと誘目領域ＲＡとの距離に応じたアルファ値に基づいて仮想物体ＶＯＢの誘目度を調整する。
　図１８の例では、ｚ方向から見て手前側が、誘目領域ＲＡとなる主要な領域と定義されている。後ろ側の仮想物体ＶＯＢでは、マテリアルのアルファ値が下げられ、透明度が高い表示となっている。この処理により、誘目領域ＲＡとなる手前側の仮想物体ＶＯＢが目立ちやすくなる。その結果、誘目領域ＲＡとなる手前側の仮想物体ＶＯＢの視認性が高まり、融像しやすい表示が得られる。
［５．ハードウェア構成例］
　図１９は、表示システム１のハードウェア構成例を示す図である。
　表示システム１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、表示システム１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。表示システム１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示システム１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、データ処理部１１、視線認識部１３、距離認識部１４、ユーザ認識部１５、誘目情報認識部１６および仮想空間認識部１７を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示システム１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。表示システム１のユーザは、この入力装置９０６を操作することにより、表示システム１に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報入力部３０を形成しうる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、表示システム１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、表示システム１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、情報提示部２０を形成しうる。
　ストレージ装置９０８は、表示システム１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１９を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、表示システム１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、表示システム１の姿勢、移動速度等、表示システム１自身の状態に関する情報や、表示システム１の周辺の明るさや騒音等、表示システム１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部４０を形成し得る。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
［６．効果］
　処理部１０は、表示生成部５３と誘目領域検出部５１とマップ生成部５２と画像補正部５４と表示制御部５５とを有する。表示生成部５３は、立体画像として表示するための複数の視点画像ＶＩを生成する。誘目領域検出部５１は、ユーザの視覚的な注意を誘引すべき仮想空間ＶＳの誘目領域ＲＡを検出する。マップ生成部５２は、誘目領域ＲＡからの距離に基づいて、視点画像ＶＩごとに、視点画像ＶＩにおける誘目度の分布を示す制御マップＣＭを生成する。画像補正部５４は、制御マップＣＭに基づいて視点画像ＶＩの誘目度を調整する。表示制御部５５は、誘目度が調整された複数の視点画像ＶＩを用いて仮想空間ＶＳに立体画像を表示させる。本実施形態の情報処理方法は、上述した処理部１０の処理がコンピュータにより実行される。本実施形態のプログラムは、上述した処理部１０の処理をコンピュータに実現させる。
　この構成によれば、１つの立体画像として認識すべき像領域に観察者の注視を促すことができる。そのため、融像が生じやすい。
　制御マップＣＭには、誘目領域ＲＡから離れるにしたがって誘目度が低下するような誘目度の分布が規定される。
　この構成によれば、誘目領域ＲＡが他の領域に比べて顕著になる。そのため、融像が促進される。
　マップ生成部５２は、立体画像の３次元座標情報に基づいて各視点画像ＶＩの距離マップＤＭを生成する。マップ生成部５２は、誘目領域ＲＡの位置を基準とした仮想空間ＶＳの誘目度の空間分布ＡＤを決定する。マップ生成部５２は、距離マップＤＭと誘目度の空間分布ＡＤとに基づいて制御マップＣＭを生成する。
　この構成によれば、制御マップＣＭが立体画像の３次元座標情報に基づいて容易に生成される。
　画像補正部５４は、視点画像ＶＩの周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、視点画像ＶＩの誘目度を調整する。
　この構成によれば、誘目領域ＲＡに観察者の注視を促しやすくなる。
　画像補正部５４は、コンテンツデータＣＴから複数の仮想物体ＶＯＢを抽出する。画像補正部５４は、仮想物体ＶＯＢごとに、仮想物体ＶＯＢと誘目領域ＲＡとの距離に応じたアルファ値に基づいて仮想物体ＶＯＢの誘目度を調整する。
　この構成によれば、誘目領域ＲＡに観察者の注視を促しやすくなる。
　誘目領域検出部５１は、ユーザ入力情報、ユーザの注視位置、または、コンテンツデータＣＴから抽出された誘目位置に基づいて誘目領域ＲＡを検出する。
　この構成によれば、誘目領域ＲＡが適切に設定される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も取ることができる。
（１）
　立体画像として表示するための複数の視点画像を生成する表示生成部と、
　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、
　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、
　前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、
　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、
　を有する情報処理装置。
（２）
　前記制御マップには、前記誘目領域から離れるにしたがって前記誘目度が低下するような前記誘目度の分布が規定される、
　上記（１）に記載の情報処理装置。
（３）
　前記マップ生成部は、前記立体画像の３次元座標情報に基づいて各視点画像の距離マップを生成し、前記誘目領域の位置を基準とした前記仮想空間の誘目度の空間分布を決定し、前記距離マップと前記誘目度の空間分布とに基づいて前記制御マップを生成する、
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記画像補正部は、前記視点画像の周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、前記視点画像の誘目度を調整する、
　上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（５）
　前記画像補正部は、コンテンツデータから複数の仮想物体を抽出し、仮想物体ごとに、前記仮想物体と前記誘目領域との距離に応じたアルファ値に基づいて前記仮想物体の誘目度を調整する、
　上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（６）
　前記誘目領域検出部は、ユーザ入力情報、前記ユーザの注視位置、または、コンテンツデータから抽出された誘目位置に基づいて前記誘目領域を検出する、
　上記（１）ないし（５）のいずれか１つに記載の情報処理装置。
（７）
　立体画像として表示するための複数の視点画像を生成し、
　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
　前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
　ことを有する、コンピュータにより実行される情報処理方法。
（８）
　立体画像として表示するための複数の視点画像を生成し、
　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
　前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
　ことをコンピュータに実現させるプログラム。
１０　処理部（情報処理装置）
５１　誘目領域検出部
５２　マップ生成部
５３　表示生成部
５４　画像補正部
５５　表示制御部
ＡＤ　誘目度の空間分布
ＣＭ　制御マップ
ＣＴ　コンテンツデータ
ＤＭ　距離マップ
ＰＧ　プログラム
ＲＡ　誘目領域
ＶＩ　視点画像
ＶＯＢ　仮想物体
ＶＳ　仮想空間

Claims (8)

  1. 　立体画像として表示するための複数の視点画像を生成する表示生成部と、
    　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出する誘目領域検出部と、
    　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成するマップ生成部と、
    　前記制御マップに基づいて前記視点画像の前記誘目度を調整する画像補正部と、
    　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる表示制御部と、
    　を有する情報処理装置。
  2. 　前記制御マップには、前記誘目領域から離れるにしたがって前記誘目度が低下するような前記誘目度の分布が規定される、
    　請求項１に記載の情報処理装置。
  3. 　前記マップ生成部は、前記立体画像の３次元座標情報に基づいて各視点画像の距離マップを生成し、前記誘目領域の位置を基準とした前記仮想空間の誘目度の空間分布を決定し、前記距離マップと前記誘目度の空間分布とに基づいて前記制御マップを生成する、
    　請求項１に記載の情報処理装置。
  4. 　前記画像補正部は、前記視点画像の周波数特性、明度、彩度、コントラスト、透明度、または、色相を画素ごとに調整することにより、前記視点画像の誘目度を調整する、
    　請求項１に記載の情報処理装置。
  5. 　前記画像補正部は、コンテンツデータから複数の仮想物体を抽出し、仮想物体ごとに、前記仮想物体と前記誘目領域との距離に応じたアルファ値に基づいて前記仮想物体の誘目度を調整する、
    　請求項１に記載の情報処理装置。
  6. 　前記誘目領域検出部は、ユーザ入力情報、前記ユーザの注視位置、または、コンテンツデータから抽出された誘目位置に基づいて前記誘目領域を検出する、
    　請求項１に記載の情報処理装置。
  7. 　立体画像として表示するための複数の視点画像を生成し、
    　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
    　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
    　前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
    　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
    　ことを有する、コンピュータにより実行される情報処理方法。
  8. 　立体画像として表示するための複数の視点画像を生成し、
    　ユーザの視覚的な注意を誘引すべき仮想空間の誘目領域を検出し、
    　前記誘目領域からの距離に基づいて、視点画像ごとに、前記視点画像における誘目度の分布を示す制御マップを生成し、
    　前記制御マップに基づいて前記視点画像の前記誘目度を調整し、
    　前記誘目度が調整された前記複数の視点画像を用いて前記仮想空間に前記立体画像を表示させる、
    　ことをコンピュータに実現させるプログラム。
PCT/JP2022/003278 2021-04-12 2022-01-28 情報処理装置、情報処理方法およびプログラム WO2022219877A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023514343A JPWO2022219877A1 (ja) 2021-04-12 2022-01-28
CN202280026440.7A CN117121475A (zh) 2021-04-12 2022-01-28 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021067159 2021-04-12
JP2021-067159 2021-04-12

Publications (1)

Publication Number Publication Date
WO2022219877A1 true WO2022219877A1 (ja) 2022-10-20

Family

ID=83639539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003278 WO2022219877A1 (ja) 2021-04-12 2022-01-28 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2022219877A1 (ja)
CN (1) CN117121475A (ja)
WO (1) WO2022219877A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130106844A1 (en) * 2011-11-01 2013-05-02 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP2013162330A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2015076776A (ja) * 2013-10-10 2015-04-20 凸版印刷株式会社 立体視画像処理装置、立体視画像処理方法及びプログラム
US20170372683A1 (en) * 2014-12-29 2017-12-28 Beijing Zhigu Rui Tuo Tech Co., Ltd. Light field display control methods and apparatuses, light field display devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130106844A1 (en) * 2011-11-01 2013-05-02 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP2013162330A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2015076776A (ja) * 2013-10-10 2015-04-20 凸版印刷株式会社 立体視画像処理装置、立体視画像処理方法及びプログラム
US20170372683A1 (en) * 2014-12-29 2017-12-28 Beijing Zhigu Rui Tuo Tech Co., Ltd. Light field display control methods and apparatuses, light field display devices

Also Published As

Publication number Publication date
CN117121475A (zh) 2023-11-24
JPWO2022219877A1 (ja) 2022-10-20

Similar Documents

Publication Publication Date Title
US11386626B2 (en) Information processing apparatus, information processing method, and program
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6017664B1 (ja) 情報処理方法及び情報処理プログラム
JP6134019B1 (ja) 仮想現実空間提供方法および仮想現実空間提供プログラム
US11310487B1 (en) Frustum change in projection stereo rendering
KR102402381B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP7259753B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
TW201919390A (zh) 顯示系統以及顯示方法
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
WO2022219877A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US10834382B2 (en) Information processing apparatus, information processing method, and program
CN116325720A (zh) 远程呈现中的深度冲突的动态消解
JP2017049738A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
CN112562088A (zh) 基于用户移动来呈现环境
JP2013051460A (ja) 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787805

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023514343

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787805

Country of ref document: EP

Kind code of ref document: A1