WO2018083757A1 - 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
WO2018083757A1
WO2018083757A1 PCT/JP2016/082600 JP2016082600W WO2018083757A1 WO 2018083757 A1 WO2018083757 A1 WO 2018083757A1 JP 2016082600 W JP2016082600 W JP 2016082600W WO 2018083757 A1 WO2018083757 A1 WO 2018083757A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
orientation
line
zoom
Prior art date
Application number
PCT/JP2016/082600
Other languages
English (en)
French (fr)
Inventor
千葉　直樹
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2017563271A priority Critical patent/JP6356928B1/ja
Priority to US16/346,165 priority patent/US10783853B2/en
Priority to PCT/JP2016/082600 priority patent/WO2018083757A1/ja
Publication of WO2018083757A1 publication Critical patent/WO2018083757A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention provides an image providing apparatus and an image providing method suitable for reducing a sense of discomfort given to a user when presenting a state of an observation space according to a change in the orientation of the user's head or line of sight on a display that covers the field of view.
  • a program and a non-transitory computer-readable information recording medium.
  • a Substituted Reality system has been proposed that allows users to recognize events that have not actually occurred in front of them as if they were actually occurring in front of them (patented) (Ref. 1).
  • Research on virtual reality (Augmented Reality) systems and augmented reality (Augmented Reality) systems is also underway as technologies similar to alternative reality systems.
  • virtual reality, augmented reality, etc. an observation space (Observation Space) different from the real space (Real Space) is prepared.
  • the observation space is constructed by combining panoramic images and omnidirectional images taken at different locations and times, as well as 3D graphics modeling technology.
  • an image representing the appearance of viewing the observation space from the observation position in the observation direction is generated by perspective projection or video segmentation, and the image is displayed on a display that covers the field of view, such as a head-mounted display.
  • a change in the orientation of the user's head or line of sight is detected by a sensor or the like, and the observation direction is updated according to the detected change in the orientation of the head.
  • an object of the present invention is to reduce a sense of discomfort given to a user in a display that covers a field of view.
  • an image providing apparatus includes: An image providing device that displays an image acquired from an all-around image on a display that covers a field of view, Detect user orientation or orientation change, In accordance with the detected orientation or change in orientation, set a line-of-sight direction for the all-around image, A zoomed image obtained by trimming a part of the omnidirectional image at a zoom rate according to an angle between the set line-of-sight direction and a predetermined direction in the omnidirectional image and zooming according to the size or resolution of the display Get Displaying the acquired zoom image on the display; It is characterized by that.
  • the image providing apparatus is The smaller the angle formed between the set line-of-sight direction and the predetermined direction in the omnidirectional image, the larger the zoom ratio, the larger the zoom ratio, the part of the omnidirectional image is cropped and zoomed. It may be a thing.
  • the all-around image is a recording of the amount of focus adjustment with respect to the line-of-sight direction, Trimming a part of the entire surrounding image and zooming with the zoom ratio according to the angle and the adjustment amount in the set line-of-sight direction, It may be a thing.
  • the image providing apparatus is Trimming and zooming a part of the entire surrounding image by the zoom rate according to the angle and the numerical value indicating the height of the user wearing the display, It may be a thing.
  • the image providing apparatus is Detecting the height of the display, Trimming and zooming a part of the entire surrounding image according to the angle and the zoom rate according to the detected height, It may be a thing.
  • an image providing method includes: An image providing method for displaying an image acquired from an all-around image on a display covering a field of view,
  • the image providing device detects the orientation of the user or a change in the orientation,
  • the image providing device sets a line-of-sight direction with respect to the all-around image according to the detected orientation or change in orientation,
  • the image providing device trims a part of the omnidirectional image to a size or resolution of the display by a zoom rate according to an angle formed by the set line-of-sight direction and a predetermined direction in the omnidirectional image.
  • Acquire a zoom image zoomed together The image providing device displays the acquired zoom image on the display; It is characterized by that.
  • a program that is executed by a computer that displays an image acquired from the entire surrounding image on a display that covers the field of view, In the computer, Detection procedure to detect user orientation or orientation change, A setting procedure for setting a line-of-sight direction with respect to the omnidirectional image according to the detected orientation or a change in orientation; A zoomed image obtained by trimming a part of the omnidirectional image at a zoom rate according to an angle between the set line-of-sight direction and a predetermined direction in the omnidirectional image and zooming according to the size or resolution of the display To get the extraction procedure, A display procedure for displaying the acquired zoom image on the display; Is executed.
  • an information recording medium in which a program executed by a computer for displaying an image acquired from an entire surrounding image is recorded on a display that covers the field of view,
  • Detection procedure to detect user orientation or orientation change A setting procedure for setting a line-of-sight direction with respect to the omnidirectional image according to the detected orientation or a change in orientation;
  • a zoomed image obtained by trimming a part of the omnidirectional image at a zoom rate according to an angle between the set line-of-sight direction and a predetermined direction in the omnidirectional image and zooming according to the size or resolution of the display
  • a display procedure for displaying the acquired zoom image on the display Record the program that executes
  • FIG. 2 is a block diagram showing a functional configuration of an image providing apparatus according to Embodiment 1.
  • FIG. It is a figure which shows an example of the relationship between a gaze direction and a predetermined direction. It is a figure which shows an example of the relationship between a gaze direction and a predetermined direction. It is a flowchart which shows an image provision process. It is a figure which shows an example of a response
  • FIG. 6 is a diagram illustrating an example of correspondence between a zoom ratio and a focus adjustment amount. It is a figure for demonstrating the positional relationship of the object which exists in the virtual space by a surrounding image, and a user. It is a figure which shows an example of the image displayed on a display. It is a figure which shows an example of the image displayed on a display.
  • the image providing apparatus 100 provides an image to the display 190 that covers the connected field of view.
  • a head-mounted display will be described as an example of the display 190 that covers the field of view.
  • a display that covers the field of view for example, a device that projects an image on the human retina, a smart glass that is a display device in the shape of glasses, etc. It is also possible to adopt.
  • a head-mounted display will be described as an example of the display 190 that covers the field of view. Therefore, the head-mounted display will be referred to with a reference numeral “190”.
  • the user U wears the head mounted display 190 on the head and can browse images displayed on the head mounted display 190.
  • the head-mounted display 190 includes a sensor 191 that detects the orientation of the device itself or a change in the orientation of the device.
  • the head mounted display 190 transmits the data detected by the sensor 191 to the image providing apparatus 100.
  • the image providing apparatus 100 can specify the direction (line-of-sight direction) that the user U wearing the device is viewing at that time.
  • the heel image providing apparatus 100 holds all-around image data as data that is a source of an image to be displayed to the user U.
  • the omnidirectional image data is obtained by collecting and recording images over a wide range of angles from a specific shooting position as one data, and is sometimes called an omnidirectional image.
  • image data captured using a fish-eye camera can be used as an all-around image.
  • the omnidirectional image data can be generated by combining a plurality of images shot at different shooting points at different shooting directions.
  • the omnidirectional image is data including an image captured at a shooting angle larger than that of a normal image, and does not necessarily include the entire angle.
  • an image taken at an angle of 180 ° from a certain position is included in the omnidirectional image referred to here (although it is not a 360 ° angle and does not include video over the entire periphery).
  • the eyelid image providing apparatus 100 specifies the line-of-sight direction of the user U in the all-around image data held based on the information transmitted from the sensor of the head mounted display 190. Based on the specified line-of-sight direction, the image providing apparatus 100 trims an image when viewed at an angle close to a human viewing angle from all-around image data. Note that trimming of an image is sometimes referred to as cropping or cropping.
  • the trimmed image is displayed by adjusting the width and height in units of pixels of the display 192 included in the head-mounted display 190 and the size and resolution of the display 192.
  • the image adjusted here is hereinafter referred to as a zoom image.
  • the image providing apparatus 100 newly specifies the line-of-sight direction of the user U according to the change in orientation, and displays the zoom image that has been trimmed and zoomed based on the line-of-sight direction on the head mounted display 190 again.
  • the image providing apparatus 100 changes the image displayed on the head mounted display 190 in accordance with the change of the orientation. For example, when the user U turns his / her head upward, the image providing apparatus 100 displays an image of the entire surrounding image data when the user U faces in the upward direction.
  • the image providing apparatus 100 shows the user U an image according to the user's own movement, and makes the user feel that the image seen through the head mounted display 190 is an image of the space around the actual user U. be able to.
  • the image providing apparatus 100 includes a detection unit 11, a direction setting unit 12, an extraction unit 13, and a display unit 14 in terms of functions.
  • the image providing apparatus 100 includes a mechanism for storing the omnidirectional image data 21 and reads it as necessary.
  • the eyelid image providing apparatus 100 is connected to the head mounted display 190.
  • the head mounted display 190 includes a display 192 that displays an image to the user U, and a sensor 191 that detects a direction of the head mounted display 190 or a change in the direction.
  • the image providing apparatus 100 displays an image on the display 192, and receives data indicating the direction (or change in direction) from the sensor 191.
  • the eyelid detection unit 11 detects the orientation of the head mounted display 190 or a change in the orientation.
  • the detection unit 11 detects the orientation of the head mounted display 190 or a change in the orientation based on the data provided from the sensor 191.
  • the direction of the head mounted display 190 detected here is opposite to the direction of the user U (specifically, the direction from the center of the user's head toward the front of the user).
  • the image providing device 100 and the head mounted display 190 are displayed as separate devices, but these can also be realized by the same device.
  • a device similar to the head-mounted display 190 may be constructed by attaching a general-purpose device such as a phablet that is a tablet computer that can be used as a smartphone, tablet computer, or mobile phone to the attachment. Good.
  • a program for causing a computer such as a smartphone to function as each unit described above is executed on the smartphone or the like.
  • any display that covers the user's field of view.
  • a smart glass or the like having a glasses-like shape and arranging the display in front of the user's eyes by a temple extending from the user's ear is adopted. You can also.
  • the direction of smart glasses can be detected by an acceleration sensor, and the direction of smart glasses can be estimated by tracking an image captured by a camera that captures the outside world.
  • a device that projects an image directly on the user's retina can be employed instead of the head-mounted display 190.
  • the direction setting unit 12 sets the line-of-sight direction of the user U with respect to the entire surrounding image data in accordance with the detected orientation or change in orientation.
  • the direction setting unit 12 determines whether the detected direction of the head mounted display 190 is based on the correspondence between the direction detected by the detection unit 11 and the direction in the all-around image data.
  • the line-of-sight direction in the all-around image data corresponding to the direction is set.
  • the direction setting unit 12 performs a new operation based on the amount of change in the direction detected by the detection unit 11 and the line-of-sight direction in the previously set all-around image data. Set the line-of-sight direction in the all-around image data.
  • the extraction unit 13 uses the zoom rate according to the angle between the line-of-sight direction set by the direction setting unit 12 and a predetermined direction in the omnidirectional image data to display a part of the image indicated by the omnidirectional image data in the size of the display 192.
  • the image is trimmed and zoomed according to the resolution to generate image data of the zoomed image.
  • the eyelid display unit 14 displays the zoom image extracted by the extraction unit 13 on the display 192 of the head mounted display 190.
  • the zoom extracted from the omnidirectional image data in the direction corresponding to the line of sight of user U is displayed on display 192.
  • An image is displayed.
  • the image providing apparatus 100 follows the movement of the head, acquires a zoom image in a direction corresponding to the newly directed line-of-sight direction, and displays it on the display 192. indicate.
  • the image providing apparatus 100 sets the zoom rate according to the angle between the line-of-sight direction set by the direction setting unit 12 and the predetermined direction in the all-around image data.
  • the image providing apparatus 100 trims and zooms the image using the set zoom rate at the time of trimming. Trimming and zooming may be performed simultaneously, or one may be preceded and the other may be performed later.
  • an existing library or the like may be used as it is.
  • the central portion is determined according to the line-of-sight direction. If trimming and zooming are performed at the zoom rate, a zoom image can be obtained. It is desirable to apply various smoothing techniques when zooming.
  • the image providing apparatus 100 displays the trimmed and zoomed image by changing not only the line-of-sight direction in the all-around image data but also the zoom rate. Therefore, for example, when the user U faces a direction close to a predetermined direction (for example, a direction pointing to the foot), the image providing apparatus 100 can display the image with an enlarged (or reduced) image. The unpleasant feeling given can be reduced.
  • the relationship between the position of the screen 101 of the display 192 and the line-of-sight direction when the user U wears the head mounted display 190 will be described with reference to FIGS.
  • the predetermined direction is set to a vertically downward direction.
  • FIG. 2 shows a situation where the user U is facing the horizontal direction.
  • the user U's line of sight faces the direction indicated by the line A1a, and the detection unit 11 detects the direction of the line A1a as the line-of-sight direction.
  • the detected line-of-sight direction intersects with a predetermined direction indicated by the line A2 (that is, a vertically downward direction) at a right angle.
  • the image providing apparatus 100 detects the angle ( ⁇ ) between the set line-of-sight direction and the predetermined direction as 90 °.
  • FIG. 3 shows a situation where the user U is facing slightly downward.
  • the user U's line of sight faces the direction indicated by the line A1b, and the detection unit 11 detects the direction of the line A1b as the line-of-sight direction.
  • the detected line-of-sight direction intersects the predetermined direction indicated by the line A2 at an angle ⁇ .
  • the image providing apparatus 100 detects the angle formed by the set line-of-sight direction and the predetermined direction as ⁇ .
  • the image providing apparatus 100 sets the zoom rate based on the detected angle ⁇ .
  • the image providing apparatus 100 sets the zoom rate to be larger as the detected angle ⁇ is smaller, when the user U is looking in the direction closer to the feet, The image magnified in comparison is displayed on the display 192.
  • the image providing apparatus 100 sets a zoom rate according to an angle ⁇ formed by the user U's line-of-sight direction and a predetermined direction (vertical downward direction), and the omnidirectional image is set according to the set zoom rate. Trim part of the image from the data and display it. Therefore, when the user U looks at the foot direction, an uncomfortable feeling given to the user can be reduced by enlarging and displaying the image.
  • the eyelid image providing apparatus 100 displays an image on the display 192 by executing the image providing process shown in FIG.
  • the image providing apparatus 100 starts the image providing process when the user U wears the head mounted display 190 and turns on the power. From here, the image providing processing will be described with reference to FIG.
  • the image providing apparatus 100 acquires the all-around image data (step S11).
  • the image providing apparatus 100 reads an image recorded as the all-around image data 21.
  • the image providing apparatus 100 sets an initial line-of-sight direction in the read omnidirectional image data (step S12).
  • the detection unit 11 detects the direction in which the head mounted display 190 is facing, and sets the line-of-sight direction corresponding to the detected direction.
  • the direction set as the initial value in the omnidirectional image data may be set as the first line-of-sight direction.
  • the image providing apparatus 100 detects the orientation of the head mounted display 190 or a change in the orientation (step S13).
  • the image providing apparatus 100 detects the orientation of the head mounted display 190 or a change in the orientation by the operation of the detection unit 11.
  • the image providing apparatus 100 sets the line-of-sight direction in the omnidirectional image data in accordance with the detected orientation or change in orientation (step S14).
  • the image providing apparatus 100 newly sets the line-of-sight direction for the all-around image data based on the correspondence between the detected direction or the change in the direction and the previously set line-of-sight direction.
  • the image providing apparatus 100 calculates an angle difference ⁇ between the set line-of-sight direction and a predetermined direction (step S15).
  • the image providing apparatus 100 calculates an angle difference between the line-of-sight direction set in step S14 and a predetermined direction set in advance, and records it as ⁇ .
  • the image providing apparatus 100 sets the zoom rate based on the calculated angle difference ⁇ (step S16).
  • the image providing apparatus 100 sets the zoom rate based on ⁇ calculated in step S15 and the association for calculating the zoom rate.
  • the image providing apparatus 100 trims the image in the line-of-sight direction from the omnidirectional image data (step S17).
  • the image providing apparatus 100 extracts the image in the direction set in step S14 from the omnidirectional image data at the zoom rate calculated in step S16.
  • step S18 the image providing apparatus 100 displays the image extracted in step S17 on the display 192 (step S18).
  • step S18 an image corresponding to the orientation of the head mounted display 190 is displayed on the display 192.
  • step S19 the image providing apparatus 100 determines whether the end condition is satisfied. If it is determined that the condition is not satisfied (step S19: NO), the image providing apparatus 100 returns the process to step S13, and thereafter performs orientation detection and image display again. If it is determined that the condition is satisfied (step S19: YES), the image providing apparatus 100 ends the image providing process.
  • FIG. 1 An example of the relationship between the zoom ratio set by the eyelid image providing apparatus 100 and the angle difference ⁇ is shown in FIG.
  • ⁇ is set on the horizontal axis
  • the corresponding zoom rate is set on the vertical axis
  • F1 a function indicating the value of the zoom rate
  • the image providing apparatus 100 sets 1 as the zoom factor. That is, when the user U is looking above the direction near the feet, the image providing apparatus 100 does not enlarge or reduce the image when trimming the image from the entire surrounding image data.
  • image providing apparatus 100 sets the zoom rate to a value greater than 1. Further, when ⁇ is in the area displayed by R1, a larger zoom ratio is set as ⁇ is smaller. That is, when the user U is looking in a direction close to his / her feet, the image providing apparatus 100 enlarges and trims the image when trimming the image from the omnidirectional image data. Furthermore, the degree of enlargement of the image is increased as the line of sight of the user U is closer to the bottom. By doing in this way, the image providing apparatus 100 can realize providing an image with a little discomfort given to the user.
  • FIG. 7 represents objects (objects A and B) recorded in the omnidirectional image data 21 in a virtual space.
  • the object A is a rectangular parallelepiped object that exists in the virtual space.
  • the object B is a spherical object that is smaller in size than the object A and exists at a position close to the user U.
  • the image providing apparatus 100 displays the image illustrated in FIG. 8 on the screen 101a of the display 192.
  • object A and object B are represented on the image.
  • the image providing apparatus 100 displays the image illustrated in FIG. 9 on the screen 101b of the display 192. Also in the image shown in FIG. 9, object A and object B are represented on the image.
  • the objects (objects A and B) expressed in FIG. 9 are expressed larger than the image sizes of the objects A and B expressed in FIG. 8, respectively. This is because the image providing apparatus 100 performs trimming from the entire surrounding image after setting a larger zoom ratio when the line-of-sight direction of the user U is close to a predetermined direction (foot direction).
  • the image providing apparatus 100 performs zooming by trimming a part of the omnidirectional image with the zoom rate according to the angle formed by the user G's line-of-sight direction and the predetermined direction in the omnidirectional image has been described.
  • the image providing apparatus 100 according to the present embodiment is not limited to this.
  • the zoom according to the depth in the all-around image that is, the distance from the eyes of the user U to the object recorded in the all-around image. You may trim according to a ratio.
  • the omnidirectional image data handled by the image providing apparatus 100 is the focus adjustment amount for each line-of-sight direction (the distance from the user U's eye to the object recorded in the all-round image for each line-of-sight direction). May be included.
  • the omnidirectional image data holds not only an image for each line-of-sight direction but also data indicating the amount of focus adjustment in the image.
  • the eyelid image providing apparatus 100 When the eye-gaze direction is set for the all-around image data in step S14 of the image providing process, the eyelid image providing apparatus 100 also acquires data indicating the focus adjustment amount in the all-around image data in that direction. Thereafter, the zoom ratio is set based on the acquired data indicating the focus adjustment amount.
  • FIG. 6 shows an example of the focus adjustment amount and the zoom ratio set based on it.
  • the zoom ratio is set to 1 when the focus adjustment amount is in a region (the region indicated by R3 in the figure) where the focus adjustment amount is equal to or less than a certain value L. .
  • the image providing apparatus 100 does not perform enlargement or reduction in trimming.
  • the zoom ratio is set to a value larger than 1, and the focus adjustment amount is The zoom factor is set to increase as the value increases.
  • the image providing apparatus 100 performs trimming from the entire surrounding image using a larger zoom ratio as the focus adjustment amount is larger.
  • the zoom ratio does not vary even if the user U changes the head direction in a range where the focus adjustment amount is small in the entire surrounding image. You can see the image as it is.
  • the user U sees an area with a large focus adjustment amount in the entire surrounding image, an image enlarged according to the focus adjustment amount set in the line-of-sight direction is projected on the display 192.
  • the region where the focus adjustment amount is small is a region where a place close to the user U is captured in the entire surrounding image. A thing close to the user U is recorded large in the entire surrounding image, so that it can be easily seen by the user U without changing the zoom rate.
  • the region where the focus adjustment amount is large is a region where a place far from the user U is captured in the entire surrounding image. For this reason, since the object is recorded small even in the omnidirectional image, when viewed from the user U, it tends to be difficult to grasp the appearance.
  • the image providing apparatus 100 can display an enlarged image in an area where the amount of focus adjustment is large, so that the user U can visually recognize an object having a distance in the image.
  • the image providing apparatus 100 may set the zoom rate to a value smaller than 1 in an area where the focus adjustment amount is large (area indicated by R4).
  • the zoom ratio is set to be smaller as the focus adjustment amount is larger.
  • the zoom factor is set to 1 in the area indicated by R3.
  • the image providing apparatus 100 displays a trimmed image on the display 192 using a small zoom ratio in an area where the focus adjustment amount is large. This is because when the user U directs his / her line of sight to a region where a distant place is photographed, an image including a wider range is displayed on the display 192. Thereby, it is possible to make the user U feel the depth.
  • the image providing apparatus 100 may hold data indicating the height of the user U and adjust the zoom rate according to the numerical value indicated by the data. In this case, the image providing apparatus 100 may use a numerical value input by the user U. Further, a mechanism for detecting the height of the head mounted display 190 from the floor may be provided, and the detected numerical value may be used.
  • ⁇ Various forms can be considered when adjusting the zoom rate based on the data indicating the height of the user U.
  • data indicating the height may be used.
  • the standard height is defined as 170 cm, and the function that calculates the zoom ratio by multiplying a predetermined function by (H1 / 170) after setting the numerical value that represents the height of the user U in cm as H1 Good.
  • the server device can be realized by using a normal computer system without using a dedicated system.
  • a computer-readable program such as a flexible disk, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or an MO (Magnet Optical Disk) is stored in a computer.
  • a source program analysis system that executes the above-described processing may be configured by storing and distributing the program in a medium and installing it in a computer system.
  • the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
  • the image providing apparatus is not limited to one realized by one.
  • a plurality of computers may share the functions of the above-described units, thereby providing each function as one system including the plurality of computers.
  • Detection unit 12 Direction setting unit 13: Extraction unit 14: Display unit 21: All surrounding image data 100: Image providing device 101: Screen 190: Display covering field of view 191: Sensor 192: Display U: User

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像提供装置(100)は、視界を覆うディスプレイ(192)に、全周囲画像データ(21)からトリミングした画像を表示する。検出部(11)は、ユーザの頭部もしくは視線の向きもしくは向きの変化をセンサ(191)により検出する。方向設定部(12)は、検出された向きもしくは向きの変化に応じて、全周囲画像データ(21)に対する視線方向を設定する。抽出部(13)は、設定された視線方向と、全周囲画像データ(21)における所定方向とのなす角度に応じたズーム率によって全周囲画像の一部をトリミングしてズームすることにより、ズーム画像を取得する。表示部(14)は、取得されたズーム画像をディスプレイ(192)に表示する。

Description

画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
  本発明は、ユーザの頭もしくは視線の向きの変化に応じた観察空間の様子を、視界を覆うディスプレイに提示する際に、ユーザに与える違和感を低減するのに好適な画像提供装置、画像提供方法、プログラム、ならびに非一時的なコンピュータ読取可能な情報記録媒体に関する。
  近年、ユーザに対して実際は目の前で起きていない事象を、あたかも実際に目の前で起きている事象であるかのように認識させる代替現実(Substituted Reality)システムが提案されている(特許文献1を参照)。代替現実システムに類似する技術として、仮想現実(Virtual Reality)システムや拡張現実(Augmented Reality)システムなどの研究も進められている。代替現実、仮想現実、拡張現実等では、現実空間(Real Space)とは異なる観察空間(Observation Space)が用意される。観察空間は、異なる場所や時間等に撮影されたパノラマ映像や全方位映像のほか、3次元グラフィックスのモデリング技術を組み合わせることによって構築される。
  これらの技術においては、観察位置から観察方向に観察空間を見た様子を表す画像が、透視投影や映像の切り出しによって生成され、当該画像がヘッドマウントディスプレイ等の視界を覆うディスプレイに表示される。ユーザの頭もしくは視線の向きの変化がセンサ等により検知され、観察方向は、検知された頭の向きの変化に応じて更新される。
特開2014－38523号公報
  しかしながら、従来の技術では、観察空間の様子を、ユーザの頭もしくは視線の向きの変化に応じてヘッドマウントディスプレイ等に表示した場合に、ユーザに違和感を与えるケースが存在した。
  現実空間では、ユーザが視線を足元付近に向けた場合には、ユーザの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。しかしながら、このような点へ配慮したヘッドマウントディスプレイはまだ存在しない。すなわち、従来のヘッドマウントディスプレイでは、与えられた向きに応じて画像を切り出して表示しているだけであった。そのため、ユーザが足元付近を見た場合には、自分が床から浮いているかのような錯覚を感じることがあった。
  本発明は、このような問題点に鑑みてなされたものである。すなわち、本発明の目的は、視界を覆うディスプレイにおいて、ユーザに与える違和感を低減することにある。
  上記目的を達成するため、本発明の第1の観点に係る画像提供装置は、
  視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
  ユーザの向きもしくは向きの変化を検出し、
  前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
  前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
  前記取得されたズーム画像を前記ディスプレイに表示する、
  ことを特徴とする。
  上記第1の観点に係る画像提供装置は、
  前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
  ものであってもよい。
  上記第1の観点に係る画像提供装置では、
  前記全周囲画像は、視線方向に対するピントの調整量が記録されたものであり、
  前記角度、および、前記設定された視線方向における前記調整量に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
  ものであってもよい。
  上記第1の観点に係る画像提供装置は、
  前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
  ものであってもよい。
  上記第1の観点に係る画像提供装置は、
  前記ディスプレイの高さを検出し、
  前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
  ものであってもよい。
  上記目的を達成するため、本発明の第2の観点に係る画像提供方法は、
  視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
  画像提供装置が、ユーザの向きもしくは向きの変化を検出し、
  前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
  前記画像提供装置が、前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
  前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
  ことを特徴とする。
  上記目的を達成するため、本発明の第3の観点に係るプログラムは、
  視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
  前記コンピュータに、
  ユーザの向きもしくは向きの変化を検出する検出手順、
  前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
  前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
  前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
  を実行させる。
  上記目的を達成するため、本発明の第4の観点に係る情報記録媒体は、
  視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
  前記コンピュータに、
  ユーザの向きもしくは向きの変化を検出する検出手順、
  前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
  前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
  前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
  を実行させるプログラムを記録する。
  本発明によれば、ユーザに与える違和感を低減した視界を覆うディスプレイを実現することができる。
実施の形態1に係る画像提供装置の機能構成を示すブロック図である。 視線方向と所定の方向との関係の一例を示す図である。 視線方向と所定の方向との関係の一例を示す図である。 画像提供処理を示すフローチャートである。 ズーム率と角度θとの対応の一例を示す図である。 ズーム率とピントの調整量との対応の一例を示す図である。 全周囲画像による仮想空間に存在するオブジェクトとユーザとの位置関係を説明するための図である。 ディスプレイに表示される画像の一例を示す図である。 ディスプレイに表示される画像の一例を示す図である。
  以下に本発明の実施の形態を説明する。なお、本実施の形態は説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施の形態を採用することが可能であるが、これらの形態も本発明の範囲に含まれる。
  (実施の形態1)
  本発明の実施の形態1に係る画像提供装置100は、接続された視界を覆うディスプレイ190に画像を提供する。以下では、視界を覆うディスプレイ190として、ヘッドマウントディスプレイを例として説明するが、視界を覆うディスプレイとして、たとえば人間の網膜に映像を投射するものや、眼鏡の形状をした表示装置であるスマートグラス等を採用することも可能である。以下の例では、視界を覆うディスプレイ190の一例としてヘッドマウントディスプレイをあげて説明するため、ヘッドマウントディスプレイに対して符号「190」を付して参照することとする。ユーザUは、ヘッドマウントディスプレイ190を頭部に装着し、ヘッドマウントディスプレイ190が表示する画像を閲覧することができる。
  ヘッドマウントディスプレイ190は、自機の向き、もしくは自機の向きの変化を検出するセンサ191を備える。ヘッドマウントディスプレイ190は、センサ191が検出したデータを画像提供装置100に送信する。センサ191を介し、画像提供装置100は、自機を装着しているユーザUがその時見ている方向(視線方向)を特定することができる。
  画像提供装置100は、ユーザUに表示すべき画像の元となるデータとして、全周囲画像データを保持する。ここで、全周囲画像データとは、特定の撮影位置からの広範な角度にわたる画像を一つのデータとして集約して記録したものであり、全天球画像と呼ばれることもある。
  現実世界における周囲の状態を全周囲画像データとして撮影する方法はいくつかある。例えば、魚眼カメラ(通常のレンズよりも広範な角度からの光を集約できる魚眼レンズを用いたカメラ)を用いて撮影した画像データを全周囲画像として用いることができる。あるいは、一つの撮影地点において方向を変えて撮影された複数の画像を組み合わせることで全周囲画像データを生成することができる。
  なお、全周囲画像とは、通常の画像に比べて大きな撮影角度で撮影された画像を含むデータであり、必ずしも全角度を含むものでなくともよい。具体的な例として、ある位置から180°の角度で撮影された画像は、(360°の角度でないため、全周囲にわたる映像を含まないが)ここでいう全周囲画像に含まれる。
  画像提供装置100は、ヘッドマウントディスプレイ190のセンサから送信された情報に基づいて、保有する全周囲画像データにおける、ユーザUの視線方向を特定する。画像提供装置100は、特定された視線方向に基づき、全周囲画像データから、人間の視野角に近い角度で見た場合の画像をトリミング(trimming)する。なお、画像のトリミングは、切り出し、あるいは、クロッピング(cropping)と呼ばれることもある。
  そして、トリミングされた画像を、ヘッドマウントディスプレイ190が有するディスプレイ192のピクセル単位での幅および高さ、ならびに、ディスプレイ192の大きさや解像度に適合するように調整して表示する。ここで調整された画像を、以下、ズーム画像と呼ぶ。
  ユーザUがヘッドマウントディスプレイ190を装着した状態で頭部の向きを変えると、それに伴ってヘッドマウントディスプレイ190の向きも変化する。すると、画像提供装置100は、向きの変化に応じて新たにユーザUの視線方向を特定し、その視線方向に基づいてトリミングおよびズームしたズーム画像を再びヘッドマウントディスプレイ190に表示する。
  このような仕組みにより、ユーザUが頭の向きを変えると、画像提供装置100は、向きの変化に合わせてヘッドマウントディスプレイ190に表示される画像を変化させる。例えばユーザUが頭部をそれまでより上の方向に向けると、画像提供装置100は、全周囲画像データにおける、それまでより上の方向を向いた場合の画像を表示する。画像提供装置100は、ユーザUに、ユーザU自身の動きに応じた画像を見せ、ヘッドマウントディスプレイ190を通じて見える映像が、実際のユーザUの周囲の空間の映像であるように疑似的に感じさせることができる。
  本発明の実施の形態1に係る画像提供装置100は、図1に示すように、機能面では検出部11、方向設定部12、抽出部13、表示部14を備える。また、画像提供装置100は、全周囲画像データ21を保管する機構を備え、必要に応じて読み出す。
  画像提供装置100は、ヘッドマウントディスプレイ190と接続されている。ヘッドマウントディスプレイ190は、ユーザUに映像を表示するディスプレイ192と、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出するセンサ191を備える。画像提供装置100は、ディスプレイ192に画像を表示し、また、センサ191から向き(または向きの変化)を示すデータを受信する。
  検出部11は、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。検出部11は、センサ191から提供されるデータをもとに、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。ここで検出されるヘッドマウントディスプレイ190の向きは、ユーザUの向き(具体的には、ユーザの頭部中央からユーザの前方に向かう向き)と逆向きである。
  なお、図1においては、画像提供装置100とヘッドマウントディスプレイ190とは別個の装置として表示されているが、これらは同一の装置にて実現することも可能である。例えば、スマートフォンやタブレットコンピュータ、携帯電話として利用可能なタブレットコンピュータであるファブレット(phablet)等の汎用的な機器をアタッチメントに装着することにより、ヘッドマウントディスプレイ190に類似するデバイスを構築することとしてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることになる。
  さらに、上述の通り、ユーザの視界を覆う任意のディスプレイを採用することが可能である。たとえば、ユーザの頭部に装着するヘッドマウントディスプレイ190のかわりに、眼鏡状の形状を有し、ユーザの耳から延びるテンプルによってユーザの目の前方にディスプレイを配置するスマートグラス等を、採用することもできる。スマートグラスでは、加速度センサによって、スマートグラスの向きを検出できるほか、外界を撮影するカメラによって捕えられた画像を追跡することによって、スマートグラスの向きを推定することも可能である。
  また、ユーザの網膜に直接映像を投影するデバイスを、ヘッドマウントディスプレイ190のかわりに採用することもできる。この場合には、ユーザの眼球運動を検知して、ユーザの眼球運動から、ユーザの向きを検出することも可能であるし、加速度センサ等を利用することもできる。
  さて、方向設定部12は、検出された向きもしくは向きの変化に応じて、全周囲画像データに対するユーザUの視線方向を設定する。検出部11が向きを検出するものである場合、方向設定部12は、検出部11が検出した方向と、全周囲画像データにおける方向との対応づけに基づいて、検出されたヘッドマウントディスプレイ190の向きに対応する全周囲画像データにおける視線方向を設定する。検出部11が向きの変化を検出するものである場合、方向設定部12は、検出部11により検出された方向の変化量と、前回設定した全周囲画像データにおける視線方向とに基づいて、新たに全周囲画像データにおける視線方向を設定する。
  抽出部13は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じたズーム率によって、全周囲画像データが示す画像の一部をディスプレイ192の大きさもしくは解像度に合わせてトリミングしてズームし、ズーム画像の画像データを生成する。
  表示部14は、抽出部13によって抽出されたズーム画像を、ヘッドマウントディスプレイ190のディスプレイ192に表示する。
  これらの機能部(検出部11、方向設定部12、抽出部13、表示部14)の動作により、ディスプレイ192に、ユーザUの視線方向に対応する方向の、全周囲画像データから抽出されたズーム画像が表示される。ユーザUが頭の向き(および視線方向)を変えると、画像提供装置100は、頭の動きに追従し、新たに向けられた視線方向に対応する方向のズーム画像を取得して、ディスプレイ192に表示する。
  さらに、抽出部13の動作により、画像提供装置100は、方向設定部12により設定された視線方向と、全周囲画像データにおける所定方向とのなす角度に応じてズーム率を設定する。そのうえで、画像提供装置100は、トリミングの際に、設定したズーム率を用いて画像をトリミングしてズームする。トリミングとズームは同時に行っても良いし、一方を先行し、他方を後から行っても良い。
  たとえば、全周囲画像データからディスプレイ192のピクセル数、大きさ、ならびに、解像度に合わせてズーム画像を得る際には、画像データの座標を変換する透視投影等の座標変換が行われる。この際に、投影の観察点と、ディスプレイ192の各画素が位置付けられた投影面と、の距離や、変換に用いる際に想定されるレンズの焦点距離を、ズーム率に合わせて変化させてから、投影面への投影を行えば、トリミングとズームを同時に行うことが可能である。
  このほか、全周囲画像データからディスプレイ192へ表示するための画像変換においては、既存のライブラリ等をそのまま使っても良い。この場合には、ライブラリ等を利用することにより得られた画像変換の結果(全周囲画像データから得られた画面用の2次元的な画像データ)から、その中央部分を、視線方向に応じたズーム率でトリミングおよびズームすれば、ズーム画像を得ることができる。ズームの際には、各種のスムージング技術を適用することが望ましい。
  これにより、ユーザUが頭の向きを変えると、画像提供装置100は、全周囲画像データにおける視線方向だけでなく、ズーム率も変えてトリミングおよびズームした画像を表示する。そのため、例えばユーザUが所定方向(例えば、足元を指す方向)に近い方向を向いた場合に、画像提供装置100は、画像をより拡大(または縮小)して表示することができ、ユーザUに与える違和感を低減することができる。
  一例として、ユーザUがヘッドマウントディスプレイ190を装着した場合の、ディスプレイ192の画面101の位置と視線方向の関係について、図2および図3を参照して説明する。なお、画像提供装置100においては、所定の方向が鉛直下向きの方向に設定されているものとする。
  図2に、ユーザUが水平方向を向いている場合の様子を示す。図2に示した例では、ユーザUの視線は、線A1aで示される方向を向いており、検出部11は線A1aの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向(すなわち鉛直下向きの方向)とは直角で交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度(θ)を90°と検出する。
  図3には、ユーザUがやや下方向を向いている場合の様子を示す。図3に示した例では、ユーザUの視線は、線A1bで示される方向を向いており、検出部11は線A1bの方向を視線方向として検出する。検出された視線方向は、線A2で示される所定の方向とは角度θで交差している。この場合、画像提供装置100は、設定された視線方向と所定方向とのなす角度をθと検出する。
  画像提供装置100は、検出された角度θをもとに、ズーム率を設定する。ここで、画像提供装置100が、検出された角度θが小さいほど、ズーム率を大きく設定することにより、ユーザUが足元に近い方向を見ている場合には、水平方向を見ている場合に比べて拡大された画像をディスプレイ192に表示する。
  一般に、ユーザUが視線を足元付近に向けた場合には、ユーザUの視界に映る世界は心理的に狭くなる。これは、視野の中にある事物が近くのものばかりになること、および、目のレンズ体の焦点効果が、近くなるために短くなること等に基づく心理的効果である。そのため、ユーザUが足元を見た場合に、水平方向と同じズーム率でトリミングされた画像を見た場合には、ユーザUは、自分が床から浮いているかのように錯覚し、また違和感を覚えることがあった。
  本実施の形態に係る画像提供装置100は、ユーザUの視線方向と所定の方向(鉛直下向きの方向)とのなす角度θに応じたズーム率を設定し、設定されたズーム率によって全周囲画像データから画像の一部をトリミングして表示する。そのため、ユーザUが足元方向を見た場合には、画像を拡大して表示することにより、ユーザに与える違和感を低減することができる。
  画像提供装置100は、図4に示す画像提供処理を実行することにより、ディスプレイ192に画像を表示する。画像提供装置100は、ユーザUがヘッドマウントディスプレイ190を装着し、電源を入れることを契機に画像提供処理を開始する。ここから、図4を参照し、画像提供処理について説明する。
  画像提供処理の最初に、画像提供装置100は、全周囲画像データを取得する(ステップS11)。画像提供装置100は、全周囲画像データ21として記録されている画像を読み出す。
  次に画像提供装置100は、読み出した全周囲画像データにおける初期の視線方向を設定する(ステップS12)。画像提供装置100は、検出部11により、ヘッドマウントディスプレイ190が向いている方向を検出し、検出した方向に対応する視線方向を設定する。または、全周囲画像データに初期値として設定されている方向を最初の視線方向として設定してもよい。
  次に画像提供装置100は、ヘッドマウントディスプレイ190の向き、または向きの変化を検出する(ステップS13)。画像提供装置100は、検出部11の動作により、ヘッドマウントディスプレイ190の向きまたは向きの変化を検出する。
  次に画像提供装置100は、検出した向きまたは向きの変化に応じて、全周囲画像データにおける視線方向を設定する(ステップS14)。画像提供装置100は、検出した向きまたは向きの変化と、前回設定した視線方向との対応づけに基づいて、新たに全周囲画像データに対する視線方向を設定する。
  次に画像提供装置100は、設定した視線方向と、所定の方向との角度差θを算出する(ステップS15)。画像提供装置100は、ステップS14で設定した視線方向と、あらかじめ定められている所定の方向との角度差を算出し、θとして記録する。
  次に画像提供装置100は、算出した角度差θに基づいて、ズーム率を設定する(ステップS16)。画像提供装置100は、ステップS15で算出したθと、ズーム率を算出するための対応付けとに基づいてズーム率を設定する。
  次に画像提供装置100は、全周囲画像データから、視線方向の画像をトリミングする(ステップS17)。画像提供装置100は、全周囲画像データから、ステップS14で設定した方向の画像を、ステップS16で算出したズーム率で抽出する。
  次に画像提供装置100は、ステップS17で抽出した画像をディスプレイ192に表示する(ステップS18)。ステップS18で、ヘッドマウントディスプレイ190の向きに応じた画像がディスプレイ192に表示される。
  ステップS18を終えると、画像提供装置100は、終了条件が満たされているか判定する(ステップS19)。満たされていないと判定する(ステップS19:NO)と、画像提供装置100は処理をステップS13に戻し、以降、再び向きの検出と画像の表示を行う。満たされたと判定する(ステップS19:YES)と、画像提供装置100は画像提供処理を終了する。
  画像提供装置100が設定するズーム率と、角度差θの関係の一例を図5に示す。この図では、横軸にθ、縦軸にはそれに対応するズーム率が設定されており、ズーム率の値を示す関数がF1で示されている。
  図5に示した例では、θが90°以上の場合(すなわち、ユーザUの視線方向が水平よりも上向きの場合)、および、θが90°以下、所定の角度P以上の場合(図中、θがR2で表示される領域にある場合)、画像提供装置100は、ズーム率として1を設定する。すなわち、ユーザUが足元付近の方向よりも上の方を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際には、拡大も縮小も行わない。
  θが所定の角度Pよりも小さい場合(図中、θがR1で表示される領域にある場合)には、画像提供装置100は、ズーム率を1より大きい値に設定する。さらに、θがR1で表示される領域にある場合には、θが小さいほど大きなズーム率を設定する。すなわち、ユーザUが足元に近い方向を見ている場合には、画像提供装置100は、全周囲画像データから画像をトリミングする際に、画像を拡大してトリミングする。さらに、ユーザUの視線方向が真下に近いほど、画像を拡大する度合いを大きくする。このようにすることで、画像提供装置100は、ユーザに与える違和感の小さい画像提供を実現することができる。
  画像提供装置100が提供する画像(すなわちディスプレイ192に表示される画像)の具体的な内容について、図7－図9を参照して説明する。図7は、全周囲画像データ21に記録されているオブジェクト(オブジェクトAおよびB)を仮想空間に表現したものである。オブジェクトAは、仮想空間に存在する直方体状の物体である。オブジェクトBは、オブジェクトAよりもサイズが小さく、かつ、ユーザUに近い位置に存在する球形の物体である。
  ユーザUの視線が水平方向(図7において線A1cで示される方向)を向いている場合には、画像提供装置100は、図8に示す画像をディスプレイ192の画面101aに表示する。図8に示す画像においては、オブジェクトAおよびオブジェクトBが画像上に表現されている。
  ユーザUの視線が、足元に近い方向(図7において線A1dで示される方向)を向いている場合には、画像提供装置100は、図9に示す画像をディスプレイ192の画面101bに表示する。図9に示す画像においても、オブジェクトAおよびオブジェクトBが画像上に表現されている。ここで、図9において表現されているオブジェクト(オブジェクトAおよびB)は、それぞれ、図8で表現されているオブジェクトAおよびBのイメージのサイズよりも大きく表現される。これは、画像提供装置100が、ユーザUの視線方向が所定方向(足元方向)に近い場合には、より大きなズーム率を設定したうえで全周囲画像からのトリミングを行うためである。
  ここまで、画像提供装置100が、ユーザUの視線方向と、全周囲画像における所定方向とのなす角度に応じたズーム率によって、全周囲画像の一部をトリミングしてズームする形態について説明した。しかし、本実施の形態に係る画像提供装置100はこれに限られず、例えば、全周囲画像における奥行、すなわち、ユーザUの目から、全周囲画像に記録されている物体への距離に応じたズーム率によってトリミングするものであってもよい。
  具体的には、画像提供装置100が取り扱う全周囲画像データが、視線方向ごとのピントの調整量(視線方向ごとに、ユーザUの目から、全周囲画像において記録されている物体への距離を示す指標)を含むものであってもよい。この場合、全周囲画像データは、単に視線方向ごとのイメージだけでなく、その画像におけるピントの調整量を示すデータを保有する。
  画像提供装置100は、画像提供処理のステップS14で全周囲画像データに対する視線方向を設定すると、合わせてその方向における全周囲画像データでのピントの調整量を示すデータを取得する。その後、取得したピントの調整量を示すデータに基づいてズーム率を設定する。
  ピントの調整量と、それに基づいて設定されるズーム率の例を図6に示す。図6の関数F2に示された例では、ピントの調整量が一定の値L以下である領域(図中、R3で示される領域)にある場合には、ズーム率は1と設定されている。画像提供装置100は、ピントの調整量がR3で示される領域にある場合には、トリミングにおいて拡大も縮小も行わない。一方、ピントの調整量が一定の値Lを超える領域(図中、R4で示される領域)にある場合には、ズーム率は1よりも大きな値が設定されており、さらにピントの調整量が大きくなるほどズーム率が大きくなるように設定されている。画像提供装置100は、ピントの調整量がR4で示される領域にある場合には、ピントの調整量が大きいほど、大きなズーム率を用いて全周囲画像からのトリミングを行う。
  画像提供装置100がこのような処理を行うことで、ユーザUは、全周囲画像のうちピントの調整量が小さい領域を見ている範囲では、頭の方向を変えてもズーム率の変動がないまま画像を見ることができる。一方、ユーザUが、全周囲画像のうちピントの調整量が大きい領域を見る場合、ディスプレイ192には、視線方向に設定されたピントの調整量に応じて拡大された画像が投影される。
  一般に、ピントの調整量が小さい領域とは、全周囲画像において、ユーザUに近い場所が撮影されている領域である。ユーザUに近いものは全周囲画像においても大きく記録されているため、ズーム率を変えずともユーザUにとっては容易に見ることができるものである。
  それに対し、ピントの調整量が大きい領域とは、全周囲画像において、ユーザUから遠い場所が撮影されている領域である。そのため、全周囲画像においても物体が小さく記録されているため、ユーザUから見ると外観をとらえにくくなりがちである。画像提供装置100は、ピントの調整量が大きい領域では画像を拡大して表示することで、ユーザUが、画像において距離のある物体をよく視認できるようにすることができる。
  また、画像提供装置100は、関数F2に示した例とは逆に、ピントの調整量が大きい領域(R4で示される領域)では、ズーム率を1よりも小さな値に設定してもよい。その場合、図6の関数F3で示されるように、R4で示される領域では、ピントの調整量が大きくなるほどズーム率が小さくなるように設定されている。なお、関数F3で示される例では、ズーム率はR3で示される領域では1と設定されている。
  このようにズーム率を設定した場合、画像提供装置100は、ピントの調整量が大きい領域では、小さなズーム率を用いてトリミングした画像をディスプレイ192に表示する。これは、ユーザUが、遠い場所が撮影されている領域に視線を向けた場合には、ディスプレイ192に、より広範囲が含まれる画像を表示することになる。これにより、ユーザUに、より奥行きを感じさせることができる。
  さらに、画像提供装置100は、ユーザUの身長を示すデータを保有し、そのデータの示す数値に応じてズーム率に調整を加えるものであってもよい。この場合、画像提供装置100は、ユーザUにより入力された数値を用いるものであってもよい。また、ヘッドマウントディスプレイ190の床からの高さを検出する機構を備え、検出された数値を用いるものであってもよい。
  ユーザUの身長を示すデータによりズーム率を調整する場合、いろいろな形態が考えられる。例えば、図5において示したズーム率を設定する関数F1を導出するうえで、身長を示すデータを用いてもよい。例えば、基準となる身長として170cmと規定し、ユーザUの身長をcmで表した数値をH1としたうえで、所定の関数を(H1/170)倍することによりズーム率を算出する関数としてもよい。
  本発明の実施形態にかかるサーバ装置は、専用のシステムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、コンピュータに、上記動作を実行するためのプログラムを、フレキシブルディスク、CD－ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、MO(Magnet Optical disk)などのコンピュータ読取可能な記憶媒体に記憶して配布し、これをコンピュータシステムにインストールすることにより、上述の処理を実行するソースプログラム解析システムを構成しても良い。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを記憶しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
  また、本発明の実施形態に係る画像提供装置は、1台で実現されるものに限定されない。複数のコンピュータが上述した各部の機能を分担することにより、それらの複数のコンピュータからなる一つのシステムとして各機能を提供するものであってもよい。
  ここまで本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
  また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
  11: 検出部
  12: 方向設定部
  13: 抽出部
  14: 表示部
  21: 全周囲画像データ
  100: 画像提供装置
  101: 画面
  190: 視界を覆うディスプレイ
  191: センサ
  192: ディスプレイ
  U: ユーザ

Claims (8)

  1.   視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供装置であって、
      ユーザの向きもしくは向きの変化を検出し、
      前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
      前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
      前記取得されたズーム画像を前記ディスプレイに表示する、
      ことを特徴とする画像提供装置。
  2.   前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度が小さいほど、大きな前記ズーム率によって前記全周囲画像の一部をトリミングしてズームする、
      ことを特徴とする請求項1に記載の画像提供装置。
  3.   前記全周囲画像は、視線方向に対するピントの調整量が記録されたものであり、
      前記角度、および、前記設定された視線方向における前記調整量に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
      ことを特徴とする請求項1または2に記載の画像提供装置。
  4.   前記角度、および、前記ディスプレイを装着するユーザの身長を示す数値に応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
      ことを特徴とする請求項1または2に記載の画像提供装置。
  5.   前記ディスプレイの高さを検出し、
      前記角度、および、前記検出された高さに応じた前記ズーム率によって、前記全周囲画像の一部をトリミングしてズームする、
      ことを特徴とする請求項1または2に記載の画像提供装置。
  6.   視界を覆うディスプレイに、全周囲画像から取得した画像を表示する画像提供方法であって、
      画像提供装置が、ユーザの向きもしくは向きの変化を検出し、
      前記画像提供装置が、前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定し、
      前記画像提供装置が、前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得し、
      前記画像提供装置が、前記取得されたズーム画像を前記ディスプレイに表示する、
      ことを特徴とする画像提供方法。
  7.   視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムであって、
      前記コンピュータに、
      ユーザの向きもしくは向きの変化を検出する検出手順、
      前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
      前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
      前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
      を実行させるプログラム。
  8.   視界を覆うディスプレイに、全周囲画像から取得した画像を表示するコンピュータにより実行されるプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体であって、
      前記コンピュータに、
      ユーザの向きもしくは向きの変化を検出する検出手順、
      前記検出された向きもしくは向きの変化に応じて、前記全周囲画像に対する視線方向を設定する設定手順、
      前記設定された視線方向と、前記全周囲画像における所定方向とのなす角度に応じたズーム率によって前記全周囲画像の一部をトリミングして前記ディスプレイの大きさもしくは解像度に合わせてズームしたズーム画像を取得する抽出手順、
      前記取得されたズーム画像を前記ディスプレイに表示する表示手順、
      を実行させるプログラムを記録した情報記録媒体。
PCT/JP2016/082600 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 WO2018083757A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017563271A JP6356928B1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US16/346,165 US10783853B2 (en) 2016-11-02 2016-11-02 Image provision device, method and program that adjusts eye settings based on user orientation
PCT/JP2016/082600 WO2018083757A1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082600 WO2018083757A1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (1)

Publication Number Publication Date
WO2018083757A1 true WO2018083757A1 (ja) 2018-05-11

Family

ID=62075866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082600 WO2018083757A1 (ja) 2016-11-02 2016-11-02 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (3)

Country Link
US (1) US10783853B2 (ja)
JP (1) JP6356928B1 (ja)
WO (1) WO2018083757A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7234802B2 (ja) * 2018-11-21 2023-03-08 株式会社リコー 撮像システム、端末及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
WO2016092950A1 (ja) * 2014-12-11 2016-06-16 ソニー株式会社 医療用眼鏡型表示装置、情報処理装置及び情報処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
JP5594850B2 (ja) 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
JP6043408B1 (ja) * 2015-07-10 2016-12-14 株式会社アイエスエム 疑似体験システム、疑似体験方法、ポータブルデバイスおよびその疑似体験プログラム
WO2017026193A1 (ja) * 2015-08-12 2017-02-16 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165840A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置、プログラム、及び情報処理装置
JP2015095045A (ja) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
WO2016092950A1 (ja) * 2014-12-11 2016-06-16 ソニー株式会社 医療用眼鏡型表示装置、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP6356928B1 (ja) 2018-07-11
JPWO2018083757A1 (ja) 2018-11-01
US20190371278A1 (en) 2019-12-05
US10783853B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20150378158A1 (en) Gesture registration device, gesture registration program, and gesture registration method
US11487354B2 (en) Information processing apparatus, information processing method, and program
CN106168855B (zh) 一种便携式mr眼镜、手机和mr眼镜系统
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
CN110998666A (zh) 信息处理装置、信息处理方法以及程序
CN107209949B (zh) 用于产生放大3d图像的方法和系统
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US11212502B2 (en) Method of modifying an image on a computational device
KR20200135352A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
CN111279293A (zh) 计算设备上修改图像的方法
JP7258620B2 (ja) 画像処理システム、及び画像処理方法
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
US20230244307A1 (en) Visual assistance
CN117730298A (zh) 使用eog坐标的屏幕交互
KR20220043106A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
JP2016133541A (ja) 電子眼鏡および電子眼鏡の制御方法
EP4374242A1 (en) Screen interaction using eog coordinates
CN115834858A (zh) 显示方法、装置、头戴显示设备及存储介质
Nowatzyk et al. Omni-Directional Catadioptric Acquisition System

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017563271

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920764

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16920764

Country of ref document: EP

Kind code of ref document: A1