WO2021161774A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2021161774A1
WO2021161774A1 PCT/JP2021/002581 JP2021002581W WO2021161774A1 WO 2021161774 A1 WO2021161774 A1 WO 2021161774A1 JP 2021002581 W JP2021002581 W JP 2021002581W WO 2021161774 A1 WO2021161774 A1 WO 2021161774A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement amount
viewpoint
image
viewpoint position
recommended
Prior art date
Application number
PCT/JP2021/002581
Other languages
English (en)
French (fr)
Inventor
翔 小倉
裕也 山下
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21754593.8A priority Critical patent/EP4092662A4/en
Priority to JP2022500306A priority patent/JPWO2021161774A1/ja
Priority to US17/794,413 priority patent/US12113947B2/en
Priority to CN202180012801.8A priority patent/CN115088268A/zh
Publication of WO2021161774A1 publication Critical patent/WO2021161774A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program.
  • Patent Document 1 includes a description regarding display of a recommended viewpoint.
  • the recommended viewpoint When the recommended viewpoint is displayed, only the recommended viewpoint can be seen from the images with a wide viewing angle. On the other hand, if you allow it to be viewed freely, you will not know the recommended viewpoint position. In this case, it is conceivable to display the recommended viewpoint with a frame or the like, but there is an inconvenience that the world view is destroyed in that part.
  • an object of the present disclosure to provide an image processing device, an image processing method, and a program that enable a combination of a recommended viewpoint and a free viewpoint without displaying the position of the recommended viewpoint with a frame or the like. ..
  • the image processing device of one form according to the present disclosure has an output unit that outputs a part of an image including recommended viewpoint information to the display unit as a display image, and an output unit that outputs the image to the display unit.
  • a transition control unit that transitions the display range of the image based on the positional relationship between the viewpoint position corresponding to the displayed image and the viewpoint position corresponding to the recommended viewpoint information is provided, and the output unit is transitioned.
  • a part of the image is output to the display unit based on the display range.
  • FIG. 1 is a diagram showing a configuration example of an image distribution system according to the first embodiment.
  • FIG. 2A is a diagram showing an example of a spherical surface corresponding to a spherical captured image.
  • FIG. 2B is a schematic diagram showing an example of the coordinate system of the projection image.
  • FIG. 2C is a diagram showing an example of recommended viewpoint information.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the display device according to the first embodiment.
  • FIG. 4A is a diagram showing an example of a projection image.
  • FIG. 4B is a diagram showing an example of the display range.
  • FIG. 4C is a diagram showing an example of a display image.
  • FIG. 5 is a diagram showing an example of a method of calculating the return movement amount.
  • FIG. 5 is a diagram showing an example of a method of calculating the return movement amount.
  • FIG. 6 is a diagram showing an example of a method of calculating the return movement amount.
  • FIG. 7 is a flowchart showing a procedure of display processing according to the first embodiment.
  • FIG. 8 is a diagram showing an example of a threshold value setting method.
  • FIG. 9 is a flowchart showing a procedure of display processing according to an application example of the first embodiment.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the display device according to the second embodiment.
  • FIG. 11 is a diagram showing an example of a method of correcting the operation movement amount.
  • FIG. 12 is a diagram showing an example of a method of correcting the operation movement amount.
  • FIG. 13 is a flowchart showing a procedure of display processing according to the second embodiment.
  • FIG. 14 is a block diagram showing an example of the functional configuration of the display device according to the third embodiment.
  • FIG. 15 is a flowchart showing a procedure of display processing according to the third embodiment.
  • FIG. 16 is a block diagram showing an example of the functional configuration of the display device according to the fourth embodiment.
  • FIG. 17 is a diagram showing an example of the distance used for score calculation.
  • FIG. 18 is a diagram showing an example of a distance and a weight used for score calculation.
  • FIG. 19 is a flowchart showing a procedure of display processing according to the fourth embodiment.
  • FIG. 20 is a block diagram showing a configuration example of computer hardware.
  • First Embodiment 1-1 Image distribution system 1-2. Distribution side device 1-3. Receiving device 1-3-1. Receiver 1-3-2. Gyro sensor 1-3-3. Transition control unit 1-3-4. Field drawing section 1-3-5. Display 1-4. Details of the transition control unit 1-4-1. Operation movement amount calculation unit 1-4-2. Return movement amount calculation unit 1-4-3. Synthetic movement amount calculation unit 1-4-4. Viewpoint position calculation unit 1-5. Display device processing procedure 1-6. One aspect of the effect 1-7. Application example of the first embodiment 1-7-1. Application example processing procedure 2. Second Embodiment 2-1. Example of functional configuration of display device 2-2. Transition control unit 2-2-1. Correction unit 2-3. Display device processing procedure 2-4.
  • FIG. 1 is a diagram showing a configuration example of an image distribution system according to the first embodiment.
  • the image distribution system 1 has a distribution side device and a display device 10 as a reception side device. Examples of mounting the display device 10 include an HMD (Head Mounted Display), a tablet, and the like.
  • HMD Head Mounted Display
  • the distribution side device includes a multi-camera 3, a wide viewing angle image conversion unit 5, an encoder 7, and a distribution server 9.
  • the multi-camera 3 obtains image data of a spherical capture image.
  • the multi-camera 3 has a viewing angle of 180 ° or more, which is captured by two cameras in a back-to-back manner and as a spherical capture image, each of which is captured by a fisheye lens. , Obtain front and rear images with a wide viewing angle.
  • the wide viewing angle image conversion unit 5 plane-packs the spherical capture image obtained by the multi-camera 3 to obtain a rectangular projection image (Projection picture).
  • This projection image corresponds to an image having a wide viewing angle, which is a 360 ° or narrower angle of view. In this case, for example, Equirectangular is selected as the format type of the projection image.
  • the projection image is scaled as necessary to obtain a projection image having a predetermined resolution.
  • the encoder 7 applies coding such as HEVC to the image data of the projection image from the wide viewing angle image conversion unit 5 to obtain coded image data, and generates a video stream including the coded image data. do.
  • the encoder 7 inserts the recommended viewpoint information into the video stream on a frame-by-frame basis.
  • the recommended viewpoint (RVP: Recommended View Point) is automatically set to a range including the performer estimated by, for example, a position sensor or image recognition, or is set to a range manually specified by the director, for example.
  • RVP Recommended View Point
  • the recommended viewpoint is automatically set to a range including the performer estimated by, for example, a position sensor or image recognition, or is set to a range manually specified by the director, for example.
  • FIG. 2A shows a spherical surface corresponding to the spherical captured image.
  • FIG. 2B schematically shows a rectangular projection image when the format type is equirectangular. The center of this projection image is (0,0).
  • the recommended viewpoint information includes, for example, a frame number, a center angle information, a horizontal angle information, a vertical angle information, a recommended viewpoint number, and the like, as shown in FIG. 2C.
  • the center angle information, the horizontal angle information, and the vertical angle information are the angle information in the spherical captured image (see FIG. 2A).
  • the distribution server 9 sends the video stream generated by the encoder 7 to the display device 10 as distribution data.
  • This distribution may be either broadcasting or communication.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the display device according to the first embodiment.
  • a block corresponding to a function included in the display device 10 is schematically illustrated.
  • the display device 10 includes a receiving unit 11, a decoder 12, a field of view drawing unit 13, a gyro sensor 14, a transition control unit 15, and a display unit 16.
  • the field of view drawing unit 13 corresponds to an example of an output unit.
  • the receiving unit 11 receives a video stream as distribution data sent from the transmitting side device.
  • the decoder 12 decodes the video stream received by the receiving unit 11 to obtain a projection image (image data). Further, the decoder 12 obtains recommended viewpoint information inserted in frame units from the received video stream.
  • the gyro sensor 14 detects a change in the rotation angle of the device incorporating the gyro sensor 14, here the display device 10. Such a detection output can correspond to line-of-sight operation information such as a change in the rotation angle of the display device 10 causing the user wearing the HMD to rotate the neck or the user to rotate the tablet. It can also be applied to a use case in which a user performs an operation such as swiping on a touch panel to generate a viewpoint operation. In that case, the operation information of the touch panel can correspond to the viewpoint operation information.
  • the transition control unit 15 transitions the display range of the display image to be displayed on the display unit 16 of the projection images based on the recommended viewpoint information of the next frame from the decoder 12 and the viewpoint operation information from the gyro sensor 14.
  • a transition of the display range can be realized by calculating the viewpoint position of the next frame for each frame.
  • the transition control unit 15 sets the viewpoint position of the next frame as the optical center, and sets the horizontal angle of view and the vertical angle of view set as the size of the display image, or the field of view determined according to the diagonal angle of view as the display range of the next frame. Can be decided.
  • the field of view drawing unit 13 cuts out and renders the image data of the display range of the next frame calculated by the transition control unit 15 from the projection image data of the next frame obtained by the decoder 12, and displays the image data corresponding to the viewpoint position of the next frame. Get image data.
  • the display unit 16 displays an image based on the display image data obtained for each frame by the visual field drawing unit 13.
  • FIG. 4A is a diagram showing an example of a projection image.
  • FIG. 4B is a diagram showing an example of the display range.
  • FIG. 4C is a diagram showing an example of a display image.
  • the display range of the next frame corresponding to the viewpoint position of the next frame is set on the projection image shown in FIG. 4A as an example.
  • the display image is displayed on the display unit 16 after the display image corresponding to the display range is cut out from the projection images.
  • the transition control unit 15 includes an operation movement amount calculation unit 15A, a return movement amount calculation unit 15B, a combined movement amount calculation unit 15C, and a viewpoint position calculation unit 15D.
  • the operation movement amount calculation unit 15A is a processing unit that calculates the movement amount for moving the viewpoint position corresponding to the displayed image according to the viewpoint operation based on the viewpoint operation information.
  • operation movement amount the amount of movement that moves the viewpoint position corresponding to the displayed image according to the viewpoint operation may be described as "operation movement amount”.
  • the operation movement amount calculation unit 15A calculates the operation movement amount based on the line-of-sight operation information output by the gyro sensor 14. More specifically, in the operation movement amount calculation unit 15A, the angular velocities of the three axes of pitch, roll and yaw are input from the gyro sensor 14 in frame units. According to such an input, the operation movement amount calculation unit 15A performs the following processing for each of the three axes. That is, the operation movement amount calculation unit 15A calculates the rotation angle by integrating the angular velocity output by the gyro sensor 14. By subtracting the rotation angle calculated in the previous frame from the rotation angle calculated in the current frame in this way, the operation movement amount calculation unit 15A calculates the operation movement amount in the next frame.
  • the return movement amount calculation unit 15B is a processing unit that calculates the movement amount for returning the viewpoint position corresponding to the displayed image to the viewpoint position corresponding to the recommended viewpoint information.
  • the amount of movement that returns the viewpoint position corresponding to the displayed image to the recommended viewpoint may be described as "return movement amount”.
  • the return movement amount calculation unit 15B calculates the above return movement amount based on the recommended viewpoint information output by the decoder 12. More specifically, the return movement amount calculation unit 15B also performs the following processing for each of the three axes of pitch, roll, and yaw. That is, the return movement amount calculation unit 15B calculates the return movement amount based on the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame. For example, the return movement amount calculation unit 15B sets a large speed for returning to the recommended viewpoint as the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame increases.
  • FIGS. 5 and 6 are diagrams showing an example of a method of calculating the return movement amount.
  • the horizontal axis of the graphs shown in FIGS. 5 and 6 indicates the angle from the recommended viewpoint, and the horizontal axis indicates the speed of returning to the recommended viewpoint.
  • the "speed" referred to here refers to the amount of movement per frame as an example, and can be determined by setting the number of frames until returning to the recommended viewpoint.
  • the above return movement amount is calculated according to a function in which the speed of returning to the recommended viewpoint increases linearly as the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame increases. Can be calculated.
  • the speed of returning to the recommended viewpoint increases monotonically and the rate of monotonous increase decreases as the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame increases.
  • the above return movement amount can also be calculated.
  • the guidance control for returning the viewpoint position to the recommended viewpoint is incorporated into the transition of the display range, so that the recommended viewpoint does not need to be displayed with various markings such as a frame or an arrow indicating the position of the recommended viewpoint. Can be visually fed back.
  • the sense of distance to the recommended viewpoint can be transmitted, so that VR sickness can be reduced or when guiding to the recommended viewpoint. It is possible to reduce the feeling of strangeness.
  • the return movement amount according to the function shown in FIG. 6 the sense of distance to the recommended viewpoint can be smoothly transmitted as compared with the case shown in FIG.
  • the same function is used on the three axes of pitch, roll, and yaw, but different functions may be used for each of the three axes.
  • the return movement amount can be set to zero regardless of the magnitude of the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame.
  • a function in which different weights are multiplied for each of the three axes may be used.
  • FIGS. 5 and 6 a function for determining the return movement amount is illustrated, but the return movement amount does not necessarily have to be calculated according to the function.
  • a look-up table or the like associated with the speed of returning to the recommended viewpoint can be used instead of the function for each class of the rotation angle in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame. ..
  • the combined movement amount calculation unit 15C is a processing unit that calculates the combined movement amount of the operation movement amount and the return movement amount.
  • the combined movement amount calculation unit 15C has an operation movement amount calculated by the operation movement amount calculation unit 15A and a return movement amount calculated by the return movement amount calculation unit 15B for each of the three axes of roll and yaw. And sum. Thereby, the combined movement amount in which the operation movement amount and the return movement amount are combined can be calculated.
  • the viewpoint position calculation unit 15D is a processing unit that calculates the viewpoint position of the next frame from the combined movement amount. As an example, the viewpoint position calculation unit 15D adds the angle of the line-of-sight direction corresponding to the combined movement amount calculated for each of the three axes of roll and yaw by the composite movement amount calculation unit 15C to the line-of-sight direction of the current frame. To calculate the viewpoint position of the next frame. Then, the viewpoint position calculation unit 15D sets the viewpoint position of the next frame as the optical center, and sets the field of view determined according to the horizontal and vertical angles of view set as the size of the display image or the diagonal angle of view of the next frame. Determined as the display range. The display range of the next frame determined in this way is input to the field of view drawing unit 13.
  • FIG. 7 is a flowchart showing a procedure of display processing according to the first embodiment. As an example, this process is started in response to a user's operation to start playing a video clip. When the process is started in this way, the display device 10 displays the recommended viewpoint, that is, the range corresponding to the RVP (recommended range) as the display range (step S101).
  • the display device 10 displays the recommended viewpoint, that is, the range corresponding to the RVP (recommended range) as the display range (step S101).
  • the operation movement amount calculation unit 15A calculates the operation movement amount based on the line-of-sight operation information output by the gyro sensor 14 (step S102). Further, the return movement amount calculation unit 15B calculates the return movement amount based on the recommended viewpoint information output by the decoder 12 (step S103).
  • the combined movement amount calculation unit 15C synthesizes the operation movement amount calculated in step S102 and the return movement amount calculated in step S103 for each of the three axes of roll and yaw.
  • the movement amount is calculated (step S104).
  • the viewpoint position calculation unit 15D adds the angle in the line-of-sight direction corresponding to the combined movement amount calculated for each of the three axes of roll and yaw in step S104 to the line-of-sight direction of the current frame, thereby performing the next frame.
  • the viewpoint position is calculated (step S105).
  • the field of view drawing unit 13 causes the display unit 16 to display the displayed image as the display range of the projection image with the field of view corresponding to the viewpoint position of the next frame calculated in step S105 (step S106).
  • step S107No the processes from the above step S102 to the above step S106 are repeated until the moving image reproduction or distribution is completed. After that, when the moving image reproduction or distribution is completed (step S107Yes), the process is terminated.
  • the display device 10 of the present disclosure transitions the display range of the projection image based on the line-of-sight operation information and the recommended viewpoint information, and displays the display image corresponding to the transitioned display range on the display unit 16. do. Therefore, according to the display device 10 of the present disclosure, it is possible to use the recommended viewpoint and the free viewpoint together without displaying the position of the recommended viewpoint with a frame or the like.
  • FIG. 8 is a diagram showing an example of a threshold value setting method.
  • the horizontal axis of the graph shown in FIG. 8 indicates the angle from the recommended viewpoint, and the vertical axis indicates the threshold value assuming that there is no line-of-sight operation.
  • the smaller the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame the higher the threshold value for assuming that there is no line-of-sight operation is set.
  • the larger the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame the lower the threshold value for assuming that there is no line-of-sight operation is set.
  • FIG. 9 is a flowchart showing a procedure of display processing according to an application example of the first embodiment.
  • the same step number is assigned to the steps in which the same processing as that in the flowchart shown in FIG. 7 is performed, while different step numbers are assigned to the steps in which different content processing is performed. Has been granted.
  • step S201 can be executed after the process of step S103 as an example.
  • step S201 the combined operation amount calculation unit 15C exceeds a predetermined threshold value for the operation movement amount calculated in step S102, for example, a threshold value determined by the angle difference in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame. Judge whether or not.
  • the synthesis operation amount calculation unit 15C is calculated in step S102 for each of the three axes of roll and yaw.
  • the combined movement amount is calculated by summing the operation movement amount and the return movement amount calculated in step S103 (step S202).
  • the synthesis operation amount calculation unit 15C does not perform the line-of-sight operation, that is, the three axes of roll and yaw.
  • the operation movement amount is regarded as zero. That is, the synthesis operation amount calculation unit 15C calculates the return movement amount of the three axes of the roll and the yaw as the synthesis movement amount (step S203).
  • step S105 is executed based on the combined movement amount calculated in step S202 or step S203.
  • vibration near the recommended viewpoint can be suppressed.
  • Second embodiment In the first embodiment described above, an example of transmitting a sense of distance from the recommended viewpoint by adjusting the amount of return movement is given, but the guidance control for returning the viewpoint position to the recommended viewpoint is not necessarily performed from the recommended viewpoint. Can convey a sense of distance. Therefore, as a second embodiment, a case where the sense of distance from the recommended viewpoint is transmitted by limiting the operation movement amount described above will be illustrated.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the display device according to the second embodiment. As shown in FIG. 10, the display device 20 is different in that it has a transition control unit 21 in which the processing content of the transition control unit 15 of the display device 10 shown in FIG. 3 is partially different.
  • FIG. 3 shows that the transition control unit 21 does not necessarily have functional units such as the return movement amount calculation unit 15B and the combined movement amount calculation unit 15C corresponding to the control of returning the viewpoint position to the recommended viewpoint. It is different from the transition control unit 15.
  • the transition control unit 21 is different from the transition control unit 15 shown in FIG. 3 in that the transition control unit 21 has the correction unit 21A that performs the correction that limits the operation movement amount.
  • the correction unit 21A is a processing unit that corrects the operation movement amount based on the angle difference between the viewpoint position of the current frame and the line-of-sight direction of the recommended viewpoint.
  • FIGS. 11 and 12 are diagrams showing an example of a method of correcting the operation movement amount.
  • the horizontal axis of the graphs shown in FIGS. 11 and 12 indicates the angle from the recommended viewpoint, and the horizontal axis indicates the operation movement amount.
  • the operation movement amount before the correction is shown by a broken line, while the operation movement amount after the correction is shown by a solid line.
  • FIG. 11 as the angle from the recommended viewpoint increases, a function that reduces the rate of monotonous increase in the amount of operation movement after correction as compared with the rate of monotonous increase in the amount of operation movement before correction. It can be used to correct the amount of operation movement.
  • FIG. 11 as the angle from the recommended viewpoint increases, a function that reduces the rate of monotonous increase in the amount of operation movement after correction as compared with the rate of
  • the operation movement amount before correction and the operation movement amount after correction increase linearly with the same inclination until the angle from the recommended viewpoint increases to a predetermined angle, and When the angle from the recommended viewpoint exceeds a predetermined angle, the operation movement amount before correction increases linearly.
  • the slope after correction increases linearly compared to the slope. The function is used to correct the operation movement amount. be able to.
  • FIGS. 11 and 12 a function for determining the operation movement amount before and after the correction is illustrated, but the operation movement amount may not necessarily be corrected according to the function.
  • a look-up table or the like in which the amount of operation movement before and after correction is associated with each class of the rotation angle in the line-of-sight direction from the recommended viewpoint to the viewpoint position of the current frame can be used instead of the function. ..
  • FIG. 13 is a flowchart showing a procedure of display processing according to the second embodiment.
  • the same step number is assigned to the steps in which the same processing as that in the flowchart shown in FIG. 7 is performed, while different step numbers are assigned to the steps in which different content processing is performed. Has been granted.
  • step S301 can be executed after the process of step S102 as an example.
  • the correction unit 21A corrects the operation movement amount calculated in step S102 based on the angle difference between the viewpoint position of the current frame and the line-of-sight direction of the recommended viewpoint.
  • step S105 is executed based on the operation movement amount corrected in step S301.
  • the display device 20 of the present disclosure corrects the operation movement amount based on the angle difference between the viewpoint position of the current frame and the line-of-sight direction of the recommended viewpoint. Therefore, according to the display device 20 of the present disclosure, it is possible to use the recommended viewpoint and the free viewpoint together without displaying the position of the recommended viewpoint with a frame or the like.
  • FIG. 14 is a block diagram showing an example of the functional configuration of the display device according to the third embodiment. As shown in FIG. 14, the display device 30 is different in that it has a transition control unit 31 in which the processing content of the transition control unit 15 of the display device 10 shown in FIG. 3 is partially different.
  • the transition control unit 31 includes the operation movement amount calculation unit 15A, the return movement amount calculation unit 15B, the combined movement amount calculation unit 15C, and the viewpoint position calculation unit 15D shown in FIG. 3, as well as the correction unit shown in FIG. It differs from the transition control unit 15 shown in FIG. 3 in that it further has 21A.
  • FIG. 15 is a flowchart showing a procedure of display processing according to the third embodiment.
  • the same step number is assigned to the steps in which the same processing as the flowcharts shown in FIGS. 7 and 13 is performed, but the steps in which different contents are processed are different.
  • a step number is assigned.
  • This process is also started in response to the user's operation to start playing the video clip, as an example.
  • the display device 10 displays the recommended viewpoint, that is, the range corresponding to the RVP (recommended range) as the display range (step S101).
  • the operation movement amount calculation unit 15A calculates the operation movement amount based on the line-of-sight operation information output by the gyro sensor 14 (step S102). Subsequently, the correction unit 21A corrects the operation movement amount calculated in step S102 based on the angle difference between the viewpoint position of the current frame and the line-of-sight direction of the recommended viewpoint (step S301). Further, the return movement amount calculation unit 15B calculates the return movement amount based on the recommended viewpoint information output by the decoder 12 (step S103).
  • the combined movement amount calculation unit 15C synthesizes the operation movement amount corrected in step S301 and the return movement amount calculated in step S103 for each of the three axes of roll and yaw.
  • the movement amount is calculated (step S104).
  • the viewpoint position calculation unit 15D adds the angle in the line-of-sight direction corresponding to the combined movement amount calculated for each of the three axes of roll and yaw in step S104 to the line-of-sight direction of the current frame, thereby performing the next frame.
  • the viewpoint position is calculated (step S105).
  • the field of view drawing unit 13 causes the display unit 16 to display the displayed image as the display range of the projection image with the field of view corresponding to the viewpoint position of the next frame calculated in step S105 (step S106).
  • step S107No the processes from the above step S102 to the above step S106 are repeated until the moving image reproduction or distribution is completed. After that, when the moving image reproduction or distribution is completed (step S107Yes), the process is terminated.
  • the display device 30 of the present disclosure it is possible to obtain the effects of both the display device 10 according to the first embodiment and the display device 20 according to the second embodiment.
  • the display device 30 of the present disclosure it is possible to convey a sense of distance to the recommended viewpoint, out of service area from the recommended viewpoint, and the like.
  • FIG. 16 is a block diagram showing an example of the functional configuration of the display device according to the fourth embodiment. As shown in FIG. 16, the display device 40 is different in that it has a transition control unit 41 in which the processing content of the transition control unit 15 of the display device 10 shown in FIG. 3 is partially different.
  • the transition control unit 41 is different from the transition control unit 15 shown in FIG. 3 in that the score calculation unit 41A and the recommended viewpoint selection unit 41B are further provided.
  • the score calculation unit 41A is a processing unit that calculates the score of the recommended viewpoint for each recommended viewpoint.
  • the score calculation unit 41A can calculate the score of the recommended viewpoint according to the viewpoint position of the current frame and the distance between the recommended viewpoints according to the following equation (1).
  • “S i ” in the following formula (1) refers to the score of the i-th recommended viewpoint.
  • "d i" in the following equation (1) refers to the distance between the viewpoint position of the i-th of the recommended point of view and the current frame.
  • FIG. 17 is a diagram showing an example of the distance used for score calculation. In FIG. 17, three recommended viewpoints RVP1 to RVP3 and the viewpoint position of the current frame are shown on the projection image. In the example shown in FIG.
  • the score calculation unit 41A may calculate the score of the recommended viewpoint by giving a predetermined weight to the viewpoint position of the current frame and the distance between the recommended viewpoints according to the following equation (2).
  • “S i ” in the following formula (2) refers to the score of the i-th recommended viewpoint.
  • “d i” in the following equation (2) refers to the distance between the viewpoint position of the i-th of the recommended point of view and the current frame.
  • "w i" in the following equation (2) refers to the weight of the i-th of the recommended point of view.
  • the weight of the recommended viewpoint may be set by the user of the distribution source such as the director or the end user who is the viewer. It is also possible to refer to the viewing history of the distribution data of a plurality of viewers and automatically set a larger weight for the recommended viewpoint with a larger number of viewers.
  • FIG. 18 is a diagram showing an example of a distance and a weight used for score calculation.
  • three recommended viewpoints RVP1 to RVP3 and the viewpoint position of the current frame are shown on the projection image.
  • the weights of the recommended viewpoints RVP1 to RVP3 are shown by the size of a circle.
  • the magnitude relationship between the distances d 1 , d 2 and d 3 between the three recommended viewpoints RVP1 to RVP3 and the viewpoint position of the current frame is “d 1 ⁇ d 3 ⁇ d 2 ”. Is.
  • the magnitude relationship of the scores of the recommended viewpoints RVP1 to RVP3 is not necessarily “S 1 > S 3 > S 2 ". That is, depending on the weight w 3 of the recommended viewpoint RVP3, the magnitude relationship of the scores of the recommended viewpoints RVP1 to RVP3 may be “S 3 > S 1 > S 2 ” as shown in FIG.
  • the recommended viewpoint selection unit 41B is a processing unit that selects one recommended viewpoint from a plurality of recommended viewpoints.
  • the recommended viewpoint selection unit 41B selects the recommended viewpoint having the highest score among a plurality of recommended viewpoints. For example, in the example shown in FIG. 17, the recommended viewpoint RVP1 is selected from the recommended viewpoints RVP1 to RVP3, while in the example shown in FIG. 18, the recommended viewpoint RVP3 is selected from the recommended viewpoints RVP1 to RVP3. do.
  • the score is not limited to this.
  • the lower the score value the higher the priority of the recommended viewpoint may be calculated. In this case, the recommended viewpoint with the lowest score may be selected.
  • FIG. 19 is a flowchart showing a procedure of display processing according to the fourth embodiment.
  • the same step number is assigned to the step in which the same processing as that of the flowchart shown in FIG. 7 is performed, while different step numbers are assigned to the step in which the processing having different content is performed. Has been granted.
  • step S401 the score calculation unit 41A calculates the score of the recommended viewpoint for each recommended viewpoint.
  • the recommended viewpoint selection unit 41B selects one recommended viewpoint from the plurality of recommended viewpoints based on the score calculated in step S401 (step S402).
  • step S102 is executed for the recommended viewpoint selected in step S402.
  • the display device 40 of the present disclosure calculates a score for each recommended viewpoint, and selects one recommended viewpoint from a plurality of recommended viewpoints based on the score. Therefore, according to the display device 40 of the present disclosure, one recommended viewpoint can be narrowed down even when a plurality of recommended viewpoints coexist.
  • the transmission of the position of the recommended viewpoint is realized by the transition of the display range of the projection image, but the position of the recommended viewpoint is transmitted by a method other than the display. can do.
  • the position of the recommended viewpoint can be transmitted through audio output.
  • the volume can be lowered as the distance from the recommended viewpoint is increased, or the sound image can be localized at the recommended viewpoint by stereophonic sound so that the sound source is perceived as existing in the direction of the recommended viewpoint.
  • vibration may be perceived by operating a vibrator or the like, or from the recommended viewpoint by a gyro. It is also possible to perceive a large weight as you move away.
  • the guidance control for returning the viewpoint position to the recommended viewpoint is performed every frame, but certain conditions can be set. ..
  • the display devices 10, 30 or 40 may execute guidance control for returning the viewpoint position to the recommended viewpoint only when the operation movement amount is zero or equal to or less than a predetermined threshold value, that is, when there is no line-of-sight operation. It doesn't matter.
  • the return movement amount calculation unit can execute the calculation of the return movement amount.
  • the transition control units 15, 21, 31 and 41 are mounted on the display devices 10, 20, 30 and 40, but the transition control units 15, 21 and 31 and 41 may be mounted on the distribution server 9.
  • the line-of-sight operation information by the gyro sensor 14 may be acquired from the display devices 10, 20, 30 or 40.
  • the distribution server 9 can correspond to an example of the image processing device.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed / physically distributed in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • Hardware configuration The series of processes in the display device 10, 20, 30 or 40 described above can be executed by hardware or software. When a series of processes are executed by software, the programs that make up the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 20 is a block diagram showing a configuration example of the hardware of the computer 400.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output interface 405 is further connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 409 includes a network interface and the like.
  • the drive 410 drives a removable medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads and executes the program recorded in the recording unit 408 into the RAM 403 via the input / output interface 405 and the bus 404, for example. A series of processing is performed.
  • the program executed by the computer 400 can be recorded and provided on the removable media 411 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input / output interface 405 by mounting the removable media 411 in the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be pre-installed in the ROM 402 or the recording unit 408.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the present technology can also have the following configurations.
  • An output unit that outputs a part of the image including recommended viewpoint information to the display unit as a display image
  • a transition control unit that transitions the display range of the image based on the positional relationship between the viewpoint position corresponding to the display image output to the display unit and the viewpoint position corresponding to the recommended viewpoint information is provided.
  • the output unit is an image processing device that outputs a part of the image to the display unit based on the transitioned display range.
  • the transition control unit An operation movement amount calculation unit that calculates an operation movement amount for moving the viewpoint position corresponding to the displayed image according to a viewpoint operation based on the viewpoint operation information.
  • a return movement amount calculation unit that calculates a return movement amount for returning the viewpoint position corresponding to the display image to the viewpoint position corresponding to the recommended viewpoint information, and A viewpoint position calculation unit for calculating the viewpoint position of the next frame to be output next to the frame of the display image output to the display unit based on the operation movement amount and the return movement amount is provided.
  • the output unit A part of the image is output to the display unit based on the display range determined from the viewpoint position of the next frame.
  • the image processing apparatus according to (1) above.
  • the return movement amount calculation unit calculates the return movement amount based on the angle difference in the line-of-sight direction from the viewpoint position corresponding to the recommended viewpoint information to the viewpoint position corresponding to the display image.
  • the return movement amount calculation unit sets a large speed of returning to the viewpoint position corresponding to the recommended viewpoint information as the angle difference in the line-of-sight direction increases.
  • the return movement amount calculation unit linearly increases the speed of returning to the viewpoint position corresponding to the recommended viewpoint information as the angle difference in the line-of-sight direction increases.
  • the return movement amount calculation unit monotonically increases the speed of returning to the viewpoint position corresponding to the recommended viewpoint information and decreases the rate of the monotonous increase as the angle difference in the line-of-sight direction increases.
  • the viewpoint position calculation unit calculates the viewpoint position of the next frame based on the return movement amount when the operation movement amount is equal to or less than a predetermined threshold value, and when the operation movement amount is not equal to or less than the threshold value, the operation is performed.
  • the viewpoint position of the next frame is calculated based on the movement amount and the return movement amount.
  • the image processing apparatus according to any one of (2) to (6).
  • the threshold value is higher as the angle difference in the line-of-sight direction from the viewpoint position corresponding to the recommended viewpoint information to the viewpoint position corresponding to the displayed image is smaller.
  • the transition control unit An operation movement amount calculation unit that calculates an operation movement amount for moving the viewpoint position corresponding to the displayed image according to a viewpoint operation based on the viewpoint operation information.
  • a correction unit that corrects the operation movement amount based on the angle difference in the line-of-sight direction from the viewpoint position corresponding to the recommended viewpoint information to the viewpoint position corresponding to the displayed image.
  • a viewpoint position calculation unit for calculating the viewpoint position of the next frame to be output next to the frame of the display image output to the display unit based on the corrected operation movement amount is provided.
  • the output unit A part of the image is output to the display unit based on the display range determined from the viewpoint position of the next frame.
  • the correction unit reduces the rate of monotonous increase in the operation movement amount after correction as compared with the rate of monotonous increase in the operation movement amount before correction as the angle difference in the line-of-sight direction increases.
  • the image processing apparatus according to (9) above.
  • the correction unit linearly increases the operation movement amount before correction and the operation movement amount after correction with the same inclination until the angle difference in the line-of-sight direction increases to a predetermined angle, and the angle difference in the line-of-sight direction is predetermined. When the angle is greater than or equal to, the slope at which the operation movement amount after correction increases linearly is smaller than the slope at which the operation movement amount before correction increases linearly.
  • a score calculation unit that calculates a score for each viewpoint position included in the recommended viewpoint information, A recommended viewpoint selection unit that selects one of the viewpoint positions included in the recommended viewpoint information based on the score is provided.
  • the return movement amount calculation unit calculates the return movement amount for returning the viewpoint position corresponding to the displayed image to the viewpoint position selected from the viewpoint positions included in the recommended viewpoint information.
  • the image processing apparatus according to any one of (2) to (11).
  • the score calculation unit calculates the score based on the distance between the viewpoint position included in the recommended viewpoint information and the viewpoint position corresponding to the displayed image.
  • the score calculation unit reduces the value of the score as the distance increases.
  • the score calculation unit calculates the score by giving a predetermined weight to the distance.
  • the score calculation unit increases the value of the score as the weight increases, or decreases the value of the score as the weight decreases.
  • the weight is given a larger value as the number of viewers is larger and the recommended viewpoint is larger.
  • the return movement amount calculation unit calculates the return movement amount when the operation movement amount is equal to or less than a predetermined threshold value.
  • the image processing apparatus according to any one of (2) to (17). (19) A part of the image including the recommended viewpoint information is output as a display image to the display unit.
  • the display range of the image is changed based on the positional relationship between the viewpoint position corresponding to the display image output to the display unit and the viewpoint position corresponding to the recommended viewpoint information.
  • the computer executes the process,
  • the process of outputting to the display unit is an image processing method of outputting a part of the image to the display unit based on the transitioned display range.
  • a part of the image including the recommended viewpoint information is output as a display image to the display unit.
  • the display range of the image is changed based on the positional relationship between the viewpoint position corresponding to the display image output to the display unit and the viewpoint position corresponding to the recommended viewpoint information. Let the computer perform the process
  • the process of outputting to the display unit is a program that outputs a part of the image to the display unit based on the transitioned display range.
  • Image distribution system 3 Multi-camera 5 Wide viewing angle image converter 7 Encoder 9 Distribution server 10 Display device 11 Receiver 12 Decoder 13 Field drawing unit 14 Gyro sensor 15 Transition control unit 15A Operation movement amount calculation unit 15B Return movement amount calculation unit 15C Composite movement amount calculation unit 15D Viewpoint position calculation unit 16 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画像処理装置の一例である表示装置（１０）は、お勧め視点情報を含む画像の一部を表示画像として表示部に出力する出力部と、表示部に出力されている表示画像に対応する視点位置とお勧め視点情報に対応する視点位置の位置関係に基づいて、画像の表示範囲を遷移させる遷移制御部とを備え、出力部は、遷移された表示範囲に基づいて、表示部に前記画像の一部を出力する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　ＭＰＥＧ－ＤＡＳＨ（Dynamic　Adaptive　Streaming　over　HTTP）のＯＭＡＦ（Omnidirectional　Media　Application　Format）の規格の中で、３６０°あるいはそれより狭い画角の広視野角の画像データと共にお勧め視点情報を送る方法が定義されている。また、例えば、特許文献１には、お勧め視点の表示に関する記載が存在する。
特開２０１６-１９４７８４号公報
　お勧め視点を表示すると広視野角の画像のうちお勧め視点しか見られなくなる。一方、自由に見られるようにするとお勧め視点位置が分からなくなる。この場合、お勧め視点を枠等で表示することも考えられるが、その部分において世界観が崩れる不都合がある。
　そこで、本開示では、お勧め視点の位置を枠等で表示することなく、お勧め視点と自由視点との併用を可能とする画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、お勧め視点情報を含む画像の一部を表示画像として表示部に出力する出力部と、前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる遷移制御部とを備え、前記出力部は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する。
図１は、第１の実施の形態に係る画像配信システムの構成例を示す図である。 図２Ａは、球面キャプチャ画像に対応した球面の一例を示す図である。 図２Ｂは、プロジェクション画像の座標系の一例を示す模式図である。 図２Ｃは、お勧め視点情報の一例を示す図である。 図３は、第１の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。 図４Ａは、プロジェクション画像の一例を示す図である。 図４Ｂは、表示範囲の一例を示す図である。 図４Ｃは、表示画像の一例を示す図である。 図５は、戻り移動量の算出方法の一例を示す図である。 図６は、戻り移動量の算出方法の一例を示す図である。 図７は、第１の実施形態に係る表示処理の手順を示すフローチャートである。 図８は、閾値の設定方法の一例を示す図である。 図９は、第１の実施形態の応用例に係る表示処理の手順を示すフローチャートである。 図１０は、第２の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。 図１１は、操作移動量の補正方法の一例を示す図である。 図１２は、操作移動量の補正方法の一例を示す図である。 図１３は、第２の実施形態に係る表示処理の手順を示すフローチャートである。 図１４は、第３の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。 図１５は、第３の実施形態に係る表示処理の手順を示すフローチャートである。 図１６は、第４の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。 図１７は、スコア算出に用いる距離の一例を示す図である。 図１８は、スコア算出に用いる距離及び重みの一例を示す図である。 図１９は、第４の実施形態に係る表示処理の手順を示すフローチャートである。 図２０は、コンピュータのハードウェアの構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　１．第１の実施形態
　　１－１．画像配信システム
　　１－２．配信側装置
　　１－３．受信側装置
　　１－３－１．受信部
　　１－３－２．ジャイロセンサ
　　１－３－３．遷移制御部
　　１－３－４．視野描画部
　　１－３－５．表示部
　　１－４．遷移制御部の詳細
　　１－４－１．操作移動量算出部
　　１－４－２．戻り移動量算出部
　　１－４－３．合成移動量算出部
　　１－４－４．視点位置算出部
　　１－５．表示装置の処理手順
　　１－６．効果の一側面
　　１－７．第１の実施形態の応用例
　　１－７－１．応用例の処理手順
　２．第２の実施形態
　　２－１．表示装置の機能構成例
　　２－２．遷移制御部
　　２－２－１．補正部
　　２－３．表示装置の処理手順
　　２－４．効果の一側面
　３．第３の実施形態
　　３－１．表示装置の機能構成例
　　３－２．遷移制御部
　　３－３．表示装置の処理手順
　　３－４．効果の一側面
　４．第４の実施形態
　　４－１．表示装置の機能構成例
　　４－２．遷移制御部
　　４－２－１．スコア算出部
　　４－２－２．お勧め視点選択部
　　４－３．表示装置の処理手順
　　４－４．効果の一側面
　５．変形例
　　５－１．視覚以外のフィードバック
　　５－２．誘導制御の実行条件
　　５－３．機能の実装主体
　　５－４．その他の変形例
　６．ハードウェア構成
＜＜１．第１の実施形態＞＞
＜１－１．画像配信システム＞
　図１は、第１の実施の形態に係る画像配信システムの構成例を示す図である。図１に示すように、画像配信システム１は、配信側装置と、受信側装置としての表示装置１０とを有する。表示装置１０の実装例としては、ＨＭＤ（Head　Mounted　Display）やタブレット等が挙げられる。
＜１－２．配信側装置＞
　配信側装置は、マルチカメラ３と、広視野角画像変換部５と、エンコーダ７と、配信サーバ９を有している。
　マルチカメラ３は、球面キャプチャ画像の画像データを得る。例えば、マルチカメラ３は、２個のカメラでバック・ツー・バック（Back　to　Back）方式で撮像を行って、球面キャプチャ画像として、それぞれ魚眼レンズを用いて撮像された１８０°以上の視野角を持つ、広視野角の前面画像および後面画像を得る。
　広視野角画像変換部５は、マルチカメラ３で得られた球面キャプチャ画像を平面パッキングして長方形のプロジェクション画像（Projection　picture）を得る。このプロジェクション画像は、３６０°あるいはそれより狭い画角である広視野角の画像に対応したものである。この場合、プロジェクション画像のフォーマットタイプとしては、例えば、エクイレクタングラー（Equirectangular）などが選択される。なお、広視野角画像変換部５では、プロジェクション画像に必要に応じてスケーリングが施され、所定の解像度のプロジェクション画像が得られる。
　エンコーダ７は、広視野角画像変換部５からのプロジェクション画像の画像データに対して、例えば、ＨＥＶＣなどの符号化を施して符号化画像データを得、この符号化画像データを含むビデオストリームを生成する。ここで、エンコーダ７は、ビデオストリームに、フレーム単位で、お勧め視点情報を挿入する。
　お勧め視点（ＲＶＰ：Recommended　View　Point）は、例えば位置センサあるいは画像認識で推定された演者を含む範囲に自動的に設定され、また例えばディレクタが手動で指定した範囲に設定される。ここで、お勧め視点は、必ずしも一つだけ設定されるとは限らず、複数設定されることとしてもかまわない。
　図２Ａは、球面キャプチャ画像に対応した球面を示している。図２Ｂは、フォーマットタイプがエクイレクタングラーであった場合における長方形のプロジェクション画像を概略的に示している。このプロジェクション画像の中心は（０，０）である。
　お勧め視点情報は、例えば、図２Ｃに示すように、フレーム番号、中心角度情報、水平角度情報、垂直角度情報、お勧め視点番号などを含む。中心角度情報、水平角度情報および垂直角度情報は、球面キャプチャ画像における角度情報である（図２Ａ参照）。
　図１に戻って、配信サーバ９は、エンコーダ７で生成されたビデオストリームを配信データとして表示装置１０に送る。なお、この配信は、放送、通信のいずれであってもよい。
＜１－３．受信側装置＞
　図３は、第１の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。図３には、表示装置１０が備える機能に対応するブロックが模式化されている。図３に示すように、表示装置１０は、受信部１１と、デコーダ１２と、視野描画部１３と、ジャイロセンサ１４と、遷移制御部１５と、表示部１６を有している。なお、視野描画部１３は出力部の一例に対応する。
＜１－３－１．受信部＞
　受信部１１は、送信側装置から送られてくる配信データとしてのビデオストリームを受信する。デコーダ１２は、受信部１１で受信されたビデオストリームに復号化を施して、プロジェクション画像（画像データ）を得る。また、デコーダ１２は、受信されたビデオストリームからフレーム単位で挿入されているお勧め視点情報を得る。
＜１－３－２．ジャイロセンサ＞
　ジャイロセンサ１４は、このジャイロセンサ１４を内蔵している機器、ここでは表示装置１０の回転角度の変化を検知する。このような検知出力は、表示装置１０の回転角度の変化がＨＭＤを装着しているユーザが首を回転させる、あるいはユーザがタブレットを回転させるなどの視線操作情報に対応し得る。なお、ユーザがタッチパネル上でスワイプ等の操作を行って視点操作を発生させるユースケースにも適用し得る。その場合、タッチパネルの操作情報が視点操作情報に対応し得る。
＜１－３－３．遷移制御部＞
　遷移制御部１５は、デコーダ１２からの次フレームのお勧め視点情報とジャイロセンサ１４からの視点操作情報とに基づいて、プロジェクション画像のうち表示部１６に表示させる表示画像の表示範囲を遷移させる。このような表示範囲の遷移は、一例として、フレームごとに次フレームの視点位置を算出することにより実現できる。例えば、遷移制御部１５は、次フレームの視点位置を光学中心とし、表示画像のサイズとして設定された水平画角および垂直画角、あるいは対角画角にしたがって定まる視野を次フレームの表示範囲として決定できる。
＜１－３－４．視野描画部＞
　視野描画部１３は、デコーダ１２で得られる次フレームのプロジェクション画像データから、遷移制御部１５で算出される次フレームの表示範囲の画像データを切り出してレンダリングし、次フレームの視点位置に対応した表示画像データを得る。
＜１－３－５．表示部＞
　表示部１６は、視野描画部１３によりフレームごとに得られる表示画像データによる画像を表示する。
　図４Ａは、プロジェクション画像の一例を示す図である。図４Ｂは、表示範囲の一例を示す図である。図４Ｃは、表示画像の一例を示す図である。図４Ａに示すプロジェクション画像上には、あくまで一例として、図４Ｂに示すように、次フレームの視点位置に対応する次フレームの表示範囲が設定される。このような表示範囲が設定される場合、表示部１６には、図４Ｃに示すように、プロジェクション画像のうち表示範囲に対応する表示画像が切り出された上で当該表示画像が表示される。
＜１－４．遷移制御部の詳細＞
　遷移制御部１５は、図３に示すように、操作移動量算出部１５Ａと、戻り移動量算出部１５Ｂと、合成移動量算出部１５Ｃと、視点位置算出部１５Ｄとを有する。
＜１－４－１．操作移動量算出部＞
　操作移動量算出部１５Ａは、視点操作情報に基づく視点操作にしたがって表示画像に対応する視点位置を移動させる移動量を算出する処理部である。以下、視点操作にしたがって表示画像に対応する視点位置を移動させる移動量のことを「操作移動量」と記載する場合がある。
　一実施形態として、操作移動量算出部１５Ａは、ジャイロセンサ１４により出力される視線操作情報に基づいて上記の操作移動量を算出する。より詳細には、操作移動量算出部１５Ａには、ジャイロセンサ１４からピッチ、ロールおよびヨーの３つの軸の角速度がフレーム単位で入力される。このような入力にしたがって、操作移動量算出部１５Ａは、３つの軸ごとに次のような処理を行う。すなわち、操作移動量算出部１５Ａは、ジャイロセンサ１４により出力される角速度を積分することにより回転角を算出する。このように現フレームで算出された回転角から前フレームで算出された回転角を差し引くことにより、操作移動量算出部１５Ａは、次フレームの操作移動量を算出する。
＜１－４－２．戻り移動量算出部＞
　戻り移動量算出部１５Ｂは、表示画像に対応する視点位置をお勧め視点情報に対応する視点位置へ戻す移動量を算出する処理部である。以下、表示画像に対応する視点位置をお勧め視点へ戻す移動量のことを「戻り移動量」と記載する場合がある。
　一実施形態として、戻り移動量算出部１５Ｂは、デコーダ１２により出力されるお勧め視点情報に基づいて上記の戻り移動量を算出する。より詳細には、戻り移動量算出部１５Ｂにおいても、ピッチ、ロールおよびヨーの３つの軸ごとに次のような処理を行う。すなわち、戻り移動量算出部１５Ｂは、お勧め視点から現フレームの視点位置までの視線方向の角度差に基づいて上記の戻り移動量を算出する。例えば、戻り移動量算出部１５Ｂは、お勧め視点から現フレームの視点位置までの視線方向の角度差が大きくなるに連れてお勧め視点に戻す速度を大きく設定する。
　図５及び図６は、戻り移動量の算出方法の一例を示す図である。図５及び図６に示すグラフの横軸は、お勧め視点からの角度を指し、横軸は、お勧め視点に戻す速度を指す。ここで言う「速度」は、あくまで一例として、１フレームあたりの移動量を指し、お勧め視点に戻すまでのフレーム数を設定することで定めることができる。図５に示すように、お勧め視点から現フレームの視点位置までの視線方向の角度差が大きくなるに連れて、お勧め視点に戻す速度が線形に増加する関数にしたがって上記の戻り移動量を算出することができる。他の一例として、お勧め視点から現フレームの視点位置までの視線方向の角度差が大きくなるに連れて、お勧め視点に戻す速度が単調増加し、かつ単調増加の割合が減少する関数にしたがって上記の戻り移動量を算出することもできる。
　このように、お勧め視点へ視点位置を戻す誘導制御が表示範囲の遷移に組み込まれることにより、お勧め視点の所在位置を示す枠や矢印等の各種の標示を表示せずとも、お勧め視点を視覚的にフィードバックできる。さらに、図５や図６に示す関数にしたがって上記の戻り移動量を算出することにより、お勧め視点までの距離感を伝達できるので、ＶＲ酔いを低減したり、お勧め視点への誘導時における違和感を低減したりすることができる。さらに、図６に示す関数にしたがって上記の戻り移動量を算出することにより、図５に示す場合に比べてお勧め視点までの距離感を滑らかに伝達できる。
　なお、ここでは、ピッチ、ロール、ヨーの３つの軸で同一の関数が用いられる例を挙げたが、３つの軸ごとに異なる関数が用いられることとしてもかまわない。例えば、ロール軸では、お勧め視点から現フレームの視点位置までの視線方向の角度差の大きさを問わず、上記の戻り移動量をゼロに設定することもできる。この他、３つの軸ごとに異なる重みが乗算された関数が用いられることとしてもかまわない。
　また、図５や図６では、戻り移動量を定める関数を例示したが、必ずしも関数にしたがって戻り移動量を算出せずともかまわない。例えば、お勧め視点から現フレームの視点位置までの視線方向の回転角の階級ごとにお勧め視点に戻す速度が対応付けられたルックアップテーブル等を関数の代わりに用いることができるのは言うまでもない。
＜１－４－３．合成移動量算出部＞
　合成移動量算出部１５Ｃは、操作移動量および戻り移動量が合成された合成移動量を算出する処理部である。あくまで一例として、合成移動量算出部１５Ｃは、ロールおよびヨーの３つの軸ごとに、操作移動量算出部１５Ａにより算出される操作移動量と、戻り移動量算出部１５Ｂにより算出される戻り移動量とを合計する。これによって、操作移動量および戻り移動量が合成された合成移動量を算出できる。
＜１－４－４．視点位置算出部＞
　視点位置算出部１５Ｄは、合成移動量から次フレームの視点位置を算出する処理部である。あくまで一例として、視点位置算出部１５Ｄは、合成移動量算出部１５Ｃによりロールおよびヨーの３つの軸ごとに算出された合成移動量に対応する視線方向の角度を現フレームの視線方向に足し合わせることにより、次フレームの視点位置を算出する。その上で、視点位置算出部１５Ｄは、次フレームの視点位置を光学中心とし、表示画像のサイズとして設定された水平画角および垂直画角、あるいは対角画角にしたがって定まる視野を次フレームの表示範囲として決定する。このように決定された次フレームの表示範囲が視野描画部１３へ入力される。
＜１－５．表示装置の処理手順＞
　図７は、第１の実施形態に係る表示処理の手順を示すフローチャートである。この処理は、あくまで一例として、ユーザによるビデオクリップの再生開始操作に対応して開始される。このように処理が開始されると、表示装置１０は、図７に示すように、お勧め視点、すなわちＲＶＰに対応する範囲（お勧め範囲）を表示範囲として表示する（ステップＳ１０１）。
　その後、ピッチ、ロールおよびヨーの３つの軸ごとに下記のステップＳ１０２から下記のステップＳ１０４までの処理が行われる。
　すなわち、操作移動量算出部１５Ａは、ジャイロセンサ１４により出力される視線操作情報に基づいて上記の操作移動量を算出する（ステップＳ１０２）。また、戻り移動量算出部１５Ｂは、デコーダ１２により出力されるお勧め視点情報に基づいて上記の戻り移動量を算出する（ステップＳ１０３）。
　その上で、合成移動量算出部１５Ｃは、ロールおよびヨーの３つの軸ごとに、ステップＳ１０２で算出された操作移動量と、ステップＳ１０３で算出された戻り移動量とを合計することにより、合成移動量を算出する（ステップＳ１０４）。
　続いて、視点位置算出部１５Ｄは、ステップＳ１０４でロールおよびヨーの３つの軸ごとに算出された合成移動量に対応する視線方向の角度を現フレームの視線方向に足し合わせることにより、次フレームの視点位置を算出する（ステップＳ１０５）。
　そして、視野描画部１３は、ステップＳ１０５で算出された次フレームの視点位置に対応する視野をプロジェクション画像の表示範囲として表示画像を表示部１６に表示させる（ステップＳ１０６）。
　その後、動画再生または配信が終了されるまで（ステップＳ１０７Ｎｏ）、上記のステップＳ１０２から上記のステップＳ１０６までの処理が繰り返される。その後、動画再生または配信が終了すると（ステップＳ１０７Ｙｅｓ）、処理を終了する。
＜１－６．効果の一側面＞
　上述してきたように、本開示の表示装置１０は、視線操作情報およびお勧め視点情報に基づいてプロジェクション画像の表示範囲を遷移し、遷移された表示範囲に対応する表示画像を表示部１６に表示する。したがって、本開示の表示装置１０によれば、お勧め視点の位置を枠等で表示することなく、お勧め視点と自由視点との併用を可能である。
＜１－７．第１の実施形態の応用例＞
　本開示の表示装置１０は、お勧め視点近辺での振動を抑制する側面から、上記の操作移動量が所定の閾値以下である場合、視線操作なしとみなす閾値処理を行うことができる。図８は、閾値の設定方法の一例を示す図である。図８に示すグラフの横軸は、お勧め視点からの角度を指し、また、縦軸は、視線操作なしとみなす閾値を指す。図８に示すように、お勧め視点から現フレームの視点位置までの視線方向の角度差が小さいほど視線操作なしとみなす閾値が高く設定される。言い換えれば、お勧め視点から現フレームの視点位置までの視線方向の角度差が大きいほど視線操作なしとみなす閾値が低く設定される。このような閾値の設定により、お勧め視点近辺での振動を抑制できる。
＜１－７－１．応用例の処理手順＞
　図９は、第１の実施形態の応用例に係る表示処理の手順を示すフローチャートである。図９に示すフローチャートには、図７に示されたフローチャートと同一の内容の処理が行われるステップに同一のステップ番号が付与される一方で、異なる内容の処理が行われるステップに異なるステップ番号が付与されている。
　図９に示す表示処理は、図７に比べて、ステップＳ２０１からステップＳ２０３の処理が追加されている点が異なる。具体的には、ステップＳ２０１は、あくまで一例として、ステップＳ１０３の処理の後に実行することができる。
　例えば、ステップＳ２０１では、合成操作量算出部１５Ｃは、ステップＳ１０２で算出された操作移動量が所定の閾値、例えばお勧め視点から現フレームの視点位置までの視線方向の角度差により定まる閾値を超えるか否かを判定する。
　ここで、操作移動量が閾値を超える場合、すなわち操作移動量が閾値以下でない場合（ステップＳ２０１Ｙｅｓ）、合成操作量算出部１５Ｃは、ロールおよびヨーの３つの軸ごとに、ステップＳ１０２で算出される操作移動量と、ステップＳ１０３で算出される戻り移動量とを合計することにより、合成移動量を算出する（ステップＳ２０２）。
　その一方で、操作移動量が閾値を超えない場合、すなわち操作移動量が閾値以下である場合（ステップＳ２０１Ｎｏ）、合成操作量算出部１５Ｃは、視線操作なし、すなわちロールおよびヨーの３つの軸の操作移動量がゼロとみなす。すなわち、合成操作量算出部１５Ｃは、ロールおよびヨーの３つの軸の戻り移動量を合成移動量として算出する（ステップＳ２０３）。
　以降、ステップＳ２０２またはステップＳ２０３で算出された合成移動量に基づいて後続するステップＳ１０５の処理が実行される。
　第１の実施形態の応用例によれば、お勧め視点近辺での振動を抑制できる。
＜＜２．第２の実施形態＞＞
　上記の第１の実施形態では、戻り移動量の調整によりお勧め視点からの距離感を伝達する例を挙げたが、必ずしもお勧め視点へ視点位置を戻す誘導制御が行われずともお勧め視点からの距離感を伝達することができる。そこで、第２の実施形態として、上記の操作移動量を制限することによりお勧め視点からの距離感を伝達する場合について例示する。
＜２－１．表示装置の機能構成例＞
　図１０は、第２の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。図１０に示すように、表示装置２０は、図３に示された表示装置１０の遷移制御部１５の処理内容が一部異なる遷移制御部２１を有する点が異なる。
＜２－２．遷移制御部＞
　遷移制御部２１は、お勧め視点へ視点位置を戻す制御に対応する戻り移動量算出部１５Ｂや合成移動量算出部１５Ｃなどの機能部を必ずしも有さずともよい点が図３に示された遷移制御部１５と異なる。加えて、遷移制御部２１は、上記の操作移動量を制限する補正を行う補正部２１Ａを有する点が図３に示された遷移制御部１５と異なる。
＜２－２－１．補正部＞
　補正部２１Ａは、現フレームの視点位置およびお勧め視点の視線方向の角度差に基づいて上記の操作移動量を補正する処理部である。
　図１１及び図１２は、操作移動量の補正方法の一例を示す図である。図１１及び図１２に示すグラフの横軸は、お勧め視点からの角度を指し、横軸は、操作移動量を指す。さらに、図１１及び図１２には、補正前の操作移動量が破線で示される一方で、補正後の操作移動量が実線で示されている。図１１に示すように、お勧め視点からの角度が大きくなるに連れて、補正前の操作移動量の単調増加の割合に比べて補正後の操作移動量の単調増加の割合を減少させる関数を操作移動量の補正に用いることができる。他の一例として、図１２に示すように、お勧め視点からの角度が所定の角度に増加するまで補正前の操作移動量および補正後の操作移動量が同一の傾きで線形に増加し、かつお勧め視点からの角度が所定の角度以上になると補正前の操作移動量が線形に増加する傾きよりも補正後の操作移動量が線形に増加する傾きが小さくなる関数を操作移動量の補正に用いることができる。
　このように、お勧め視点からの角度が大きくなるに連れて操作移動量の増加を制限する関数として、Ｌｏｇで表現された関数や閾値で表現された関数を用いる。これによって、操作移動量の増加の制限がリミッタとなってお勧め視点から離れている状態、すなわちお勧め視点からの圏外を伝達することができる。したがって、お勧め視点の所在位置を示す枠や矢印等の各種の標示を表示せずとも、お勧め視点を視覚的にフィードバックできる。
　なお、図１１や図１２では、補正前後の操作移動量を定める関数を例示したが、必ずしも関数にしたがって操作移動量を補正せずともかまわない。例えば、お勧め視点から現フレームの視点位置までの視線方向の回転角の階級ごとに補正前後の操作移動量が対応付けられたルックアップテーブル等を関数の代わりに用いることができるのは言うまでもない。
＜２－３．表示装置の処理手順＞
　図１３は、第２の実施形態に係る表示処理の手順を示すフローチャートである。図１３に示すフローチャートには、図７に示されたフローチャートと同一の内容の処理が行われるステップに同一のステップ番号が付与される一方で、異なる内容の処理が行われるステップに異なるステップ番号が付与されている。
　図１３に示す表示処理は、図７に比べて、図７に示されたステップＳ１０３およびステップＳ１０４の処理が省略されると共に、ステップＳ３０１の処理が追加されている点が異なる。具体的には、ステップＳ３０１は、あくまで一例として、ステップＳ１０２の処理の後に実行することができる。例えば、ステップＳ３０１では、補正部２１Ａは、現フレームの視点位置およびお勧め視点の視線方向の角度差に基づいてステップＳ１０２で算出された操作移動量を補正する。
　以降、ステップＳ３０１で補正された操作移動量に基づいて後続するステップＳ１０５の処理が実行される。
＜２－４．効果の一側面＞
　上述してきたように、本開示の表示装置２０は、現フレームの視点位置およびお勧め視点の視線方向の角度差に基づいて上記の操作移動量を補正する。したがって、本開示の表示装置２０によれば、お勧め視点の位置を枠等で表示することなく、お勧め視点と自由視点との併用を可能である。
＜＜３．第３の実施形態＞＞
　上記の第２の実施形態では、上記の実施形態１に係る表示装置１０からお勧め視点へ視点位置を戻す誘導制御を省いて上記の操作移動量の補正が組み込まれる例を挙げたが、上記の実施形態１および上記の実施形態２はそのまま組み合わせることができる。以下、第３の実施形態として、上記の実施形態１および上記の実施形態２をそのまま組み合わせる場合について例示する。
＜３－１．表示装置の機能構成例＞
　図１４は、第３の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。図１４に示すように、表示装置３０は、図３に示された表示装置１０の遷移制御部１５の処理内容が一部異なる遷移制御部３１を有する点が異なる。
＜３－２．遷移制御部＞
　遷移制御部３１は、図３に示された操作移動量算出部１５Ａ、戻り移動量算出部１５Ｂ、合成移動量算出部１５Ｃ及び視点位置算出部１５Ｄに加えて、図１０に示された補正部２１Ａをさらに有する点が図３に示された遷移制御部１５と異なる。
＜３－３．表示装置の処理手順＞
　図１５は、第３の実施形態に係る表示処理の手順を示すフローチャートである。図１５に示すフローチャートには、図７及び図１３に示されたフローチャートと同一の内容の処理が行われるステップに同一のステップ番号が付与される一方で、異なる内容の処理が行われるステップに異なるステップ番号が付与されている。
　この処理も、あくまで一例として、ユーザによるビデオクリップの再生開始操作に対応して開始される。このように処理が開始されると、表示装置１０は、図１５に示すように、お勧め視点、すなわちＲＶＰに対応する範囲（お勧め範囲）を表示範囲として表示する（ステップＳ１０１）。
　その後、ピッチ、ロールおよびヨーの３つの軸ごとに下記のステップＳ１０２から下記のステップＳ１０４までの処理が行われる。
　すなわち、操作移動量算出部１５Ａは、ジャイロセンサ１４により出力される視線操作情報に基づいて上記の操作移動量を算出する（ステップＳ１０２）。続いて、補正部２１Ａは、現フレームの視点位置およびお勧め視点の視線方向の角度差に基づいてステップＳ１０２で算出された操作移動量を補正する（ステップＳ３０１）。また、戻り移動量算出部１５Ｂは、デコーダ１２により出力されるお勧め視点情報に基づいて上記の戻り移動量を算出する（ステップＳ１０３）。
　その上で、合成移動量算出部１５Ｃは、ロールおよびヨーの３つの軸ごとに、ステップＳ３０１で補正された操作移動量と、ステップＳ１０３で算出された戻り移動量とを合計することにより、合成移動量を算出する（ステップＳ１０４）。
　続いて、視点位置算出部１５Ｄは、ステップＳ１０４でロールおよびヨーの３つの軸ごとに算出された合成移動量に対応する視線方向の角度を現フレームの視線方向に足し合わせることにより、次フレームの視点位置を算出する（ステップＳ１０５）。
　そして、視野描画部１３は、ステップＳ１０５で算出された次フレームの視点位置に対応する視野をプロジェクション画像の表示範囲として表示画像を表示部１６に表示させる（ステップＳ１０６）。
　その後、動画再生または配信が終了されるまで（ステップＳ１０７Ｎｏ）、上記のステップＳ１０２から上記のステップＳ１０６までの処理が繰り返される。その後、動画再生または配信が終了すると（ステップＳ１０７Ｙｅｓ）、処理を終了する。
＜３－４．効果の一側面＞
　上述してきたように、本開示の表示装置３０によれば、上記の実施形態１に係る表示装置１０および上記の実施形態２に係る表示装置２０の両方の効果を得ることが可能である。例えば、本開示の表示装置３０によれば、お勧め視点までの距離感やお勧め視点からの圏外などを伝達できる。
＜＜４．第４の実施形態＞＞
　上記の第１の実施形態～上記の第３の実施形態では、お勧め視点が１つである場合の処理を例に挙げたが、お勧め視点は複数であっても良い。以下、第４の実施形態として、複数のお勧め視点からお勧め視点を１つ選択する処理について例示する。
＜４－１．表示装置の機能構成例＞
　図１６は、第４の実施形態に係る表示装置の機能的構成の一例を示すブロック図である。図１６に示すように、表示装置４０は、図３に示された表示装置１０の遷移制御部１５の処理内容が一部異なる遷移制御部４１を有する点が異なる。
＜４－２．遷移制御部＞
　遷移制御部４１は、図３に示された遷移制御部１５に比べて、スコア算出部４１Ａと、お勧め視点選択部４１Ｂとをさらに有する点が異なる。
＜４－２－１．スコア算出部＞
　スコア算出部４１Ａは、お勧め視点ごとに当該お勧め視点のスコアを算出する処理部である。
　あくまで一例として、スコア算出部４１Ａは、下記の式（１）にしたがって現フレームの視点位置およびお勧め視点の間の距離に応じてお勧め視点のスコアを算出することができる。下記の式（１）における「Ｓｉ」は、ｉ番目のお勧め視点のスコアを指す。また、下記の式（１）における「ｄｉ」は、ｉ番目のお勧め視点と現フレームの視点位置との距離を指す。図１７は、スコア算出に用いる距離の一例を示す図である。図１７には、３つのお勧め視点ＲＶＰ１～ＲＶＰ３と、現フレームの視点位置とがプロジェクション画像上に示されている。図１７に示す例で言えば、３つのお勧め視点ＲＶＰ１～ＲＶＰ３と、現フレームの視点位置との距離ｄ１、ｄ２及びｄ３の大小関係は、「ｄ１＜ｄ３＜ｄ２」である。このため、お勧め視点ＲＶＰ１～ＲＶＰ３のスコアの大小関係は、「Ｓ１＞Ｓ３＞Ｓ２」となる。
　Ｓｉ＝１／ｄｉ・・・（１）
　他の一例として、スコア算出部４１Ａは、下記の式（２）にしたがって現フレームの視点位置およびお勧め視点の間の距離に所定の重みを付与してお勧め視点のスコアを算出することができる。下記の式（２）における「Ｓｉ」は、ｉ番目のお勧め視点のスコアを指す。また、下記の式（２）における「ｄｉ」は、ｉ番目のお勧め視点と現フレームの視点位置との距離を指す。さらに、下記の式（２）における「ｗｉ」は、ｉ番目のお勧め視点の重みを指す。例えば、お勧め視点の重みは、ディレクタ等の配信元のユーザ、あるいは視聴者であるエンドユーザによりユーザ設定が行われることとしてもよい。また、複数の視聴者の配信データの視聴履歴を参照して、視聴者数が多いお勧め視点ほど大きい重みを自動的に設定することもできる。
　Ｓｉ＝ｗｉ／ｄｉ・・・（２）
　図１８は、スコア算出に用いる距離及び重みの一例を示す図である。図１８には、図１７と同様、３つのお勧め視点ＲＶＰ１～ＲＶＰ３と、現フレームの視点位置とがプロジェクション画像上に示されている。さらに、図１８には、お勧め視点ＲＶＰ１～ＲＶＰ３の重みが円の大きさで示されている。図１８に示す例で言えば、３つのお勧め視点ＲＶＰ１～ＲＶＰ３と、現フレームの視点位置との距離ｄ１、ｄ２及びｄ３の大小関係は、「ｄ１＜ｄ３＜ｄ２」である。その一方で、３つのお勧め視点ＲＶＰ１～ＲＶＰ３の重みの大小関係は、「ｗ１＝ｗ２＜ｗ３」である。この場合、お勧め視点ＲＶＰ１～ＲＶＰ３のスコアの大小関係は、必ずしも「Ｓ１＞Ｓ３＞Ｓ２」とならない。すなわち、お勧め視点ＲＶＰ３の重みｗ３によっては、お勧め視点ＲＶＰ１～ＲＶＰ３のスコアの大小関係は、図１８に示すように、「Ｓ３＞Ｓ１＞Ｓ２」となる場合がある。
＜４－２－２．お勧め視点選択部＞
　お勧め視点選択部４１Ｂは、複数のお勧め視点のうちお勧め視点を１つ選択する処理部である。
　あくまで一例として、お勧め視点選択部４１Ｂは、複数のお勧め視点のうちスコアが最大であるお勧め視点を選択する。例えば、図１７に示す例では、お勧め視点ＲＶＰ１～ＲＶＰ３の中からお勧め視点ＲＶＰ１を選択する一方で、図１８に示す例では、お勧め視点ＲＶＰ１～ＲＶＰ３の中からお勧め視点ＲＶＰ３を選択する。
　このようにスコアが最大であるお勧め視点を選択することで、最寄りのお勧め視点をレコメンドしたり、配信データにおける最大の見どころであるお勧め視点をレコメンドしたりすることができる。
　なお、ここでは、スコアの値が高いほどお勧め視点の優先度が高いスコアが算出される例を挙げたが、これに限定されない。例えば、スコアの値が低いほどお勧め視点の優先度が高いスコアを算出することとしてもかまわない。この場合、スコアが最小であるお勧め視点を選択することとすればよい。
＜４－３．表示装置の処理手順＞
　図１９は、第４の実施形態に係る表示処理の手順を示すフローチャートである。図１９に示すフローチャートには、図７に示されたフローチャートと同一の内容の処理が行われるステップに同一のステップ番号が付与される一方で、異なる内容の処理が行われるステップに異なるステップ番号が付与されている。
　図１９に示す表示処理は、図７に比べて、図７に示されたステップＳ１０１の処理に後続してステップＳ４０１およびステップＳ４０２の処理が追加されている点が異なる。具体的には、ステップＳ４０１は、あくまで一例として、スコア算出部４１Ａは、お勧め視点ごとに当該お勧め視点のスコアを算出する。その後、お勧め視点選択部４１Ｂは、複数のお勧め視点のうちステップＳ４０１で算出されたスコアに基づいてお勧め視点を１つ選択する（ステップＳ４０２）。
　以降、ステップＳ４０２で選択されたお勧め視点を対象にステップＳ１０２の処理が実行される。
＜４－４．効果の一側面＞
　上述してきたように、本開示の表示装置４０は、お勧め視点ごとにスコアを算出し、スコアに基づいて複数のお勧め視点の中からお勧め視点を１つ選択する。したがって、本開示の表示装置４０によれば、複数のお勧め視点が併存する場合でも１つのお勧め視点を絞り込むことができる。
＜＜５．変形例＞＞
　以下、第１の実施形態～第４の実施形態の変形例について例示する。
＜５－１．視覚以外のフィードバック＞
　第１の実施形態～第４の実施形態では、お勧め視点の位置の伝達をプロジェクション画像の表示範囲の遷移によって実現される例を挙げたが、表示以外の方法でもお勧め視点の位置を伝達することができる。例えば、音声出力を通じてお勧め視点の位置を伝達することができる。一例として、お勧め視点から離れるほど音量を下げたり、あるいは立体音響でお勧め視点に音像を定位させることによりお勧め視点の方向に音源が存在するように知覚させたりすることができる。このような音声出力以外にも、お勧め視点から所定値以上にわたって現フレームまたは次フレームの視点位置の距離が離れると、バイブレータ等を作動させることにより振動を知覚させたり、ジャイロによりお勧め視点から離れるに連れて大きい重みを知覚させたりすることもできる。
＜５－２．誘導制御の実行条件＞
　第１の実施形態、第３の実施形態及び第４の実施形態では、お勧め視点へ視点位置を戻す誘導制御が毎フレームで行われる例を挙げたが、一定の条件を設定することもできる。例えば、表示装置１０、３０又は４０は、操作移動量がゼロもしくは所定の閾値以下である場合、すなわち視線操作がない場合に絞ってお勧め視点へ視点位置を戻す誘導制御を実行させることとしてもかまわない。例えば、操作移動量がゼロもしくは所定の閾値以下である場合、戻り移動量算出部による戻り移動量の算出を実行させることができる。
＜５－３．機能の実装主体＞
　第１の実施形態～第４の実施形態では、遷移制御部１５、２１、３１及び４１が表示装置１０、２０、３０及び４０に搭載される例を挙げたが、遷移制御部１５、２１、３１及び４１は配信サーバ９に搭載されることとしてもかまわない。この場合、表示装置１０、２０、３０又は４０からジャイロセンサ１４による視線操作情報を取得することとすればよい。このように、表示装置１０、２０、３０及び４０の他、配信サーバ９も画像処理装置の一例に対応し得る。
＜５－４．その他の変形例＞
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
＜＜６．ハードウェア構成＞＞
　上述の表示装置１０、２０、３０又は４０における一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２０は、コンピュータ４００のハードウェアの構成例を示すブロック図である。
　コンピュータ４００において、ＣＰＵ（Central　Processing　Unit）４０１、ＲＯＭ（Read　Only　Memory）４０２、ＲＡＭ（Random　Access　Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９およびドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４１１を駆動する。
　以上のように構成されるコンピュータ４００では、ＣＰＵ４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インタフェース４０５およびバス４０４を介して、ＲＡＭ４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ４００（ＣＰＵ４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ＲＯＭ４０２や記録部４０８に予めインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本技術は以下のような構成も取ることができる。
（１）
　お勧め視点情報を含む画像の一部を表示画像として表示部に出力する出力部と、
　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる遷移制御部とを備え、
　前記出力部は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
　画像処理装置。
（２）
　前記遷移制御部は、
　視点操作情報に基づく視点操作にしたがって前記表示画像に対応する視点位置を移動させる操作移動量を算出する操作移動量算出部と、
　前記表示画像に対応する視点位置を前記お勧め視点情報に対応する視点位置へ戻す戻り移動量を算出する戻り移動量算出部と、
　前記操作移動量および前記戻り移動量に基づいて、前記表示部に出力されている前記表示画像のフレームの次に出力する次フレームの視点位置を算出する視点位置算出部と、を備え、
　前記出力部は、
　前記次フレームの視点位置から定まる前記表示範囲に基づいて、前記表示部に前記画像の一部を出力する、
　前記（１）に記載の画像処理装置。
（３）
　前記戻り移動量算出部は、前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差に基づいて前記戻り移動量を算出する、
　前記（２）に記載の画像処理装置。
（４）
　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて前記お勧め視点情報に対応する視点位置に戻す速度を大きく設定する、
　前記（３）に記載の画像処理装置。
（５）
　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて前記お勧め視点情報に対応する視点位置に戻す速度を線形に増加させる、
　前記（４）に記載の画像処理装置。
（６）
　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて、前記お勧め視点情報に対応する視点位置に戻す速度を単調増加させ、かつ単調増加の割合を減少させる、
　前記（４）に記載の画像処理装置。
（７）
　前記視点位置算出部は、前記操作移動量が所定の閾値以下である場合、前記戻り移動量に基づいて前記次フレームの視点位置を算出し、前記操作移動量が前記閾値以下でない場合、前記操作移動量および前記戻り移動量に基づいて前記次フレームの視点位置を算出する、
　前記（２）乃至前記（６）のいずれか１つに記載の画像処理装置。
（８）
　前記閾値は、前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差が小さいほど高い値である、
　前記（７）に記載の画像処理装置。
（９）
　前記遷移制御部は、
　視点操作情報に基づく視点操作にしたがって前記表示画像に対応する視点位置を移動させる操作移動量を算出する操作移動量算出部と、
　前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差に基づいて前記操作移動量を補正する補正部と、
　補正後の前記操作移動量に基づいて、前記表示部に出力されている前記表示画像のフレームの次に出力する次フレームの視点位置を算出する視点位置算出部と、を備え、
　前記出力部は、
　前記次フレームの視点位置から定まる前記表示範囲に基づいて、前記表示部に前記画像の一部を出力する、
　前記（１）乃至前記（８）のいずれか１つに記載の画像処理装置。
（１０）
　前記補正部は、前記視線方向の角度差が大きくなるに連れて、補正前の操作移動量の単調増加の割合に比べて補正後の操作移動量の単調増加の割合を減少させる、
　前記（９）に記載の画像処理装置。
（１１）
　前記補正部は、前記視線方向の角度差が所定の角度に増加するまで補正前の操作移動量および補正後の操作移動量を同一の傾きで線形に増加させ、前記視線方向の角度差が所定の角度以上になると補正前の操作移動量が線形に増加する傾きよりも補正後の操作移動量が線形に増加する傾きを小さくする、
　前記（９）に記載の画像処理装置。
（１２）
　前記お勧め視点情報に含まれる視点位置ごとにスコアを算出するスコア算出部と、
　前記スコアに基づいて前記お勧め視点情報に含まれる視点位置のうち１つを選択するお勧め視点選択部と、を備え、
　前記戻り移動量算出部は、前記お勧め視点情報に含まれる視点位置の中から選択された視点位置へ前記表示画像に対応する視点位置を戻す戻り移動量を算出する、
　前記（２）乃至前記（１１）のいずれか１つに記載の画像処理装置。
（１３）
　前記スコア算出部は、前記お勧め視点情報に含まれる視点位置と前記表示画像に対応する視点位置との距離に基づいて前記スコアを算出する、
　前記（１２）に記載の画像処理装置。
（１４）
　前記スコア算出部は、前記距離が大きくなるに連れて前記スコアの値を小さくする、
　前記（１３）に記載の画像処理装置。
（１５）
　前記スコア算出部は、前記距離に所定の重みを付与して前記スコアを算出する、
　前記（１３）に記載の画像処理装置。
（１６）
　前記スコア算出部は、前記重みが大きくなるほど前記スコアの値を大きくするか、あるいは前記重みが小さくなるほど前記スコアの値を小さくする、
　前記（１５）に記載の画像処理装置。
（１７）
　前記重みは、視聴者数が多いお勧め視点ほど大きい値が付与される、
　前記（１６）に記載の画像処理装置。
（１８）
　前記戻り移動量算出部は、前記操作移動量が所定の閾値以下である場合、前記戻り移動量の算出を実行する、
　前記（２）乃至前記（１７）のいずれか１つに記載の画像処理装置。
（１９）
　お勧め視点情報を含む画像の一部を表示画像として表示部に出力し、
　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる、
　処理をコンピュータが実行し、
　前記表示部に出力する処理は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
　画像処理方法。
（２０）
　お勧め視点情報を含む画像の一部を表示画像として表示部に出力し、
　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる、
　処理をコンピュータに実行させ、
　前記表示部に出力する処理は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
　プログラム。
　　１　画像配信システム
　　３　マルチカメラ
　　５　広視野角画像変換部
　　７　エンコーダ
　　９　配信サーバ
　１０　表示装置
　１１　受信部
　１２　デコーダ
　１３　視野描画部
　１４　ジャイロセンサ
　１５　遷移制御部
　１５Ａ　操作移動量算出部
　１５Ｂ　戻り移動量算出部
　１５Ｃ　合成移動量算出部
　１５Ｄ　視点位置算出部
　１６　表示部

Claims (20)

  1. 　お勧め視点情報を含む画像の一部を表示画像として表示部に出力する出力部と、
    　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる遷移制御部とを備え、
    　前記出力部は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
    　画像処理装置。
  2. 　前記遷移制御部は、
    　視点操作情報に基づく視点操作にしたがって前記表示画像に対応する視点位置を移動させる操作移動量を算出する操作移動量算出部と、
    　前記表示画像に対応する視点位置を前記お勧め視点情報に対応する視点位置へ戻す戻り移動量を算出する戻り移動量算出部と、
    　前記操作移動量および前記戻り移動量に基づいて、前記表示部に出力されている前記表示画像のフレームの次に出力する次フレームの視点位置を算出する視点位置算出部と、を備え、
    　前記出力部は、
    　前記次フレームの視点位置から定まる前記表示範囲に基づいて、前記表示部に前記画像の一部を出力する、
    　請求項１に記載の画像処理装置。
  3. 　前記戻り移動量算出部は、前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差に基づいて前記戻り移動量を算出する、
    　請求項２に記載の画像処理装置。
  4. 　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて前記お勧め視点情報に対応する視点位置に戻す速度を大きく設定する、
    　請求項３に記載の画像処理装置。
  5. 　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて前記お勧め視点情報に対応する視点位置に戻す速度を線形に増加させる、
    　請求項４に記載の画像処理装置。
  6. 　前記戻り移動量算出部は、前記視線方向の角度差が大きくなるに連れて、前記お勧め視点情報に対応する視点位置に戻す速度を単調増加させ、かつ単調増加の割合を減少させる、
    　請求項４に記載の画像処理装置。
  7. 　前記視点位置算出部は、前記操作移動量が所定の閾値以下である場合、前記戻り移動量に基づいて前記次フレームの視点位置を算出し、前記操作移動量が前記閾値以下でない場合、前記操作移動量および前記戻り移動量に基づいて前記次フレームの視点位置を算出する、
    　請求項２に記載の画像処理装置。
  8. 　前記閾値は、前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差が小さいほど高い値である、
    　請求項７に記載の画像処理装置。
  9. 　前記遷移制御部は、
    　視点操作情報に基づく視点操作にしたがって前記表示画像に対応する視点位置を移動させる操作移動量を算出する操作移動量算出部と、
    　前記お勧め視点情報に対応する視点位置から前記表示画像に対応する視点位置までの視線方向の角度差に基づいて前記操作移動量を補正する補正部と、
    　補正後の前記操作移動量に基づいて、前記表示部に出力されている前記表示画像のフレームの次に出力する次フレームの視点位置を算出する視点位置算出部と、を備え、
    　前記出力部は、
    　前記次フレームの視点位置から定まる前記表示範囲に基づいて、前記表示部に前記画像の一部を出力する、
    　請求項１に記載の画像処理装置。
  10. 　前記補正部は、前記視線方向の角度差が大きくなるに連れて、補正前の操作移動量の単調増加の割合に比べて補正後の操作移動量の単調増加の割合を減少させる、
    　請求項９に記載の画像処理装置。
  11. 　前記補正部は、前記視線方向の角度差が所定の角度に増加するまで補正前の操作移動量および補正後の操作移動量を同一の傾きで線形に増加させ、前記視線方向の角度差が所定の角度以上になると補正前の操作移動量が線形に増加する傾きよりも補正後の操作移動量が線形に増加する傾きを小さくする、
    　請求項９に記載の画像処理装置。
  12. 　前記お勧め視点情報に含まれる視点位置ごとにスコアを算出するスコア算出部と、
    　前記スコアに基づいて前記お勧め視点情報に含まれる視点位置のうち１つを選択するお勧め視点選択部と、を備え、
    　前記戻り移動量算出部は、前記お勧め視点情報に含まれる視点位置の中から選択された視点位置へ前記表示画像に対応する視点位置を戻す戻り移動量を算出する、
    　請求項２に記載の画像処理装置。
  13. 　前記スコア算出部は、前記お勧め視点情報に含まれる視点位置と前記表示画像に対応する視点位置との距離に基づいて前記スコアを算出する、
    　請求項１２に記載の画像処理装置。
  14. 　前記スコア算出部は、前記距離が大きくなるに連れて前記スコアの値を小さくする、
    　請求項１３に記載の画像処理装置。
  15. 　前記スコア算出部は、前記距離に所定の重みを付与して前記スコアを算出する、
    　請求項１３に記載の画像処理装置。
  16. 　前記スコア算出部は、前記重みが大きくなるほど前記スコアの値を大きくするか、あるいは前記重みが小さくなるほど前記スコアの値を小さくする、
    　請求項１５に記載の画像処理装置。
  17. 　前記重みは、視聴者数が多いお勧め視点ほど大きい値が付与される、
    　請求項１６に記載の画像処理装置。
  18. 　前記戻り移動量算出部は、前記操作移動量が所定の閾値以下である場合、前記戻り移動量の算出を実行する、
    　請求項２に記載の画像処理装置。
  19. 　お勧め視点情報を含む画像の一部を表示画像として表示部に出力し、
    　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる、
    　処理をコンピュータが実行し、
    　前記表示部に出力する処理は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
    　画像処理方法。
  20. 　お勧め視点情報を含む画像の一部を表示画像として表示部に出力し、
    　前記表示部に出力されている前記表示画像に対応する視点位置と前記お勧め視点情報に対応する視点位置の位置関係に基づいて、前記画像の表示範囲を遷移させる、
    　処理をコンピュータに実行させ、
    　前記表示部に出力する処理は、遷移された表示範囲に基づいて、前記表示部に前記画像の一部を出力する
    　プログラム。
PCT/JP2021/002581 2020-02-10 2021-01-26 画像処理装置、画像処理方法及びプログラム WO2021161774A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21754593.8A EP4092662A4 (en) 2020-02-10 2021-01-26 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
JP2022500306A JPWO2021161774A1 (ja) 2020-02-10 2021-01-26
US17/794,413 US12113947B2 (en) 2020-02-10 2021-01-26 Image processing apparatus, image processing method, and program for viewpoint transition control
CN202180012801.8A CN115088268A (zh) 2020-02-10 2021-01-26 图像处理装置、图像处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-020784 2020-02-10
JP2020020784 2020-02-10

Publications (1)

Publication Number Publication Date
WO2021161774A1 true WO2021161774A1 (ja) 2021-08-19

Family

ID=77291553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002581 WO2021161774A1 (ja) 2020-02-10 2021-01-26 画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US12113947B2 (ja)
EP (1) EP4092662A4 (ja)
JP (1) JPWO2021161774A1 (ja)
CN (1) CN115088268A (ja)
WO (1) WO2021161774A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194784A (ja) 2015-03-31 2016-11-17 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2018139102A (ja) * 2016-12-14 2018-09-06 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型コンテンツ内の関心地点を決定する方法及び装置
US20180307398A1 (en) * 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
WO2012039404A1 (ja) * 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US10140765B2 (en) * 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
US9631932B2 (en) * 2015-06-05 2017-04-25 Nokia Technologies Oy Crowd sourced interaction of browsing behavior in a 3D map
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
CN110519644A (zh) * 2019-09-05 2019-11-29 青岛一舍科技有限公司 结合推荐视角的全景视频视角调整方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194784A (ja) 2015-03-31 2016-11-17 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2018139102A (ja) * 2016-12-14 2018-09-06 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型コンテンツ内の関心地点を決定する方法及び装置
US20180307398A1 (en) * 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4092662A4

Also Published As

Publication number Publication date
US12113947B2 (en) 2024-10-08
CN115088268A (zh) 2022-09-20
JPWO2021161774A1 (ja) 2021-08-19
EP4092662A1 (en) 2022-11-23
US20230060691A1 (en) 2023-03-02
EP4092662A4 (en) 2023-07-12

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
KR101987503B1 (ko) 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
US8115799B2 (en) Method and apparatus for obtaining acoustic source location information and a multimedia communication system
EP3094115B1 (en) Method and apparatus for calibrating an audio playback system
US9510126B2 (en) Sound field control device, sound field control method, program, sound control system and server
CN110166764B (zh) 虚拟现实vr直播中的视角同步方法及装置
US8654131B2 (en) Video image processing apparatus and video image processing method
US12028700B2 (en) Associated spatial audio playback
WO2018047667A1 (ja) 音声処理装置および方法
US20120086779A1 (en) Image processing apparatus, image processing method, and program
US11303689B2 (en) Method and apparatus for updating streamed content
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
US20190110087A1 (en) Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
WO2021161774A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7533461B2 (ja) 信号処理装置および方法、並びにプログラム
CN106973282B (zh) 一种全景视频沉浸感增强方法和系统
EP4380149A1 (en) Virtual reality streaming system and method
US11930207B2 (en) Display device, signal processing device, and signal processing method
US20240089688A1 (en) Processing of audio data
CN106791886A (zh) 一种基于视觉特性的全景视频分发方法和系统
JP2021129129A (ja) 情報処理装置、情報処理方法、およびプログラム
CN116137954A (zh) 信息处理设备、信息处理方法和信息处理系统
JP2017152952A (ja) 通信制御装置、会議システムおよびプログラム
JP2008136079A (ja) 記憶再生装置及び記憶再生プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754593

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022500306

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021754593

Country of ref document: EP

Effective date: 20220819

NENP Non-entry into the national phase

Ref country code: DE