WO2018168823A1 - 画像処理装置および電子機器 - Google Patents

画像処理装置および電子機器 Download PDF

Info

Publication number
WO2018168823A1
WO2018168823A1 PCT/JP2018/009648 JP2018009648W WO2018168823A1 WO 2018168823 A1 WO2018168823 A1 WO 2018168823A1 JP 2018009648 W JP2018009648 W JP 2018009648W WO 2018168823 A1 WO2018168823 A1 WO 2018168823A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
displayed
display unit
unit
Prior art date
Application number
PCT/JP2018/009648
Other languages
English (en)
French (fr)
Inventor
英範 栗林
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2019506032A priority Critical patent/JP7172982B2/ja
Priority to CN201880030968.5A priority patent/CN110622501B/zh
Priority to US16/493,235 priority patent/US10992861B2/en
Publication of WO2018168823A1 publication Critical patent/WO2018168823A1/ja
Priority to US17/217,582 priority patent/US11716539B2/en
Priority to JP2022177395A priority patent/JP2023017920A/ja
Priority to US18/208,492 priority patent/US20230328382A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image processing apparatus and an electronic apparatus.
  • Patent Document 1 A camera that cuts out and displays or records a part of a photographed image photographed by an ultra-wide-angle camera is known (for example, Patent Document 1).
  • the image processing apparatus is a part of an image obtained by capturing the first subject and the second subject, and moves the part of the image displayed on the display unit in the first direction.
  • the second subject is displayed after the first subject is displayed by repeating the control to display a portion of the image that is not displayed on the display unit, and the first subject is again displayed on the display unit.
  • the first distance moved by the image displayed on the display unit is an image displayed on the display unit from when the second subject is displayed on the display unit to when the first subject is displayed on the display unit.
  • An image generation unit configured to generate, from the first image data, second image data including the first subject and the second subject, the second subject being arranged on the first direction side of the first subject.
  • the image processing apparatus is a part of an image obtained by capturing the first subject and the second subject, and the part of the image displayed on the display unit is moved in the first direction.
  • the second subject is displayed after the first subject is displayed by repeating the control to display a portion of the image that is not displayed on the display unit, and the first subject is again displayed on the display unit.
  • An input unit for inputting first image data used to be displayed on the display unit, and the display from when the first subject is displayed on the display unit until the second subject is displayed on the display unit.
  • the electronic device moves the display unit displaying an image obtained by capturing the first subject and the second subject, and moves a part of the image displayed on the display unit in the first direction. Then, by repeating the control to display the part of the image that is not displayed on the display unit, the second subject is displayed after the first subject is displayed, and the first subject is displayed again on the display unit.
  • the electronic device displays the first image data obtained by imaging the first subject and the second subject, and a part of the first image data displayed on the display unit. The first subject is displayed, and then the second subject is displayed after repeating the control to display the portion of the first image data that is not displayed on the display unit.
  • a control unit that displays the first subject on the display unit again, and a display unit that displays the first subject on the display unit after the first subject is displayed on the display unit.
  • the first distance that the image to be moved and the image that is displayed on the display unit from the time the second subject is displayed on the display unit to the time the first subject is displayed on the display unit Based on the two distances, Comprising an image generator for generating a second image data arranged and said the body second object from the first image data.
  • the image processing apparatus includes: an input unit that inputs an entire circumference image including the first subject and the second subject imaged by the imaging unit; the first subject in the entire circumference image; The direction from the first subject to the second subject in the partial image including the second subject and the third subject existing on the shortest path from the first subject to the second subject is defined as a first direction.
  • An image generation unit configured to generate an image including the first subject and the second subject and arranging the second subject on the first direction side of the first subject from the all-round image.
  • the image processing apparatus includes: an input unit that inputs an entire circumference image including the first subject and the second subject imaged by the imaging unit; and the first subject in the entire circumference image from the first subject.
  • An image generation unit configured to generate an image in which the first subject and the second subject are arranged from the all-round image based on the shortest path to the second subject.
  • Block diagram schematically showing the configuration of the image processing system Block diagram schematically showing the configuration of the imaging device Schematic diagram of imaging range and omnidirectional image of the imaging unit
  • FIG. 1 is a block diagram schematically showing the configuration of the image processing system 1.
  • the image processing system 1 includes an imaging device 2, an image processing device 3, and a playback device 4.
  • the imaging device 2 is an electronic device such as a digital camera, a smartphone, or a tablet terminal.
  • the image processing device 3 is an electronic device such as a digital camera, a smartphone, a tablet terminal, or a personal computer.
  • the playback device 4 is an electronic device such as a digital camera, a smartphone, a tablet terminal, a personal computer, a digital photo frame, or a head mounted display.
  • the imaging device 2 has a still image imaging function and a moving image imaging function.
  • the still image capturing function is a function for capturing an omnidirectional image (described later).
  • the moving image capturing function is a function that repeatedly captures an omnidirectional image and creates an omnidirectional moving image in which each frame is an omnidirectional image.
  • the image processing device 3 creates a two-dimensional moving image (described later) in which each frame is a two-dimensional image having a smaller angle of view than the omnidirectional image from the omnidirectional moving image created by the imaging device 2.
  • the playback device 4 plays back (displays) omnidirectional images and two-dimensional moving images.
  • FIG. 2 is a block diagram schematically illustrating the configuration of the imaging device 2.
  • the imaging device 2 includes an imaging unit 20, a first imaging optical system 21, a second imaging optical system 22, and a storage unit 23.
  • the imaging unit 20 includes a first imaging element 201 and a second imaging element 202.
  • the first imaging optical system 21 and the second imaging optical system 22 are so-called fisheye lenses.
  • the first imaging optical system 21 forms a subject image in the hemisphere range on the imaging surface of the first imaging element 201.
  • the first image sensor 201 is configured to be able to image a range of 360 degrees in the horizontal direction and 180 degrees in the vertical direction.
  • the imaging range of the first imaging element 201 is referred to as a first hemisphere.
  • the second imaging optical system 22 forms a subject image in a hemisphere range different from the first hemisphere on the imaging surface of the second imaging element 202.
  • the second image sensor 202 is configured to be able to image a range of 360 degrees in the horizontal direction and 180 degrees in the vertical direction.
  • the imaging range of the second imaging element 202 is referred to as a second hemisphere.
  • the first hemisphere and the second hemisphere make up the whole sphere. That is, the imaging unit 20 images the 360-degree range of the celestial sphere in the horizontal direction and 360 degrees in the vertical direction by the first imaging element 201 and the second imaging element 202.
  • an image obtained by capturing an entire celestial sphere having an angle of view of 360 degrees in the horizontal direction and 360 degrees in the vertical direction is referred to as an omnidirectional image.
  • the storage unit 23 stores a single omnidirectional image captured by the imaging unit 20 in the storage medium 51 (for example, a memory card).
  • the storage unit 23 stores the omnidirectional moving image including a plurality of omnidirectional images repeatedly captured by the imaging unit 20 in the storage medium 51.
  • each frame of the omnidirectional video is an omnidirectional image.
  • the storage medium 51 can be inserted into and removed from the imaging apparatus 2, but the imaging apparatus 2 may incorporate the storage medium 51.
  • FIG. 3A is a schematic diagram of an imaging range of the imaging unit 20.
  • the imaging unit 20 images the range of the omnidirectional sphere 60 shown in FIG. 3A with the installation position (camera position) of the imaging unit 20 as the origin O.
  • FIG. 3B is a schematic view illustrating an omnidirectional image captured by the imaging unit 20.
  • the omnidirectional image 61 illustrated in FIG. 3B includes a first hemisphere image 62 imaged by the first image sensor 201 and a second hemisphere image 63 imaged by the second image sensor 202.
  • the first hemisphere image 62 includes a circular image 64 formed by the first imaging optical system 21.
  • the second hemisphere image 63 includes a circular image 65 formed by the second imaging optical system 22.
  • An image with an arbitrary angle of view can be obtained by cutting out and deforming a part of the omnidirectional image 61 illustrated in FIG.
  • the region 67 in FIG. 3B may be cut out and transformed into a rectangle.
  • the area 68 shown in the shaded area in FIG. in order to obtain an image, the region 69 in FIG. 3B may be cut out and transformed into a rectangle.
  • An image 70 obtained at this time is illustrated in FIG.
  • the image 70 is a horizontally long panoramic image. Note that the left end 71 and the right end 72 of the image 70 illustrated in FIG.
  • the image 70 illustrated in FIG. 3C is an all-round image obtained by imaging a 360 ° range around the imaging unit 20.
  • the all-round image 70 includes a path 600 that goes around the surface of the omnidirectional sphere 60.
  • the path 600 is the circumference of a circle centered on the origin O and having the same diameter as the omnidirectional sphere 60. Since the origin O is the center of the omnidirectional sphere 60, the circle coincides with the circumference of the cross section of the omnidirectional sphere 60 by a plane passing through the center of the omnidirectional sphere 60.
  • the length of line segment AB can be set arbitrarily. For example, by setting the point A to the so-called north pole and setting the point B to the so-called south pole, the range imaged in the omnidirectional image 61 and the range imaged in the image 70 that is the all-round image match. That is, the all-round image may be said to be a projection (mapping) of the omnidirectional image 61 onto a two-dimensional image.
  • the image 70 illustrated in FIG. 3C is an all-round image obtained by imaging a 360 ° range in the horizontal direction of the imaging unit 20. Therefore, the all-round image 70 includes a path 600 corresponding to a so-called equator.
  • the all-round image is not limited to the horizontal direction of the imaging unit 20, and may be an image obtained by imaging a 360 ° range in all directions of the imaging unit 20. For example, an image obtained by imaging a 360 degree range around the imaging unit 20 along the meridian of the celestial sphere 60 can be used.
  • the omnidirectional image is exemplified as an all-round image obtained by capturing a 360 degree range in the horizontal direction as illustrated in FIG. That is, in the following description, the omnidirectional image illustrated as if it is an all-round image like the image 70 of FIG. 3C is actually shown in FIG. 3A unless otherwise specified. It is an image in which the range of the celestial sphere 60 is captured.
  • the imaging unit 20 may have a larger number of imaging elements instead of the first imaging element 201 and the second imaging element 202.
  • the range of the omnidirectional sphere 60 is not a combination of two image sensors that capture the range of the hemisphere, but the range of the omnisphere 60 is combined to capture the range of the omnisphere 60. You may make it image.
  • the imaging ranges of the individual imaging elements may partially overlap each other. For example, the imaging range of the first imaging element 201 and the imaging range of the second imaging element 202 may partially overlap.
  • the imaging device 2 is not the first imaging optical system 21 and the second imaging optical system 22, but has a larger number of imaging optical systems that each form a subject image in a range narrower than the hemisphere. You may do it.
  • the imaging unit 20 may have a single imaging element instead of the first imaging element 201 and the second imaging element 202.
  • the circular image 64 and the circular image 65 are made into a single by directing the light from the first imaging optical system 21 and the light from the second imaging optical system 22 to a single imaging element by a mirror or the like. Imaging can be performed by the imaging element. By doing in this way, the number of image pick-up elements can be reduced and the cost of the image pick-up part 20 can be reduced.
  • FIG. 4A is a block diagram schematically showing the configuration of the image processing apparatus 3.
  • the image processing device 3 includes an image generation unit 30, an input unit 31, and an output unit 32.
  • the input unit 31 reads out the omnidirectional moving image from the storage medium 51 in which the omnidirectional moving image is stored, and inputs it to the image generation unit 30.
  • the image generation unit 30 executes a two-dimensional moving image creation process to be described later on the input omnidirectional moving image.
  • the two-dimensional video creation process is a process for creating a two-dimensional video from the omnidirectional video. That is, the image generation unit 30 creates a two-dimensional video from the input omnidirectional video.
  • a two-dimensional moving image is a moving image in which each frame is composed of images with a narrower angle of view than the omnidirectional image.
  • a two-dimensional moving image has the same content as a moving image captured by placing a video camera having a general angle of view of about 50 to 25 degrees at the origin O in FIG.
  • the output unit 32 stores the two-dimensional moving image created by the image generation unit 30 in the storage medium 52.
  • the storage medium 52 may be the same storage medium as the storage medium 51 in which the imaging device 2 stores the omnidirectional video, or may be a different storage medium. 4A, the storage medium 51 and the storage medium 52 are provided outside the image processing apparatus 3. However, the image processing apparatus 3 incorporates one or both of the storage medium 51 and the storage medium 52. Also good.
  • the storage medium 51 and the storage medium 52 may be connected to the image processing apparatus via a wired or wireless network. Further, instead of the storage medium 51, the omnidirectional video may be directly input from the imaging device 2 via the network.
  • each frame of a two-dimensional video created from an omnidirectional video is not only one image with a narrower angle of view than the omnidirectional image, but also two or more frames with a smaller angle of view than the omnidirectional image. You may have the image of.
  • FIG. 4B is a block diagram schematically showing the configuration of the playback device 4.
  • the playback device 4 includes a display unit 40, an input unit 41, a control unit 42, and an operation unit 43.
  • the input unit 41 reads out the omnidirectional image from the storage medium 51 in which the omnidirectional image is stored and inputs it to the control unit 42.
  • the input unit 41 reads the two-dimensional moving image from the storage medium 52 in which the two-dimensional moving image is stored and inputs the two-dimensional moving image to the control unit 42.
  • the control unit 42 performs control to display the input omnidirectional image or two-dimensional moving image on the display unit 40.
  • the display unit 40 has a display screen configured by, for example, a liquid crystal panel.
  • the display unit 40 displays the omnidirectional image or the two-dimensional moving image on the display screen based on the control by the control unit 42.
  • the storage medium 51 and the storage medium 52 are provided outside the playback device 4.
  • the playback device 4 may incorporate one or both of the storage medium 51 and the storage medium 52.
  • the display unit 40 is, for example, a liquid crystal display of a smartphone, a liquid crystal display of a tablet terminal, and a head mounted display. Therefore, when all the image areas of the omnidirectional image are displayed on the display unit 40 at once, a 360-degree range is displayed on the two-dimensional display, which is difficult for the user to visually recognize.
  • a method is known in which a part of the omnidirectional image having a field angle of 360 degrees is cut out, and a part of the omnidirectional image is displayed on the two-dimensional plane display screen (display unit 40) and reproduced. .
  • a part of the omnidirectional image is displayed on the display unit 40 and reproduced.
  • the operation unit 43 is an operation member to which an operation by a user is input.
  • the operation unit 43 is a touch sensor that is superimposed on the display screen of the display unit 40.
  • the operation unit 43 detects the position where the user's finger or the like has touched the display screen and transmits the detected position to the control unit 42. That is, the operation unit 43 detects a user's touch operation and inputs it to the control unit 42.
  • the touch operation for example, the user touches a finger or the like at a position on the display screen, slides the finger or the like in any of the upper, lower, left and right directions while maintaining the contact state, and then the finger or the like is displayed on the display screen.
  • the scroll operation for moving a finger or the like in the left direction is a scroll operation in the left direction.
  • the scrolling operation is an operation of moving the image displayed on the display unit 40 in an arbitrary direction on the display unit 40.
  • the operation unit 43 may be an operation member different from the touch sensor.
  • the operation unit 43 is a sensor that detects the displacement (direction, position, etc.) of the head mounted display in accordance with the movement of the user's neck.
  • the image displayed on the display unit 40 moves by an amount corresponding to the displacement of the head mounted display. For example, by performing an operation of shaking the neck to the left, the image displayed on the display unit 40 is moved to the right and displayed.
  • the operation member used for the operation unit 43 is not limited to the above-described one as long as the image displayed on the display unit 40 is moved in an arbitrary direction on the display unit 40.
  • FIG. 5 is an explanatory diagram of the omnidirectional image reproduction process.
  • FIG. 5A, FIG. 5C, and FIG. 5E are diagrams illustrating the omnidirectional image 73 to be reproduced.
  • the omnidirectional image 73 is an image in which the subject 74 and the subject 75 are captured.
  • FIGS. 5B, 5 ⁇ / b> D, and 5 ⁇ / b> F are diagrams illustrating the display screen of the display unit 40 that reproduces the omnidirectional image 73.
  • the control unit 42 cuts out a part of the range 76 from the omnidirectional image 73 shown in FIG. 5A and displays it on the display unit 40 as shown in FIG. In FIG. 5B, the display unit 40 displays a range 76 including the subject 74.
  • the control unit 42 displays a part of the omnidirectional image 73 displayed on the display unit 40 as shown in FIGS. 5 (c) and 5 (d). Control is performed to move leftward and display a portion of the omnidirectional image 73 that has not been displayed on the display unit 40 at the time of FIG.
  • control unit 42 replaces the image displayed on the display unit 40 with a part of the omnidirectional image 73 displayed on the display unit 40 with another part on the right side of the omnidirectional image 73. .
  • the control unit 42 once erases a part of the omnidirectional image 73 currently displayed on the display unit 40, and changes the range 76 shown in FIG. 5A to the range 77 shown in FIG. 5C. Then, a new part of the omnidirectional image 73 corresponding to the range 77 is displayed on the display unit 40. At this time, it appears to the user that the omnidirectional image 73 has moved leftward by a distance 78.
  • the distance 78 can be measured in units of pixels constituting the display unit 40.
  • the omnidirectional image 73 moves to the left by one pixel on the display unit 40 by minimizing the scroll operation in the left direction on the screen.
  • the distance 78 can be defined in units of pixels.
  • the control unit 42 repeats the above-described control. As a result, as shown in FIGS. 5E and 5F, the control unit 42 cuts out a range 79 including the subject 75 and displays it on the display unit 40. As described above, since the right end and the left end of the omnidirectional image 73 are continuous, the control unit 42 displays the subject 74 on the display unit 40 again when the user further repeats the scroll operation in the left direction of the screen. Will come to do. That is, the display content of the display unit 40 becomes the content shown in FIGS. 5A and 5B again.
  • the omnidirectional image 73 is a part of an image in which the subject 74 and the subject 75 are captured, and a part of the omnidirectional image 73 displayed on the display unit 40 is leftward.
  • the object 75 is displayed after the subject 74 is displayed, and the subject 74 is displayed again on the display unit 40 by repeating the control to move and display the portion of the omnidirectional image 73 that is not displayed on the display unit 40.
  • This is image data used for image processing.
  • the scrolling operation in the left direction of the screen is repeated, and the image displayed on the display unit 40 is moved until the subject 75 is displayed on the display unit 40.
  • the distance 80 (FIG. 5E) is referred to as the distance in the left direction from the subject 74 to the subject 75.
  • 81 (FIG. 5E) is referred to as a distance in the left direction from the subject 75 to the subject 74.
  • the subject 75 is displayed after the subject 74 is displayed. Is displayed, and the subject 74 is displayed on the display unit 40 again.
  • the subject 75 is positioned in the upward direction instead of the right direction of the subject 74, it is not in the horizontal direction of the screen, for example, in the upward direction of the screen.
  • the subject 74 disappears from the screen after the subject 74 is displayed, and then the subject 75 is displayed and the subject 74 is displayed again. That is, two arbitrary subjects imaged in the omnidirectional image 73 can be displayed as described above by making the direction of the scroll operation constant.
  • the playback device 4 of the present embodiment cuts out a part of the omnidirectional image having an angle of view of 360 degrees in the vertical direction and the horizontal direction, and plays it back on the two-dimensional plane display screen.
  • the omnidirectional image has been described as a still image.
  • an omnidirectional video in which each frame is an omnidirectional image can be reproduced by the same processing.
  • the description is exactly the same as described above.
  • each frame (omnidirectional image) constituting the omnidirectional video differs only in that it changes with time.
  • the main subject can be displayed on the display unit 40 and visually recognized by the user performing a scrolling operation in an arbitrary direction.
  • each frame (omnidirectional image) constituting the omnidirectional video is displayed on the display unit 40 for only a very short time, and thus is not displayed on the display unit 40 of the frame. It is difficult to display the part.
  • the scroll operation is displayed on the display unit 40 as a control result for the next frame. As a result, for example, the user may miss a scene in which a main subject is moving in a portion that is not currently reproduced on the display screen.
  • the user may not even notice that there is a main subject that he / she has not visually recognized in the omnidirectional video. Moreover, it is necessary to perform the scroll operation as described above every time a moving image is viewed and adjust the display position, which is troublesome. Furthermore, for example, when two main subjects are moving to be noticed at different points, it is necessary to reproduce a moving image a plurality of times in order to see both of them. Thus, the reproduction of the omnidirectional video is a heavy burden on the user. Therefore, the image processing system 1 according to the present embodiment automatically creates a two-dimensional moving image focusing on an appropriate subject from the omnidirectional moving image and reproduces the two-dimensional moving image, thereby solving the above-described problems. To do.
  • the playback process (display process) of the two-dimensional video by the playback device 4 will be described.
  • the two-dimensional moving image is composed of a plurality of two-dimensional images arranged in time series. Each two-dimensional image constituting the two-dimensional moving image is called a frame.
  • the control unit 42 reproduces the two-dimensional moving image by displaying the plurality of frames on the display unit 40 in order.
  • the input of the omnidirectional video from the imaging device 2 to the image processing device 3 may be performed by a method that does not use the storage medium 51.
  • the imaging device 2 and the image processing device 3 may be electrically connected by a communication cable, and the omnidirectional video may be input to the image processing device 3 by data communication.
  • the imaging device 2 and the image processing device 3 may exchange omnidirectional moving images by wireless communication via radio waves. The same applies to the input of the omnidirectional image from the imaging device 2 to the playback device 4 and the input of the two-dimensional moving image from the image processing device 3 to the playback device 4.
  • the two-dimensional video creation process executed by the image generation unit 30 will be described.
  • the image generation unit 30 creates a 2D moving image from the omnidirectional moving image by executing a 2D moving image creation process.
  • the two-dimensional moving image creating process is a process for identifying a main subject from the omnidirectional image and creating a two-dimensional moving image including the identified main subject.
  • the 2D video creation process includes a subject identification process and a 2D image creation process.
  • the subject specifying process is a process for specifying the main subject from the omnidirectional image included in the omnidirectional video.
  • the two-dimensional image creation process is a process for creating a two-dimensional image including the main subject specified by the subject specifying process from the omnidirectional image.
  • the subject specifying process and the two-dimensional image creation process will be described in order.
  • the image generation unit 30 specifies a main subject from each frame included in one omnidirectional video using a known technique such as face recognition or pattern matching. For example, when the main subject is a person, the face included in the omnidirectional image is detected by a technique for recognizing a human face, and the person corresponding to the face is detected from the orientation, position, color, etc. The whole body can be identified. Note that “specifying the main subject” means recognizing (detecting) the positions and shapes of various subjects reflected in the omnidirectional image and selecting the main subject from these subjects. . For example, when the main subject is a person and three or more persons are detected from the omnidirectional image, the image generation unit 30 identifies all of those persons as the main subject.
  • the recognition of the main subject can be determined based on various factors (parameters) such as the size and saliency of the subject in the image. Further, by using a plurality of temporally continuous images instead of one image, the determination can be made based on the movement of the subject. It should be noted that an object having a predetermined threshold or more can be set as a main object by digitizing the parameter and using threshold processing. When threshold processing is used, a plurality of subjects may be recognized as main subjects. There may be one or more main subjects. In the omnidirectional image, since a range of 360 degrees is captured, there is a high possibility that a plurality of subjects are recognized as main subjects as compared with the case of shooting with a normal camera.
  • the two-dimensional image creation process is a process for creating a two-dimensional image including a main subject from each frame of the omnidirectional video.
  • the image processing system 1 automatically creates a two-dimensional moving image including a main subject from an omnidirectional moving image. Each image constituting the two-dimensional moving image is called a frame.
  • the two-dimensional image creation process is a process for creating a two-dimensional image (frame) including the main subject specified by the subject specifying process from the omnidirectional image. In the two-dimensional image creation process, if there is one main subject, a frame including one main subject is generated, and if there are two main subjects, a frame including two main subjects is generated.
  • FIGS. 7A to 7C are diagrams illustrating two-dimensional images (frames) generated by the two-dimensional image creation process when two main subjects are recognized.
  • the first subject 201 and the second subject 202 are subjects that are recognized as main subjects.
  • the two-dimensional image 610 illustrated in FIG. 7A is a two-dimensional image (frame) obtained by cutting out a partial image (view angle) including the first subject 201 and the second subject 202 from the omnidirectional image. .
  • FIG. 7B the first subject 201 is cut out from the omnidirectional image
  • the second subject 202 is cut out from the omnidirectional image
  • the two partial images thus cut out are pasted up, down, left, and right.
  • a dimensional image 611 may be created. Further, as shown in FIG.
  • superimposition synthesis is performed on an image obtained by cutting out a wide range including the second subject 202 from the omnidirectional image and a partial image 613 obtained by extracting the first subject 201 from the omnidirectional image.
  • a two-dimensional image 612 may be created.
  • the problem in a two-dimensional image creation process is demonstrated using the example which images the volleyball game with the imaging device 2.
  • FIG. 6 is an explanatory diagram of the two-dimensional image creation process.
  • FIG. 6A is a top view of a volleyball court.
  • the imaging device 2 is installed at the center of the coat 200.
  • On the left side of the coat 200 there is a person (hereinafter referred to as a first subject 201) as a main subject.
  • On the right side of the surface of the coat 200 there is a person who is another main subject (hereinafter referred to as a second subject 202). That is, it is a case where two main subjects are recognized.
  • FIG. 6B shows the arrangement of the first subject 201 and the second subject 202 in a three-dimensional space centered on the imaging device 2.
  • the image generation unit 30 cuts out a two-dimensional image (frame) including the first subject 201 and the second subject 202 from the omnidirectional image as shown in FIG. If the image generation unit 30 generates a two-dimensional image (frame) so as to include the path 204 in FIG. 6B, the generated two-dimensional image 610 includes a first subject 201 on the right side and a second subject 202. Will be placed on the left side. On the other hand, if the image generation unit 30 generates a two-dimensional image (frame) so as to include the path 209 in FIG. 6B, the generated two-dimensional image 610 includes the first subject 201 on the left side, Two subjects 202 are arranged on the right side.
  • the image generation unit 30 arranges at least two types of the first subject 201 and the second subject 202 (the first subject 201 is on the left side and the second subject 202 is on the right side. One subject 201 can be placed on the right side and the second subject 202 can be placed on the left side).
  • FIG. 7A shows the path 204 shown in FIG. 6B for easy understanding.
  • the image generation unit 30 needs to generate a two-dimensional image (frame) in which a plurality of main subjects (two main subjects) are appropriately arranged.
  • the image generation unit 30 creates a two-dimensional image including main subjects of both the first subject 201 and the second subject 202 in the two-dimensional image creation process.
  • the image generation unit 30 determines the angle of view including the first subject 201 and the second subject 202 as the angle of view of the two-dimensional image using the positions of the first subject 201 and the second subject 202 specified by the subject specifying process. .
  • the image generation unit 30 displays the angle of view 203 including the first subject 201 and the second subject 202 of the two-dimensional image. Determined as the angle of view.
  • the image generation unit 30 creates a two-dimensional image by cutting out the content corresponding to the angle of view 203 from the omnidirectional image and transforming it into a rectangle.
  • the image generation unit 30 selects “the shortest path 204 that connects the first subject 201 and the second subject 202 in the three-dimensional space, and includes the first subject 201 and the second subject 202 from among such many angles of view. Select the “Including” angle of view. For example, in FIG.
  • the angle of view including the first subject 201 and the second subject 202 may be a number of angles of view such as the angle of view 203 and the angle of view 205.
  • the image generation unit 30 selects the angle of view 203 that includes the shortest path 204 that connects the first subject 201 and the second subject 202 and includes the first subject 201 and the second subject 202 out of those angles of view. .
  • “including the shortest path 204” can be considered as “including a third subject different from the first subject 201 and the second subject 202 existing in the shortest path 204”.
  • a method of specifying “the shortest path connecting the first subject 201 and the second subject 202 in the omnidirectional image” will be described.
  • the omnidirectional sphere 60 is cut on a plane passing through the center of the omnidirectional sphere 60 and passing through the first subject 201 and the second subject 202, a part of the circumference of the cross section of the omnidirectional sphere 60 is the first subject 201.
  • the shortest path connecting the second subject 202 In the omnidirectional image 206 shown in FIG. 6B, when the first subject 201 and the second subject 202 are regarded as points, the circumference of the cross section of the celestial sphere 60 can be said to be a combination of the path 204 and the path 209. .
  • the shorter one of the route 204 and the route 209 is the shortest route. That is, the shortest path connecting the first subject 201 and the second subject 202 in the omnidirectional image is the path 204. Except for the case where the first subject 201 and the second subject 202 are located directly opposite to the omnidirectional sphere 60, the shortest path can be uniquely identified.
  • the image generation unit 30 calculates the shortest path between the first subject 201 and the second subject 202 as follows. For example, in the omnidirectional image (circumferential image) 206 shown in FIG. 6C, the image generation unit 30 arranges the second subject 202 to the right of the first subject 201. Alternatively, the image generation unit 30 prepares an omnidirectional image 206 in which the second subject 202 is arranged in the right direction of the first subject 201. As a result, the straight line connecting the first subject 201 and the second subject 202 in the omnidirectional image 206 passes through the center of the omnidirectional sphere 60 and passes through the first photographic subject 201 and the second photographic subject 202. It coincides with the circumference of the cross section of the omnidirectional sphere 60 when 60 is cut.
  • the image generation unit 30 compares the path 209 from the second subject 202 to the first subject 201 in the left direction with the shortest path 204 from the first subject 201 to the second subject 202 in the left direction. For comparison, the image generation unit 30 calculates a distance 208 (hereinafter referred to as a first distance 208) to the second subject 202 in the left direction of the first subject 201. Similarly, the image generation unit 30 calculates a distance 207 to the first subject 201 in the left direction of the second subject 202 (hereinafter referred to as a second distance 207). The distance can be calculated by counting the pixels constituting the omnidirectional image (circumferential image) 206. The image generation unit 30 compares the first distance 208 and the second distance 207. In the example of FIG. 6, the second distance 207 is longer than the first distance 208.
  • the image generation unit 30 compares the first distance 208 and the second distance 207 and determines that the second distance 207 is longer than the first distance 208. Therefore, the image generation unit 30 generates a two-dimensional image (frame) so that the first subject 201 is placed on the right and the second subject 202 is placed on the left. On the other hand, when the first distance 208 is longer than the second distance 207, the image generation unit 30 conversely, the first subject 201 is placed on the left and the second subject 202 is placed on the right. A two-dimensional image (frame) is generated.
  • the image generation unit 30 may generate a two-dimensional image (frame) as follows.
  • the image generation unit 30 compares the first distance 208 and the second distance 207 and determines that the second distance 207 is longer than the first distance 208
  • the image generation unit 30 includes the shortest path 204 and includes the first subject.
  • the angle of view is determined so as to include 201 and the second subject 202.
  • the image generation unit 30 generates a two-dimensional image (frame) so that the first subject 201 is placed on the right and the second subject 202 is placed on the left.
  • the first distance 207 is displayed on the display unit 40 when the user repeatedly scrolls leftward in the omnidirectional image reproduction process performed by the reproduction device 4 described above. This corresponds to the distance that the image displayed on the display unit 40 has moved from when the second subject 202 is displayed on the display unit 40 until the second subject 202 is displayed.
  • the above-mentioned second distance 208 is the time after the second subject 202 is displayed on the display unit 40 when the user repeatedly scrolls leftward in the omnidirectional image reproduction process by the reproduction device 4 described above. This corresponds to the distance that the image displayed on the display unit 40 has moved before the first subject 201 is displayed on the display unit 40.
  • the image generation unit 30 moves the image displayed on the display unit 40 from when the first subject 201 is displayed on the display unit 40 until the second subject 202 is displayed on the display unit 40.
  • a two-dimensional image in which the first subject 201 and the second subject 202 are arranged is generated from the omnidirectional image.
  • the image generation unit 30 includes the first subject 201 and the second subject 202, and the second direction on the left side of the first subject 201.
  • a two-dimensional image in which the subject 202 is arranged is generated from the omnidirectional image.
  • FIG. 7D the direction in which the left direction side (first direction side) of the first subject 201 is pointed out will be described in detail.
  • the position 201a of the first subject 201 and the position 202a of the second subject 202 are represented by points for the sake of simplicity.
  • a vector 615 starting from the first subject 201 and ending at the second subject 202 can be obtained.
  • the vector 615 is decomposed into a component 616 in the left direction (lateral direction) and a component 617 in the direction (vertical direction) orthogonal to the left direction.
  • the second subject 202 is arranged on the left side of the first subject 201.
  • “disposing the second subject 202 on the left side (first direction side) of the first subject 201” means that the position 201a of the first subject 201 is the start point and the position 202a of the second subject 202 is the end point.
  • the vector 615 to be processed has a positive component in the left direction (first direction). Note that it does not matter what state the component 617 in the direction (vertical direction) orthogonal to the left direction (first direction) of the vector 615 is.
  • the image generation unit 30 when the image generation unit 30 generates a two-dimensional image (frame), the concept using the first distance 207 and the second distance 208 has been described in FIG. 6, but the angle in the three-dimensional space is used instead of the distance. It can also be explained.
  • FIG. 6B an angle formed by a vector from the origin O to the first subject 201 and a vector from the origin O to the second subject 202 is considered.
  • Two angles, an acute angle and an obtuse angle can be considered as the angle formed by these two vectors.
  • the acute angle corresponds to the shortest path 204 and the angle of view 203
  • the obtuse angle corresponds to the path 209 and the angle of view 205.
  • the image generation unit 30 determines the angle of view so that the angle formed by these two vectors is minimized and the first subject 201 and the second subject 202 are included.
  • the image generation unit 30 generates a two-dimensional image (frame) so that the first subject 201 is placed on the right and the second subject 202 is placed on the left.
  • the image generation unit 30 generates (creates) a two-dimensional image (frame) by the processing described above.
  • the image generation unit 30 generates (creates) a two-dimensional moving image including these two-dimensional images and stores the generated two-dimensional moving image in the storage medium 52.
  • FIG. 8 is a flowchart of the two-dimensional video creation process.
  • the image generation unit 30 performs subject identification processing for each frame included in the omnidirectional video. Thereby, the main subject is specified for each frame.
  • step S30 the image generation unit 30 selects one frame included in the omnidirectional video.
  • the image generation unit 30 acquires the number of main subjects specified in the selected frame. If there is one main subject (step S30: YES), the process proceeds to step S35.
  • step S35 the image generating unit 30 creates a two-dimensional image (frame) including the main subject based on the omnidirectional image (frame).
  • step S40 the image generation unit 30 calculates the first distance in the selected frame. That is, the image generation unit 30 calculates the distance from the first subject to the second subject in the first direction, with one of the two main subjects being the first subject and the other being the second subject.
  • step S50 the image generation unit 30 calculates the second distance in the selected frame. That is, the image generation unit 30 calculates the distance from the second subject to the first subject in the first direction.
  • the first direction is the display of the first subject 201 when the user repeatedly scrolls in a certain direction when a part of the frame included in the omnidirectional video is displayed on the display unit 40. In this direction, the first subject 201 disappears from the display unit 40 after being displayed on the unit 40, the second subject 202 is then displayed, and the first subject 201 is displayed on the display unit 40 again.
  • step S60 the image generation unit 30 determines whether or not the first distance calculated in step S40 is longer than the second distance calculated in step S50.
  • the image generation unit 30 advances the process to step S70.
  • step S70 the image generating unit 30 creates a two-dimensional image in which the second subject is arranged on the first direction side of the first subject based on the omnidirectional image (frame) selected in step S30.
  • step S80 the image generation unit 30 creates a two-dimensional image in which the first subject is arranged on the first direction side of the second subject based on the frame selected in step S30.
  • step S90 the image generation unit 30 determines whether an unselected frame remains in the omnidirectional video. If an unselected frame remains, the image generation unit 30 advances the process to step S30. On the other hand, if all the frames have already been selected, the image generation unit 30 advances the process to step S100.
  • step S ⁇ b> 100 the image generation unit 30 controls the output unit 32 to store the two-dimensional moving image including the two-dimensional images created in steps S ⁇ b> 70 and S ⁇ b> 80 in the storage medium 52.
  • a two-dimensional image suitable for viewing can be automatically generated from an omnidirectional image.
  • a single device may have two or more of the imaging unit 20, the image generation unit 30, and the display unit 40.
  • the imaging device 2 may include the image generation unit 30 in addition to the imaging unit 20.
  • the imaging device 2 also serves as the image processing device 3. Therefore, the image processing apparatus 3 may not be included in the image processing system 1.
  • the image processing apparatus 3 may include a display unit 40 in addition to the image generation unit 30.
  • the image processing device 3 also serves as the playback device 4. Therefore, the playback device 4 may not be included in the image processing system 1.
  • the imaging device 2 may include an image generation unit 30 and a display unit 40 in addition to the imaging unit 20. In this case, the imaging device 2 serves as the image processing device 3 and the playback device 4. That is, the imaging device 2 provides a function equivalent to that of the image processing system 1 alone.
  • FIG. 10 is a block diagram schematically showing an electronic apparatus 1000 that combines the image processing device 3 and the playback device 4.
  • the electronic device 1000 is, for example, a smartphone or a tablet terminal.
  • the electronic device 1000 includes an image generation unit 30, an input unit 31, an output unit 32, a display unit 40, a control unit 42, and an operation unit 43.
  • the electronic device 1000 generates a two-dimensional moving image, reproduces the generated two-dimensional moving image by the display unit 40, stores the generated two-dimensional moving image in the storage medium 52, and displays the omnidirectional image (omnidirectional moving image) display unit 40. Can be played. Note that the operation of each part of the electronic device 1000 is the same as that of the first embodiment, and a description thereof will be omitted.
  • the creation of the two-dimensional video by the image generation unit 30 may be performed in real time in parallel with the creation of the omnidirectional video by the imaging unit 20, or may be started after the creation of the omnidirectional video is completed. May be.
  • the display of the two-dimensional moving image by the display unit 40 may be performed in real time in parallel with the creation of the two-dimensional moving image by the image generation unit 30, or is started after the creation of the two-dimensional moving image is completed. Also good.
  • the imaging unit 20 images the omnidirectional sphere. That is, the imaging unit 20 has been described as being able to capture a 360-degree range around the imaging unit 20, but the imaging unit 20 can only capture a range narrower than the omnidirectional sphere in the vertical direction and / or the horizontal direction. Also good.
  • the imaging unit 20 may be configured to be able to image the hemisphere.
  • the imaging unit 20 may be able to capture only an area that is narrower than the hemisphere. For example, only the image in the range 68 indicated by shading in FIG.
  • the angle of view of the imaging unit 20 is narrower than the omnidirectional sphere, the two-dimensional moving image is configured by an image having a narrower angle of view.
  • the all-round image does not necessarily have to be an image obtained by imaging the entire range of 360 degrees.
  • an image obtained by imaging a range of about 300 degrees can be handled as an all-round image in which the left and right ends are connected.
  • the control of moving a part of the image displayed on the display unit 40 in the first direction and displaying the part not displayed on the display unit 40 of the image is repeated.
  • the second subject 202 is displayed after the first subject 201 included in the image is displayed, and the first subject 201 is displayed on the display unit 40 again.
  • An image in which a part of the celestial sphere is missing can also be obtained by moving a part of the image displayed on the display unit 40 in the first direction by making the missing part continuous.
  • the second subject 202 is displayed after the first subject 201 included in the image is displayed, and the first subject 201 is displayed on the display unit 40 again. So it is a spherical image.
  • FIG. 9A is a schematic diagram showing an example of an omnidirectional image.
  • An image 620 and an image 621 corresponding to the hemisphere are images obtained by imaging a range smaller than 360 degrees, and a part of the hemisphere is missing.
  • the image generation unit 30 and the control unit 42 can handle the side EF and the side GF as being continuous. That is, the image shown in FIG. 9A is an omnidirectional image.
  • FIG. 9B is a schematic diagram showing an example of an all-round image.
  • FIG. 9B illustrates an image 622, an image 623, and an image 624 obtained by capturing a discontinuous range in the horizontal direction. These three images are images obtained by capturing a range smaller than 360 degrees in the horizontal direction, and a part of 360 degrees is missing.
  • the image generation unit 30 and the control unit 42 can treat the sides AB, the sides CD, and the sides EF as continuous. Specifically, the control unit 42 moves the image 622 in the horizontal left direction in a state where a part of the image 622 is displayed on the display unit 40, and selects a portion of the image 622 that is not displayed on the display unit 40. Repeat the display control.
  • the image 622, the image 623, and the image 624 shown in FIG. 9B are all-round images. This is because the images (image 622, image 623, image 624) shown in FIG. 9B are displayed on the display unit 40 by setting the appropriate subjects included in the images as the first subject 201 and the second subject 202.
  • the first subject 201 included in the image is displayed by repeating the control of moving the displayed part of the image in the first direction and displaying the part not displayed on the display unit 40 of the image.
  • the omnidirectional image does not have any problem with the continuity of the image content. That is, for example, when an image including the side CD is displayed on the display unit 40, the user does not recognize the image content on the left side of the side CD and the image content on the right side of the side CD as image content. You may see it as continuous. However, the continuity of the image content is not a problem, and the continuity of the image is important. That is, the image on the left side of the side CD and the image on the right side of the side CD need only be continuous.
  • the image 622 can be said to be an all-round image by continuously handling the sides AB and CD.
  • the side CD and the side EF are handled in succession so that the image 623 can be said to be an all-round image. All the images are handled in the same manner, so that a part of the image displayed on the display unit 40 is moved in the first direction, and a control for displaying a portion of the image not displayed on the display unit 40 is repeated.
  • the second subject 202 is displayed after the first subject 201 included in the image is displayed, and the first subject 201 is displayed again on the display unit 40. ).
  • the two-dimensional image generation by the image generation unit 30 is possible even in the case of an all-round image or a omnidirectional image (image 622, image 623, image 624) that is not actually continuous.
  • the processing is no different from the above-described embodiment. That is, how to generate a two-dimensional image (frame) in which the first subject 201 and the second subject 202 are generated from the all-round image (image 622, image 623, image 624) is the same as in the above-described embodiment. Can be judged. For example, after the first subject 201 is displayed on the display unit 40, an image displayed on the display unit 40 is repeatedly displayed until the second subject 202 is displayed on the display unit 40 by repeatedly scrolling leftward on the screen.
  • the scrolling operation in the left direction of the screen is repeated until the first subject 201 is displayed on the display unit 40. If the former distance is longer than the latter distance, a two-dimensional image is created so that the second subject 202 is arranged in the left direction of the first subject 201. Good.
  • the two-dimensional image (frame) including the first subject 201 and the second subject 202 may be created by a method other than the above-described FIGS. 7A to 7C.
  • a two-dimensional image in which the space between the first subject 201 and the second subject 202 is compressed may be created using a technique such as seam carving.
  • a two-dimensional image may be created by thinning or reducing a subject located between the first subject 201 and the second subject 202.
  • the image generation unit 30 may execute the subject specifying process only for some frames instead of executing the subject specifying process for all the frames. For example, the image generation unit 30 identifies the main subject every 30 frames, such as the first frame, the 31st frame, and the 61st frame. The image generation unit 30 does not execute the subject specifying process for 29 frames between the first frame and the 31st frame.
  • the frame rate of the omnidirectional video is 60 fps
  • 30 frames corresponds to 0.5 seconds. If the period is about 0.5 seconds, it is expected that the position of the main subject has hardly changed. That is, the position of the main subject in these 29 frames can be easily estimated from the position of the main subject in the first frame and the position of the main subject in the 31st frame.
  • the subject specifying process is executed only for a part of the omnidirectional images (the main subject is specified only from the part of the omnidirectional images), so that it is necessary for the execution of the two-dimensional video creation process.
  • the amount of calculation can be reduced.
  • the content of the two-dimensional moving image creation process executed by the image generation unit 30 is different from that of the first embodiment. Note that points not mentioned in the present embodiment are the same as those described in the first embodiment. That is, the contents described in the first embodiment are all incorporated in the second embodiment.
  • the image processing system according to the second embodiment will be described focusing on differences from the image processing system according to the first embodiment.
  • the image generation unit 30 executes subject specifying processing for each frame, as in the first embodiment.
  • the image generation unit 30 executes direction specifying processing for specifying the direction of the main subject in the frame for the main subject specified thereby.
  • the main subject is a person
  • the direction of the main subject is the direction of the person's face in the image.
  • the image generation unit 30 executes a well-known face recognition process to recognize the face of the main subject and the face direction.
  • the image generation unit 30 specifies the face orientation of the main subject in the image as the orientation of the main subject.
  • the orientation of the main subject in the three-dimensional space is determined.
  • the direction in which the nose is facing is set as the direction of the main subject.
  • the direction of the vector starting from the center of the face and ending at the vertex of the nose can be set as the direction of the main subject.
  • a method for determining the orientation of the main subject in the three-dimensional space will be described later.
  • the vector is projected onto an image (or an imaging surface).
  • the vector (projection vector) projected onto the two-dimensional image in which the main subject is imaged becomes the direction of the main subject in the image.
  • FIG. 11 is an explanatory diagram of a two-dimensional image creation process.
  • the omnidirectional image 300 shown in FIG. 11 includes a first subject 301 and a second subject 302 that are main subjects.
  • the first subject is displayed on the display unit 40 and the second subject is displayed on the display unit 40.
  • the distance that the image displayed on the display unit 40 has moved (the distance from the first subject 301 to the second subject 302 in the right direction) is longer than the distance from the second subject 302 to the first subject 301 in the right direction. Therefore, if a two-dimensional image is created by performing the same processing as in the first embodiment, a two-dimensional image in which the second subject 302 is arranged on the left side of the first subject 301 is created.
  • the image generation unit 30 arranges the first subject 201 and the second subject 202 in at least two ways (the first subject 201 is on the left side and the second subject 202 is on the right side). Alternatively, the first subject 201 can be arranged on the right side and the second subject 202 can be arranged on the left side).
  • the two-dimensional image (or two-dimensional moving image) generated by the image generation unit 30 is reproduced, the visibility of the user varies greatly depending on the arrangement method.
  • the image generation unit 30 needs to generate a two-dimensional image (frame) in which a plurality of main subjects (two main subjects) are appropriately arranged.
  • the image processing unit 30 creates a two-dimensional image in which the first subject 301 faces the second subject 302 in the image. In the image illustrated in FIG. 11, the first subject 301 faces rightward on the page.
  • an image (video) that does not give the user a sense of incongruity It can be.
  • the image processing unit 30 creates a two-dimensional image so that the first subject 301 is arranged on the left side of the second subject 302.
  • the projection vector is the orientation of the main subject in the image.
  • the vector shown in FIG. 11 is the projection vector of the first subject 301.
  • the first subject 301 is the origin, and the X axis is taken in the direction from the first subject 301 toward the second subject 302.
  • the X-axis direction component of the projection vector of the first subject 301 is positive, it can be determined that the first subject 301 faces the second subject 302.
  • the X-axis direction component of the projection vector of the first subject 301 is negative, it can be determined that the first subject 301 is not facing the second subject 302.
  • the first distance that the image displayed on the display unit 40 has moved from when the first subject 301 is displayed on the display unit 40 to when the second subject 302 is displayed on the display unit 40 is When the image displayed on the display unit 40 is longer than the second distance moved from when the second subject 302 is displayed on the display unit 40 to when the first subject 301 is displayed on the display unit 40, the second subject 302 is displayed.
  • the first subject 301 does not face the second subject 302.
  • a two-dimensional image including the first subject 301 and the second subject 302 and having the first subject 301 arranged on the first direction side of the second subject 302 is generated from the omnidirectional image.
  • the direction of the nose of the person has been described as an example, the direction of the face of the subject (person) may be used.
  • the direction of the face may be the direction in which the eyes are facing, or may be the normal direction of the plane when the face is modeled as a plane.
  • the orientation of the person's body may be adopted as the orientation of the subject instead of the orientation of the person's face.
  • the chest may be modeled as a plane, and the normal direction of the plane may be used as the body orientation.
  • the direction of the subject in the three-dimensional space can be uniquely determined.
  • the orientation may be appropriately defined according to the subject.
  • the main subject is a vehicle or other moving body
  • the traveling direction (movement direction) of the vehicle may be the direction of the main subject.
  • the main subject is a building
  • the direction of the entrance at the front of the building may be the direction of the main subject.
  • the image generation unit 30 performs image analysis of the omnidirectional image, or from the output of a sensor provided separately from the imaging unit 20, or
  • the orientation of the main subject in the three-dimensional space can be acquired by distance measurement using the imaging unit 20. If a vector indicating the orientation of the main subject in the three-dimensional space can be acquired, the projection vector can be acquired by projecting the vector. Then, as described above, the image generation unit 30 can calculate the orientation of the main subject in the image based on the projection vector.
  • a two-dimensional image suitable for viewing can be automatically generated from an omnidirectional image.
  • a single device may have two or more of the imaging unit 20, the image generation unit 30, and the display unit 40.
  • the imaging device 2 may include the image generation unit 30 in addition to the imaging unit 20.
  • the imaging device 2 also serves as the image processing device 3. Therefore, the image processing apparatus 3 may not be included in the image processing system 1.
  • the image processing apparatus 3 may include a display unit 40 in addition to the image generation unit 30.
  • the image processing device 3 also serves as the playback device 4. Therefore, the playback device 4 may not be included in the image processing system 1.
  • the imaging device 2 may include an image generation unit 30 and a display unit 40 in addition to the imaging unit 20. In this case, the imaging device 2 serves as the image processing device 3 and the playback device 4. That is, the imaging device 2 provides a function equivalent to that of the image processing system 1 alone.
  • FIG. 10 is a block diagram schematically showing an electronic apparatus 1000 that combines the image processing device 3 and the playback device 4.
  • the electronic device 1000 is, for example, a smartphone or a tablet terminal.
  • the electronic device 1000 includes an image generation unit 30, an input unit 31, an output unit 32, a display unit 40, a control unit 42, and an operation unit 43.
  • the electronic device 1000 can create a two-dimensional video, reproduce the created two-dimensional video by the display unit 40, store the created two-dimensional video in the storage medium 52, and reproduce the omnidirectional image by the display unit 40. it can. Note that the operation of each part of the electronic device 1000 is the same as that of the first embodiment, and a description thereof will be omitted.
  • the creation of the two-dimensional video by the image generation unit 30 may be performed in real time in parallel with the creation of the omnidirectional video by the imaging unit 20, or may be started after the creation of the omnidirectional video is completed. May be.
  • the display of the two-dimensional moving image by the display unit 40 may be performed in real time in parallel with the creation of the two-dimensional moving image by the image generation unit 30, or is started after the creation of the two-dimensional moving image is completed. Also good.
  • the content of the two-dimensional moving image creation process executed by the image generation unit 30 is different from that of the first embodiment. Note that points not mentioned in the present embodiment are the same as those described in the first embodiment. That is, the contents described in the first embodiment are all incorporated in the third embodiment.
  • an image processing system according to the third embodiment will be described focusing on differences from the image processing system according to the first embodiment. Similar to the first embodiment, the image generation unit 30 of the present embodiment performs subject identification processing. Since the content is the same as that of the first embodiment, the description is omitted.
  • FIGS. 12 and 13 are explanatory diagrams of the two-dimensional image creation process.
  • 12 (a) and 13 (a) are top views of a volleyball court.
  • the imaging device 2 is installed at the center of the coat 400.
  • FIG. 12A shows the state of the coat 400 at time t1
  • FIG. 12B shows the first frame (hereinafter referred to as first omnidirectional image 500) taken at time t1.
  • the image generation unit 30 recognizes a subject 403 (hereinafter referred to as a third subject 403), which is a person, as a main subject. Accordingly, the image generation unit 30 creates a two-dimensional image (frame) including the third subject 403 in step S35 in the flowchart shown in FIG.
  • a subject 403 hereinafter referred to as a third subject 403
  • FIG. 13A shows the state of the coat 400 at time t2 after time t1
  • FIG. 13B shows the 31st frame (hereinafter referred to as second omnidirectional image 510) taken at time t2.
  • the court 400 includes the third subject 403 that is the main subject at the time t1, the main subject 404 that is a person at the time t2 (hereinafter referred to as the fourth subject 404), and the main subject 405 that is a person. (Hereinafter referred to as the fifth subject 405).
  • the image generation unit 30 specifies the fourth subject 404 and the fifth subject 405 as two main subjects.
  • the third subject 403 is not specified as the main subject at time t2.
  • the positional relationship between the imaging device 2, the fourth subject 404, and the fifth subject 405 is the same as the example shown in FIG. That is, in FIG. 13B, after the fourth subject 404 is displayed on the display unit 40 by the control of moving a part of the second omnidirectional image 510 displayed on the display unit 40 leftward, The distance to which the image displayed on the display unit 40 has moved before the five subjects 405 are displayed on the display unit 40 (the distance to the fifth subject 405 in the right direction of the fourth subject 404 (hereinafter referred to as the first distance). )) Is longer than the distance to the fourth subject 404 in the right direction of the fifth subject 405 (hereinafter referred to as the second distance). Therefore, if a two-dimensional image is created from the second omnidirectional image 510 by performing the same processing as in the first embodiment, the fifth subject 405 is arranged on the left side of the fourth subject 404. Will be created.
  • the image generation unit 30 positions the main subject in the first omnidirectional image 500 captured at the previous frame in time, that is, at the time t1 illustrated in FIG. Respect and generate 2D images. Specifically, the image generation unit 30 specifies an angle of view 401 that is an angle of view including the main subject (third subject 403) at time t1. Then, a partial image 511 at a position corresponding to the angle of view 401 is specified from the second omnidirectional image 510 captured at time t2. Then, the image generation unit 30 arranges the fourth subject 404 and the fifth subject 405 based on the positional relationship of the partial image 511, the fourth subject 404, and the fifth subject 405 in the second omnidirectional image 510. Create a two-dimensional image.
  • the 2D image creation process by the image generation unit 30 will be described in detail.
  • the image generation unit 30 includes a partial image 511 (that is, an image in the second omnidirectional image in the second omnidirectional image) at a position corresponding to the partial image including the third subject 403 in the first omnidirectional image. Assume a partial image corresponding to the corner 401 (hereinafter referred to as a first partial image 511).
  • the image generation unit 30 includes a fourth subject 404, a fifth subject 405, and a partial image in which the first partial image 511 is included between the fourth subject 404 and the fifth subject 405 (that is, in the second omnidirectional image).
  • the image processing unit 30 creates a two-dimensional image that maintains the left-right positional relationship between the fourth subject 404 and the fifth subject 405 in the second partial image.
  • the image generation unit 30 generates a two-dimensional image (frame) including the third subject 403 from the first omnidirectional image 500 captured at time t1. That is, the user views the direction corresponding to the angle of view 401 for a predetermined period as a video obtained by reproducing the two-dimensional video.
  • the main subject is changed from the third subject 403 to the fourth subject 404 and the fifth subject 405.
  • the image generation unit 30 generates a two-dimensional image (frame) including the fourth subject 404 and the fifth subject 405 from the second omnidirectional image 510 captured at time t2.
  • the fourth subject 404 is based on the position of the third subject 403 (that is, the direction corresponding to the angle of view 401). This is because it is easy to understand the arrangement of the subject in the three-dimensional space by arranging the fifth subject 405 and the fifth subject 405. That is, in FIG. 13A, the fourth subject 404 is on the left and the fifth subject 405 is on the right when the direction of the angle of view 401 is viewed from the imaging device 2.
  • the angle of view is determined by respecting the angle of view of the previous frame in time, so that confusion during viewing due to a sudden scene change can be avoided. That is, if a direction completely different from the previous frame is suddenly reproduced, there is a possibility that it is difficult to know which part of the omnidirectional image is cut out.
  • the image generation unit 30 of the present embodiment respects the angle of view of the previous frame and determines the angle of view, so that it is possible to create a two-dimensional moving image suitable for viewing with easy understanding of the space. it can.
  • the positional relationship between the left and right is maintained means that the positional relationship is maintained when the positional relationship in the left and right direction is considered, ignoring the vertical positional relationship. In other words, no matter how much the vertical positional relationship changes, as long as the positional relationship in the left-right direction is maintained, it means that the horizontal positional relationship is maintained.
  • a two-dimensional image suitable for viewing can be automatically generated from an omnidirectional image.
  • a single device may have two or more of the imaging unit 20, the image generation unit 30, and the display unit 40.
  • the imaging device 2 may include the image generation unit 30 in addition to the imaging unit 20.
  • the imaging device 2 also serves as the image processing device 3. Therefore, the image processing apparatus 3 may not be included in the image processing system 1.
  • the image processing apparatus 3 may include a display unit 40 in addition to the image generation unit 30.
  • the image processing device 3 also serves as the playback device 4. Therefore, the playback device 4 may not be included in the image processing system 1.
  • the imaging device 2 may include an image generation unit 30 and a display unit 40 in addition to the imaging unit 20. In this case, the imaging device 2 serves as the image processing device 3 and the playback device 4. That is, the imaging device 2 provides a function equivalent to that of the image processing system 1 alone.
  • FIG. 10 is a block diagram schematically showing an electronic apparatus 1000 that combines the image processing device 3 and the playback device 4.
  • the electronic device 1000 is, for example, a smartphone or a tablet terminal.
  • the electronic device 1000 includes an image generation unit 30, an input unit 31, an output unit 32, a display unit 40, a control unit 42, and an operation unit 43.
  • the electronic device 1000 can create a two-dimensional video, reproduce the created two-dimensional video by the display unit 40, store the created two-dimensional video in the storage medium 52, and reproduce the omnidirectional image by the display unit 40. it can. Note that the operation of each part of the electronic device 1000 is the same as that of the first embodiment, and a description thereof will be omitted.
  • the creation of the two-dimensional video by the image generation unit 30 may be performed in real time in parallel with the creation of the omnidirectional video by the imaging unit 20, or may be started after the creation of the omnidirectional video is completed. May be.
  • the display of the two-dimensional moving image by the display unit 40 may be performed in real time in parallel with the creation of the two-dimensional moving image by the image generation unit 30, or is started after the creation of the two-dimensional moving image is completed. Also good.

Abstract

第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像生成部と、を備える画像処理装置。

Description

画像処理装置および電子機器
　本発明は、画像処理装置および電子機器に関する。
　超広角カメラにより撮影された撮影画像の一部を切り出して表示ないし記録を行うカメラが知られている（例えば、特許文献１）。
日本国特開２０１２－１１９８０４号公報
　第１の態様によると、画像処理装置は、第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像生成部と、を備える。
　第２の態様によると、画像処理装置は、第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離と、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離とに基づいて、前記第１被写体と前記第２被写体とを配置した第２画像データを前記第１画像データから生成する画像生成部と、を備える。
　第３の態様によると、電子機器は、第１被写体と第２被写体とが撮像された画像を表示する表示部と、前記表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体を表示させた後に前記第２被写体を表示させ、再度前記第１被写体を前記表示部に表示させる制御部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した画像データを生成する画像生成部と、を備える。
　第４の態様によると、電子機器は、第１被写体と第２被写体とが撮像された第１画像データを表示する表示部と、前記表示部に表示された、前記第１画像データの一部を第１方向に移動させて、前記第１画像データの前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体を表示させた後に前記第２被写体を表示させ、再度前記第１被写体を前記表示部に表示させる制御部と、前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離と、前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離とに基づいて、前記第１被写体と前記第２被写体とを配置した第２画像データを前記第１画像データから生成する画像生成部と、を備える。
　第５の態様によると、画像処理装置は、撮像部によって撮像された第１被写体と第２被写体とを含む全周画像を入力する入力部と、前記全周画像における、前記第１被写体と、前記第２被写体と、前記第１被写体から前記第２被写体までの最短経路に存在する第３被写体とが含まれる部分画像における、前記第１被写体から前記第２被写体への方向を第１方向とし、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した画像を前記全周画像から生成する画像生成部と、を備える。
　第６の態様によると、画像処理装置は、撮像部によって撮像された第１被写体と第２被写体とを含む全周画像を入力する入力部と、前記全周画像における、前記第１被写体から前記第２被写体までの最短経路に基づいて、前記第１被写体と前記第２被写体とを配置した画像を前記全周画像から生成する画像生成部と、を備える。
画像処理システムの構成を模式的に示すブロック図 撮像装置の構成を模式的に示すブロック図 撮像部の撮像範囲および全天球画像の模式図 画像処理装置および再生装置の構成を模式的に示すブロック図 全天球画像の再生処理の説明図 二次元画像作成処理の説明図 二次元画像を例示する図 二次元動画作成処理のフローチャート 全天球画像の変形例の模式図 画像処理装置と再生装置とを兼ね備える電子機器を模式的に示すブロック図 二次元画像作成処理の説明図 二次元画像作成処理の説明図 二次元画像作成処理の説明図
（第１の実施の形態）
　図１は、画像処理システム１の構成を模式的に示すブロック図である。画像処理システム１は、撮像装置２、画像処理装置３、および再生装置４を有する。撮像装置２は、例えばデジタルカメラ、スマートフォン、タブレット端末などの電子機器である。画像処理装置３は、例えばデジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピュータなどの電子機器である。再生装置４は、例えばデジタルカメラ、スマートフォン、タブレット端末、パーソナルコンピュータ、デジタルフォトフレーム、ヘッドマウントディスプレイなどの電子機器である。
　撮像装置２は、静止画撮像機能と、動画撮像機能とを有する。静止画撮像機能は、全天球画像（後述）を撮像する機能である。動画撮像機能は、全天球画像を繰り返し撮像し、各々のフレームが全天球画像である全天球動画を作成する機能である。画像処理装置３は、撮像装置２により作成された全天球動画から、各々のフレームが全天球画像よりも画角が狭い二次元画像である二次元動画（後述）を作成する。再生装置４は、全天球画像や二次元動画を再生（表示）する。
（撮像装置２の説明）
　図２は、撮像装置２の構成を模式的に示すブロック図である。撮像装置２は、撮像部２０、第１撮像光学系２１、第２撮像光学系２２、および記憶部２３を有する。撮像部２０は、第１撮像素子２０１および第２撮像素子２０２を有する。
　第１撮像光学系２１および第２撮像光学系２２は、いわゆる魚眼レンズである。第１撮像光学系２１は、半天球の範囲の被写体像を第１撮像素子２０１の撮像面に結像させる。換言すると第１撮像素子２０１は、水平方向に３６０度、垂直方向に１８０度の範囲を撮像可能に構成される。第１撮像素子２０１の撮像範囲を第１半天球と称する。
　第２撮像光学系２２は、第１半天球とは異なる半天球の範囲の被写体像を第２撮像素子２０２の撮像面に結像させる。換言すると第２撮像素子２０２は、水平方向に３６０度、垂直方向に１８０度の範囲を撮像可能に構成される。第２撮像素子２０２の撮像範囲を第２半天球と称する。
　第１半天球と第２半天球は全天球を構成する。つまり撮像部２０は、第１撮像素子２０１および第２撮像素子２０２により、水平方向に３６０度、垂直方向に３６０度の全天球の範囲を撮像する。以下の説明では、水平方向に３６０度、垂直方向に３６０度の画角を有する、全天球の範囲を撮像した画像を、全天球画像と称する。
　ユーザが静止画撮影機能を利用しているとき、記憶部２３は、撮像部２０により撮像された単一の全天球画像を、記憶媒体５１（例えばメモリーカード等）に記憶する。ユーザが動画撮影機能を利用しているとき、記憶部２３は、撮像部２０により繰り返し撮像された複数の全天球画像を含む全天球動画を、記憶媒体５１に記憶する。前述の通り、全天球動画の各フレームは、全天球画像である。なお、図２において記憶媒体５１は撮像装置２に挿抜可能なものとしているが、撮像装置２が記憶媒体５１を内蔵していてもよい。
（全天球画像の説明）
　図３（ａ）は、撮像部２０の撮像範囲の模式図である。撮像部２０は、撮像部２０の設置位置（カメラ位置）を原点Ｏとして、図３（ａ）に示す全天球６０の範囲を撮像する。図３（ｂ）は、撮像部２０により撮像された全天球画像を例示する模式図である。図３（ｂ）に例示した全天球画像６１は、第１撮像素子２０１により撮像された第１半天球画像６２と、第２撮像素子２０２により撮像された第２半天球画像６３とを含む。第１半天球画像６２は、第１撮像光学系２１が結像した円形像６４を含む。第２半天球画像６３は、第２撮像光学系２２が結像した円形像６５を含む。
　図３（ｂ）に例示した全天球画像６１の一部を切り出して変形することで、任意の画角の画像を得ることができる。例えば、図３（ａ）に示す画角６６の画像を得たい場合は、図３（ｂ）の領域６７を切り出して長方形に変形すればよい。また、図３（ａ）に示すように、全天球の上半分の半天球のうち、図３（ａ）に網掛けで示した、線分Ａ－Ｂを水平方向に一周した範囲６８の画像を得たい場合には、図３（ｂ）の領域６９を切り出して長方形に変形すればよい。このとき得られる画像７０を図３（ｃ）に例示する。画像７０は、横長のパノラマ画像である。なお、図３（ｃ）に例示した画像７０の左端７１と右端７２は、実際には図３（ａ）に示すように連続している。すなわち、図３（ｃ）に例示した画像７０は、撮像部２０の周囲３６０度の範囲を撮像した全周画像である。全周画像７０は、全天球６０の表面を一周する経路６００を含む。経路６００は、原点Ｏを中心とし、全天球６０の直径と同一の直径を有する円の円周である。原点Ｏは全天球６０の中心であるので、その円は、全天球６０の中心を通る平面による全天球６０の断面の円周と一致する。
　線分Ａ－Ｂの長さは、任意に設定することができる。例えば、点Ａをいわゆる北極に設定し、点Ｂをいわゆる南極に設定することにより、全天球画像６１に撮像される範囲と、全周画像である画像７０に撮像される範囲は一致する。すなわち、全周画像は、全天球画像６１を２次元の画像に投影（マッピング）したものといっても良い。
　図３（ｃ）に例示した画像７０は、撮像部２０の水平方向に周囲３６０度の範囲を撮像した全周画像である。したがって、全周画像７０は、いわゆる赤道に相当する経路６００を含んでいる。全周画像は、撮像部２０の水平方向に限定されず、撮像部２０のあらゆる方向に周囲３６０度の範囲を撮像した画像であってよい。例えば、全天球６０の経線に沿って撮像部２０の周囲３６０度の範囲を撮像した画像とすることができる。
　以下の説明では、説明の簡単のため、全天球画像を、図３（ｃ）に例示したような、水平方向に３６０度の範囲を撮像した全周画像として例示する。つまり、以下の説明において図３（ｃ）の画像７０のようにあたかも全周画像のように図示された全天球画像は、特に記載のない限りにおいて、実際には図３（ａ）に示す全天球６０の範囲が撮像された画像である。
　なお、撮像部２０が第１撮像素子２０１、第２撮像素子２０２の２つではなく、より多数の撮像素子を有していてもよい。このようにすることで、個々の撮像素子が撮像可能な範囲が、半天球より狭い範囲であっても、全天球画像を得ることができる。つまり、半天球の範囲を撮像する２つの撮像素子を組み合わせて全天球６０の範囲を撮像するのではなく、より狭い範囲を撮像する３つ以上の撮像素子を組み合わせて全天球６０の範囲を撮像するようにしてもよい。個々の撮像素子の撮像範囲は互いに一部が重複していてもよい。例えば、第１撮像素子２０１の撮像範囲と第２撮像素子２０２の撮像範囲は一部が重複していてもよい。同様に、撮像装置２が第１撮像光学系２１、第２撮像光学系２２の２つではなく、各々が半天球よりも狭い範囲の被写体像を結像させる、より多数の撮像光学系を有していてもよい。
　また、撮像部２０が第１撮像素子２０１、第２撮像素子２０２の２つではなく、単一の撮像素子を有していてもよい。例えば、ミラー等により第１撮像光学系２１からの光と第２撮像光学系２２からの光を共に単一の撮像素子に向かわせることで、円形像６４と円形像６５を単一の撮像素子により撮像することができる。このようにすることで、撮像素子の個数を減らすことができ、撮像部２０のコストダウンを図ることができる。
（画像処理装置３の説明）
　図４（ａ）は、画像処理装置３の構成を模式的に示すブロック図である。画像処理装置３は、画像生成部３０、入力部３１、および出力部３２を有する。入力部３１は、全天球動画が記憶されている記憶媒体５１から全天球動画を読み出して画像生成部３０に入力する。画像生成部３０は、入力された全天球動画に対して後述する二次元動画作成処理を実行する。二次元動画作成処理は、全天球動画から二次元動画を作成する処理である。つまり画像生成部３０は、入力された全天球動画から二次元動画を作成する。二次元動画は、各々のフレームが、全天球画像よりも狭い画角の画像により構成される動画である。例えば二次元動画は、図３（ａ）の原点Ｏに一般的な５０度～２５度程度の画角を有するビデオカメラを置いて撮像した動画と同等の内容を有する。出力部３２は、画像生成部３０により作成された二次元動画を記憶媒体５２に記憶する。記憶媒体５２は、撮像装置２が全天球動画を記憶した記憶媒体５１と同一の記憶媒体であってもよいし、それとは別の記憶媒体であってもよい。なお、図４（ａ）において記憶媒体５１および記憶媒体５２は画像処理装置３の外部に設けられているが、画像処理装置３が記憶媒体５１および記憶媒体５２の一方もしくは両方を内蔵していてもよい。また、記憶媒体５１および記憶媒体５２は、画像処理装置と有線または無線のネットワークを介して接続する構成としても良い。また、記憶媒体５１の代わりに、撮像装置２からネットワークを介して全天球動画を直接入力する構成としてもよい。
　また、全天球動画から作成される二次元動画の各々のフレームは、全天球画像よりも狭い画角の１枚の画像のみならず、全天球画像よりも狭い画角の２枚以上の画像を有してもよい。
（再生装置４の説明）
　図４（ｂ）は、再生装置４の構成を模式的に示すブロック図である。再生装置４は、表示部４０、入力部４１、制御部４２、および操作部４３を有する。入力部４１は、全天球画像が記憶されている記憶媒体５１から全天球画像を読み出して制御部４２に入力する。入力部４１は、二次元動画が記憶されている記憶媒体５２から二次元動画を読み出して制御部４２に入力する。制御部４２は、入力された全天球画像や二次元動画を表示部４０に表示させる制御を行う。表示部４０は、例えば液晶パネル等により構成される表示画面を有する。表示部４０は、制御部４２による制御に基づき、全天球画像または二次元動画を、表示画面に表示する。なお、図４（ｂ）において記憶媒体５１および記憶媒体５２は再生装置４の外部に設けられているが、再生装置４が記憶媒体５１および記憶媒体５２の一方もしくは両方を内蔵していてもよい。表示部４０は、例えばスマートフォンの液晶ディスプレイであり、タブレット端末の液晶ディスプレイであり、ヘッドマウントディスプレイである。したがって、表示部４０に全天球画像の全ての画像領域を一度に表示すると、３６０度の範囲が２次元ディスプレイに表示されることになりユーザは視認しにくい。そこで、３６０度の画角を有する全天球画像の一部を切り出し、二次元平面の表示画面（表示部４０）に全天球画像の一部を表示して再生する方法が知られている。以降の説明では、表示部４０に全天球画像の一部を表示して再生する方法を前提とする。
　操作部４３は、ユーザによる操作が入力される操作部材である。本実施の形態において、操作部４３は、表示部４０の表示画面に重畳されるタッチセンサである。操作部４３は、ユーザの手指等が表示画面に接触した位置を検出して制御部４２に伝達する。すなわち操作部４３は、ユーザのタッチ操作を検出して制御部４２に入力する。タッチ操作には、例えば、ユーザが表示画面のある位置に手指等を接触させ、接触状態を維持したままその手指等を上下左右のいずれかの方向にスライドさせ、その後その手指等を表示画面に接触しない状態にするスクロール操作等がある。本実施形態において、手指等を左方向に動かすスクロール操作は、左方向へのスクロール操作である。
　ここでスクロール操作とは、表示部４０に表示された画像を表示部４０において任意の方向に移動させる操作のことである。
　なお、操作部４３をタッチセンサとは異なる操作部材としてもよい。例えば、再生装置４がヘッドマウントディスプレイである場合には、ユーザが左に首を振る操作を左方向へのスクロール操作とすることもできる。この場合、操作部４３は、ユーザの首の動きに伴い、ヘッドマウントディスプレイの変位（向き、位置など）を検出するセンサである。ヘッドマウントディスプレイの変位に相当する量、表示部４０に表示された画像が移動する。例えば、首を左に振る操作をすることにより、表示部４０に表示された画像は右に移動して表示される。
　なお、操作部４３に用いられる操作部材は、表示部４０に表示された画像を表示部４０において任意の方向に移動させるものであれば、上述したものに限定されない。
　再生装置４による全天球画像の再生処理（表示処理）について説明する。図５は、全天球画像の再生処理の説明図である。図５（ａ）、図５（ｃ）、および図５（ｅ）は、再生対象の全天球画像７３を例示する図である。全天球画像７３は、被写体７４と被写体７５とが撮像された画像である。図５（ｂ）、図５（ｄ）、および図５（ｆ）は、全天球画像７３を再生している表示部４０の表示画面を例示する図である。
　制御部４２は、図５（ａ）に示す全天球画像７３のうち一部の範囲７６を切り出し、図５（ｂ）のように表示部４０に表示する。図５（ｂ）において、表示部４０は、被写体７４を含む範囲７６を表示している。ユーザが画面左方向へのスクロール操作を行うと、制御部４２は、図５（ｃ）および図５（ｄ）に示すように、表示部４０に表示された全天球画像７３の一部を左方向に移動させて、図５（ｂ）の時点では全天球画像７３の表示部４０に表示されていなかった部分を表示させる制御を行う。すなわち、制御部４２は、表示部４０に表示する画像を、表示部４０に表示されていた全天球画像７３の一部から、全天球画像７３のより右側にある別の一部に置き換える。換言すると、制御部４２は、現在表示部４０に表示されている全天球画像７３の一部をいったん消去し、図５（ａ）に示す範囲７６を図５（ｃ）に示す範囲７７に変更し、範囲７７に対応する全天球画像７３の新たな一部を表示部４０に表示する。このときユーザからは、全天球画像７３が左方向に距離７８だけ移動しているように見える。換言すると、ユーザからは、表示部４０に表示される画像が左方向に距離７８だけ移動しているように見える。なお、距離７８は、表示部４０を構成する画素を単位として計測することができる。例えば、画面左方向へのスクロール操作を最小にすることにより、全天球画像７３は表示部４０において１画素だけ左方向に移動する。範囲７７が表示部４０に表示されるまでに画像が何画素移動したかを計測することにより、距離７８を画素を単位として規定することができる。以下の説明では、図５（ａ）および図５（ｂ）に示す表示状態から図５（ｃ）および図５（ｄ）に示す表示状態への変化を、「表示部４０に表示される画像が左方向に距離７８だけ移動した」と表現する。
　ユーザが画面左方向へのスクロール操作を繰り返し行うと、制御部４２は、上述の制御を繰り返す。その結果、図５（ｅ）および図５（ｆ）に示すように、制御部４２は被写体７５を含む範囲７９を切り出して表示部４０に表示するようになる。前述したように、全天球画像７３の右端と左端は連続しているので、ユーザが更に画面左方向へのスクロール操作を繰り返すと、制御部４２は、再度、被写体７４を表示部４０に表示するようになる。つまり、表示部４０の表示内容は、再度、図５（ａ）および図５（ｂ）に示す内容になる。
　以上のように、全天球画像７３は、被写体７４と被写体７５とが撮像された画像の一部であって、表示部４０に表示された、全天球画像７３の一部を左方向に移動させて、全天球画像７３の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、被写体７４が表示された後に被写体７５が表示され、再度被写体７４が表示部４０に表示されるのに使用される画像データである。
　このように、被写体７４が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、被写体７５が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離８０（図５（ｅ））を、被写体７４から被写体７５までの左方向に関する距離と称する。同様に、被写体７５が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、被写体７４が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離８１（図５（ｅ））を、被写体７５から被写体７４までの左方向に関する距離と称する。
　なお、図５（ａ）および図５（ｂ）に示す状態から、ユーザが画面左方向ではなく画面右方向へのスクロール操作を繰り返し行った場合も同様に、被写体７４が表示された後に被写体７５が表示され、再度被写体７４が表示部４０に表示される。ただし、図５（ａ）および図５（ｂ）の例において、被写体７５が被写体７４の右方向で無く、上方向に位置していた場合は、画面左右方向ではなく、例えば画面上方向などの方向にスクロール操作を行うことにより、被写体７４が表示された後に被写体７４が画面から消え、その後、被写体７５が表示され、再度被写体７４が表示されることになる。つまり、全天球画像７３に撮像された２つの任意の被写体は、スクロール操作の方向を一定にすることにより、上述したように表示させることができる。
　以上のように、本実施の形態の再生装置４は、垂直方向および水平方向に３６０度の画角を有する全天球画像の一部を切り出し、二次元平面の表示画面により再生する。以上の説明では、全天球画像を静止画として説明したが、各フレームが全天球画像である全天球動画を同様の処理によって再生することも可能である。この場合、全天球動画を一時停止させて再生した場合は、上述した説明と全く同様である。全天球動画を再生すると、全天球動画を構成する各フレーム（全天球画像）は、時間的に変化する点のみ異なる。
　全天球画像の再生においては、ユーザが任意の方向のスクロール操作を実行することにより、主要な被写体を表示部４０に表示し、視認するころができる。しかしながら、全天球動画の再生においては、全天球動画を構成する各フレーム（全天球画像）は極めて短時間しか表示部４０に表示されないため、当該フレームの表示部４０に表示されていない部分を表示させることは困難である。通常、スクロール操作は次のフレームに対する制御結果として表示部４０に表示される。その結果、ユーザは例えば表示画面に現在再生されていない部分で主要な被写体が注目すべき動きをしているシーンを見逃してしまう可能性がある。また、ユーザはその全天球動画に自分が視認していない主要な被写体が存在していることすら気づかないかもしれない。また、動画を視聴する度に上述のようなスクロール操作を行い、表示位置を調節する必要があり、煩わしい。更に、例えば２つの主要な被写体が別々の箇所で注目したい動きをしている場合、その両方を見るためには動画を複数回再生する必要がある。このように、全天球動画の再生は、ユーザにとって負担が大きい。そこで本実施の形態の画像処理システム１は、全天球動画から適切な被写体に注目した二次元動画を自動的に作成し、その二次元動画を再生することにより、上述のような問題を解決する。
　再生装置４による二次元動画の再生処理（表示処理）について説明する。二次元動画は、後述するように、時系列順に並べられた複数の二次元画像から成る。二次元動画を構成する各々の二次元画像をフレームと呼ぶ。制御部４２は、それら複数のフレームを順に表示部４０に表示することにより、二次元動画を再生する。
　なお、撮像装置２から画像処理装置３への全天球動画の入力は、記憶媒体５１を用いない方法により成されてもよい。例えば、撮像装置２および画像処理装置３を通信ケーブルにより電気的に接続し、データ通信によって全天球動画を画像処理装置３に入力してもよい。あるいは、撮像装置２および画像処理装置３が電波を介した無線通信によって全天球動画を授受してもよい。撮像装置２から再生装置４への全天球画像の入力、および、画像処理装置３から再生装置４への二次元動画の入力についても同様である。
（二次元動画作成処理の説明）
　画像生成部３０が実行する二次元動画作成処理について説明する。画像生成部３０は、二次元動画作成処理を実行することにより、全天球動画から二次元動画を作成する。二次元動画作成処理は、全天球画像から主要被写体を特定し、特定した主要被写体を含む二次元動画を作成する処理である。
　二次元動画作成処理は、被写体特定処理および二次元画像作成処理とを含む。被写体特定処理は、全天球動画に含まれる全天球画像から、主要被写体を特定する処理である。二次元画像作成処理は、全天球画像から、被写体特定処理により特定された主要被写体を含む二次元画像を作成する処理である。以下、被写体特定処理および二次元画像作成処理について順に説明する。
（被写体特定処理の説明）
　画像生成部３０は、例えば顔認識やパターンマッチングなどの周知の技術を用いて、１つの全天球動画に含まれる各フレームから主要被写体を特定する。例えば、主要被写体が人物である場合には、人間の顔を認識する技術によって、全天球画像に含まれる顔を検出し、その顔の向きや位置、色などからその顔に対応する人物の全身を特定することができる。なお、「主要被写体を特定する」とは、全天球画像に写り込んでいる種々の被写体の位置および形状を認識（検出）し、かつ、それらの被写体から主要な被写体を選択することである。例えば、主要被写体が人物であり、全天球画像から３人以上の人物が検出されたときには、画像生成部３０は、それらの人物の全員を主要被写体として特定する。
　主要被写体の認識は、画像における被写体のサイズ、サリエンシーなど様々な要素（パラメータ）に基づいて決定することができる。また、画像１枚ではなく時間的に連続した複数の画像を用いることにより被写体の動きなどに基づいて決定することができる。なお、パラメータを数値化し、閾値処理を用いることにより、所定の閾値以上の被写体を主要被写体とすることができる。閾値処理を用いると、複数の被写体が主要被写体と認定されることがある。主要被写体は、一つでも複数でもよい。なお、全天球画像においては、３６０度の範囲が撮像されているため、通常のカメラによる撮影と比べ、複数の被写体が主要被写体と認定される可能性が高い。
（二次元画像作成処理の説明）
　二次元画像作成処理は、全天球動画の各フレームから、主要被写体を含む二次元画像を作成する処理である。本実施の形態の画像処理システム１は、全天球動画から主要被写体を含む二次元動画を自動的に作成するものである。なお、二次元動画を構成する各画像をフレームと呼ぶ。、二次元画像作成処理は、全天球画像から、被写体特定処理で特定された主要被写体を含む二次元画像（フレーム）を作成する処理である。二次元画像作成処理では、主要被写体が１つであれば、主要被写体を１つ含むフレームを生成し、主要被写体が２つあれば、主要被写体を２つ含むフレームを生成する。
　図７（ａ）から（ｃ）は、主要被写体が２つと認定された場合に、二次元画像作成処理により生成される二次元画像（フレーム）を例示する図である。第１被写体２０１と第２被写体２０２が主要被写体と認定された被写体である。図７（ａ）に例示した二次元画像６１０は、全天球画像から第１被写体２０１と第２被写体２０２とを含む部分画像（画角）を切出して二次元画像（フレーム）としてものである。また、図７（ｂ）のように、第１被写体２０１を全天球画像から切り出し、第２被写体２０２を全天球画像から切り出し、それら切り出した２つの部分画像を上下左右に貼り合わせて二次元画像６１１を作成してもよい。また、図７（ｃ）のように、第２被写体２０２を含む広い範囲を全天球画像から切り出した画像に、第１被写体２０１を全天球画像から切り出した部分画像６１３をスーパーインポーズ合成した二次元画像６１２を作成してもよい。
　以下、バレーボールの試合を撮像装置２により撮像する例を用いて、二次元画像作成処理における課題を説明する。
　図６は、二次元画像作成処理の説明図である。図６（ａ）は、バレーボールのコートの上面図である。図６の例において、撮像装置２は、コート２００の中央に設置される。コート２００の紙面左側には、主要被写体である人物（以下、第１被写体２０１と称する）が存在する。コート２００の紙面右側には、別の主要被写体である人物（以下、第２被写体２０２と称する）が存在する。すなわち、主要被写体が２つと認定されたケースである。図６（ｂ）に、撮像装置２を中心とする三次元空間における第１被写体２０１および第２被写体２０２の配置を示す。
　ここで画像生成部３０が、図７（ａ）のように第１被写体２０１と第２被写体２０２とを含む２次元画像（フレーム）を全天球画像から切り出す場合について考える。仮に、画像生成部３０が、図６（ｂ）の経路２０４を含むように２次元画像（フレーム）を生成すると、生成された二次元画像６１０は、第１被写体２０１が右側、第２被写体２０２が左側に配置されたものになる。一方で、仮に、画像生成部３０が、図６（ｂ）の経路２０９を含むように２次元画像（フレーム）を生成すると、生成された二次元画像６１０は、第１被写体２０１が左側、第２被写体２０２が右側に配置されたものになる。上記配置の問題は、二次元画像６１１、二次元画像６１２についても同様に生じる。すなわち、全天球画像の性質上、画像生成部３０は、第１被写体２０１と第２被写体２０２を少なくとも２通りに配置（第１被写体２０１を左側、第２被写体２０２を右側に配置。または第１被写体２０１を右側、第２被写体２０２を左側に配置）することができる。なお、図７（ａ）には、理解を容易にするため図６（ｂ）に示した経路２０４を図示している。
　ところで、画像生成部３０が生成した２次元画像（または２次元動画）を再生した場合、ユーザの視認性は配置の仕方によって大きく異なる。例えば、本バレーボールの例において、第１被写体２０１をレシーバ、第２被写体２０２をアタッカーとすると、二次元画像６１０に撮像されたバレーボールとの関係から、第１被写体２０１と第２被写体２０２の配置によって、違和感のある画像（映像）となってしまう。したがって、画像生成部３０は、複数の主要被写体（２つの主要被写体）を適切に配置した２次元画像（フレーム）を生成する必要がある。
　本実施形態の画像生成部３０は、二次元画像作成処理において、第１被写体２０１および第２被写体２０２の両方の主要被写体を含む二次元画像を作成する。画像生成部３０は、被写体特定処理により特定した第１被写体２０１および第２被写体２０２の位置を用いて、第１被写体２０１および第２被写体２０２を含む画角を二次元画像の画角として決定する。例えば、図６（ａ）に示す位置に第１被写体２０１および第２被写体２０２が存在する場合、画像生成部３０は、第１被写体２０１および第２被写体２０２を含む画角２０３を二次元画像の画角として決定する。画像生成部３０は、全天球画像からその画角２０３に相当する内容を切り出して長方形に変形することにより、二次元画像を作成する。
　第１被写体２０１および第２被写体２０２を含む画角は複数存在する。例えば、第１被写体２０１を画面左に、第２被写体２０２を画面右に配置した画角もあれば、第１被写体２０１を画面右に、第２被写体２０２を画面左に配置した画角もある。画像生成部３０はそのような多数の画角の中から、「三次元空間において第１被写体２０１および第２被写体２０２を結ぶ最短の経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含む」画角を選択する。例えば図６（ａ）において、第１被写体２０１および第２被写体２０２を含む画角は、画角２０３や画角２０５など、多数の画角が考えられる。画像生成部３０は、それらの画角のうち、第１被写体２０１および第２被写体２０２を結ぶ最短の経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含む画角２０３を選択する。なお、「最短の経路２０４を含む」とは、「最短の経路２０４に存在する第１被写体２０１および第２被写体２０２と異なる第３被写体を含む」と考えることもできる。
　「全天球画像において第１被写体２０１および第２被写体２０２を結ぶ最短経路」の特定方法について説明する。全天球６０の中心を通り、第１被写体２０１および第２被写体２０２を通る平面で、全天球６０を切断した場合に、全天球６０の断面の円周の一部が第１被写体２０１および第２被写体２０２を結ぶ最短経路となる。図６（ｂ）に示す全天球画像２０６において、第１被写体２０１および第２被写体２０２を点と見なすと、天球６０の断面の円周は、経路２０４と経路２０９をつなぎ合わせたものといえる。経路２０４と経路２０９のうち、短い方が最短経路となる。すなわち、全天球画像において第１被写体２０１および第２被写体２０２を結ぶ最短経路は経路２０４である。第１被写体２０１と第２被写体２０２が全天球６０の正反対に位置する場合を除いて、最短経路は一意に特定することができる。
　画像生成部３０は、以下のようにして、第１被写体２０１と第２被写体２０２の最短経路を算出する。例えば図６（ｃ）に示す全天球画像（全周画像）２０６において、画像生成部３０は、第１被写体２０１の右方向に第２被写体２０２を配置する。あるいは、画像生成部３０は、第１被写体２０１の右方向に第２被写体２０２が配置された全天球画像２０６を準備する。その結果、全天球画像２０６において第１被写体２０１と第２被写体２０２を結んだ直線は、全天球６０の中心を通り、第１被写体２０１および第２被写体２０２を通る平面で、全天球６０を切断した場合の全天球６０の断面の円周と一致する。画像生成部３０は、第２被写体２０２から左方向についての第１被写体２０１までの経路２０９と、第１被写体２０１から左方向についての第２被写体２０２までの最短経路２０４とを比較する。なお比較に際して、画像生成部３０は、第１被写体２０１の左方向における第２被写体２０２までの距離２０８（以下、第１距離２０８と称する）を算出する。同様に、画像生成部３０は、第２被写体２０２の左方向における第１被写体２０１までの距離２０７（以下、第２距離２０７と称する）を算出する。距離は、全天球画像（全周画像）２０６を構成する画素をカウントすることにより算出することができる。画像生成部３０は、第１距離２０８と第２距離２０７とを比較する。図６の例では、第２距離２０７が第１距離２０８よりも長い。
　次に、画像生成部３０による二次元画像（フレーム）の生成方法について説明する。画像生成部３０は、上述したように第１距離２０８と第２距離２０７とを比較して、第２距離２０７が第１距離２０８よりも長いと判断した。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。他方、第１距離２０８が第２距離２０７よりも長い場合、画像生成部３０は、それとは逆に、第１被写体２０１が左に、第２被写体２０２が右に、それぞれ配置されるように、二次元画像（フレーム）を生成する。
　また、画像生成部３０は、次のように二次元画像（フレーム）を生成しても良い。画像生成部３０は、第１距離２０８と第２距離２０７とを比較して、第２距離２０７が第１距離２０８よりも長いと判断した際に、最短経路２０４を含み、かつ、第１被写体２０１および第２被写体２０２を含むように画角を決定する。決定した画角で全天球画像（全周画像）２０６から部分画像を切り出すと、部分画像において、第１被写体２０１は第２被写体２０２の右側に配置されている。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。
　なお、上述の第１距離２０７は、前述した再生装置４による全天球画像の再生処理において、ユーザが左方向へのスクロール操作を繰り返したときに、第１被写体２０１が表示部４０に表示されてから第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離に相当する。上述の第２距離２０８は、前述した再生装置４による全天球画像の再生処理において、ユーザが左方向へのスクロール操作を繰り返したときに、第２被写体２０２が表示部４０に表示されてから第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離に相当する。
　以上のように、画像生成部３０は、第１被写体２０１が表示部４０に表示されてから第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第１距離２０７と、第２被写体２０２が表示部４０に表示されてから第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第２距離２０８とに基づいて、第１被写体２０１と第２被写体２０２とを配置した二次元画像を全天球画像から生成する。具体的には、画像生成部３０は、第１距離２０７が第２距離２０８よりも長い場合は、第１被写体２０１と第２被写体２０２とを含み、第１被写体２０１の左方向側に第２被写体２０２を配置した二次元画像を全天球画像から生成する。
　図７（ｄ）を用いて、第１被写体２０１の左方向側（第１方向側）とはどのような方向を指すのかについて詳述する。なお図７（ｄ）では説明の簡単のため、第１被写体２０１の位置２０１ａおよび第２被写体２０２の位置２０２ａを点で表現している。第１被写体２０１の位置２０１ａと第２被写体２０２の位置２０２ａが判明しているとき、第１被写体２０１を始点とし、第２被写体２０２を終点とするベクトル６１５を求めることができる。ベクトル６１５を、左方向（横方向）の成分６１６と左方向に直交する方向（縦方向）の成分６１７に分解する。左方向の成分６１６が左方向に正であるとき、第２被写体２０２は第１被写体２０１の左方向側に配置されていることになる。つまり、「第２被写体２０２を第１被写体２０１の左方向側（第１方向側）に配置する」とは、第１被写体２０１の位置２０１ａを始点とし、第２被写体２０２の位置２０２ａを終点とするベクトル６１５が左方向（第１方向）の正の成分を有していることを指す。なお、このベクトル６１５の左方向（第１方向）に直交する方向（縦方向）の成分６１７がどのような状態であるかは問わない。
　なお、画像生成部３０が二次元画像（フレーム）を生成するに際して、図６では第１距離２０７および第２距離２０８を用いた考え方を説明したが、距離ではなく三次元空間における角度を用いて説明することもできる。例えば、図６（ｂ）において、原点Ｏから第１被写体２０１に向かうベクトルと、原点Ｏから第２被写体２０２に向かうベクトルとが成す角度を考える。これら２つのベクトルが成す角度は、鋭角と鈍角の２通りが考えられる。このうち、鋭角は最短経路２０４および画角２０３に対応し、鈍角は経路２０９および画角２０５に対応する。従って、画像生成部３０は、これら２つのベクトルが成す角度が最小となり、かつ、第１被写体２０１および第２被写体２０２を含むように画角を決定する。決定した画角で全天球画像（全周画像）２０６から部分画像を切り出すと、部分画像において、第１被写体２０１は第２被写体２０２の右側に配置されている。そこで、画像生成部３０は、第１被写体２０１が右に、第２被写体２０２が左に、それぞれ配置されるように、二次元画像（フレーム）を生成する。
　画像生成部３０は、以上で説明した処理により二次元画像（フレーム）を生成（作成）する。画像生成部３０は、それらの二次元画像を含む二次元動画を生成（作成）し、記憶媒体５２に記憶する。
　図８は、二次元動画作成処理のフローチャートである。ステップＳ１０において、画像生成部３０は、全天球動画に含まれる各フレームに対して、被写体特定処理を実行する。これにより、各フレームについて、主要被写体が特定される。
　ステップＳ３０において、画像生成部３０は、全天球動画に含まれるフレームを１つ選択する。画像生成部３０は、選択したフレームにおいて特定された主要被写体の数を取得する。主要被写体が１つの場合（ステップＳ３０：ＹＥＳ）は、処理をステップＳ３５に進める。ステップＳ３５において、画像生成部３０は、全天球画像（フレーム）に基づき、主要被写体を含む二次元画像（フレーム）を作成する。
　主要被写体が２つ以上ある場合（ステップＳ３０：Ｎｏ）は、処理をステップＳ４０に進める。ステップＳ４０において、画像生成部３０は、選択したフレームにおける第１距離を算出する。すなわち、画像生成部３０は、２つの主要被写体の一方を第１被写体、他方を第２被写体とし、第１被写体から第１方向に向かい第２被写体に到達するまでの距離を算出する。ステップＳ５０において、画像生成部３０は、選択したフレームにおける第２距離を算出する。すなわち、画像生成部３０は、第２被写体から第１方向に向かい第１被写体に到達するまでの距離を算出する。なお、第１方向とは、全天球動画に含まれるフレームの一部を表示部４０に表示させた場合に、ユーザがある方向へのスクロール操作を繰り返したときに、第１被写体２０１が表示部４０に表示された後に第１被写体２０１が表示部４０から消え、その後、第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示されることになる方向である。
　ステップＳ６０において、画像生成部３０は、ステップＳ４０で算出した第１距離がステップＳ５０で算出した第２距離よりも長いか否かを判定する。第１距離が第２距離よりも長い場合、画像生成部３０は、処理をステップＳ７０に進める。ステップＳ７０において、画像生成部３０は、ステップＳ３０で選択した全天球画像（フレーム）に基づき、第２被写体を第１被写体の第１方向側に配置した二次元画像を作成する。他方、ステップＳ６０において第１距離が第２距離以下であった場合、画像生成部３０は、処理をステップＳ８０に進める。ステップＳ８０において、画像生成部３０は、ステップＳ３０で選択したフレームに基づき、第１被写体を第２被写体の第１方向側に配置した二次元画像を作成する。
　ステップＳ９０において、画像生成部３０は、全天球動画に未選択のフレームが残っているか否かを判定する。未選択のフレームが残っていた場合、画像生成部３０は、処理をステップＳ３０に進める。他方、全てのフレームが既に選択されていた場合、画像生成部３０は、処理をステップＳ１００に進める。ステップＳ１００において、画像生成部３０は、ステップＳ７０およびステップＳ８０で作成された二次元画像からなる二次元動画を記憶媒体５２に記憶するよう出力部３２を制御する。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。
（第１の実施の形態の変形例）
　なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。
　図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像（全天球動画）の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。
　上述した変形例によれば、次の作用効果が得られる。
（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。
　なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。
　上述した実施の形態では、撮像部２０が全天球を撮像するとして説明した。すなわち、撮像部２０は、撮像部２０の周囲３６０度の範囲を撮像できるとして説明したが、撮像部２０が、垂直方向および／または水平方向について、全天球よりも狭い範囲しか撮像できなくてもよい。例えば、撮像部２０が半天球を撮像可能に構成してもよい。あるいは、撮像部２０が、半天球よりも更に狭い範囲しか撮像できなくてもよい。例えば、図３（ａ）に網掛けで示した、範囲６８の画像しか撮像できなくてもよい。二次元動画は、撮像部２０の画角が全天球よりも狭い場合、それよりも更に狭い画角の画像により構成されることになる。
　また、全周画像は、必ずしも３６０度全ての範囲を撮像した画像でなくてもよい。例えば、３００度程度の範囲を撮像した画像を、左右端が繋がった全周画像として扱うことも可能である。全天球画像についても同様であり、全天球の一部が欠落した画像を、全体が一続きになった全天球画像として扱うことも可能である。
　本明細書では、全天球画像とは、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像のことである。全天球の一部が欠落した画像もまた、欠落した部分を一続きにすることにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示されるので全天球画像である。
　図９（ａ）は、全天球画像の例を示す模式図である。半天球に対応する像６２０および像６２１は、３６０度よりも小さい範囲を撮像した像であり、半天球の一部が欠落している。画像生成部３０および制御部４２は、辺Ｅ－Ｆと辺Ｇ－Ｆとを連続しているように扱うことができる。つまり、図９（ａ）に示す画像は全天球画像である。
　図９（ｂ）は、全周画像の例を示す模式図である。図９（ｂ）には、水平方向に非連続な範囲を撮像した画像６２２、画像６２３、および画像６２４を図示している。これら３つの画像は、水平方向について３６０度よりも小さい範囲を撮像した像であり、３６０度の一部が欠落している。画像生成部３０および制御部４２は、辺Ａ－Ｂどうし、辺Ｃ－Ｄどうし、辺Ｅ－Ｆどうしを連続しているように扱うことができる。具体的には、制御部４２は、画像６２２の一部が表示部４０に表示されている状態で水平左方向に画像６２２を移動させて、画像６２２の表示部４０に表示されていない部分を表示させる制御を繰り返す。その結果、辺Ｃ－Ｄが表示され、続いて辺Ｅ－Ｆが表示される。そして、さらに制御を繰り返すことにより、辺Ａ－Ｂが表示され、画像６２２の一部が表示部４０に表示されている状態に戻る。したがって、図９（ｂ）に示す画像６２２、画像６２３、画像６２４は全周画像である。なぜならば、図９（ｂ）に示す画像（画像６２２、画像６２３、画像６２４）は、当該画像に含まれる適当な被写体を第１被写体２０１、第２被写体２０２とすることにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像だからである。なお、ここでいう全周画像（あるいは全天球画像）は、画像コンテンツの連続性は全く問題としていない。つまり、例えば、表示部４０に辺Ｃ－Ｄを含む画像が表示された場合、ユーザは、辺Ｃ－Ｄの左側の画像コンテンツと、辺Ｃ－Ｄの右側の画像コンテンツが、画像コンテンツとして不連続であると視認するかもしれない。しかしながら、画像コンテンツの連続性は問題でなく、画像の連続性が重要である。つまり、辺Ｃ－Ｄの左側の画像と、辺Ｃ－Ｄの右側の画像が連続であればよい。
　例えば、画像６２２において、辺Ａ－Ｂと辺Ｃ－Ｄを連続して扱うことにより、画像６２２は全周画像といえる。また、画像６２３において、辺Ｃ－Ｄと辺Ｅ－Ｆを連続して扱うことにより、画像６２３も全周画像といえる。全ての画像は、同様に扱うことにより、表示部４０に表示された、画像の一部を第１方向に移動させて、画像の表示部４０に表示されていない部分を表示させる制御を繰り返すことによって、当該画像に含まれる第１被写体２０１が表示された後に第２被写体２０２が表示され、再度第１被写体２０１が表示部４０に表示される画像となるので、全天球画像（全周画像）である。
　なお、図９（ｂ）のように、実際には連続していない全周画像や全天球画像（画像６２２、画像６２３、画像６２４）であっても、画像生成部３０による２次元画像生成処理は、上述した実施の形態と何ら違いはない。すなわち、全周画像（画像６２２、画像６２３、画像６２４）から第１被写体２０１と第２被写体２０２をどのように配置した２次元画像（フレーム）を生成するかは、上述した実施の形態と同様に判断することができる。例えば、第１被写体２０１が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、第２被写体２０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離と、第２被写体２０２が表示部４０に表示されてから、画面左方向へのスクロール操作を繰り返し、第１被写体２０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離とを比較し、前者の距離が後者の距離よりも長い場合には、第２被写体２０２が第１被写体２０１の左方向に配置されるように二次元画像を作成すればよい。
　上述した変形例によれば、次の作用効果が得られる。
（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。
　なお、第１被写体２０１と第２被写体２０２を含む二次元画像（フレーム）は、上述した図７（a）から図７（ｃ）以外の方法で作成してもよい。例えばシームカービング等の技術を用いて、第１被写体２０１と第２被写体２０２の間の空間を圧縮した二次元画像を作成してもよい。もしくは、第１被写体２０１と第２被写体２０２の間に位置する被写体を間引いたり縮小したりして二次元画像を作成してもよい。
　画像生成部３０が、全フレームに対して被写体特定処理を実行するのではなく、一部のフレームに対してのみ被写体特定処理を実行するようにしてもよい。例えば、画像生成部３０は、１フレーム目、３１フレーム目、６１フレーム目など、３０フレームごとに主要被写体を特定する。画像生成部３０は、１フレーム目と３１フレーム目の間の２９フレームに対しては、被写体特定処理を実行しない。
　例えば、全天球動画のフレームレートが６０ｆｐｓであれば、３０フレームは０．５秒間に相当する。０．５秒間程度の期間であれば、主要被写体の位置はほとんど変化していないことが期待される。つまり、それら２９フレームにおける主要被写体の位置は、１フレーム目における主要被写体の位置と３１フレーム目における主要被写体の位置から、容易に推定可能である。
　このように、一部の全天球画像に対してのみ被写体特定処理を実行する（一部の全天球画像からのみ主要被写体を特定する）ことで、二次元動画作成処理の実行に必要な演算量を削減することができる。
（第２の実施の形態）
　第２の実施の形態に係る画像処理システムは、画像生成部３０が実行する二次元動画作成処理の内容が、第１の実施の形態と異なっている。なお、本実施の形態で言及しない点は、第１の実施の形態で説明した内容と同一である。すなわち、第１の実施の形態で説明した内容は、第２の実施の形態に全て組込まれている。以下、第２の実施の形態に係る画像処理システムについて、第１の実施の形態に係る画像処理システムと異なる点を中心に説明する。
　画像生成部３０は、第１の実施の形態と同様に、各フレームに対して被写体特定処理を実行する。画像生成部３０は、これにより特定された主要被写体について、フレーム内における主要被写体の向きを特定する方向特定処理を実行する。本実施の形態において、主要被写体は人物であり、主要被写体の向きとは画像内における人物の顔の向きである。方向特定処理において、画像生成部３０は、周知の顔認識処理を実行し、主要被写体の顔およびその顔の向きを認識する。画像生成部３０は、画像内における主要被写体の顔の向きをその主要被写体の向きとして特定する。
　次に、画像における主要被写体の向きの特定方法について説明する。まず、三次元空間における主要被写体の向きを決定する。例えば、主要被写体が人間である場合に、鼻の向いている方向を主要被写体の向きとする。この場合、顔の中心を始点とし鼻の頂点を終点とするベクトルの向きを主要被写体の向きとすることができる。なお、三次元空間における主要被写体の向きの決定の仕方については後述する。三次元空間における主要被写体の向きを示すベクトルが特定されると、当該ベクトルを画像（または撮像面）に射影する。この結果、主要被写体が撮像された２次元画像に射影されたベクトル（射影ベクトル）が画像における主要被写体の向きとなる。
　図１１は、二次元画像作成処理の説明図である。図１１に示す全天球画像３００は、主要被写体である第１被写体３０１と第２被写体３０２を含んでいる。表示部４０に表示された、全天球画像３００の一部を左方向に移動させる制御によって、第１被写体が表示部４０に表示されてから第２被写体が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離（第１被写体３０１から右方向に第２被写体３０２までの距離）は、第２被写体３０２から右方向に第１被写体３０１までの距離よりも長いので、仮に第１の実施の形態と同様の処理を行って二次元画像を作成する場合、第２被写体３０２が第１被写体３０１の左側に配置された二次元画像が作成されることになる。
　上述した通り、全天球画像の性質上、画像生成部３０は、第１被写体２０１と第２被写体２０２を少なくとも２通りに配置（第１被写体２０１を左側、第２被写体２０２を右側に配置。または第１被写体２０１を右側、第２被写体２０２を左側に配置）することができる。一方で、画像生成部３０が生成した２次元画像（または２次元動画）を再生した場合、ユーザの視認性は配置の仕方によって大きく異なる。画像生成部３０は、複数の主要被写体（２つの主要被写体）を適切に配置した２次元画像（フレーム）を生成する必要がある。
　本実施の形態に係る画像処理部３０は、画像内において第１被写体３０１が第２被写体３０２の方を向く二次元画像を作成する。図１１に例示する画像において、第１被写体３０１は紙面右方向を向いている。第１被写体３０１が第２被写体３０２の方を向くように、第１被写体３０１と第２被写体３０２とを配置した二次元画像（フレーム）を作成することにより、ユーザに違和感のない画像（映像）とすることができる。画像処理部３０は、第１被写体３０１が第２被写体３０２の左側に配置されるように二次元画像を作成する。
　次に、画像内において第１被写体３０１が第２被写体３０２の方を向く点について説明する。上述してように、三次元空間における主要被写体の向きを示すベクトルを画像（または撮像面）に射影した際、射影ベクトルが画像における主要被写体の向きである。例えば、図１１において示されるベクトルが第１被写体３０１の射影ベクトルである。画像３００において、第１被写体３０１を原点とし、第１被写体３０１から第２被写体３０２へ向かう方向にＸ軸をとる。このとき、第１被写体３０１の射影ベクトルのＸ軸方向の成分が正であれば、第１被写体３０１は第２被写体３０２の方を向いていると判断できる。逆に、第１被写体３０１の射影ベクトルのＸ軸方向の成分が負であれば、第１被写体３０１は第２被写体３０２の方を向いていないと判断できる。
　画像生成部３０は、第１被写体３０１が表示部４０に表示されてから第２被写体３０２が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第１距離が、第２被写体３０２が表示部４０に表示されてから第１被写体３０１が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した第２距離よりも長い場合に、第２被写体３０２が表示部４０に表示されてから第１被写体３０１が表示部４０に表示されるまでに表示部４０に表示される画像において、第１被写体３０１が第２被写体３０２の方を向いていない場合に、第１被写体３０１と第２被写体３０２とを含み、第２被写体３０２の第１方向側に第１被写体３０１を配置した二次元画像を全天球画像から生成する。
　次に、三次元空間における被写体の向きの決定の仕方について説明する。例として人物の鼻の向きを説明したが、被写体（人物）の顔の向きでも良い。顔の向きとしては、目の向いている方向でも良いし、顔を平面としてモデル化した場合に、当該平面の法線方向としてもよい。また、被写体の向きとして人物の顔の向きではなく人物の体の向きを採用してもよい。体の向きを採用した場合、胸を平面としてモデル化し、当該平面の法線方向を体の向きとしてもよい。いずれにせよ、三次元空間における被写体の向きを予め規定することにより、三次元空間における被写体の向きは一意に決定することが可能である。また、主要被写体として人物以外の被写体を採用する場合には、被写体に合わせて適宜向きを規定すればよい。例えば主要被写体が車両やその他の移動体であれば、その車両の進行方向（移動方向）を主要被写体の向きとすればよい。また、主要被写体が建物であれば、その建物の正面の出入り口の向きを主要被写体の向きとすればよい。
　次に、三次元空間における被写体の向きの取得の仕方について説明する。上述したように、被写体に合わせて向きは規定されているので、例えば画像生成部３０が、全天球画像を画像解析することにより、もしくは撮像部２０とは別に設けたセンサの出力から、または撮像部２０を用いた測距演算により、三次元空間における主要被写体の向きを取得することができる。三次元空間における主要被写体の向きを示すベクトルが取得できれば、当該ベクトルを射影することにより射影ベクトルを取得することができる。そして、画像生成部３０は、上述したように、射影ベクトルに基づいて画像における主要被写体の向きを算出することができる。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。
（第２の実施の形態の変形例）
　なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。
　図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。
　上述した変形例によれば、次の作用効果が得られる。
（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。
　なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。
　上述した変形例によれば、次の作用効果が得られる。
（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。
（第３の実施の形態）
　第３の実施の形態に係る画像処理システムは、画像生成部３０が実行する二次元動画作成処理の内容が、第１の実施の形態と異なっている。なお、本実施の形態で言及しない点は、第１の実施の形態で説明した内容と同一である。すなわち、第１の実施の形態で説明した内容は、第３の実施の形態に全て組込まれている。以下、第３の実施の形態に係る画像処理システムについて、第１の実施の形態に係る画像処理システムと異なる点を中心に説明する。本実施の形態の画像生成部３０は、第１の実施の形態と同様に、被写体特定処理を実行する。その内容は第１の実施の形態と同様であるので、説明を省略する。
　図１２および図１３は、二次元画像作成処理の説明図である。図１２（ａ）および図１３（ａ）は、バレーボールのコートの上面図である。図１２および図１３の例において、撮像装置２は、コート４００の中央に設置される。時刻ｔ１におけるコート４００の様子を図１２（ａ）に、時刻ｔ１に撮影された１フレーム目（以下、第１全天球画像５００と称する）を図１２（ｂ）に、それぞれ示す。このとき、画像生成部３０は、人物である被写体４０３（以下、第３被写体４０３と称する）を主要被写体として認定しているものとする。従って、画像生成部３０は、図８に示すフローチャートにおいて、ステップＳ３５により、第３被写体４０３を含む二次元画像（フレーム）を作成する。
　時刻ｔ１よりも後の時刻ｔ２におけるコート４００の様子を図１３（ａ）に、時刻ｔ２に撮影された３１フレーム目（以下、第２全天球画像５１０と称する）を図１３（ｂ）に、それぞれ示す。このとき、コート４００には、前述の時刻ｔ１における主要被写体である第３被写体４０３と、時刻ｔ２における人物である主要被写体４０４（以下、第４被写体４０４と称する）と、人物である主要被写体４０５（以下、第５被写体４０５と称する）が存在する。ここで、画像生成部３０は、第４被写体４０４および第５被写体４０５を２つの主要被写体として特定したものとする。なお、時刻ｔ２においては、第３被写体４０３は主要被写体として特定されていないものとする。
　撮像装置２と第４被写体４０４および第５被写体４０５の位置関係は、図６に示した例と同一である。すなわち、図１３（ｂ）において、表示部４０に表示された、第２全天球画像５１０の一部を左方向に移動させる制御によって、第４被写体４０４が表示部４０に表示されてから第５被写体４０５が表示部４０に表示されるまでに、表示部４０に表示される画像が移動した距離（第４被写体４０４の右方向における第５被写体４０５までの距離（以下、第１距離と称する））が、第５被写体４０５の右方向における第４被写体４０４までの距離（以下、第２距離と称する）よりも長い。従って、仮に第１の実施の形態と同様の処理を行って第２全天球画像５１０から二次元画像を作成する場合、第５被写体４０５が第４被写体４０４の左側に配置された二次元画像が作成されることになる。
　これに対して、本実施の形態の画像生成部３０は、時間的に前のフレーム、すなわち、図１２（ｂ）に示す時刻ｔ１において撮像された第１全天球画像５００における主要被写体の位置を尊重して二次元画像を生成する。具体的には、画像生成部３０は、時刻ｔ１における主要被写体（第３被写体４０３）を含む画角である画角４０１を特定する。そして時刻ｔ２において撮像された第２全天球画像５１０から画角４０１に相当する位置にある部分画像５１１を特定する。そして、画像生成部３０は、第２全天球画像５１０における部分画像５１１と、第４被写体４０４と、第５被写体４０５の位置関係に基づいて第４被写体４０４と、第５被写体４０５とを配置した二次元画像を作成する。
　画像生成部３０による二次元画像作成処理について詳述する。画像生成部３０は、第２全天球画像における、第１全天球画像における第３被写体４０３を含む部分画像に相当する位置にある部分画像５１１（すなわち、第２全天球画像における、画角４０１に相当する部分画像。以下、第１部分画像５１１と称する）を想定する。画像生成部３０は、第４被写体４０４と、第５被写体４０５と、第４被写体４０４および第５被写体４０５の間に第１部分画像５１１が含まれる部分画像（すなわち、第２全天球画像における、画角４０６に相当する部分画像。以下、第２部分画像と称する）を想定する。画像処理部３０は、第２部分画像における、第４被写体４０４と第５被写体４０５の左右の位置関係が維持されるような二次元画像を作成する。
　なお、時刻ｔ１において撮像された第１全天球画像５００における主要被写体の位置を尊重して二次元画像を生成するのは、以下の理由による。画像生成部３０は、時刻ｔ１において撮像された第１全天球画像５００から、第３被写体４０３を含む２次元画像（フレーム）を生成する。すなわち、ユーザは、２次元動画を再生した映像としては、画角４０１に相当する方向を所定期間観ていることになる。そして、時刻ｔ２になって主要被写体が、第３被写体４０３から第４被写体４０４と、第５被写体４０５に変更になる。その結果、画像生成部３０は、時刻ｔ２において撮像された第２全天球画像５１０から、第４被写体４０４と第５被写体４０５とを含む２次元画像（フレーム）を生成する。２次元動画を再生した映像として、画角４０１に相当する方向を所定期間観ていたユーザにとって、第３被写体４０３の位置（すなわち、画角４０１に相当する方向）を基準として、第４被写体４０４と第５被写体４０５とを配置することによって、３次元空間の被写体の配置を理解しやすくなるからである。つまり、図１３（a）において、撮像装置２からみて画角４０１の方向を基準にすると、第４被写体４０４は左に、第５被写体４０５は右に存在する。したがって、２次元動画の再生時に、第３被写体４０３を含む２次元画像（フレーム）から第４被写体４０４と、第５被写体４０５とを含む２次元画像（フレーム）に切り替わった際、当該２次元画像において、第４被写体４０４は左に、第５被写体４０５は右に配置することでユーザの違和感を減少させることができる。
　このように、時間的に前のフレームの画角を尊重して画角を決定することで、急なシーンチェンジによる鑑賞時の混乱を回避することができる。つまり、前フレームとは全く違う方向が急に再生されると、全天球画像のどの部分を切り出した画面なのかが分からなくなってしまう可能性がある。本実施形態の画像生成部３０は、上述したように、前フレームの画角を尊重して画角を決定するので、空間の把握が容易な、鑑賞に適した二次元動画を作成することができる。
　なお、「左右の位置関係が維持される」とは、上下の位置関係を無視し、左右方向のみの位置関係を考えたときに、その関係が維持されていることを意味する。つまり、上下の位置関係がどれだけ変化しようとも、左右方向に関する位置関係が維持されてさえいれば、それは左右の位置関係が維持されたことになる。
　上述した実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の構成により、全天球画像から鑑賞に適した二次元画像を自動的に生成することができる。
（第３の実施の形態の変形例）
　なお、撮像部２０、画像生成部３０、および表示部４０のうち２つ以上を単一の装置が有していてもよい。例えば、撮像装置２が撮像部２０に加えて画像生成部３０を有していてもよい。この場合、撮像装置２が画像処理装置３の役割を兼ね備える。従って、画像処理装置３は画像処理システム１に含まれていなくてよい。別の例として、画像処理装置３が画像生成部３０に加えて表示部４０を有していてもよい。この場合、画像処理装置３が再生装置４の役割を兼ね備える。従って、再生装置４は画像処理システム１に含まれていなくてよい。別の例として、撮像装置２が撮像部２０に加えて画像生成部３０および表示部４０を有していてもよい。この場合、撮像装置２が画像処理装置３および再生装置４の役割を兼ね備える。すなわち、撮像装置２は、単独で画像処理システム１と同等の機能を提供する。
　図１０は、画像処理装置３と再生装置４とを兼ね備える電子機器１０００を模式的に示すブロック図である。電子機器１０００は、例えばスマートフォンやタブレット端末である。電子機器１０００は、画像生成部３０、入力部３１、出力部３２、表示部４０、制御部４２、および操作部４３を有する。電子機器１０００は、二次元動画の作成、作成した二次元動画の表示部４０による再生、作成した二次元動画の記憶媒体５２への記憶、全天球画像の表示部４０による再生を行うことができる。なお、電子機器１０００の各部の動作については、第１の実施の形態と同一であるので、説明を省略する。
　上述した変形例によれば、次の作用効果が得られる。
（２）本実施形態の構成により、上述した実施の形態と同様の作用効果が得られる。
　なお、画像生成部３０による二次元動画の作成は、撮像部２０による全天球動画の作成と並行してリアルタイムに成されてもよいし、全天球動画の作成が完了してから開始されてもよい。同様に、表示部４０による二次元動画の表示は、画像生成部３０による二次元動画の作成と並行してリアルタイムに成されてもよいし、二次元動画の作成が完了してから開始されてもよい。
　上述した変形例によれば、次の作用効果が得られる。
（３）本実施形態の構成により、全周画像から鑑賞に適した二次元画像を自動的に生成することができる。
　以上、左右方向に被写体が存在する例について説明したが、２つの主要被写体が左右以外の方向に存在する場合についても同様である。また、主要被写体が左右方向だけでなく上下方向にも移動するような場合には、左右の位置関係が維持されるのではなく、上下の位置関係が維持されるように二次元画像を作成してもよい。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１７年第４８８６１号（２０１７年３月１４日出願）
１…画像処理システム、２…撮像装置、３…画像処理装置、４…再生装置、２０…撮像部、３０…画像生成部、３１…入力部、４０…表示部、４２…制御部

Claims (10)

  1. 　第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、
    　前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、
    　前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像生成部と、
    を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記画像の前記表示部に表示されていない部分を表示させる制御は、前記画像の前記表示部に表示されていない部分の少なくとも一部を表示させる制御である画像処理装置。
  3. 　第１被写体と第２被写体とが撮像された画像の一部であって、表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体が表示された後に前記第２被写体が表示され、再度前記第１被写体が前記表示部に表示されるのに使用される第１画像データを入力する入力部と、
    　前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離と、
    　前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離とに基づいて、前記第１被写体と前記第２被写体とを配置した第２画像データを前記第１画像データから生成する画像生成部と、
    を備える画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記画像生成部は、前記第１距離が前記第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する画像処理装置。
  5. 　第１被写体と第２被写体とが撮像された画像を表示する表示部と、
    　前記表示部に表示された、前記画像の一部を第１方向に移動させて、前記画像の前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体を表示させた後に前記第２被写体を表示させ、再度前記第１被写体を前記表示部に表示させる制御部と、
    　前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離が、
    　前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した画像データを生成する画像生成部と、
    を備える電子機器。
  6. 　第１被写体と第２被写体とが撮像された第１画像データを表示する表示部と、
    　前記表示部に表示された、前記第１画像データの一部を第１方向に移動させて、前記第１画像データの前記表示部に表示されていない部分を表示させる制御を繰り返すことによって、前記第１被写体を表示させた後に前記第２被写体を表示させ、再度前記第１被写体を前記表示部に表示させる制御部と、
    　前記第１被写体が前記表示部に表示されてから前記第２被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第１距離と、
    　前記第２被写体が前記表示部に表示されてから前記第１被写体が前記表示部に表示されるまでに、前記表示部に表示される画像が移動した第２距離とに基づいて、前記第１被写体と前記第２被写体とを配置した第２画像データを前記第１画像データから生成する画像生成部と、
    を備える電子機器。
  7. 　請求項６に記載の電子機器であって、
    　前記画像生成部は、前記第１距離が前記第２距離よりも長い場合は、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した第２画像データを前記第１画像データから生成する電子機器。
  8. 　撮像部によって撮像された第１被写体と第２被写体とを含む全周画像を入力する入力部と、
    　前記全周画像における、前記第１被写体と、前記第２被写体と、前記第１被写体から前記第２被写体までの最短経路に存在する第３被写体とが含まれる部分画像における、前記第１被写体から前記第２被写体への方向を第１方向とし、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した画像を前記全周画像から生成する画像生成部と、
    を備える画像処理装置。
  9. 　撮像部によって撮像された第１被写体と第２被写体とを含む全周画像を入力する入力部と、
    　前記全周画像における、前記第１被写体から前記第２被写体までの最短経路に基づいて、前記第１被写体と前記第２被写体とを配置した画像を前記全周画像から生成する画像生成部と、
    を備える画像処理装置。
  10. 　請求項９に記載の画像処理装置であって、
    　前記画像生成部は、前記全周画像における、前記第１被写体と、前記第２被写体と、前記最短経路に存在する第３被写体とが含まれる部分画像における、前記第１被写体から前記第２被写体への方向を第１方向として特定し、前記第１被写体と前記第２被写体とを含み、前記第１被写体の前記第１方向側に前記第２被写体を配置した前記画像を前記全周画像から生成する画像処理装置。
PCT/JP2018/009648 2017-03-14 2018-03-13 画像処理装置および電子機器 WO2018168823A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019506032A JP7172982B2 (ja) 2017-03-14 2018-03-13 画像処理装置
CN201880030968.5A CN110622501B (zh) 2017-03-14 2018-03-13 图像处理装置及电子设备
US16/493,235 US10992861B2 (en) 2017-03-14 2018-03-13 Image processing device and electronic device
US17/217,582 US11716539B2 (en) 2017-03-14 2021-03-30 Image processing device and electronic device
JP2022177395A JP2023017920A (ja) 2017-03-14 2022-11-04 画像処理装置
US18/208,492 US20230328382A1 (en) 2017-03-14 2023-06-12 Image processing device and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-048861 2017-03-14
JP2017048861 2017-03-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/493,235 A-371-Of-International US10992861B2 (en) 2017-03-14 2018-03-13 Image processing device and electronic device
US17/217,582 Division US11716539B2 (en) 2017-03-14 2021-03-30 Image processing device and electronic device

Publications (1)

Publication Number Publication Date
WO2018168823A1 true WO2018168823A1 (ja) 2018-09-20

Family

ID=63523024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009648 WO2018168823A1 (ja) 2017-03-14 2018-03-13 画像処理装置および電子機器

Country Status (4)

Country Link
US (3) US10992861B2 (ja)
JP (2) JP7172982B2 (ja)
CN (1) CN110622501B (ja)
WO (1) WO2018168823A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160126A (ja) * 2019-03-25 2020-10-01 株式会社大林組 孔壁撮影装置
JP7363226B2 (ja) 2019-09-06 2023-10-18 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917565B1 (en) * 2019-03-08 2021-02-09 Gopro, Inc. Image capture device with a spherical capture mode and a non-spherical capture mode

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211105A (ja) * 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP2011188163A (ja) * 2010-03-08 2011-09-22 Sony Corp 撮像制御装置、撮像制御方法
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017169369A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324386A (ja) 1999-05-07 2000-11-24 Sony Corp 魚眼レンズを用いた録画再生装置
JP2004201231A (ja) 2002-12-20 2004-07-15 Victor Co Of Japan Ltd 監視用ビデオカメラシステム
JP2006287942A (ja) 2006-04-05 2006-10-19 Sony Corp 画像表示装置及び画像表示方法
JP5093557B2 (ja) * 2006-10-10 2012-12-12 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2011040898A (ja) 2009-08-07 2011-02-24 Casio Computer Co Ltd 撮像再生装置及びプログラム
WO2011108043A1 (ja) * 2010-03-04 2011-09-09 パナソニック株式会社 画像表示装置及び画像表示方法
KR101663321B1 (ko) * 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
JP2012119804A (ja) 2010-11-30 2012-06-21 Canon Inc 画像記録装置
JP5872171B2 (ja) 2011-02-17 2016-03-01 クラリオン株式会社 カメラシステム
JP5870636B2 (ja) * 2011-11-09 2016-03-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2013218432A (ja) 2012-04-05 2013-10-24 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
KR20150107382A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 전자장치 및 전자장치의 콘텐츠 표시방법
US9836655B2 (en) * 2014-06-24 2017-12-05 Nec Corporation Information processing apparatus, information processing method, and computer-readable medium
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
US10311332B2 (en) * 2016-01-26 2019-06-04 Huawei Technologies Co., Ltd. Orientation-based subject-matching in images
TW201738847A (zh) * 2016-04-28 2017-11-01 國立交通大學 組裝指示系統及組裝指示方法
CN106303283A (zh) * 2016-08-15 2017-01-04 Tcl集团股份有限公司 一种基于鱼眼摄像头的全景图像合成方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211105A (ja) * 2005-01-26 2006-08-10 Konica Minolta Holdings Inc 画像生成装置およびシステム
JP2011188163A (ja) * 2010-03-08 2011-09-22 Sony Corp 撮像制御装置、撮像制御方法
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017169369A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160126A (ja) * 2019-03-25 2020-10-01 株式会社大林組 孔壁撮影装置
JP7211191B2 (ja) 2019-03-25 2023-01-24 株式会社大林組 孔壁撮影装置
JP7363226B2 (ja) 2019-09-06 2023-10-18 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
CN110622501A (zh) 2019-12-27
JP2023017920A (ja) 2023-02-07
JP7172982B2 (ja) 2022-11-16
US20230328382A1 (en) 2023-10-12
US20200280679A1 (en) 2020-09-03
CN110622501B (zh) 2021-10-01
US10992861B2 (en) 2021-04-27
JPWO2018168823A1 (ja) 2020-01-16
US11716539B2 (en) 2023-08-01
US20210218892A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
EP3007038B1 (en) Interaction with three-dimensional video
EP3198866B1 (en) Reconstruction of three-dimensional video
JP4878083B2 (ja) 画像合成装置及び方法、プログラム
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP5769813B2 (ja) 画像生成装置および画像生成方法
JP5865388B2 (ja) 画像生成装置および画像生成方法
JP2023017920A (ja) 画像処理装置
US20120026376A1 (en) Anamorphic projection device
JP5477777B2 (ja) 画像取得装置
JP2020004325A (ja) 画像処理装置、画像処理方法およびプログラム
JP2016224173A (ja) 制御装置及び制御方法
JP2014086988A (ja) 画像表示装置及びプログラム
WO2018168825A1 (ja) 画像処理装置および電子機器
JP2011108028A (ja) 画像再生装置、撮像装置、画像再生方法
WO2018168824A1 (ja) 画像処理装置および電子機器
US9307142B2 (en) Imaging method and imaging apparatus
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
JP6197849B2 (ja) 画像表示装置及びプログラム
KR102596487B1 (ko) 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
TWM520772U (zh) 全景影像錄影及擬真觀看系統
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18766868

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506032

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18766868

Country of ref document: EP

Kind code of ref document: A1