WO2013015148A1 - 画像処理システム、情報処理装置、プログラム及び画像処理方法 - Google Patents

画像処理システム、情報処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2013015148A1
WO2013015148A1 PCT/JP2012/068057 JP2012068057W WO2013015148A1 WO 2013015148 A1 WO2013015148 A1 WO 2013015148A1 JP 2012068057 W JP2012068057 W JP 2012068057W WO 2013015148 A1 WO2013015148 A1 WO 2013015148A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
slit
movement direction
camera movement
unit
Prior art date
Application number
PCT/JP2012/068057
Other languages
English (en)
French (fr)
Inventor
新 篠崎
久保　允則
高之 中富
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013015148A1 publication Critical patent/WO2013015148A1/ja
Priority to US14/164,428 priority Critical patent/US9781340B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Definitions

  • the present invention relates to an image processing system, an information processing apparatus, a program, an image processing method, and the like.
  • a method for generating a panoramic image using a digital camera has been devised.
  • a single panoramic image is generated by connecting a plurality of still images captured by moving the imaging unit in one direction.
  • Patent Document 2 describes a method for creating a panoramic video mainly for navigation.
  • a slit is cut out from a continuous video shot by a vehicle-mounted fixed camera, and panorama synthesis is performed.
  • panorama synthesis is performed.
  • JP 2010-028764 A Japanese Patent No. 0346493
  • Patent Literature 1 and Patent Literature 2 describe only a method of generating a panoramic image by moving the imaging unit in one direction, and generating a panoramic image by moving the imaging unit in a plurality of directions. The method is not described.
  • an image processing system an information processing apparatus, a program, and an image that can generate a panoramic image based on an image slit when the imaging unit is moved in a plurality of directions and shooting is performed.
  • a processing method or the like can be provided.
  • a panoramic image when the imaging unit is moved in a plurality of directions and shooting is performed, a panoramic image can be generated based on the image slit and the alignment slit.
  • An image processing system, an information processing apparatus, a program, an image processing method, and the like can be provided.
  • One aspect of the present invention is an image acquisition unit that continuously acquires still images, a direction determination unit that determines a camera movement direction that is a direction in which an imaging unit being shot is moved, and the acquired continuously
  • An image slit generating unit that generates an image slit based on a still image
  • a panoramic image generating unit that performs a composition process of the image slit and generates a panoramic image, and the direction determination unit includes the imaging unit.
  • the panorama image generation unit determines a composite position of the image slit based on the camera movement direction at the time of continuously capturing the still image, and the composite of the image slit. It performs management related to an image processing system for generating the panoramic image.
  • a still image used to generate an image slit can be continuously acquired, and the current camera Determine the direction of movement. Further, an image slit is generated based on the still images acquired continuously. Then, based on the camera movement direction, a composite position of the image slit is determined and composite processing is performed. As described above, by using the image slit, the distortion of the perspective due to the motion parallax is reduced, and the angle of view with respect to a plurality of directions is larger than the panoramic image generated by moving the imaging unit in one camera moving direction. A wide panoramic image can be generated.
  • the image processing apparatus includes an alignment slit generation unit that generates an alignment slit based on the still images acquired continuously, and the panoramic image generation unit
  • the composite position of the image slit is determined based on the camera movement direction at the time of still image shooting and the alignment slit, the composite processing of the image slit is performed, and the panoramic image is generated. Good.
  • the alignment slit generator may generate the alignment slit so that the long side of the image slit and the long side of the alignment slit are orthogonal to each other.
  • the alignment slit generator may set the first area and the second area by a straight line passing through the center of the still image, and the first alignment may be performed from the first area.
  • a slit may be generated, and a second alignment slit may be generated from the second region.
  • the alignment slit generation unit may change a position for extracting the alignment slit in the still image based on the motion information of the imaging unit acquired from the motion information acquisition unit.
  • the alignment slit may be generated.
  • the alignment slit is extracted from the same position as the previous one, and the search process for the overlapping area with the alignment slit is efficiently performed in the synthesis destination image. It becomes possible.
  • the panoramic image generation unit may be configured so that the camera movement direction is in a direction perpendicular to the first camera movement direction when it is determined that the camera movement direction is the second camera movement direction.
  • the synthesis position may be shifted, and the panorama image may be generated by performing the synthesis process so that a part of the alignment slit and a part of the current image slit overlap.
  • the direction determination unit may capture the first camera movement direction and the second camera after shooting while moving the imaging unit in the first camera movement direction. After moving the imaging unit in a third camera movement direction, which is a direction different from the movement direction, and moving the imaging unit in the third camera movement direction, the imaging unit is moved in the second camera movement direction.
  • the camera moving direction is determined, and the panoramic image generating unit is configured to perform the alignment from an area in the third camera moving direction with reference to the center of the still image.
  • the alignment slit generated based on the still image continuously acquired when the camera movement direction is the first camera movement direction is When the alignment slit is generated from a region in the direction opposite to the third camera movement direction with reference to the center of the still image, the camera movement direction is the second camera. You may use the said alignment slit produced
  • the panoramic image generation unit searches for a position of an overlapping region between the alignment slit and the image slit based on the motion information of the imaging unit acquired from the motion information acquisition unit.
  • the synthesis process may be performed with a limited range.
  • the panoramic image generation unit is configured to output the position based on one of a horizontal component and a vertical component of the motion information of the imaging unit acquired from the motion information acquisition unit.
  • the synthesis process may be performed by limiting a range in which the position of the overlapping area between the alignment slit and the image slit is searched.
  • the image slit generation unit includes the image slit having a long side in a direction corresponding to a component having a small absolute value out of a horizontal component and a vertical component of a vector representing the camera movement direction. It may be generated.
  • the image slit generation unit has a long side in a direction corresponding to a component having a small absolute value out of a horizontal component and a vertical component of the vector representing the camera movement direction.
  • the image slit including the center of the still images acquired continuously may be generated.
  • the panoramic image generation unit has an overlapping region in the camera movement direction when the previous image slit is captured with respect to the previous image slit used in the previous synthesis process.
  • the panorama image may be generated by performing the synthesis process of the image slit of this time.
  • the direction determination unit may determine whether the camera movement direction is the first camera movement direction or the second camera when shooting is performed while moving the imaging unit. You may determine whether it is a moving direction or a third camera moving direction that is different from the first camera moving direction and the second camera moving direction.
  • the panoramic image generation unit performs a process of combining the image slit in the first camera movement direction and a process of combining the image slit in the second camera movement direction in parallel. You may go to
  • the composition of the image slit in the second camera movement direction can be started, so that the image in the first camera movement direction can be started. It is possible to prevent the slit combining process from becoming a bottleneck and to perform panoramic image generation processing at high speed.
  • the panoramic image generation unit may perform an error tolerance lower than the first error tolerance after performing the composition processing of the image slit based on the first error tolerance.
  • the image slit combining process may be performed based on the second error tolerance.
  • the image acquisition unit acquires motion information of the imaging unit from a motion information acquisition unit, and cannot ensure an overlapping region of consecutive image slits in the composition process of the image slits. If the determination is based on the motion information, the still image acquisition process may be stopped.
  • the image acquisition unit has a camera moving speed that is a speed at which the imaging unit is moved based on the motion information of the imaging unit acquired from the motion information acquisition unit.
  • the image acquisition speed may be increased so that the area of the overlapping region of the continuous image slits is larger than a predetermined threshold in the composition process of the image slits.
  • the image slit generation unit has a camera moving speed that is a speed at which the imaging unit is moved based on the motion information of the imaging unit acquired from the motion information acquisition unit.
  • the slit width of the image slit may be increased so that the area of the overlapping region of the continuous image slit becomes larger than a predetermined threshold in the composition process of the image slit.
  • the image acquisition unit may acquire the still images continuously by controlling shutter timing of the imaging unit.
  • the number of still images captured by the imaging unit can be matched with the number of still images acquired by the image acquisition unit, and necessary still images can be captured while preventing unnecessary still images from being captured.
  • An image can be acquired.
  • a direction determination unit that determines a camera moving direction, which is a direction in which an imaging unit being shot is moved, and an image generated based on a still image acquired by the image acquisition unit
  • a panorama image generation unit that performs slit synthesis processing and generates a panoramic image
  • a storage unit that stores the image slit and the generated panorama image.
  • the direction determination unit moves the imaging unit.
  • the camera movement direction is a first camera movement direction or a second camera movement direction that is different from the first camera movement direction
  • the image generation unit is configured to display a composite position of the image slit generated based on the still images acquired continuously, and the camera at the time of capturing the still images acquired continuously. Determined based on the moving direction, it performs the synthesis processing of the image slits relates to an information processing apparatus for generating the panoramic image.
  • the storage unit stores the alignment slit generated by the alignment slit generation unit based on the still images obtained continuously, and the panoramic image generation unit Determining the composite position of the image slit based on the camera movement direction at the time of capturing the still images obtained continuously and the alignment slit, and performing the composite processing of the image slit,
  • the panoramic image may be generated.
  • the panoramic image generation unit when it is determined that the camera movement direction is the second camera movement direction, a direction perpendicular to the first camera movement direction
  • the panorama image may be generated by shifting the compositing position and performing the compositing process so that a part of the alignment slit and a part of the current image slit overlap each other.
  • the image slit has a long side in a direction corresponding to a component having a large absolute value out of a horizontal component and a vertical component of a vector representing the camera movement direction, and is continuously acquired.
  • the center of the still image thus obtained may be included.
  • the panoramic image generator generates an overlapping area in the camera movement direction when the previous image slit is captured with respect to the previous image slit used in the previous synthesis process.
  • the panoramic image may be generated by performing the synthesis process of the image slit this time.
  • a direction determination unit that determines a camera moving direction that is a direction in which an imaging unit that is being imaged is moved, and an image slit that is generated based on a still image acquired by image acquisition
  • the computer functions as a panoramic image generation unit that generates a panoramic image
  • the direction determination unit has the first camera moving direction when the shooting is performed while moving the imaging unit. It is determined whether the direction is a camera movement direction or a second camera movement direction that is different from the first camera movement direction, and the panoramic image generation unit is based on the still images acquired continuously.
  • a composite position of the generated image slit is determined based on the camera movement direction at the time of continuously capturing the still image, and before the image slit Perform a combination process, related to the program for generating the panoramic image.
  • the camera moving direction that is the direction in which the imaging unit during shooting is moved is It is determined whether the first camera movement direction or the second camera movement direction is different from the first camera movement direction, and an image slit is determined based on the still images obtained continuously. Based on the moving direction of the camera at the time of shooting the still images that are generated and continuously acquired, the composite position of the image slit is determined, the composite processing of the image slit is performed, and the panoramic image is generated It relates to the image processing method.
  • FIG. 1 is a system configuration example of the present embodiment.
  • FIG. 2 is a detailed system configuration example of the present embodiment.
  • FIG. 3A to FIG. 3C are explanatory diagrams of perspective deviation due to motion parallax.
  • 4A and 4B are explanatory diagrams of image slits.
  • FIG. 5 is an explanatory diagram of a technique for generating a panoramic image by moving the imaging unit in a plurality of directions.
  • FIG. 6 is an explanatory diagram of an overlapping area.
  • 7A to 7C are explanatory diagrams of the alignment slit.
  • FIG. 8 is an explanatory diagram of a method for synthesizing an image slit using an alignment slit.
  • FIG. 9A and 9B are explanatory diagrams of a method for extracting a plurality of alignment slits from one still image.
  • FIG. 10 is an explanatory diagram of a method of changing the position where the alignment slit is extracted.
  • 11A and 11B show an example of a method for selecting an alignment slit.
  • 12A and 12B show another example of a method for selecting an alignment slit.
  • FIG. 13A to FIG. 13C are explanatory diagrams of a method for limiting the search range for overlapping areas.
  • FIG. 14 is an explanatory diagram of a technique for increasing the image acquisition speed when the shooting speed increases.
  • FIG. 15 is an explanatory diagram of a method for increasing the image slit width when the photographing speed is increased.
  • FIG. 16 is a flowchart for explaining the flow of processing of this embodiment.
  • FIG. 17 is a flowchart for explaining the flow of panorama synthesis of this embodiment.
  • FIG. 18 shows another detailed system configuration example of this
  • Patent Document 2 describes a method for creating a panoramic video mainly for navigation.
  • a slit is cut out from a continuous video shot by a vehicle-mounted fixed camera, and panorama synthesis is performed.
  • panorama synthesis is performed.
  • Patent Literature 1 and Patent Literature 2 describe only a method of generating a panoramic image by moving the imaging unit in one direction, and generating a panoramic image by moving the imaging unit in a plurality of directions. The method is not described.
  • the angle of view of the panoramic image can be adjusted only in the direction in which the imaging unit is moved. For example, with respect to a direction perpendicular to the direction in which the imaging unit is moved The angle of view cannot be increased.
  • still images can be prepared by moving the imaging unit in other directions as well as in one direction. It can be expected to generate a panoramic image with a wider range.
  • an alignment slit is extracted from the still image, and a panoramic image is generated based on the image slit and the alignment slit.
  • FIG. 1 shows a configuration example of an image processing system according to this embodiment.
  • the image processing system is a server on an image processing cloud network.
  • the image processing system may include an HMD (Head Mounted Display), an imaging device (camera), and the like.
  • the image processing system may be an information processing apparatus provided in the HMD or the like.
  • the imaging device provided in the HMD captures a subject while the user shakes his / her neck, generates a still image (or image slit or moving image), and generates the generated still image (or image slit or (Moving image) is transmitted to a server on the image processing cloud network by wireless communication via a base station, a panoramic image is generated by the server, and the panoramic image is viewed by the HMD.
  • the present embodiment is merely an example, and the image processing system is not limited to the configuration in FIG. 1, and various modifications such as omitting some of these components or adding other components. Implementation is possible.
  • the method of transmitting a still image or the like to the image processing system is not limited to wireless communication, and may be wired communication.
  • the image processing system is an information processing apparatus provided in the HMD, it is not always necessary to receive a still image or the like via a network. A still image or the like may be acquired via an internal bus or the like. Good.
  • the imaging device does not necessarily have to be integrated with the HMD, and may be a handheld camera or the like. Further, there may be no output device (HMD or the like).
  • FIG. 2 shows a detailed configuration example of the image processing system of the present embodiment.
  • the image processing system 200 includes a direction determination unit 210, a panoramic image generation unit 220, a storage unit 230, an I / F unit 240, an image slit generation unit 250, an alignment slit generation unit 260, and an image acquisition unit ( Sampling unit) 270.
  • the image processing system 200 is not limited to the configuration shown in FIG. 2, and various modifications such as omitting some of these components or adding other components are possible.
  • the image processing system 200 may be configured by a plurality of information processing apparatuses.
  • the image processing system 200 is connected to the imaging device 100 and the presentation unit 300.
  • the imaging apparatus 100 there is a camera provided in an HMD or the like.
  • An example of the image processing system 200 is a server on an image processing cloud network.
  • the presentation unit 300 there is an HMD or the like.
  • the imaging apparatus 100 includes an imaging unit 12, an encoder 14, a motion information acquisition unit 16, and an I / F unit 18.
  • the imaging apparatus 100 is not limited to the configuration in FIG. 2, and various modifications such as omitting some of these components or adding other components are possible.
  • the imaging unit 12, the encoder 14, the motion information acquisition unit 16, and the I / F unit 18 are connected by an internal bus.
  • the unit (sampling unit) 270 is connected by an internal bus.
  • the imaging unit (camera) 12 photographs a subject.
  • the imaging unit 12 includes an imaging element such as a CCD and an optical system. Further, a device (processor) used for image processing or the like can be included.
  • the encoder 14 encodes the moving image obtained from the imaging unit 12 using a moving image codec such as MPEG.
  • the function of the encoder 14 can be realized by hardware such as various processors (CPU or the like), ASIC (gate array or the like), a program, or the like.
  • the motion information acquisition unit 16 acquires motion information of the imaging unit 12.
  • the movement information acquisition unit 16 may be an orientation sensor such as a geomagnetic sensor, an acceleration sensor, a gyro sensor, or the like, and may acquire sensor information obtained from the sensor as movement information of the imaging unit 12.
  • the azimuth sensor is, for example, a geomagnetic sensor, and measures the azimuth that the sensor is facing at an angle (0 ° to 360 °).
  • the geomagnetic sensor is composed of, for example, an element whose resistance value or impedance value increases or decreases depending on the strength of the magnetic field, and detects triaxial geomagnetic information.
  • the acceleration sensor is composed of an element whose resistance value is increased or decreased by an external force, for example, and detects triaxial acceleration information.
  • the gyro sensor detects triaxial angular velocity information. Moreover, you may use the sensor which has the function of a geomagnetic sensor, an acceleration sensor, and a gyro sensor. Furthermore, the motion information acquisition unit 16 may use position information obtained by GPS as motion information of the imaging unit 12.
  • the motion information acquisition unit 16 may acquire a fluctuation amount such as an imaging range that can be specified from the internal camera parameters as motion information of the imaging unit 12. Further, the motion information acquisition unit 16 may acquire a motion vector obtained in the process of the encoder 14 encoding the moving image captured by the imaging unit 12 from the encoder 14 as motion information. Further, the motion information acquisition unit 16 may obtain the motion information by a tracking algorithm such as an optical flow analysis.
  • the I / F unit 18 notifies the image processing system 200 of information obtained from the imaging unit 12, the encoder 14, and the motion information acquisition unit 16.
  • the direction determination unit 210 determines the camera movement direction, which will be described later.
  • the panoramic image generation unit 220 generates a panoramic image based on the image slit obtained from the image slit generation unit 250 described later.
  • the storage unit 230 stores a database and serves as a work area for the panoramic image generation unit 220 and the like, and its function can be realized by a memory such as a RAM or an HDD (hard disk drive).
  • the storage unit 230 is a still image obtained from an I / F unit 240 or an image acquisition unit (sampling unit) 270 described later, an image slit obtained from the image slit generation unit 250, or an alignment obtained from the alignment slit generation unit 260.
  • a slit, a panorama image generated by the panorama image generation unit 220, and the like may be stored.
  • the I / F unit 240 transmits and receives information between the image processing system 200 and the imaging apparatus 100 and between the image processing system 200 and the presentation unit 300. Note that the I / F unit 240 may perform communication by wire or may perform communication by radio.
  • the image slit generation unit 250 generates an image slit based on a still image obtained from the image acquisition unit 270 described later.
  • the alignment slit generator 260 generates an alignment slit based on a still image obtained from the image acquisition unit 270 described later.
  • the image acquisition unit (sampling unit) 270 acquires a still image from the information acquired from the I / F unit 240, and outputs a series of still images to other functional units. Further, the image acquisition unit (sampling unit) 270 may include a sampling control unit 272.
  • the image acquisition unit (sampling unit) 270 when the I / F unit 240 acquires information including a moving image captured by the imaging apparatus 100, the image acquisition speed (sampling rate) set by the sampling control unit 272. Then, a still image is sampled from the captured moving image, and a series of still images are output to the other functional units.
  • the image acquisition unit 270 acquires a series of still images and outputs this to the other functional units.
  • the method of generating a series of still images does not matter.
  • the imaging device 100 may capture a still image by continuous shooting and generate a series of still images, or the imaging device 100 may capture a moving image and use the moving image in the imaging device 100.
  • a still image may be sampled to generate a series of still images.
  • Sampling control unit 272 sets an image acquisition speed (sampling rate). Furthermore, the sampling control unit 272 uses the set sampling rate as the shutter speed and the shooting interval when the imaging device 100 captures a still image by performing continuous shooting. You may output to the I / F part 18. FIG.
  • the functions of the direction determination unit 210, the panorama image generation unit 220, the image slit generation unit 250, the alignment slit generation unit 260, and the image acquisition unit (sampling unit) 270 are various processors (CPU, etc.), ASIC (gate array, etc.), etc. It can be realized by hardware and programs.
  • the presentation unit 300 presents a panoramic image or the like obtained from the I / F unit 240 of the image processing system 200 to the user.
  • the presentation unit 300 may include a sound output unit and a vibration unit in addition to the display unit.
  • the imaging apparatus 100 is a smart camera or the like having an image processing function
  • a configuration example as shown in FIG. 18 is possible.
  • the imaging apparatus 100 includes an imaging unit 12, an encoder 14, a motion information acquisition unit 16, an I / F unit 18, an image slit generation unit 250, an alignment slit generation unit 260, and an image acquisition. Part (sampling part) 270.
  • the information processing apparatus 400 includes a direction determination unit 210, a panoramic image generation unit 220, a storage unit 230, and an I / F unit 240.
  • the imaging apparatus 100 and the information processing apparatus 400 are not limited to the configuration in FIG. 18, and various modifications such as omitting some of these components or adding other components are possible. It is.
  • each unit included in the imaging apparatus 100 and the information processing apparatus 400 is the same as that described above.
  • the imaging apparatus 100 only needs to notify the information processing apparatus 400 of only the image slit and the alignment slit, so that the data transfer amount can be suppressed.
  • FIG. 3A shows a state in which a subject OB is photographed while moving an imaging unit.
  • An image when the subject OB is photographed from the imaging unit CAM1 before movement is like an image IM1 shown in FIG. 3B, and an image when the subject OB is photographed from the imaging unit CAM2 after movement is shown in FIG.
  • image slits such as SL1 are extracted from the sampled still image SIM1, and the image slits are combined to generate a panoramic image.
  • the image slit is like SL2 including the center point CP of the still image SIM2.
  • the image slit is generated so as to have the long side in the vertical direction of the still image, but the image slit is generated so as to have the long side in the horizontal direction. May be.
  • a panorama having a two-dimensional spread is obtained by moving the imaging unit CAM so as to draw a zigzag locus so that the locus of the imaging unit CAM becomes natural.
  • An image PIM is generated from one moving image.
  • the imaging unit is moved in a third camera movement direction DR3 described later, and finally a second camera movement described later. Imaging is performed by moving the imaging unit CAM in the direction DR2. Further, after moving the imaging unit CAM in the second camera movement direction DR2, the imaging unit CAM may be continuously moved in another camera movement direction to perform shooting.
  • the extraction (sampling) of still images used for synthesizing panoramic images may be performed inside the imaging apparatus, or a communication unit is provided and wired or wirelessly connected. It may be performed on an image processing system such as a computer.
  • a subject is photographed in a range close to the visual field by a head-mounted imaging unit CAM as shown in FIG.
  • the head-mounted imaging unit CAM it is possible to easily shoot a moving image linked to the movement of the neck when looking around the landscape, and to generate a panoramic image close to the landscape as seen.
  • a process of specifying an overlapping region in the short side direction of the image slit is required.
  • FIG. 6 shows a state where the overlapping area REA is specified in the short side direction of the image slit SL1 and the image slit SL2.
  • the image slits SL1 and SL2 are compared to obtain a portion where the same range of the subject is reflected as an overlapping area REA between the image slits.
  • the short side of the image slit is very short compared to the long side, the area of the overlapping region REA is extremely small when the positions of the image slits SL1 and SL2 are shifted in the horizontal direction as shown in FIG. Therefore, it may be difficult to specify the overlapping area.
  • the overlapping region extends over a plurality of image slits, and when the overlapping region of one image slit is obtained, it must be compared with two image slits.
  • the image slit is synthesized in the first camera moving direction, the short side of the image slit is connected to the short side of the other image slit, and the width of the image after synthesis is sufficiently long.
  • a method of synthesizing the image slit in the second camera movement direction after the image has been obtained can be considered.
  • the upper half of the panoramic image PIM (the part corresponding to the first camera movement direction DR1) is synthesized first, and then the lower half (the part corresponding to the second camera movement direction DR2). Is a method of synthesizing.
  • the overlapping area extends over a plurality of image slits, so that it is relatively easy to specify the overlapping area.
  • the composition of the image slit in the second camera movement direction cannot be started unless the composition of the image slit in the first camera movement direction is completed.
  • the upper half and the lower half of the panoramic image PIM cannot be combined in parallel.
  • the process of combining image slits in the first camera movement direction may become a bottleneck.
  • the image slits are synthesized using the alignment slits PFSL1 to PFSL3 as shown in FIGS. 7 (A) to 7 (C).
  • the alignment slits PFSL1 to PFSL3 are extracted from the still images SIM1 to SIM3 so as to be orthogonal to the image slits.
  • the extraction position of the alignment slit is arbitrary, and for example, extraction positions as shown in FIGS. 7A to 7C are conceivable.
  • the alignment slit may be generated every time the image slit is generated, or the alignment slit may be generated when the image slit is generated a predetermined number of times.
  • the alignment slit is generated when the image slit is generated a predetermined number of times will be described.
  • the image slits are not directly compared to obtain an overlap area, but as shown in FIG. 8, first, an overlap area between the image slit SL1 and the alignment slit PFSL is obtained, and then the image slit SL2 is obtained. And the overlapping area of the alignment slit PFSL is obtained. As a result, it is possible to indirectly obtain the overlapping area REA3 of the image slits SL1 and SL2.
  • the image slits SL1 and SL2 and the alignment slit PFSL in FIG. 8 are generated based on different still images.
  • the alignment slit PFSL is acquired based on the still image when the imaging unit is moved in the first camera movement direction DR1.
  • the image slit SL1 is generated on the basis of another still image captured by continuously moving the imaging unit in the first camera movement direction DR1.
  • the overlapping area REA1 is obtained.
  • the image slit SL1 is arranged and set at the left end of the alignment slit as an initial position. Then, when the image is compared with the alignment slit PFSL while shifting the image slit SL1 to the right from the initial position, and it is determined that the images match, the matching portion is matched with the image slit SL1 and the alignment slit PFSL.
  • the overlapping part is compared.
  • the image slit SL1 is shifted downward and the image slit SL1 is shifted leftward to compare the images. I do. These processes are repeated until the image slit SL1 cannot be moved downward and horizontally. If the overlapping area cannot be specified before the image slit SL1 cannot be moved in the downward and horizontal directions, the image slit cannot be synthesized. Note that when the image slit SL1 and the alignment slit PFSL are obtained from the same still image, the overlapping area REA1 is already known, and thus it is not necessary to perform the above processing.
  • the image slit SL2 is generated on the basis of a still image captured by moving the imaging unit in the second camera movement direction DR2.
  • the image slit SL2 is synthesized, the image slit SL1 is not directly compared with the image, but the alignment slit PFSL and the image slit SL2 are compared to obtain the overlapping area REA2 as described above.
  • the outer frame of the REA 2 is drawn away from the outer frame of the SL 2 for the convenience of illustration, but the outer frame of the REA 2 actually overlaps the outer frame of the SL 2.
  • the overlapping area REA3 between the image slits SL1 and SL2 can be obtained by obtaining a portion where the overlapping areas REA1 and REA2 overlap.
  • This method is different from the method for directly determining the overlapping region of the image slits SL1 and SL2 described above, and in order to determine the overlapping region of the image slit and the alignment slit, even when the image slits SL1 and SL2 are displaced in the horizontal direction, There is an advantage that the area of the overlapping region is not reduced, and it is not difficult to specify the overlapping region.
  • the image slit composition in the second camera movement direction can be started even when the image slit composition in the first camera movement direction is not completed, the image slit in the first camera movement direction can be started. It is possible to prevent the composition process from becoming a bottleneck and to perform a panoramic image generation process at high speed.
  • the composition process in order to perform more accurate image composition, it is desirable to divide the composition process into two stages. That is, as the first combining process, an overlapping area between image slits is obtained by the alignment slit, and the obtained combined position of the image slit is set as a temporary position. Then, after the first synthesizing process is completed, as the second synthesizing process, the accuracy of the synthesis position is increased, and the position of the image slit after the accuracy is set as the true synthesis position. In the second synthesis process, specifically, matching using feature points, three-dimensional reconstruction processing using bundle adjustment, and the like are performed.
  • the third camera movement direction DR3 is not determined in advance as an upward direction or a downward direction, but the alignment obtained when the imaging unit is moved in the first camera movement direction DR1.
  • the slit is not determined in advance as an upward direction or a downward direction, but the alignment obtained when the imaging unit is moved in the first camera movement direction DR1.
  • a plurality of alignment slits may be extracted from one still image.
  • a first alignment slit PFSL1 is extracted from a later-described first region SUB1 of the still image SIM1
  • a second alignment slit PFSL2 is extracted from a later-described second region SUB2.
  • a first alignment slit PFSL3 is extracted from a later-described first area SUB3 of the still image SIM2
  • a second alignment slit PFSL4 is extracted from a later-described second area SUB4. Yes.
  • FIG. 5 when the alignment slit acquired when the imaging unit is moved in the first camera movement direction is used and the third camera movement direction is the upward direction, FIG. In the case where the first alignment slit PFSL1 is used and the third camera movement direction is the downward direction, the second alignment slit PFSL2 in FIG. 9A can be used.
  • the first camera movement direction is set.
  • the positional relationship between the image slit acquired when the image pickup unit is moved and the alignment slit can be determined, the image pickup unit is moved in the second camera moving direction, and the image slit is acquired, so that the overlapping region is obtained. Therefore, the processing time can be shortened.
  • the imaging unit when the imaging unit is moved in the first camera movement direction DR1 and the image PIM1 is generated, the imaging unit is moved in the second camera movement direction DR2.
  • the alignment slit is generated based on a still image captured when the alignment slit is moved in the second camera movement direction DR2.
  • an overlapping area with the image slit is searched from the top to the bottom.
  • the alignment slit is extracted from the same position PFP as before.
  • the search range of the overlapping area in the vertical direction of the image PIM1 changes greatly, and in PIM1, it takes time to search for the overlapping area in proportion to the size of the vertical component of the motion vector DRV.
  • the position where the alignment slit is extracted is dynamically changed based on the motion information obtained by the motion information acquisition unit.
  • the position where the alignment slit is extracted is changed, PFSL2 is extracted, and continuity with PFSL1 is maintained.
  • the search range of the overlapping area in the vertical direction of the image PIM1 is not greatly changed.
  • the alignment slit is extracted from both a still image when the imaging unit is moved in the first camera movement direction and a still image when the imaging unit is moved in the second camera movement direction. Which alignment slit is used for the overlapping area specifying process can be determined as follows.
  • FIG. 11A shows a case where the alignment slit is generated from the third camera movement direction side of the still image, that is, from the upper side of the still image.
  • the alignment slits PFSL1 and PFSL2 are generated based on the still image sampled when the camera movement direction is the first camera movement direction DR1, and the camera movement direction is the second camera movement direction DR2.
  • An alignment slit PFSL3 is generated based on the still image sampled at some time.
  • the image slits are synthesized using the alignment slits PFSL1 and PFSL2 generated based on the still image sampled when the first camera movement direction DR1.
  • FIG. 11B illustrates a case where the alignment slit is generated from the third camera movement direction side of the still image, that is, from the lower side of the still image.
  • alignment slits PFSL4 and PFSL5 are generated based on the still image sampled when the camera movement direction is the first camera movement direction DR1, and the camera movement direction is the second camera movement direction DR2.
  • An alignment slit PFSL6 is generated based on the still image sampled at some time.
  • the alignment slits PFSL4 and PFSL5 generated based on the still image sampled in the first camera movement direction DR1. Is used to synthesize an image slit.
  • FIG. 12A shows a case where the alignment slit is generated from the side opposite to the third camera movement direction of the still image, that is, from the lower side of the still image.
  • the alignment slits PFSL1 and PFSL2 are generated based on the still image sampled when the camera movement direction is the first camera movement direction DR1, and the camera movement direction is the second camera movement direction DR2.
  • An alignment slit PFSL3 is generated based on the still image sampled at some time.
  • the alignment slit PFSL3 is located at the boundary between the upper half and the lower half of the panoramic image.
  • the image slit is synthesized using the alignment slit PFSL3 generated based on the still image sampled when the second camera movement direction DR2.
  • FIG. 12B shows a case where the alignment slit is generated from the side opposite to the third camera movement direction of the still image, that is, from the upper side of the still image.
  • alignment slits PFSL4 and PFSL5 are generated based on the still image sampled when the camera movement direction is the first camera movement direction DR1, and the camera movement direction is the second camera movement direction DR2.
  • An alignment slit PFSL6 is generated based on the still image sampled at some time.
  • the image slits are synthesized using the alignment slit PFSL6 generated based on the still image sampled when the second camera movement direction DR2.
  • an alignment slit PFSL1 and an image slit SL1 are generated from the same still image.
  • an image slit SL2 is generated from different still images and an overlapping region of SL2 is specified.
  • the image slit SL2 is arranged and set at the right end of the alignment slit, the images are compared while moving to the left, and the portion where the images match is determined. Identify as overlapping area. When the images do not match, the image slit SL2 is further moved to the left.
  • the search range SA2 may be set wider by a predetermined number of pixels up, down, left, and right in consideration of a motion vector calculation error or the like.
  • the region may be the search range SA3 (shaded portion). That is, the horizontal position of the image slit SL6 is fixed, and the image is compared with the alignment slit PFSL3 while the image slit SL6 is shifted in the vertical direction. Similar to the search range SA2, the search range SA3 may be set wider by a predetermined pixel up, down, left, and right in consideration of a motion vector calculation error or the like.
  • the still image need not be sampled.
  • the image acquisition speed (sampling rate) is constant when the shooting speed is increased, the overlapping area between the image slits becomes narrower. Alternatively, there is no overlapping area between image slits. As a result, a panoramic image cannot be generated.
  • the shooting speed is reduced, if the sampling rate is constant, unnecessary frames are taken in, and image information becomes more than necessary, and there is a possibility that it cannot be synthesized well.
  • the number of image slits to be combined increases, resulting in a problem that the processing load increases.
  • the sampling rate is increased when the shooting speed is increased.
  • the center interval between the adjacent image slits is within 60 px (including the value).
  • px / frame refers to a pixel value in which a pixel that reflects the same range of a subject moves by 1 frame.
  • 10 px / frame indicates that a pixel that reflects the same range of the subject moves by 10 px during 1 frame.
  • a method of increasing the image slit width is conceivable as another method for securing the overlapping area when the imaging speed is increased.
  • the image acquisition unit 270 that continuously acquires still images
  • the direction determination unit 210 that determines the camera movement direction in which the imaging unit 12 during shooting is moved
  • an image slit generating unit 250 that generates image slits based on continuously acquired still images
  • a panoramic image generating unit 220 that generates a panoramic image by performing image slit combining processing.
  • the direction determination unit 210 has a second camera movement direction that is the first camera movement direction or a direction different from the first camera movement direction. It is determined whether the camera movement direction.
  • the panoramic image generation unit 220 determines the image slit combining position based on the camera movement direction when continuously acquired still images are taken, performs image slit combining processing, and generates a panoramic image. It is characterized by that.
  • a still image used for generating an image slit can be continuously acquired, and the current camera movement direction Can be determined. Furthermore, an image slit can be generated based on still images acquired continuously.
  • acquiring still images continuously means that, when the imaging unit captures still images, it acquires still images captured in continuous shooting while moving the imaging unit continuously. Also, acquiring still images continuously means that when the imaging unit captures moving images, the image acquisition unit 270 samples still images from the captured moving images while continuously moving the imaging unit. Or acquiring a still image sampled by another functional unit such as an imaging unit from a captured moving image.
  • the image slit is a part or all of a predetermined area of a still image obtained continuously and is an image used for generating a panoramic image.
  • the image slit is SL1 in FIG. 4A and SL2 in FIG. 4B.
  • the camera moving direction is the direction of a vector connecting any two different points in the locus drawn when moving the imaging unit.
  • the camera movement direction is DR1, DR2, or DR3 in FIG.
  • the camera movement direction may be set in advance.
  • the other component when one of the horizontal component and the vertical component of the motion vector represented by the motion information of the imaging unit acquired by the motion information acquisition unit described later is continuously large for a certain period, the other component The direction corresponding to one of the larger components may be obtained as the camera movement direction.
  • one direction of the camera movement direction is referred to as a first camera movement direction
  • a direction different from the first camera movement direction is referred to as a second camera movement direction.
  • the camera movement direction is not limited to the first camera movement direction and the second camera movement direction, and a plurality of camera movement directions may be considered.
  • the synthesizing process refers to a process of generating one image by superimposing an image acquired as a result of performing the synthesizing process so far and a newly generated image slit.
  • composition position refers to the relative position of the image slit with respect to the image acquired as a result of performing the composition processing so far in the composition processing.
  • an alignment slit generation unit 260 that generates an alignment slit based on continuously acquired still images may be included. Then, the panorama image generation unit 220 determines the image slit combination position based on the camera movement direction and the alignment slit at the time of continuously acquired still images, and performs image slit combination processing. A panoramic image may be generated.
  • the alignment slit is a part or all of a continuously acquired still image, and refers to an image in which the image slit and a part of the region match but do not completely match.
  • the alignment slits are PFSL1 in FIG. 7A, PFSL2 in FIG. 7B, and PFSL3 in FIG. 7C.
  • the image slit composition in the second camera movement direction can be started even when the image slit composition in the first camera movement direction is not completed, the image slit in the first camera movement direction can be started. It is possible to prevent the composition process from becoming a bottleneck and to perform a panoramic image generation process at high speed.
  • the alignment slit generator 260 may generate the alignment slit so that the long side of the image slit and the long side of the alignment slit are orthogonal to each other.
  • the case where the long side of the image slit and the long side of the alignment slit are orthogonal to each other indicates a state like the image slit SL1 (or SL2) and the alignment slit PFSL in FIG.
  • the long side of the image slit and the long side of the alignment slit may be substantially orthogonal.
  • the generation of the alignment slit is extraction (copying or the like) using a predetermined area of the still image as the alignment slit.
  • the generation of the alignment slit includes generating a new image of the alignment slit based on the still image.
  • the alignment slit generator 260 sets the first region and the second region by a straight line passing through the center of the still image, generates the first alignment slit from the first region, and generates the second region.
  • a second alignment slit may be generated.
  • the first area is one area of the still image divided by a straight line passing through the center of the still image.
  • the other area is referred to as a second area.
  • SIM1 is divided by a straight line passing through the center CP1 of the still image SIM1
  • SUB1 is set as the first area
  • SUB2 is set as the second area.
  • the first area is SUB3 and the second area is SUB4.
  • the alignment slit generation unit 260 changes the position for extracting the alignment slit in the still image based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16, and generates the alignment slit. May be.
  • the motion information refers to sensor information or a motion vector obtained by the motion information acquisition unit.
  • the alignment slit is extracted from the same position as before and the overlapping area with the alignment slit in the synthesis destination image. It is possible to efficiently perform the search process.
  • the panorama image generation unit 220 When the panorama image generation unit 220 determines that the camera movement direction is the second camera movement direction, the panorama image generation unit 220 shifts the synthesis position in a direction perpendicular to the first camera movement direction, and sets the position of the alignment slit.
  • a panorama image may be generated by performing a synthesis process so that a part of the image slit and a part of the current image slit overlap.
  • the image pickup unit is moved in the first camera movement direction DR1 through the image slit SL3 when the image pickup unit is moved in the second camera movement direction DR2.
  • the image slit SL2 is synthesized at a position shifted from the synthesis position of the image slit SL2 in the direction DR3 perpendicular to DR1.
  • the panoramic image generation unit 220 may shift the combined position of the image slit when the imaging unit is moved in the second camera movement direction in a direction substantially perpendicular to the first camera movement direction.
  • the overlapping region is desirably a partial region at the end of the image slit (for example, about 20% of the entire image slit), and in the case where more than half of the image slit overlaps, the original image It can be said that the effect of synthesizing the image slit is small because the angle of view of the image after synthesis does not become so large with respect to the angle of view of the slit.
  • the alignment slit used for the image slit combining process is also an image corresponding to the boundary portion between the image slits.
  • the direction determination unit 210 performs a third direction that is different from the first camera movement direction and the second camera movement direction after shooting while moving the imaging unit 12 in the first camera movement direction.
  • the imaging unit 12 is moved in the camera movement direction, the imaging unit 12 is moved in the third camera movement direction, and then shooting is performed while moving the imaging unit 12 in the second camera movement direction, the camera moves.
  • Direction determination may be performed.
  • the panorama image generation unit 220 generates the alignment slit from the region in the third camera movement direction with reference to the center of the still image, the camera movement direction is the first camera movement direction.
  • An alignment slit generated based on still images acquired continuously sometimes may be used for the composition process.
  • the panorama image generation unit 220 when the panorama image generation unit 220 generates an alignment slit from an area in the direction opposite to the third camera movement direction with reference to the center of the still image, the camera movement direction is the second camera. You may use the alignment slit produced
  • the third camera movement direction is a direction different from the first camera movement direction and the second camera movement direction.
  • the image slit when the image pickup unit is moved in the first camera movement direction and the image slit when the image pickup unit is moved in the second camera movement direction are positioned on the boundary side. It is possible to specify the alignment slit.
  • the panorama image generation unit 220 limits the range for searching for the position of the overlapping area between the alignment slit and the image slit based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16, and performs the synthesis process. May be performed.
  • the overlapping area refers to an area where two images are superimposed in the composition process.
  • FIG. 6 it is a portion like REA.
  • the panoramic image generation unit 220 determines the overlapping region of the alignment slit and the image slit based on one of the horizontal component and the vertical component of the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16.
  • the range of searching for the position may be limited to perform the synthesis process.
  • the distortion of the perspective due to motion parallax increases in the area on the camera movement direction side of the still image and the area on the opposite side thereof (that is, both the left and right ends or the upper and lower ends of the still image). It is desirable that an image serving as a material for generating a panoramic image is not distorted by the perspective.
  • the image slit generation unit 250 may generate an image slit having a long side in a direction corresponding to a component having a small absolute value out of the horizontal component and the vertical component of the vector representing the camera movement direction.
  • the image slit generation unit 250 is an image slit having a long side in a direction corresponding to a component having a small absolute value out of a horizontal component and a vertical component of a vector representing a camera movement direction, and is obtained continuously. An image slit including the center of the image may be generated.
  • the long side LL2 has a long side LL2 in the direction DRP2 corresponding to the component having the smaller absolute value out of the horizontal component and the vertical component of DR2, and the still image SIM2
  • An image slit SL2 including the center CP of is generated.
  • the panoramic image generation unit 220 performs the current image slit composition process so that the image slit used in the previous composition process has an overlapping area in the camera movement direction when the previous image slit is captured. And a panoramic image may be generated.
  • the direction determination unit 210 determines whether the camera movement direction is the first camera movement direction, the second camera movement direction, or the first camera movement when shooting is performed while moving the imaging unit 12. It may be determined whether the third camera movement direction is different from the camera movement direction and the second camera movement direction.
  • the imaging unit is moved so as to draw a zigzag locus and shooting is performed, it is possible to generate a panoramic image that reflects a range wider than the angle of view of the imaging unit in a plurality of directions.
  • the imaging unit is not moved and the user's trouble is saved for the alignment and the like for matching the shooting start position in the first camera movement direction and the shooting start position in the second camera movement direction. It becomes possible. Further, since a material for generating a panoramic image can be prepared by shooting a single moving image, it is possible to further save the user's trouble.
  • the panorama image generation unit 220 may perform in parallel the process of combining the image slit in the first camera movement direction and the process of combining the image slit in the second camera movement direction.
  • the composition of the image slit in the second camera movement direction can be started, so that the image in the first camera movement direction can be started. It is possible to prevent the slit combining process from becoming a bottleneck and to perform panoramic image generation processing at high speed.
  • the panoramic image generation unit 220 performs the image slit composition processing based on the first error tolerance, and then sets the second error tolerance that is lower than the first error tolerance. Based on this, image slit composition processing may be performed.
  • the error tolerance refers to the degree of allowance for deviation from the target position of the imaging unit.
  • the target position is the same distance in the opposite direction to the vector represented by the camera movement direction information acquired when the imaging unit is moved in the first camera movement direction from the current imaging unit position. This refers to the position where the imaging unit is moved.
  • the error tolerance can be said to be an allowable amount of a mismatch rate of overlapping portions of two image slits.
  • the error tolerance is an allowable amount of a difference in pixel position that reflects the same range of the subject.
  • the first error tolerance means a predetermined error tolerance higher than the second error tolerance.
  • the second error tolerance means a predetermined error tolerance lower than the first error tolerance.
  • the image acquisition unit 270 acquires the motion information of the imaging unit 12 from the motion information acquisition unit 16 and determines based on the motion information that an overlapping area of continuous image slits cannot be secured in the image slit composition processing Alternatively, the still image acquisition process may be stopped.
  • the image acquisition unit 270 determines that the camera moving speed, which is the speed at which the imaging unit 12 is moved, is increased based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16, In the slit synthesizing process, the image acquisition speed may be increased so that the area of the overlapping region of successive image slits is larger than a predetermined threshold.
  • the camera moving speed refers to the speed at which the user moves the imaging unit.
  • the image acquisition speed is the number of still images acquired per unit time. Specifically, the image acquisition speed is the same speed as the shutter speed of the imaging unit or a predetermined speed slower than the shutter speed when the I / F unit acquires information including continuous still images.
  • the / F unit acquires information including a moving image, it means a speed (sampling rate) for sampling a still image from the moving image.
  • the image acquisition unit 270 has a camera movement speed that is a speed at which the imaging unit 12 is moved based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16. If it is determined, the image acquisition speed may be increased in the image slit composition process.
  • the setting may be changed to a preset image acquisition speed (sampling rate) having a value larger than the normal image acquisition speed (sampling rate).
  • the image slit generation unit 250 determines that the camera moving speed, which is the speed at which the imaging unit 12 is moved, is increased based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16,
  • the slit width of the image slit may be increased so that the area of the overlapping region of the continuous image slits is larger than a predetermined threshold value.
  • the image slit generation unit 250 has a camera moving speed that is a speed at which the imaging unit 12 is moved based on the motion information of the imaging unit 12 acquired from the motion information acquisition unit 16. If it is determined that the image slit has been formed, the slit width of the image slit may be increased in the image slit combining process.
  • the setting may be changed to a preset slit width having a value larger than the normal slit width.
  • the speed at which the imaging apparatus 100 captures a still image (or the speed at which the imaging apparatus 100 samples a still image from a moving image, hereinafter the same) is faster than the speed at which the image acquisition unit 270 acquires a still image. A part of the still image acquired by the imaging apparatus 100 is not used and is wasted.
  • the speed at which the imaging apparatus 100 captures a still image is slower than the speed at which the image acquisition unit 270 acquires a still image, the image acquisition unit 270 generates an image necessary and sufficient to generate a panoramic image. I can't get it.
  • the image acquisition unit 270 may acquire the still images continuously by controlling the shutter timing of the imaging unit.
  • the shutter timing is controlled by outputting information such as the sampling rate set by the sampling control unit 272 to the imaging apparatus 100.
  • information such as a shutter speed and a shooting interval obtained based on the sampling rate may be output to the imaging apparatus 100.
  • the number of still images captured by the imaging unit can be matched with the number of still images acquired by the image acquisition unit, and necessary still images can be captured while preventing unnecessary still images from being captured.
  • An image can be acquired.
  • the information processing apparatus and the like of the present embodiment may be realized by a program or a computer-readable information storage medium storing the program.
  • a processor such as a CPU executes a program, thereby realizing the information processing apparatus according to the present embodiment.
  • a program stored in the information storage medium is read, and a processor such as a CPU executes the read program.
  • the information storage medium (computer-readable medium) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). Memory, ROM, etc.).
  • a processor such as a CPU performs various processes of the present embodiment based on a program (data) stored in the information storage medium.
  • the information storage medium includes a program (a program for causing a computer to execute the processing of each unit) for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment.
  • the processing flow of this embodiment will be described with reference to the flowcharts of FIGS. 16 and 17.
  • the panorama image generation source of the present invention is not limited to a moving image. Even when the panorama image generation source is a continuously shot still image, it is possible to generate the panorama image in the same flow as described below.
  • the motion information acquisition unit acquires motion information (S2). Then, based on the acquired motion information, it is determined whether or not the imaging unit is moved in a certain direction (S3). When it is determined that the imaging unit is not moved in a certain direction, the process of S2 is performed again. On the other hand, when it is determined that the imaging unit is moved in a certain direction, the imaging speed is obtained based on the motion information, and the sampling rate is set based on the imaging speed (S4). Then, based on the set sampling rate, sampling of the still image is started from the captured moving image (S5).
  • an optimal image slit width is set based on the motion information so that an overlapping area is secured (S6). Then, an image slit having the set image slit width is extracted from the sampled still image (S7). Further, an alignment slit is generated from the still image (S8).
  • step S9 it is determined whether or not the imaging unit is moved. If it is determined that the imaging unit is moved, the process of step S7 is performed again. On the other hand, if it is determined that the imaging unit has not been moved, sampling of the still image is terminated (S10). Finally, panorama composition is performed to generate a panorama image (S11). Details of the panorama composition will be described later.
  • the overlapping range of the image slit and the alignment slit when the imaging unit is moved in the first camera moving direction is obtained (S22).
  • the overlapping range of the image slit and the alignment slit when the imaging unit is moved in the second camera movement direction is obtained (S23).
  • the image slit is synthesized (S24).
  • step S25 it is determined whether the synthesis of all the image slits has been completed. If it is determined that the synthesis of all image slits has not been completed, the process of step S21 is performed again. On the other hand, when it is determined that the synthesis of all the image slits has been completed, a second allowable error range is set (S26). Finally, based on the set second allowable error range, the image slit composition position is improved (S27).
  • Imaging units 12 imaging units, 14 encoders, 16 motion information acquisition units, 18 I / F units, 100 imaging device, 200 image processing system, 210 direction determination unit, 220 panoramic image generation unit, 230 storage unit, 240 I / F unit, 250 image slit generator, 260 alignment slit generator, 270 Image acquisition unit (sampling unit), 272 Sampling control unit 300 Presentation unit, 400 Information processing device

Abstract

画像処理システム２００は、静止画像を連続して取得する画像取得部２７０と、カメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像に基づき画像スリットを生成する画像スリット生成部２５０と、画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０とを含む。そして、方向判定部２１０は、撮像部を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第２のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づき画像スリットの合成処理を行い、パノラマ画像を生成する。

Description

画像処理システム、情報処理装置、プログラム及び画像処理方法
　本発明は、画像処理システム、情報処理装置、プログラム及び画像処理方法等に関係する。
　近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
　特許文献１に記載される手法では、連続撮影された画像から切り出されたスリットに基づいて、パノラマ画像を生成することにより、高速連射及びスリットの合成の高速化、さらには画像合成時の不連続性の解消を図っている。
　また、特許文献２には、主にナビゲーション用途のパノラマ映像の作成方法が記載されている。特許文献２に記載される手法では、車載固定カメラで撮影された連続映像からスリットを切り出し、パノラマ合成を行う。スリット化により、処理負荷の高い特徴点による画像合成を回避し、より高速なパノラマ映像の生成を可能にしている。
　これら特許文献１及び特許文献２に記載されるパノラマ合成を行うことにより、矩形にトリミングした領域（スリット）を繋ぎ合わせて、運動視差を考慮したパノラマ合成を行うことが可能である。
特開２０１０－０２８７６４号公報 特許０３４６６４９３号公報
　しかし、特許文献１及び特許文献２には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法については記載されていない。
　本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、画像スリットに基づいてパノラマ画像を生成できる画像処理システム、情報処理装置、プログラム及び画像処理方法等を提供することができる。
　また、本発明の幾つかの態様によれば、撮像部が複数の方向に移動させられ、撮影が行われる場合に、画像スリットと位置合わせスリットとに基づいて、パノラマ画像を生成することができる画像処理システム、情報処理装置、プログラム及び画像処理方法等を提供することができる。
　本発明の一態様は、静止画像を連続して取得する画像取得部と、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、連続して取得された前記静止画像に基づいて、画像スリットを生成する画像スリット生成部と、前記画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、を含み、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記画像スリットの合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成する画像処理システムに関係する。
　本発明の一態様では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、画像スリットを生成するために用いる静止画像を連続して取得することができ、現在のカメラ移動方向を判定する。さらに、連続して取得された静止画像に基づき、画像スリットを生成する。そして、カメラ移動方向に基づいて、画像スリットの合成位置を決定し、合成処理を行う。以上のようにして、画像スリットを用いることにより運動視差によるパースのゆがみを緩和しつつ、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。
　また、本発明の一態様では、連続して取得された前記静止画像に基づいて、位置合わせスリットを生成する位置合わせスリット生成部を含み、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向と、前記位置合わせスリットとに基づいて、前記画像スリットの前記合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成してもよい。
　これにより、複数の画像スリットに重複領域がまたがっている場合等が問題とならなくなり、重複領域の特定処理を比較的容易にすること等が可能となる。
　また、本発明の一態様では、前記位置合わせスリット生成部は、前記画像スリットの長辺と前記位置合わせスリットの長辺とが直交するように、前記位置合わせスリットを生成してもよい。
　これにより、位置合わせスリットの長辺に画像スリットの短辺を重ねるようにして、重複領域の特定処理を行うこと等が可能になる。
　また、本発明の一態様では、前記位置合わせスリット生成部は、前記静止画像の中心を通る直線により第１の領域と第２の領域を設定し、前記第１の領域から第１の位置合わせスリットを生成し、前記第２の領域から第２の位置合わせスリットを生成してもよい。
　これにより、画像スリットの重複領域を特定する処理において、第１の位置合わせスリットを用いるか、第２の位置合わせスリットを用いるか選択すること等が可能になり、撮像部がどのような方向に動かされた場合でも、カメラ移動方向に応じて、使用する位置合わせスリットを選択して、重複領域を求めること等が可能となる。
　また、本発明の一態様では、前記位置合わせスリット生成部は、動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記静止画像中の前記位置合わせスリットを抽出する位置を変更し、前記位置合わせスリットを生成してもよい。
　これにより、撮像部の位置が大きく変動した場合に、前回までと同じ位置から位置合わせスリットを抽出して、合成先の画像中において、位置合わせスリットとの重複領域の探索処理を効率的に行うこと等が可能となる。
　また、本発明の一態様では、前記パノラマ画像生成部は、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合には、前記第１のカメラ移動方向と垂直な方向に前記合成位置をずらし、前記位置合わせスリットの一部と今回の前記画像スリットの一部が重複するように、前記合成処理を行って、前記パノラマ画像を生成してもよい。
　これにより、撮像部がジグザグな軌跡を描くように移動された場合に、縦横に広範な撮影領域をカバーしたパノラマ画像を生成すること等が可能となる。
　また、本発明の一態様では、前記方向判定部は、前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部を移動させ、前記第３のカメラ移動方向に前記撮像部を移動させた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向の判定を行い、前記パノラマ画像生成部は、前記静止画像の中心を基準にして、前記第３のカメラ移動方向にある領域から前記位置合わせスリットを生成した場合には、前記カメラ移動方向が前記第１のカメラ移動方向である時に連続して取得された前記静止画像に基づき生成された前記位置合わせスリットを、前記合成処理に用い、前記静止画像の中心を基準にして、前記第３のカメラ移動方向とは逆方向にある領域から前記位置合わせスリットを生成した場合には、前記カメラ移動方向が前記第２のカメラ移動方向である時に連続して取得された前記静止画像に基づき生成された前記位置合わせスリットを、前記合成処理に用いてもよい。
　これにより、元の画像スリットの画角に対して、合成後の画像の画角が十分に大きくなるように、画像スリットを合成できる位置合わせスリットを特定すること等が可能となる。
　また、本発明の一態様では、前記パノラマ画像生成部は、動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記位置合わせスリットと前記画像スリットの重複領域の位置を探索する範囲を限定して、前記合成処理を行ってもよい。
　これにより、動き情報により推定される撮像部の移動後の位置周辺に、重複領域の探索範囲を限定することが可能となり、重複領域の特定処理の負担を減らし、高速化を図ること等が可能になる。
　また、本発明の一態様では、前記パノラマ画像生成部は、前記動き情報取得部から取得される前記撮像部の前記動き情報の水平成分と垂直成分のうちのいずれか一方に基づいて、前記位置合わせスリットと前記画像スリットの前記重複領域の位置を探索する範囲を限定して、前記合成処理を行ってもよい。
　これにより、水平方向の動き情報を用いることで、多数存在する位置合わせスリットの中から探索範囲を限定すること等が可能となる。
　また、本発明の一態様では、前記画像スリット生成部は、前記カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ前記画像スリットを生成してもよい。
　これにより、静止画像のカメラ動き方向側の領域とその逆方向側の領域を含まない画像スリットを生成することが可能となり、運動視差によるパースのゆがみの影響を抑えること等が可能になる。
　また、本発明の一態様では、前記画像スリット生成部は、前記カメラ移動方向を表す前記ベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ前記画像スリットであり、連続して取得された前記静止画像の中心を含む前記画像スリットを生成してもよい。
　これにより、静止画像のカメラ動き方向側の領域とその逆方向側の領域を含まず、静止画像の中心を含む画像スリットを生成することが可能となり、より運動視差によるパースのゆがみの影響を抑えること等が可能になる。
　また、本発明の一態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記画像スリットに対して、前回の前記画像スリットを撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記画像スリットの前記合成処理を行って、前記パノラマ画像を生成してもよい。
　これにより、生成された画像スリットをカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
　また、本発明の一態様では、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が前記第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
　これにより、ジグザグな軌道を描くように撮像部を移動させて、パノラマ画像を生成すること等が可能になる。
　また、本発明の一態様では、前記パノラマ画像生成部は、前記第１のカメラ移動方向へ前記画像スリットを合成する処理と前記第２のカメラ移動方向へ前記画像スリットを合成する処理とを並列に行ってもよい。
　これにより、第１のカメラ移動方向への画像スリットの合成が完了していない場合にも、第２のカメラ移動方向への画像スリットの合成が開始できるため、第１のカメラ移動方向への画像スリットの合成処理がボトルネックとなることを防ぎ、パノラマ画像の生成処理を高速に行うこと等が可能となる。
　また、本発明の一態様では、前記パノラマ画像生成部は、第１の誤差許容度に基づいて、前記画像スリットの前記合成処理を行った後に、前記第１の誤差許容度よりも低い誤差許容度である第２の誤差許容度に基づいて、前記画像スリットの前記合成処理を行ってもよい。
　これにより、第１の誤差許容度に基づいて、画像スリットの重複領域の特定を行った後、第２の誤差許容度に基づいて、画像スリットの合成位置の高精度化を行うこと等が可能となる。
　また、本発明の一態様では、前記画像取得部は、動き情報取得部から前記撮像部の動き情報を取得され、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域を確保できないと、前記動き情報に基づき判断した場合には、前記静止画像の取得処理を停止してもよい。
　これにより、連続する画像スリットの重複領域を確保できず、パノラマ画像を生成することができないにも関わらず、静止画像を連続して取得するような無駄な処理を行うことを事前に防ぐこと等が可能になる。
　また、本発明の一態様では、前記画像取得部は、動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記撮像部が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、画像取得速度を大きくしてもよい。
　これにより、パノラマ画像を生成するために、必要な重複領域を持った画像スリットを取得すること等が可能になる。
　また、本発明の一態様では、前記画像スリット生成部は、動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記撮像部が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、前記画像スリットのスリット幅を大きくしてもよい。
　これにより、例えば、画像取得速度（サンプリングレート）がハードウェアやネットワークの限界により増加させられない場合等においても、パノラマ画像を生成するために、必要な重複領域を持った画像スリットを取得すること等が可能になる。
　また、本発明の一態様では、前記画像取得部は、前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得してもよい。
　これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
　また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得部により画像取得された静止画像に基づいて生成された画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、前記画像スリットと生成した前記パノラマ画像とを記憶する記憶部と、を含み、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像に基づいて生成された前記画像スリットの合成位置を、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成する情報処理装置に関係する。
　また、本発明の他の態様では、前記記憶部は、連続して取得された前記静止画像に基づいて、位置合わせスリット生成部により生成された位置合わせスリットを記憶し、前記パノラマ画像生成部は、連続して取得された前記静止画像の撮影時における前記カメラ移動方向と、前記位置合わせスリットとに基づいて、前記画像スリットの前記合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成してもよい。
　また、本発明の他の態様では、前記パノラマ画像生成部は、前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合には、前記第１のカメラ移動方向と垂直な方向に前記合成位置をずらし、前記位置合わせスリットの一部と今回の前記画像スリットの一部が重複するように、前記合成処理を行って、前記パノラマ画像を生成してもよい。
　また、本発明の他の態様では、前記画像スリットは、前記カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の大きい成分に対応する方向に長辺を持ち、連続して取得された前記静止画像の中心を含んでもよい。
　また、本発明の他の態様では、前記パノラマ画像生成部は、前回の前記合成処理に用いた前記画像スリットに対して、前回の前記画像スリットを撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記画像スリットの前記合成処理を行って、前記パノラマ画像を生成してもよい。
　また、本発明の他の態様では、撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、画像取得により画像取得された静止画像に基づいて生成された画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、コンピュータを機能させ、前記方向判定部は、前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、前記パノラマ画像生成部は、連続して取得された前記静止画像に基づいて生成された前記画像スリットの合成位置を、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成するプログラムに関係する。
　また、本発明の他の態様では、静止画像を連続して取得し、撮像部を移動させながら撮影が行われる場合に、撮影中の前記撮像部が移動される方向であるカメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、連続して取得された前記静止画像に基づいて、画像スリットを生成し、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記画像スリットの合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成する画像処理方法に関係する。
図１は、本実施形態のシステム構成例。 図２は、本実施形態の詳細なシステム構成例。 図３（Ａ）～図３（Ｃ）は、運動視差によるパースのずれの説明図。 図４（Ａ）、図４（Ｂ）は、画像スリットの説明図。 図５は、撮像部を複数の方向に移動させてパノラマ画像を生成する手法の説明図。 図６は、重複領域の説明図。 図７（Ａ）～図７（Ｃ）は、位置合わせスリットの説明図。 図８は、位置合わせスリットを用いて画像スリットを合成する手法の説明図。 図９（Ａ）、図９（Ｂ）は、１枚の静止画像から複数の位置合わせスリットを抽出する手法の説明図。 図１０は、位置合わせスリットを抽出する位置を変更する手法の説明図。 図１１（Ａ）、図１１（Ｂ）は、位置合わせスリットを選択する手法の一例。 図１２（Ａ）、図１２（Ｂ）は、位置合わせスリットを選択する手法の他の例。 図１３（Ａ）～図１３（Ｃ）は、重複領域を探索する範囲を限定する手法の説明図。 図１４は、撮影速度が上がった場合に画像取得速度を大きくする手法の説明図。 図１５は、撮影速度が上がった場合に画像スリット幅を大きくする手法の説明図。 図１６は、本実施形態の処理の流れを説明するフローチャート。 図１７は、本実施形態のパノラマ合成の流れを説明するフローチャート。 図１８は、本実施形態の他の詳細なシステム構成例。
　以下、本実施形態について説明する。まず、概要を説明し、次に本実施形態のシステム構成例を説明する。次に、具体的な実施例を提示した後に、本実施形態の手法について説明する。そして最後に、フローチャートを用いて本実施形態の処理の流れについて説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．概要
　近年、デジタルカメラを用いて、パノラマ画像を生成する手法が考案されている。パノラマ画像を生成する場合には、撮像部を一方向に移動させて撮影した複数の静止画像を繋ぎ合わせて、一枚のパノラマ画像を生成する。
　また、撮像部を移動させながら撮影を行った場合、後述する図３（Ａ）～図３（Ｃ）に示すように、運動視差により、撮影した静止画像のパースにずれが生じてしまう。この場合には、パースのずれが原因で静止画像の合成が破綻し、パノラマ画像が生成できないことがある。そこで、パースのずれによる影響を緩和するため、静止画像から画像スリットを抽出して、画像スリットを用いてパノラマ画像を生成する手法が考案されている。その手法の一例として、前述の特許文献１及び特許文献２がある。
　特許文献１に記載される手法では、連続撮影された画像から切り出されたスリットに基づいて、パノラマ画像を生成することにより、高速連射及びスリットの合成の高速化、さらには画像合成時の不連続性の解消を図っている。
　また、特許文献２には、主にナビゲーション用途のパノラマ映像の作成方法が記載されている。特許文献２に記載される手法では、車載固定カメラで撮影された連続映像からスリットを切り出し、パノラマ合成を行う。スリット化により、処理負荷の高い特徴点による画像合成を回避し、より高速なパノラマ映像の生成を可能にしている。
　これら特許文献１及び特許文献２に記載されるパノラマ合成を行うことにより、矩形にトリミングした領域（スリット）を繋ぎ合わせて、運動視差を考慮したパノラマ合成を行うことが可能である。
　しかし、特許文献１及び特許文献２には、撮像部を一方向に移動させて、パノラマ画像を生成する手法についてのみ記載されており、複数の方向に撮像部を移動させてパノラマ画像を生成する手法については記載されていない。
　撮像部を一方向に移動させてパノラマ画像を生成する手法では、撮像部を動かす方向にしかパノラマ画像の画角を調整することができず、例えば、撮像部を動かす方向と垂直な方向に対しては、画角を大きくすることができない。
　ここで、撮像部を複数の方向に移動させながら撮影を行えば、一方向だけでなく、他の方向に撮像部を移動させて撮影した静止画像を準備することができ、複数方向の画角を広げたパノラマ画像を生成することが期待できる。
　そこで、本実施形態では、撮像部を複数の方向に移動させながら撮影が行われる場合に、静止画像を連続して取得し、さらに、連続して取得した静止画像から画像スリットを抽出し、抽出した画像スリットに基づいて、パノラマ画像を生成する。
　また、画像スリット同士の重複領域は、静止画像同士の重複領域よりも面積が小さいため、重複領域を特定することが困難である。そこで、本実施形態では、画像スリットの他に、静止画像から位置合わせスリットを抽出し、画像スリットと位置合わせスリットとに基づいて、パノラマ画像を生成する。
　２．システム構成例
　まず、図１に本実施形態の画像処理システムの構成例を示す。本実施形態では、画像処理システムは、画像処理クラウドネットワーク上のサーバであることを想定している。また、画像処理システムは、画像処理クラウドネットワークの他にも、ＨＭＤ（Head Mounted Display）や、撮像装置（カメラ）などを含んでもよい。さらに、画像処理システムは、ＨＭＤ等に設けられた情報処理装置であってもよい。
　本実施形態では、ＨＭＤに設けられた撮像装置により、ユーザが首を振りながら被写体を撮影して、静止画像（または画像スリットや動画像）を生成し、生成された静止画像（または画像スリットや動画像）を画像処理クラウドネットワーク上のサーバに、基地局を介して無線通信で送信して、サーバでパノラマ画像を生成し、ＨＭＤでパノラマ画像を鑑賞することを想定している。
　ただし、本実施形態はあくまでも一例であり、画像処理システムは図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、静止画像等を画像処理システムへ送信する方法は、無線通信に限られず、有線通信でもよい。そして、画像処理システムが、ＨＭＤに設けられた情報処理装置である場合などには、必ずしもネットワークを介して、静止画像等を受信する必要はなく、内部バス等を通じて静止画像等を取得してもよい。また、撮像装置は必ずしもＨＭＤと一体になっている必要はなく、手持ちのカメラ等であってもよい。さらに、出力デバイス（ＨＭＤ等）はなくてもよい。
　次に、図２に本実施形態の画像処理システムの詳細な構成例を示す。画像処理システム２００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、画像スリット生成部２５０と、位置合わせスリット生成部２６０と、画像取得部（サンプリング部）２７０と、を含む。ただし、画像処理システム２００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。例えば、画像処理システム２００は、複数の情報処理装置によって構成されていてもよい。
　そして、画像処理システム２００は、撮像装置１００と、提示部３００とに接続される。撮像装置１００の一例としては、ＨＭＤ等に設けられたカメラ等がある。そして、画像処理システム２００の一例としては、画像処理クラウドネットワーク上のサーバ等がある。さらに、提示部３００の一例としては、ＨＭＤ等がある。
　撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、を含む。ただし、撮像装置１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
　次に各部の接続について説明する。撮像装置１００では、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８とが内部バスにより接続される。また、画像処理システム２００では、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、画像スリット生成部２５０と、位置合わせスリット生成部２６０と、画像取得部（サンプリング部）２７０とが内部バスにより接続される。
　次に、撮像装置１００の各部で行われる処理について説明する。
　撮像部（カメラ）１２は、被写体を撮影する。この撮像部１２は、例えばＣＣＤ等の撮像素子と光学系を含む。また画像処理等に用いられるデバイス（プロセッサ）を含むことができる。
　エンコーダ１４は、撮像部１２から得られた動画像をＭＰＥＧ等の動画コーデックにより、エンコードを行う。このエンコーダ１４の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　動き情報取得部１６は、撮像部１２の動き情報を取得する。動き情報取得部１６は、地磁気センサ等の方位センサや、加速度センサ、ジャイロセンサ等のセンサであってもよく、センサから得られるセンサ情報を、撮像部１２の動き情報として取得してもよい。方位センサは、例えば地磁気センサ等であり、センサの向いている方位を角度（０°～３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。加速度センサは、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。ジャイロセンサは、三軸の角速度情報を検知する。また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、動き情報取得部１６は、ＧＰＳにより得られる位置情報を、撮像部１２の動き情報として用いてもよい。
　また、動き情報取得部１６は、内部カメラパラメータから特定できる撮像範囲などの変動量を、撮像部１２の動き情報として取得してもよい。さらに、動き情報取得部１６は、撮像部１２により撮影された動画像をエンコーダ１４がエンコードする過程で得られる動きベクトルを、動き情報としてエンコーダ１４から取得してもよい。また、動き情報取得部１６は、オプティカルフロー解析などのトラッキングアルゴリズムにより動き情報を求めても良い。
　Ｉ／Ｆ部１８は、撮像部１２、エンコーダ１４、動き情報取得部１６から得られる情報を画像処理システム２００に通知する。
　次に、画像処理システム２００の各部で行われる処理について説明する。
　方向判定部２１０は、後述するカメラ移動方向の判定を行う。
　パノラマ画像生成部２２０は、後述する画像スリット生成部２５０から得られる画像スリットに基づいて、パノラマ画像を生成する。
　記憶部２３０は、データベースを記憶したり、パノラマ画像生成部２２０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。記憶部２３０は、後述するＩ／Ｆ部２４０又は画像取得部（サンプリング部）２７０から得られる静止画像や、画像スリット生成部２５０から得られる画像スリット、位置合わせスリット生成部２６０から得られる位置合わせスリット、パノラマ画像生成部２２０により生成されたパノラマ画像等を記憶してもよい。
　Ｉ／Ｆ部２４０は、画像処理システム２００と撮像装置１００間、及び画像処理システム２００と提示部３００間で、情報の送受信を行う。なお、Ｉ／Ｆ部２４０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
　画像スリット生成部２５０は、後述する画像取得部２７０から得られる静止画像に基づき、画像スリットを生成する。
　位置合わせスリット生成部２６０は、後述する画像取得部２７０から得られる静止画像に基づき、位置合わせスリットを生成する。
　画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０から取得した情報から静止画像を取得し、他の各機能部へ一連の静止画像を出力する。また、画像取得部（サンプリング部）２７０は、サンプリング制御部２７２を含んでも良い。
　画像取得部（サンプリング部）２７０は、Ｉ／Ｆ部２４０が撮像装置１００によって撮影された動画像を含む情報を取得した場合には、サンプリング制御部２７２により設定された画像取得速度（サンプリングレート）で、撮影された動画像から静止画像をサンプリングし、他の各機能部へ一連の静止画像を出力する。
　一方、画像取得部２７０は、Ｉ／Ｆ部２４０が一連の静止画像を含む情報を取得した場合には、一連の静止画像を取得して、他の各機能部へこれを出力する。この際、一連の静止画像が生成された方法は問わない。例えば、撮像装置１００が連写により静止画像を撮像して、一連の静止画像を生成したものであってもよいし、撮像装置１００が動画像を撮影して、撮像装置１００内で動画像から静止画像をサンプリングし、一連の静止画像を生成したものであってもよい。
　サンプリング制御部２７２は、画像取得速度（サンプリングレート）を設定する。さらに、サンプリング制御部２７２は、撮像装置１００が連写をすることにより静止画像を撮像する場合には、設定したサンプリングレートをシャッター速度や撮影間隔として用いるために、サンプリングレート等を撮像装置１００のＩ／Ｆ部１８に出力してもよい。
　方向判定部２１０及びパノラマ画像生成部２２０、画像スリット生成部２５０、位置合わせスリット生成部２６０、画像取得部（サンプリング部）２７０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　最後に、提示部３００は、画像処理システム２００のＩ／Ｆ部２４０から得られるパノラマ画像等をユーザに提示する。提示部３００は、表示部の他に、音出力部や振動部を含んでもよい。
　また、撮像装置１００が、画像処理機能を有するスマートカメラ等である場合には、図１８に示すような構成例も可能である。
　本実施形態では、撮像装置１００は、撮像部１２と、エンコーダ１４と、動き情報取得部１６と、Ｉ／Ｆ部１８と、画像スリット生成部２５０と、位置合わせスリット生成部２６０と、画像取得部（サンプリング部）２７０と、を含む。また、情報処理装置４００は、方向判定部２１０と、パノラマ画像生成部２２０と、記憶部２３０と、Ｉ／Ｆ部２４０と、を含む。ただし、撮像装置１００及び情報処理装置４００は、図１８の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
　撮像装置１００及び情報処理装置４００に含まれる各部の機能は、上述したものと同様である。
　本実施形態では、撮像装置１００は、画像スリットや位置合わせスリットのみを、情報処理装置４００に通知すればよいため、データ転送量を抑えることが可能となる。
　３．具体的な実施例
　まず、図３（Ａ）は、撮像部を移動させながら、被写体ＯＢを撮影する様子を示している。移動前の撮像部ＣＡＭ１から被写体ＯＢを撮影した時の画像は、図３（Ｂ）に示す画像ＩＭ１のようになり、移動後の撮像部ＣＡＭ２から被写体ＯＢを撮影した時の画像は、図３（Ｃ）に示す画像ＩＭ２のようになる。
　この場合、画像ＩＭ１と画像ＩＭ２を合成して、パノラマ画像の生成を行う場合には、画像ＩＭ１の右端の位置が画像ＩＭ２の左端の位置に対応する場合であっても、被写体ＯＢが映っている部分を滑らかに繋げることができないことがある。これは、運動視差によって、画像ＩＭ１と画像ＩＭ２の間でパースがずれてしまったためである。一般的に、画像の両端部の方が画像の中心部よりも、運動視差の影響を受けやすい。
　そこで、本実施形態では、図４（Ａ）に示すように、サンプリングされた静止画像ＳＩＭ１から、ＳＬ１のような画像スリットを抽出し、画像スリットを合成して、パノラマ画像を生成する。また、運動視差の問題を緩和するため、図４（Ｂ）に示すように、画像スリットは静止画像ＳＩＭ２の中心点ＣＰを含むＳＬ２のようなものであることが望ましい。なお、図４（Ａ）及び図４（Ｂ）では、静止画像の縦方向に長辺を持つように画像スリットを生成しているが、横方向に長辺を持つように画像スリットを生成してもよい。
　さらに、本実施形態では、複数方向に対して広い画角を有するパノラマ画像を生成するため、撮像部を複数の方向に移動させながら、撮影が行われる。また、撮影方向を完全にランダムとすると、位置合わせが難しく破綻する可能性が大きくなる。そこで、図５に示すように、撮像部ＣＡＭの軌跡が自然になるように、ジグザグな軌跡を描くように撮像部ＣＡＭを移動させて、撮影を行うことにより、２次元的な広がりを持つパノラマ画像ＰＩＭを１本の動画から生成する。図５では、後述する第１のカメラ移動方向ＤＲ１に撮像部ＣＡＭを動かして撮影を行った後、後述する第３のカメラ移動方向ＤＲ３に撮像部を動かし、最後に後述する第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを動かして撮影を行っている。また、第２のカメラ移動方向ＤＲ２に撮像部ＣＡＭを移動させた後に、連続して他のカメラ移動方向に撮像部ＣＡＭを移動させて撮影を行っても良い。
　なお、パノラマ画像の合成に用いる静止画像の抽出（サンプリング）及び画像スリットの抽出、パノラマ画像の生成は、撮像装置の内部で行ってもよいし、さらに通信部を設けて有線又は無線で接続されたコンピュータなどの画像処理システム上で行ってもよい。
　なお、本実施形態では、図５に示すような頭部装着型の撮像部ＣＡＭにより、視野に近い範囲で被写体を撮影する。
　頭部装着型の撮像部ＣＡＭを用いれば、風景を見回す時の首の動きに連動した動画像を簡単に撮影でき、見たままの風景に近いパノラマ画像を生成することができる。
　また、前述した画像スリットを用いてパノラマ画像を生成する手法では、図５の第１のカメラ移動方向に撮像部を移動させた時の動画像に基づき取得される画像スリットと、第２のカメラ移動方向に撮像部を移動させた時の動画像に基づき取得される画像スリットとを合成する際に、画像スリットの短辺方向における重複領域を特定する処理が必要となる。その一例として、図６において、画像スリットＳＬ１と画像スリットＳＬ２の短辺方向において重複領域ＲＥＡを特定する様子を示す。
　通常は、図６に示したように画像スリットＳＬ１とＳＬ２を比較することによって、被写体の同一範囲が映されている部分を画像スリット同士の重複領域ＲＥＡとして求める。しかし、画像スリットの短辺は長辺に比べて極めて短いため、図６のように、画像スリットＳＬ１とＳＬ２の位置が水平方向にずれている場合などには、重複領域ＲＥＡの面積が極めて小さくなり、重複領域の特定が困難になる場合がある。この場合には、重複領域が複数の画像スリットにまたがってしまっていることになり、１枚の画像スリットの重複領域を求める際には、２枚の画像スリットと比較しなければならなくなる。
　この問題を回避する手法として、第１のカメラ移動方向への画像スリットの合成を行い、画像スリットの短辺が他の画像スリットの短辺と繋がって、合成後の画像の幅が十分な長さを持つようになった後に、第２のカメラ移動方向へ画像スリットを合成する手法が考えられる。つまり、図５で言えば、パノラマ画像ＰＩＭの上半分（第１のカメラ移動方向ＤＲ１に対応する部分）を先に合成してから、下半分（第２のカメラ移動方向ＤＲ２に対応する部分）を合成するという手法である。この場合には、図６の場合と異なり、複数の画像スリットに重複領域がまたがっていること等が問題とならないため、重複領域の特定が比較的容易となる。
　しかし、この手法では、第１のカメラ移動方向への画像スリットの合成が完了しないと、第２のカメラ移動方向への画像スリットの合成が開始できない。例えば、図５で言えば、パノラマ画像ＰＩＭの上半分と下半分を平行に合成することができない。そのため、第１のカメラ移動方向への画像スリットの合成処理がボトルネックとなることがある。
　そこで、本実施形態では、図７（Ａ）～図７（Ｃ）に示すような位置合わせスリットＰＦＳＬ１～ＰＦＳＬ３を用いて、画像スリットの合成を行う。ここでは、位置合わせスリットＰＦＳＬ１～ＰＦＳＬ３は、画像スリットと直交するように静止画像ＳＩＭ１～ＳＩＭ３から抽出される。また、位置合わせスリットの抽出位置は任意であり、例えば図７（Ａ）～図７（Ｃ）に示すような抽出位置が考えられる。さらに、位置合わせスリットは、画像スリットが生成される度に、生成されてもよいし、所定の回数だけ画像スリットを生成したら、位置合わせスリットを生成するものであってもよい。以下では、所定の回数だけ画像スリットを生成した場合に、位置合わせスリットを生成する場合の例について記載する。
　本実施形態では、画像スリット同士を直接比較して、重複領域を求めるのではなく、図８に示すように、まず、画像スリットＳＬ１と位置合わせスリットＰＦＳＬの重複領域を求め、その後に画像スリットＳＬ２と位置合わせスリットＰＦＳＬの重複領域を求める。その結果、画像スリットＳＬ１とＳＬ２の重複領域ＲＥＡ３を間接的に求めることが可能となる。
　図８に示した例を詳細に説明する。図８の画像スリットＳＬ１及びＳＬ２、位置合わせスリットＰＦＳＬは、それぞれ別の静止画像に基づいて生成されたものである。まず、図８では、第１のカメラ移動方向ＤＲ１に撮像部を移動させた時の静止画像に基づいて、位置合わせスリットＰＦＳＬを取得する。次に、第１のカメラ移動方向ＤＲ１に撮像部を引き続き移動させて撮影された他の静止画像に基づいて、画像スリットＳＬ１を生成する。
　ここで、位置合わせスリットＰＦＳＬと画像スリットＳＬ１の画像を比較して、重複領域ＲＥＡ１を求める。例えば、まず初期位置として、位置合わせスリットの左端に画像スリットＳＬ１を配置設定する。そして、初期位置から画像スリットＳＬ１を右方向にずらしつつ、位置合わせスリットＰＦＳＬと画像比較を行い、画像が一致していると判断した場合には、その一致部分を画像スリットＳＬ１と位置合わせスリットＰＦＳＬの重複部分とする。一方、位置合わせスリットＰＦＳＬの右端まで画像スリットＳＬ１を移動させても、画像が一致しないと判断した場合には、画像スリットＳＬ１を下方向にずらし、左方向に画像スリットＳＬ１をずらして、画像比較を行う。これらの処理を、画像スリットＳＬ１を下方向及び水平方向に移動させることができなくなるまで繰り返す。画像スリットＳＬ１を下方向及び水平方向に移動させることができなくなるまでに、重複領域を特定することができない場合には、画像スリットを合成することはできない。なお、画像スリットＳＬ１と、位置合わせスリットＰＦＳＬが同一の静止画像から求められた場合には、重複領域ＲＥＡ１は既知であるため、上記の処理を行う必要はない。
　次に、第２のカメラ移動方向ＤＲ２に撮像部を移動させて撮影された静止画像に基づき、画像スリットＳＬ２が生成されたとする。ここで、画像スリットＳＬ２を合成する際には、画像スリットＳＬ１と画像を直接比較するのではなく、上記と同様に、位置合わせスリットＰＦＳＬと画像スリットＳＬ２を比較し、重複領域ＲＥＡ２を求める。なお、図８では、図示する際の都合でＲＥＡ２の外枠をＳＬ２の外枠から離して描画しているが、実際にはＲＥＡ２の外枠はＳＬ２の外枠と重なっている。
　そして、重複領域ＲＥＡ１とＲＥＡ２とが重なる部分を求めることにより、画像スリットＳＬ１とＳＬ２との重複領域ＲＥＡ３を求めることができる。
　この手法は、前述した画像スリットＳＬ１とＳＬ２の重複領域を直接求める手法と異なり、画像スリットと位置合わせスリットとの重複領域を求めるため、画像スリットＳＬ１とＳＬ２が水平方向にずれている場合でも、重複領域の面積が小さくならず、重複領域の特定が困難にならないという利点を持っている。
　さらに、第１のカメラ移動方向への画像スリットの合成が完了していない場合にも、第２のカメラ移動方向への画像スリットの合成が開始できるため、第１のカメラ移動方向への画像スリットの合成処理がボトルネックとなることを防ぎ、パノラマ画像の生成処理を高速に行うこと等が可能となる。
　また、より精度の高い画像合成を行うためには、合成処理を２段階に分けることが望ましい。すなわち、１回目の合成処理として、位置合わせスリットにより、画像スリット間の重複領域を求め、求められた画像スリットの合成位置を仮位置としておく。そして、１回目の合成処理が完了した後に、２回目の合成処理として合成位置の高精度化を行い、高精度化後の画像スリットの位置を真の合成位置とする。なお、２回目の合成処理では、具体的には特徴点を用いたマッチングや、バンドルアジャストメントなどを用いた３次元再構成処理を行う。
　また、例えば、図５において、第３のカメラ移動方向ＤＲ３が、上方向か下方向かあらかじめ決められていないが、第１のカメラ移動方向ＤＲ１に撮像部が移動された時に取得された位置合わせスリットを用いて、重複領域の特定処理を行うことが決まっている場合などには、位置合わせスリットの抽出位置によっては、位置合わせスリットを用いて、上述したように重複領域を求めることができない場合がある。
　そこで、位置合わせスリットは、図９（Ａ）及び図９（Ｂ）に示すように、１枚の静止画像から複数の位置合わせスリットを抽出してもよい。図９（Ａ）では、静止画像ＳＩＭ１の後述する第１の領域ＳＵＢ１から第１の位置合わせスリットＰＦＳＬ１を、後述する第２の領域ＳＵＢ２から第２の位置合わせスリットＰＦＳＬ２を抽出している。同様に、図９（Ｂ）では、静止画像ＳＩＭ２の後述する第１の領域ＳＵＢ３から第１の位置合わせスリットＰＦＳＬ３を、後述する第２の領域ＳＵＢ４から第２の位置合わせスリットＰＦＳＬ４を抽出している。
　これにより、画像スリットの重複領域を特定する処理において、第１の位置合わせスリットを用いるか、第２の位置合わせスリットを用いるか選択すること等が可能になり、撮像部がどのような方向に動かされた場合でも、カメラ移動方向に応じて、使用する位置合わせスリットを選択して、重複領域を求めること等が可能となる。
　例えば、図５において、第１のカメラ移動方向に撮像部を移動させた時に取得された位置合わせスリットを用いる場合で、第３のカメラ移動方向が上方向の場合においては、図９（Ａ）の第１の位置合わせスリットＰＦＳＬ１を用い、第３のカメラ移動方向が下方向の場合においては、図９（Ａ）の第２の位置合わせスリットＰＦＳＬ２を用いることが可能となる。
　さらに、第１のカメラ移動方向に撮像部を移動させた時に取得された位置合わせスリットを用いる場合等には、第２のカメラ移動方向に撮像部を動かす前に、第１のカメラ移動方向に撮像部を移動させた時に取得された画像スリットと、位置合わせスリットとの位置関係を確定することができ、第２のカメラ移動方向に撮像部が移動され、画像スリットが取得され次第、重複領域の特定処理を行うことができるため、処理時間を短縮すること等が可能となる。
　次に、図１０に示すように、第１のカメラ移動方向ＤＲ１へ撮像部が移動されて、画像ＰＩＭ１が生成された場合において、第２のカメラ移動方向ＤＲ２へ撮像部を移動される場合について考える。また、位置合わせスリットは、第２のカメラ移動方向ＤＲ２へ移動された時に撮像された静止画像に基づいて生成されたものを用いるとする。さらに、画像ＰＩＭ１では、画像スリットとの重複領域を上から下に探索することとする。
　この時、撮像部が動きベクトルＤＲＶに表されるように移動され、ＣＰ１からＣＰ２へと撮像部の位置が大きく変動したような場合には、前回までと同じ位置ＰＦＰから位置合わせスリットを抽出すると、画像ＰＩＭ１の縦方向において重複領域を探索する範囲が大きく変わってしまい、ＰＩＭ１において、動きベクトルＤＲＶの垂直成分の大きさに比例して、重複領域の探索に時間を要することとなる。
　そこで、本実施形態では、動き情報取得部により得られる動き情報に基づいて、位置合わせスリットを抽出する位置を動的に変更する。図１０では、静止画像ＳＩＭ２において、位置合わせスリットを抽出する位置を変更し、ＰＦＳＬ２を抽出して、ＰＦＳＬ１との連続性を保っている。これにより、画像ＰＩＭ１の縦方向において重複領域を探索する範囲を大きく変えることがなくなる。その結果、合成先の画像ＰＩＭ１中において、位置合わせスリットＰＦＳＬ２との重複領域の探索処理を効率的に行なうことができる。
　また、位置合わせスリットは、撮像部が第１のカメラ移動方向に移動された時の静止画像と、第２のカメラ移動方向に移動された時の静止画像の両方から、それぞれ抽出されるが、どちらの位置合わせスリットを重複領域の特定処理に用いるかは、次のように判定することができる。
　まず、図１１（Ａ）の例は、位置合わせスリットが、静止画像の第３のカメラ移動方向側、すなわち静止画像の上側から生成される場合を示している。この場合には、カメラ移動方向が第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ１及びＰＦＳＬ２が生成され、カメラ移動方向が第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ３が生成される。
　この時、パノラマ画像の上部分（例えば、画像スリットＳＬ３）と下部分（例えば、画像スリットＳＬ２）を合成する際に、どの位置合わせスリットを用いるか選択する必要がある。図１１（Ａ）では、第３のカメラ移動方向ＤＲ３が上向きであるため、位置合わせスリットＰＦＳＬ１及びＰＦＳＬ２が、パノラマ画像の上半分と下半分の境界部分に位置することになる。
　したがって、図１１（Ａ）の場合には、第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて生成された位置合わせスリットＰＦＳＬ１及びＰＦＳＬ２を用いて画像スリットの合成が行われる。
　同様にして、図１１（Ｂ）の例は、位置合わせスリットが、静止画像の第３のカメラ移動方向側、すなわち静止画像の下側から生成される場合を示している。この場合には、カメラ移動方向が第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ４及びＰＦＳＬ５が生成され、カメラ移動方向が第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ６が生成される。
　この時、パノラマ画像の上部分（例えば、画像スリットＳＬ５）と下部分（例えば、画像スリットＳＬ６）を合成する際に、どの位置合わせスリットを用いるか選択する必要がある。図１１（Ｂ）では、第３のカメラ移動方向ＤＲ３が下向きであるため、位置合わせスリットＰＦＳＬ４及びＰＦＳＬ５が、パノラマ画像の上半分と下半分の境界部分に位置することになる。
　したがって、図１１（Ｂ）の場合には、図１１（Ａ）の場合と同様に、第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて生成された位置合わせスリットＰＦＳＬ４及びＰＦＳＬ５を用いて画像スリットの合成が行われる。
　一方、図１２（Ａ）の例は、位置合わせスリットが、静止画像の第３のカメラ移動方向と逆側、すなわち静止画像の下側から生成される場合を示している。この場合には、カメラ移動方向が第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ１及びＰＦＳＬ２が生成され、カメラ移動方向が第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ３が生成される。
　この時、パノラマ画像の上部分（例えば、画像スリットＳＬ３）と下部分（例えば、画像スリットＳＬ２）を合成する際に、どの位置合わせスリットを用いるか選択する必要がある。図１２（Ａ）では、第３のカメラ移動方向ＤＲ３が上向きであるため、位置合わせスリットＰＦＳＬ３が、パノラマ画像の上半分と下半分の境界部分に位置することになる。
　したがって、図１２（Ａ）の場合には、第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて生成された位置合わせスリットＰＦＳＬ３を用いて画像スリットの合成が行われる。
　同様にして、図１２（Ｂ）の例は、位置合わせスリットが、静止画像の第３のカメラ移動方向と逆側、すなわち静止画像の上側から生成される場合を示している。この場合には、カメラ移動方向が第１のカメラ移動方向ＤＲ１である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ４及びＰＦＳＬ５が生成され、カメラ移動方向が第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて、位置合わせスリットＰＦＳＬ６が生成される。
　この時、パノラマ画像の上部分（例えば、画像スリットＳＬ５）と下部分（例えば、画像スリットＳＬ６）を合成する際に、どの位置合わせスリットを用いるか選択する必要がある。図１２（Ｂ）では、第３のカメラ移動方向ＤＲ３が下向きであるため、位置合わせスリットＰＦＳＬ６が、パノラマ画像の上半分と下半分の境界部分に位置することになる。
　したがって、図１２（Ｂ）の場合には、第２のカメラ移動方向ＤＲ２である時にサンプリングされた静止画像に基づいて生成された位置合わせスリットＰＦＳＬ６を用いて画像スリットの合成が行われる。
　ここで、図８を用いて説明したように、位置合わせスリットを用いて、画像スリットの重複領域を特定する場合には、画像スリットを位置合わせスリットに沿って、移動させながら画像比較を行う必要がある。
　この手法の問題点について、図１３（Ａ）を用いて説明する。図１３（Ａ）では、同一の静止画像から、位置合わせスリットＰＦＳＬ１と画像スリットＳＬ１とが生成されている。ここで、異なる静止画像から画像スリットＳＬ２が生成され、ＳＬ２の重複領域を特定する場合を考える。この場合には、図８を用いて説明したように、例えば、画像スリットＳＬ２を位置合わせスリットの右端に配置設定し、左に移動させながら画像比較を行い、画像が一致したと判断した部分を重複領域として特定する。画像が一致しない場合には、画像スリットＳＬ２をさらに左へ移動させ、位置合わせスリットの左端に到達した場合には画像スリットを下方向にずらし、再度水平方向へ移動させながら、画像比較を繰り返す。しかし、この手法では、図１３（Ａ）に示すように、画像スリットＳＬ２と位置合わせスリットＰＦＳＬ１の全組み合わせ領域ＳＡ１（斜線部分）を探索しなければならない。そのため、重複領域の特定処理の負担が大きいという問題がある。重複領域の探索範囲を限定することができれば、重複領域の特定処理を高速化することが可能となる。
　そこで、本実施例では、図１３（Ｂ）に示すように、動き情報により表される動きベクトルＤＶ１のように撮像部が移動された場合には、動きベクトルＤＶ１の垂直成分ＤＶＰ１と水平成分ＤＶＨ１とに基づいて、画像スリットＳＬ４の重複領域の位置を推定し、探索範囲をＳＡ２（斜線部分）に限定する。言い換えれば、撮像部の移動前の画像スリットＳＬ３の位置と動きベクトルＤＶ１とに基づいて、撮像部の移動後の画像スリットＳＬ４の位置を推定する。なお、探索範囲ＳＡ２は、動きベクトルの算出誤差などを勘案して、上下左右に所定のピクセル分だけ広く設定する等してもよい。
　ただし、カメラ移動方向と垂直な方向の推定は、手振れや頭振れ等を考慮すると必ずしもよいとは限らない。一時的に手振れ等がひどくなった場合には、重複領域すら確保できないことがある。
　そのため、図１３（Ｃ）に示すように、撮像部の移動後の画像スリットＳＬ６の位置の推定に、動きベクトルＤＶ２の水平成分ＤＶＨ２のみを用いて、垂直方向に対しては、画像スリットの全領域を探索範囲ＳＡ３（斜線部分）としてもよい。すなわち、画像スリットＳＬ６の水平方向の位置を固定して、画像スリットＳＬ６を垂直方向にずらしながら、位置合わせスリットＰＦＳＬ３と画像比較を行う。なお、探索範囲ＳＡ２と同様に、探索範囲ＳＡ３も、動きベクトルの算出誤差などを勘案して、上下左右に所定のピクセル分だけ広く設定する等してもよい。
　また、動き情報から重複領域を確保できないと判断される場合は、静止画像をサンプリングしなくてもよい。
　次に、重複領域を確保することができるようにサンプリング処理を制御する手法について述べる。
　撮影速度が増加した場合に、画像取得速度（サンプリングレート）が一定だと、画像スリット間の重複領域は狭くなる。もしくは、画像スリット間の重複領域がなくなる。その結果、パノラマ画像の生成が不可能となる。逆に、撮影速度が減少した場合に、サンプリングレートが一定だと、不要なフレームを取り込むことになり、画像情報が必要以上となり、うまく合成できない可能性がある。他にも、不要なフレームを取り込んだ場合には、合成する画像スリットが増加するため、処理負荷が高くなるという問題点もある。
　そこで、本実施形態では、撮影速度が上がった場合にサンプリングレートを大きくする。
　例えば、図１４に示すように、画像スリット幅が７０ｐｘ（pixel）で、隣接スリットとの最小重複領域幅が１０ｐｘであるとすると、隣接する画像スリットとの中心間隔は６０ｐｘ以内（その値を含む）に収める必要がある。
　ここで、撮像部が３０ｆｐｓ（Frame Per Second）で撮影しており、動き情報から得られた撮影速度が１０ｐｘ／ｆｒａｍｅであった場合を考える。なお、ｐｘ／ｆｒａｍｅとは、被写体の同一範囲を映す画素が１ｆｒａｍｅで移動するピクセル値のことをいう。例えば、１０ｐｘ／ｆｒａｍｅとは、１ｆｒａｍｅの間に被写体の同一範囲を映す画素が１０ｐｘ分移動することを示す。
　この場合には、３０ｆｐｓ×（１０ｐｘ／６０ｐｘ）＝５ｆｐｓ以上（その値を含む）でサンプリングすれば、最低限の重複領域を確保できることになる。ここで、撮影速度が１５ｐｘ／ｆｒａｍｅに上がった場合は、３０ｆｐｓ×（１５ｐｘ／６０ｐｘ）＝７．５ｆｐｓとなり、８ｆｐｓ以上（その値を含む）でサンプリングするように変更すれば、重複領域の幅を保ったまま画像スリットを取得することができる。
　これにより、パノラマ画像を合成するのに必要十分な重複領域を持った画像スリットを得ることができる。また、撮影速度に合わせて、シャッタースピード（フレームレート）を増減させると、フレームレートが十分でない場合、被写体振れが生じる可能性があるが、フレームレートを一定に保ち、サンプリングレートを増減させる場合は、被写体振れを抑えつつ、不要なフレームを除去して、データ量を削減することが可能となる。
　撮影速度が上がった場合に重複領域を確保する他の手法として、画像スリット幅を大きくする手法が考えられる。
　図１４にその一例を示す。例えば、画像スリット幅が７０ｐｘで、隣接スリットとの最小重複領域幅が１０ｐｘであるが、サンプリングレートが５ｆｐｓまでしか上げられない場合を考える。あるいは、撮像部のスペックが５ｆｐｓであるとする。今、サンプリングレートが最大の５ｆｐｓに設定されているとする。中心間距離は最大で７０ｐｘ－１０ｐｘ＝６０ｐｘであることから、６０ｐｘ／ｆｒａｍｅまでの撮影速度には対応できる。しかしながら、撮影速度が例えば７０ｐｘ／ｆｒａｍｅとなった場合には、フレームレートをこれ以上増加できないことから、スリットの重複領域を確保できなくなる。このような場合にも、画像スリットの両端を１０ｐｘ以上（その値を含む）確保するためには、図１５に示すように、画像スリットの幅を７０ｐｘ＋１０ｐｘ＝８０ｐｘ以上（その値を含む）とすればよい。
　これにより、サンプリングレートがハードウェアやネットワークの限界により増加させられない場合でも、重複領域を持たせることが可能となる。
　４．本実施形態の手法
　以上の本実施形態では、静止画像を連続して取得する画像取得部２７０と、撮影中の撮像部１２が移動される方向であるカメラ移動方向を判定する方向判定部２１０と、連続して取得された静止画像に基づいて、画像スリットを生成する画像スリット生成部２５０と、画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部２２０と、を含む。そして、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定する。さらに、パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向に基づいて、画像スリットの合成位置を決定し、画像スリットの合成処理を行い、パノラマ画像を生成することを特徴とする。
　本実施形態では、撮像部が複数のカメラ移動方向に移動させられ、撮影が行われる場合に、画像スリットを生成するために用いる静止画像を連続して取得することができ、現在のカメラ移動方向を判定することができる。さらに、連続して取得された静止画像に基づき、画像スリットを生成することができる。
　ここで、静止画像を連続して取得するとは、撮像部が静止画像を撮像する場合には、撮像部を連続的に移動させながら、連写して撮像された静止画像を取得することをいう。また、静止画像を連続して取得するとは、撮像部が動画像を撮影する場合には、撮像部を連続的に移動させながら、撮影した動画像から静止画像を、画像取得部２７０がサンプリングして取得すること、または撮影した動画像から撮像部等の他機能部によってサンプリングされた静止画像を取得することをいう。
　また、ここで、画像スリットとは、連続して取得された静止画像の所定の面積を有する一部分または全ての部分であり、パノラマ画像の生成に用いられる画像のこという。例えば、画像スリットは、図４（Ａ）のＳＬ１、図４（Ｂ）のＳＬ２である。
　また、カメラ移動方向とは、撮像部を移動させる際に描く軌跡における任意の異なる二点間を結ぶベクトルの方向である。例えば、カメラ移動方向は、図５のＤＲ１やＤＲ２、ＤＲ３である。カメラ移動方向は、あらかじめ設定されたものであってもよい。また、後述する動き情報取得部により取得される撮像部の動き情報により表される動きベクトルの水平成分と垂直成分のいずれか一方の成分が、一定期間連続して大きい場合に、他方の成分よりも大きい一方の成分に対応する方向をカメラ移動方向として求めても良い。
　また、ここでは、カメラ移動方向の一方向を第１のカメラ移動方向と呼び、第１のカメラ移動方向と異なる方向を第２のカメラ移動方向と呼ぶ。なお、カメラ移動方向は、第１のカメラ移動方向と第２のカメラ移動方向だけに限定されず、さらに複数のカメラ移動方向を考慮してもよい。
　また本実施形態では、カメラ移動方向に基づいて、画像スリットの合成位置を決定し、合成処理を行うことが可能となる。
　ここで、合成処理とは、現時点までに合成処理を行った結果取得される画像と、新たに生成された画像スリットとを重ね合わせて、１つの画像を生成する処理のことをいう。
　また、合成位置とは、合成処理において、現時点までに合成処理を行った結果取得される画像に対する画像スリットの相対的な位置のこという。
　よって、撮像部を一つのカメラ移動方向に動かして生成したパノラマ画像よりも、複数の方向に対して画角の広いパノラマ画像を生成することが可能となる。さらに、パノラマ画像を生成する材料として、画像スリットを用いることにより、運動視差によるパースのゆがみを緩和しつつ、撮像部の撮影領域に対して、縦横に広範な撮影領域をカバーしたパノラマ画像を生成することが可能となる。
　また、本実施形態では、連続して取得された静止画像に基づいて、位置合わせスリットを生成する位置合わせスリット生成部２６０を含んでもよい。そして、パノラマ画像生成部２２０は、連続して取得された静止画像の撮影時におけるカメラ移動方向と、位置合わせスリットとに基づいて、画像スリットの合成位置を決定し、画像スリットの合成処理を行い、パノラマ画像を生成してもよい。
　ここで、位置合わせスリットとは、連続して取得された静止画像の一部分または全ての部分であり、画像スリットと一部の領域が一致するが、完全には一致しない画像のことをいう。例えば、位置合わせスリットは、図７（Ａ）のＰＦＳＬ１や図７（Ｂ）のＰＦＳＬ２、図７（Ｃ）のＰＦＳＬ３、である。
　これにより、複数の画像スリットに重複領域がまたがっている場合等が問題とならなくなり、重複領域の特定処理を比較的容易にすること等が可能となる。さらに、第１のカメラ移動方向への画像スリットの合成が完了していない場合にも、第２のカメラ移動方向への画像スリットの合成が開始できるため、第１のカメラ移動方向への画像スリットの合成処理がボトルネックとなることを防ぎ、パノラマ画像の生成処理を高速に行うこと等が可能となる。
　また、位置合わせスリット生成部２６０は、画像スリットの長辺と位置合わせスリットの長辺とが直交するように、位置合わせスリットを生成してもよい。
　例えば、画像スリットの長辺と位置合わせスリットの長辺とが直交している場合とは、図８の画像スリットＳＬ１（またはＳＬ２）と位置合わせスリットＰＦＳＬのような状態のことを指している。なお、画像スリットの長辺と位置合わせスリットの長辺は、略直交していてもよい。
　また、位置合わせスリットの生成とは、静止画像の所定領域を位置合わせスリットとして、抽出（コピー等）することである。また、位置合わせスリットの生成には、静止画像に基づいて、位置合わせスリットの画像を新たに生成することも含む。
　これにより、位置合わせスリットの長辺に画像スリットの短辺を重ねるようにして、重複領域の特定処理を行うこと等が可能になる。その結果、位置合わせスリット間の境界部分で重複領域の特定処理を行う頻度が低下するため、位置合わせスリット間の境界部分が不連続であり、画像スリットの重複領域の特定ができないといった場合を減らすこと等が可能となる。
　また、位置合わせスリット生成部２６０は、静止画像の中心を通る直線により第１の領域と第２の領域を設定し、第１の領域から第１の位置合わせスリットを生成し、第２の領域から第２の位置合わせスリットを生成してもよい。
　ここで、第１の領域とは、静止画像の中心を通る直線により分割された静止画像の一方の領域のこという。また、もう一方の領域を第２の領域と呼ぶ。例えば、図９（Ａ）では静止画像ＳＩＭ１の中心ＣＰ１を通る直線により、ＳＩＭ１が分割されており、第１の領域としてＳＵＢ１が設定されており、第２の領域としてＳＵＢ２が設定されている。また、同様にして、図９（Ｂ）では第１の領域がＳＵＢ３であり、第２の領域がＳＵＢ４である。
　これにより、画像スリットの重複領域を特定する処理において、第１の位置合わせスリットを用いるか、第２の位置合わせスリットを用いるか選択すること等が可能になり、撮像部がどのような方向に動かされた場合でも、カメラ移動方向に応じて、使用する位置合わせスリットを選択して、重複領域を求めること等が可能となる。
　また、位置合わせスリット生成部２６０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、静止画像中の位置合わせスリットを抽出する位置を変更し、位置合わせスリットを生成してもよい。
　ここで、動き情報とは、動き情報取得部により得られるセンサ情報又は動きベクトルのことをいう。
　これにより、図１０の場合のように、撮像部の位置が大きく変動した場合に、前回までと同じ位置から位置合わせスリットを抽出して、合成先の画像中において、位置合わせスリットとの重複領域の探索処理を効率的に行うこと等が可能となる。
　また、パノラマ画像生成部２２０は、カメラ移動方向が第２のカメラ移動方向であると判定された場合には、第１のカメラ移動方向と垂直な方向に合成位置をずらし、位置合わせスリットの一部と今回の画像スリットの一部が重複するように、合成処理を行って、パノラマ画像を生成してもよい。
　具体的には、図１１（Ａ）に示すように、第２のカメラ移動方向ＤＲ２に撮像部が移動されている時の画像スリットＳＬ３を、第１のカメラ移動方向ＤＲ１に撮像部が移動されている時の画像スリットＳＬ２の合成位置から、ＤＲ１と垂直な方向ＤＲ３にずらした位置において合成する。なお、パノラマ画像生成部２２０は、第２のカメラ移動方向に撮像部が移動されている時の画像スリットの合成位置を、第１のカメラ移動方向と略垂直な方向にずらしてもよい。
　これにより、撮像部がジグザグな軌跡を描くように移動された場合に、縦横に広範な撮影領域をカバーしたパノラマ画像を生成すること等が可能となる。
　また、重複領域は、画像スリットの端の一部の領域であることが望ましく（例えば画像スリットの全体の２０％程度）、画像スリットの半分以上が重複している場合などにおいては、元の画像スリットの画角に対して、合成後の画像の画角があまり大きくならないため、画像スリットを合成した効果が少ないと言える。
　すなわち、画像スリットの合成の効果を高めるためには、画像スリットの端の一部の領域だけを合成させることが望ましい。従って、画像スリットの合成処理に用いる位置合わせスリットも、画像スリット間の境界部分に対応する画像であることが望ましいと言える。
　さらに、画像スリットと位置合わせスリットの位置関係によっては、位置合わせスリットを用いて画像スリット同士の重複領域を特定することができない場合がある。
　以上のように、どの位置合わせスリットを用いるかは、画像スリットの合成の効果を高めるために重要である。
　そこで、方向判定部２１０は、第１のカメラ移動方向に撮像部１２を移動させながら撮影が行われた後に、第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に撮像部１２を移動させ、第３のカメラ移動方向に撮像部１２を移動させた後に、第２のカメラ移動方向に撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向の判定を行ってもよい。そして、パノラマ画像生成部２２０は、静止画像の中心を基準にして、第３のカメラ移動方向にある領域から位置合わせスリットを生成した場合には、カメラ移動方向が第１のカメラ移動方向である時に連続して取得された静止画像に基づき生成された位置合わせスリットを、合成処理に用いてもよい。一方、パノラマ画像生成部２２０は、静止画像の中心を基準にして、第３のカメラ移動方向とは逆方向にある領域から位置合わせスリットを生成した場合には、カメラ移動方向が第２のカメラ移動方向である時に連続して取得された静止画像に基づき生成された位置合わせスリットを、合成処理に用いてもよい。
　ここで、第３のカメラ移動方向とは、第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である。例えば、図５ではＤＲ３である。
　上述した手法を用いれば、第１のカメラ移動方向に撮像部を移動させた時の画像スリットと、第２のカメラ移動方向に撮像部を移動させた時の画像スリットとの境界側に位置する位置合わせスリットを特定すること等が可能となる。
　これにより、元の画像スリットの画角に対して、合成後の画像の画角が十分に大きくなるように、画像スリットを合成できる位置合わせスリットを特定すること等が可能となる。
　また、パノラマ画像生成部２２０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、位置合わせスリットと画像スリットの重複領域の位置を探索する範囲を限定して、合成処理を行ってもよい。
　ここで、重複領域とは、合成処理において、２つの画像が重畳される領域のことをいう。例えば、図６で言えば、ＲＥＡのような部分である。
　これにより、動き情報により推定される撮像部の移動後の位置周辺に、重複領域の探索範囲を限定することが可能となり、重複領域の特定処理の負担を減らし、高速化を図ること等が可能になる。
　ただし、カメラ移動方向と垂直な方向の推定は、手振れや頭振れ等を考慮するとずしもよいとは限らない。一時的に手振れ等がひどくなった場合には、重複領域すら確保できないことがある。そこで、パノラマ画像生成部２２０は、動き情報取得部１６から取得される撮像部１２の動き情報の水平成分と垂直成分のうちのいずれか一方に基づいて、位置合わせスリットと画像スリットの重複領域の位置を探索する範囲を限定して、合成処理を行ってもよい。
　これにより、水平方向の動き情報を用いることで、多数存在する位置合わせスリットの中から探索範囲を限定すること等が可能となる。
　また、一般的に、静止画像のカメラ動き方向側の領域とその逆方向側の領域（すなわち、静止画像の左右両端又は上下両端）では、運動視差によるパースのゆがみが大きくなる。パノラマ画像の生成の材料となる画像は、パースによるゆがみが生じていないことが望ましい。
　そこで、画像スリット生成部２５０は、カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ画像スリットを生成してもよい。
　例えば、図４（Ａ）において、カメラ移動方向がＤＲ１である場合には、ＤＲ１の水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向ＤＲＰ１に長辺ＬＬ１を持つ画像スリットＳＬ１を生成する。
　これにより、静止画像のカメラ動き方向側の領域とその逆方向側の領域を含まない画像スリットを生成することが可能となり、運動視差によるパースのゆがみの影響を抑えること等が可能になる。
　また、画像スリット生成部２５０は、カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ画像スリットであり、連続して取得された静止画像の中心を含む画像スリットを生成してもよい。
　例えば、図４（Ｂ）において、カメラ移動方向がＤＲ２である場合には、ＤＲ２の水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向ＤＲＰ２に長辺ＬＬ２を持ち、静止画像ＳＩＭ２の中心ＣＰを含む画像スリットＳＬ２を生成する。
　これにより、静止画像のカメラ動き方向側の領域とその逆方向側の領域を含まず、静止画像の中心を含む画像スリットを生成することが可能となり、より運動視差によるパースのゆがみの影響を抑えること等が可能になる。
　また、パノラマ画像生成部２２０は、前回の合成処理に用いた画像スリットに対して、前回の画像スリットを撮影した時のカメラ移動方向に重複領域を持つように、今回の画像スリットの合成処理を行って、パノラマ画像を生成してもよい。
　これにより、生成された画像スリットをカメラ動き方向側に次々に重畳して、合成処理を行うこと等が可能になる。
　また、方向判定部２１０は、撮像部１２を移動させながら撮影が行われる場合に、カメラ移動方向が第１のカメラ移動方向であるか、第２のカメラ移動方向であるか、若しくは第１のカメラ移動方向及び第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定してもよい。
　これにより、ジグザグな軌道を描くように撮像部を移動させる場合に、パノラマ画像を生成すること等が可能になる。ジグザグな軌跡を描くように撮像部が移動され撮影が行われることで、複数の方向において、撮像部の画角よりも広い範囲を映したパノラマ画像を生成すること等が可能になる。また、第１のカメラ移動方向への撮影開始位置と第２のカメラ移動方向への撮影開始位置を合わせるような位置合わせ等のために、撮像部を移動させることがなく、ユーザの手間を省くこと等が可能となる。また、一度の動画撮影でパノラマ画像を生成するための素材を用意することができるため、さらにユーザの手間を省くこと等が可能となる。
　また、パノラマ画像生成部２２０は、第１のカメラ移動方向へ画像スリットを合成する処理と第２のカメラ移動方向へ画像スリットを合成する処理とを並列に行ってもよい。
　これにより、第１のカメラ移動方向への画像スリットの合成が完了していない場合にも、第２のカメラ移動方向への画像スリットの合成が開始できるため、第１のカメラ移動方向への画像スリットの合成処理がボトルネックとなることを防ぎ、パノラマ画像の生成処理を高速に行うこと等が可能となる。
　また、パノラマ画像生成部２２０は、第１の誤差許容度に基づいて、画像スリットの合成処理を行った後に、第１の誤差許容度よりも低い誤差許容度である第２の誤差許容度に基づいて、画像スリットの合成処理を行ってもよい。
　ここで、誤差許容度とは、撮像部の目標位置からのずれを許容する度合いのことをいう。また、目標位置とは、現在の撮像部の位置から、第１のカメラ移動方向に撮像部が移動された時に取得されたカメラ動き方向情報により表されるベクトルとは逆方向に、同じ距離だけ撮像部を動かした位置のことをいう。
　また言い換えると、誤差許容度は、２つの画像スリットの重複部分の不一致率の許容量ということもできる。具体的には、誤差許容度は、被写体の同一範囲を映す画素の位置の差の許容量などである。
　なお、第１の誤差許容度とは、第２の誤差許容度よりも高い所定の誤差許容度のことをいう。一方、第２の誤差許容度とは、第１の誤差許容度よりも低い所定の誤差許容度のことをいう。
　これにより、第１の誤差許容度に基づいて、画像スリットの重複領域の特定を行った後、第２の誤差許容度に基づいて、画像スリットの合成位置の高精度化を行うこと等が可能となる。その結果として、例えば、合成される２つの画像スリット間で、被写体の同一範囲を映す画素の位置の差がより小さくなるように重複されたパノラマ画像を生成すること等が可能になる。
　また、画像取得部２７０は、動き情報取得部１６から撮像部１２の動き情報を取得され、画像スリットの合成処理において、連続する画像スリットの重複領域を確保できないと、動き情報に基づき判断した場合には、静止画像の取得処理を停止してもよい。
　これにより、連続する画像スリットの重複領域を確保できず、パノラマ画像を生成することができないにも関わらず、静止画像を連続して取得するような無駄な処理を行うことを事前に防ぐこと等が可能になる。
　また、画像取得部２７０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、撮像部１２が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、画像スリットの合成処理において、連続する画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、画像取得速度を大きくしてもよい。
　ここで、カメラ移動速度とは、ユーザが撮像部を移動させる速度のことをいう。
　また、画像取得速度とは、単位時間当たりの静止画像を取得する枚数のことをいう。具体的に、画像取得速度は、Ｉ／Ｆ部が連続する静止画像を含む情報を取得する場合には、撮像部のシャッタースピードと同じ速度又はシャッタースピードよりも遅い所定の速度等であり、Ｉ／Ｆ部が動画像を含む情報を取得する場合には、動画像から静止画像をサンプリングする速度（サンプリングレート）等のことをいう。
　これにより、パノラマ画像を生成するために、必要な重複領域を持った画像スリットを取得すること等が可能になる。
　また、他の実施形態として、画像取得部２７０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、撮像部１２が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、画像スリットの合成処理において、画像取得速度を大きくしてもよい。
　例えば、カメラ移動速度が大きくなったと判断した場合に、通常の画像取得速度（サンプリングレート）よりも大きい値を有するあらかじめ設定された画像取得速度（サンプンリングレート）に設定を変更してもよい。
　また、画像スリット生成部２５０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、撮像部１２が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、画像スリットの合成処理において、連続する画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、画像スリットのスリット幅を大きくしてもよい。
　これにより、例えば、画像取得速度（サンプリングレート）がハードウェアやネットワークの限界により増加させられない場合等においても、パノラマ画像を生成するために、必要な重複領域を持った画像スリットを取得すること等が可能になる。
　また、他の実施形態として、画像スリット生成部２５０は、動き情報取得部１６から取得される撮像部１２の動き情報に基づいて、撮像部１２が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、画像スリットの合成処理において、画像スリットのスリット幅を大きくしてもよい。
　例えば、カメラ移動速度が大きくなったと判断した場合に、通常のスリット幅よりも大きい値を有するあらかじめ設定されたスリット幅に設定を変更してもよい。
　また、撮像装置１００が静止画像を撮像する速度（または撮像装置１００が静止画像を動画像からサンプリングする速度、以下同じ）が、画像取得部２７０が静止画像を取得する速度よりも速い場合には、撮像装置１００が取得した静止画像の一部が使用されず、無駄となる。一方、撮像装置１００が静止画像を撮像する速度が、画像取得部２７０が静止画像を取得する速度よりも遅い場合には、画像取得部２７０は、パノラマ画像を生成するために必要十分な画像を取得することができない。
　そこで、画像取得部２７０は、撮像部のシャッタータイミングを制御して、静止画像を連続して取得してもよい。
　シャッタータイミングの制御は、サンプリング制御部２７２により設定されたサンプリングレート等の情報を撮像装置１００に出力することにより行う。また、サンプリングレートの他にも、サンプリングレートに基づいて求めたシャッター速度や撮影間隔などの情報を撮像装置１００に出力してもよい。
　これにより、例えば、撮像部が撮像する静止画像の枚数と、画像取得部が取得する静止画像の枚数を一致させることが可能となり、無駄な静止画像を撮像させることを防止しつつ、必要な静止画像を取得すること等が可能になる。
　なお本実施形態の情報処理装置等は、プログラム又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体により実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の情報処理装置等が実現される。具体的には情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そしてＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　５．処理の流れ
　以下では、図１６及び図１７のフローチャートを用いて、本実施形態の処理の流れについて説明する。なお、ここではパノラマ画像の生成元が動画像である場合の流れについて説明するが、本発明のパノラマ画像の生成元は動画像に限定されない。パノラマ画像の生成元が連写された静止画像である場合も、下記と同様の流れで、パノラマ画像を生成することが可能である。
　５．１　パノラマ画像生成処理の流れ
　まず、ユーザにより撮影が開始される（Ｓ１）。次に、動き情報取得部が動き情報を取得する（Ｓ２）。そして、取得した動き情報に基づいて、一定方向へ撮像部が移動されているか否かを判定する（Ｓ３）。一定方向へ撮像部が移動されていないと判定した場合には、再度Ｓ２の処理を行う。一方、一定方向へ撮像部が移動されていると判定した場合には、動き情報に基づいて、撮影速度を求め、撮影速度に基づいて、サンプリングレートを設定する（Ｓ４）。そして、設定されたサンプリングレートに基づいて、撮影された動画像から静止画像のサンプリングを開始する（Ｓ５）。
　次に、重複領域が確保されるように、動き情報に基づいて、最適な画像スリット幅を設定する（Ｓ６）。そして、設定された画像スリット幅を持つ画像スリットを、サンプリングされた静止画像から抽出する（Ｓ７）。さらに、静止画像から位置合わせスリットを生成する（Ｓ８）。
　そして、動き情報に基づいて、撮像部が移動されているか否かを判定する（Ｓ９）。撮像部が移動されていると判定した場合には、再度ステップＳ７の処理を行う。一方、撮像部が移動されていないと判定した場合には、静止画像のサンプリングを終了する（Ｓ１０）。最後に、パノラマ合成を行い、パノラマ画像を生成する（Ｓ１１）。パノラマ合成の詳細については、後述する。
　５．１．１　パノラマ合成処理の流れ
　まず、第１の誤差許容範囲を設定する（Ｓ２０）。次に、動き情報により重複領域の探索範囲を限定する（Ｓ２１）。
　そして、第１のカメラ移動方向へ撮像部を移動させた時の画像スリットと、位置合わせスリットの重複範囲を求める（Ｓ２２）。また、ステップＳ２２の処理と並行して、第２のカメラ移動方向へ撮像部を移動させた時の画像スリットと、位置合わせスリットの重複範囲を求める（Ｓ２３）。そして、設定した第１の誤差許容範囲に基づいて、画像スリットの合成を行う（Ｓ２４）。
　次に、全ての画像スリットの合成が終了したか判定する（Ｓ２５）。全ての画像スリットの合成が終了していないと判定した場合には、再度ステップＳ２１の処理を行う。一方、全ての画像スリットの合成が終了したと判定した場合には、第２の誤差許容範囲を設定する（Ｓ２６）。最後に、設定した第２の誤差許容範囲に基づいて、画像スリットの合成位置の高精度化を行う（Ｓ２７）。
　以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理システム、情報処理装置及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１２　撮像部、１４　エンコーダ、１６　動き情報取得部、１８　Ｉ／Ｆ部、
１００　撮像装置、２００　画像処理システム、２１０　方向判定部、
２２０　パノラマ画像生成部、２３０　記憶部、２４０　Ｉ／Ｆ部、
２５０　画像スリット生成部、２６０　位置合わせスリット生成部、
２７０　画像取得部（サンプリング部）、２７２　サンプリング制御部
３００　提示部、４００　情報処理装置

Claims (26)

  1. 　静止画像を連続して取得する画像取得部と、
    　撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
    　連続して取得された前記静止画像に基づいて、画像スリットを生成する画像スリット生成部と、
    　前記画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
    　を含み、
    　前記方向判定部は、
    　前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
    　前記パノラマ画像生成部は、
    　連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記画像スリットの合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
  2. 　請求項１において、
    　連続して取得された前記静止画像に基づいて、位置合わせスリットを生成する位置合わせスリット生成部を含み、
    　前記パノラマ画像生成部は、
    　連続して取得された前記静止画像の撮影時における前記カメラ移動方向と、前記位置合わせスリットとに基づいて、前記画像スリットの前記合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理システム。
  3. 　請求項２において、
    　前記位置合わせスリット生成部は、
    　前記画像スリットの長辺と前記位置合わせスリットの長辺とが直交するように、前記位置合わせスリットを生成することを特徴とする画像処理システム。
  4. 　請求項２又は３において、
    　前記位置合わせスリット生成部は、
    　前記静止画像の中心を通る直線により第１の領域と第２の領域を設定し、前記第１の領域から第１の位置合わせスリットを生成し、前記第２の領域から第２の位置合わせスリットを生成することを特徴とする画像処理システム。
  5. 　請求項２乃至４のいずれかにおいて、
    　前記位置合わせスリット生成部は、
    　動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記静止画像中の前記位置合わせスリットを抽出する位置を変更し、前記位置合わせスリットを生成することを特徴とする画像処理システム。
  6. 　請求項２乃至５のいずれかにおいて、
    　前記パノラマ画像生成部は、
    　前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合には、前記第１のカメラ移動方向と垂直な方向に前記合成位置をずらし、前記位置合わせスリットの一部と今回の前記画像スリットの一部が重複するように、前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
  7. 　請求項６において、
    　前記方向判定部は、
    　前記第１のカメラ移動方向に前記撮像部を移動させながら撮影が行われた後に、前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向に前記撮像部を移動させ、前記第３のカメラ移動方向に前記撮像部を移動させた後に、前記第２のカメラ移動方向に前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向の判定を行い、
    　前記パノラマ画像生成部は、
    　前記静止画像の中心を基準にして、前記第３のカメラ移動方向にある領域から前記位置合わせスリットを生成した場合には、
    　前記カメラ移動方向が前記第１のカメラ移動方向である時に連続して取得された前記静止画像に基づき生成された前記位置合わせスリットを、前記合成処理に用い、
    　前記静止画像の中心を基準にして、前記第３のカメラ移動方向とは逆方向にある領域から前記位置合わせスリットを生成した場合には、
    　前記カメラ移動方向が前記第２のカメラ移動方向である時に連続して取得された前記静止画像に基づき生成された前記位置合わせスリットを、前記合成処理に用いることを特徴とする画像処理システム。
  8. 　請求項６又は７において、
    　前記パノラマ画像生成部は、
    　動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記位置合わせスリットと前記画像スリットの重複領域の位置を探索する範囲を限定して、前記合成処理を行うことを特徴とする画像処理システム。
  9. 　請求項８において、
    　前記パノラマ画像生成部は、
    　前記動き情報取得部から取得される前記撮像部の前記動き情報の水平成分と垂直成分のうちのいずれか一方に基づいて、前記位置合わせスリットと前記画像スリットの前記重複領域の位置を探索する範囲を限定して、前記合成処理を行うことを特徴とする画像処理システム。
  10. 　請求項１乃至９のいずれかにおいて、
    　前記画像スリット生成部は、
    　前記カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ前記画像スリットを生成することを特徴とする画像処理システム。
  11. 　請求項１０において、
    　前記画像スリット生成部は、
    　前記カメラ移動方向を表す前記ベクトルの水平成分と垂直成分のうち、絶対値の小さい成分に対応する方向に長辺を持つ前記画像スリットであり、連続して取得された前記静止画像の中心を含む前記画像スリットを生成することを特徴とする画像処理システム。
  12. 　請求項１乃至１１のいずれかにおいて、
    　前記パノラマ画像生成部は、
    　前回の前記合成処理に用いた前記画像スリットに対して、前回の前記画像スリットを撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記画像スリットの前記合成処理を行って、前記パノラマ画像を生成することを特徴とする画像処理システム。
  13. 　請求項１乃至１２のいずれかにおいて、
    　前記方向判定部は、
    　前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が前記第１のカメラ移動方向であるか、前記第２のカメラ移動方向であるか、若しくは前記第１のカメラ移動方向及び前記第２のカメラ移動方向と異なる方向である第３のカメラ移動方向であるかを判定することを特徴とする画像処理システム。
  14. 　請求項１乃至１３のいずれかにおいて、
    　前記パノラマ画像生成部は、
    　前記第１のカメラ移動方向へ前記画像スリットを合成する処理と前記第２のカメラ移動方向へ前記画像スリットを合成する処理とを並列に行うことを特徴とする画像処理システム。
  15. 　請求項１乃至１４のいずれかにおいて、
    　前記パノラマ画像生成部は、
    　第１の誤差許容度に基づいて、前記画像スリットの前記合成処理を行った後に、前記第１の誤差許容度よりも低い誤差許容度である第２の誤差許容度に基づいて、前記画像スリットの前記合成処理を行うことを特徴とする画像処理システム。
  16. 　請求項１乃至１５のいずれかにおいて、
    　前記画像取得部は、
    　動き情報取得部から前記撮像部の動き情報を取得され、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域を確保できないと、前記動き情報に基づき判断した場合には、前記静止画像の取得処理を停止することを特徴とする画像処理システム。
  17. 　請求項１乃至１６のいずれかにおいて、
    　前記画像取得部は、
    　動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記撮像部が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、画像取得速度を大きくすることを特徴とする画像処理システム。
  18. 　請求項１乃至１７のいずれかにおいて、
    　前記画像スリット生成部は、
    　動き情報取得部から取得される前記撮像部の動き情報に基づいて、前記撮像部が移動される速度であるカメラ移動速度が大きくなったと判断した場合に、前記画像スリットの前記合成処理において、連続する前記画像スリットの重複領域の面積が所定の閾値よりも大きくなるように、前記画像スリットのスリット幅を大きくすることを特徴とする画像処理システム。
  19. 　請求項１乃至１８のいずれかにおいて、
    　前記画像取得部は、
    　前記撮像部のシャッタータイミングを制御して、前記静止画像を連続して取得することを特徴とする画像処理システム。
  20. 　撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
    　画像取得部により画像取得された静止画像に基づいて生成された画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部と、
    　前記画像スリットと生成した前記パノラマ画像とを記憶する記憶部と、
    　を含み、
    　前記方向判定部は、
    　前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
    　前記パノラマ画像生成部は、
    　連続して取得された前記静止画像に基づいて生成された前記画像スリットの合成位置を、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
  21. 　請求項２０において、
    　前記記憶部は、
    　連続して取得された前記静止画像に基づいて、位置合わせスリット生成部により生成された位置合わせスリットを記憶し、
    　前記パノラマ画像生成部は、
    　連続して取得された前記静止画像の撮影時における前記カメラ移動方向と、前記位置合わせスリットとに基づいて、前記画像スリットの前記合成位置を決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とする情報処理装置。
  22. 　請求項２１において、
    　前記パノラマ画像生成部は、
    　前記カメラ移動方向が前記第２のカメラ移動方向であると判定された場合には、前記第１のカメラ移動方向と垂直な方向に前記合成位置をずらし、前記位置合わせスリットの一部と今回の前記画像スリットの一部が重複するように、前記合成処理を行って、前記パノラマ画像を生成することを特徴とする情報処理装置。
  23. 　請求項２０乃至２２のいずれかにおいて、
    　前記画像スリットは、
    　前記カメラ移動方向を表すベクトルの水平成分と垂直成分のうち、絶対値の大きい成分に対応する方向に長辺を持ち、連続して取得された前記静止画像の中心を含むことを特徴とする情報処理装置。
  24. 　請求項２０乃至２３のいずれかにおいて、
    　前記パノラマ画像生成部は、
    　前回の前記合成処理に用いた前記画像スリットに対して、前回の前記画像スリットを撮影した時の前記カメラ移動方向に重複領域を持つように、今回の前記画像スリットの前記合成処理を行って、前記パノラマ画像を生成することを特徴とする情報処理装置。
  25. 　撮影中の撮像部が移動される方向であるカメラ移動方向を判定する方向判定部と、
    　画像取得部により画像取得された静止画像に基づいて生成された画像スリットの合成処理を行い、パノラマ画像を生成するパノラマ画像生成部として、
    　コンピュータを機能させ、
    　前記方向判定部は、
    　前記撮像部を移動させながら撮影が行われる場合に、前記カメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
    　前記パノラマ画像生成部は、
    　連続して取得された前記静止画像に基づいて生成された前記画像スリットの合成位置を、連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて決定し、前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とするプログラム。
  26. 　静止画像を連続して取得し、
    　撮像部を移動させながら撮影が行われる場合に、撮影中の前記撮像部が移動される方向であるカメラ移動方向が第１のカメラ移動方向であるか、前記第１のカメラ移動方向と異なる方向である第２のカメラ移動方向であるかを判定し、
    　連続して取得された前記静止画像に基づいて、画像スリットを生成し、
    　連続して取得された前記静止画像の撮影時における前記カメラ移動方向に基づいて、前記画像スリットの合成位置を決定し、
    　前記画像スリットの前記合成処理を行い、前記パノラマ画像を生成することを特徴とする画像処理方法。
PCT/JP2012/068057 2011-07-27 2012-07-17 画像処理システム、情報処理装置、プログラム及び画像処理方法 WO2013015148A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/164,428 US9781340B2 (en) 2011-07-27 2014-01-27 Image processing system, information processing device, information storage device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011164062A JP5996169B2 (ja) 2011-07-27 2011-07-27 画像処理システム、情報処理装置及びプログラム
JP2011-164062 2011-07-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/164,428 Continuation US9781340B2 (en) 2011-07-27 2014-01-27 Image processing system, information processing device, information storage device, and image processing method

Publications (1)

Publication Number Publication Date
WO2013015148A1 true WO2013015148A1 (ja) 2013-01-31

Family

ID=47600998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068057 WO2013015148A1 (ja) 2011-07-27 2012-07-17 画像処理システム、情報処理装置、プログラム及び画像処理方法

Country Status (3)

Country Link
US (1) US9781340B2 (ja)
JP (1) JP5996169B2 (ja)
WO (1) WO2013015148A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781341B2 (en) 2011-07-27 2017-10-03 Olympus Corporation Image processing system, information processing device, information storage device, and image processing method
US10455221B2 (en) 2014-04-07 2019-10-22 Nokia Technologies Oy Stereo viewing
WO2023135910A1 (ja) * 2022-01-17 2023-07-20 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008073088A1 (en) * 2006-12-13 2008-06-19 Thomson Licensing System and method for acquiring and editing audio data and video data
JP6197771B2 (ja) 2014-09-25 2017-09-20 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
JP2016092691A (ja) * 2014-11-07 2016-05-23 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、並びに記憶媒体
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
JP6505556B2 (ja) * 2015-09-07 2019-04-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP3355576A4 (en) * 2015-09-25 2019-05-01 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
JP6869841B2 (ja) 2017-07-20 2021-05-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
CN113487746B (zh) * 2021-05-25 2023-02-24 武汉海达数云技术有限公司 一种车载点云着色中最优关联影像选择方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126665A (ja) * 1996-10-14 1998-05-15 Sharp Corp 画像合成装置
JP2008167092A (ja) * 2006-12-28 2008-07-17 Casio Comput Co Ltd 画像合成装置、画像合成プログラム及び画像合成方法
WO2008087721A1 (ja) * 2007-01-18 2008-07-24 Fujitsu Limited 画像合成装置、画像合成方法、プログラム
JP2011078132A (ja) * 2010-12-28 2011-04-14 Sony Corp 撮像装置、撮像方法、画像処理装置、画像処理方法、プログラム及び記録媒体
JP2012070329A (ja) * 2010-09-27 2012-04-05 Casio Comput Co Ltd 撮像装置及び方法、並びにプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3001021B2 (ja) * 1991-09-27 2000-01-17 オリンパス光学工業株式会社 カメラ
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
JPH09322055A (ja) 1996-05-28 1997-12-12 Canon Inc 電子カメラシステム
US6389179B1 (en) 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3466493B2 (ja) 1998-11-18 2003-11-10 日本電信電話株式会社 パノラマ画像作成方法、装置、パノラマ画像作成プログラムを記録した記録媒体、情報提供方法、装置、情報提供プログラムを記録した記録媒体
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US7606441B2 (en) * 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP2006345400A (ja) 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd ビデオカメラ装置
JP4611231B2 (ja) 2006-03-28 2011-01-12 富士通株式会社 パノラマ画像作成装置、方法およびプログラム
JP4980779B2 (ja) * 2007-04-13 2012-07-18 富士フイルム株式会社 撮影装置、方法およびプログラム
JP5115731B2 (ja) 2008-07-24 2013-01-09 ソニー株式会社 撮像装置及び画像処理方法並びにプログラム
JP5965596B2 (ja) 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126665A (ja) * 1996-10-14 1998-05-15 Sharp Corp 画像合成装置
JP2008167092A (ja) * 2006-12-28 2008-07-17 Casio Comput Co Ltd 画像合成装置、画像合成プログラム及び画像合成方法
WO2008087721A1 (ja) * 2007-01-18 2008-07-24 Fujitsu Limited 画像合成装置、画像合成方法、プログラム
JP2012070329A (ja) * 2010-09-27 2012-04-05 Casio Comput Co Ltd 撮像装置及び方法、並びにプログラム
JP2011078132A (ja) * 2010-12-28 2011-04-14 Sony Corp 撮像装置、撮像方法、画像処理装置、画像処理方法、プログラム及び記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781341B2 (en) 2011-07-27 2017-10-03 Olympus Corporation Image processing system, information processing device, information storage device, and image processing method
US10455221B2 (en) 2014-04-07 2019-10-22 Nokia Technologies Oy Stereo viewing
US10645369B2 (en) 2014-04-07 2020-05-05 Nokia Technologies Oy Stereo viewing
US11575876B2 (en) 2014-04-07 2023-02-07 Nokia Technologies Oy Stereo viewing
WO2023135910A1 (ja) * 2022-01-17 2023-07-20 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Also Published As

Publication number Publication date
US20140139624A1 (en) 2014-05-22
JP2013030874A (ja) 2013-02-07
US9781340B2 (en) 2017-10-03
JP5996169B2 (ja) 2016-09-21

Similar Documents

Publication Publication Date Title
JP5996169B2 (ja) 画像処理システム、情報処理装置及びプログラム
JP5965596B2 (ja) 画像処理システム、情報処理装置及びプログラム
US9652856B2 (en) Image processing system, image processing apparatus, and image capturing system
KR101819851B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US10547784B2 (en) Image stabilization
US9667864B2 (en) Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US20140098187A1 (en) Image processing device, image processing method, and program
US8890971B2 (en) Image processing apparatus, image capturing apparatus, and computer program
US20130089301A1 (en) Method and apparatus for processing video frames image with image registration information involved therein
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
US9154728B2 (en) Image processing apparatus, image capturing apparatus, and program
US10798345B2 (en) Imaging device, control method of imaging device, and storage medium
US20130176487A1 (en) Image processing apparatus, image capturing apparatus, and computer program
WO2017112800A1 (en) Macro image stabilization method, system and devices
JP5960710B2 (ja) 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JP5769755B2 (ja) 画像処理システム、画像処理装置及び画像処理方法
US20130177080A1 (en) Image processing apparatus, image capturing apparatus, and program
JP6952456B2 (ja) 情報処理装置、制御方法、及びプログラム
US20150281575A1 (en) Image processing apparatus, image processing method, program, and camera
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
JP2020086651A (ja) 画像処理装置および画像処理方法
WO2016185556A1 (ja) 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JP5687370B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2016054508A (ja) 表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12817646

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12817646

Country of ref document: EP

Kind code of ref document: A1