WO2013186805A1 - 画像撮像装置および画像撮像方法 - Google Patents

画像撮像装置および画像撮像方法 Download PDF

Info

Publication number
WO2013186805A1
WO2013186805A1 PCT/JP2012/003799 JP2012003799W WO2013186805A1 WO 2013186805 A1 WO2013186805 A1 WO 2013186805A1 JP 2012003799 W JP2012003799 W JP 2012003799W WO 2013186805 A1 WO2013186805 A1 WO 2013186805A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
image
imaging unit
units
Prior art date
Application number
PCT/JP2012/003799
Other languages
English (en)
French (fr)
Inventor
洋 大澤
京子 古村
平田　真一
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to PCT/JP2012/003799 priority Critical patent/WO2013186805A1/ja
Publication of WO2013186805A1 publication Critical patent/WO2013186805A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image capturing apparatus and method.
  • the present invention relates to an apparatus and method for capturing a composite image.
  • Digital still cameras and digital video cameras have become widespread, and there are more opportunities to save and view captured still images and movies on a computer, display them on the screen of game consoles and television (TV) systems. Yes. In addition, it is also popular to upload a captured video to an Internet posting site and share the video with other users.
  • Some digital cameras can shoot panoramic images, and it has become easy to shoot panoramic images with a wide viewing angle.
  • a software tool that generates a panoramic image by combining a plurality of images taken by a digital camera while changing the shooting direction is also often used.
  • Mobile devices such as mobile phones with cameras are also provided with panorama shooting modes and panoramic image applications that can be shot with the camera while the tilt of the mobile device is changed, and automatically combined with the panoramic images. There is something.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of easily generating a composite image using a multi-view camera.
  • an image imaging apparatus includes a multi-view imaging unit including a plurality of imaging units, an image captured by the multi-view imaging unit, and an operation menu for the multi-view imaging unit. And a main body provided with an operation display unit capable of displaying at least one of them and accepting a user's operation.
  • the operation display unit is provided in a recessed portion of the main body unit.
  • Another aspect of the present invention is an image capturing method.
  • a moving image captured by each of a plurality of imaging units is stored in a frame memory, and an imaging unit corresponding to an image selected on a screen that displays an image captured by each of the plurality of imaging units.
  • a step of setting shooting conditions as a reference camera a step of setting shooting conditions set for the image pickup unit selected as the reference camera for the remaining image pickup units, and a setting stored in the frame memory. And multiplexing a plurality of moving images from the plurality of imaging units to generate a moving image stream.
  • a composite image can be easily generated using a multi-lens camera.
  • FIG. 1 is a perspective view of a panoramic imaging device according to an embodiment. It is a figure explaining the angle of view of the side imaging unit of the multi-view imaging unit of the panoramic imaging apparatus of FIG. 1 and the installation position of the operation / display unit. It is a figure explaining the internal structure of the multi-eye imaging part of FIG.
  • FIGS. 4A to 4C are diagrams for explaining the positional relationship between the six imaging units mounted on the fixing member of FIG. It is a figure which shows the center axis
  • FIG. 6A and FIG. 6B are diagrams illustrating a separable configuration of the multi-view imaging unit and the main body unit.
  • FIGS. 8A to 8D are views for explaining the relationship between the angle of view of the imaging unit installed on the side surface of the fixed member and the angle of view of the imaging unit installed on the top surface of the fixed member.
  • FIG. 10A and FIG. 10B are diagrams illustrating an operation screen displayed on the operation / display unit. It is a functional block diagram of the panoramic video stream production
  • FIGS. 14A and 14B are diagrams illustrating the data structure of a multi-view video stream generated by the video stream switching recording control. It is a block diagram of the control system for selectively controlling a multi-lens camera. It is a figure explaining the function structure of the multi-view camera control system of FIG. 17A is a flowchart for explaining the writing process by the multi-camera control system of FIG. 16, and FIG. 17B is a flowchart for explaining the reading process by the multi-camera control system of FIG.
  • FIG. 20A and 20B are diagrams illustrating an example of an operation screen displayed on the operation / display unit 40.
  • FIG. It is a figure explaining the case where a reference camera is designated and batch common setting is carried out.
  • FIG. It is a figure which shows the example of an operation screen in the case of designating a reference camera and carrying out a batch common setting.
  • the outdoors are image
  • FIG. 29A and FIG. 29B are diagrams illustrating captured images that are captured by setting a common reference exposure value for a plurality of imaging units for comparison.
  • 30 (a) to 30 (c) are diagrams for explaining the reference exposure value set for each imaging unit by the exposure setting unit of FIG. 28 and the relative exposure value changed in multiple stages around the reference exposure value. .
  • 33 (a) to 33 (c) are diagrams for explaining a method of pseudo HDR synthesis by the HDR synthesis unit in FIG. It is a functional block diagram of the panoramic video stream production
  • FIG. 1 is a perspective view of a panoramic imaging apparatus 100 according to an embodiment.
  • the panoramic imaging device 100 includes a multi-eye imaging unit 10 and a main body unit 30.
  • the multi-eye imaging unit 10 and the main body unit 30 are cylindrical, and the multi-eye imaging unit 10 and the main body unit 30 are coupled with the central axis aligned.
  • the multi-view imaging unit 10 is covered with a cylindrical camera casing 12, and a plurality of imaging units 20A to 20F (hereinafter collectively referred to as imaging units 20) are mounted on the camera casing 12. Yes.
  • Each of the imaging units 20A to 20F includes components necessary for shooting such as a lens and an imaging device.
  • five imaging units 20A to 20E (hereinafter also referred to as “side imaging units”) are arranged at an equal angle so that the lens is positioned on the circumference of the cylindrical camera casing 12.
  • One imaging unit 20 ⁇ / b> F (hereinafter also referred to as “zenith imaging unit”) is arranged so that the lens is positioned on the upper surface of the camera housing 12.
  • the main body 30 includes an operation / display unit 40, a battery, a main circuit, and an external interface.
  • the operation / display unit 40 is provided at a position recessed inward from the outer periphery of the cylindrical main body 30.
  • the moving image data imaged by each of the imaging units 20A to 20F of the multi-eye imaging unit 10 is transmitted to the main circuit of the main body unit 30 via a serial interface or a USB (Universal Serial Bus) interface.
  • the main circuit is equipped with a function of multiplexing a moving image frame picked up by each of the image pickup units 20A to 20F to generate a panoramic moving image stream.
  • the main circuit includes an external interface for connecting an external recording device such as a USB memory, and the generated panoramic video stream is recorded in the external recording device via the external interface.
  • the operation / display unit 40 is a display provided with a touch panel. Each image photographed by each of the imaging units 20A to 20F of the multi-eye imaging unit 10 is displayed on the display. Further, a panoramic image obtained by combining a plurality of images taken by the plurality of imaging units 20A to 20F can be displayed on the display. Further, an operation menu can be displayed on the display, and the user can input an operation on the screen by directly touching the touch panel with a finger while looking at the display screen.
  • FIG. 2 is a diagram illustrating the angle of view of the side imaging unit 20A of the multi-eye imaging unit 10 of the panoramic imaging apparatus 100 and the installation position of the operation / display unit 40.
  • the main body 30 of the panoramic imaging apparatus 100 is attached to a tripod 80.
  • the field of view photographed by the side imaging unit 20A is expanded by the angle of view ⁇ of the side imaging unit 20A as shown in the figure.
  • the photographer sits in front of the tripod 80, extends his hand from below, and operates the operation menu displayed on the operation / display unit 40. Since the operation / display unit 40 is provided in the recessed portion of the cylindrical main body 30, even when the photographer touches the touch panel to operate the operation menu on the screen, the operation / display unit 40 is outside the field of view of the side imaging unit 20A. Can touch the touch panel. As a result, it is possible to avoid the photographer's finger from appearing in the image unintentionally.
  • the operation / display unit 40 in the hollow portion of the cylindrical main body 30, it is possible to prevent illumination light from the operation / display unit 40 from being reflected in any of the imaging units 20A to 20F. it can. Design the depth of the depression provided with the operation / display unit 40 and the inclination of the operation / display unit 40 provided in the depression so that the influence of the illumination light from the operation / display unit 40 is below a predetermined level. To do.
  • FIG. 3 is a diagram illustrating the internal structure of the multi-eye imaging unit 10.
  • a plurality of imaging units 20A to 20F are fixed to a single fixing member.
  • the positional deviation between the plurality of imaging units 20A to 20F varies due to deformation due to thermal expansion of each fixing member. If a plurality of imaging units 20A to 20F are fixed to one fixing member 14 as in the present embodiment, the influence of the characteristic change due to thermal expansion of the fixing member 14 on the imaging units 20A to 20F becomes constant. In addition, the positional accuracy between the plurality of imaging units 20A to 20F can be improved.
  • the fixing member 14 is a regular pentagonal prism, and five side imaging units 20A, 20B, 20C, 20D, and 20E are installed on the five sides of the pentagonal prism, and one is provided on the zenith surface of the pentagonal prism.
  • the zenith part imaging unit 20F is installed.
  • the fixing member 14 is a pentagonal prism, but an imaging unit may be provided on each surface around the polygonal prism as other polygonal prisms.
  • panoramic images have a subject to be photographed at 360 degrees in the horizontal direction of the photographer, and there are many cases where the overhead is empty and the feet are the ground.
  • the imaging unit is provided on the outer peripheral surface of the polygonal column and one imaging unit is provided on the upper surface of the polygonal column as in the present embodiment, the line-of-sight direction is changed at an equal angle in the horizontal direction of the photographer.
  • a plurality of images can be taken.
  • by arranging a plurality of imaging units at equal intervals it is possible to easily perform a combining process when generating panoramic images by connecting the imaging data of the imaging units.
  • an image pickup unit (a total of 12 image pickup units) provided on each surface of a regular dodecahedron, but in this embodiment, a smaller number of image pickup units is provided. There is also an advantage that an image necessary for panoramic image synthesis can be taken.
  • FIGS. 4A to 4C are diagrams for explaining the positional relationship between the six imaging units 20A to 20F mounted on the fixing member 14 of FIG. 4A is a top view seen from the direction of the central axis of the fixing member 14 (the z-axis direction of FIG. 3), and FIG. 4B is a prism of the fixing member 14 to which the imaging unit 20A is attached.
  • 4 is a side view seen from a direction (x-axis direction in FIG. 3) perpendicular to one side surface of FIG. 3
  • FIG. 4 (c) is a y-axis in FIG. 3 perpendicular to the x-axis direction and the z-axis direction in FIG. It is the side view seen from the direction.
  • the five side surface imaging units 20A to 20E form a circle with a radius L at an equal circumferential angle (72 °) in the horizontal plane around the fixing member 14 of the pentagonal column.
  • the imaging directions of the side imaging units 20A to 20E are the radial direction of the circle.
  • the zenith imaging unit 20F arranged on the zenith surface of the fixing member 14 and the side imaging unit 20B arranged on the side of the fixing member 14 are: They are arranged to form a circle with a radius L at a circumferential angle of 90 ° on the vertical plane.
  • the side imaging units 20A, 20C, 20D, and 20E arranged on the other side of the fixing member 14 of the zenith imaging unit 20F and the fixing member 14 are also arranged to form a circle with a radius L at a circumferential angle of 90 °.
  • the six imaging units 20A to 20F are arranged to form a sphere having a radius L.
  • FIG. 5 is a diagram illustrating the fixing member 14 to which the six imaging units 20A to 20F are fixed and the central axis of the main body 30.
  • the multi-view imaging unit 10 is connected to the main body 30 so that the central axes of the fixing member 14 and the main body 30 match.
  • the tripod seat fixing hole 50 of the main body 30 is provided on the central axis of the main body 30, the position of the tripod coupled to the tripod seat fixing hole 50 coincides with the central axis of the fixing member 14. Even when the main body 30 installed on the tripod is tilted or rotated, it is easy to adjust the shooting position, the line-of-sight direction, and the like.
  • FIG. 6A and 6 (b) are diagrams illustrating a separable configuration of the multi-view imaging unit 10 and the main body 30.
  • FIG. 6A the multi-view imaging unit 10 and the main unit 30 are separated, and the image data is converted in accordance with an interface standard for connecting peripheral devices such as USB (Universal Serial Bus).
  • the main body 30 may be connected to a physically separated position using an extendable cable or the like.
  • the multiview imaging unit 10 and the main body unit 30 may be connected via a removable relay cable that extends the signal line of the camera.
  • both the multi-view imaging unit 10 and the main body unit 30 may be provided with a wireless communication function, and both may be wirelessly connected. Accordingly, panoramic photography can be performed by bringing only the multi-lens imaging unit 10 even in a narrow place where the main body unit 30 cannot be carried.
  • the multi-view imaging unit 10 can be put in the hole to perform panoramic shooting in the hole.
  • the main body unit 30 may be a portable terminal such as a tablet PC or a mobile phone, and the multi-eye imaging unit 10 and the main body unit 30 are separated and data is transmitted between the multi-eye imaging unit 10 and the main body unit 30 by wireless communication. You may exchange. Thus, the photographer can operate the multi-view imaging unit 10 from a remote place while carrying the main body unit 30, and it is further easier to avoid the photographer's reflection.
  • FIG. 6B shows a configuration in which a tripod seat fixing hole 52 is provided on the bottom surface of the multi-view imaging unit 10, and the tripod can be directly coupled to the multi-view imaging unit 10. If the multi-eye imaging unit 10 is provided with a wireless communication function, data captured by the multi-eye imaging unit 10 can be transmitted to the main body unit 30 and other portable terminals.
  • FIG. 7 is a diagram showing a configuration in which an imaging unit 20G is also provided on the bottom surface of the multiview imaging unit 10.
  • an imaging unit 20G is also provided on the bottom surface of the multiview imaging unit 10.
  • photographing is performed by a method such as hanging the multiview imaging unit 10 from the ceiling with a wire or the like.
  • omnidirectional imaging may be performed by throwing the multi-lens imaging unit 10 in the air. If the multi-eye imaging unit 10 is provided with a wireless communication function, data captured by the multi-eye imaging unit 10 can be transmitted to the main body unit 30 and other portable terminals.
  • FIG. 8A to 8D illustrate the relationship between the angle of view of the imaging unit 20A installed on the side surface of the fixing member 14 and the angle of view of the imaging unit 20F installed on the zenith surface of the fixing member 14.
  • FIG. 8A to 8D illustrate the relationship between the angle of view of the imaging unit 20A installed on the side surface of the fixing member 14 and the angle of view of the imaging unit 20F installed on the zenith surface of the fixing member 14.
  • FIG. 8A shows the relationship between the visual field 60A of the side imaging unit 20A installed on the side surface of the fixing member 14 and the visual field 60B of the zenith part imaging unit 20F installed on the zenith surface of the fixing member 14.
  • FIG. 8B is a top view (viewed from the z-axis direction of FIG. 3) of the multi-view imaging unit 10 of the panoramic imaging device 100 as viewed from above, and side imaging installed on the side surface of the fixing member 14.
  • the horizontal field angle ⁇ AH of the visual field 60A of the unit 20A is shown.
  • FIGS. 8C and 8D are side views of the panoramic imaging device 100 viewed from the side (views viewed from the x-axis direction and the y-axis direction in FIG. 3).
  • FIG. 8C shows the horizontal field angle ⁇ FH of the zenith imaging unit 20F installed on the zenith surface of the fixing member 14.
  • FIG. 8D shows the vertical field angle ⁇ AV of the side imaging unit 20A installed on the side surface of the fixed member 14 and the vertical field angle ⁇ FV of the zenith part imaging unit 20F installed on the zenith surface of the fixed member 14. Show.
  • panoramic shooting in the vertical direction 180 ° is possible.
  • the relationship between the vertical field angle ⁇ AV and the horizontal field angle ⁇ AH of the side imaging unit 20A is ⁇ AV > ⁇ AH .
  • the horizontal field angle is larger than the vertical field angle.
  • the side surface of the fixing member 14 is rotated by 90 ° with respect to the normal side. Note that the imaging units 20A to 20E are installed in such a state.
  • FIG. 9 is a diagram illustrating the overlapping of the visual fields by the five side surface imaging units 20A to 20E installed on the side surface of the fixing member 14 in the top view of the multi-view imaging unit 10 of the panoramic imaging device 100 as viewed from above.
  • the horizontal angle of view of each of the side surface imaging units 20A to 20E is 121 ° as an example, and panoramic imaging in the horizontal direction of 360 ° can be performed by combining the images captured by the five side surface imaging units 20A to 20E.
  • FIG. 10 (a) and 10 (b) are diagrams for explaining an operation screen displayed on the operation / display unit 40.
  • FIG. Images taken by the six imaging units 20A to 20F of the panorama imaging apparatus 100 shown in FIG. 10A are displayed in areas A to F of the operation screen shown in FIG. 10B, respectively.
  • any of the imaging units 20A to 20F can be selected as the reference camera.
  • the area B is selected, and the area B is highlighted, for example, the frame of the area B is displayed in a different color.
  • the area B corresponds to the imaging unit 20B, and the imaging unit 20B serves as a reference camera, and the imaging unit 20B serves as a reference when setting shooting conditions such as exposure and white balance.
  • an automatic exposure (AE (auto exposure)) lock button 74 When the photographer presses an automatic exposure (AE (auto exposure)) lock button 74, the imaging unit 20B as the reference camera is set to the optimum exposure value by the automatic exposure, and the optimum exposure value is set to the other imaging units 20A, 20C, It is reflected in 20D, 20E, and 20F.
  • the AE lock button 74 is toggled. When the AE lock button 74 is pressed again, the AE lock is released, and the exposure can be automatically adjusted independently for each of the imaging units 20A to 20F.
  • an automatic white balance (AWB (auto white balance) lock button 76 when the photographer presses an automatic white balance (AWB (auto white balance)) lock button 76, the white balance of the image pickup unit 20B that is the reference camera is adjusted by the automatic white balance, and the correction value is set to the other image pickup unit. This is also reflected in 20A, 20C, 20D, 20E, and 20F.
  • the AWB lock button 76 is also toggled, and when pressed again, the AWB lock is released and the white balance can be automatically adjusted independently for each of the imaging units 20A to 20F.
  • the moving image recording start / stop button 70 When the photographer presses the moving image recording start / stop button 70, a moving image is shot by each of the imaging units 20A to 20F, and when the moving image recording start / stop button 70 is pressed again, the moving image recording stops.
  • the still image shooting button 72 When the still image shooting button 72 is pressed, a still image is shot by each of the imaging units 20A to 20F.
  • the recorded moving image or still image is recorded in a USB memory or the like connected to the main body unit 30 and the external interface of the main circuit.
  • FIG. 11 is a functional configuration diagram of the panoramic video stream generation unit 200 installed in the main circuit of the main body unit 30.
  • the shooting control unit 210 sets shooting parameters such as exposure values, white balance values, and frame rates of the imaging units 20A to 20F of the multi-lens imaging unit 10 individually or collectively. Further, the shooting control unit 210 controls zooming of the imaging units 20A to 20F, start / stop of shooting, and the like.
  • the moving image frames shot by the imaging units 20A to 20F are stored in the frame memories 220A to 220F, respectively.
  • the moving image stream multiplexing unit 230 multiplexes the moving image frames shot by the imaging units 20A to 20F stored in the frame memories 220A to 220F, generates a multi-view moving image stream, and supplies the multi-view moving image stream to the panorama stitching unit 242.
  • the panorama stitching unit 242 synthesizes a panoramic video by stitching processing that joins the video frames shot by the imaging units 20A to 20F, and generates a panoramic video stream.
  • the panoramic stitch unit 242 can output the multi-view video stream as it is without performing the stitching process.
  • the panoramic stitch unit 242 can output both a multi-view video stream and a panoramic video stream as necessary.
  • the panoramic stitch unit 242 records at least one of the multi-view video stream and the panoramic video stream in the panoramic video storage unit 240.
  • the display control unit 260 reads out the moving image frames shot by the imaging units 20A to 20F from the frame memories 220A to 220F and displays them on the screen of the operation / display unit 40.
  • the user interface unit 250 gives operation menu information of the imaging units 20A to 20F to the display control unit 260, and the display control unit 260 displays the operation menu on the screen of the operation / display unit 40.
  • the touch panel control unit 270 detects a touch operation by a user's finger on the touch panel, and gives information on a touch position and the like to the user interface unit 250.
  • the user interface unit 250 specifies the operation content selected by the user in the operation menu from the touch position information given by the touch panel control unit 270, and sends an operation command to the imaging control unit 210.
  • the imaging control unit 210 controls the imaging units 20A to 20F based on the operation command given from the user interface unit 250.
  • FIG. 12 shows a configuration related to moving image stream switching recording control in the panoramic moving image stream generation unit 200.
  • different configurations and operations of the shooting control unit 210 and the moving image stream multiplexing unit 230 illustrated in FIG. 11 will be described.
  • the configurations of the panoramic video storage unit 240, the display control unit 260, the user interface unit 250, and the touch panel control unit 270 in FIG. 11 are omitted here.
  • broken lines indicate control signal lines, and thick lines indicate image data transmission paths.
  • the moving image frames shot by the image pickup units 20A to 20F are stored in the frame memories 220A to 220F, respectively, and the moving image stream multiplexing unit 230 stores the respective image pickups stored in the frame memories 220A to 220F.
  • the moving image frames shot by the units 20A to 20F are read out and multiplexed to generate a multi-view moving image stream.
  • the moving image stream multiplexing unit 230 has functions of a motion detection unit 232, a mode determination unit 234, and a control signal generation unit 236 in addition to the function of multiplexing the moving image frames shot by the imaging units 20A to 20F.
  • the motion detector 232 detects motion vectors in the moving image frames A to F photographed by the imaging units 20A to 20F, and obtains the sum of the magnitudes of the motion vectors of the moving image frames A to F.
  • the motion detection unit 232 may detect a motion vector in a moving image frame shot by one or more specific imaging units of interest, and obtain a sum of the magnitudes of the motion vectors of the one or more moving image frames of interest. Good.
  • the mode determination unit 234 sequentially and intermittently operates the imaging units 20A to 20F with a frame period for each frame. Switching to one of the imaging units 20A to 20F, the captured image output by one imaging unit as the switching destination is read from the corresponding frame memory, and set to “imaging unit intermittent operation mode” that is multiplexed into one moving image stream.
  • the mode determination unit 234 When the sum of the magnitudes of the motion vectors calculated by the motion detection unit 232 is greater than or equal to a predetermined threshold, the mode determination unit 234 operates all the imaging units 20A to 20F at the same time, and outputs the imaging units 20A to 20F.
  • the captured image to be read is read from the frame memories 220A to 220F and set to the “imaging unit simultaneous operation mode” for multiplexing into one moving image stream.
  • the mode determination unit 234 gives information on the set operation mode of the imaging unit to the imaging control unit 210 and the control signal generation unit 236.
  • the imaging control unit 210 supplies a control signal corresponding to the operation mode set by the mode determination unit 234 to the imaging units 20A to 20F.
  • the imaging control unit 210 gives a control signal for causing the imaging units 20A to 20F to intermittently operate sequentially in a frame period. Accordingly, it is not necessary to supply power to the imaging unit that is not operating, and power consumption can be reduced.
  • the imaging control unit 210 gives a control signal for operating all the imaging units 20A to 20F simultaneously.
  • the imaging units 20A to 20F are operated, power consumption is required, but the quality of the panoramic video to be synthesized does not deteriorate even when the subject moves strongly or the scene changes.
  • the control signal generation unit 236 supplies a control signal corresponding to the operation mode set by the mode determination unit 234 to the frame memories 220A to 220F.
  • the control signal generation unit 236 switches to one of the frame memories 220A to 220F for each frame, activates reading from the frame memory at the switching destination, and outputs from other frame memories. Provides a control signal to deactivate reading.
  • the control signal generation unit 236 provides a control signal for activating reading from all the frame memories 220A to 220F.
  • the imaging units 20A to 20F are continuously operated and the frame memories 220A to 220F are set to the frame period. Then, the intermittent operation may be performed sequentially to switch to one of the frame memories 220A to 220F for each frame, and the captured image may be read from one frame memory at the switching destination and multiplexed into one moving image stream. This also can reduce the power supplied to the frame memory.
  • the mode determination unit 234 switches between “imaging unit intermittent operation mode” and “imaging unit simultaneous operation mode” according to not only the amount of motion of the captured image but also the remaining battery level and allowable power consumption of the panorama imaging apparatus 100. May be. For example, in order to operate for a long time, it is necessary to suppress the power consumption increased by unit time, and the mode is switched to the “imaging unit intermittent operation mode”. Further, it may be executed in the “imaging unit simultaneous operation mode” while the remaining battery level is sufficient, and may be switched to the “imaging unit intermittent operation mode” when the remaining battery level is low. Also, when the panoramic imaging device 100 is driven by a built-in rechargeable battery, it is set to “imaging unit intermittent operation mode”, and when it is driven by external power supplied from the AC adapter, The operation mode may be set.
  • the moving picture stream multiplexing unit 230 multiplexes the image frames transmitted from the frame memories 220A to 220F in any of the operation modes, generates a multi-view moving picture stream, and provides the main processor 280 with it.
  • the main processor 280 performs a stitching process on the multi-view video stream, generates a panoramic video stream, and records it in a secondary storage device 290 such as a flash memory.
  • the main processor 280 implements functional configurations of the panorama stitch unit 242 and the switching unit 246 by software in order to execute panorama stitch processing. These functions may be implemented by hardware.
  • the panorama stitching unit 242 joins the image frames captured by the imaging units 20A to 20F included in the multi-view video stream supplied from the video stream multiplexing unit 230 to synthesize a panoramic image, and time-series panoramic image frames.
  • a panoramic video stream in which data is arranged is generated and output.
  • the panorama stitching unit 242 outputs the multi-view video stream as it is without synthesizing the panoramic image.
  • the switching unit 246 switches between the panoramic video stream output from the panorama stitching unit 242 and the multi-view video stream according to the power consumption restriction, and records them in the secondary storage device 290. For example, the following three-stage control is possible depending on the amount of available power.
  • the panoramic stitch unit 242 When the available power is small, the panoramic stitch unit 242 outputs a multi-view video stream without generating a panoramic video stream.
  • the switching unit 246 turns off the switch 247 on the data transmission path 243 of the panoramic video stream, turns on the switch 248 on the data transmission path 244 of the multi-view video stream, and stores the multi-view video stream in the secondary storage device. Record at 290. Power consumption can be reduced by not performing panorama stitch processing.
  • the panorama stitching unit 242 When the available power is medium, the panorama stitching unit 242 generates and outputs a panoramic video stream, but does not output a multi-view video stream.
  • the switching unit 246 turns on the switch 247 on the data transmission path 243 of the panoramic video stream, turns off the switch 248 on the data transmission path 244 of the multi-view video stream, and stores the panoramic video stream in the secondary storage device 290. To record. Since the panorama stitching unit 242 operates, it consumes more power than in the case of (a), but there is an advantage that a panoramic video is generated in real time.
  • the panorama stitching unit 242 When the available power is large, the panorama stitching unit 242 generates and outputs a panoramic video stream and also outputs a multi-view video stream.
  • the switching unit 246 turns on the switch 247 on the data transmission path 243 of the panoramic video stream, turns on the switch 248 on the data transmission path 244 of the multi-view video stream, and
  • the moving image stream is recorded in the secondary storage device 290. Since both the multi-view video stream and the panoramic video stream are generated and recorded, the processing amount is large, the recording data amount is increased, and the power consumption is maximized. However, by recording not only a panoramic video stream but also a multi-view video stream, there is an advantage that the use is increased.
  • the imaging control unit 210 and the control signal generation unit 236 change the ratio of switching the imaging units 20A to 20F and the frame memories 220A to 220F by the ratio of the frame rates. That is, round-robin control weighted by the frame rate ratio is performed.
  • FIG. 13 is a flowchart for explaining a moving image stream switching recording control procedure by the panoramic moving image stream generation unit 200.
  • the motion detection unit 232 detects a motion vector from images captured by the imaging units 20A to 20F (S10).
  • the motion detection unit 232 calculates the sum of the magnitudes of motion vectors of the captured images of all the imaging units 20A to 20F or one or more imaging units of interest (S12).
  • the mode determination unit 234 determines whether or not the sum of the magnitudes of the motion vectors of each captured image is greater than or equal to a threshold (S14). If the sum of the magnitudes of the motion vectors of each captured image is less than the threshold (S14) N), “imaging unit intermittent operation mode” is set (S20). In the “imaging unit intermittent operation mode”, a “low frame rate recording mode” in which a multi-view video stream or a panoramic video stream is recorded at a low frame rate.
  • the mode determination unit 234 determines whether or not the panorama imaging apparatus 100 is operating within the power consumption limit when the sum of the magnitudes of the motion vectors of the respective captured images is equal to or greater than the threshold (Y in S14) (S16). . For example, in consideration of allowable power consumption per unit time in the case of long-time shooting, remaining battery power, and the like, it is determined whether the operation is within the power consumption limit. If the panorama imaging device 100 is not operating within the power consumption limit (N in S16), the mode determination unit 234 sets the “imaging unit intermittent operation mode” (S20), and the panorama imaging device 100 is within the power consumption limitation. If it is operating (Y in S16), it is set to “imaging unit simultaneous operation mode” (S18). In the “imaging unit simultaneous operation mode”, a “high frame rate recording mode” in which a multi-view video stream or a panoramic video stream is recorded at a high frame rate.
  • the imaging control unit 210 switches the imaging units 20A to 20F to simultaneous operation or intermittent operation according to the mode set by the mode determination unit 234, and the control signal generation unit 236 switches to the mode set by the mode determination unit 234.
  • the frame memories 220A to 220F are switched to simultaneous output or intermittent output (S22).
  • the panoramic video stream generation unit 200 multiplexes the frame data output from the frame memories 220A to 220F according to each mode to generate a multi-view video stream or a panoramic video stream (S24).
  • step S26 If the shooting is stopped by the user (Y in S26), the process is terminated, and if the shooting is not stopped (N in S26), the process returns to step S10 and the processes from S10 are repeated.
  • FIGS. 14A and 14B are diagrams illustrating the data structure of a multi-view video stream generated by video stream switching recording control.
  • the number of imaging units is 4, and the frame rate of each imaging unit is 30 fps (frames / second).
  • FIG. 14A shows a multi-view video stream generated in the “imaging unit intermittent operation mode”.
  • the imaging units 20A to 20D are intermittently operated sequentially in a frame cycle. In each frame cycle, the frame A captured by the imaging unit 20A, the frame B captured by the imaging unit 20B, the frame C captured by the imaging unit 20C, Multiplexing is performed in the order of the frames D imaged by the imaging unit 20D.
  • FIG. 14B shows a multi-view video stream generated in the “imaging unit simultaneous operation mode”.
  • the imaging units 20A to 20D operate simultaneously, and the frame A captured by the imaging unit 20A, the frame B captured by the imaging unit 20B, the frame C captured by the imaging unit 20C, and the imaging unit 20D are captured in each frame period.
  • the four imaging units 20A to 20D operate simultaneously, in the panoramic image obtained by combining the four captured images captured by the four imaging units 20A to 20D, adjacent captured images are captured at the same timing. Therefore, even when the motion is intense, the image quality of the panoramic image obtained by joining the captured images is maintained.
  • the image quality does not deteriorate so much even if the frame rate of the camera is lowered.
  • the movement of the subject is intense, if the frame rate of the camera is lowered (corresponding to a longer shutter speed in the case of a CMOS image sensor), the image quality is significantly lowered due to motion blur.
  • the highest image quality can be obtained in any scene.
  • power consumption increases and flash memory, SSD (Solid State Drive), HDD ( There arises a problem of squeezing the recording capacity of a data storage device such as a hard disk drive. Therefore, it is desirable to be able to adaptively control the operating state of the camera and the recording data according to the scene.
  • the operation mode of the imaging units 20A to 20F and the output mode of the frame memories 220A to 220F can be switched according to the movement of the scene.
  • the scene movement is large, the image quality deteriorates unless the effective frame rate of each imaging unit is ensured. Therefore, the image quality is prioritized over the power consumption, and the “imaging unit simultaneous operation mode” is set.
  • the image quality does not deteriorate so much even if the effective frame rate of each image pickup unit is lowered, so the power consumption is reduced by switching to the “image pickup unit intermittent operation mode”.
  • the panoramic imaging device 100 can be used efficiently. Furthermore, in the “imaging unit intermittent operation mode”, a low-frame image stream is generated, so that the recording capacity can be reduced.
  • FIG. 15 is a configuration diagram of a control system for selectively controlling the multi-lens camera.
  • the imaging control unit 210 in FIG. 12 includes a bus interface / camera control interface unit 300, a transmission mask register 310, and a control data transmission logic 320, and receives a command from the main processor 280 to receive a plurality of imaging units 20A to 20A.
  • Arbitrary imaging units of 20F are collectively controlled selectively. For example, control such as automatic exposure (AE), automatic white balance (AWB), and exposure value (EV) can be performed collectively or selectively.
  • AE automatic exposure
  • AVB automatic white balance
  • EV exposure value
  • the bus interface / camera control interface unit 300 is a bus interface of a predetermined standard that connects the main processor 280 and the imaging unit 20 and a dedicated interface for controlling the imaging units 20A to 20F, and receives an instruction from the main processor 280. A control signal is given to the control data transparency logic 320.
  • the control data transmission logic 320 is a circuit for writing control data to the imaging units 20A to 20F or reading data from the imaging units 20A to 20F.
  • the control data transmission logic 320 transmits write data to the imaging units 20A to 20F by unicast, multicast, or broadcast for writing, and reads the read data by unicast from the imaging units 20A to 20F for reading. Enable to receive.
  • the transparency mask register 310 is a register for controlling the input / output operation of the circuit of the control data transparency logic 320.
  • the transmission mask registers 310 are transmission mask registers for the number of the imaging units 20A to 20F.
  • FIG. 16 is a diagram illustrating the functional configuration of the multi-view camera control system of FIG.
  • the camera control interface 302 is an example of the bus interface / camera control interface unit 300 in FIG. 15 and constitutes the application processor 140 together with the main processor 280.
  • Application processor 140 is implemented, for example, by system on chip (SoC) technology.
  • SoC system on chip
  • control data transparent logic 320 of FIG. 15 is a circuit that connects the camera control interface 302 and the imaging units 20A to 20F by a bus interface such as I2C or SPI, and switches 130A to 130F and a multiplexer 132. including.
  • the data transmission unit Tx of the camera control interface 302 is connected to the imaging units 20A to 20F via the switches 130A to 130F, and the control data instructed by the main processor 280 is selectively written to the imaging units 20A to 20F.
  • the control data write transmission register 110 (hereinafter simply referred to as “write transmission register”) is a transmission mask register for the number of the imaging units 20A to 20F, and the switches 130A to 130F corresponding to the imaging units 20A to 20F are turned on / off. The mask for switching is set.
  • the switches 130A and 130B corresponding to the two imaging units 20A and 20B are turned on, and corresponding to the other four imaging units 20C to 20F.
  • the switches 130C to 130F are turned off. Thereby, the control data is selectively written in the two imaging units 20A and 20B.
  • the imaging units 20A to 20F are connected to the data receiving unit Rx of the camera control interface 302 via the multi-input 1-output multiplexer 132, and data is selectively transmitted from the imaging units 20A to 20F in accordance with a read instruction from the main processor 280. Read out.
  • the camera setting value readout transparency register 120 (hereinafter simply referred to as “readout transparency register”) is a transparency selection register for the number of the imaging units 20A to 20F, and is a mask for selecting one of the plurality of input streams of the multiplexer 132. Is set.
  • the input stream of one imaging unit 20B is selected from the input streams from the six imaging units 20A to 20F input to the multiplexer 132, and the imaging is performed.
  • Data from the unit 20B is output as an output stream from the multiplexer 132, and supplied to the receiving unit Rx of the camera control interface 302.
  • the imaging unit Data can be read / written from / to 20A to 20F in a batch or selectively. If an independent interface is provided for each of the imaging units 20A to 20F, the circuit scale increases. However, in the configuration of FIG. 16, the number of circuits can be reduced by using one interface. In addition, by simply rewriting the write transparent register 110, an imaging unit to be written can be arbitrarily selected, and data can be simultaneously written into the selected imaging unit, so that writing can be performed at high speed.
  • FIG. 17A is a flowchart for explaining the writing process by the multi-view camera control system of FIG.
  • the main processor 280 prepares control data to be written in the imaging units 20A to 20F (S30).
  • the control data is data relating to shooting conditions such as an exposure value, for example, and is specified by the user by the user interface unit 250.
  • the main processor 280 determines an imaging unit to be written, and writes a value designating the imaging unit to be written into the write transmission register 110 (S32).
  • a transmission mask for selecting imaging target imaging units is set.
  • the on / off states of the switches 120A to 120F are set by the write transparent register 110.
  • the setting of the transmission mask of the writing transmission register 110 is necessary for selectively transmitting control data to the imaging unit to be written.
  • the main processor 280 determines an imaging unit to be read, and writes a value for designating the imaging unit to be read in the read transmission register 120 (S34).
  • the readout transparency register 120 is a transmission mask for the number of imaging units
  • a transmission mask for selecting the imaging unit to be read is set.
  • an input stream designated by the read transparency register 120 is selected and output as an output stream.
  • the setting of the transmission mask of the read transmission register 120 is necessary for selectively receiving an ACK from the imaging unit to be written.
  • each imaging unit of the writing destination returns ACK when writing is completed.
  • ACKs must be received from all imaging units to be written and ACK reception confirmation must be performed individually.
  • the circuit scale increases and differs from the bus standard. A procedure is required.
  • all the ACKs to be written are confirmed by transmitting only the ACK from one imaging unit among the imaging units to be written and confirming the ACK. It can be used instead of confirmation, and the circuit becomes simple. For this reason, in the present embodiment, at the time of ACK confirmation, the read transparent register 120 sets only one bit. If it is desired to strictly check whether or not writing has been correctly performed on each imaging unit, it is only necessary to individually read the register value for each imaging unit and perform ACK confirmation after the writing process.
  • the camera control interface 302 outputs a signal for writing control data from the transmission terminal Tx to the imaging units 20A to 20F via the switches 120A to 120F (S36). At this time, the on / off states of the switches 120A to 120F are switched according to the transmission mask by the writing transmission register 110, and the control data is written only to the imaging unit 20 selected as the writing target.
  • the camera control interface 302 receives an ACK signal from the imaging units 20A to 20F via the multiplexer 132 at the reception terminal Rx (S38). At this time, ACK is confirmed from the imaging unit selected as the reading target according to the transmission mask by the reading transmission register 120.
  • step S34 and step S38 can be omitted.
  • FIG. 17B is a flowchart for explaining a reading process by the multi-camera control system of FIG.
  • the main processor 280 determines the register of the imaging unit 20 to be read (S40).
  • the main processor 280 determines an imaging unit to be read, and writes a value for designating the imaging unit to be read into the write transmission register 110 (S42).
  • a transmission mask for selecting imaging units to be read is set.
  • the on / off states of the switches 120A to 120F are set by the write transparent register 110.
  • the setting of the transmission mask of the write transmission register 110 is necessary for selectively transmitting a read address to the image pickup unit to be read.
  • the main processor 280 determines an imaging unit to be read, and writes a value for designating the imaging unit to be read in the read transmission register 120 (S44).
  • the readout transparency register 120 is a transmission mask for the number of imaging units
  • a transmission mask for selecting the imaging unit to be read is set.
  • an input stream designated by the read transparency register 120 is selected and output as an output stream.
  • the setting of the transmission mask of the read transmission register 120 is necessary for selectively receiving data and ACK from the imaging unit to be read.
  • the camera control interface 302 outputs the readout address to the imaging unit from the transmission terminal Tx to the imaging units 20A to 20F via the switches 120A to 120F (S46). At this time, the on / off states of the switches 120A to 120F are switched according to the transmission mask by the write transmission register 110, and the read address is sent only to the imaging unit 20 selected as the data read target.
  • the camera control interface 302 receives data corresponding to the address designated via the multiplexer 132 from the imaging units 20A to 20F at the reception terminal Rx (S48). At this time, data is received from the imaging unit selected as a read target according to the transmission mask by the read transmission register 120, and ACK is confirmed.
  • FIG. 18 is a diagram for explaining an implementation example of the multi-view camera control system of FIG.
  • a method of serial communication with a peripheral device called I2C is used.
  • I2C Inter-Integrated Circuit
  • the I2C interface 304 is an interface on the application processor 140 side and is a master of I2C communication.
  • the imaging units 20A to 20D are I2C communication slaves.
  • the I2C state monitoring circuit 150 is a circuit that enables reception enable for the tristate buffer 170 in the reception state. Thereby, reception of data from the multiplexer 176 is enabled. At the time of writing, the tristate buffer 170 is blocked.
  • SDATA output from the I2C interface 304 is supplied to tristate buffers 172A to 172D corresponding to the imaging units 20A to 20D.
  • the tristate buffer corresponding to the writing target imaging unit is enabled according to the transmission mask of the writing transparent register 110, and SDATA is transmitted only to the writing target imaging unit.
  • the pull-up resistor 174 is a resistor for adjusting the output signals of the tristate buffers 172A to 172D so as to have an appropriate logic level.
  • SCLK output from the I2C interface 304 is a clock signal for synchronizing the imaging units 20A to 20D.
  • the input values from the designated input terminals among the input terminals of the multi-input 1-output multiplexer 132 are multiplexed and supplied to the I2C interface 304 via the tri-state buffer 170. Is done.
  • FIG. 19 is a diagram for explaining another implementation example of the multi-view camera control system of FIG.
  • a bus interface called SPI ISerialerPeripheral Interface
  • SPI ISerialerPeripheral Interface
  • the SPI interface 306 is an interface on the application processor 140 side and is a master of SPI communication.
  • the imaging units 20A to 20D are SPI communication slaves.
  • the CS # signal output from the SPI interface 306 is a chip select signal and is supplied to the NAND circuits 180A to 180D.
  • the write transparency register 110 is a transmission mask for selecting the imaging units 20A to 20D to be written, and the register value is supplied to the NAND circuits 180A to 180D corresponding to the imaging units 20A to 20D.
  • the transparent mask of the write transparent register 110 is “1100”, 1 is input to the two NAND circuits 180A and 180B, and 0 is input to the remaining two NAND circuits 180C and 180D.
  • Output values CAM1_CS # to CAM4_CS # of the NAND circuits 180A to 180D are inverted and input to the imaging units 20A to 20D.
  • the two image pickup units 20A and 20B are selected, and control data TxData from the MOSI (Master Out Out Slave In) of the SPI interface 306 is transmitted to the image pickup units 20A and 20B.
  • the SCLK signal from the CLK of the SPI interface 306 is supplied to the imaging units 20A to 20D for synchronization.
  • the read data RxData from the multiplexer 182 is received by MISO (Master In Slave Out) of the SPI interface 306.
  • the read transmission register 120 is a transmission mask for selecting the imaging units 20A to 20D to be read, and is used for selecting an input signal of the multi-input 1-output multiplexer 182.
  • the transparency mask of the readout transparency register 120 is “1000”, and an input stream from the imaging unit 20A is selected from among a plurality of input streams to the multi-input 1-output multiplexer 132, and an output stream of the multiplexer 132 Is output as
  • FIG. 20 (a) and 20 (b) are diagrams illustrating an example of an operation screen displayed on the operation / display unit 40.
  • FIG. Images captured by the six imaging units 20A to 20F of the panorama imaging apparatus 100 shown in FIG. 20A are displayed in areas A to F of the operation screen shown in FIG. 20B, respectively.
  • the frames of areas A to F on the operation screen are displayed in a color such as blue when selected as a reference camera.
  • a color such as blue when selected as a reference camera.
  • the frame color changes for each group.
  • the selection as the reference camera is toggled, and the designation / non-designation is switched each time the button is clicked.
  • the camera freeze button 75 When the camera freeze button 75 is pressed, the selected imaging unit is frozen as it is currently captured. That is, the image pickup unit keeps operating and keeps the image when the camera freeze button 75 is pressed.
  • the camera freeze button 75 is toggled. When the button is pressed again, the camera freeze is canceled and imaging by the selected imaging unit is resumed.
  • the grouping button 77 When the grouping button 77 is pressed, areas arbitrarily selected from the plurality of areas A to F are grouped. In other words, a specific imaging unit is selected from the imaging units 20A to 20F and grouped. A region to be grouped can be selected by clicking on the operation screen or by surrounding with a free curve.
  • FIG. 21 is a diagram for explaining a case where a reference camera is designated and collectively set
  • FIG. 22 is an operation screen example in that case.
  • the imaging unit 20A is set as a reference camera, and shooting parameters such as the exposure value of the reference camera are also set in the other imaging units 20B to 20F at once.
  • shooting parameters such as the exposure value of the reference camera are also set in the other imaging units 20B to 20F at once.
  • the imaging unit 20A in the front direction is set as a reference camera, and the other imaging units 20B to 20F perform shooting with the same exposure setting as the reference camera.
  • the other imaging units 20B to 20F are also selected. The same parameters are reflected.
  • the readout transparency register 120 is set to a value that designates the imaging unit 20A selected as the reference camera as an imaging unit to be read, and imaging parameters such as an exposure value and a white balance value are read from the imaging unit 20A that is the reference camera. . Thereafter, the write transparency register 110 is set to a value that designates the remaining imaging units 20B to 20F other than the imaging unit 20A selected as the reference camera as the imaging unit to be written, and is read from the imaging unit 20A that is the reference camera. The obtained imaging parameters are written in the remaining imaging units 20B to 20F at once.
  • a more specific operation procedure is as follows. (1) Click the area A of the front camera on the operation screen. Thereby, the frame of the area A becomes blue, and the imaging unit 20A becomes the reference camera. (2) The automatic white balance lock button 76 is pressed to lock the white balance of all the imaging units 20A to 20F with the adjustment value of the imaging unit 20A that is the reference camera. (3) The automatic exposure lock button 74 is pressed to lock the exposure values of all the imaging units 20A to 20F with the adjustment value of the imaging unit 20A that is the reference camera. (4) Shoot with the moving image recording start / stop button 70 or the still image shooting button 72.
  • FIG. 23 is a diagram for explaining a case where the outside is photographed from the room through the window, and FIGS. 24 and 25 are operation screen examples in that case.
  • the window-side imaging units 20A, 20B and 20E limit the exposure for outdoor shooting, while the remaining imaging units 20C and 20D have exposure settings for indoor shooting. I need to shoot.
  • regions A, B, and E corresponding to the window-side imaging units 20A, 20B, and 20E are selected by being surrounded by a free curve 192.
  • a grouping button 77 is pressed to group the selected areas A, B, and E.
  • the area B is selected and the imaging unit 20B is selected as the reference camera.
  • the same shooting parameters as those of the imaging unit 20B as the reference camera are reflected in the other imaging units 20A and 20E belonging to the same group.
  • the readout transparency register 120 is set to a value that designates the imaging unit 20B selected as the reference camera in the group as an imaging unit to be read, and shooting parameters such as an exposure value and a white balance value from the imaging unit 20B that is the reference camera. Is read out. Thereafter, the write transparency register 110 is set to a value that designates the remaining imaging units 20A and 20E other than the imaging unit 20B selected as the reference camera in the group as the imaging unit to be written, and the imaging unit 20B that is the reference camera. The imaging parameters read out from are written in the remaining imaging units 20A and 20E in a lump.
  • a more specific operation procedure is as follows. (1) Select areas A, B, and E corresponding to the imaging units 20A, 20B, and 20E on the window side on the operation screen. (2) The grouping button 77 is pressed to group the selected areas A, B and E. As a result, the frames of the regions A, B, and E turn green to form the first group. The remaining areas C, D and F form a second group. (3) Click area B. As a result, the frame of the region B becomes blue, and the imaging unit 20B corresponding to the region B becomes the green first group reference camera. (4) Click area D. As a result, the frame of the region D turns blue, and the imaging unit 20D corresponding to the region D becomes the second group reference camera.
  • the white balance of the imaging units 20A, 20B, and 20E in the same group is locked with the adjustment value of the imaging unit 20B that is the reference camera in the first group.
  • the white balance of the imaging units 20C, 20D, and 20F in the same group is locked with the adjustment value of the imaging unit 20D that is the reference camera.
  • the automatic exposure lock button 74 is pressed, the exposure values of the imaging units 20A, 20B, and 20E in the same group are locked with the adjustment value of the imaging unit 20B that is the reference camera in the first group.
  • the exposure values of the imaging units 20C, 20D, and 20F in the same group are locked by the adjustment value of the imaging unit 20D that is the reference camera.
  • the imaging unit 20D that is the reference camera.
  • FIG. 26 is a diagram for explaining a case where some cameras are frozen
  • FIG. 27 is an example of an operation screen in that case.
  • the camera image is frozen in a state where the person 194 is not shown, and the camera shooting is temporarily interrupted.
  • imaging by the imaging unit 20A and the imaging unit 20B is temporarily suspended so that the person 194 does not appear in the captured image, and is frozen with an image in which the person 194 is not reflected.
  • regions A and B to be frozen are selected and grouped by pressing grouping button 77, and then either region A or B is selected as a reference camera and camera freeze button 75 is pressed. Thereby, the imaging units 20A and 20B corresponding to the areas A and B belonging to the same group can be temporarily stopped and frozen with an image in which no person is shown.
  • a more specific operation procedure is as follows. (1) Select areas A and B of the captured image to be frozen on the operation screen. (2) The grouping button 77 is pressed to group the selected areas A and B. Thereby, the frames of the regions A and B become green. (3) Click area A or B. As a result, the image pickup unit corresponding to the selected region becomes the reference camera, but in actuality, the effect is the same as when the group for which the camera is to be frozen is designated. (4) Press the camera freeze button 75 in a state where no person is captured. As a result, the camera group designated in (3) is frozen, and the areas A and B are frozen with an image in which no person is shown. (5) Thereafter, photographing is performed by the remaining imaging units 20C to 20F that are not frozen.
  • the data write mask register and the data read selection register are connected to the interface that the main processor accesses the camera and the interface of each camera module. By inserting them in between, the camera can be controlled at once and at a high speed, and as a result, the camera can be controlled easily and efficiently. Since a multi-view camera control system can be realized simply by inserting a register into an existing interface, it is not necessary to change the interface of the camera module or processor, and the control system can be easily designed.
  • FIG. 28 is a functional configuration diagram of the panoramic video stream generation unit 200 for performing multistage exposure shooting.
  • the exposure setting unit 400 in FIG. 28 can be implemented in the imaging control unit 210 described in FIG. 11, and the HDR synthesis unit 420 in FIG. 28 can be implemented in the video stream multiplexing unit 230 described in FIG. it can.
  • the exposure setting unit 400 sets an exposure value for each of the plurality of imaging units 20A to 20F. Specifically, an individual reference exposure value is set for each of the imaging units 20A to 20F, and a relative exposure value is set by changing the exposure value up and down about the reference exposure value.
  • the individual reference exposure values of the imaging units 20A to 20F may be set to optimum exposure values by the automatic exposure (AE) mechanism of the imaging units 20A to 20F.
  • AE automatic exposure
  • the exposure value setting for each of the imaging units 20A to 20F by the exposure setting unit 400 can be performed collectively or selectively using the multi-view camera control system described with reference to FIG.
  • Each of the frame buffers 430A to 430F is a frame memory having an area for storing an image shot with a plurality of exposure values set in each of the imaging units 20A to 20F.
  • the HDR synthesizing unit 420 reads low-dynamic-range captured images with different exposure values captured by the imaging units 20A to 20F from the frame buffers 430A to 430F, and synthesizes an imaging region with an optimal exposure value by stitching processing. As a result, a high dynamic range (HDR) panoramic image is generated.
  • the HDR synthesizing unit 420 can generate an LDR panoramic image obtained by performing tone mapping processing on the HDR synthesized image to compress the dynamic range.
  • the HDR synthesizing unit 420 extracts feature points between adjacent captured images, and stitches adjacent captured images based on the feature points to synthesize a panoramic image.
  • a known technique used in image matching can be used for the feature point extraction processing.
  • the panoramic image generated by the HDR synthesizing unit 420 is stored in the panoramic image storage unit 410.
  • 29 (a) and 29 (b) are diagrams illustrating captured images that are captured by setting a common reference exposure value for the plurality of imaging units 20A to 20F for comparison.
  • FIG. 29 (a) shows images 440A to 446A when bracket shooting is performed with a certain imaging unit 20A changing the exposure value in multiple stages around the reference exposure value (here, the reference exposure value is 0).
  • FIG. 29 (b) shows images 440B to 446B when bracket imaging is performed with different exposure values in multiple stages around the same reference exposure value EV as in FIG. 29 (a) by another imaging unit 20B.
  • the images 440B and 441B cause “blackout” and the amount of information is zero.
  • the image 446 ⁇ / b> B when the exposure value EV + 7 has “overexposed” in part.
  • bracket shooting is performed by changing the exposure value in multiple steps above and below the reference exposure value using the same reference exposure value in all the imaging units 20A to 20F, an image that causes “blackout” or “overexposure” occurs. Is taken, and waste is generated.
  • the appropriate exposure value varies greatly depending on the field of view of each camera.
  • it is effective to perform bracket shooting in which exposure values are changed in multiple steps.
  • the dynamic range of field brightness varies greatly depending on the camera angle, and all camera exposure values are set in multiple stages with a wide exposure range covering the darkest field to the brightest field of view. It is necessary to perform bracket shooting, which increases the amount of image data and increases the shooting time.
  • the exposure value is changed in multiple steps above and below the same reference exposure value for all cameras, depending on the camera angle, a large number of images with “excessive highlights” and “blackouts” will be taken, which is wasteful. .
  • the reference exposure value is individually set for each of the imaging units 20A to 20F, and the exposure value is changed in multiple stages above and below the individual reference exposure value in each of the imaging units 20A to 20F. Perform bracket shooting.
  • FIG. 30A shows a relative exposure value obtained by changing the exposure value by three steps in the positive direction and three steps in the negative direction with respect to the reference exposure value EVa and the reference exposure value EVa set in the imaging unit 20A.
  • FIG. 30B shows a relative exposure value obtained by changing the exposure value by three steps in the plus direction and three steps in the minus direction with respect to the reference exposure value EVb and the reference exposure value EVb set in the imaging unit 20B.
  • FIG. 30C shows the relative exposure value obtained by changing the exposure value by three steps in the plus direction and three steps in the minus direction with respect to the reference exposure value EVc and the reference exposure value EVc set in the imaging unit 20C.
  • the reference exposure values EVa, EVb, EVc set for the respective imaging units 20A, 20B, 20C are optimum exposure values in the field of view of the respective imaging units 20A, 20B, 20C, and are generally different values.
  • the reference exposure values EVa, EVb, EVc of the imaging units 20A, 20B, 20C are shifted by two stages. Multi-stages in which the exposure values are changed by +3, +2, +1, -1, -2, -3 with respect to the respective reference exposure values EVa, EVb, EVc that are shifted by two stages in each of the imaging units 20A, 20B, 20C. Since exposure photography is performed, as a result, the three imaging units 20A, 20B, and 20C as a whole have been photographed with a total of 11 different exposure values.
  • Each of the imaging units 20A, 20B, and 20C performs multi-stage exposure shooting in which the exposure value is changed by three steps in the positive direction and three steps in the negative direction around the appropriate reference exposure value.
  • the imaging units 20A, 20B, and 20C include 7 from +3 to ⁇ 3 including the reference exposure value. Since it is only necessary to perform bracket shooting in stages, the time required for bracket shooting can be greatly reduced. As described above, in the present embodiment, even when the number of bracket shooting steps by each of the imaging units 20A to 20F is small, the dynamic range during HDR composition is greatly expanded, and HDR panoramic image composition can be efficiently performed without waste.
  • FIG. 31 is a diagram for explaining a panoramic image synthesized by the HDR synthesizing unit 420.
  • a panoramic image shown in FIG. 31 is obtained by stitching and synthesizing an imaging area having an appropriate exposure value from captured images taken with a plurality of exposure values by the imaging units 20A to 20F.
  • a region 450 is a landscape outside a window, which is extracted from a captured image captured by a certain imaging unit 20A with an appropriate exposure value in the field of view of the imaging unit 20A
  • a region 451 is an indoor landscape
  • the image is extracted from a captured image captured with an appropriate exposure value in the field of view of the imaging unit 20B by another imaging unit 20B.
  • FIG. 32 is a flowchart for explaining the multi-stage exposure shooting procedure according to this embodiment.
  • each of the image pickup units 20A to 20F automatic exposure (AE) and automatic white balance (AWB) are performed, and each of the image pickup units 20A to 20F is set to an optimal reference exposure value to perform shooting (S50).
  • AE automatic exposure
  • AVB automatic white balance
  • the exposure setting unit 400 sets ⁇ N-stage relative exposure values in the imaging units 20A to 20F around the reference exposure values of the imaging units 20A to 20F (S52).
  • bracket imaging is performed with the set relative exposure value of ⁇ N steps (S54).
  • the HDR synthesizing unit 420 synthesizes a panoramic image with a high dynamic range by synthesizing a properly exposed area from the captured images obtained by bracket shooting by the imaging units 20A to 20F by stitching processing (S56).
  • the multi-stage exposure shooting is performed by changing the exposure value by a predetermined number of levels above and below the reference exposure value, and from the captured images captured by the imaging units 20A to 20F.
  • a high dynamic range panoramic image was synthesized by stitching the areas captured with proper exposure.
  • a pseudo high dynamic range panoramic image can be synthesized from images captured under individual reference exposure values in the imaging units 20A to 20F.
  • a method of this pseudo HDR synthesis will be described.
  • FIG. 33 (a) to 33 (c) are diagrams for explaining a method of pseudo-HDR synthesis by the HDR synthesis unit 420.
  • FIG. 33 (a) to 33 (c) are diagrams for explaining a method of pseudo-HDR synthesis by the HDR synthesis unit 420.
  • each of the image pickup units 20A to 20F is individually subjected to automatic exposure control and automatic white balance control so that one image is captured under an optimal exposure value.
  • the HDR synthesizing unit 420 synthesizes an HDR panoramic image by matching corresponding points between two captured images whose shooting directions are adjacent to each other. In this case, it is considered that the luminance and color of the matching points are equal. Since the optimum exposure value by automatic exposure of each of the imaging units 20A to 20F is known, HDR synthesis is performed without rounding the luminance and color information of each pixel of the captured image to 8 bits.
  • the 8-bit luminance information of the image photographed by the imaging unit 20A is within the luminance range shown in FIG. 33A due to the deviation of the appropriate exposure values of the three imaging units 20A, 20B, and 20C.
  • the 8-bit luminance information of the image taken by the unit 20B is in the luminance range shown in FIG. 33B
  • the 8-bit luminance information of the image taken by the imaging unit 20C is the luminance range shown in FIG.
  • the luminance of the image captured by the imaging unit 20B is within a range that is 3 bits brighter than the luminance of the image captured by the imaging unit 20A, and further, the imaging unit 20C.
  • the brightness of the image shot by the above is in a range brighter by 6 bits than the brightness of the image shot by the imaging unit 20B.
  • the pixels of the image captured by the imaging unit 20B are bit-shifted by 3 bits compared to the pixels of the image captured by the imaging unit 20A, and the pixels of the image captured by the imaging unit 20C are captured by the imaging unit 20A.
  • high dynamic range color difference information can be obtained by adding a pixel value in a 32-bit space after performing a bit shift according to an appropriate exposure value of each of the imaging units 20A to 20F.
  • the shooting direction of the imaging unit is not adjusted to a specific direction.
  • the shooting direction of the imaging unit 20A in the front direction is set to magnetic north
  • the center of the panoramic image after stitch processing is set to the north.
  • face is set to face.
  • FIG. 34 is a functional configuration diagram of the panoramic video stream generation unit 200 that can perform orientation alignment. A configuration and operation different from the panoramic video stream generation unit 200 of FIG. 11 will be described.
  • a multiaxial geomagnetic sensor 252 and a triaxial acceleration sensor 254 are mounted on the multiview imaging unit 10 or the main body unit 30 of the panoramic imaging apparatus 100. Further, a three-axis gyro sensor may be mounted.
  • the triaxial geomagnetic sensor 252 detects the geomagnetic vector with three axes
  • the triaxial acceleration sensor 254 detects the acceleration vector of the panoramic imaging device 100 with three axes.
  • the panoramic imaging device 100 is equipped with at least one of a three-axis gyro (angular velocity) sensor, a three-axis acceleration sensor, and a three-axis geomagnetic sensor, the tilt of the panoramic imaging device 100 is detected in three axes.
  • Posture information can be acquired.
  • the azimuth information can be acquired by detecting the geomagnetic vector with three axes by the three-axis geomagnetic sensor.
  • Orientation information acquired by the triaxial geomagnetic sensor 252 is supplied to the user interface unit 250 and acquired by at least one of the triaxial geomagnetic sensor 252, the triaxial acceleration sensor 254, and the triaxial gyro sensor (if installed).
  • the posture information is supplied to the user interface unit 250.
  • the user interface unit 250 gives an instruction to display on the screen the azimuth taken by the multi-view imaging unit 10 of the panoramic imaging apparatus 100 and the attitude of the panoramic imaging apparatus 100.
  • the display control unit 260 operates /
  • the display unit 40 displays information about the shooting direction and orientation using graphics.
  • the user interface unit 250 displays, on the screen, an instruction for the user to adjust the direction of the multi-eye imaging unit 10 so that the imaging direction of any imaging unit is magnetic north, for example.
  • FIGS. 35 (a), (b) and FIGS. 36 (a), (b) are diagrams illustrating a user interface for adjusting the imaging direction of the imaging unit 20A in the front direction to magnetic north.
  • FIG. 35A is a schematic view of the multi-view imaging unit 10 of the panoramic imaging apparatus 100 as seen from the zenith, and there is an imaging unit 20A that captures the front direction on the opposite side of the operation / display unit 40.
  • this imaging unit 20A as a front camera, guidance for allowing the user to adjust the direction of the multi-eye imaging unit 10 so as to adjust the shooting direction of the front camera to magnetic north is displayed on the operation / display unit 40.
  • the magnetic north measured by the triaxial geomagnetic sensor 252 is indicated by an arrow in FIG. 35A, and the imaging direction of the imaging unit 20A is deviated from the magnetic north.
  • FIG. 35B is a diagram illustrating a screen displayed on the operation / display unit 40. Normally, as shown in FIG. 10B, images taken by the six imaging units 20A to 20F are displayed in the areas A to F on the operation / display unit 40, but the imaging unit which is a front camera. When the area A corresponding to 20A is selected, only the image captured by the imaging unit 20A is displayed large on the operation / display unit 40, as shown in FIG.
  • the magnetic north measured by the three-axis geomagnetic sensor 252 is displayed as an image of the azimuth magnet (reference numeral 44) under the area A (reference numeral 42) in which an image photographed by the imaging unit 20A is displayed. Further below that, a message “Move the front camera to magnetic north” is displayed (reference numeral 46).
  • the imaging direction of the imaging unit 20A changes, and accordingly, the orientation of the magnetic north of the compass magnet also changes.
  • the user changes the orientation of the imaging unit 20A by rotating the main body 30 of the panoramic imaging device 100 until the magnetic north of the compass magnet displayed by the reference numeral 44 faces straight upward according to the displayed message.
  • 36 (a) and 36 (b) show a state where the orientation of the imaging unit 20A, which is a front camera, coincides with the magnetic north measured by the triaxial geomagnetic sensor 252.
  • the orientation of the image pickup unit 20A coincides with magnetic north.
  • the magnetic north of the compass magnet faces straight up (reference numeral 44), A message “Good!” Is displayed (reference numeral 46).
  • the user can set the orientation of the main body 30 of the panoramic imaging device 100 so that the imaging direction of the imaging unit 20A, which is a front camera, becomes magnetic north.
  • the center of the panoramic image after stitching is true north.
  • the imaging unit 20A on the back side of the operation / display unit 40 as the front camera and the direction of the front camera as magnetic north, the correspondence between the shooting direction of the front camera and the direction of the center of the panoramic image becomes clear.
  • the panoramic imaging apparatus 100 is also equipped with a three-axis acceleration sensor 254, the inclination of the multi-view imaging unit 10 can be detected and horizontal correction can be performed during stitch processing without using a level or the like. Is possible.
  • the shooting direction of the imaging unit 20A which is a front camera, is set to magnetic north, but the shooting direction of the imaging unit 20A may be set to an arbitrary direction that is desired to be the center of the panoramic image. Moreover, you may match the imaging
  • FIGS. 38 (a), (b) are diagrams illustrating a user interface for adjusting the shooting direction of a specific imaging unit to magnetic north.
  • the imaging unit 20C is in the direction closest to magnetic north.
  • FIG. 37B is a screen displayed on the operation / display unit 40, and images taken by the imaging units 20A to 20F are displayed in the areas A to F, respectively (reference numeral 42). Since the imaging unit 20C is in the direction closest to magnetic north, the compass is displayed in the area C where the captured image of the imaging unit 20C is displayed, indicating the direction of magnetic north (reference numeral 44). A message “Move the camera to magnetic north” is displayed at the bottom (reference numeral 46).
  • the user changes the orientation of the imaging unit 20C by rotating the main body 30 of the panorama imaging device 100 until the magnetic north of the compass magnet indicated by reference numeral 44 is directed straight upward according to the displayed message.
  • FIG. 38A and 38B show a state where the orientation of the imaging unit 20C coincides with the magnetic north measured by the triaxial geomagnetic sensor 252.
  • FIG. 38 (a) the orientation of the imaging unit 20C coincides with magnetic north.
  • FIG. 38 (b) the magnetic north of the compass magnet faces straight up (reference numeral 44), A message “Good!” Is displayed (reference numeral 46).
  • the user can set the orientation of the main body 30 of the panoramic imaging device 100 so that the shooting direction of the specific imaging unit is magnetic north.
  • the shooting direction of the specific imaging unit is magnetic north.
  • the shooting direction of the unit should be set to magnetic north.
  • the multi-eye imaging unit 10 including the plurality of imaging units 20A to 20F directed in different shooting directions and the main body unit 30 including the operation / display unit 40 are included.
  • the panoramic imaging device 100 has been described, at least some of the plurality of imaging units of the multi-eye imaging unit 10 may be directed in the same direction.
  • the multi-lens imaging unit 10 includes at least two imaging units oriented in the same imaging direction and the viewpoint positions of the two imaging units are different, an image with parallax can be captured. If a parallax image is used, since a depth can be grasped, a three-dimensional image can be generated.
  • the parallax image is a panoramic image
  • a three-dimensional panoramic image can be generated.
  • a stereo imaging device such as a stereo imaging device may be configured, and various characteristic configurations and processes in the above-described embodiments are also applicable to such a stereo imaging device. This will be understood by those skilled in the art.
  • the omnidirectional panoramic image is described as an example of the panoramic image.
  • the panoramic image does not need to be the omnidirectional panoramic image, and a plurality of images captured by a plurality of cameras having different shooting directions are used. An image obtained by combining these images may be used.
  • panoramic image used in this specification is not limited to a “panoramic” image in a narrow sense, that is, a horizontally long or vertically long image or a 360-degree panoramic image, and simply covers a wide range. It is an image to be.
  • the output composite image does not have to be a so-called panoramic image, and a normal image having an arbitrary size can be used as a composite image. Can be applied.
  • the output composite image may be an image in which a plurality of images having different resolutions are hierarchized. Such a hierarchized image may be configured such that when a partial area of the image is enlarged, the enlarged area is replaced with an image with higher resolution.

Abstract

　多眼撮像部１０は、複数の撮像ユニット２０Ａ～２０Ｆを含む。本体部３０は、操作・表示部４０を含み、操作・表示部４０は、各撮像ユニット２０Ａ～２０Ｆにより撮像された画像および各撮像ユニット２０Ａ～２０Ｆに対する操作メニューの少なくとも一方を表示してユーザの操作を受け付ける。操作・表示部４０は、ユーザが操作する際にユーザの指が写り込まないように、または、操作表示部による照明光が写り込まないように、本体部３０のくぼみ部分に設けられる。複数の撮像ユニット２０Ａ～２０Ｆは多角柱形状の１つの固定部材の各側面と天頂面に固定されている。

Description

画像撮像装置および画像撮像方法
　この発明は、画像撮像装置および方法に関する。特に、合成画像を撮像する装置および方法に関する。
　デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。
　デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。
　また、カメラ付きの携帯電話などの携帯機器にもパノラマ撮影モードやパノラマ画像を合成するアプリケーションが設けられ、携帯機器の傾きを変えながらカメラで撮影し、自動的にパノラマ画像に合成することができるものがある。
特開２０１１－７６２４９号公報
　カメラやカメラ付きの携帯機器にパノラマ撮影モードでは、カメラや携帯機器の撮影方向を変えながら撮影するため、位置ずれによる誤差が大きくなる。また、撮影方向の異なる複数の静止画像を逐次的に撮影してパノラマ画像に合成するため、撮影方向の異なる複数の静止画像の間で時間のずれが生じる。そのため、パノラマ静止画を合成できても、パノラマ動画を撮影することは原理的に難しい。そこで、複数のカメラを搭載した多眼カメラを用いて全方位の画像を同時に撮影してパノラマ写真を合成する方法が取られる。
　しかしながら、全方位多眼式カメラでは、撮影者の方向にもカメラがあるため、撮影者の写り込みを避ける必要がある。撮影者の写り込みを避けるには、撮影者は多眼式カメラを遠隔で操作する必要があり、利便性に欠けるという問題があった。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、多眼カメラを用いて容易に合成画像を生成することのできる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像撮像装置は、複数の撮像ユニットを含む多眼撮像部と、前記多眼撮像部により撮像された画像および前記多眼撮像部に対する操作メニューの少なくとも一方を表示してユーザの操作を受け付けることのできる操作表示部を備えた本体部とを含む。前記操作表示部は、前記本体部のくぼみ部分に設けられた。
　本発明の別の態様は、画像撮像方法である。この方法は、複数の撮像ユニットのそれぞれにより撮像された動画をフレームメモリに格納するステップと、複数の撮像ユニットのそれぞれにより撮像された画像を表示する画面において選択された画像に対応する撮像ユニットを基準カメラとして撮影条件を設定するステップと、前記基準カメラとして選択された撮像ユニットに対して設定された撮影条件をそれ以外の残りの撮像ユニットに対して設定するステップと、前記フレームメモリに格納された複数の撮像ユニットによる複数の動画を多重化して動画ストリームを生成するステップとを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、多眼カメラを用いて容易に合成画像を生成することができる。
実施の形態に係るパノラマ撮像装置の斜視図である。 図１のパノラマ撮像装置の多眼撮像部の側面撮像ユニットの画角と操作・表示部の設置位置を説明する図である。 図１の多眼撮像部の内部構造を説明する図である。 図４（ａ）～図４（ｃ）は、図３の固定部材に搭載された６つの撮像ユニットの位置関係を説明する図である。 ６つの撮像ユニットが固定された固定部材と本体部の中心軸を示す図である。 図６（ａ）および図６（ｂ）は、多眼撮像部と本体部の分離可能な構成を説明する図である。 多眼撮像部の底面にも撮像ユニットを設けた構成を示す図である。 図８（ａ）～図８（ｄ）は、固定部材の側面に設置された撮像ユニットの画角と固定部材の天頂面に設置された撮像ユニットの画角の関係を説明する図である。 パノラマ撮像装置の多眼撮像部を上から見た上面図において、固定部材の側面に設置された５つの側面撮像ユニットによる視野の重なりを示す図である。 図１０（ａ）および図１０（ｂ）は、操作・表示部に表示される操作画面を説明する図である。 本体部のメイン回路に実装されるパノラマ動画ストリーム生成部の機能構成図である。 パノラマ動画ストリーム生成部における動画ストリーム切り替え記録制御に関する構成を示す。 パノラマ動画ストリーム生成部による動画ストリーム切り替え記録制御手順を説明するフローチャートである。 図１４（ａ）および図１４（ｂ）は、動画ストリーム切り替え記録制御により生成される多眼動画ストリームのデータ構造を説明する図である。 多眼カメラを選択的に制御するための制御系の構成図である。 図１５の多眼カメラ制御系の機能構成を説明する図である。 図１７（ａ）は、図１６の多眼カメラ制御系による書き込み処理を説明するフローチャートであり、図１７（ｂ）は、図１６の多眼カメラ制御系による読み込み処理を説明するフローチャートである。 図１６の多眼カメラ制御系の実装例を説明する図である。 図１６の多眼カメラ制御系の別の実装例を説明する図である。 図２０（ａ）および図２０（ｂ）は、操作・表示部４０に表示される操作画面の例を説明する図である。 基準カメラを指定して一括共通設定する場合を説明する図である。 基準カメラを指定して一括共通設定する場合の操作画面例を示す図である。 室内から窓を通して屋外を撮影する場合を説明する図である。 室内から窓を通して屋外を撮影する場合の操作画面例を示す図である。 室内から窓を通して屋外を撮影する場合の操作画面例を示す図である。 一部のカメラをフリーズさせる場合を説明する図である。 一部のカメラをフリーズさせる場合の操作画面例を示す図である。 多段露出撮影を行うためのパノラマ動画ストリーム生成部の機能構成図である。 図２９（ａ）および図２９（ｂ）は、比較のため、複数の撮像ユニットに共通の基準露出値を設定して撮影した撮像画像を説明する図である。 図３０（ａ）～図３０（ｃ）は、図２８の露出設定部により各撮像ユニットに設定される基準露出値および基準露出値を中心に多段変化させた相対露出値を説明する図である。 図２８のＨＤＲ合成部によって合成されたパノラマ画像を説明する図である。 多段露出撮影の手順を説明するフローチャートである。 図３３（ａ）～図３３（ｃ）は、図２８のＨＤＲ合成部による疑似ＨＤＲ合成の方法を説明する図である。 方位合わせを行うことのできるパノラマ動画ストリーム生成部の機能構成図である。 正面方向の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。 正面方向の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。 特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。 特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。
　［パノラマ撮像装置の構成］
　図１は、実施の形態に係るパノラマ撮像装置１００の斜視図である。パノラマ撮像装置１００は、多眼撮像部１０と本体部３０を含む。本実施の形態では、多眼撮像部１０と本体部３０は円筒形であり、多眼撮像部１０と本体部３０は中心軸を合わせて連結されている。
　多眼撮像部１０は、円筒形状のカメラ筐体１２で覆われており、カメラ筐体１２には複数の撮像ユニット２０Ａ～２０Ｆ（以下、総称するときは撮像ユニット２０と呼ぶ）が搭載されている。各撮像ユニット２０Ａ～２０Ｆは、レンズ、撮像素子等、撮影に必要な構成要素を含む。本実施の形態では、円筒形状のカメラ筐体１２の円周にレンズが位置するように５つの撮像ユニット２０Ａ～２０Ｅ（以下、「側面撮像ユニット」とも呼ぶ）が等角度で配置されており、カメラ筐体１２の上面にレンズが位置するように１つの撮像ユニット２０Ｆ（以下、「天頂部撮像ユニット」とも呼ぶ）が配置されている。
　本体部３０は、操作・表示部４０、バッテリ、メイン回路、および外部インタフェースを含む。操作・表示部４０は、円筒形状の本体部３０の外周よりも内側にくぼんだ位置に設けられている。多眼撮像部１０の各撮像ユニット２０Ａ～２０Ｆにより撮像された動画データはシリアルインタフェースやＵＳＢ（Universal Serial Bus）インタフェースを介して本体部３０のメイン回路に伝送される。メイン回路には、各撮像ユニット２０Ａ～２０Ｆにより撮像された動画フレームを多重化してパノラマ動画ストリームを生成する機能が実装される。メイン回路は、ＵＳＢメモリなどの外部記録デバイスを接続するための外部インタフェースを含み、生成されたパノラマ動画ストリームは外部インタフェースを介して外部記録デバイスに記録される。
　操作・表示部４０は、タッチパネルを備えたディスプレイである。多眼撮像部１０の各撮像ユニット２０Ａ～２０Ｆにより撮影された各画像をディスプレイに表示する。また、複数の撮像ユニット２０Ａ～２０Ｆにより撮影された複数の画像を合成したパノラマ画像をディスプレイに表示することもできる。さらに、ディスプレイには操作メニューを表示することもでき、ユーザはディスプレイの画面を見ながら、タッチパネルに指で直接触れることで画面に対する操作を入力することができる。
　図２は、パノラマ撮像装置１００の多眼撮像部１０の側面撮像ユニット２０Ａの画角と操作・表示部４０の設置位置を説明する図である。パノラマ撮像装置１００の本体部３０は三脚８０に取り付けられている。
　側面撮像ユニット２０Ａによって撮影される視野は、図のように側面撮像ユニット２０Ａの画角θによってその広がりが示される。撮影者は三脚８０の前に座って、下から手を伸ばして操作・表示部４０に表示された操作メニューを操作する。操作・表示部４０は、円筒形状の本体部３０のくぼみ部分に設けられているため、撮影者がタッチパネルに触れて画面上の操作メニューを操作する場合でも、側面撮像ユニット２０Ａの視野の外側でタッチパネルに触れることができる。これによって、撮影者の指が意図せず画像に写り込むことを避けることができる。
　さらに、操作・表示部４０が円筒形状の本体部３０のくぼみ部分に設けられていることにより、操作・表示部４０による照明光がいずれかの撮像ユニット２０Ａ～２０Ｆに写り込むことを避けることができる。操作・表示部４０からの照明光による写り込みの影響が所定のレベル以下にするように、操作・表示部４０が設けられるくぼみの深さやくぼみ部分に設けられる操作・表示部４０の傾きを設計する。
　図３は、多眼撮像部１０の内部構造を説明する図である。多眼撮像部１０のカメラ筐体１２の内部では、複数の撮像ユニット２０Ａ～２０Ｆが一つの固定部材１４に固定されている。複数の撮像ユニット２０Ａ～２０Ｆを別々の固定部材に固定すると、各固定部材の熱膨張などによる変形のために複数の撮像ユニット２０Ａ～２０Ｆ間の位置のずれにばらつきが生じる。本実施の形態のように、複数の撮像ユニット２０Ａ～２０Ｆを一つの固定部材１４に固定すれば、固定部材１４の熱膨張などによる特性変化が撮像ユニット２０Ａ～２０Ｆに与える影響も一定になるから、複数の撮像ユニット２０Ａ～２０Ｆ間の位置精度を高めることができる。
　本実施の形態では固定部材１４は正５角柱であり、５角柱の５つの側面に５つの側面撮像ユニット２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅが設置されており、５角柱の天頂面に１つの天頂部撮像ユニット２０Ｆが設置されている。本実施の形態では、固定部材１４は５角柱であるが、それ以外の多角柱として、多角柱の周囲の各面に撮像ユニットを設けてもよい。
　一般にパノラマ画像は撮影者の水平方向３６０度に撮影対象があり、頭上は空であったり、足下は地面であることが多い。そこで、本実施の形態のように、多角柱の外周面に撮像ユニットを設け、多角柱の上面に１つの撮像ユニットを設ける構成にすれば、撮影者の水平方向に等角度で視線方向を変えた複数の画像を撮影することができる。また、複数の撮像ユニットを均等間隔で配置したことにより、各撮像ユニットの撮像データをつなぎ合わせてパノラマ画像を生成する際の合成処理が容易になる。さらに、従来の多眼カメラとして、正１２面体の各面に撮像ユニット（合計で１２個の撮像ユニット）を設けたものがあるが、それに比べて、本実施の形態では、少ない数の撮像ユニットでパノラマ画像合成に必要な画像を撮影できるという利点もある。
　図４（ａ）～図４（ｃ）は、図３の固定部材１４に搭載された６つの撮像ユニット２０Ａ～２０Ｆの位置関係を説明する図である。図４（ａ）は、固定部材１４の中心軸の方向（図３のｚ軸方向）から見た上面図であり、図４（ｂ）は、撮像ユニット２０Ａが取り付けられた固定部材１４の角柱の一つの側面に垂直な方向（図３のｘ軸方向）から見た側面図であり、図４（ｃ）は、図３のｘ軸方向およびｚ軸方向と垂直をなす図３のｙ軸方向から見た側面図である。
　図４（ａ）の上面図に示すように、５つの側面撮像ユニット２０Ａ～２０Ｅが水平面において等しい円周角（７２°）で半径Ｌの円をなすように５角柱の固定部材１４の周りに配置されており、各側面撮像ユニット２０Ａ～２０Ｅの撮影方向は円の径方向である。図４（ｂ）および図４（ｃ）の側面図に示すように、固定部材１４の天頂面に配置された天頂部撮像ユニット２０Ｆと固定部材１４の側面に配置された側面撮像ユニット２０Ｂは、垂直面において円周角９０°で半径Ｌの円をなすように配置されている。天頂部撮像ユニット２０Ｆと固定部材１４の固定部材１４の他の側面に配置された各側面撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅも同様に円周角９０°で半径Ｌの円をなすように配置されている。言い換えれば、６つの撮像ユニット２０Ａ～２０Ｆは、半径Ｌの球をなすように配置されている。
　図５は、６つの撮像ユニット２０Ａ～２０Ｆが固定された固定部材１４と本体部３０の中心軸を示す図である。図のように、固定部材１４と本体部３０の中心軸が一致するように多眼撮像部１０は本体部３０に連結される。さらに本体部３０の三脚座固定穴５０は本体部３０の中心軸に設けられているため、三脚座固定穴５０に結合される三脚の位置が固定部材１４の中心軸に一致するようになり、三脚に設置された本体部３０を傾けたり、回したりしたときでも、撮影位置や視線方向などの調整がしやすい。
　図６（ａ）および図６（ｂ）は、多眼撮像部１０と本体部３０の分離可能な構成を説明する図である。図６（ａ）のように、多眼撮像部１０と本体部３０を分離させ、画像データを、たとえば、ＵＳＢ（Universal Serial Bus）などの周辺機器を接続するためのインタフェース規格に合わせて変換し、延長可能なケーブル等と用いて物理的に離れた位置にある本体部３０と接続してもよい。また、カメラの信号線を延長する、取り外し可能な中継ケーブルを介して多眼撮像部１０と本体部３０を接続してもよい。また、多眼撮像部１０と本体部３０の両方に無線通信機能を設け、両者を無線接続してもよい。これにより、本体部３０を持ち込めないような狭い場所でも多眼撮像部１０だけを持ち込むことでパノラマ撮影が可能になる。たとえば、穴の中に多眼撮像部１０を入れて穴の中のパノラマ撮影ができる。
　また、本体部３０はタブレットＰＣや携帯電話などの携帯端末であってもよく、多眼撮像部１０と本体部３０を切り離して多眼撮像部１０と本体部３０の間で無線通信によりデータをやりとりしてもよい。これにより、撮影者は本体部３０を携帯しながら、多眼撮像部１０を遠隔地から操作することが可能になり、撮影者の写り込みを避けることがさらに容易になる。
　図６（ｂ）は、多眼撮像部１０の底面に三脚座固定穴５２を設けた構成であり、多眼撮像部１０に直接、三脚を結合することができる。多眼撮像部１０に無線通信機能を設ければ、多眼撮像部１０で撮影されたデータを本体部３０や他の携帯端末に送信することができる。
　図７は、多眼撮像部１０の底面にも撮像ユニット２０Ｇを設けた構成を示す図である。このように上面の撮像ユニット２０Ｆ以外に底面にも撮像ユニット２０Ｇを設けたことで、全方位の撮影が可能になる。この場合、底面に三脚を結合することはできないため、天井からワイヤなどで多眼撮像部１０をつるすなどの方法で撮影を行うことになる。あるいは、多眼撮像部１０を空中に投げることで全方位の撮影を行ってもよい。多眼撮像部１０に無線通信機能を設ければ、多眼撮像部１０で撮影されたデータを本体部３０や他の携帯端末に送信することができる。
　図８（ａ）～図８（ｄ）は、固定部材１４の側面に設置された撮像ユニット２０Ａの画角と固定部材１４の天頂面に設置された撮像ユニット２０Ｆの画角の関係を説明する図である。
　図８（ａ）は、固定部材１４の側面に設置された側面撮像ユニット２０Ａの視野６０Ａと、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの視野６０Ｂの関係を示す。図８（ｂ）は、パノラマ撮像装置１００の多眼撮像部１０を上から見た上面図（図３のｚ軸方向から見た図）であり、固定部材１４の側面に設置された側面撮像ユニット２０Ａの視野６０Ａの水平画角θＡＨを示す。図８（ｃ）、図８（ｄ）は、パノラマ撮像装置１００を横から見た側面図（図３のｘ軸方向、ｙ軸方向から見た図）である。図８（ｃ）は、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの水平画角θＦＨを示す。図８（ｄ）は、固定部材１４の側面に設置された側面撮像ユニット２０Ａの垂直画角θＡＶと、固定部材１４の天頂面に設置された天頂部撮像ユニット２０Ｆの垂直画角θＦＶを示す。
　一例として、側面撮像ユニット２０Ａの水平画角θＡＨは、θＡＨ＝１２１°であり、固定部材１４の側面に５つの側面撮像ユニット２０Ａ～２０Ｅを設置することで水平方向３６０°のパノラマ撮影を可能にする。一方、側面撮像ユニット２０Ａの垂直画角θＡＶは、θＡＶ＝１３４°であり、天頂部撮像ユニット２０Ｆの水平画角θＦＨ（＝１３４°）または垂直画角θＦＶ（＝１２１°）と合わせて垂直方向１８０°のパノラマ撮影を可能にする。
　なお、この例では、側面撮像ユニット２０Ａの垂直画角θＡＶと水平画角θＡＨの関係は、θＡＶ＞θＡＨである。通常のレンズでは水平画角が垂直画角よりも大きいが、ここでは、側面撮像ユニット２０Ａ～２０Ｅの垂直方向の画角を大きくするために、固定部材１４の側面では通常に対して９０°回転させた状態で撮像ユニット２０Ａ～２０Ｅを設置していることに留意する。
　図９は、パノラマ撮像装置１００の多眼撮像部１０を上から見た上面図において、固定部材１４の側面に設置された５つの側面撮像ユニット２０Ａ～２０Ｅによる視野の重なりを示す図である。各側面撮像ユニット２０Ａ～２０Ｅの水平画角は一例として、１２１°であり、５つの側面撮像ユニット２０Ａ～２０Ｅによる撮影画像を組み合わせると、水平方向３６０°のパノラマ撮影ができる。
　図１０（ａ）および図１０（ｂ）は、操作・表示部４０に表示される操作画面を説明する図である。図１０（ａ）に示すパノラマ撮像装置１００の６つの撮像ユニット２０Ａ～２０Ｆにより撮影される画像はそれぞれ、図１０（ｂ）に示す操作画面の領域Ａ～Ｆに表示される。
　タッチパネルにおいて図１０（ｂ）に示す領域Ａ～Ｆのいずれかを選択することで、撮像ユニット２０Ａ～２０Ｆのいずれかを基準カメラとして選択することができる。ここでは、領域Ｂが選択されており、たとえば、領域Ｂの枠が別の色で表示されるなど、領域Ｂが強調表示される。領域Ｂは、撮像ユニット２０Ｂに対応しており、撮像ユニット２０Ｂが基準カメラになり、撮像ユニット２０Ｂが露出やホワイトバランスなどの撮影条件を設定する際の基準となる。
　撮影者が自動露出（ＡＥ（auto exposure））ロックボタン７４を押すと、自動露出によって基準カメラである撮像ユニット２０Ｂが最適露出値に設定され、その最適露出値が他の撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆにも反映される。ＡＥロックボタン７４はトグルになっており、もう一度押すと、ＡＥロックが解除され、各撮像ユニット２０Ａ～２０Ｆに対して独立に露出を自動調整することができる。
　次に、撮影者が自動ホワイトバランス（ＡＷＢ（auto white balance））ロックボタン７６を押すと、自動ホワイトバランスによって基準カメラである撮像ユニット２０Ｂがホワイトバランスが調整され、その補正値が他の撮像ユニット２０Ａ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆにも反映される。ＡＷＢロックボタン７６もトグルになっており、もう一度押すと、ＡＷＢロックが解除され、各撮像ユニット２０Ａ～２０Ｆに対して独立にホワイトバランスを自動調整することができる。
　拡張コントロールボタン７８を押すと、各種設定メニューが表示され、撮影パラメータのさらなる設定が可能である。
　撮影者が動画記録開始／停止ボタン７０を押すと、各撮像ユニット２０Ａ～２０Ｆによって動画が撮影され、もう一度、動画記録開始／停止ボタン７０を押すと、動画撮影が停止する。静止画撮影ボタン７２を押すと、各撮像ユニット２０Ａ～２０Ｆによって静止画像が撮影される。記録された動画または静止画は、本体部３０にメイン回路の外部インタフェースに接続されたＵＳＢメモリなどに記録される。
　図１１は、本体部３０のメイン回路に実装されるパノラマ動画ストリーム生成部２００の機能構成図である。
　撮影制御部２１０は、多眼撮像部１０の撮像ユニット２０Ａ～２０Ｆの露出値やホワイトバランス値、フレームレートなどの撮影パラメータを個別または一括で設定する。また、撮影制御部２１０は、撮像ユニット２０Ａ～２０Ｆのズームや撮影の開始／停止などを制御する。
　撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームはそれぞれフレームメモリ２２０Ａ～２２０Ｆに格納される。
　動画ストリーム多重化部２３０は、フレームメモリ２２０Ａ～２２０Ｆに格納された撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームを多重化して多眼動画ストリームを生成し、パノラマステッチ部２４２に供給する。パノラマステッチ部２４２は、撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームをつなぎ合わせるステッチング処理によってパノラマ動画を合成し、パノラマ動画ストリームを生成する。パノラマステッチ部２４２は、消費電力が制限されている場合は、ステッチング処理を行わずに、多眼動画ストリームをそのまま出力することもできる。また、パノラマステッチ部２４２は、必要に応じて、多眼動画ストリームとパノラマ動画ストリームの両方を出力することもできる。パノラマステッチ部２４２は、多眼動画ストリームおよびパノラマ動画ストリームの少なくとも一方をパノラマ動画記憶部２４０に記録する。
　表示制御部２６０は、フレームメモリ２２０Ａ～２２０Ｆから撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームを読み出して操作・表示部４０の画面に表示する。
　ユーザインタフェース部２５０は、撮像ユニット２０Ａ～２０Ｆの操作メニューの情報を表示制御部２６０に与え、表示制御部２６０は操作メニューを操作・表示部４０の画面に表示する。
　タッチパネル制御部２７０は、タッチパネルにおけるユーザの指によるタッチ操作を検出し、タッチ位置の情報などをユーザインタフェース部２５０に与える。ユーザインタフェース部２５０は、タッチパネル制御部２７０により与えられたタッチ位置の情報から操作メニューにおいてユーザが選択した操作内容を特定し、撮影制御部２１０に操作コマンドを送る。撮影制御部２１０は、ユーザインタフェース部２５０から与えられた操作コマンドにもとづいて、撮像ユニット２０Ａ～２０Ｆを制御する。
　［動画ストリーム切り替え記録制御］
　次に、パノラマ撮像装置１００のパノラマ動画ストリーム生成部２００における動画ストリーム切り替え記録制御について説明する。
　図１２は、パノラマ動画ストリーム生成部２００における動画ストリーム切り替え記録制御に関する構成を示す。ここでは、図１１で示した撮影制御部２１０と動画ストリーム多重化部２３０の異なる構成と動作を説明する。図１１のパノラマ動画記憶部２４０、表示制御部２６０、ユーザインタフェース部２５０、タッチパネル制御部２７０の各構成は、ここでは図示を省略する。
　図１２において、破線は制御信号線を示し、太い線は画像データの伝送路を示す。図１１で既に説明したように、撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームはフレームメモリ２２０Ａ～２２０Ｆにそれぞれ格納され、動画ストリーム多重化部２３０は、フレームメモリ２２０Ａ～２２０Ｆに格納された各撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームを読み出し、多重化して多眼動画ストリームを生成する。
　動画ストリーム多重化部２３０は、各撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームを多重化する機能の他、動き検出部２３２、モード判定部２３４、および制御信号発生部２３６の各機能を有する。
　動き検出部２３２は、撮像ユニット２０Ａ～２０Ｆにより撮影された動画フレームＡ～Ｆにおいて動きベクトルを検出し、動画フレームＡ～Ｆの動きベクトルの大きさの総和を求める。あるいは、動き検出部２３２は、特定の１つ以上の注目する撮像ユニットにより撮影された動画フレームにおいて動きベクトルを検出し、注目する１以上の動画フレームの動きベクトルの大きさの総和を求めてもよい。
　モード判定部２３４は、動き検出部２３２により算出された動きベクトルの大きさの総和が所定の閾値未満である場合、撮像ユニット２０Ａ～２０Ｆをフレーム周期で順次、間欠動作させて、１フレーム毎に撮像ユニット２０Ａ～２０Ｆのいずれかに切り替え、切り替え先の１つの撮像ユニットが出力する撮像画像を対応するフレームメモリから読み出し、１つの動画ストリームに多重化する「撮像ユニット間欠動作モード」に設定する。
　モード判定部２３４は、動き検出部２３２により算出された動きベクトルの大きさの総和が所定の閾値以上である場合、すべての撮像ユニット２０Ａ～２０Ｆを同時に動作させ、各撮像ユニット２０Ａ～２０Ｆが出力する撮像画像をフレームメモリ２２０Ａ～２２０Ｆから読み出し、１つの動画ストリームに多重化する「撮像ユニット同時動作モード」に設定する。
　モード判定部２３４は、設定された撮像ユニットの動作モードの情報を撮影制御部２１０と制御信号発生部２３６に与える。
　撮影制御部２１０は、モード判定部２３４により設定される動作モードに応じた制御信号を撮像ユニット２０Ａ～２０Ｆに供給する。
　「撮像ユニット間欠動作モード」の場合、撮影制御部２１０は、撮像ユニット２０Ａ～２０Ｆをフレーム周期で順次、間欠動作させる制御信号を与える。これにより、動作していない撮像ユニットには電力を供給する必要がなくなり、消費電力を削減できる。
　「撮像ユニット同時動作モード」の場合、撮影制御部２１０は、すべての撮像ユニット２０Ａ～２０Ｆを同時に動作させる制御信号を与える。この場合、すべての撮像ユニット２０Ａ～２０Ｆを動作させるため、消費電力はかかるが、被写体の動きが激しい場合やシーンが変わる場合でも、合成されるパノラマ動画の画質が劣化しない。
　制御信号発生部２３６は、モード判定部２３４により設定される動作モードに応じた制御信号をフレームメモリ２２０Ａ～２２０Ｆに供給する。「撮像ユニット間欠動作モード」の場合、制御信号発生部２３６は、１フレーム毎にフレームメモリ２２０Ａ～２２０Ｆのいずれかに切り替え、切り替え先のフレームメモリからの読み出しをアクティブにし、他のフレームメモリからの読み出しを非アクティブにする制御信号を与える。「撮像ユニット同時動作モード」の場合、制御信号発生部２３６は、すべてのフレームメモリ２２０Ａ～２２０Ｆからの読み出しをアクティブにする制御信号を与える。
　ここで、「撮像ユニット同時動作モード」の場合であっても、画像データを伝送するインタフェースの帯域幅が（撮像ユニットの個数）×（１フレームのデータ量）×（フレームレート）よりも大きければ、すべてのフレームメモリ２２０Ａ～２２０Ｆからの読み出しをアクティブにして、同時に各フレームメモリ２２０Ａ～２２０Ｆから画像データを読み出しても問題がないが、撮像ユニット１つ分のデータ量しか許容できない場合は、いったんフレームメモリ２２０Ａ～２２０Ｆに画像データを記録しておき、フレームメモリ２２０Ａ～２２０Ｆを順次切り替えながら、順次画像データを送出するようにしてもよい。
　また、撮像ユニット２０Ａ～２０Ｆの立ち上がり時間が遅く、撮像ユニット２０Ａ～２０Ｆの間欠動作をすると支障がある場合は、撮像ユニット２０Ａ～２０Ｆを連続動作させておいて、フレームメモリ２２０Ａ～２２０Ｆをフレーム周期で順次、間欠動作させて、１フレーム毎にフレームメモリ２２０Ａ～２２０Ｆのいずれかに切り替え、切り替え先の１つのフレームメモリから撮像画像を読み出し、１つの動画ストリームに多重化してもよい。これによってもフレームメモリに供給する電力を削減することができる。
　また、モード判定部２３４は、撮像画像の動き量だけでなく、パノラマ撮像装置１００のバッテリ残量や許容消費電力に応じて、「撮像ユニット間欠動作モード」と「撮像ユニット同時動作モード」を切り替えてもよい。たとえば長時間動作させるためには単位時間上がりの消費電力を抑える必要があり、「撮像ユニット間欠動作モード」に切り替える。また、バッテリ残量が十分である間は「撮像ユニット同時動作モード」で実行し、バッテリ残量が少なくなると「撮像ユニット間欠動作モード」に切り替えてもよい。また、パノラマ撮像装置１００が内蔵された充電式バッテリにより駆動されている場合は「撮像ユニット間欠動作モード」に設定し、ＡＣアダプタから供給される外部電力によって駆動されている場合は「撮像ユニット同時動作モード」に設定してもよい。
　動画ストリーム多重化部２３０は、いずれかの動作モードにおいてフレームメモリ２２０Ａ～２２０Ｆから送出された画像フレームを多重化して多眼動画ストリームを生成し、メインプロセッサ２８０に与える。
　メインプロセッサ２８０は、多眼動画ストリームに対してステッチング処理を施してパノラマ動画ストリームを生成し、フラッシュメモリなどの２次記憶装置２９０に記録する。メインプロセッサ２８０には、パノラマステッチ処理を実行するためにソフトウェアによってパノラマステッチ部２４２および切替部２４６の機能構成が実現される。これらの機能はハードウェアによって実装されてもよい。
　パノラマステッチ部２４２は、動画ストリーム多重化部２３０から供給される多眼動画ストリームに含まれる撮像ユニット２０Ａ～２０Ｆにより撮影された画像フレームをつなぎ合わせてパノラマ画像を合成し、パノラマ画像フレームの時系列データが配置されたパノラマ動画ストリームを生成し、出力する。バッテリ残量や許容消費電力に応じて消費電力が制限されている場合、パノラマステッチ部２４２は、パノラマ画像を合成せずに、多眼動画ストリームをそのまま出力する。
　切替部２４６は、消費電力制限に応じて、パノラマステッチ部２４２が出力するパノラマ動画ストリームと多眼動画ストリームを切り替えて２次記憶装置２９０に記録する。たとえば、利用可能な電力の大小に応じて次のような３段階の制御が可能である。
　（ａ）利用できる電力が小さい場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成せずに、多眼動画ストリームを出力する。この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオフにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオンにし、多眼動画ストリームを２次記憶装置２９０に記録する。パノラマステッチ処理を行わないことで消費電力を抑えることができる。
　（ｂ）利用できる電力が中くらいである場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成して出力するが、多眼動画ストリームは出力しない。この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオンにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオフにし、パノラマ動画ストリームを２次記憶装置２９０に記録する。パノラマステッチ部２４２が動作するため、上記（ａ）の場合よりも電力を消費するが、パノラマ動画がリアルタイムに生成されるというメリットがある。
　（ｃ）利用できる電力が大きい場合、パノラマステッチ部２４２は、パノラマ動画ストリームを生成して出力するとともに、多眼動画ストリームも出力する。この場合、この場合、切替部２４６は、パノラマ動画ストリームのデータ伝送経路２４３上のスイッチ２４７をオンにし、多眼動画ストリームのデータ伝送経路２４４上のスイッチ２４８をオンにし、パノラマ動画ストリームと多眼動画ストリームを２次記憶装置２９０に記録する。多眼動画ストリームおよびパノラマ動画ストリームの両方を生成して記録するため、処理量が多く、記録データ量も増え、消費電力が最も大きくなる。しかし、パノラマ動画ストリームだけでなく多眼動画ストリームも記録しておくことで、用途が増えるというメリットがある。
　なお、上記の説明では、撮像ユニット２０Ａ～２０Ｆのフレームレートが同じである場合を説明したが、各撮像ユニット２０Ａ～２０Ｆによる撮像画像の動き量が異なる場合、各撮像ユニット２０Ａ～２０Ｆ毎にフレームレートを変えてもよい。その場合は、撮影制御部２１０および制御信号発生部２３６は、フレームレートの比で撮像ユニット２０Ａ～２０Ｆおよびフレームメモリ２２０Ａ～２２０Ｆを切り替える比率を変える。すなわち、フレームレートの比で重み付けしたラウンドロビン式制御を行う。
　図１３は、パノラマ動画ストリーム生成部２００による動画ストリーム切り替え記録制御手順を説明するフローチャートである。
　動き検出部２３２は、各撮像ユニット２０Ａ～２０Ｆによる撮像画像から動きベクトルを検出する（Ｓ１０）。動き検出部２３２は、全撮像ユニット２０Ａ～２０Ｆまたは注目する１以上の撮像ユニットの撮像画像の動きベクトルの大きさの総和を求める（Ｓ１２）。
　モード判定部２３４は、各撮像画像の動きベクトルの大きさの総和が閾値以上であるかどうかを判定し（Ｓ１４）、各撮像画像の動きベクトルの大きさの総和が閾値未満である場合（Ｓ１４のＮ）、「撮像ユニット間欠動作モード」に設定する（Ｓ２０）。「撮像ユニット間欠動作モード」の場合、低フレームレートで多眼動画ストリームまたはパノラマ動画ストリームが記録される「低フレームレート記録モード」となる。
　モード判定部２３４は、各撮像画像の動きベクトルの大きさの総和が閾値以上である場合（Ｓ１４のＹ）、パノラマ撮像装置１００が消費電力制限内で動作しているかどうかを判定する（Ｓ１６）。たとえば、長時間撮影の場合の単位時間当たりの許容消費電力やバッテリ残量などを考慮して、消費電力制限内で動作中であるかどうかを判定する。モード判定部２３４は、パノラマ撮像装置１００が消費電力制限内で動作していなければ（Ｓ１６のＮ）、「撮像ユニット間欠動作モード」に設定し（Ｓ２０）、パノラマ撮像装置１００が消費電力制限内で動作していれば（Ｓ１６のＹ）、「撮像ユニット同時動作モード」に設定する（Ｓ１８）。「撮像ユニット同時動作モード」の場合、高フレームレートで多眼動画ストリームまたはパノラマ動画ストリームが記録される「高フレームレート記録モード」となる。
　撮影制御部２１０は、モード判定部２３４によって設定されたモードに応じて、撮像ユニット２０Ａ～２０Ｆを同時動作または間欠動作に切り替え、制御信号発生部２３６は、モード判定部２３４によって設定されたモードに応じて、フレームメモリ２２０Ａ～２２０Ｆを同時出力または間欠出力に切り替える（Ｓ２２）。
　パノラマ動画ストリーム生成部２００は、各モードに応じてフレームメモリ２２０Ａ～２２０Ｆから出力されるフレームデータを多重化して多眼動画ストリームまたはパノラマ動画ストリームを生成する（Ｓ２４）。
　ユーザにより撮影が停止された場合（Ｓ２６のＹ）、終了し、撮影が停止されない場合（Ｓ２６のＮ）、ステップＳ１０に戻ってＳ１０からの処理を繰り返す。
　図１４（ａ）および図１４（ｂ）は、動画ストリーム切り替え記録制御により生成される多眼動画ストリームのデータ構造を説明する図である。ここでは撮像ユニットの個数は４であり、各撮像ユニットのフレームレートは３０ｆｐｓ（フレーム／秒）であるとする。
　図１４（ａ）は、「撮像ユニット間欠動作モード」の場合に生成される多眼動画ストリームを示す。撮像ユニット２０Ａ～２０Ｄはフレーム周期で順次、間欠動作し、各フレーム周期で、撮像ユニット２０Ａにより撮像されたフレームＡ、撮像ユニット２０Ｂにより撮像されたフレームＢ、撮像ユニット２０Ｃにより撮像されたフレームＣ、撮像ユニット２０Ｄにより撮像されたフレームＤの順に多重化される。撮像ユニット２０Ａ～２０Ｄは４回に１回の割合で間欠動作するため、各撮像ユニット２０Ａ～２０Ｄの実効フレームレートは３０ｆｐｓ／４＝７．５ｆｐｓとなり、多重化後の多眼動画ストリームの転送レートは３０ｆｐｓ／４×４＝３０ｆｐｓ相当となる。すなわち低フレームレートの多眼動画ストリームが生成される。４つの撮像ユニット２０Ａ～２０Ｄが間欠動作しているため、４つの撮像ユニット２０Ａ～２０Ｄにより撮像された４つの撮像画像を合成したパノラマ画像において、隣り合う撮像画像は異なるタイミングに撮像されたものになるが、動きが少ない場合は、時間の異なる撮像画像をつなぎ合わせたパノラマ画像の画質に大きな影響はない。
　図１４（ｂ）は、「撮像ユニット同時動作モード」の場合に生成される多眼動画ストリームを示す。撮像ユニット２０Ａ～２０Ｄは同時動作し、各フレーム周期で撮像ユニット２０Ａにより撮像されたフレームＡ、撮像ユニット２０Ｂにより撮像されたフレームＢ、撮像ユニット２０Ｃにより撮像されたフレームＣ、および撮像ユニット２０Ｄにより撮像されたフレームＤが多重化される。したがって、各撮像ユニット２０Ａ～２０Ｄの実効フレームレートは３０ｆｐｓのままであり、多重化後の多眼動画ストリームの転送レートは３０ｆｐｓ×４＝１２０ｆｐｓ相当となる。すなわち高フレームレートの多眼動画ストリームが生成される。４つの撮像ユニット２０Ａ～２０Ｄは同時動作しているため、４つの撮像ユニット２０Ａ～２０Ｄにより撮像された４つの撮像画像を合成したパノラマ画像において、隣り合う撮像画像は同じタイミングに撮像されたものになるから、動きが激しい場合であっても、撮像画像をつなぎ合わせたパノラマ画像の画質が保たれる。
　以上説明したパノラマ動画ストリーム生成部２００の動画ストリーム切り替え記録制御による作用効果を説明する。
　一般に、被写体の動きが遅かったり、動きが少ない場合、カメラのフレームレートを落としても画像品質はさほど低下しない。逆に被写体の動きが激しい場合には、カメラのフレームレートを落とす（ＣＭＯＳイメージセンサの場合、シャッタースピードが長くなることに相当する）と、動きブレにより著しく画質が低下してしまう。多眼式カメラの場合、最高フレームレートで全カメラのデータを常に同時に記録すれば、いかなるシーンにおいても最高の画質が得られるが、消費電力増大およびフラッシュメモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等のデータ記憶装置の記録容量を圧迫してしまう問題が生じる。そこで、カメラの動作状態と、記録データをシーンに応じて適応的に制御できることが望ましい。
　本実施の形態の動画ストリーム切り替え記録制御によれば、シーンの動きに応じて撮像ユニット２０Ａ～２０Ｆの動作モードとフレームメモリ２２０Ａ～２２０Ｆの出力モードを切り替えることができる。シーンの動きが大きいときは、各撮像ユニットの実効フレームレートを確保しなければ画質が劣化するため、消費電力よりは画質を優先して「撮像ユニット同時動作モード」に設定し、シーンの動きが小さいときは、各撮像ユニットの実効フレームレートを落としても画質はそれほど劣化しないため、「撮像ユニット間欠動作モード」に切り替えて消費電力を抑える。このようにシーンの動きに応じて動作モードを切り替えることで、画質をさほど損なわずに、消費電力を抑え、記録容量を削減することができる。また、バッテリ残量や許容消費電力に応じて動作モードを切り替えれば、パノラマ撮像装置１００を効率良く使用することができる。さらに、「撮像ユニット間欠動作モード」では低フレームの画像ストリームが生成されるため、記録容量を削減することができる。
　［多眼カメラ制御系］
　図１５は、多眼カメラを選択的に制御するための制御系の構成図である。図１２の撮影制御部２１０は、バスインタフェース・カメラ制御インタフェース部３００と、透過マスクレジスタ３１０と、制御データ透過ロジック３２０とを含み、メインプロセッサ２８０からの命令を受けて、複数の撮像ユニット２０Ａ～２０Ｆの内、任意の撮像ユニットをまとめて選択的に制御する。たとえば、自動露出（ＡＥ）、自動ホワイトバランス（ＡＷＢ)、露出値（ＥＶ）などの制御を一括または選択的に行うことができる。
　バスインタフェース・カメラ制御インタフェース部３００は、メインプロセッサ２８０と撮像ユニット２０をつなぐ所定の規格のバスインタフェースおよび撮像ユニット２０Ａ～２０Ｆを制御するための専用インタフェースであり、メインプロセッサ２８０からの指示を受けて、制御データ透過ロジック３２０へ制御信号を与える。
　制御データ透過ロジック３２０は、撮像ユニット２０Ａ～２０Ｆへの制御データの書き込みまたは撮像ユニット２０Ａ～２０Ｆからのデータの読み出しを行うための回路である。制御データ透過ロジック３２０は、書き込みに関しては、撮像ユニット２０Ａ～２０Ｆに対してユニキャスト、マルチキャスト、ブロードキャストのいずれかで書き込みデータを送信し、読み出しに関しては撮像ユニット２０Ａ～２０Ｆからユニキャストで読み出しデータを受信することを可能にする。
　透過マスクレジスタ３１０は、制御データ透過ロジック３２０の回路の入出力動作を制御するためのレジスタである。透過マスクレジスタ３１０は、撮像ユニット２０Ａ～２０Ｆの個数分の透過マスクレジスタである。
　図１６は、図１５の多眼カメラ制御系の機能構成を説明する図である。カメラ制御インタフェース３０２は、図１５のバスインタフェース・カメラ制御インタフェース部３００の一例であり、メインプロセッサ２８０とともにアプリケーションプロセッサ１４０を構成する。アプリケーションプロセッサ１４０は、たとえば、システムオンチップ（ＳｏＣ）技術によって実装される。
　図１６の機能構成図において、図１５の制御データ透過ロジック３２０は、Ｉ２ＣやＳＰＩなどのバスインタフェースによってカメラ制御インタフェース３０２と撮像ユニット２０Ａ～２０Ｆを接続する回路であり、スイッチ１３０Ａ～１３０Ｆとマルチプレクサ１３２を含む。
　カメラ制御インタフェース３０２のデータ送信部Ｔｘは、スイッチ１３０Ａ～１３０Ｆを経由して撮像ユニット２０Ａ～２０Ｆと接続され、メインプロセッサ２８０により指示された制御データが撮像ユニット２０Ａ～２０Ｆに選択的に書き込まれる。制御データ書き込み透過レジスタ１１０（以下、単に「書き込み透過レジスタ」という）は、撮像ユニット２０Ａ～２０Ｆの個数分の透過マスクレジスタであり、撮像ユニット２０Ａ～２０Ｆに対応するスイッチ１３０Ａ～１３０Ｆのオン／オフを切り替えるマスクが設定される。
　たとえば、書き込み透過レジスタ１１０の値が‘１１００００’であるとき、２個の撮像ユニット２０Ａおよび２０Ｂに対応するスイッチ１３０Ａおよび１３０Ｂがオンになり、それ以外の４個の撮像ユニット２０Ｃ～２０Ｆに対応するスイッチ１３０Ｃ～１３０Ｆがオフになる。これにより、制御データは２個の撮像ユニット２０Ａおよび２０Ｂに選択的に書き込まれる。
　撮像ユニット２０Ａ～２０Ｆは、多入力１出力のマルチプレクサ１３２を介してカメラ制御インタフェース３０２のデータ受信部Ｒｘに接続され、メインプロセッサ２８０からの読み出し指示にしたがって撮像ユニット２０Ａ～２０Ｆからデータが選択的に読み出される。カメラ設定値読み出し透過レジスタ１２０（以下、単に「読み出し透過レジスタ」という）は、撮像ユニット２０Ａ～２０Ｆの個数分の透過選択レジスタであり、マルチプレクサ１３２の複数の入力ストリームのうちのひとつを選択するマスクが設定される。
　たとえば、読み出し透過レジスタ１２０の値が‘０１００００’であるとき、マルチプレクサ１３２に入力される６つの撮像ユニット２０Ａ～２０Ｆからの入力ストリームの中から１つの撮像ユニット２０Ｂの入力ストリームが選択され、その撮像ユニット２０Ｂからのデータがマルチプレクサ１３２から出力ストリームとして出力され、カメラ制御インタフェース３０２の受信部Ｒｘに供給される。
　図１６の構成では、メインプロセッサ２８０から撮像ユニット２０Ａ～２０Ｆに対してデータを読み書きするためのインタフェースは一つであり、書き込み透過レジスタ１１０および読み出し透過レジスタ１２０の透過マスクを書き換えるだけで、撮像ユニット２０Ａ～２０Ｆに対して一括または選択的にデータを読み書きできる。撮像ユニット２０Ａ～２０Ｆのそれぞれに独立したインタフェースを設けると回路規模が大きくなるが、図１６の構成ではインタフェースを一つにして回路点数を削減することができる。また、書き込み透過レジスタ１１０を書き換えるだけで書き込み対象の撮像ユニットを任意に選択して、選択された撮像ユニットに対して同時にデータを書き込むことができるため、書き込みを高速化できる。
　図１７（ａ）は、図１６の多眼カメラ制御系による書き込み処理を説明するフローチャートである。
　メインプロセッサ２８０は、撮像ユニット２０Ａ～２０Ｆに書き込むべき制御データを準備する（Ｓ３０）。制御データは、たとえば、露出値などの撮影条件に関するデータであり、ユーザインタフェース部２５０によってユーザから指定される。
　メインプロセッサ２８０は、書き込み対象の撮像ユニットを決定し、書き込み透過レジスタ１１０に書き込み対象の撮像ユニットを指定する値を書き込む（Ｓ３２)。書き込み透過レジスタ１１０が撮像ユニットの個数分の透過マスクである場合、書き込み対象の撮像ユニットを選択する透過マスクを設定する。書き込み透過レジスタ１１０によってスイッチ１２０Ａ～１２０Ｆのオン／オフ状態が設定される。書き込み透過レジスタ１１０の透過マスクの設定は、書き込み対象の撮像ユニットに制御データを選択的に送信するために必要である。
　書き込みに対するアクノレッジ（ＡＣＫ）を必要とする場合、メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、読み出し透過レジスタ１２０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ３４）。読み出し透過レジスタ１２０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、読み出し透過レジスタ１２０によって指定された入力ストリームが選択され、出力ストリームとして出力される。読み出し透過レジスタ１２０の透過マスクの設定は、書き込み対象の撮像ユニットから選択的にＡＣＫを受信するために必要である。
　ここで、書き込み先の撮像ユニットは各々、書き込みが完了した時点でＡＣＫを返す。本来であれば、書き込み対象の全ての撮像ユニットからＡＣＫを受け取り、ＡＣＫの受信確認を個々に行わなければならないが、もしそのような処理を行おうとすると回路規模が増大し、バス規格とは異なる手順が必要になる。しかし、通常、書き込み処理に失敗することは極めてまれであるから、書き込み対象の撮像ユニットの内、一つの撮像ユニットからのＡＣＫのみを透過させてＡＣＫ確認を行うことで、書き込み対象の全てのＡＣＫ確認の代わりとすることができ、回路も単純になる。このため、本実施の形態では、ＡＣＫ確認の際、読み出し透過レジスタ１２０は１つのビットのみを立てることにしている。もし、各々の撮像ユニットに書き込みが正しく行われたかどうかを厳密に確認したいなら、書き込み処理の後で、各々の撮像ユニットに対して個別にレジスタ値の読み出しを行い、ＡＣＫ確認を行えばよい。
　カメラ制御インタフェース３０２は、制御データを書き込むための信号を送信端子Ｔｘからスイッチ１２０Ａ～１２０Ｆを介して撮像ユニット２０Ａ～２０Ｆに向けて出力する（Ｓ３６）。このとき、書き込み透過レジスタ１１０による透過マスクにしたがってスイッチ１２０Ａ～１２０Ｆのオン／オフ状態が切り替えられ、書き込み対象として選択された撮像ユニット２０だけに制御データが書き込まれる。
　書き込みに対するＡＣＫが必要である場合、カメラ制御インタフェース３０２は、撮像ユニット２０Ａ～２０Ｆから、マルチプレクサ１３２を介してＡＣＫ信号を受信端子Ｒｘにて受信する（Ｓ３８）。このとき、読み出し透過レジスタ１２０による透過マスクにしたがって、読み込み対象として選択された撮像ユニットからＡＣＫが確認される。
　なお、書き込みに対するＡＣＫが不要である場合は、ステップＳ３４とステップＳ３８の処理を省くことができる。
　図１７（ｂ）は、図１６の多眼カメラ制御系による読み込み処理を説明するフローチャートである。
　メインプロセッサ２８０は、読み出すべき撮像ユニット２０のレジスタを決定する（Ｓ４０）。
　メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、書き込み透過レジスタ１１０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ４２)。書き込み透過レジスタ１１０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。書き込み透過レジスタ１１０によってスイッチ１２０Ａ～１２０Ｆのオン／オフ状態が設定される。書き込み透過レジスタ１１０の透過マスクの設定は、読み出し対象の撮像ユニットに選択的に読み出しアドレスを送信するために必要である。
　次に、メインプロセッサ２８０は、読み出し対象の撮像ユニットを決定し、読み出し透過レジスタ１２０に読み出し対象の撮像ユニットを指定する値を書き込む（Ｓ４４）。読み出し透過レジスタ１２０が撮像ユニットの個数分の透過マスクである場合、読み出し対象の撮像ユニットを選択する透過マスクを設定する。多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、読み出し透過レジスタ１２０によって指定された入力ストリームが選択され、出力ストリームとして出力される。読み出し透過レジスタ１２０の透過マスクの設定は、読み出し対象の撮像ユニットから選択的にデータとＡＣＫを受信するために必要である。
　カメラ制御インタフェース３０２は、撮像ユニットへの読み出しアドレスを送信端子Ｔｘからスイッチ１２０Ａ～１２０Ｆを介して撮像ユニット２０Ａ～２０Ｆに向けて出力する（Ｓ４６）。このとき、書き込み透過レジスタ１１０による透過マスクにしたがってスイッチ１２０Ａ～１２０Ｆのオン／オフ状態が切り替えられ、データの読み出し対象として選択された撮像ユニット２０だけに読み出しアドレスが送られる。
　カメラ制御インタフェース３０２は、撮像ユニット２０Ａ～２０Ｆから、マルチプレクサ１３２を介して指定されたアドレスに対するデータを受信端子Ｒｘにて受信する（Ｓ４８）。このとき、読み出し透過レジスタ１２０による透過マスクにしたがって、読み出し対象として選択された撮像ユニットからデータが受け取られ、ＡＣＫが確認される。
　図１８は、図１６の多眼カメラ制御系の実装例を説明する図である。図１８の実装例では、Ｉ２Ｃ（Inter-Integrated Circuit）と呼ばれる周辺デバイスとのシリアル通信の方式を利用する。ここでは、簡単のため、撮像ユニットの個数が４個（撮像ユニット２０Ａ～２０Ｄ）の場合を説明する。
　Ｉ２Ｃインタフェース３０４は、アプリケーションプロセッサ１４０側にあるインタフェースであり、Ｉ２Ｃ通信のマスタである。撮像ユニット２０Ａ～２０Ｄは、Ｉ２Ｃ通信のスレーブである。
　Ｉ２Ｃステート監視回路１５０は、受信ステートにて受信イネーブルをトライステートバッファ１７０に対してイネーブルする回路である。これにより、マルチプレクサ１７６からのデータの受信がイネーブルされる。書き込み時は、トライステートバッファ１７０はブロックされている。
　Ｉ２Ｃインタフェース３０４が出力するＳＤＡＴＡは撮像ユニット２０Ａ～２０Ｄに対応するトライステートバッファ１７２Ａ～１７２Ｄに供給される。書き込み透過レジスタ１１０の透過マスクにしたがって書き込み対象の撮像ユニットに対応するトライステートバッファがイネーブルされ、ＳＤＡＴＡは書き込み対象の撮像ユニットだけに送信される。プルアップ抵抗１７４はトライステートバッファ１７２Ａ～１７２Ｄの出力信号が適切な論理レベルとなるように調整するための抵抗器である。Ｉ２Ｃインタフェース３０４が出力するＳＣＬＫは撮像ユニット２０Ａ～２０Ｄの同期を取るためのクロック信号である。
　読み出し透過レジスタ１２０の透過マスクにしたがって、多入力１出力のマルチプレクサ１３２の入力端子の内、指定された入力端子からの入力値が多重化されて、トライステートバッファ１７０を介してＩ２Ｃインタフェース３０４に供給される。
　同図では、書き込み透過レジスタ１１０の透過マスクは‘１１００’であるから、書き込み時には撮像ユニット２０Ａと２０Ｂに制御データが書き込まれる。読み出し透過レジスタ１２０の透過マスクは‘１０００’であるから、読み込み時には撮像ユニット２０ＡからＡＣＫが読み出される。
　図１９は、図１６の多眼カメラ制御系の別の実装例を説明する図である。図１９の実装例では、ＳＰＩ（ISerial Peripheral Interface）と呼ばれるコンピュータ内部で使われるデバイス間を接続するバスインタフェースを利用する。ここでも、簡単のため、撮像ユニットの個数が４個（撮像ユニット２０Ａ～２０Ｄ）の場合を説明する。
　ＳＰＩインタフェース３０６は、アプリケーションプロセッサ１４０側にあるインタフェースであり、ＳＰＩ通信のマスタである。撮像ユニット２０Ａ～２０Ｄは、ＳＰＩ通信のスレーブである。
　ＳＰＩインタフェース３０６が出力するＣＳ＃信号はチップセレクト信号であり、ＮＡＮＤ回路１８０Ａ～１８０Ｄに供給される。書き込み透過レジスタ１１０は、書き込み対象の撮像ユニット２０Ａ～２０Ｄを選択するための透過マスクであり、撮像ユニット２０Ａ～２０Ｄに対応するＮＡＮＤ回路１８０Ａ～１８０Ｄにレジスタ値が供給される。この例では、書き込み透過レジスタ１１０の透過マスクは‘１１００’であり、２つのＮＡＮＤ回路１８０Ａおよび１８０Ｂに１が入力され、残り２つのＮＡＮＤ回路１８０Ｃおよび１８０Ｄに０が入力される。ＮＡＮＤ回路１８０Ａ～１８０Ｄの出力値ＣＡＭ１_ＣＳ＃～ＣＡＭ４_ＣＳ＃は、撮像ユニット２０Ａ～２０Ｄに反転入力される。これにより、２つの撮像ユニット２０Ａおよび２０Ｂがセレクトされ、ＳＰＩインタフェース３０６のＭＯＳＩ（Master Out Slave In）からの制御データＴｘＤａｔａが撮像ユニット２０Ａおよび２０Ｂに送信される。
　ＳＰＩインタフェース３０６のＣＬＫからのＳＣＬＫ信号は同期を取るために撮像ユニット２０Ａ～２０Ｄに供給される。
　ＳＰＩインタフェース３０６のＭＩＳＯ（Master In Slave Out）にはマルチプレクサ１８２からの読み出しデータＲｘＤａｔａが受信される。読み出し透過レジスタ１２０は、読み出し対象の撮像ユニット２０Ａ～２０Ｄを選択するための透過マスクであり、多入力１出力のマルチプレクサ１８２の入力信号を選択するために使われる。この例では、読み出し透過レジスタ１２０の透過マスクは‘１０００’であり、多入力１出力のマルチプレクサ１３２への複数の入力ストリームの内、撮像ユニット２０Ａからの入力ストリームが選択され、マルチプレクサ１３２の出力ストリームとして出力される。
　図２０（ａ）および図２０（ｂ）は、操作・表示部４０に表示される操作画面の例を説明する図である。図２０（ａ）に示すパノラマ撮像装置１００の６つの撮像ユニット２０Ａ～２０Ｆにより撮影される画像はそれぞれ、図２０（ｂ）に示す操作画面の領域Ａ～Ｆに表示される。
　操作画面の領域Ａ～Ｆの枠は、基準カメラとして選択されたときは、たとえば青色などの色で表示される。また領域がグルーピングされると、各グループごとに枠の色が変わる。基準カメラとしての選択はトグルになっており、クリックするたびに指定／非指定が切り替わる。
　動画記録開始／停止ボタン７０、静止画撮影ボタン７２、自動露出ロックボタン７４、自動ホワイトバランスロックボタン７６、および拡張コントロールボタン７８は、図１０（ｂ）で既に説明した通りであるから説明を省略する。
　カメラフリーズボタン７５を押すと、選択した撮像ユニットは、現在撮像された画像のままフリーズする。すなわち、撮像ユニットは動作したままで、カメラフリーズボタン７５を押したときの画像を保持し続ける。カメラフリーズボタン７５はトグルになっており、もう一度押すと、カメラフリーズが解除され、選択した撮像ユニットによる撮像が再開する。
　グルーピングボタン７７を押すと、複数の領域Ａ～Ｆの中から任意に選択した領域がグループ化される。言い換えれば、撮像ユニット２０Ａ～２０Ｆの中から特定の撮像ユニットが選択されてグループ化される。グルーピングしたい領域は、操作画面上で領域をクリックしたり、自由曲線で囲むなどにより、選択することができる。
　図２１は、基準カメラを指定して一括共通設定する場合を説明する図であり、図２２は、その場合の操作画面例である。
　図２１に示すように、撮像ユニット２０Ａを基準カメラとして設定し、基準カメラの露出値などの撮影パラメータを他の撮像ユニット２０Ｂ～２０Ｆにも一括設定する。たとえば、屋内撮影をする場合、正面方向の撮像ユニット２０Ａを基準カメラとして設定し、他の撮像ユニット２０Ｂ～２０Ｆは基準カメラと同じ露出設定で撮影を行う。
　図２２に示すように、撮像ユニット２０Ａに対応する領域Ａを基準カメラとして選択し、自動露出ロックボタン７４、自動ホワイトバランスロックボタン７６などを押すと、他の撮像ユニット２０Ｂ～２０Ｆに対しても同じパラメータが反映される。
　読み出し透過レジスタ１２０は、基準カメラとして選択された撮像ユニット２０Ａを読み出し対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ａから露出値やホワイトバランス値などの撮影パラメータが読み出される。その後、書き込み透過レジスタ１１０は、基準カメラとして選択された撮像ユニット２０Ａ以外の残りの撮像ユニット２０Ｂ～２０Ｆを書き込み対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ａから読み出された撮影パラメータが残りの撮像ユニット２０Ｂ～２０Ｆに一括で書き込まれる。
　より具体的な操作手順は以下の通りである。
（１）操作画面において正面カメラの領域Ａをクリックする。これにより、領域Ａの枠が青色になり、撮像ユニット２０Ａが基準カメラとなる。
（２）自動ホワイトバランスロックボタン７６を押して、基準カメラである撮像ユニット２０Ａの調整値ですべての撮像ユニット２０Ａ～２０Ｆのホワイトバランスをロックする。
（３）自動露出ロックボタン７４を押して、基準カメラである撮像ユニット２０Ａの調整値ですべての撮像ユニット２０Ａ～２０Ｆの露出値をロックする。
（４）動画記録開始／停止ボタン７０または静止画撮影ボタン７２により撮影する。
　図２３は、室内から窓を通して屋外を撮影する場合を説明する図であり、図２４および図２５は、その場合の操作画面例である。
　図２３に示すように、窓１９０から外を撮影する場合、窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅは屋外撮影用に露出を絞るが、残りの撮像ユニット２０Ｃおよび２０Ｄは屋内撮影用の露出設定で撮影する必要がある。
　図２４に示すように、窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅに対応する領域Ａ、ＢおよびＥを自由曲線１９２で囲んで選択する。グルーピングボタン７７を押して、選択された領域Ａ、ＢおよびＥをグループ化する。
　次に、図２５に示すように、同一グループに属する領域Ａ、ＢおよびＥの内、領域Ｂを選択して撮像ユニット２０Ｂを基準カメラとして選択する。これにより、基準カメラである撮像ユニット２０Ｂと同一の撮影パラメータが同じグループに属する他の撮像ユニット２０Ａおよび２０Ｅにも反映される。
　読み出し透過レジスタ１２０は、グループ内で基準カメラとして選択された撮像ユニット２０Ｂを読み出し対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ｂから露出値やホワイトバランス値などの撮影パラメータが読み出される。その後、書き込み透過レジスタ１１０は、グループ内で基準カメラとして選択された撮像ユニット２０Ｂ以外の残りの撮像ユニット２０Ａおよび２０Ｅを書き込み対象の撮像ユニットとして指定する値に設定され、基準カメラである撮像ユニット２０Ｂから読み出された撮影パラメータが残りの撮像ユニット２０Ａおよび２０Ｅに一括で書き込まれる。
　より具体的な操作手順は以下の通りである。
（１）操作画面において窓側の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅに対応する領域Ａ、ＢおよびＥを選択する。
（２）グルーピングボタン７７を押して、選択された領域Ａ、ＢおよびＥをグルーピングする。これにより、領域Ａ、ＢおよびＥの枠が緑色になり、第１グループを形成する。残りの領域Ｃ、ＤおよびＦは、第２グループを形成する。
（３）領域Ｂをクリックする。これにより、領域Ｂの枠が青色になり、領域Ｂに対応する撮像ユニット２０Ｂが緑色の第１グループの基準カメラとなる。
（４）領域Ｄをクリックする。これにより、領域Ｄの枠が青色になり、領域Ｄに対応する撮像ユニット２０Ｄが第２グループの基準カメラとなる。
（５）自動ホワイトバランスロックボタン７６を押すと、第１グループにおいて、基準カメラである撮像ユニット２０Ｂの調整値で同一グループ内の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅのホワイトバランスがロックされる。また、第２グループにおいて、基準カメラである撮像ユニット２０Ｄの調整値で同一グループ内の撮像ユニット２０Ｃ、２０Ｄおよび２０Ｆのホワイトバランスがロックされる。
（６）自動露出ロックボタン７４を押すと、第１グループにおいて、基準カメラである撮像ユニット２０Ｂの調整値で同一グループ内の撮像ユニット２０Ａ、２０Ｂおよび２０Ｅの露出値がロックされる。また、第２グループにおいて、基準カメラである撮像ユニット２０Ｄの調整値で同一グループ内の撮像ユニット２０Ｃ、２０Ｄおよび２０Ｆの露出値がロックされる。
（７）動画記録開始／停止ボタン７０または静止画撮影ボタン７２により撮影する。
　図２６は、一部のカメラをフリーズさせる場合を説明する図であり、図２７は、その場合の操作画面例である。
　図２６に示すように、パノラマ画像の撮影中に人物１９４が進入してきた場合、人物１９４が写っていない状態でカメラの画像をフリーズさせて、そのカメラの撮影を一時的に中断させる。この例では、人物１９４が撮像画像に写らないように、撮像ユニット２０Ａおよび撮像ユニット２０Ｂによる撮像を一時中断させ、人物１９４が写っていない画像でフリーズさせる。
　図２７に示すように、フリーズさせたい領域ＡおよびＢを選択し、グルーピングボタン７７を押してグループ化し、その後、領域ＡまたはＢのいずれか一方を基準カメラとして選択してカメラフリーズボタン７５を押す。これにより、同一グループに属する領域ＡおよびＢに対応する撮像ユニット２０Ａおよび２０Ｂを一時停止させて、人物が写っていない画像でフリーズさせることができる。
　より具体的な操作手順は以下の通りである。
（１）操作画面においてフリーズさせたい撮像画像の領域ＡおよびＢを選択する。
（２）グルーピングボタン７７を押して、選択された領域ＡおよびＢをグルーピングする。これにより、領域ＡおよびＢの枠が緑色になる。
（３）領域ＡまたはＢをクリックする。これにより選択された方の領域に対応する撮像ユニットが基準カメラとなるが、実際にはカメラをフリーズさせたいグループを指定したのと同じ効果となる。
（４）人物が写っていない状態で、カメラフリーズボタン７５を押す。これにより（３）で指定したカメラグループがフリーズ状態となり、領域ＡおよびＢが人物が写っていない画像でフリーズする。
（５）以後、フリーズしていない残りの撮像ユニット２０Ｃ～２０Ｆにより撮影する。
　以上述べたように、本実施の形態の多眼カメラ制御系によれば、データ書き込み用マスクレジスタとデータ読み出し用選択レジスタを、メインプロセッサがカメラに対してアクセスするインターフェースと各カメラモジュールのインターフェースの間に挿入することで、一括かつ高速にカメラの制御が行えるようになり、結果としてカメラ制御が簡単かつ効率的に行えるようになる。既存インタフェースにレジスタを挿入するだけで多眼カメラ制御系を実現できるため、カメラモジュールやプロセッサのインタフェースを変更する必要がなく、制御系の設計は容易である。
　［多段露出撮影］
　図２８は、多段露出撮影を行うためのパノラマ動画ストリーム生成部２００の機能構成図である。ここでは、多段露出撮影に関係する構成を図示しており、それ以外の構成は説明の便宜上、省略している。図２８の露出設定部４００は、図１１で説明した撮影制御部２１０に実装することができ、図２８のＨＤＲ合成部４２０は、図１１で説明した動画ストリーム多重化部２３０に実装することができる。
　露出設定部４００は、複数の撮像ユニット２０Ａ～２０Ｆのそれぞれに対して露出値を設定する。具体的には、各撮像ユニット２０Ａ～２０Ｆに対して個別の基準露出値を設定し、さらにその基準露出値を中心に上下に露出値を数段変化させた相対露出値を設定する。各撮像ユニット２０Ａ～２０Ｆの個別の基準露出値は、各撮像ユニット２０Ａ～２０Ｆの自動露出（ＡＥ）機構によって最適な露出値に設定してもよい。
　露出設定部４００による各撮像ユニット２０Ａ～２０Ｆに対する露出値の設定は、図１５で説明した多眼カメラ制御系を用いて一括または選択的に行うことができる。
　各撮像ユニット２０Ａ～２０Ｆによって露出値を変えて撮像された低ダイナミックレンジ（ＬＤＲ；low dynamic range)の撮像画像はフレームバッファ４３０Ａ～４３０Ｆに保持される。各フレームバッファ４３０Ａ～４３０Ｆは、各撮像ユニット２０Ａ～２０Ｆに設定された複数の露出値で撮影された画像を格納する領域を備えたフレームメモリである。
　ＨＤＲ合成部４２０は、各フレームバッファ４３０Ａ～４３０Ｆから各撮像ユニット２０Ａ～２０Ｆによって撮像された露出値の異なる低ダイナミックレンジの撮像画像を読み出し、最適な露出値の撮像領域をステッチング処理によって合成することにより、高ダイナミックレンジ（ＨＤＲ；high dynamic range)のパノラマ画像を生成する。なお、最終的な出力フォーマットがＬＤＲのパノラマ画像である場合は、ＨＤＲ合成部４２０は、ＨＤＲの合成画像にトーンマッピング処理を施してダイナミックレンジを圧縮したＬＤＲのパノラマ画像を生成することもできる。
　ＨＤＲ合成部４２０は、隣接する撮像画像の間で特徴点を抽出し、特徴点をもとに隣接する撮像画像をステッチしてパノラマ画像を合成する。特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。ＨＤＲ合成部４２０により生成されたパノラマ画像はパノラマ画像記憶部４１０に記憶される。
　図２９（ａ）および図２９（ｂ）は、比較のため、複数の撮像ユニット２０Ａ～２０Ｆに共通の基準露出値を設定して撮影した撮像画像を説明する図である。
　図２９（ａ）は、ある撮像ユニット２０Ａによって基準露出値（ここでは基準露出値を０とする）を中心に露出値を多段で変化させてブラケット撮影したときの画像４４０Ａ～４４６Ａを示す。画像４４２Ａは基準露出値ＥＶ＝０で撮影された画像であり、画像４４３Ａ、４４４Ａ、４４５Ａ、４４６Ａは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ＋１、＋４、＋５、＋７だけ増やして撮像された画像の例である。また、画像４４１Ａ、４４０Ａは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ－４、－７だけ減らして撮像された画像である。露出値ＥＶを＋１だけ増やすと光量が２倍に増加し、露出値ＥＶを－１だけ減らすと光量が１／２倍に減少する。
　図２９（ａ）において、露出値ＥＶ＝－７のときの画像４４０Ａは「黒つぶれ」を起こしており、情報量はゼロである。露出値ＥＶ＝＋７のときの画像４４６Ａは一部に「白とび」を生じている。
　図２９（ｂ）は、別の撮像ユニット２０Ｂによって図２９（ａ）と同じ基準露出値ＥＶを中心に露出値を多段で変化させてブラケット撮影したときの画像４４０Ｂ～４４６Ｂを示す。画像４４２Ｂは基準露出値ＥＶ＝０で撮影された画像であり、画像４４３Ｂ、４４４Ｂ、４４５Ｂ、４４６Ｂは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ＋１、＋４、＋５、＋７だけ増やして撮像された画像である。また、画像４４１Ｂ、４４０Ｂは、基準露出値ＥＶ＝０に対して露出値ＥＶをそれぞれ－４、－７だけ減らして撮像された画像である。
　露出値ＥＶ＝－７およびＥＶ＝－４のときの画像４４０Ｂおよび４４１Ｂは「黒つぶれ」を起こしており、情報量はゼロである。露出値ＥＶ＝＋７のときの画像４４６Ｂは一部に「白とび」を生じている。
　このように、すべての撮像ユニット２０Ａ～２０Ｆにおいて同じ基準露出値を用いて基準露出値の上下で露出値を多段変化させてブラケット撮影を行うと、「黒つぶれ」や「白とび」を起こす画像が撮影され、無駄が生じる。
　多眼式カメラでは、各カメラの視野によって適正露出値が大きく異なる。全方位において適正な露出範囲を確保するためには露出値を多段に変化させて撮影するブラケット撮影が有効である。しかし、多眼式カメラでは、カメラアングルによって視野の明るさのダイナミックレンジが大きく異なり、最も暗い視野から最も明るい視野までをカバーする広い露出範囲ですべてのカメラの露出値を多段階で設定してブラケット撮影することが必要になり、画像のデータ量が増えるとともに撮影時間もかかる。また、すべてのカメラについて同じ基準露出値の上下で露出値を多段変化させると、カメラアングルによっては、「白とび」や「黒つぶれ」となる画像が多数撮影されることになり、無駄も多い。
　そこで、本実施の形態の多段露出撮影では、撮像ユニット２０Ａ～２０Ｆ毎に基準露出値を個別に設定し、各撮像ユニット２０Ａ～２０Ｆにおいて個別の基準露出値の上下で露出値を多段変化させてブラケット撮影を行う。
　図３０（ａ）～図３０（ｃ）は、露出設定部４００により各撮像ユニット２０Ａ～２０Ｆに設定される基準露出値および基準露出値を中心に所定段数分だけ露出値を多段変化させた相対露出値を説明する図である。図３０（ａ）は、撮像ユニット２０Ａに設定される基準露出値ＥＶａおよび基準露出値ＥＶａに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。図３０（ｂ）は、撮像ユニット２０Ｂに設定される基準露出値ＥＶｂおよび基準露出値ＥＶｂに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。図３０（ｃ）は、撮像ユニット２０Ｃに設定される基準露出値ＥＶｃおよび基準露出値ＥＶｃに対してプラス方向に３段、マイナス方向に３段だけ露出値を変化させた相対露出値を示す。
　各撮像ユニット２０Ａ、２０Ｂ、２０Ｃに設定される基準露出値ＥＶａ、ＥＶｂ、ＥＶｃは、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃの視野において最適な露出値であり、一般には異なる値である。ここでは、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃの基準露出値ＥＶａ、ＥＶｂ、ＥＶｃは２段ずつずれている。各撮像ユニット２０Ａ、２０Ｂ、２０Ｃにおいて２段ずつすれた各基準露出値ＥＶａ、ＥＶｂ、ＥＶｃのそれぞれに対して＋３、＋２、＋１、－１、－２、－３だけ露出値を変化させた多段露出撮影を行うため、結果的には３つの撮像ユニット２０Ａ、２０Ｂ、２０Ｃ全体では合計１１段の異なる露出値で撮影が行われたことになる。
　各撮像ユニット２０におけるブラケット撮影の段数は、撮影方向が隣接する撮像ユニット２０間で露出範囲の一部が重複するように決定することが望ましい。ＨＤＲ合成する際、隣接する撮像画像間で露出の相関を取れるようにするためである。
　各撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは、それぞれの適正な基準露出値を中心としてプラス方向に３段、マイナス方向に３段だけ露出値を変化させた多段露出撮影が行われているから、各撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは図２９（ａ）および図２９（ｂ）で説明したような「黒つぶれ」や「白とび」の画像は撮影されない。そのため、多段露出撮影に無駄が生じない。また、従来のようにすべての撮像ユニット２０Ａ、２０Ｂ、２０Ｃにおいて１１段分の多段露出撮影をする場合と比べて、撮像ユニット２０Ａ、２０Ｂ、２０Ｃでは基準露出値を含めて＋３～－３の７段階のブラケット撮影で済むため、ブラケット撮影にかかる時間を大きく短縮することができる。このように、本実施の形態では、各撮像ユニット２０Ａ～２０Ｆによるブラケット撮影の段数が少なくても、ＨＤＲ合成時のダイナミックレンジが大きく広がり、無駄なく効率的にＨＤＲパノラマ画像合成が可能になる。
　図３１は、ＨＤＲ合成部４２０によって合成されたパノラマ画像を説明する図である。各撮像ユニット２０Ａ～２０Ｆによって複数の露出値で撮影された撮像画像から適正な露出値の撮像領域をステッチして合成することで図３１に示すパノラマ画像が得られる。たとえば、領域４５０は、窓の外の風景であり、ある撮像ユニット２０Ａによって当該撮像ユニット２０Ａの視野での適正露出値で撮影された撮像画像から抽出され、領域４５１は、室内の風景であり、別の撮像ユニット２０Ｂによって当該撮像ユニット２０Ｂの視野での適正露出値で撮影された撮像画像から抽出されたものである。
　図３２は、本実施の形態による多段露出撮影の手順を説明するフローチャートである。
　撮像ユニット２０Ａ～２０Ｆのそれぞれにおいて自動露出（ＡＥ)と自動ホワイトバランス（ＡＷＢ）を行い、各撮像ユニット２０Ａ～２０Ｆを最適な基準露出値に設定して撮影を行う（Ｓ５０）。
　露出設定部４００は、各撮像ユニット２０Ａ～２０Ｆの基準露出値を中心に±Ｎ段の相対露出値を各撮像ユニット２０Ａ～２０Ｆに設定する（Ｓ５２）。
　各撮像ユニット２０Ａ～２０Ｆにおいて、設定された±Ｎ段の相対露出値でブラケット撮影を行う（Ｓ５４）。
　ＨＤＲ合成部４２０は、各撮像ユニット２０Ａ～２０Ｆによるブラケット撮影で得られた撮像画像から適正露出の領域をステッチング処理により合成することで、ハイダイナミックレンジのパノラマ画像を合成する（Ｓ５６）。
　上記の説明では、各撮像ユニット２０Ａ～２０Ｆにおいて、基準露出値の上下に所定段数分だけ露出値を変化させて多段露出撮影を行い、各撮像ユニット２０Ａ～２０Ｆにより多段露出撮影された撮像画像から適正露出で撮像された領域をステッチしてハイダイナミックレンジのパノラマ画像を合成した。変形例として、各撮像ユニット２０Ａ～２０Ｆにおいて個別の基準露出値のもとで撮像された画像から擬似的なハイダイナミックレンジのパノラマ画像を合成することもできる。以下、この擬似ＨＤＲ合成の方法を説明する。
　図３３（ａ）～図３３（ｃ）は、ＨＤＲ合成部４２０による疑似ＨＤＲ合成の方法を説明する図である。
　疑似ＨＤＲ合成では、各撮像ユニット２０Ａ～２０Ｆを個別に自動露出制御、自動ホワイトバランス制御して最適な露出値のもとでそれぞれ１枚の画像を撮影する。ＨＤＲ合成部４２０が、撮影方向が隣接する２枚の撮影画像間で対応点をマッチングさせてＨＤＲパノラマ画像を合成するが、その際、マッチング点の輝度および色は等しいと考えられること、また、各撮像ユニット２０Ａ～２０Ｆの自動露出による最適な露出値が既知であることから、撮像画像の各画素の輝度および色情報を８ビットに丸め込まずに、ＨＤＲ合成を行う。
　具体的には、３つの撮像ユニット２０Ａ、２０Ｂ、２０Ｃの適正露出値のずれによって、撮像ユニット２０Ａにより撮影された画像の８ビットの輝度情報が図３３（ａ）に示す輝度範囲にあり、撮像ユニット２０Ｂにより撮影された画像の８ビットの輝度情報が図３３（ｂ）に示す輝度範囲にあり、撮像ユニット２０Ｃにより撮影された画像の８ビットの輝度情報が図３３（ｃ）に示す輝度範囲にあるとする。
　すなわち、３２ビットのハイダイナミックレンジで見た場合、撮像ユニット２０Ｂにより撮影された画像の輝度は、撮像ユニット２０Ａにより撮影された画像の輝度よりも３ビット分だけ明るい範囲にあり、さらに撮像ユニット２０Ｃにより撮影された画像の輝度は、撮像ユニット２０Ｂにより撮影された画像の輝度よりも６ビット分だけ明るい範囲にある。この場合、撮像ユニット２０Ｂにより撮影された画像の画素を撮像ユニット２０Ａにより撮影された画像の画素に比べて３ビットだけビットシフトさせ、撮像ユニット２０Ｃにより撮影された画像の画素は撮像ユニット２０Ａにより撮影された画像の画素に比べて３＋６＝９ビットだけビットシフトさせて、３２ビットのビットレンジで画素値を足すことで実質的に８＋３＋６＝１７ビットのハイダイナミックレンジの画素値を得ることができる。
　色差情報についても同様に各撮像ユニット２０Ａ～２０Ｆの適正露出値に応じてビットシフトさせた上で３２ビット空間で画素値を加算することでハイダイナミックレンジの色差情報を得ることができる。
　［方位合わせ］
　上記の説明では、撮像ユニットの撮影方向を特定の方角に合わせることをしなかったが、たとえば、正面方向の撮像ユニット２０Ａの撮影方向を磁北に合わせると、ステッチ処理後のパノラマ画像の中心が北を向くようになる。以下では、パノラマ画像の方位合わせを行うための構成と処理を説明する。
　図３４は、方位合わせを行うことのできるパノラマ動画ストリーム生成部２００の機能構成図である。図１１のパノラマ動画ストリーム生成部２００と異なる構成と動作について説明する。
　パノラマ撮像装置１００の多眼撮像部１０または本体部３０には３軸地磁気センサ２５２と３軸加速度センサ２５４が搭載される。さらに、３軸ジャイロセンサが搭載されてもよい。３軸地磁気センサ２５２は、地磁気ベクトルを３軸で検出し、３軸加速度センサ２５４は、パノラマ撮像装置１００の加速度ベクトルを３軸で検出する。
　原理的には、パノラマ撮像装置１００に３軸ジャイロ（角速度）センサ、３軸加速度センサ、および３軸地磁気センサの少なくとも一つが搭載されていれば、パノラマ撮像装置１００の傾きを３軸で検出して、姿勢情報を取得することができる。また、３軸地磁気センサにより、地磁気ベクトルを３軸で検出して、方位情報を取得することができる。
　３軸地磁気センサ２５２により取得された方位情報はユーザインタフェース部２５０に供給され、３軸地磁気センサ２５２、３軸加速度センサ２５４および（もし搭載されていれば）３軸ジャイロセンサの少なくとも一つによって取得された姿勢情報はユーザインタフェース部２５０に供給される。
　ユーザインタフェース部２５０は、パノラマ撮像装置１００の多眼撮像部１０が撮影している方位およびパノラマ撮像装置１００の姿勢を画面に表示する指示を表示制御部２６０に与え、表示制御部２６０は操作・表示部４０に撮影方位と姿勢に関する情報をグラフィックスを用いて表示する。また、ユーザインタフェース部２５０は、たとえばいずれかの撮像ユニットの撮影方向が磁北になるように多眼撮像部１０の方向をユーザに調整させる指示を画面に表示させる。
　図３５（ａ）、（ｂ）および図３６（ａ）、（ｂ）は、正面方向の撮像ユニット２０Ａの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。
　図３５（ａ）は、パノラマ撮像装置１００の多眼撮像部１０を天頂から見た概略図であり、操作・表示部４０の反対側に正面方向を撮影する撮像ユニット２０Ａがある。この撮像ユニット２０Ａを正面カメラとして、正面カメラの撮影方向を磁北に合わせるようにユーザに多眼撮像部１０の方向を調整させる案内を操作・表示部４０に表示する。３軸地磁気センサ２５２によって測定された磁北は、図３５（ａ）に矢印で示されており、撮像ユニット２０Ａの撮影方向は、磁北からずれている。
　図３５（ｂ）は、操作・表示部４０に表示される画面を説明する図である。操作・表示部４０には通常、図１０（ｂ）に示したように、６つの撮像ユニット２０Ａ～２０Ｆにより撮影される画像が領域Ａ～Ｆに表示されているが、正面カメラである撮像ユニット２０Ａに対応する領域Ａを選択すると、図３５（ｂ）に示すように、撮像ユニット２０Ａにより撮影される画像だけが操作・表示部４０に大きく表示される。
　撮像ユニット２０Ａにより撮影される画像が表示される領域Ａ（符号４２）の下に、３軸地磁気センサ２５２によって測定された磁北が方位磁石の画像によって表示される（符号４４）。さらにその下には、「正面カメラの向きを磁北に合わせてください」というメッセージが表示される（符号４６）。ユーザがパノラマ撮像装置１００の本体部３０を回転させて多眼撮像部１０の向きを変えると、撮像ユニット２０Ａの撮影方向が変わり、それに伴い、方位磁石の磁北の向きも変わる。
　ユーザは表示されたメッセージにしたがって、符号４４で表示される方位磁石の磁北がまっすぐ上を向くまで、パノラマ撮像装置１００の本体部３０を回転させて、撮像ユニット２０Ａの向きを変える。
　図３６（ａ）、（ｂ）は、正面カメラである撮像ユニット２０Ａの向きが３軸地磁気センサ２５２によって測定された磁北に一致したときの様子を示す。図３６（ａ）に示すように、撮像ユニット２０Ａの向きは磁北に一致しており、このとき、図３６（ｂ）に示すように、方位磁石の磁北はまっすぐ上を向き（符号４４）、「Ｇｏｏｄ！」というメッセージが表示される（符号４６）。
　このように、ユーザは正面カメラである撮像ユニット２０Ａの撮影方向が磁北になるようにパノラマ撮像装置１００の本体部３０の向きを設定することができる。これにより、ステッチ処理した後のパノラマ画像の画像中心が真北になる。操作・表示部４０の裏側にある撮像ユニット２０Ａを正面カメラとして、正面カメラの向きを磁北とすることで、正面カメラの撮影方位とパノラマ画像の中心の方角の対応関係が明確になる。なお、パノラマ撮像装置１００には３軸加速度センサ２５４も搭載されることから、水準器などを使わなくても、多眼撮像部１０の傾きを検出して、ステッチ処理の際に水平補正することが可能である。
　上記の説明では、正面カメラである撮像ユニット２０Ａの撮影方向を磁北に合わせたが、パノラマ画像の画像中心としたい任意の方角に撮像ユニット２０Ａの撮影方向を合わせるようにしてもよい。また、正面カメラ以外の撮像ユニットの撮影方向を磁北または任意の方角に合わせてもよい。
　図３７（ａ）、（ｂ）および図３８（ａ）、（ｂ）は、特定の撮像ユニットの撮影方向を磁北に合わせるためのユーザインタフェースを説明する図である。
　３軸地磁気センサ２５２によって測定される磁北は図３７（ａ）の矢印の方向であるとする。ここでは、撮像ユニット２０Ａ～２０Ｅの内、撮像ユニット２０Ｃがもっとも磁北に近い向きにある。
　図３７（ｂ）は、操作・表示部４０に表示される画面であり、撮像ユニット２０Ａ～２０Ｆにより撮影される画像がそれぞれ領域Ａ～Ｆに表示されている（符号４２）。撮像ユニット２０Ｃがもっとも磁北に近い向きにあるため、撮像ユニット２０Ｃの撮影画像が表示される領域Ｃに方位磁石が表示され、磁北の方向が示される（符号４４）。下部には「カメラの向きを磁北に合わせてください」というメッセージが表示される（符号４６）。
　ユーザは表示されたメッセージにしたがって、符号４４で示される方位磁石の磁北がまっすぐ上を向くまで、パノラマ撮像装置１００の本体部３０を回転させて、撮像ユニット２０Ｃの向きを変える。
　図３８（ａ）、（ｂ）は、撮像ユニット２０Ｃの向きが３軸地磁気センサ２５２によって測定された磁北に一致したときの様子を示す。図３８（ａ）に示すように、撮像ユニット２０Ｃの向きは磁北に一致しており、このとき、図３８（ｂ）に示すように、方位磁石の磁北はまっすぐ上を向き（符号４４）、「Ｇｏｏｄ！」というメッセージが表示される（符号４６）。
　このように、ユーザは特定の撮像ユニットの撮影方向が磁北になるようにパノラマ撮像装置１００の本体部３０の向きを設定することができる。撮影者の位置によっては、操作・表示部４０の反対側にある撮像ユニット２０Ａの撮影方向を磁北として撮影することが困難な場合があり、そのような場合は、正面カメラ以外のいずれかの撮像ユニットの撮影方向を磁北に設定すればよい。
　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上記の説明では、多眼撮像装置の一例として、異なる撮影方向に向けられた複数の撮像ユニット２０Ａ～２０Ｆを含む多眼撮像部１０と、操作・表示部４０を備えた本体部３０とを含むパノラマ撮像装置１００を説明したが、多眼撮像部１０の複数の撮像ユニットの少なくとも一部は、同一の方向に向けられていてもよい。特に、多眼撮像部１０が同じ撮影方向に向けられた少なくとも２つの撮像ユニットを含み、これら２つの撮像ユニットの視点位置が異なる場合、視差のある画像を撮影することができる。視差画像を用いれば、奥行きが把握できるため、３次元画像を生成することができる。視差画像がパノラマ画像であれば、３次元パノラマ画像を生成することができる。多眼撮像装置の別の例として、このようなステレオ撮像装置を構成してもよく、上述の実施の形態における様々な特徴的な構成および処理は、このようなステレオ撮像装置に対しても当てはまることは当業者に理解されるところである。
　本実施の形態では、パノラマ画像として全天球パノラマ画像を例に挙げて説明したが、パノラマ画像は、全天球パノラマ画像である必要はなく、撮影方向の異なる複数のカメラで撮影された複数の画像を合成した画像であってもよい。
　なお、本明細書でいう「パノラマ画像」とは、狭義の意味での「パノラマ」画像、すなわち横長または縦長の画像や３６０度の全景画像などに限られるものではなく、単に広い範囲を対象とする画像である。また、実施の形態では、合成画像としてパノラマ画像を生成する例を説明したが、出力される合成画像はいわゆるパノラマ画像である必要はなく、任意のサイズの通常の画像を合成画像としても本発明を適用することができる。あるいは、出力される合成画像は、複数の異なる解像度の画像が階層化された画像であってもよい。そのような階層化された画像は、画像の一部の領域を拡大すると拡大された領域がより解像度の高い画像に置き換わるように構成されてもよい。
　１０　多眼撮像部、　１２　カメラ筐体、　１４　固定部材、　２０Ａ～２０Ｆ　撮像ユニット、　３０　本体部、　４０　操作・表示部、　５０　三脚座固定穴、　７０　動画記録開始／停止ボタン、　７２　静止画撮影ボタン、　７４　自動露出ロックボタン、　７５　カメラフリーズボタン、　７６　自動ホワイトバランスロックボタン、　７７　グルーピングボタン、　７８　拡張コントロールボタン、　８０　三脚、　１００　パノラマ撮像装置、　２００　パノラマ動画ストリーム生成部、　２１０　撮影制御部、　２２０Ａ～２２０Ｆ　フレームメモリ、　２３０　動画ストリーム多重化部、　２３２　動き検出部、　２３４　モード判定部、　２３６　制御信号発生部、　２４０　パノラマ動画記憶部、　２４２　パノラマステッチ部、　２４６　切替部、　２５０　ユーザインタフェース部、　２５２　３軸地磁気センサ、　２５４　３軸加速度センサ、　２６０　表示制御部、　２７０　タッチパネル制御部、　２８０　メインプロセッサ、　２９０　２次記憶装置、　３００　バスインタフェース・カメラ制御インタフェース部、　３１０　透過マスクレジスタ、　３２０　制御データ透過ロジック、　４００　露出設定部、　４１０　パノラマ画像記憶部、　４２０　ＨＤＲ合成部、　４３０Ａ～４０３Ｆ　フレームバッファ。
　合成画像を撮像する技術に利用できる。

Claims (12)

  1. 　複数の撮像ユニットを含む多眼撮像部と、
    　前記多眼撮像部により撮像された画像および前記多眼撮像部に対する操作メニューの少なくとも一方を表示してユーザの操作を受け付けることのできる操作表示部を備えた本体部とを含み、
    　前記操作表示部は、前記本体部のくぼみ部分に設けられたことを特徴とする画像撮像装置。
  2. 　前記本体部のくぼみ部分の深さは、前記操作表示部に対してユーザが操作する際にユーザの指が写り込まないように設計されることを特徴とする請求項１に記載の画像撮像装置。
  3. 　前記本体部のくぼみ部分の深さおよびくぼみ部分に設けられる前記操作表示部の向きの少なくとも一方は、前記操作表示部による照明光が写り込まないように設計されることを特徴とする請求項１または２に記載の画像撮像装置。
  4. 　複数の撮像ユニットの少なくとも一部は水平面において円をなすように配置され、それらの撮像ユニットの撮影方向は円の径方向であることを特徴とする請求項１から３のいずれかに記載の画像撮像装置。
  5. 　複数の撮像ユニットの１つは天頂に配置され、その撮像ユニットの撮影方向は天頂方向であり、水平面において円をなすように配置された各撮像ユニットと、天頂に配置された撮像ユニットとは垂直面において円をなすように配置されていることを特徴とする請求項４に記載の画像撮像装置。
  6. 　複数の撮像ユニットは多角柱形状の１つの固定部材の各側面に固定されていることを特徴とする請求項１から５のいずれかに記載の画像撮像装置。
  7. 　複数の撮像ユニットの１つは前記多角柱形状の一つの固定部材の天頂面に固定されていることを特徴とする請求項６に記載の画像撮像装置。
  8. 　前記多角柱形状の１つの固定部材は正５角柱であり、正５角柱の５つの側面に５つの撮像ユニットが固定され、正５角柱の天頂面に１つの撮像ユニットが固定されていることを特徴とする請求項７に記載の画像撮像装置。
  9. 　前記固定部材の中心軸と前記本体部の中心軸が一致するように、前記多眼撮像部と前記本体部は連結されていることを特徴とする請求項６から８のいずれかに記載の画像撮像装置。
  10. 　前記操作表示部は、前記操作表示部に表示された複数の撮像ユニットによる複数の撮像画像の中から選択された特定の画像に対応する撮像ユニットの露出およびホワイトバランスの少なくとも一方に関する設定値をそれ以外の残りの撮像ユニットの設定値とするロックモードの指定を受けつけることを特徴とする請求項１から９のいずれかに記載の画像撮像装置。
  11. 　複数の撮像ユニットのそれぞれにより撮像された動画をフレームメモリに格納するステップと、
    　複数の撮像ユニットのそれぞれにより撮像された画像を表示する画面において選択された画像に対応する撮像ユニットを基準カメラとして撮影条件を設定するステップと、
    　前記基準カメラとして選択された撮像ユニットに対して設定された撮影条件をそれ以外の残りの撮像ユニットに対して設定するステップと、
    　前記フレームメモリに格納された複数の撮像ユニットによる複数の動画を多重化して動画ストリームを生成するステップとを含む画像撮像方法。
  12. 　複数の撮像ユニットのそれぞれにより撮像された動画をフレームメモリに格納するステップと、
    　複数の撮像ユニットのそれぞれにより撮像された画像を表示する画面において選択された画像に対応する撮像ユニットを基準カメラとして撮影条件を設定するステップと、
    　前記基準カメラとして選択された撮像ユニットに対して設定された撮影条件をそれ以外の残りの撮像ユニットに対して設定するステップと、
    　前記フレームメモリに格納された複数の撮像ユニットによる複数の動画を多重化して動画ストリームを生成するステップとをコンピュータに実現させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2012/003799 2012-06-11 2012-06-11 画像撮像装置および画像撮像方法 WO2013186805A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/003799 WO2013186805A1 (ja) 2012-06-11 2012-06-11 画像撮像装置および画像撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/003799 WO2013186805A1 (ja) 2012-06-11 2012-06-11 画像撮像装置および画像撮像方法

Publications (1)

Publication Number Publication Date
WO2013186805A1 true WO2013186805A1 (ja) 2013-12-19

Family

ID=49757679

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003799 WO2013186805A1 (ja) 2012-06-11 2012-06-11 画像撮像装置および画像撮像方法

Country Status (1)

Country Link
WO (1) WO2013186805A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200252A (zh) * 2016-08-09 2016-12-07 深圳信息职业技术学院 多角度空间一次成像的拍摄装置
JP2019516295A (ja) * 2016-04-06 2019-06-13 フェイスブック，インク． ３次元３６０度バーチャルリアリティカメラの露出制御
JP2019220939A (ja) * 2018-11-08 2019-12-26 パナソニック株式会社 監視カメラおよび映像配置方法
US10574902B2 (en) 2018-06-19 2020-02-25 Panasonic I-Pro Sensing Solutions Co., Ltd. Surveillance camera
CN117168344A (zh) * 2023-11-03 2023-12-05 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148865A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 画像入力装置
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
JP2009244369A (ja) * 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
JP2010273261A (ja) * 2009-05-25 2010-12-02 Fujifilm Corp 画像処理装置、撮像装置
JP2012015751A (ja) * 2010-06-30 2012-01-19 Fujifilm Corp 複眼カメラ、撮影条件設定方法、及び撮影条件設定プログラム
JP2012099889A (ja) * 2010-10-29 2012-05-24 Olympus Imaging Corp カメラ、撮影方法、撮影プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148865A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 画像入力装置
JP2002245490A (ja) * 2001-02-16 2002-08-30 Sony Corp 画像再生装置、画像再生方法
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
JP2009244369A (ja) * 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
JP2010273261A (ja) * 2009-05-25 2010-12-02 Fujifilm Corp 画像処理装置、撮像装置
JP2012015751A (ja) * 2010-06-30 2012-01-19 Fujifilm Corp 複眼カメラ、撮影条件設定方法、及び撮影条件設定プログラム
JP2012099889A (ja) * 2010-10-29 2012-05-24 Olympus Imaging Corp カメラ、撮影方法、撮影プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019516295A (ja) * 2016-04-06 2019-06-13 フェイスブック，インク． ３次元３６０度バーチャルリアリティカメラの露出制御
KR102057488B1 (ko) 2016-04-06 2019-12-20 페이스북, 인크. 3차원 360도 가상현실 카메라 노출 제어
CN106200252A (zh) * 2016-08-09 2016-12-07 深圳信息职业技术学院 多角度空间一次成像的拍摄装置
US10574902B2 (en) 2018-06-19 2020-02-25 Panasonic I-Pro Sensing Solutions Co., Ltd. Surveillance camera
US10868973B2 (en) 2018-06-19 2020-12-15 Panasonic I-Pro Sensing Solutions Co., Ltd. Surveillance camera
JP2019220939A (ja) * 2018-11-08 2019-12-26 パナソニック株式会社 監視カメラおよび映像配置方法
CN117168344A (zh) * 2023-11-03 2023-12-05 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备
CN117168344B (zh) * 2023-11-03 2024-01-26 杭州鲁尔物联科技有限公司 单目全景环视形变监测方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
JP5828039B2 (ja) 画像生成装置および画像生成方法
JP5881827B2 (ja) 画像撮像装置および画像撮像方法
JP5828038B2 (ja) 画像撮像装置および画像撮像方法
JP6151809B2 (ja) 画像撮像装置および画像撮像方法
US8988558B2 (en) Image overlay in a mobile device
JP7135299B2 (ja) 画像処理装置、表示装置、画像処理方法、プログラム
WO2013186805A1 (ja) 画像撮像装置および画像撮像方法
US11736806B2 (en) Auto exposure metering for spherical panoramic content
JP2022128489A (ja) 撮像装置
CN105744132B (zh) 全景图像拍摄的光学镜头配件
JP2020042064A (ja) 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
US11431906B2 (en) Electronic device including tilt OIS and method for capturing image and processing captured image
US11122202B2 (en) Imaging device, image processing system, and image processing method
US20200412928A1 (en) Imaging device, imaging system, and imaging method
CN220570624U (zh) 图像捕获系统和图像捕获装置
JP2020016883A (ja) 撮像装置
JP2020043387A (ja) 画像処理装置、画像処理方法、プログラム、及び、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12878759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12878759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP