WO2021014598A1 - 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム - Google Patents

撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2021014598A1
WO2021014598A1 PCT/JP2019/028925 JP2019028925W WO2021014598A1 WO 2021014598 A1 WO2021014598 A1 WO 2021014598A1 JP 2019028925 W JP2019028925 W JP 2019028925W WO 2021014598 A1 WO2021014598 A1 WO 2021014598A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured image
unit
imaging
optical system
Prior art date
Application number
PCT/JP2019/028925
Other languages
English (en)
French (fr)
Inventor
仁司 土屋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/028925 priority Critical patent/WO2021014598A1/ja
Publication of WO2021014598A1 publication Critical patent/WO2021014598A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an image pickup device, an image pickup system, an image processing device, an image pickup method, an image processing method, and a program for correcting the rotation of an image due to a change in attitude around the optical axis of a fisheye optical system.
  • an electronic correction method in which the image captured by the image sensor is electronically rotated based on the detection result detected by the acceleration sensor.
  • the larger the rotation angle of the image sensor, the larger the defect in the peripheral portion of the image, and the defective region can be made invisible by trimming the defective region.
  • the larger the angle the more a trimming area for rotation is required, so that the angle of view becomes smaller and the wide-angle property is impaired, which causes a problem that the visibility is lowered.
  • the present disclosure has been made in view of the above, and even when there is no limitation on the amount of rotation correction, 360 ° correction is possible, and the rotation angle in the rotation direction of the optical axis is large, the image is displayed. It is an object of the present invention to provide an image pickup device, an image pickup system, an image processing device, an image pickup method, an image processing method and a program capable of preventing the angle from changing.
  • the imaging apparatus includes a fish-eye optical system that forms a subject image on an imaging surface by a fish-eye projection method, and the imaging surface.
  • An image pickup element that converts the video signal into a video signal by receiving the subject image and outputs the video signal as a first captured image, and a rotation direction with the optical axis of the fisheye optical system as the rotation axis.
  • the predetermined region is rotated based on the posture detection unit that detects the tilt angle, a predetermined region included in the imaging surface and having point symmetry with respect to the center of the image, and the tilt angle.
  • the image pickup apparatus includes the image cutout region in the image pickup surface when the inclination angle with respect to the predetermined region is rotated in the range of 0 ° to 360 °. The area.
  • the imaging apparatus includes a first display unit capable of displaying at least one of the first captured image, the second captured image, and the third captured image, and at least one of the third captured images.
  • An operation unit that accepts an input of an instruction signal for selecting any one of the first photographed image, the second photographed image, and the third photographed image, and an image selected in response to the instruction signal are described.
  • a first control unit to be displayed on the first display unit is further provided.
  • the imaging apparatus converts the third captured image into a central projection type image based on the inclination angle.
  • the image pickup apparatus has a diagonal angle of view narrower than the smaller of the horizontal angle of view and the vertical angle of view corresponding to the image pickup surface. Based on the focal length, the third captured image obtained by converting the second captured image into a central projected image is generated.
  • the image pickup surface has a square shape.
  • the posture detection unit further detects the horizontal direction orthogonal to the gravity vector, and the conversion unit corrects the difference between the horizontal direction and the inclination angle. As a result, the third captured image is converted into an image of the central projection method.
  • the imaging device further includes a recording unit for recording the third photographed image in the above disclosure.
  • the imaging device is capable of bidirectional communication with the terminal device in the above disclosure, and further includes a first communication unit that transmits the third captured image and the tilt angle to the terminal device. ..
  • the imaging system includes the imaging device of the above disclosure and a terminal device, and the terminal device inputs an instruction signal indicating an imaging direction including an optical axis of the fisheye optical system.
  • the operation unit that receives the operation unit, an operation signal generation unit that generates an operation signal that rotates the image pickup direction based on the tilt angle, and a second communication unit that transmits the operation signal to the image pickup device are provided.
  • the image pickup apparatus further includes an optical system drive unit that changes the image pickup direction including the optical axis of the fisheye optical system based on the instruction signal.
  • the imaging system is based on the second display unit capable of displaying the third captured image and the tilt angle transmitted from the imaging device.
  • a posture image generation unit that generates a posture image showing the posture of the image pickup device, and a second control unit that displays the posture image superimposed on the third captured image on a second display unit. Further prepare.
  • the image processing apparatus has a fish-eye optical system that forms a subject image by a fish-eye projection method on an imaging surface of a subject, and the imaging surface, and receives the subject image.
  • An image pickup element that converts the video signal into a video signal and outputs the video signal as a first captured image
  • an attitude detection unit that detects an inclination angle in the rotation direction with the optical axis of the fisheye optical system as the rotation axis.
  • An acquisition unit that acquires the first captured image and the tilt angle from the image pickup device, a predetermined region included in the image pickup surface and having point symmetry centered on the image, and the tilt angle.
  • a unit and a conversion unit that generates a third captured image obtained by converting the second captured image into a central projected image are provided.
  • the imaging method is an imaging method executed by an imaging apparatus, in which a subject image is formed on an imaging surface by a fisheye optical system by a fisheye projection image method, and the subject image is imaged.
  • a subject image is formed on an imaging surface by a fisheye optical system by a fisheye projection image method
  • the subject image is imaged.
  • the video signal is converted into a video signal
  • the video signal is output as a first captured image
  • an inclination angle in the rotation direction with the optical axis of the fisheye optical system as the rotation axis is detected, and the image is captured in the imaging surface.
  • An image cropping region is set by rotating the predetermined region based on a predetermined region that is included and has point symmetry with respect to the center of the image and the tilt angle, and the first captured image is captured.
  • a second captured image is generated by cutting out the image cropping region, and a third captured image obtained by converting the second captured image into a central projection image is generated.
  • the image processing method is an image processing method executed by an image processing apparatus, which includes a fish-eye optical system that forms a subject image on an imaging surface by a fish-eye projection method, and the above-mentioned.
  • An imaging element having an imaging surface, converting the subject image into an image signal by receiving the image, and outputting the image signal as a first captured image, and rotation with the optical axis of the fisheye optical system as the rotation axis.
  • the first captured image and the tilt angle are acquired from an image pickup device including an attitude detection unit that detects a tilt angle in a direction, and are included in the image pickup surface and have point symmetry with respect to the center of the image.
  • a second image cropping area is set by rotating the predetermined region based on the predetermined region and the tilt angle, and the image cropping region is cropped with respect to the first captured image. Is generated, and a third photographed image obtained by converting the second photographed image into a central projection image is generated.
  • the program according to the present disclosure is a program to be executed by an image pickup device having at least one or more processors including memory and hardware, and the image pickup device is used to attach a subject to an image pickup surface by a fisheye optical system.
  • a subject image by the fisheye projection image method is formed, the subject image is received and converted into a video signal, the video signal is output as a first captured image, and the optical axis of the fisheye optical system is rotated.
  • a predetermined region that is included in the imaging surface and has point symmetry with respect to the center of the image by detecting the tilt angle in the rotation direction about the axis, and the predetermined region based on the tilt angle.
  • a second captured image is generated by cutting out the image cropped area with respect to the first captured image by setting an image cropping region to be rotated and cropped, and the second captured image is converted into a central projection image.
  • the third photographed image is generated.
  • the program according to the present disclosure is a program to be executed by an image processing device including at least one or more processors including memory and hardware, and the image processing device is used to shoot a subject with an eye on an imaging surface.
  • An image pickup device that has a fish-eye optical system that forms a subject image by a shadow image method and the imaging surface, converts the subject image into a video signal by receiving the subject image, and outputs the video signal as a first captured image.
  • the first captured image and the tilt angle are acquired from an image pickup apparatus including the image pickup device including the fisheye optical system and an attitude detection unit for detecting the tilt angle in the rotation direction with the optical axis as the rotation axis, and the image pickup surface.
  • An image cropping region to be cut out by rotating the predetermined region is set based on a predetermined region included in the image and having point symmetry with respect to the center of the image and the inclination angle.
  • a second captured image is generated by cutting out the image cropping region with respect to the captured image, and a third captured image obtained by converting the second captured image into a central projection image is generated.
  • FIG. 1A is a diagram schematically showing an outline of a central projection method in a projection method of an optical system.
  • FIG. 1B is a diagram schematically showing an outline of an equidistant projection method in an optical system projection method.
  • FIG. 1C is a diagram schematically showing an outline of a stereographic projection method in a projection method of an optical system.
  • FIG. 2 is a diagram schematically showing an outline of a conversion method for converting an image of a fisheye optical system into a central projection method.
  • FIG. 3A is a diagram schematically illustrating an outline of a method for cutting out a rotated image.
  • FIG. 3B is a diagram schematically illustrating an outline of a method for cutting out a rotated image.
  • FIG. 3A is a diagram schematically illustrating an outline of a method for cutting out a rotated image.
  • FIG. 3C is a diagram schematically illustrating an outline of a method for cutting out a rotated image.
  • FIG. 4A is a diagram showing a state in which a subject image is formed on a square image sensor so that the diagonal is 213 °.
  • FIG. 4B is a diagram showing a state after the projective transformation from the state of FIG. 4A.
  • FIG. 5 is a schematic configuration diagram of the image pickup apparatus according to the first embodiment.
  • FIG. 6 is a block diagram showing a functional configuration of the image pickup apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing an outline of the processing executed by the imaging apparatus according to the first embodiment.
  • FIG. 8 is a flowchart showing an outline of the live view display process of FIG. 7.
  • FIG. 9 is a flowchart showing an outline of the moving image shooting process of FIG. 7.
  • FIG. 10 is a diagram showing a schematic configuration of an imaging system according to a second embodiment.
  • FIG. 11 is a block diagram showing a functional configuration of the imaging system according to the second embodiment.
  • FIG. 12A is a diagram showing a situation in which the optical axis of the image pickup apparatus according to the second embodiment is oriented in the horizontal direction in the pipe.
  • FIG. 12B is a diagram showing a situation in which the optical axis of the image pickup apparatus according to the second embodiment is oriented in an oblique direction in the pipe.
  • FIG. 12C is a diagram showing a situation in which the optical axis of the image pickup apparatus according to the second embodiment is oriented in the direction of gravity in the pipe.
  • FIG. 12A is a diagram showing a situation in which the optical axis of the image pickup apparatus according to the second embodiment is oriented in the horizontal direction in the pipe.
  • FIG. 12B is a diagram
  • FIG. 13 is a block diagram showing a functional configuration of the imaging system according to the third embodiment.
  • FIG. 14 is a diagram showing an example of a display image displayed by the imaging system according to the third embodiment.
  • FIG. 15 is a block diagram showing a functional configuration of the imaging system according to the fourth embodiment.
  • FIG. 1A is a diagram schematically showing an outline of a central projection method in a projection method of an optical system.
  • FIG. 1B is a diagram schematically showing an outline of an equidistant projection method in an optical system projection method.
  • FIG. 1C is a diagram schematically showing an outline of a stereographic projection method in a projection method of an optical system. Further, in FIGS. 1A to 1C, the focal length of the optical system is described as f, and the angle formed by the optical axis and the incident light is described as ⁇ .
  • the central projection method shown in FIG. 1A is a general projection method of an optical system (lens) used in an imaging apparatus, and is an imaging method that does not give a sense of discomfort to the naked eye.
  • the equidistant projection method shown in FIG. 1B and the stereographic projection method shown in FIG. 1C are so-called fish-eye optical system projection methods, which are methods for obtaining a distorted image centered on the optical axis of the fish-eye optical system. ..
  • the fisheye projection method of the fisheye optical system includes a normal projection method and an equidistant angle projection method, but in the following, the stereographic projection method and the equidistant projection method in which the compression effect of the peripheral image is small. Will be described in detail using the above two methods, and the description of other projection methods will be omitted.
  • the equidistant projection method is a projection method in which the image height is formed at a position of f ⁇ ⁇ with respect to the incident angle, and the incident angle and the image height are in a proportional relationship. Therefore, the equidistant projection method is an effective projection method for positioning and the like because the peripheral image is not compressed.
  • the stereographic projection method Next, the stereographic projection method will be described. As shown in FIG. 1C, in the stereographic projection method, an image is formed at a position where the image height is 2 f ⁇ tan ( ⁇ / 2) with respect to the incident angle.
  • the projection method of the fish-eye optical system is the only method in which the peripheral image is enlarged, and when converting to the central projection, the image quality of the peripheral image can be ensured most. For this reason, the stereographic projection method is an effective projection method for moving image shooting because it can secure the highest image quality in the periphery.
  • FIG. 2 is a diagram schematically showing an outline of a conversion method for converting an image of a fisheye optical system into a central projection method. Note that FIG. 2 describes a case of switching from the equidistant projection method to the central projection method in order to simplify the equation.
  • the focal length f c and the image height h c of the central projection method are given by the following equation (5). From the above, the coordinates (x a, y a) coordinates (x b, y b) in the case of revolve around projection scheme When the focal length f c and the focal length f e is a known value, converted The latter coordinates can be calculated by the following equations (6-1) and (6-2).
  • 3A to 3C are diagrams schematically illustrating an outline of a method for cutting out a rotated image.
  • the rectangular region indicates the image sensor IS.
  • the image sensor IS has a size with an aspect ratio of 4: 3 (17.3 mm ⁇ 13 mm). Further, a region having a circular diameter with respect to the image sensor IS indicates an image circle IC.
  • the subject image is imaged so that the diagonal angle of view is 180 °.
  • the horizontal angle of view of the image sensor IS is about 144 °
  • the vertical angle of view is about 108 °.
  • the diagonal angle of view which is the maximum angle of view, is 108 ° or less in the vertical angle of view.
  • the focal length is determined, and the angle of view in the rotation direction with the optical axis of the fisheye optical system of the image pickup device as the rotation axis is 0 ° to 360 °, and the angle of view is constant no matter how it is rotated. be able to.
  • the diagonal angle of view is 107 ° as the value obtained from the image sensor IS when the focal length of the central projection optical system is 8 mm.
  • the region TA included in the image pickup surface of the image sensor IS and indicating a predetermined region having point symmetry with respect to the center of the image indicates a region cut out by the central projection method.
  • the coordinates converted to the central projection method after rotation can be calculated by the following equations (7-1) and (7-2), where ⁇ r is the amount of rotation.
  • the ⁇ r when rotating by ⁇ 45 ° is as follows.
  • FIG. 4A is a diagram showing a state in which a subject image is formed on a square image sensor so that the diagonal is 213 °.
  • FIG. 4B is a diagram showing a state after the projective transformation from the state of FIG. 4A.
  • the square of the imaging element (sensor) IS S is minimum angle of view are the same, and the most efficient configuration in horizontal and vertical.
  • the imaging device IS S square in the case where the horizontal view angle and vertical angle has been converted to about 150 °, and the in the center projection method, when the 35mm translated at the widest angle, the focal length 6mm image equivalent Can be obtained. Therefore, as shown in FIGS. 4A and 4B, the image pickup element IS S square, even if the angle is the angle theta r inclined from the horizontal h a, is corrected distortion fisheye optical system, An image P1 that is kept horizontal can be obtained.
  • the image pickup element IS S square, even if the inclination angle of the rotation direction of the rotation axis of the optical axis of the fisheye optical system the imaging device is provided is rotated in the range of 0 ° ⁇ 360 °, the imaging surface Since it is a region included in the image P1, it is possible to obtain an image P1 that is kept horizontal.
  • FIG. 5 is a schematic configuration diagram of the image pickup apparatus according to the first embodiment.
  • the image pickup device 1 shown in FIG. 5 is a digital still camera capable of recording a moving image, and is a so-called action cam.
  • the imaging device 1 includes a main body 10, a fisheye optical system 11 arranged in the main body 10, and an operation unit 101 instructing the start of recording.
  • the imaging device 1 starts moving image shooting when the operation unit 101 is pressed by the user, and stops moving image shooting when the operation unit 101 is pressed again.
  • the image pickup device 1 can obtain an image whose posture is fixed to the posture at the start of recording even when the posture of the image pickup device 1 is significantly changed, so that the appearance is deteriorated due to the rotation of the image. Can be prevented.
  • FIG. 6 is a block diagram showing a functional configuration of the image pickup apparatus 1.
  • the image pickup device 1 includes a main body portion 10, a fisheye optical system 11, an image sensor 12, an image reading unit 13, a posture detection unit 14, a setting unit 15, and a cutting unit 16. , A conversion unit 17, an image processing unit 18, a recording unit 19, a display unit 20, and a control unit 21.
  • the main body 10 has a housing shape and houses each part inside.
  • the main body 10 has a waterproof function, and each gap is sealed.
  • the fisheye optical system 11 forms a subject image of the subject on the image pickup surface of the image pickup element 12 by the fisheye projection method. Specifically, the fisheye optical system 11 forms a subject image on the image pickup surface of the image pickup device 112 by a stereographic projection method or an equidistant projection method.
  • the fisheye optical system 11 is configured by using one or more lenses, an aperture, a shutter, and the like.
  • the stereographic projection method is used in order to give priority to the image quality at the time of recording by moving image shooting, but the present invention is not limited to this, and various projection methods described above may be used. it can.
  • the image pickup device 12 has an image pickup surface, and is a first photographed image based on the first photographed image data converted into a video signal by receiving a subject image (fisheye image) imaged by the fisheye optical system 11. (Hereinafter, simply referred to as [first captured image]) is generated.
  • the image sensor 12 generates a first captured image according to a predetermined frame rate under the control of the control unit 21.
  • the image sensor 12 is configured by using a CCD (Charge Coupled Device) sensor, a CMOS (Complementary Metal Oxide Semiconductor) sensor, or the like. Further, in the first embodiment, the image pickup device 12 has a square shape of the image pickup surface.
  • the shape of the image pickup surface of the image pickup device 12 will be described as a square, but the shape is not limited to this, and is appropriately determined by, for example, the sensor size of the image pickup device 12 and the focal length of the fisheye optical system 11. It can be changed, for example, the shape of the image pickup surface may be rectangular, or the area or shape of the image pickup surface may be changed under the control of the control unit 21 so that multi-aspect can be performed according to the shooting mode. May be good.
  • the image reading unit 13 sequentially reads out the first captured image generated by the image sensor 12 and outputs it to the cutting unit 16.
  • the image reading unit 13 is configured by using a column circuit, a noise removing circuit, an A / D conversion circuit, a vertical scanning circuit, a horizontal scanning circuit, and the like.
  • the posture detection unit 14 detects the inclination angle in the rotation direction with the optical axis L1 of the fisheye optical system 11 as the rotation axis, and outputs the detection result to the setting unit 15 and the control unit 21.
  • the posture detection unit 14 is configured by using a gyro sensor, an acceleration sensor, or the like.
  • the setting unit 15 is included in the image pickup surface of the image sensor 12, and is a predetermined area based on a predetermined area having point symmetry centered on the image and an inclination angle detected by the posture detection unit 14. Is rotated to set the image cutout area to be cut out by the cutout unit 16.
  • the image cropping region is a region included in the image pickup surface of the image pickup device 12 when the tilt angle with respect to a predetermined region is rotated in the range of 0 ° to 360 °.
  • the predetermined region is a region TA that is included in the image pickup surface of the image pickup device 12 and indicates a predetermined region that is point-symmetrical with respect to the center of the image (see FIGS. 3A to 3C).
  • the cutout unit 16 generates a second shot image by cutting out the image cutout area set by the setting unit 15 from the first shot image, and outputs the second shot image to the conversion unit 17.
  • the conversion unit 17 generates a third captured image obtained by converting the second captured image generated by the cutout unit 16 into a central projection image based on the inclination angle detected by the posture detecting unit 14, and the generated third image is generated. Is output to the image processing unit 18.
  • the conversion unit 17 is a focal length and orientation detection unit in which the diagonal angle of view is narrower than the smaller of the horizontal angle of view and the vertical angle of view corresponding to the image pickup surface of the image sensor 12. Based on the tilt angle detected by 14, a third captured image obtained by converting the second captured image into a central projection image is generated.
  • the image processing unit 18 performs various image processing on the third captured image input from the conversion unit 17 and outputs it to the recording unit 19 or the display unit 20.
  • various image processes include demosaiking processing, white balance processing, noise reduction processing, compression processing, and the like.
  • the compression process when the third photographed image is a still image, for example, it is in JPEG (Joint Photographic Experts Group) format, and when the third photographed image is a moving image, it is in, for example, mpeg4 format.
  • the image processing unit 18, setting unit 15, cutting unit 16, and conversion unit 17 include, for example, a memory and hardware such as an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), and a GPU (Graphics Processing Unit). It is configured using a processor having.
  • the recording unit 19 is configured by using a volatile memory, a non-volatile memory, and the like, and records a third captured image, a still image, and various programs executed by the image pickup device 1 input from the image processing unit 18.
  • the recording unit 19 may be configured by using a memory card that can be attached to and detached from the main body 10.
  • the display unit 20 displays a display image based on the third captured image input from the image processing unit 18.
  • the display unit 20 is configured by using a liquid crystal, an organic EL (Electro Luminescence), or the like.
  • the display unit 20 displays various information related to the image pickup apparatus 1.
  • the control unit 21 is configured by using a memory and a processor having hardware such as a CPU (Central Processing Unit).
  • the control unit 21 controls each unit constituting the image pickup apparatus 1.
  • FIG. 7 is a flowchart showing an outline of the process executed by the image pickup apparatus 1.
  • the image pickup apparatus 1 executes a live view display process of displaying the live view image as a display image on the display unit 20 (step S1). After step S1, the image pickup apparatus 1 shifts to step S2 described later.
  • FIG. 8 is a flowchart showing an outline of the live view display process of FIG. 7.
  • the image sensor 12 generates a first captured image obtained by converting the subject image imaged by the fisheye optical system 11 into a video signal (step S10).
  • the image reading unit 13 reads the first captured image from the image sensor 12.
  • the posture detection unit 14 detects the inclination angle in the rotation direction with the optical axis L1 of the fisheye optical system 11 as the rotation axis (step S11).
  • the setting unit 15 is included in the image pickup surface of the image pickup device 12, and is based on a predetermined region having point symmetry centered on the image and an inclination angle detected by the posture detection unit 14. An image cropping region to be cropped by rotating a predetermined region is set (step S12).
  • the cutting unit 16 generates a second captured image by cutting out an image clipping region set by the setting unit 15 with respect to the first captured image read from the image sensor 12 by the image reading unit 13. (Step S13).
  • the conversion unit 17 After that, the conversion unit 17 generates a third captured image obtained by converting the second captured image generated by the cutout unit 16 into a central projection image (step S14).
  • control unit 21 causes the image processing unit 18 to display the display image obtained by performing the image processing on the third captured image generated by the conversion unit 17 on the display unit 20 (step S15).
  • the image pickup apparatus 1 returns to the main routine of FIG. 7 and proceeds to step S2.
  • step S2 When the operation unit 101 is pressed in step S2 (step S2: Yes), the image pickup apparatus 1 shifts to step S3 described later. On the other hand, when the operation unit 101 is not pressed (step S2: No), the image pickup apparatus 1 shifts to step S5 described later.
  • step S3 the image pickup apparatus 1 executes a moving image shooting process for sequentially recording the images sequentially shot in the recording unit 19 in chronological order. After step S3, the image pickup apparatus 1 shifts to step S4 described later.
  • FIG. 9 is a flowchart showing an outline of the moving image shooting process of FIG. 7.
  • the posture detection unit 14 detects the inclination angle in the rotation direction about the optical axis L1 of the fisheye optical system 11 at the time when the operation unit 101 is pressed (step S31). ..
  • the operation unit 101 is pressed (immediately after)
  • the inclination angle at the time of pressing is detected and stored in the memory (recording unit 19).
  • step S4 No in FIG. 7
  • the inclination angle when generating the first shot image is generated. Is detected.
  • the image sensor 12 generates a first captured image obtained by converting the subject image imaged by the fisheye optical system 11 into a video signal (step S32).
  • the image reading unit 13 reads the first captured image from the image sensor 12.
  • the setting unit 15 includes a predetermined area included in the image pickup surface of the image sensor 12 and having point symmetry with respect to the center of the image, an inclination angle detected by the posture detection unit 14, and a memory (recording unit). Based on the tilt angle at the time when the operation unit 101 is pressed, which is stored in 19), an image cutout area to be cut out by rotating a predetermined area is set (step S33).
  • the inclination angle at the time when the operation unit 101 is pressed, which is stored in the memory (recording unit 19) is used as a reference. That is, the setting unit 15 subtracts the tilt angle (previous tilt angle) stored in the memory (recording unit 19) from the tilt angle (latest tilt angle) detected when generating the first captured image. Treated as a new tilt angle.
  • the cutting unit 16 generates a second captured image by cutting out an image clipping region set by the setting unit 15 with respect to the first captured image read from the image sensor 12 by the image reading unit 13. (Step S34).
  • the conversion unit 17 After that, the conversion unit 17 generates a third captured image obtained by converting the second captured image generated by the cutout unit 16 into a central projection image (step S35).
  • control unit 21 records the display image in which the image processing unit 18 has subjected the image processing to the third captured image generated by the conversion unit 17 in the recording unit 19 and displays it on the display unit 20 (. Step S36). After step S36, the image pickup apparatus 1 returns to the main routine of FIG. 7 and proceeds to step S4.
  • step S4 When the operation unit 101 is pressed in step S4 (step S4: Yes), the image pickup apparatus 1 shifts to step S5 described later. On the other hand, when the operation unit 101 is not pressed (step S4: No), the image pickup apparatus 1 returns to the above-mentioned step S3.
  • step S5 when a power switch (not shown) is operated and an end signal for ending shooting is input (step S5: Yes), the imaging device 1 ends this process. On the other hand, when the power switch (not shown) is not operated and the end signal for ending the shooting is not input (step S5: No), the image pickup apparatus 1 returns to the above-mentioned step S1.
  • the setting unit 15 is included in the image pickup surface of the image pickup element 12, and is detected by the posture detection unit 14 and a predetermined region having point symmetry centered on the image.
  • An image cutout area is set by rotating a predetermined area based on the inclination angle in the rotation direction with the optical axis of the fisheye optical system 11 as the rotation axis, and the cutout portion 16 refers to the first captured image.
  • a second captured image is generated by cutting out the image cropping area, and the conversion unit 17 generates a third captured image obtained by converting the second captured image into a central projection image, thereby starting recording of moving image shooting.
  • the horizontal angle of view and the vertical angle of view become equal, so that the utilization efficiency of the image pickup surface can be maximized.
  • the periphery of the subject image is enlarged, so that the enlargement ratio of the periphery of the subject image is reduced when converted to the central projection method. Therefore, it is possible to prevent deterioration of the peripheral image quality of the subject image.
  • the main body 10 and the fish eye optical system 11 are integrally formed, but for example, the fish eye optical system 11 may be detachable from the main body 10.
  • the display unit 20 displays a display image based on the third captured image, but the display unit 20 is not limited to this, and at least the first captured image, the second captured image, is displayed on the display unit 20. Either one of the captured image of the above and the third captured image may be displayed.
  • the control unit 21 is an image selected according to a selection signal for selecting any one of the first captured image, the second captured image, and the third captured image received by the operation unit 101. Is displayed on the display unit 20. This makes it possible to display an image in a state desired by the user.
  • FIG. 10 is a diagram showing a schematic configuration of an imaging system according to a second embodiment.
  • the imaging system 100 shown in FIG. 10 is an industrial endoscope system used for inspection of pipes and the like.
  • a camera head arranged at the tip of the cable is inserted into the pipe as described later, and the inner wall at the back of the pipe is observed to inspect the position and degree of damage to the pipe. ..
  • the conventional industrial endoscope system cannot control the vertical position of the camera head body at the tip of the cable, so that there is a problem that the vertical direction of the observation image captured by the camera head cannot be determined. is there.
  • the image pickup system 100 includes an image pickup device 1A that functions as a camera head, a terminal device 2A for operating the image pickup device 1A, a cable 3A that connects the image pickup device 1A and the terminal device 2A in a bidirectional manner, and a cable.
  • a reel 4A for holding the 3A so that it can be wound up is provided.
  • the image pickup device 1A includes a lens unit 10A and a main body 101A.
  • the image pickup apparatus 1A is configured so that the lens unit 10A can be bent vertically and horizontally with respect to the main body 101A.
  • the terminal device 2A includes a display unit 31, an operation lever 32, and a recording switch 33.
  • the display unit 31 displays the display image P10 captured and generated by the image pickup apparatus 1A in real time.
  • the operation lever 32 is configured by using, for example, a joystick or the like, and receives an input of an operation signal for operating the direction of the optical axis L1 of the lens unit 10A of the image pickup apparatus 1A.
  • the operation lever 32 is an operation signal that bends the optical axis L1 of the lens unit 10A so that the field of view of the display image displayed on the display unit 31 moves upward when the user tilts the lever unit 321 upward. Accepts input.
  • the lever portion 321 is configured to be tiltable 360 ° and receives an input of an operation signal for moving the field of view to the optical axis L1 (observation direction) of the lens unit 10A in the tilted direction by the user.
  • the recording switch 33 receives an input of an instruction signal instructing still image shooting.
  • the operation lever 32 functions as an operation unit.
  • the reel 4A is held so that the cable 3A can be wound up.
  • the reel 4A moves the image pickup apparatus 1A in the pipe by appropriately sending out the cable 3A according to the user operation.
  • the imaging system 100 configured in this way, when the user confirms the piping on the display image P10 in the piping displayed by the display unit 31, when a scratch is found, the user operates the operation lever 32. Then, the optical axis L1 of the lens unit 10A is changed. After that, the image pickup system 100 is operated by the user using the operation lever 32 so that the scratch is at the center of the observation field of view. Then, when the user operates the recording switch 33, the imaging system 100 records the problem portion including scratches on a recording medium or the like by taking a still image.
  • FIG. 11 is a block diagram showing a functional configuration of the imaging system 100.
  • the imaging system 100 shown in FIG. 11 includes an imaging device 1A, a terminal device 2A, and a cable 3A.
  • the image pickup apparatus 1A includes a lens unit 10A and a main body 101A.
  • the lens unit 10A includes a fish-eye optical system 11A and an image sensor 12.
  • the lens unit 10A is configured to be bendable vertically and horizontally with respect to the main body 101A.
  • the fisheye optical system 11A is configured by using one or more lenses, an aperture, a shutter, and the like.
  • an equidistant projection method advantageous for positioning or the like is used for the purpose of inspection will be described, but the present invention is not limited to this, and various projection methods described above may be used. it can.
  • the main body 101A includes a video reading unit 13, a posture detection unit 14A, a setting unit 15, a cutting unit 16, a conversion unit 17, a first communication unit 22, an optical system drive unit 23, and a first unit. It includes a control unit 24.
  • the attitude detection unit 14A detects the accelerations in the horizontal direction and the horizontal direction orthogonal to the gravity vector of the image pickup device 1A, and also detects the rotation of the optical axis L1 of the fisheye optical system 11 around the optical axis. Specifically, the posture detection unit 14A detects the accelerations of the image pickup device 1A in the gravitational direction and the horizontal direction, and detects the rotation of the optical axis L1 of the fisheye optical system 11 around the optical axis.
  • the attitude detection unit 14A is configured by using a three-axis acceleration sensor, a gyro sensor that detects the rotation of the optical axis L1 of the fisheye optical system 11 around the optical axis, and the like.
  • the attitude detection unit 14A detects the change in rotation not only by the acceleration sensor but also by the gyro sensor, and when the reliability of the change in gravity due to acceleration is low, the value specified from the gravity at the time of the gyro sensor. May be detected as the attitude information of the imaging device 1A.
  • the first communication unit 22 transmits various information input from the terminal device 2A via the cable 3A to the first control unit 24, and transmits various information input from the first control unit 24 to the terminal. It transmits to the device 2A.
  • the first communication unit 22 transmits the third captured image (similar to the first embodiment) converted by the conversion unit 17 to the terminal device 2A.
  • the first communication unit 22 is configured by using a predetermined communication module.
  • the optical system drive unit 23 bends the optical axis L1 of the lens unit 10A in a direction that allows it to move up, down, left, and right in response to an operation signal input from the terminal device 2A.
  • the optical system drive unit 23 is composed of, for example, a plurality of curved pieces, a motor, or the like.
  • the first control unit 24 controls each unit of the image pickup apparatus 1A. In addition, the first control unit 24 performs control according to various operation signals input from the terminal device 2A via the first communication unit 22. For example, the first control unit 24 bends the optical axis L1 of the lens unit 10A in the direction corresponding to the operation signal by driving the optical system drive unit 23 in response to the operation signal input from the terminal device 2A. ..
  • the first control unit 24 is configured by using a memory and a processor having hardware such as an ASIC, an FPGA, and a CPU.
  • the terminal device 2A includes a display unit 31, an operation lever 32, a recording switch 33, a second communication unit 34, a video output unit 35, a recording unit 36, an operation instruction generation unit 37, and a second control.
  • a unit 38 is provided.
  • the second communication unit 34 transmits the operation signal input from the operation instruction generation unit 37 and various information input from the second control unit 38 to the first communication unit 22 via the cable 3A. .. Further, the second communication unit 34 outputs various information transmitted from the first communication unit 22, for example, a third captured image to the video output unit 35 under the control of the second control unit 38. ..
  • the second communication unit 34 is configured by using a predetermined communication module.
  • the video output unit 35 performs various image processing on the third captured image from the image pickup device 1 input via the second communication unit 34 and outputs the image to the recording unit 36 or the display unit 31. ..
  • various image processes include demosaiking processing, white balance processing, noise reduction processing, compression processing, and the like.
  • the display image displayed by the display unit 31 is horizontally corrected so that the weight direction is downward in the image pickup apparatus 1, so that the top and bottom of the image match the display, so that the position of the scratch is easy. Can be specified in.
  • the video output unit 35 is configured by using, for example, a memory and a processor having hardware such as a GPU or FPGA.
  • the recording unit 36 is configured by using a volatile memory, a non-volatile memory, and the like, and records a third captured image, a still image, and various programs executed by the imaging device 1 input from the video output unit 35. Further, the recording unit 36 records the image input from the video output unit 35 when an instruction signal instructing recording is input from the recording switch 33 under the control of the second control unit 38.
  • the recording unit 36 may be configured by using a memory card that can be attached to and detached from the terminal device 2A. Further, the recording unit 36 records a third captured image transmitted from the first communication unit 22 and output from the second communication unit 34 under the control of the second control unit 38. May be good.
  • the operation instruction generation unit 37 generates an operation signal instructing the bending direction of the optical axis L1 of the imaging device 1 in response to the operation of the operation lever 32, and outputs this operation signal to the second communication unit 34.
  • the operation instruction generation unit 37 detects, for example, the inclination angle and bending direction of the lever unit 321 of the operation lever 32, and the posture detection unit 14 input via the first communication unit 22 and the cable 3A. Based on the detected detection result, an operation signal in which the optical axis L1 of the image pickup apparatus 1 bends in the direction in which the operation direction is rotated or reversed is generated, and this operation signal is output to the second communication unit 34.
  • the second control unit 38 controls each unit of the terminal device 2A.
  • the second control unit 38 is configured by using a memory and a processor having hardware such as a CPU.
  • FIG. 12A is a diagram showing a situation in which the optical axis L1 of the image pickup apparatus 1A is oriented in the horizontal direction in the pipe.
  • FIG. 12B is a diagram showing a situation in which the optical axis L1 of the image pickup apparatus 1A is oriented in an oblique direction in the pipe.
  • FIG. 12C is a diagram showing a situation in which the optical axis L1 of the image pickup apparatus 1A is oriented in the direction of gravity in the pipe.
  • the projection vector of the gravity vector with respect to the imaging surface R100 is The display unit 31 is rotated so that the indicated direction is below the display image displayed by the display unit 31.
  • the conversion unit 17 corrects the difference between the horizontal direction orthogonal to the gravity vector detected by the attitude detection unit 14A and the inclination angle in the rotation direction with the optical axis L1 of the fisheye optical system 11A as the rotation axis. This converts the second captured image into a third captured image which is a central projection image.
  • the second control unit 38 displays the third captured image received from the image pickup device 1A via the second communication unit 34 in the direction indicated by the projection vector of the gravity vector with respect to the image pickup surface R100. Is rotated so as to be below the display image to be displayed on the display unit 31.
  • the conversion unit 17 corrects the rotation around the optical axis L1 from the time when the optical axis L1 of the image pickup apparatus 1A is switched in the gravity direction so as to maintain the horizontal position immediately before the front is switched in the gravity direction. Generate a captured image of. Specifically, the conversion unit 17 corrects the rotation around the optical axis L1 based on the detection result of the attitude detection unit 14A so as to maintain the horizontal position immediately before the front switches to the gravitational direction. To generate.
  • the second control unit 38 causes the display unit 31 to display the third captured image received from the image pickup apparatus 1A via the second communication unit 34.
  • the image pickup system 100 can acquire an image without rotation even when the field of view region of the image pickup apparatus 1A is switched in the vertical direction.
  • the second control unit 38 may superimpose information indicating the direction and direction of the optical axis L1 of the imaging device 1 on the display image displayed by the display unit 31 and display the information on the display unit 31. As a result, the user can easily recognize the position and orientation of the image pickup apparatus 1A in the pipe.
  • the vertical direction of the display image displayed by the display unit 31 is always the vertical direction even when it is difficult to determine the vertical direction of the observation field of view of the image pickup apparatus 1A by piping or the like. Since it is displayed in a held state, the visibility of the inspection can be improved.
  • the operability at the time of inspection can be improved.
  • the image height of the subject image and the angle of the fish-eye optical system 11A with respect to the optical axis L1 are in a proportional relationship, and the measurement by an image is performed. The calculation can be simplified when doing so.
  • the conversion unit corrects the difference between the horizontal direction detected by the attitude detection unit 14A and the inclination angle in the rotation direction with the optical axis L1 of the fisheye optical system 11A as the rotation axis. Since the second captured image is converted into the third captured image which is the central projection image including the above, it is possible to always display the displayed image in which the top and bottom of the displayed image match.
  • the user since the display image and the posture information corrected for the inclination of the image pickup device 1A are transmitted to the terminal device 2A, the user can operate the image pickup device 1A while checking the stable display image remotely. It can be carried out.
  • the operation instruction generation unit 37 generates an operation signal in which the instruction signal of the operation lever 32 is rotated in the imaging direction in combination with the rotation of the display image displayed by the display unit 31. Since the image pickup direction of the image pickup apparatus 1A rotates in the same direction as the operation direction instruction, the user can easily perform the operation.
  • the second embodiment is an industrial endoscope system, it may be applied to a medical endoscope system.
  • FIG. 13 is a block diagram showing a functional configuration of the imaging system according to the third embodiment.
  • the image pickup system 100B shown in FIG. 13 includes an in-vehicle camera such as an airplane or a car, an image pickup device 1B installed at a predetermined position, and a terminal device 2B operated by wireless communication with the image pickup device 1B.
  • the image pickup device 1B includes a fisheye optical system 11, an image pickup element 12, an attitude detection unit 14B, a setting unit 15, a cutting unit 16, a conversion unit 17, a first communication unit 22B, and a first control.
  • a unit 24 is provided.
  • the posture detection unit 14B detects the accelerations of the image pickup device 1B in the gravitational direction and the horizontal direction, and also detects the rotation of the optical axis L1 of the fisheye optical system 11 around the optical axis.
  • the attitude detection unit 14B is configured by using a three-axis acceleration sensor, a gyro sensor that detects the rotation of the optical axis L1 of the fisheye optical system 11 around the optical axis, and the like.
  • the gyro sensor detects the rotation change as well as the acceleration sensor to detect the gravity vector, and the gravity change due to the acceleration. If the reliability of the gyro sensor is low, the amount of rotation from the time point of the gyro sensor may be detected as the attitude information of the image pickup apparatus 1B.
  • the first communication unit 22B transmits various information to the terminal device 2B according to a predetermined wireless communication standard under the control of the first control unit 24.
  • the first communication unit 22B is configured by using a wireless communication module.
  • the terminal device 2B includes a display unit 31, a second communication unit 34B, a video output unit 35, a recording unit 36, a second control unit 38, and a posture image generation unit 39.
  • the posture image generation unit 39 generates a posture image based on the posture information of the imaging device 1B input from the first communication unit 22B, and outputs this posture image to the video output unit 35.
  • the video output unit 35 generates an image in which the posture image input from the posture image generation unit 39 is superimposed on the third captured image from the image pickup device 1B, and outputs the image to the display unit 31 or the recording unit 36. ..
  • the imaging system 100B configured in this way causes the display unit 31 to display a display image in which the posture image is superimposed on the third captured image.
  • the image pickup system 100B has an airplane shape as a posture image, and the shape P101 of the airplane tilted according to the posture of the image pickup device 1B is a third captured image P100. Is superimposed on the display unit 31 and displayed on the display unit 31.
  • the imaging system 100B may superimpose the shape P101 of the airplane, which is a posture image, in a semi-transparent manner, or may superimpose it by a dotted line.
  • the display unit 31 displays the moving body on which the image pickup device 1B is mounted, regardless of how the moving body moves (for example, when the moving body is an airplane, it flies by cutting).
  • the displayed image does not rotate, and the posture of the moving body can be grasped intuitively.
  • the user can prevent image sickness and deterioration of appearance, so that operability like a game is provided. be able to.
  • the display image does not rotate, the visibility is not impaired and the attitude of the aircraft can be grasped, so that the operability can be improved even when remote control is performed.
  • FIG. 15 is a block diagram showing a functional configuration of the imaging system according to the fourth embodiment.
  • the image pickup system 100C shown in FIG. 15 includes an image pickup device 1C having an image pickup function and a communication function, and a terminal device 2C that functions as a tablet terminal such as a smartphone.
  • the image pickup device 1C and the terminal device 2C communicate in both directions according to a predetermined wireless communication standard.
  • the predetermined wireless communication standards are, for example, Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the imaging system 100C transmits the first captured image generated by the imaging device 1C to the terminal device 2C, converts the first captured image into a third captured image in the terminal device 2C, and displays the image.
  • the imaging device 1C omits the setting unit 15, the cutting unit 16 and the conversion unit 17 from the configuration of the imaging device 1B according to the third embodiment described above, and the other configurations are the same.
  • the terminal device 2C includes a setting unit 15, a cutting unit 16, and a conversion unit 17 in addition to the configuration of the terminal device 2B according to the second embodiment described above. That is, each of the setting unit 15, the cutting unit 16, and the conversion unit 17 is executed by reading the program in the application recorded in the recording unit 36.
  • the second communication unit 34 functions as an acquisition unit.
  • the terminal device 2C functions as an image processing device.
  • the terminal device 2C since the terminal device 2C has a main function, it is possible to provide a relatively inexpensive one.
  • the above-mentioned "part” can be read as “means” or "circuit".
  • the control unit can be read as a control means or a control circuit.
  • the program to be executed by any one of the imaging apparatus, imaging system and image processing apparatus according to the first to fourth embodiments is a CD-ROM or a flexible disk (file data in an installable format or an executable format). It is provided by being recorded on a computer-readable recording medium such as an FD), CD-R, DVD (Digital Versatile Disk), USB medium, or flash memory.
  • the program to be executed by any one of the imaging device, the imaging system and the image processing device according to the first to fourth embodiments is stored on a computer connected to a network such as the Internet and downloaded via the network. May be configured to provide by. Further, a program to be executed by any one of the imaging device, the imaging system and the image processing device according to the present disclosure may be provided or distributed via a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

回転補正量に制限がなく、３６０°補正が可能であり、かつ、光軸の回転方向における回転角が大きい場合であっても、画角が変化することを防止することができる撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラムを提供する。　撮像装置１は、魚眼光学系１１の光軸Ｌ１を回転軸とする回転方向の傾斜角を検出する姿勢検出部２４と、撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、傾斜角と、に基づいて、所定の領域を回転させて切り出す画像切り出し領域を設定する設定部１５と、撮像素子１２が生成した第１の撮影画像に対して、画像切り出し領域を切り出すことによって第２の撮影画像を生成する切り出し部１６と、第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する変換部１７と、を備える。

Description

撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム
　本開示は、魚眼光学系の光軸周りの姿勢変化による画像の回転を補正する撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラムに関する。
　近年、撮像装置においては、手ぶれ補正の高機能化に伴い、ヨー方向およびピッチ方向の回転により生じるぶれを補正するだけでなく、光学系の光軸周りの回転に伴う回転ぶれの補正を行っている。このような撮像装置では、水平を検出し、常に撮影画角が水平となるように回転補正を行う技術が知られている（例えば特許文献１参照）。この技術によれば、加速度センサが検出した光軸に垂直な第１方向の第１重力加速度成分の絶対値と光軸と第１方向に垂直な第２重力加速度成分の絶対値との大小関係に基づいて、撮像素子を含む撮像装置の重力方向と垂直な水平面に対する光軸周りの傾き角度を算出し、この傾き角度に基づく傾き補正処理のため、撮像素子をレンズの光軸に垂直な平面上で回転を含めた移動が可能な可動部の移動制御を行う。
　また、別の回転補正としては、加速度センサが検出した検出結果に基づいて、撮像素子によって撮影された画像を電子的に回転させることによって補正する電子補正方法が知られている。
特許第５４３９７３３号公報
　しかしながら、上述した特許文献１では、撮像素子を可動部によって物理的に回転させることで、回転補正を行っているが、回転できる回転角に制限があり、決められた回転角以上に補正を行うことができないという問題点があった。
　また、上述した電子補正方法では、撮像素子の回転角が大きくなるほど、画像周辺部の欠損が大きくなるうえ、欠損した領域をトリミング処理で切り取ることによって欠損領域を見えなくすることができるが、回転角が大きいほど回転のためのトリミング領域が必要となることで、画角が小さくなり、広角性が損なわれることによって、視認性が低下するという問題点があった。
　本開示は、上記に鑑みてなされたものであって、回転補正量に制限がなく、３６０°補正が可能であり、かつ、光軸の回転方向における回転角が大きい場合であっても、画角が変化することを防止することができる撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定する設定部と、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成する切り出し部と、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する変換部と、を備える。
　また、本開示に係る撮像装置は、上記開示において、前記画像切り出し領域は、前記所定の領域に対する前記傾斜角が０°～３６０°の範囲で回転させた場合に、前記撮像面内に内包する領域である。
　また、本開示に係る撮像装置は、上記開示において、少なくとも前記第１の撮影画像、前記第２の撮影画像および前記第３の撮影画像の１つを表示可能な第１の表示部と、少なくとも前記第１の撮影画像、前記第２の撮影画像および前記第３の撮影画像のいずれか１つを選択する指示信号の入力を受け付ける操作部と、前記指示信号に応じて選択された画像を前記第１の表示部に表示させる第１の制御部と、をさらに備える。
　また、本開示に係る撮像装置は、上記開示において、前記変換部は、前記傾斜角に基づいて、前記第３の撮影画像を中心射影方式の画像に変換する。
　また、本開示に係る撮像装置は、上記開示において、前記変換部は、前記撮像面に対応する水平画角および垂直画角のうちの小さい方の画角よりも対角の画角が狭くなる焦点距離に基づいて、前記第２の撮影画像を中心射影像に変換した前記第３の撮影画像を生成する。
　また、本開示に係る撮像装置は、上記開示において、前記撮像面は、形状が正方形をなす。
　また、本開示に係る撮像装置は、上記開示において、前記姿勢検出部は、重力ベクトルと直交する水平方向をさらに検出し、前記変換部は、前記水平方向と前記傾斜角との差を補正することによって前記第３の撮影画像を中心射影方式の画像に変換する。
　また、本開示に係る撮像装置は、上記開示において、前記第３の撮影画像を記録する記録部をさらに備える。
　また、本開示に係る撮像装置は、上記開示において、端末装置と双方向に通信可能であり、該端末装置に前記第３の撮影画像および前記傾斜角を送信する第１の通信部をさらに備える。
　また、本開示に係る撮像システムは、上記開示の撮像装置と、記端末装置と、を備え、前記端末装置は、前記魚眼光学系の光軸を含む撮像方向を指示する指示信号の入力を受け付ける操作部と、前記傾斜角に基づいて、前記撮像方向を回転した操作信号を生成する操作信号生成部と、前記操作信号を前記撮像装置へ送信する第２の通信部と、を備え、前記撮像装置は、前記指示信号に基づいて、前記魚眼光学系の光軸を含む撮像方向を変更する光学系駆動部をさらに備える。
　また、本開示に係る撮像システムは、上記開示において、前記端末装置は、前記第３の撮影画像を表示可能な第２の表示部と、前記撮像装置から送信された前記傾斜角に基づいて、前記撮像装置の姿勢を示す姿勢画像を生成する姿勢画像生成部と、前記第３の撮影画像に前記姿勢画像を重畳して表示する第２の表示部に表示させる第２の制御部と、をさらに備える。
　また、本開示に係る画像処理装置は、被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得する取得部と、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定する設定部と、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成する切り出し部と、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する変換部と、を備える。
　また、本開示に係る撮像方法は、撮像装置が実行する撮像方法であって、被写体を魚眼光学系によって撮像面に対して魚眼射影像方式による被写体像を結像し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力し、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出し、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定し、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成し、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する。
　また、本開示に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得し、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定し、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成し、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する。
　また、本開示に係るプログラムは、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える撮像装置に実行させるプログラムであって、前記撮像装置に、被写体を魚眼光学系によって撮像面に対して魚眼射影像方式による被写体像を結像させ、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力させ、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出させ、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定させ、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成させ、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成させる。
　また、本開示に係るプログラムは、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置に実行させるプログラムであって、前記画像処理装置に、被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得させ、前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定させ、前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成させ、前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成させる。
　本開示によれば、回転補正量に制限がなく、３６０°補正が可能であり、かつ、光軸の回転方向における回転角が大きい場合であっても、画角が変化することを防止することができるという効果を奏する。
図１Ａは、光学系の射影方式における中心射影方式の概要を模式的に示す図である。 図１Ｂは、光学系の射影方式における等距離射影方式の概要を模式的に示す図である。 図１Ｃは、光学系の射影方式における立体射影方式の概要を模式的に示す図である。 図２は、魚眼光学系の像を中心射影方式に変換する変換方法の概要を模式的に示す図である。 図３Ａは、回転した画像の切り出し方法の概要を模式的に説明する図である。 図３Ｂは、回転した画像の切り出し方法の概要を模式的に説明する図である。 図３Ｃは、回転した画像の切り出し方法の概要を模式的に説明する図である。 図４Ａは、正方形の撮像素子に対角が２１３°となるように被写体像が結像した状態を示す図である。 図４Ｂは、図４Ａの状態から射影変換した後の状態を示す図である。 図５は、実施の形態１に係る撮像装置の概略構成図である。 図６は、実施の形態１に係る撮像装置の機能構成を示すブロック図である。 図７は、実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。 図８は、図７のライブビュー表示処理の概要を示すフローチャートである。 図９は、図７の動画撮影処理の概要を示すフローチャートである。 図１０は、実施の形態２に係る撮像システムの概略構成を示す図である。 図１１は、実施の形態２に係る撮像システムの機能構成を示すブロック図である。 図１２Ａは、実施の形態２に係る撮像装置の光軸が配管内で水平方向を向いている状況を示す図である。 図１２Ｂは、実施の形態２に係る撮像装置の光軸が配管内で斜め方向を向いている状況を示す図である。 図１２Ｃは、実施の形態２に係る撮像装置の光軸が配管内で重力方向を向いている状況を示す図である。 図１３は、実施の形態３に係る撮像システムの機能構成を示すブロック図である。 図１４は、実施の形態３に係る撮像システムが表示する表示画像の一例を示す図である。 図１５は、実施の形態４に係る撮像システムの機能構成を示すブロック図である。
　以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものでない。さらに、以下の説明では、魚眼光学系を備えた撮像装置を例に説明するが、撮像装置以外にも、携帯電話、アクションカム、カムコーダ、撮影機能付きＩＣレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、タブレット型端末装置に適用することができる。もちろん、アクセサリ等のコンバートレンズとして魚眼光学系を備える装置であっても適用することができる。
　〔光学系の射影方式の原理〕
　まず、本開示における光学系の射影方式の原理について説明する。図１Ａは、光学系の射影方式における中心射影方式の概要を模式的に示す図である。図１Ｂは、光学系の射影方式における等距離射影方式の概要を模式的に示す図である。図１Ｃは、光学系の射影方式における立体射影方式の概要を模式的に示す図である。また、図１Ａ～図１Ｃにおいて、光学系の焦点距離をｆ、入射角であって光軸と入射光とがなす角をθとして記載する。
　図１Ａに示す中心射影方式は、撮像装置において用いられている光学系（レンズ）の一般的な射影方式であり、目で見たまま違和感のない結像方法である。また、図１Ｂに示す等距離射影方式および図１Ｃに示す立体射影方式は、所謂、魚眼光学系の射影方式であり、魚眼光学系の光軸を中心として歪んだ画像を得る方法である。なお、魚眼光学系の魚眼射影像方式には、正射影方式および等立体角射影方式等が含まれるが、以下においては、周辺像の圧縮効果が小さい、立体射影方式および等距離射影方式の２つを用いて詳細に説明し、他の射影方式の説明を省略する。
　〔等距離射影方式〕
　まず、等距離射影方式について説明する。
　図１Ｂに示すように、等距離射影方式は、入射角に対して、像高がｆ・θの位置に結像される射影方式であり、入射角と像高が比例関係となる。このため、等距離射影方式は、周辺画像が圧縮されず、測位等に有効な射影方式である。
　〔立体射影方式〕
　次に、立体射影方式について説明する。
　図１Ｃに示すように、立体射影方式は、入射角に対して像高が２ｆ・ｔａｎ（θ／２）の位置に結像される。魚眼光学系の射影方式では、周辺像が拡大される唯一の方式であり、中心射影に変換する場合において、最も周辺の画質を確保することができる。このため、立体射影方式は、最も周辺の画質を確保することができるので、動画撮影に有効な射影方式である。
　〔変換方法〕
　次に、魚眼光学系の像を中心射影方式に変換する変換方法について説明する。
　図２は、魚眼光学系の像を中心射影方式に変換する変換方法の概要を模式的に示す図である。なお、図２では、式を簡略化するため、等距離射影方式から中心射影方式に転換する場合について説明する。
　図２に示すように、入射角であって、光軸と入射とがなす角をθｈ、入射と魚眼光学系の水平を示す線とがなす結像方位角をθｂとした場合、等距離射影光学系の焦点距離ｆｅおよび像高ｈｅの座標（ｘａ、ｙａ）は、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
  この関係から方位角は、以下の式（２）となる。
Figure JPOXMLDOC01-appb-M000002
  等距離射影方式の場合、像高ｈｅと入射角θｈは、以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
 即ち、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
  中心射影方式の焦点距離ｆｃおよび像高ｈｃは、以下の式（５）となる。
Figure JPOXMLDOC01-appb-M000005
  以上より、座標（ｘａ、ｙａ）を中心射影方式に展開した場合の座標を（ｘｂ，ｙｂ）とすると、焦点距離ｆｃおよび焦点距離ｆｅは、既知の値であり、変換後の座標は、以下の式（６－１）および式（６―２）によって算出することができる。
Figure JPOXMLDOC01-appb-M000006
　〔回転した画像の切り出し方法の概要〕
　次に、回転した画像の切り出し方法について説明する。
　図３Ａ～図３Ｃは、回転した画像の切り出し方法の概要を模式的に説明する図である。図３Ａ～図３Ｃにおいて、矩形状の領域が撮像素子ＩＳを示す。この撮像素子ＩＳは、アスペクト比が４：３（１７．３ｍｍ×１３ｍｍ）のサイズである。さらに、撮像素子ＩＳに対して円径の領域がイメージサークルＩＣを示す。
　イメージサークルＩＣは、約７ｍｍの等距離射影方式の魚眼光学系とした場合、対角画角が１８０°となるように被写体像が結像される。この場合、撮像素子ＩＳの、水平画角が約１４４°、垂直画角が約１０８°となる。
　即ち、本開示では、上述した魚眼光学系によって結像された被写体像を画像として読み出し、中心射影に展開する場合、最大画角となる対角画角が垂直画角１０８°以下となるように焦点距離を決定し、撮像装置が備える魚眼光学系の光軸を回転軸とする回転方向の傾斜角が０°～３６０°の期間において、どのように回転しても一定画角で切り出すことができる。例えば、対角画角は、中心射影光学系の焦点距離が８ｍｍの場合、撮像素子ＩＳから得られる値が１０７°となる。
　また、図３Ａ～図３Ｃにおいて、撮像素子ＩＳの撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域を示す領域ＴＡは、中心射影方式で切り出す領域を示す。この場合において、回転後の中心射影方式に変換した座標は、回転量をθｒとするとき、以下の式（７－１）、式（７－２）によって算出することができる。
Figure JPOXMLDOC01-appb-M000007
  なお、－４５°回転する場合のθｒは、以下となる。
Figure JPOXMLDOC01-appb-M000008
  このように、本開示によれば、どのような傾きであっても、一定画角で画像劣化なく、傾きを補正した画像を取得することができる。
　図４Ａは、正方形の撮像素子に対角が２１３°となるように被写体像が結像した状態を示す図である。図４Ｂは、図４Ａの状態から射影変換した後の状態を示す図である。
　図４Ａおよび図４Ｂに示すように、正方形の撮像素子（センサ）ＩＳＳは、最小画角が水平と垂直において同じとなり、最も効率的な構成となる。具体的には、正方形の撮像素子ＩＳＳは、水平画角および垂直画角が約１５０°となり、中心射影方式に変換した場合において、最広角で３５ｍｍ換算にしたとき、焦点距離６ｍｍ相当の画像を得ることができる。このため、図４Ａおよび図４Ｂに示すように、正方形の撮像素子ＩＳＳは、画角が水平ｈａから角度θｒ傾斜した場合であっても、魚眼光学系のゆがみが補正されて、水平が保たれた画像Ｐ１を得ることができる。即ち、正方形の撮像素子ＩＳＳは、撮像装置が備える魚眼光学系の光軸を回転軸とする回転方向の傾斜角が０°～３６０°の範囲で回転した場合であっても、撮像面に内包する領域であるので、水平が保たれた画像Ｐ１を得ることができる。
（実施の形態１）
　〔撮像装置の概略構成〕
　次に、実施の形態１について説明する。
　図５は、実施の形態１に係る撮像装置の概略構成図である。図５に示す撮像装置１は、動画記録可能なデジタルスチルカメラであり、所謂アクションカムと呼ばれるものである。この撮像装置１は、本体部１０と、本体部１０に配置された魚眼光学系１１と、記録の開始を指示する操作部１０１と、を備える。
　撮像装置１は、ユーザによって操作部１０１が押下された場合、動画撮影を開始し、再度、操作部１０１が押下されることによって動画撮影を停止する。これにより、撮像装置１は、撮像装置１の姿勢が大きく変化した場合であっても、記録開始時の姿勢に水平が固定された画像を得ることができるので、画像の回転による見栄えの低下を防止することができる。
　〔撮像装置の機能構成〕
　図６は、撮像装置１の機能構成を示すブロック図である。図６に示すように、撮像装置１は、本体部１０と、魚眼光学系１１と、撮像素子１２と、映像読出部１３と、姿勢検出部１４と、設定部１５と、切り出し部１６と、変換部１７と、画像処理部１８と、記録部１９と、表示部２０と、制御部２１と、を備える。
　本体部１０は、筐体状をなし、内部に各部を収容する。本体部１０は、防水機能を有し、各隙間に対してシーリングが施されている。
　魚眼光学系１１は、被写体を撮像面に対して魚眼射影方式による被写体像を撮像素子１２の撮像面に結像する。具体的には、魚眼光学系１１は、立体射影方式または等距離射影方式によって被写体像を撮像素子１１２の撮像面に結像する。魚眼光学系１１は、１または複数のレンズ、絞りおよびシャッタ等を用いて構成される。なお、実施の形態１では、動画撮影による記録時の画質を優先するため、立体射影方式を用いた例について説明するが、これに限定されることなく、上述した種々の射影方式を用いることができる。
　撮像素子１２は、撮像面を有し、魚眼光学系１１が結像した被写体像（魚眼像）を受光することによって映像信号に変換した第１の撮影画像データに基づく第１の撮影画像（以下、単に［第１の撮影画像］という）を生成する。撮像素子１２は、制御部２１の制御のもと、所定のフレームレートに従って第１の撮影画像を生成する。撮像素子１２は、ＣＣＤ（Charge　Coupled　Device）センサまたはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）センサ等を用いて構成される。さらに、実施の形態１では、撮像素子１２は、撮像面の形状が正方形をなす。なお、実施の形態１では、撮像素子１２の撮像面の形状を正方形として説明するが、これに限定されることなく、例えば撮像素子１２のセンササイズと魚眼光学系１１の焦点距離とによって適宜変更することができ、例えば撮像面の形状が長方形であってもよいし、撮影モードに応じてマルチアスペクト可能なように、制御部２１の制御のもと撮像面の領域や形状を変更してもよい。
　映像読出部１３は、制御部２１の制御のもと、撮像素子１２が生成した第１の撮影画像を順次読み出して切り出し部１６へ出力する。映像読出部１３は、カラム回路、ノイズ除去回路、Ａ／Ｄ変換回路、垂直走査回路および水平走査回路等を用いて構成される。
　姿勢検出部１４は、魚眼光学系１１の光軸Ｌ１を回転軸とする回転方向の傾斜角を検出し、この検出結果を設定部１５および制御部２１へ出力する。姿勢検出部１４は、ジャイロセンサおよび加速度センサ等用いて構成される。
　設定部１５は、撮像素子１２の撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、姿勢検出部１４が検出した傾斜角と、に基づいて、所定の領域を回転させて切り出し部１６が切り出す画像切り出し領域を設定する。具体的には、ここで、画像切り出し領域は、所定の領域に対する傾斜角が０°～３６０°の範囲で回転させた場合に、撮像素子１２の撮像面内に内包する領域である。ここで、所定の領域とは、撮像素子１２の撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域を示す領域ＴＡである（図３Ａ～図３Ｃを参照）。
　切り出し部１６は、第１の撮影画像から設定部１５によって設定された画像切り出し領域を切り出すことによって第２の撮影画像を生成し、この第２の撮影画像を変換部１７へ出力する。
　変換部１７は、姿勢検出部１４が検出した傾斜角に基づいて、切り出し部１６が生成した第２の撮影画像を中心射影像に変換した第３の撮影画像を生成し、この生成した第３の撮影画像を画像処理部１８へ出力する。具体的には、変換部１７は、撮像素子１２の撮像面に対応する水平画角および垂直画角のうちの小さい方の画角よりも対角の画角が狭くなる焦点距離および姿勢検出部１４が検出した傾斜角に基づいて、第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する。
　画像処理部１８は、変換部１７から入力された第３の撮影画像に対して、各種の画像処理を行って記録部１９または表示部２０へ出力する。ここで、各種の画像処理としては、デモザイキング処理、ホワイトバランス処理、ノイズ低減処理および圧縮処理等である。ここで、圧縮処理としては、第３の撮影画像が静止画の場合、例えばＪＰＥＧ（Joint　Photographic　Experts　Group）形式であり、第３の撮影画像が動画の場合、例えばｍｐｅｇ４形式である。なお、画像処理部１８、設定部１５、切り出し部１６および変換部１７は、例えばメモリと、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＧＰＵ（Graphics　Processing　Unit）等のハードウェアを有するプロセッサを用いて構成される。
　記録部１９は、揮発性メモリおよび不揮発性メモリ等を用いて構成され、画像処理部１８から入力された第３の撮影画像、静止画像および撮像装置１が実行する各種のプログラムを記録する。なお、記録部１９は、本体部１０に対して着脱自在なメモリカードを用いて構成してもよい。
　表示部２０は、画像処理部１８から入力された第３の撮影画像に基づく表示画像を表示する。表示部２０は、液晶または有機ＥＬ（Electro　Luminescence）等を用いて構成される。また、表示部２０は、撮像装置１に関する各種情報を表示する。
　制御部２１は、メモリと、ＣＰＵ（Central　Processing　Unit）等のハードウェアを有するプロセッサを用いて構成される。制御部２１は、撮像装置１を構成する各部を制御する。
　〔撮像装置の処理〕
　次に、撮像装置１が実行する処理について説明する。図７は、撮像装置１が実行する処理の概要を示すフローチャートである。
　図７に示すように、まず、撮像装置１は、ライブビュー画像を表示画像として表示部２０に表示させるライブビュー表示処理を実行する（ステップＳ１）。ステップＳ１の後、撮像装置１は、後述するステップＳ２へ移行する。
　〔ライブビュー表示処理〕
　図８は、図７のライブビュー表示処理の概要を示すフローチャートである。図８に示すように、撮像素子１２は、魚眼光学系１１によって結像された被写体像を映像信号に変換した第１の撮影画像を生成する（ステップＳ１０）。この場合、映像読出部１３は、撮像素子１２から第１の撮影画像を読み出す。
　続いて、姿勢検出部１４は、魚眼光学系１１の光軸Ｌ１を回転軸とする回転方向の傾斜角を検出する（ステップＳ１１）。
　その後、設定部１５は、撮像素子１２の撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、姿勢検出部１４によって検出された傾斜角と、に基づいて、所定の領域を回転させて切り出す画像切り出し領域を設定する（ステップＳ１２）。
　続いて、切り出し部１６は、映像読出部１３が撮像素子１２から読み出した第１の撮影画像に対して、設定部１５によって設定された画像切り出し領域を切り出すことによって第２の撮影画像を生成する（ステップＳ１３）。
　その後、変換部１７は、切り出し部１６が生成した第２の撮影画像を、中心射影像に変換した第３の撮影画像を生成する（ステップＳ１４）。
　続いて、制御部２１は、画像処理部１８が変換部１７によって生成された第３の撮影画像に画像処理を施した表示画像を表示部２０に表示させる（ステップＳ１５）。ステップＳ１５の後、撮像装置１は、図７のメインルーチンへ戻り、ステップＳ２へ移行する。
　図７に戻り、ステップＳ２以降の説明を続ける。
　ステップＳ２において、操作部１０１が押下された場合（ステップＳ２：Ｙｅｓ）、撮像装置１は、後述するステップＳ３へ移行する。これに対して、操作部１０１が押下されていない場合（ステップＳ２：Ｎｏ）、撮像装置１は、後述するステップＳ５へ移行する。
　ステップＳ３において、撮像装置１は、記録部１９に順次撮影した画像を時系列に沿って順次記録する動画撮影処理を実行する。ステップＳ３の後、撮像装置１は、後述するステップＳ４へ移行する。
　〔動画撮影処理の概要〕
　図９は、図７の動画撮影処理の概要を示すフローチャートである。図９に示すように、まず、姿勢検出部１４は、操作部１０１が押下された時点における魚眼光学系１１の光軸Ｌ１を回転軸とする回転方向の傾斜角を検出する（ステップＳ３１）。ここでは、操作部１０１が押下された時点（直後）の場合は、押下された時点の傾斜角を検出してメモリ（記録部１９）に記憶する。また、操作部１０１が押下された時点ではない場合（すなわち図７のステップＳ４：Ｎｏ））から動画撮影処理（ステップＳ３）に移行するときは、第１の撮影画像を生成する際の傾斜角を検出する。
　続いて、撮像素子１２は、魚眼光学系１１によって結像された被写体像を映像信号に変換した第１の撮影画像を生成する（ステップＳ３２）。この場合、映像読出部１３は、撮像素子１２から第１の撮影画像を読み出す。
　その後、設定部１５は、撮像素子１２の撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、姿勢検出部１４によって検出された傾斜角と、メモリ（記録部１９）に記憶されている、操作部１０１が押下された時点の傾斜角に基づいて、所定の領域を回転させて切り出す画像切り出し領域を設定する（ステップＳ３３）。ここでは、メモリ（記録部１９）に記憶されている、操作部１０１が押下された時点の傾斜角を基準とする。つまり、設定部１５は、第１の撮影画像を生成する際に検出した傾斜角（最新の傾斜角）からメモリ（記録部１９）に記憶された傾斜角（前回の傾斜角）を減算することによって新たに傾斜角として扱う。
　続いて、切り出し部１６は、映像読出部１３が撮像素子１２から読み出した第１の撮影画像に対して、設定部１５によって設定された画像切り出し領域を切り出すことによって第２の撮影画像を生成する（ステップＳ３４）。
　その後、変換部１７は、切り出し部１６が生成した第２の撮影画像を、中心射影像に変換した第３の撮影画像を生成する（ステップＳ３５）。
　続いて、制御部２１は、画像処理部１８が変換部１７によって生成された第３の撮影画像に画像処理を施した表示画像を記録部１９に記録し、かつ、表示部２０に表示させる（ステップＳ３６）。ステップS３６の後、撮像装置１は、図７のメインルーチンへ戻り、ステップＳ４へ移行する。
　図７に戻り、ステップＳ４以降の説明を続ける。
　ステップＳ４において、操作部１０１が押下された場合（ステップＳ４：Ｙｅｓ）、撮像装置１は、後述するステップＳ５へ移行する。これに対して、操作部１０１が押下されていない場合（ステップＳ４：Ｎｏ）、撮像装置１は、上述したステップＳ３へ戻る。
　ステップＳ５において、図示しない電源スイッチが操作され、撮影を終了する終了信号が入力された場合（ステップＳ５：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、図示しない電源スイッチが操作されず、撮影を終了する終了信号が入力されていない場合（ステップＳ５：Ｎｏ）、撮像装置１は、上述したステップＳ１へ戻る。
　以上説明した実施の形態１によれば、設定部１５が撮像素子１２の撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、姿勢検出部１４によって検出された魚眼光学系１１の光軸を回転軸とする回転方向の傾斜角と、に基づいて、所定の領域を回転させて切り出す画像切り出し領域を設定し、切り出し部１６が第１の撮影画像に対して、画像切り出し領域を切り出すことによって第２の撮影画像を生成し、変換部１７が第２の撮影画像を中心射影像に変換した第３の撮影画像を生成することによって、動画撮影の記録開始からの姿勢変化に応じて回転補正を行うので、回転補正量に制限がなく、３６０°補正が可能であり、かつ、光軸の回転方向における回転角が大きい場合であっても、画角が回転しない安定した動画を得ることができる。
　また、実施の形態１によれば、撮像素子１２の形状を正方形とすることによって、水平画角と垂直画角とが等しくなるので、撮像面の利用効率を最も高くすることができる。
　また、実施の形態１によれば、魚眼光学系１１が立体射影方式の場合、被写体像の周辺が拡大されるので、中心射影方式に変換した場合に被写体像の周辺の拡大率が小さくなるので、被写体像の周辺画質の劣化を防止することができる。
　なお、実施の形態１では、本体部１０と魚眼光学系１１とが一体的に形成されていたが、例えば本体部１０に対して魚眼光学系１１が着脱自在であってもよい。
　また、実施の形態１では、表示部２０が第３の撮影画像に基づく表示画像を表示していたが、これに限定されることなく、表示部２０に、少なくとも第１の撮影画像、第２の撮影画像および第３の撮影画像のいずれか一つを表示させてもよい。この場合、制御部２１は、操作部１０１が入力を受け付けた第１の撮影画像、第２の撮影画像および第３の撮影画像のいずれか１つを選択する選択信号に応じて選択された画像を表示部２０に表示させる。これにより、ユーザが所望する状態の画像を表示することができる。
（実施の形態２）
　次に、実施の形態２について説明する。上述した実施の形態１では、撮像装置を例に説明していたが、実施の形態２では、工業用の内視鏡を備えた撮像システムについて説明する。このため、以下においては、実施の形態２に係る内視鏡を備えた撮像システムについて説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
　〔撮像システムの概略構成〕
　図１０は、実施の形態２に係る撮像システムの概略構成を示す図である。図１０に示す撮像システム１００は、配管等の検査に使用される、工業用内視鏡システムである。例えば、配管内の検査では、後述するようにケーブルの先端に配置されるカメラヘッドを配管内に挿入させ、配管の奥の方の内壁を観察して配管の損傷の位置や損傷度合いを検査する。この時に、従来の工業用内視鏡システムは、ケーブル先端のカメラヘッド本体の上下方向の位置は制御できないので、カメラヘッドにより撮像された観察画像の上下方向を判別することができないという問題点がある。
　撮像システム１００は、カメラヘッドとして機能する撮像装置１Ａと、撮像装置１Ａを操作するための端末装置２Ａと、撮像装置１Ａと端末装置２Ａとを双方向に通信可能に接続するケーブル３Ａと、ケーブル３Ａを巻き取り可能に保持するリール４Ａと、を備える。
　撮像装置１Ａは、レンズユニット１０Ａと、本体部１０１Ａと、を備える。撮像装置１Ａは、本体部１０１Ａに対してレンズユニット１０Ａを上下左右自在に屈曲可能に構成されている。
　端末装置２Ａは、表示部３１と、操作レバー３２と、記録スイッチ３３と、を備える。表示部３１は、撮像装置１Ａによって撮影されて生成された表示画像Ｐ１０をリアルタイムで表示する。操作レバー３２は、例えばジョイスティック等を用いて構成され、撮像装置１Ａのレンズユニット１０Ａの光軸Ｌ１の向きを操作する操作信号の入力を受け付ける。例えば、操作レバー３２は、ユーザがレバー部３２１を上に倒した場合、表示部３１に表示される表示画像の視野が上方向に移動するようにレンズユニット１０Ａの光軸Ｌ１を屈曲させる操作信号の入力を受け付ける。レバー部３２１は、３６０°自在に傾斜可能に構成され、ユーザが傾斜させた方向にレンズユニット１０Ａの光軸Ｌ１（観察方向）に視野を移動させる操作信号の入力を受け付ける。記録スイッチ３３は、静止画撮影を指示する指示信号の入力を受け付ける。なお、実施の形態２では、操作レバー３２が操作部として機能する。
　リール４Ａは、ケーブル３Ａが巻き取り可能に保持される。リール４Ａは、ユーザ操作に応じて、ケーブル３Ａを適宜送り出すことによって撮像装置１Ａを配管内で移動させる。
　このように構成された撮像システム１００は、ユーザが表示部３１によって表示されている配管内の表示画像Ｐ１０で配管を確認している場合において、傷を発見したとき、ユーザが操作レバー３２を操作し、レンズユニット１０Ａの光軸Ｌ１を変更させる。その後、撮像システム１００は、ユーザが操作レバー３２を用いて傷が観察視野の中心となるように操作する。そして、撮像システム１００は、ユーザが記録スイッチ３３を操作された場合、傷を含む問題箇所に対して静止画撮影を行うことによって記録媒体等に記録する。
　〔撮像システムの機能構成〕
　次に、撮像システム１００の機能構成について説明する。図１１は、撮像システム１００の機能構成を示すブロック図である。
　図１１に示す撮像システム１００は、撮像装置１Ａと、端末装置２Ａと、ケーブル３Ａと、を備える。
　〔撮像装置の機能構成〕
　まず、撮像装置１Ａの機能構成について説明する。撮像装置１Ａは、レンズユニット１０Ａと、本体部１０１Ａと、を備える。
　レンズユニット１０Ａは、魚眼光学系１１Ａと、撮像素子１２と、を備える。レンズユニット１０Ａは、本体部１０１Ａに対して、上下左右自在に屈曲可能に構成されている。魚眼光学系１１Ａは、１または複数のレンズ、絞りおよびシャッタ等を用いて構成される。なお、実施の形態２では、検査が目的のため、測位等に有利な等距離射影方式を用いた例について説明するが、これに限定されることなく、上述した種々の射影方式を用いることができる。
　本体部１０１Ａは、映像読出部１３と、姿勢検出部１４Ａと、設定部１５と、切り出し部１６と、変換部１７と、第１の通信部２２と、光学系駆動部２３と、第１の制御部２４と、を備える。
　姿勢検出部１４Ａは、撮像装置１Ａの重力ベクトルと直交する水平方向および水平方向の各々の加速度を検出し、かつ、魚眼光学系１１の光軸Ｌ１の光軸周りの回転を検出する。具体的には、姿勢検出部１４Ａは、撮像装置１Ａの重力方向および水平方向の各々の加速度を検出し、かつ、魚眼光学系１１の光軸Ｌ１の光軸周りの回転を検出する。姿勢検出部１４Ａは、３軸の加速度センサおよび魚眼光学系１１の光軸Ｌ１の光軸周りの回転を検出するジャイロセンサ等を用いて構成される。なお、姿勢検出部１４Ａは、重力ベクトルの検出を加速度センサだけでなく、ジャイロセンサによって回転変化を検出し、加速度による重力変化の信頼性が低い場合、ジャイロセンサである時点の重力から指定した値を撮像装置１Ａの姿勢情報として検出してもよい。
　第１の通信部２２は、ケーブル３Ａを経由して端末装置２Ａから入力された各種情報を第１の制御部２４へ送信し、かつ、第１の制御部２４から入力された各種情報を端末装置２Ａへ送信する。例えば、第１の通信部２２は、変換部１７によって変換された第３の撮影画像（第１の実施形態と同様）を端末装置２Ａへ送信する。第１の通信部２２は、所定の通信モジュールを用いて構成される。
　光学系駆動部２３は、第１の制御部２４の制御のもと、端末装置２Ａから入力された操作信号に応じて、レンズユニット１０Ａの光軸Ｌ１を上下左右自在な方向に屈曲させる。光学系駆動部２３は、例えば複数の湾曲駒と、モータ等によって構成される。
　第１の制御部２４は、撮像装置１Ａの各部を制御する。また、第１の制御部２４は、第１の通信部２２を経由して端末装置２Ａから入力された各種の操作信号に応じた制御を行う。例えば、第１の制御部２４は、端末装置２Ａから入力された操作信号に応じて、光学系駆動部２３を駆動することによってレンズユニット１０Ａの光軸Ｌ１を操作信号に応じた方向に屈曲させる。第１の制御部２４は、メモリと、ＡＳＩＣ、ＦＰＧＡおよびＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。
　〔端末装置の機能構成〕
　次に、端末装置２Ａの機能構成について説明する。端末装置２Ａは、表示部３１と、操作レバー３２と、記録スイッチ３３と、第２の通信部３４と、映像出力部３５と、記録部３６と、操作指示生成部３７と、第２の制御部３８と、を備える。
　第２の通信部３４は、操作指示生成部３７から入力される操作信号、第２の制御部３８から入力される各種の情報を、ケーブル３Ａを経由して第１の通信部２２へ送信する。また、第２の通信部３４は、第２の制御部３８の制御のもと、第１の通信部２２から送信された各種の情報、例えば第３の撮影画像を映像出力部３５へ出力する。第２の通信部３４は、所定の通信モジュールを用いて構成される。
　映像出力部３５は、第２の通信部３４を経由して入力された撮像装置１からの第３の撮影画像に対して、各種の画像処理を行って記録部３６または表示部３１へ出力する。ここで、各種の画像処理としては、デモザイキング処理、ホワイトバランス処理、ノイズ低減処理および圧縮処理等である。これにより、表示部３１によって表示される表示画像は、撮像装置１内で重量方向が下となるように水平補正されたものなので、映像上下が表示と一致しているので、傷の位置を容易に特定することができる。また、映像出力部３５は、例えば、メモリと、ＧＰＵやＦＰＧＡ等のハードウェアを有するプロセッサを用いて構成される。
　記録部３６は、揮発性メモリおよび不揮発性メモリ等を用いて構成され、映像出力部３５から入力された第３の撮影画像、静止画像および撮像装置１が実行する各種のプログラムを記録する。また、記録部３６は、第２の制御部３８の制御のもと、記録スイッチ３３から記録を指示する指示信号が入力された場合、映像出力部３５から入力された画像を記録する。なお、記録部３６は、端末装置２Ａに対して着脱自在なメモリカードを用いて構成してもよい。また、記録部３６は、第２の制御部３８の制御のもと、第１の通信部２２から送信され第２の通信部３４から出力される第３の撮影画像を、記録するようにしてもよい。
　操作指示生成部３７は、操作レバー３２の操作に応じた撮像装置１の光軸Ｌ１の屈曲方向を指示する操作信号を生成し、この操作信号を第２の通信部３４へ出力する。具体的には、操作指示生成部３７は、例えば操作レバー３２のレバー部３２１の傾斜角および屈曲方向と、第１の通信部２２およびケーブル３Ａを経由して入力された姿勢検出部１４が検出した検出結果と、に基づいて、操作方向を回転または反転した方向に撮像装置１の光軸Ｌ１が屈曲する操作信号を生成し、この操作信号を第２の通信部３４へ出力する。
　第２の制御部３８は、端末装置２Ａの各部を制御する。第２の制御部３８は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。
　〔検査時の状態〕
　次に、上述した撮像システム１００が用いて配管等を検査する際の状態について説明する。図１２Ａは、撮像装置１Ａの光軸Ｌ１が配管内で水平方向を向いている状況を示す図である。図１２Ｂは、撮像装置１Ａの光軸Ｌ１が配管内で斜め方向を向いている状況を示す図である。図１２Ｃは、撮像装置１Ａの光軸Ｌ１が配管内で重力方向を向いている状況を示す図である。
　図１２Ａおよび図１２Ｂに示すように、撮像システム１００は、撮像装置１Ａの光軸Ｌ１が水平方向から斜め方向へ向いた場合（図１２Ａ→図１２Ｂ）、重力ベクトルの撮像面Ｒ１００に対する投影ベクトルが示す方向が、表示部３１が表示する表示画像の下となるように回転して表示部３１に表示させる。具体的には、変換部１７は、姿勢検出部１４Ａが検出した重力ベクトルと直交する水平方向と魚眼光学系１１Ａの光軸Ｌ１を回転軸となる回転方向の傾斜角との差を補正することによって第２の撮影画像を中心射影像である第３の撮影画像に変換する。そして、第２の制御部３８は、第２の通信部３４を経由して撮像装置１Ａから受信した第３の撮影画像を、重力ベクトルの撮像面Ｒ１００に対する投影ベクトルが示す方向が、表示部３１が表示する表示画像の下となるように回転して表示部３１に表示させる。
　さらに、図１２Ｂおよび図１２Ｃに示すように、撮像システム１００は、撮像装置１Ａの光軸Ｌ１が斜め方向からさらに傾きが深くなった場合、光軸方向への重力成分が支配的となる。この場合、変換部１７は、撮像装置１Ａの光軸Ｌ１が重力方向に切り替わった時点からの光軸Ｌ１周りの回転を、前方が重力方向に切り替わる直前の水平を維持するように補正した第３の撮影画像を生成する。具体的には、変換部１７は、姿勢検出部１４Ａの検出結果に基づいて、光軸Ｌ１周りの回転を、前方が重力方向に切り替わる直前の水平を維持するように補正した第３の撮影画像を生成する。そして、第２の制御部３８は、第２の通信部３４を経由して撮像装置１Ａから受信した第３の撮影画像を表示部３１に表示させる。これにより、撮像システム１００は、撮像装置１Ａの視野領域が上下方向に切り替わった場合であっても、回転のない画像を取得することができる。さらに、第２の制御部３８は、表示部３１が表示する表示画像に撮像装置１の光軸Ｌ１方向や方位を示す情報を重畳して表示部３１に表示させてもよい。これにより、ユーザは、配管内における撮像装置１Ａの位置や姿勢を容易に認識することができる。
　以上説明した実施の形態２によれば、撮像装置１Ａの観察視野の上下方向が配管等によって判別することが困難な場合であっても、表示部３１によって表示される表示画像の上下方向が常に保持された状態で表示されるので、検査の視認性を向上させることができる。
　さらに、実施の形態２によれば、表示部３１によって表示される表示画像と操作レバー３２の操作とが一致するので、検査時の操作性を向上させることができる。
　また、実施の形態２によれば、魚眼光学系１１Ａを等距離射影方式の場合、被写体像の像高と魚眼光学系１１Ａの光軸Ｌ１に対する角度が比例関係にあり、映像による測定を行う場合に計算を簡略化することができる。
　また、実施の形態２によれば、変換部は１７が姿勢検出部１４Ａによって検出された水平方向と魚眼光学系１１Ａの光軸Ｌ１を回転軸とする回転方向の傾斜角との差を補正することを含めて第２の撮影画像を中心射影像である第３の撮影画像に変換するので、常に表示画像の上下が一致した表示画像を表示することができる。
　また、実施の形態２によれば、端末装置２Ａに撮像装置１Ａの傾きを補正した表示画像と姿勢情報を送信するので、ユーザが遠隔で安定した表示画像を確認しながら撮像装置１Ａの操作を行うことができる。
　また、実施の形態２によれば、操作指示生成部３７が表示部３１によって表示される表示画像の回転と合わせて、操作レバー３２の指示信号を撮像方向に回転した操作信号を生成するので、撮像装置１Ａの撮像方向が操作方向の指示と同じ方向に回転するので、ユーザが容易に操作を行うことができる。
　なお、実施の形態２は、工業用内視鏡システムとしているが、医療用内視鏡システムに適用してもよい。
（実施の形態３）
　次に、実施の形態３について説明する。上述した実施の形態２では、工業用の内視鏡を備えた撮像システムについて説明したが、実施の形態３では、飛行機や車等の車載カメラや所定の位置に設置された防犯カメラからの映像を遠隔から確認する撮像システムである。このため、以下においては、実施の形態３に係る撮像システムについて説明する。なお、上述した実施の形態１に係る撮像装置および上述した実施の形態２に係る撮像システム１００と同一の構成には同一の符号を付して詳細な説明を省略する。
　〔撮像システムの機能構成〕
　図１３は、実施の形態３に係る撮像システムの機能構成を示すブロック図である。図１３に示す撮像システム１００Ｂは、飛行機や車等の車載カメラや所定の位置に設置される撮像装置１Ｂと、撮像装置１Ｂと無線通信によって操作する端末装置２Ｂと、を備える。
　撮像装置１Ｂは、魚眼光学系１１と、撮像素子１２と、姿勢検出部１４Ｂと、設定部１５と、切り出し部１６と、変換部１７と、第１の通信部２２Ｂと、第１の制御部２４と、を備える。
　姿勢検出部１４Ｂは、撮像装置１Ｂの重力方向および水平方向の各々の加速度を検出すし、かつ、魚眼光学系１１の光軸Ｌ１の光軸周りの回転を検出する。姿勢検出部１４Ｂは、３軸の加速度センサおよび魚眼光学系１１の光軸Ｌ１の光軸周りの回転を検出するジャイロセンサ等を用いて構成される。なお、姿勢検出部１４Ｂは、撮像装置１Ｂが設置されたものが動きの激しい乗り物に対応するため、重力ベクトルの検出を加速度センサだけでなく、ジャイロセンサによって回転変化を検出し、加速度による重力変化の信頼性が低い場合、ジャイロセンサである時点からの回転量を撮像装置１Ｂの姿勢情報として検出してもよい。
　第１の通信部２２Ｂは、第１の制御部２４の制御のもと、各種情報を所定の無線通信規格に従って端末装置２Ｂへ送信する。第１の通信部２２Ｂは、無線通信モジュールを用いて構成される。
　次に、端末装置２Ｂについて説明する。
　端末装置２Ｂは、表示部３１と、第２の通信部３４Ｂと、映像出力部３５と、記録部３６と、第２の制御部３８と、姿勢画像生成部３９と、を備える。
　姿勢画像生成部３９は、第１の通信部２２Ｂから入力された撮像装置１Ｂの姿勢情報に基づいて、姿勢画像を生成し、この姿勢画像を映像出力部３５へ出力する。この場合、映像出力部３５は、撮像装置１Ｂからの第３の撮影画像に、姿勢画像生成部３９から入力された姿勢画像を重畳した画像を生成し、表示部３１または記録部３６へ出力する。
　このように構成された撮像システム１００Ｂは、表示部３１に第３の撮影画像に姿勢画像が重畳された表示画像を表示させる。具体的には、図１４に示すように、撮像システム１００Ｂは、姿勢画像として飛行機の形状であって、かつ、撮像装置１Ｂの姿勢に応じた傾いた飛行機の形状Ｐ１０１を第３の撮影画像Ｐ１００に重畳して表示部３１に表示させる。この場合、撮像システム１００Ｂは、姿勢画像である飛行機の形状Ｐ１０１を半透過で重畳されるようにしてもよいし、点線によって重畳されるようにしてもよい。
　以上説明した実施の形態３によれば、撮像装置１Ｂを搭載した移動体がどうような動き（例えば移動体が飛行機の場合、きりもみ飛行）を行って場合であっても、表示部３１で表示される表示画像が回転することがないうえ、移動体の姿勢も直感的に把握することができる。
　また、実施の形態３によれば、ユーザが遠隔操作を行っている場合であっても、ユーザが映像酔いや見栄えの低下を防止することができるので、ゲーム感覚のような操作性を提供することができる。
　また、実施の形態３によれば、表示画像が回転しないので、視認性が損なわれること無く、機体姿勢も把握できるため、遠隔操作を行う場合でも操作性の向上させることができる。
（実施の形態４）
　次に、実施の形態４について説明する。上述した実施の形態３では、撮像装置と端末装置の各々が備える機能が異なる。以下においては、上述した実施の形態４に係る撮像システムの構成について説明する。なお、上述した実施の形態３に係る撮像システム１００Ｂと同一の構成には同一の符号を付して詳細な説明は省略する。
　〔撮像システムの機能構成〕
　図１５は、実施の形態４に係る撮像システムの機能構成を示すブロック図である。図１５に示す撮像システム１００Ｃは、撮像機能および通信機能を有する撮像装置１Ｃと、スマートフォン等のタブレット端末として機能する端末装置２Ｃと、を備える。撮像装置１Ｃおよび端末装置２Ｃは、所定の無線通信規格に従って双方向に通信する。ここで、所定の無線通信規格としては、例えばＷｉ－Ｆｉ（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）である。撮像システム１００Ｃは、撮像装置１Ｃで生成された第１の撮影画像を、端末装置２Ｃに送信し、端末装置２Ｃにおいて第１の撮影画像に基づいて第３の撮影画像に変換して表示させる。
　〔撮像装置の機能構成〕
　まず、撮像装置１Ｃの機能構成について説明する。撮像装置１Ｃは、上述した実施の形態３に係る撮像装置１Ｂの構成から、設定部１５、切り出し部１６および変換部１７を省略し、それ以外の構成は同様である。
　〔端末装置の機能構成〕
　次に、端末装置２Ｃの機能構成について説明する。端末装置２Ｃは、上述した実施の形態２に係る端末装置２Ｂの構成に加えて、設定部１５、切り出し部１６および変換部１７を備える。即ち、設定部１５、切り出し部１６および変換部１７の各々は、記録部３６に記録されたアプリケーション内のプログラムを読み込むことによって実行される。なお、実施の形態３では、第２の通信部３４が取得部として機能する。さらに、端末装置２Ｃが画像処理装置として機能する。
　以上説明した実施の形態４によれば、端末装置２Ｃに主要な機能を持たせたので、比較的に安価なものを提供することができる。
（その他の実施の形態）
　上述した実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。
　また、実施の形態１～４では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、実施の形態１～４に係る撮像装置、撮像システムおよび画像処理装置のいずれか一つに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、実施の形態１～４に係る撮像装置、撮像システムおよび画像処理装置のいずれか一つに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示に係る撮像装置、撮像システムおよび画像処理装置のいずれか一つに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　１，１Ａ，１Ｂ，１Ｃ　撮像装置
　２Ａ，２Ｂ，２Ｃ　端末装置
　３Ａ　ケーブル
　４Ａ　リール
　１０　本体部
　１０Ａ　レンズユニット
　１１，１１Ａ　魚眼光学系
　１２　撮像素子
　１３　映像読出部
　１４，１４Ｂ　姿勢検出部
　１５　設定部
　１６　切り出し部
　１７　変換部
　１８　画像処理部
　１９　記録部
　２０，３１　表示部
　２１　制御部
　２２，２２Ｂ　第１の通信部
　２３　光学系駆動部
　２４　第１の制御部
　３２　操作レバー
　３３　記録スイッチ
　３４，３４Ｂ　第２の通信部
　３５　映像出力部
　３６　記録部
　３７　操作指示生成部
　３８　第２の制御部
　３９　姿勢画像生成部
　１００，１００Ｂ，１００Ｃ　撮像システム
　１０１Ａ　本体部

Claims (16)

  1. 　被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、
    　前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、
    　前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定する設定部と、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成する切り出し部と、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する変換部と、
    　を備える、
    　撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記画像切り出し領域は、
    　前記所定の領域に対する前記傾斜角が０°～３６０°の範囲で回転させた場合に、前記撮像面内に内包する領域である、
    　撮像装置。
  3. 　請求項１または２に記載の撮像装置であって、
    　少なくとも前記第１の撮影画像、前記第２の撮影画像および前記第３の撮影画像の１つを表示可能な第１の表示部と、
    　少なくとも前記第１の撮影画像、前記第２の撮影画像および前記第３の撮影画像のいずれか１つを選択する指示信号の入力を受け付ける操作部と、
    　前記指示信号に応じて選択された画像を前記第１の表示部に表示させる第１の制御部と、
    　をさらに備える、
    　撮像装置。
  4. 　請求項１～３のいずれか一つに記載の撮像装置であって、
    　前記変換部は、
    　前記傾斜角に基づいて、前記第３の撮影画像を中心射影方式の画像に変換する、
    　撮像装置。
  5. 　請求項１～３のいずれか一つに記載の撮像装置であって、
    　前記変換部は、
    　前記撮像面に対応する水平画角および垂直画角のうちの小さい方の画角よりも対角の画角が狭くなる焦点距離に基づいて、前記第２の撮影画像を中心射影像に変換した前記第３の撮影画像を生成する、
    　撮像装置。
  6. 　請求項１～５のいずれか一つに記載の撮像装置であって、
    　前記撮像面は、
    　形状が正方形をなす、
    　撮像装置。
  7. 　請求項１～６のいずれか一つに記載の撮像装置であって、
    　前記姿勢検出部は、
    　重力ベクトルと直交する水平方向をさらに検出し、
    　前記変換部は、
    　前記水平方向と前記傾斜角との差を補正することによって前記第３の撮影画像を中心射影方式の画像に変換する、
    　撮像装置。
  8. 　請求項１～７のいずれか一つに記載の撮像装置であって、
    　前記第３の撮影画像を記録する記録部
    　をさらに備える、
    　撮像装置。
  9. 　請求項１～８のいずれか一つに記載の撮像装置であって、
    　端末装置と双方向に通信可能であり、該端末装置に前記第３の撮影画像および前記傾斜角を送信する第１の通信部
    　をさらに備える、
    　撮像装置。
  10. 　請求項９に記載の撮像装置と、
    　前記端末装置と、
    　を備え、
    　前記端末装置は、
    　前記魚眼光学系の光軸を含む撮像方向を指示する指示信号の入力を受け付ける操作部と、
    　前記傾斜角に基づいて、前記撮像方向を回転した操作信号を生成する操作信号生成部と、
    　前記操作信号を前記撮像装置へ送信する第２の通信部と、
    　を備え、
    　前記撮像装置は、
    　前記指示信号に基づいて、前記魚眼光学系の光軸を含む撮像方向を変更する光学系駆動部
    　をさらに備える、
    　撮像システム。
  11. 　請求項１０に記載の撮像システムであって、
    　前記端末装置は、
    　前記第３の撮影画像を表示可能な第２の表示部と、
    　前記撮像装置から送信された前記傾斜角に基づいて、前記撮像装置の姿勢を示す姿勢画像を生成する姿勢画像生成部と、
    　前記第３の撮影画像に前記姿勢画像を重畳して表示する第２の表示部に表示させる第２の制御部と、
    　をさらに備える、
    　撮像システム。
  12. 　被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得する取得部と、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定する設定部と、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成する切り出し部と、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する変換部と、
    　を備える、
    　画像処理装置。
  13. 　撮像装置が実行する撮像方法であって、
    　被写体を魚眼光学系によって撮像面に対して魚眼射影像方式による被写体像を結像し、
    　前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力し、
    　前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出し、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定し、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成し、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する、
    　撮像方法。
  14. 　画像処理装置が実行する画像処理方法であって、
    　被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得し、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定し、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成し、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成する、
    　画像処理方法。
  15. 　メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える撮像装置に実行させるプログラムであって、
    　前記撮像装置に、
    　被写体を魚眼光学系によって撮像面に対して魚眼射影像方式による被写体像を結像させ、
    　前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力させ、
    　前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出させ、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定させ、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成させ、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成させる、
    　プログラム。
  16. 　メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える画像処理装置に実行させるプログラムであって、
    　前記画像処理装置に、
    　被写体を撮像面に対して魚眼射影像方式による被写体像を結像する魚眼光学系と、前記撮像面を有し、前記被写体像を受光することによって映像信号に変換し、該映像信号を第１の撮影画像として出力する撮像素子と、前記魚眼光学系の光軸を回転軸とする回転方向の傾斜角を検出する姿勢検出部と、を備える撮像装置から前記第１の撮影画像および前記傾斜角を取得させ、
    　前記撮像面内に含まれ、かつ、画像の中心とした点対称をとる所定の領域と、前記傾斜角と、に基づいて、前記所定の領域を回転させて切り出す画像切り出し領域を設定させ、
    　前記第１の撮影画像に対して、前記画像切り出し領域を切り出すことによって第２の撮影画像を生成させ、
    　前記第２の撮影画像を中心射影像に変換した第３の撮影画像を生成させる、
    　プログラム。
PCT/JP2019/028925 2019-07-23 2019-07-23 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム WO2021014598A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028925 WO2021014598A1 (ja) 2019-07-23 2019-07-23 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028925 WO2021014598A1 (ja) 2019-07-23 2019-07-23 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021014598A1 true WO2021014598A1 (ja) 2021-01-28

Family

ID=74193623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028925 WO2021014598A1 (ja) 2019-07-23 2019-07-23 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2021014598A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239447A (zh) * 2021-06-11 2021-08-10 重庆电子工程职业学院 室内管路异常探测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508384A (ja) * 1995-06-23 1999-07-21 インタラクティブ ピクチャーズ コーポレーション 球形画像を作成する方法および装置
JP2002271654A (ja) * 2001-03-12 2002-09-20 Fuji Photo Film Co Ltd 電子カメラ
JP2005252625A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2010219924A (ja) * 2009-03-17 2010-09-30 Ricoh Co Ltd 撮像装置
JP2017067954A (ja) * 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の像ブレ補正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11508384A (ja) * 1995-06-23 1999-07-21 インタラクティブ ピクチャーズ コーポレーション 球形画像を作成する方法および装置
JP2002271654A (ja) * 2001-03-12 2002-09-20 Fuji Photo Film Co Ltd 電子カメラ
JP2005252625A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2010219924A (ja) * 2009-03-17 2010-09-30 Ricoh Co Ltd 撮像装置
JP2017067954A (ja) * 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の像ブレ補正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239447A (zh) * 2021-06-11 2021-08-10 重庆电子工程职业学院 室内管路异常探测系统及方法
CN113239447B (zh) * 2021-06-11 2023-08-15 重庆电子工程职业学院 室内管路异常探测系统及方法

Similar Documents

Publication Publication Date Title
JP6468307B2 (ja) 撮像装置、画像処理装置および方法
CN107026973B (zh) 图像处理装置、图像处理方法与摄影辅助器材
JP5109803B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20110234750A1 (en) Capturing Two or More Images to Form a Panoramic Image
EP2518993A1 (en) Image capturing device, azimuth information processing method, and program
US10469741B2 (en) Image processing apparatus and image processing method
JP2010199971A (ja) 撮像装置、撮像方法、及びプログラム
JP2011040898A (ja) 撮像再生装置及びプログラム
KR20180129667A (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
KR20120065997A (ko) 전자 기기, 제어 방법, 프로그램 및 촬상 시스템
JP2001133854A (ja) カメラシステム及び表示装置
JP2019110434A (ja) 画像処理装置、画像処理システムおよびプログラム
WO2021014598A1 (ja) 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP5750637B2 (ja) 撮影装置
CN111263037B (zh) 图像处理装置、拍摄装置、视频播放系统、方法以及程序
JP2016063244A (ja) 撮像装置及び画像表示制御方法
JP2007333929A (ja) 映像表示システム
JP2004289225A (ja) 撮像装置
JP2010148028A (ja) 観察装置
JP2017085466A (ja) 撮像装置、及びその制御方法
KR20080021377A (ko) 자동으로 영상을 회전 처리하여 저장하는 영상 처리장치 및영상 처리방법
JP2016036085A (ja) 撮像装置および電子機器
JP2020022065A (ja) 配信装置、カメラ装置、配信システム、配信方法及び配信プログラム
JP2017204666A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP