WO2012093453A1 - カメラ、歪み補正装置、及び歪み補正方法 - Google Patents

カメラ、歪み補正装置、及び歪み補正方法 Download PDF

Info

Publication number
WO2012093453A1
WO2012093453A1 PCT/JP2011/007215 JP2011007215W WO2012093453A1 WO 2012093453 A1 WO2012093453 A1 WO 2012093453A1 JP 2011007215 W JP2011007215 W JP 2011007215W WO 2012093453 A1 WO2012093453 A1 WO 2012093453A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic zoom
distortion correction
angle
lens
correction processing
Prior art date
Application number
PCT/JP2011/007215
Other languages
English (en)
French (fr)
Inventor
森村　淳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/995,201 priority Critical patent/US9313411B2/en
Priority to CN201180064351.3A priority patent/CN103283214B/zh
Publication of WO2012093453A1 publication Critical patent/WO2012093453A1/ja

Links

Images

Classifications

    • G06T3/12—
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present invention relates to a camera, a distortion correction apparatus, and a distortion correction method for correcting a distorted image captured using a wide-angle lens such as a fisheye lens.
  • An image picked up using a wide-angle lens such as a fisheye lens is generally an image that is distorted toward the periphery of the image.
  • FIG. 1 shows the conventional distortion correction.
  • FIG. 1 shows an image obtained by capturing a black and white horizontal stripe pattern parallel to each other using a wide-angle lens.
  • FIG. 1A shows an image before distortion correction, and it can be seen that the peripheral portion is distorted due to optical distortion.
  • FIG. 1B shows an image after distortion correction. Distortion at the peripheral portion is eliminated, but the peripheral portion is enlarged, resulting in an unnatural image.
  • Patent Document 1 prepares a function for performing distortion correction and a function for not performing distortion correction, and by using these functions in combination, an apparently natural distortion correction can be performed. Techniques to do are disclosed.
  • Patent Document 2 an enlargement ratio (change function) is set according to the coordinates (X-axis and Y-axis values) of an image cut out from a distorted image, and image conversion is performed using the enlargement ratio.
  • a technique for correcting a natural distortion in appearance is disclosed.
  • One aspect of the camera of the present invention includes a lens that forms an image of a subject, an imaging element that obtains a captured image signal by converting an optical image formed by the lens into an electrical signal, and the captured image signal.
  • An electronic zoom and distortion correction processing unit that performs electronic zoom processing and distortion correction processing.
  • the electronic zoom and distortion correction processing unit performs the electronic zoom processing according to a designated electronic zoom magnification. In addition to the electronic zoom magnification, the correction rate of the distortion correction process is changed.
  • One aspect of the distortion correction apparatus of the present invention includes an electronic zoom and distortion correction processing unit that performs electronic zoom processing and distortion correction processing on the distortion image by remapping pixels of the distortion image, and a designated electronic Re-mapping control for controlling remapping of the electronic zoom and distortion correction processing unit so that the correction rate of the distortion correction processing is changed in addition to the electronic zoom magnification of the electronic zoom processing according to the zoom magnification.
  • the distorted image when performing both electronic zoom processing and distortion correction on a distorted image captured using a wide-angle lens, the distorted image is accurately detected while suppressing an unnatural image. Can be corrected.
  • FIG. 1A is a figure which shows the image before distortion correction
  • FIG. 1B is a figure which shows the image after distortion correction
  • the figure which shows the characteristic of lens image formation and electronic zoom angle of view when a wide-angle lens is used 4A and 4B are diagrams showing a table for obtaining a correction factor corresponding to the electronic zoom magnification
  • FIG. 4A is a diagram showing a table used when the lens angle of view is 120 °
  • FIG. 4B is used when the lens angle of view is 140 °
  • FIG. 4C shows a table used when the lens angle of view is 180 °.
  • FIG. 6A is a diagram showing a display example of a graphic showing a correction situation and a correction result
  • FIG. 6A is a diagram showing a display image with an electronic zoom field angle of ⁇ 30 ° or less
  • FIG. 6C is a diagram showing a display image with 60 ° or less
  • FIG. 6C is a diagram showing a display image with an electronic zoom field angle of ⁇ 60 ° or more.
  • FIG. 2 shows the configuration of the camera of this embodiment.
  • the camera 100 is a so-called wide-angle camera such as a surveillance camera, for example, and performs distortion correction processing on a captured distorted image.
  • the camera 100 has an electronic zoom function.
  • the camera 100 has a wide-angle lens 101 such as a fish-eye lens, and forms an object image on the image sensor 102 by the wide-angle lens 101.
  • the image sensor 102 is composed of a CCD or the like, and obtains a captured image signal by converting the formed optical image into an electric signal.
  • the camera processing unit 103 performs ⁇ processing, matrix processing, and the like on the captured image signal output from the image sensor 102 and outputs the processed signal to the electronic zoom and distortion correction processing unit 104.
  • the electronic zoom and distortion correction processing unit 104 includes, for example, an image memory and an interpolation circuit, and reading and interpolation from the image memory are controlled by a remapping control unit 110 described later. Thereby, pixel positions and image signals are remapped, and electronic zoom processing and distortion correction processing are realized.
  • the remapping control unit 110 controls the remapping of the electronic zoom and distortion correction processing unit 104.
  • the remapping control unit 110 receives an electronic zoom magnification S1 designated by the user and a lens angle of view S2.
  • the electronic zoom magnification S1 is specified by the user via, for example, an operation unit (not shown).
  • the lens field angle S ⁇ b> 2 is a lens field angle of the wide-angle lens 101.
  • the lens angle of view S2 is stored in a memory (not shown) and is a fixed value when a wide-angle lens having the same lens angle of view is used, but a wide-angle lens (zoom) that can change the lens angle of view. When changing a lens) or a wide-angle lens, the lens is changed accordingly.
  • the zoom field angle calculator 111 receives the electronic zoom magnification S1 and the lens field angle S2.
  • the zoom angle of view calculation unit 111 calculates an electronic zoom angle of view S3 that is an angle of view after electronic zoom based on the electronic zoom magnification S1 and the lens angle of view S2, and outputs this to the read address generation unit 112. .
  • FIG. 3 shows lens imaging characteristics and an electronic zoom angle of view when a wide-angle lens is used.
  • the dotted line in the figure indicates the imaging characteristics of the lens. If the lens angle of view changes, the imaging characteristics of the lens indicated by the dotted line in the figure change accordingly.
  • a one-dot chain line in the figure indicates an electronic zoom angle of view. Naturally, the size of the electronic zoom field angle changes according to the lens field angle and the electronic zoom magnification.
  • the electronic zoom magnification is Z1, Z2, and Z3, and Z1> Z2> Z3.
  • a narrow-angle image display range indicated by R1 in the figure is cut out, and the image display range R1 is enlarged and displayed by the electronic zoom magnification Z1. Is done.
  • an intermediate value electronic zoom magnification Z2 is designated, an intermediate angle image display range indicated by R2 in the figure is cut out, and the image display range R2 is enlarged by the electronic zoom magnification Z2. Is displayed.
  • the correction rate determination unit 113 determines the correction rate S4 based on the electronic zoom magnification S1 and the lens angle of view S2, and outputs this to the read address generation unit 112.
  • the correction rate determining unit 113 has a plurality of tables corresponding to the lens angle of view S2 as shown in FIGS. 4A, 4B, and 4C, and input from the plurality of tables.
  • the correction rate S4 is determined and output using a table corresponding to the lens angle of view S2.
  • FIG. 4 as an example, a table (FIG. 4A) used when the lens angle of view is 120 ° (indicated by ⁇ 60 ° in the figure), and the lens angle of view is indicated by 140 ° (indicated by ⁇ 70 ° in the figure). ) (FIG. 4B) and three tables (FIG. 4C) used when the lens angle of view is 180 ° (shown as ⁇ 90 ° in the figure). More tables may be provided depending on the corner. If there is no table corresponding to the lens angle of view among the prepared tables, a table with the closest lens angle of view may be substituted.
  • the correction rate determination unit 113 outputs a correction rate S4 corresponding to the electronic zoom magnification S1 using the table of FIG. 4A when the lens angle of view S2 is 120 °.
  • a correction rate S4 corresponding to the electronic zoom magnification S1 is output using the table of FIG. 4B.
  • a correction rate S4 corresponding to the electronic zoom magnification S1 is output using the table of FIG. 4C. If the lens angle of view S2 is determined, the relationship between the electronic zoom magnification S1 and the angle of view after electronic zooming (electronic zoom angle of view) is uniquely determined. Both the angle of view after zooming are shown.
  • a correction rate correspondence table for the electronic zoom magnification is provided for the same lens angle of view. A plurality may be prepared.
  • the read address generation unit 112 generates a read address for forming an image of the electronic zoom field angle S3 in a completely undistorted state based on the input electronic zoom field angle S3. Since the generation of the read address at this time is a known technique that has been conventionally presented as disclosed in, for example, Patent Document 3, detailed description thereof is omitted here. In short, for the distorted image as shown in FIG. 1A, a read address for forming an image in which distortion is completely corrected as shown in FIG. 1B is generated.
  • the read address generation unit 112 changes the read address for performing complete distortion correction to a read address for realizing distortion correction by the correction rate S4 determined by the correction rate determination unit 113.
  • the changed read address S5 is output as a read address of the electronic zoom and distortion correction processing unit 104.
  • the correction rate S4 is defined by equation (1).
  • a square is defined based on a central projection that is output as a square. From the equation (1), the corrected image height Y ′ is obtained by the equation (2).
  • the correction rate S4 is given as shown in the graphs of FIGS. 4 and 5, and the output image height Y ′ is obtained from the equation (2).
  • the read address S5 corresponding to the correction rate may be generated all at once.
  • the correction rate determination unit 113 uses the table of FIG. 4A. 80% is output as the correction factor S4.
  • the read address generator 112 generates and outputs a read address S5 for performing 80% distortion correction, not a read address for performing complete distortion correction. Naturally, the output read address S5 also performs 1.5 times the electronic zoom.
  • the correction rate determination unit 113 obtains the table of FIG. 4C. 50% is output as the correction factor S4.
  • the read address generator 112 generates and outputs a read address S5 for performing 50% distortion correction, not a read address for performing complete distortion correction. Naturally, the output read address S5 also performs 1.5 times the electronic zoom.
  • the electronic zoom and distortion correction processing unit 104 performs remapping and interpolation of the pixels based on the read address S5 to form an image signal S6 that has been subjected to the electronic zoom processing and distortion correction processing. Output.
  • the correction status superimposing unit 105 inputs the electronic zoom field angle S3 and the correction factor S4 in addition to the image signal S6 subjected to the electronic zoom process and the distortion correction process.
  • the correction status superimposing unit 105 creates a graphic representing the correction status based on the electronic zoom field angle S3 and the correction rate S4, and superimposes it on the image signal S6.
  • the viewer can check how much distortion correction has been performed on the displayed image.
  • the distortion correction rate S4 is changed according to the designated electronic zoom magnification S1, it is very effective to display a graphic representing the correction status.
  • FIG. 6 shows a display example of a graphic indicating the correction status.
  • the dotted line in the figure schematically represents the state of distortion.
  • the solid line in the figure represents a figure indicating the correction status.
  • FIG. 6 shows an example in which a wide-angle lens 101 having a lens field angle of 180 ° ( ⁇ 90 °) is used (see FIG. 4C).
  • FIG. 6A shows a display image with an electronic zoom angle of view of ⁇ 30 ° (60 °) or less.
  • complete distortion correction (distortion correction with a correction rate of 100%) is performed as can be seen from FIG. 4C. Therefore, as a graphic representing the correction status, a rectangular graphic indicating that no distortion remains is displayed.
  • FIG. 6C shows a display image having an electronic zoom angle of view of ⁇ 60 ° (120 °) or more. In this case, distortion correction is performed with a correction rate of 50% or less as can be seen from FIG. 4C.
  • a barrel-shaped figure indicating that a certain amount of distortion remains is displayed as a figure representing the.
  • FIGS. 6A and 6C shows a display image having an electronic zoom angle of view of ⁇ 30 ° (60 °) or more and ⁇ 60 ° (120 °) or less.
  • the graphic representing the correction status is shown in FIGS. 6A and 6C.
  • An intermediate figure is displayed.
  • the graphic representing the correction status is displayed divided into a central part and a peripheral part.
  • 6B and 6C show that more distortion remains in the peripheral portion than in the vicinity of the center.
  • FIG. 7 is an example in which a graphic representing the peripheral correction state in FIG. 6 is displayed on the upper right of the display image. 6 and 7 show an example in which a graphic representing the correction status is displayed, the correction rate may be displayed as it is.
  • the image output from the correction status superimposing unit 105 is displayed on a display unit (not shown).
  • the correction rate S4 of the distortion correction processing is changed according to the designated electronic zoom magnification S1, so that it is unnatural.
  • the designated electronic zoom magnification S1 in other words, the larger the electronic zoom angle of view (the wider the image), the smaller the correction factor S4, and thus the peripheral portion is extremely enlarged. This can suppress unnatural appearance. That is, it is possible to obtain an easy-to-see (highly convincing) image at the angle of view of each electronic zoom magnification.
  • the distortion correction processing according to the present embodiment corrects to be equiangular (equal distance projection) during wide-angle electronic zoom, and corrects to straight line (center projection) during narrow-angle electronic zoom.
  • it can be rephrased as a process of correcting the angle of view to be changed smoothly from an equiangular line to a straight line.
  • the electronic zoom and distortion correction processing unit 104 may control distortion correction independently in the vertical direction and the horizontal direction.
  • the straight line distortion correction in the vertical direction is corrected to be a straight line regardless of the electronic zoom magnification (which may be referred to as an electronic zoom angle of view) S1, and the horizontal straight line distortion correction is performed in accordance with the electronic zoom magnification S1. If it is changed to allow a curve, a more natural image can be obtained. This is because for vertical objects such as trees and people, it is better to completely correct the vertical straight line distortion, that is, to make the vertical straight line a vertical straight line. This is because a natural image can be obtained.
  • the electronic zoom and distortion correction processing unit 104, the remapping control unit 110, and the correction status superimposing unit 105 are provided in the camera has been described. It may be provided as a correction device.
  • the configuration of the remapping control unit 110 is not limited to the configuration of FIG.
  • the specified electronic zoom magnification S1 can be directly used to generate the correction factor S4 and the read address S5. It may be omitted.
  • the present invention is suitable for a case where both electronic zoom processing and distortion correction are performed on a distorted image captured using a wide-angle lens such as a fisheye lens.

Abstract

　電子ズーム及び歪み補正処理部１０４は、歪曲画像の画素を再マッピングすることで、歪曲画像に電子ズーム処理及び歪み補正処理を施す。再マッピング制御部１１０は、指定された電子ズーム倍率Ｓ１に応じて、電子ズーム処理の電子ズーム倍率に加えて、歪み補正処理の補正率Ｓ４が変更されるように、電子ズーム及び歪み補正処理部１０４の再マッピングを制御する。これにより、指定された電子ズーム倍率Ｓ１に応じて、補正率Ｓ４が変更され、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できる。

Description

カメラ、歪み補正装置、及び歪み補正方法
　本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像を補正するカメラ、歪み補正装置、及び歪み補正方法に関する。
　魚眼レンズ等の広角レンズを用いて撮像した画像は、一般に、画像の周縁部ほど歪曲した画像となる。
　図１に、従来の歪み補正の様子を示す。図１は、互いに平行な白黒の横縞模様を広角レンズを用いて撮像した画像を示す。図１Ａは、歪み補正前の画像を示し、光学歪みが原因となって、周縁部ほど歪曲していることが分かる。図１Ｂは、歪み補正後の画像を示し、周縁部の歪曲は解消されているが、周縁部が拡大されてしまうので、不自然な画像になってしまう。
　そこで、従来、歪みを補正しつつ、できるだけ自然な画像を得るための歪み補正技術が多数提案されている。
　例えば、特許文献１には、歪み補正を行うための関数と、歪み補正を行わないための関数とを用意し、これらの関数を複合的に利用することで、見た目上、自然な歪み補正を行う技術が開示されている。
　また、特許文献２には、歪曲画像から切り出した画像の座標（Ｘ軸、Ｙ軸の値）に応じて拡大率（変化関数）を設定し、この拡大率を利用して画像変換を行うことで、見た目上、自然な歪み補正を行う技術が開示されている。
特開２００４－１９９３５０号公報 特開２００９－１２４６２７号公報 特許第３０５１１７３号公報
　ところで、近年のカメラは、一般に電子ズーム処理機能が搭載されている。しかしながら、電子ズームと歪み補正との関係については、十分な検討がなされていなかった。
　本発明の目的は、電子ズーム処理と歪み補正処理との関係を十分に検討することにより、広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できる、カメラ、歪み補正装置、及び歪み補正方法を提供することである。
　本発明のカメラの一つの態様は、被写体を結像するレンズと、前記レンズにより結像された光学像を電気信号に変換することにより、撮像画像信号を得る撮像素子と、前記撮像画像信号に対して、電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、を備え、前記電子ズーム及び歪み補正処理部は、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率を変更する。
　本発明の歪み補正装置の一つの態様は、歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理部の再マッピングを制御する、再マッピング制御部と、を具備する。
　本発明によれば、広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できる。
従来の歪み補正の様子を示す図であり、図１Ａは歪み補正前の画像を示す図、図１Ｂは歪み補正後の画像を示す図 実施の形態のカメラの構成を示すブロック図 広角レンズを用いた場合の、レンズ結像の特性と、電子ズーム画角と、を示す図 電子ズーム倍率に対応する補正率を求めるためのテーブルを示す図であり、図４Ａはレンズ画角が１２０°のときに用いるテーブルを示す図、図４Ｂはレンズ画角が１４０°のときに用いるテーブルを示す図、図４Ｃはレンズ画角が１８０°のときに用いるテーブルを示す図 同一のレンズ画角に関して、電子ズーム倍率に対する補正率の対応テーブルを複数用意する例を示す図 補正状況と補正結果を示す図形の表示例を示す図であり、図６Ａは電子ズーム画角が±３０°以下の表示画像を示す図、図６Ｂは電子ズーム画角が±３０°以上で±６０°以下の表示画像を示す図、図６Ｃは電子ズーム画角が±６０°以上の表示画像を示す図 補正状況と補正結果を示す図形の他の表示例を示す図
　以下、本発明の実施の形態について図面を参照して詳細に説明する。
　図２に、本実施の形態のカメラの構成を示す。カメラ１００は、例えば監視カメラ等の所謂広角カメラであり、撮像された歪曲画像に対して歪み補正処理を施すようになっている。また、カメラ１００は、電子ズーム機能を有する。
　カメラ１００は、魚眼レンズ等の広角レンズ１０１を有し、この広角レンズ１０１によって撮像素子１０２に被写体像を結像させる。撮像素子１０２は、ＣＣＤ等からなり、結像された光学像を電気信号に変換することにより、撮像画像信号を得る。カメラ処理部１０３は、撮像素子１０２から出力された撮像画像信号に対してγ処理、マトリックス処理等を施し、処理後の信号を電子ズーム及び歪み補正処理部１０４に出力する。
　電子ズーム及び歪み補正処理部１０４は、例えば画像メモリと補間回路で構成され、後述する再マッピング制御部１１０によって画像メモリからの読み出しと補間が制御される。これにより、画素の位置や画像信号が再マッピングされ、電子ズーム処理及び歪み補正処理が実現される。
　再マッピング制御部１１０は、電子ズーム及び歪み補正処理部１０４の再マッピングを制御する。再マッピング制御部１１０には、ユーザにより指定された電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とが入力される。電子ズーム倍率Ｓ１は、ユーザにより例えば操作部（図示せず）を介して指定される。レンズ画角Ｓ２は、広角レンズ１０１のレンズ画角である。レンズ画角Ｓ２は、メモリ（図示せず）に記憶されており、同一のレンズ画角の広角レンズを用いている場合には固定値であるが、レンズ画角を変更可能な広角レンズ（ズームレンズ）や広角レンズを交換する場合には、それに応じて変更される。
　ズーム画角算出部１１１には、電子ズーム倍率Ｓ１及びレンズ画角Ｓ２が入力される。ズーム画角算出部１１１は、電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とに基づいて、電子ズーム後の画角である電子ズーム画角Ｓ３を算出し、これを読み出しアドレス発生部１１２に出力する。
　図３に、広角レンズを用いた場合の、レンズ結像の特性と、電子ズーム画角と、を示す。図中の点線はレンズの結像特性を示す。レンズ画角が変われば、それに応じて図中の点線で示されるレンズの結像特性が変わる。図中の一点鎖線は電子ズーム画角を示す。この電子ズーム画角の大きさは、当然、レンズ画角と電子ズーム倍率とに応じて変化する。
　ここで、電子ズーム倍率をＺ１、Ｚ２、Ｚ３とし、Ｚ１＞Ｚ２＞Ｚ３と仮定する。一番大きな値の電子ズーム倍率Ｚ１が指定された場合には、図中のＲ１で示される狭角の画像表示範囲が切り出され、その画像表示範囲Ｒ１が電子ズーム倍率Ｚ１ぶんだけ拡大されて表示される。また、中間の値の電子ズーム倍率Ｚ２が指定された場合には、図中のＲ２で示される中間角の画像表示範囲が切り出され、その画像表示範囲Ｒ２が電子ズーム倍率Ｚ２ぶんだけ拡大されて表示される。一番小さな値の電子ズーム倍率Ｚ３が指定された場合には、図中のＲ３で示される広角の画像表示範囲が切り出され、その画像表示範囲Ｒ３が電子ズーム倍率Ｚ３ぶんだけ拡大されて（電子ズーム倍率Ｚ３が１の場合にはそのまま拡大されずに）表示される。
　補正率決定部１１３は、電子ズーム倍率Ｓ１と、レンズ画角Ｓ２とに基づいて、補正率Ｓ４を決定し、これを読み出しアドレス発生部１１２に出力する。
　本実施の形態の場合、補正率決定部１１３は、図４Ａ、図４Ｂ及び図４Ｃに示すような、レンズ画角Ｓ２に応じた複数のテーブルを有し、この複数のテーブルの中から、入力されるレンズ画角Ｓ２に応じたテーブルを用いて、補正率Ｓ４を決定して出力する。
　図４では、一例として、レンズ画角が１２０°（図では±６０°で示している）の場合に用いるテーブル（図４Ａ）、レンズ画角が１４０°（図では±７０°で示している）の場合に用いるテーブル（図４Ｂ）、レンズ画角が１８０°（図では±９０°で示している）の場合に用いるテーブル（図４Ｃ）の３つのテーブルが示されているが、レンズ画角に応じてさらに多くのテーブルを有してもよい。また、用意されたテーブルの中に、レンズ画角に対応するものが無い場合には、最も近いレンズ画角のテーブルを代用するなどしてもよい。
　補正率決定部１１３は、レンズ画角Ｓ２が１２０°の場合には、図４Ａのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。また、レンズ画角Ｓ２が１４０°の場合には、図４Ｂのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。また、レンズ画角Ｓ２が１８０°の場合には、図４Ｃのテーブルを用い、電子ズーム倍率Ｓ１に対応する補正率Ｓ４を出力する。なお、レンズ画角Ｓ２が決まれば、電子ズーム倍率Ｓ１と、電子ズーム後の画角（電子ズーム画角）との関係は一意に決まるので、図では、横軸に、電子ズーム倍率と、電子ズーム後の画角との両方を示してある。
　また、レンズ画角Ｓ２が同一であってもレンズ特性に応じて歪み特性が異なる場合もあるので、図５に示すように、同一のレンズ画角に関して、電子ズーム倍率に対する補正率の対応テーブルを複数用意してもよい。
　読み出しアドレス発生部１１２は、先ず、入力された電子ズーム画角Ｓ３に基づいて、電子ズーム画角Ｓ３の画像を完全に歪みの無い状態で形成するための読み出しアドレスを生成する。このときの読み出しアドレスの生成については、例えば特許文献３にも開示されているように、従来から提示されている既知の技術なので、ここでの詳細な説明は省略する。簡単に言うと、図１Ａに示したような歪曲画像に対して、図１Ｂに示したような完全に歪みが補正された画像を形成するための読み出しアドレスが生成される。
　次に、読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスを、補正率決定部１１３にて決定された補正率Ｓ４ぶんだけの歪み補正を実現するための読み出しアドレスに変更し、この変更した読み出しアドレスＳ５を電子ズーム及び歪み補正処理部１０４の読み出しアドレスとして出力する。補正率Ｓ４は、式（１）により定義する。正方形が正方形として出力される中心射影を基準に定義する。式（１）より、補正後の像高Ｙ’は式（２）で求める。補正率Ｓ４は、図４、図５のグラフのように与え、式（２）より、出力される像高Ｙ’を求める。なお、ここでは補正率の意味を分かり易くするために、画像を完全に歪みの無い状態で形成するための読み出しアドレスを生成した後に、これを補正率に応じて変更するようにしたが、実際には、補正率に対応した読み出しアドレスＳ５を一気に生成してもよい。
Ｓ４　＝　１　－　（Ｙ０－Ｙ’）／（Ｙ０－Ｙｎ）　　　　………（１）Ｙ’　＝　Ｙ０　－　（１－Ｓ４）（Ｙ０－Ｙｎ）　　　　　………（２）
　ここで、　　Ｙ０＝ｆｔａｎθ（中心射影）
　　　　　　　Ｙｎ＝ｆθ（等距離射影）又はＹｎ＝ｆｓｉｎθ（正射影）など
　　　　　　　　　　使用する広角レンズの特性
　　　　　　　Ｙ０：基準となる像高、中心射影を用いる
　　　　　　　Ｙｎ：使用するレンズの像高
　　　　　　　Ｙ’：補正後の像高
　　　　　　　　θ：基準とする視野角、４５～７０度程度で決定される
　　　　　　　　ｆ：使用するレンズの焦点距離
　例えば、レンズ画角Ｓ２が１２０°（±６０°）の広角レンズ１０１が用いられ、指定された電子ズーム倍率Ｓ１が１．５倍の場合、補正率決定部１１３では図４Ａのテーブルが用いられ、補正率Ｓ４として８０％が出力される。読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスではなく、８０％の歪み補正を行うための読み出しアドレスＳ５を発生して出力する。当然、この出力される読み出しアドレスＳ５は、１．５倍の電子ズームを行うものでもある。
　また、例えば、レンズ画角Ｓ２が１８０°（±９０°）の広角レンズ１０１が用いられ、指定された電子ズーム倍率Ｓ１が１．５倍の場合、補正率決定部１１３では図４Ｃのテーブルが用いられ、補正率Ｓ４として５０％が出力される。読み出しアドレス発生部１１２は、完全な歪み補正を行うための読み出しアドレスではなく、５０％の歪み補正を行うための読み出しアドレスＳ５を発生して出力する。当然、この出力される読み出しアドレスＳ５は、１．５倍の電子ズームを行うものでもある。
　電子ズーム及び歪み補正処理部１０４は、読み出しアドレスＳ５によって、画素を再マッピングと補間を行い、電子ズーム処理及び歪み補正処理が施された画像信号Ｓ６を形成し、これを補正状況重畳部１０５に出力する。
　補正状況重畳部１０５は、電子ズーム処理及び歪み補正処理が施された画像信号Ｓ６に加えて、電子ズーム画角Ｓ３及び補正率Ｓ４を入力する。補正状況重畳部１０５は、電子ズーム画角Ｓ３及び補正率Ｓ４に基づいて、補正状況を表す図形を作成し、これを画像信号Ｓ６に重畳する。これにより、表示される画像がどの程度の歪み補正が施されたものかを、視聴者が確認できるようになる。特に、本実施の形態では、指定される電子ズーム倍率Ｓ１に応じて歪み補正率Ｓ４を変更するようにしているので、補正状況を表す図形を表示することは非常に有効である。
　図６は、補正状況を示す図形の表示例を示す。図中の点線は、歪みの状態を模式的に表している。図中の実線は、補正状況を示す図形を表している。図６は、レンズ画角が１８０°（±９０°）の広角レンズ１０１が用いられた場合の例である（図４Ｃ参照）。
　図６Ａは、電子ズーム画角が±３０°（６０°）以下の表示画像を示すもので、この場合、図４Ｃからも分かるように完全な歪み補正（補正率１００％の歪み補正）が行われるので、補正状況を表す図形としては、歪みが残っていないことを示す長方形の図形が表示される。図６Ｃは、電子ズーム画角が±６０°（１２０°）以上の表示画像を示すもので、この場合、図４Ｃからも分かるように補正率５０％以下の歪み補正が行われるので、補正状況を表す図形としてはある程度の歪みが残っていることを示す樽型の図形が表示される。図６Ｂは、電子ズーム画角が±３０°（６０°）以上で±６０°（１２０°）以下の表示画像を示すもので、この場合、補正状況を表す図形としては図６Ａと図６Ｃの中間の図形が表示される。
　なお、図６の例では、補正状況を表す図形を中心部及び周縁部に分けて表示されている。図６Ｂ及び図６Ｃの補正状況を表す図形から、中心付近よりも周縁部の方が歪みが多く残っていることが分かる。
　図７は、図６の周縁部の補正状況を表す図形を、表示画像の右上に表示した例である。なお、図６及び図７では、補正状況を表す図形を表示する例を示したが、補正率をそのまま表示してもよい。
　補正状況重畳部１０５からの出力される画像は、表示部（図示せず）にて表示される。
　以上説明したように、本実施の形態によれば、指定された電子ズーム倍率Ｓ１に応じて、電子ズーム処理だけでなく、歪み補正処理の補正率Ｓ４を変更するようにしたことにより、不自然な画像になることを抑制しつつ、歪曲画像を的確に補正できるようになる。具体的には、指定される電子ズーム倍率Ｓ１が小さいほど、換言すれば電子ズーム画角が大きいほど（広角な画像ほど）、補正率Ｓ４を小さくしたことにより、周縁部が極端に拡大されることによる、見た目上の不自然さを抑制できる。つまり、それぞれの電子ズーム倍率の画角で見やすい（納得性の高い）画像を得ることができる。
　また、本実施の形態の歪み補正処理は、広角の電子ズーム時には等角（等距離射影）になるように補正し、狭角の電子ズーム時には直線（中心射影）になるように補正し、中間画角の電子ズーム時には等角から直線になだらかに変化させるように補正する処理である、と言い換えることができる。
　なお、上述した実施の形態に加えて、電子ズーム及び歪み補正処理部１０４において、歪み補正の補正を、垂直方向と水平方向とで独立して制御してもよい。例えば、垂直方向の直線の歪み補正は電子ズーム倍率（電子ズーム画角と言い換えてもよい）Ｓ１に依らず直線になるように補正し、水平方向の直線の歪み補正は電子ズーム倍率Ｓ１に応じて曲線を許すように変更すれば、より自然な画像を得ることができる。これは、木や人など垂直方向に起立している物体に対しては、垂直方向の直線の歪みは完全に補正した方が、つまり垂直方向の直線は垂直方向の直線となるようにした方が、自然な画像を得ることができるためである。
　また、上述した実施の形態では、電子ズーム及び歪み補正処理部１０４、再マッピング制御部１１０及び補正状況重畳部１０５を、カメラに設けた場合について説明したが、これらはカメラとは別体に歪み補正装置として設けてもよい。
　また、再マッピング制御部１１０の構成は、図２の構成に限らない。例えば広角レンズ１０１のレンズ画角が固定である場合には、指定された電子ズーム倍率Ｓ１を直接用いて、補正率Ｓ４及び読み出しアドレスＳ５を発生させることができるので、ズーム画角算出部１１１は省略してもよい。
　２０１１年１月６日出願の特願２０１１－００１１２５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像に対して、電子ズーム処理と歪み補正の両方を施す場合に好適である。
　１００　カメラ
　１０１　広角レンズ
　１０４　電子ズーム及び歪み補正処理部
　１０５　補正状況重畳部
　１１０　再マッピング制御部
　１１１　ズーム画角算出部
　１１２　読み出しアドレス発生部
　１１３　補正率決定部
　Ｓ１　電子ズーム倍率
　Ｓ２　レンズ画角
　Ｓ３　電子ズーム画角
　Ｓ４　補正率
　Ｓ５　読み出しアドレス

Claims (8)

  1. 　被写体を結像するレンズと、
    　前記レンズにより結像された光学像を電気信号に変換することにより、撮像画像信号を得る撮像素子と、
    　前記撮像画像信号に対して、電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、
    　を備え、
    　前記電子ズーム及び歪み補正処理部は、指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率を変更する、
    　カメラ。
  2. 　前記電子ズーム及び歪み補正処理部は、さらに、前記レンズの画角に応じて、前記歪み補正処理の補正率を変更する、
    　請求項１に記載のカメラ。
  3. 　前記指定された電子ズーム倍率と前記レンズの画角とに基づいて、電子ズーム画角を算出するズーム画角算出部を、さらに具備し、
    　前記電子ズーム及び歪み補正処理部は、前記画角算出部によって算出された前記電子ズーム画角に応じて、前記歪み補正処理の補正率を変更する、
    　請求項１に記載のカメラ。
  4. 　前記電子ズーム処理及び歪み補正処理を施された画像に、前記補正率に基づく歪み補正状況を重畳する、補正状況重畳部を、さらに具備する、
    　請求項１に記載のカメラ。
  5. 　前記補正率は、垂直方向と水平方向とでそれぞれ独立に制御される、
    　請求項１に記載のカメラ。
  6. 　前記補正率は、垂直方向の直線の歪み補正は１００％であり、水平方向の直線の歪み補正は前記電子ズーム倍率に応じて変更される、
    　請求項１に記載のカメラ。
  7. 　歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理部と、
    　指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理部の再マッピングを制御する、再マッピング制御部と、
    　を具備する歪み補正装置。
  8. 　歪曲画像の画素を再マッピングすることで、前記歪曲画像に電子ズーム処理及び歪み補正処理を施す、電子ズーム及び歪み補正処理ステップと、
    　指定された電子ズーム倍率に応じて、前記電子ズーム処理の電子ズーム倍率に加えて、前記歪み補正処理の補正率が変更されるように、前記電子ズーム及び歪み補正処理部の再マッピングを制御する、再マッピング制御ステップと、
    　を含む歪み補正方法。
     
     
PCT/JP2011/007215 2011-01-06 2011-12-22 カメラ、歪み補正装置、及び歪み補正方法 WO2012093453A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/995,201 US9313411B2 (en) 2011-01-06 2011-12-22 Camera, distortion correction device and distortion correction method
CN201180064351.3A CN103283214B (zh) 2011-01-06 2011-12-22 摄像机、畸变校正装置以及畸变校正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-001125 2011-01-06
JP2011001125A JP5914813B2 (ja) 2011-01-06 2011-01-06 カメラ、歪み補正装置、及び歪み補正方法

Publications (1)

Publication Number Publication Date
WO2012093453A1 true WO2012093453A1 (ja) 2012-07-12

Family

ID=46457322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007215 WO2012093453A1 (ja) 2011-01-06 2011-12-22 カメラ、歪み補正装置、及び歪み補正方法

Country Status (4)

Country Link
US (1) US9313411B2 (ja)
JP (1) JP5914813B2 (ja)
CN (1) CN103283214B (ja)
WO (1) WO2012093453A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10386702B2 (en) 2015-08-25 2019-08-20 Olympus Corporation Image pickup system, image pickup apparatus, and interchangeable lens

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6070307B2 (ja) * 2012-05-21 2017-02-01 株式会社リコー パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム
CN105046657B (zh) * 2015-06-23 2018-02-09 浙江大学 一种图像拉伸畸变自适应校正方法
CN104994281B (zh) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
KR101807090B1 (ko) * 2016-06-20 2017-12-08 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법
JP2018063309A (ja) * 2016-10-11 2018-04-19 カイロス株式会社 顕微鏡装置
JP6603825B2 (ja) 2017-03-01 2019-11-06 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2019032590A (ja) * 2017-08-04 2019-02-28 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
FR3071651B1 (fr) * 2017-09-26 2019-10-25 Renault S.A.S. Procede d'affichage d'une vue etendue d'un environnement d'un vehicule automobile, et vehicule automobile associe
CN111345036A (zh) * 2017-10-26 2020-06-26 京瓷株式会社 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
TWI663421B (zh) * 2018-02-01 2019-06-21 大陸商江西聯創電子有限公司 廣角鏡頭的畸變矯正方法、裝置及系統
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
US11244431B2 (en) * 2019-10-18 2022-02-08 Apical Limited Image processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199350A (ja) * 2002-12-18 2004-07-15 Clarion Co Ltd 画像歪み補正装置及び画像歪み補正方法
JP2009124627A (ja) * 2007-11-19 2009-06-04 Alps Electric Co Ltd 撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0351173A (ja) 1989-07-20 1991-03-05 Nec Corp 検印自動押捺器
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
JP3297511B2 (ja) 1993-10-15 2002-07-02 オリンパス光学工業株式会社 映像処理装置
JP4028306B2 (ja) * 2002-06-26 2007-12-26 富士フイルム株式会社 デジタル撮像装置
US7098949B2 (en) * 2002-07-29 2006-08-29 Hewlett-Packard Development Company, L.P. Apparatus and method for improved-resolution digital zoom in a portable electronic imaging device
JP4185468B2 (ja) * 2004-03-29 2008-11-26 富士フイルム株式会社 露光装置及び撮影画像の補正方法
JP4085283B2 (ja) 2005-02-14 2008-05-14 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2006227774A (ja) * 2005-02-16 2006-08-31 Hitachi Medical Corp 画像表示方法
JP4781229B2 (ja) * 2006-11-01 2011-09-28 キヤノン株式会社 歪曲収差補正装置、撮像装置、及び歪曲収差補正装置の制御方法
JP2008146155A (ja) * 2006-12-06 2008-06-26 Sony Corp 画像処理方法および装置
JP4935440B2 (ja) 2007-03-14 2012-05-23 ソニー株式会社 画像処理装置およびカメラ装置
US8085320B1 (en) * 2007-07-02 2011-12-27 Marvell International Ltd. Early radial distortion correction
JP4919978B2 (ja) * 2008-01-26 2012-04-18 三洋電機株式会社 歪補正装置
JP5154361B2 (ja) * 2008-10-20 2013-02-27 三星電子株式会社 撮像装置及び撮像装置の制御方法
US8237852B2 (en) * 2008-10-30 2012-08-07 Panasonic Corporation Camera body and camera system
JP4697555B2 (ja) * 2008-11-19 2011-06-08 ソニー株式会社 ズームレンズ及び撮像装置
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
JP2010273334A (ja) * 2009-04-23 2010-12-02 Panasonic Corp 電子機器及び撮像装置
JP5558973B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004199350A (ja) * 2002-12-18 2004-07-15 Clarion Co Ltd 画像歪み補正装置及び画像歪み補正方法
JP2009124627A (ja) * 2007-11-19 2009-06-04 Alps Electric Co Ltd 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10386702B2 (en) 2015-08-25 2019-08-20 Olympus Corporation Image pickup system, image pickup apparatus, and interchangeable lens

Also Published As

Publication number Publication date
US20130265468A1 (en) 2013-10-10
CN103283214B (zh) 2016-08-24
CN103283214A (zh) 2013-09-04
JP5914813B2 (ja) 2016-05-11
JP2012142885A (ja) 2012-07-26
US9313411B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
JP5914813B2 (ja) カメラ、歪み補正装置、及び歪み補正方法
US7529424B2 (en) Correction of optical distortion by image processing
US7834907B2 (en) Image-taking apparatus and image processing method
US8379976B2 (en) Image processing apparatus and method and a computer-readable recording medium on which an image processing program is stored
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP4975592B2 (ja) 撮像装置
JP6041651B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108737726B (zh) 图像处理设备和方法、摄像设备和计算机可读存储介质
WO2012060269A1 (ja) 画像処理方法、画像処理装置及び撮像装置
JP6526273B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP5195841B2 (ja) 車載カメラ装置および車両
JP4862321B2 (ja) 車載カメラ装置
JP2007184720A (ja) 画像撮影装置
JP5836110B2 (ja) 撮像装置およびその制御方法
JP4821704B2 (ja) 画像歪み補正方法
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP6711670B2 (ja) 情報処理装置、画像表示装置、画像表示システム、および情報処理方法
JP5535099B2 (ja) カメラモジュール及び画像記録方法
JP5393877B2 (ja) 撮像装置および集積回路
JP4664259B2 (ja) 画像補正装置および画像補正方法
JP2014154977A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2016099836A (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
TW201806377A (zh) 影像擷取裝置及其影像平順縮放方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11854683

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13995201

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11854683

Country of ref document: EP

Kind code of ref document: A1