JP6275468B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents

Image processing apparatus, image processing method, and imaging apparatus Download PDF

Info

Publication number
JP6275468B2
JP6275468B2 JP2013255482A JP2013255482A JP6275468B2 JP 6275468 B2 JP6275468 B2 JP 6275468B2 JP 2013255482 A JP2013255482 A JP 2013255482A JP 2013255482 A JP2013255482 A JP 2013255482A JP 6275468 B2 JP6275468 B2 JP 6275468B2
Authority
JP
Japan
Prior art keywords
image data
pixel
distortion
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013255482A
Other languages
Japanese (ja)
Other versions
JP2015115720A (en
Inventor
真理子 平野
真理子 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Vision Co Ltd
Original Assignee
Hanwha Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwha Techwin Co Ltd filed Critical Hanwha Techwin Co Ltd
Priority to JP2013255482A priority Critical patent/JP6275468B2/en
Priority to KR1020140051908A priority patent/KR102138331B1/en
Publication of JP2015115720A publication Critical patent/JP2015115720A/en
Application granted granted Critical
Publication of JP6275468B2 publication Critical patent/JP6275468B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

本発明は、画像処理装置、画像処理方法及び撮像装置に関する。   The present invention relates to an image processing device, an image processing method, and an imaging device.

一般的に、監視カメラ、カムコーダー、デジタルスチルカメラなどの撮像装置により撮影された画像には、光学系の歪曲収差の影響により歪みが生じる。画像の中心部と周辺部とで結像倍率が異なるのが原因で、例えば正方格子画像を撮影した場合に、周辺に向かって結像倍率が小さくなると、図５に示すような「樽型歪み」が生じ、周辺に向かって結像倍率が大きくなると、図６に示すような「糸巻き型歪み」が生じる。   In general, an image captured by an imaging device such as a surveillance camera, a camcorder, or a digital still camera is distorted due to the distortion of an optical system. For example, when a square lattice image is taken and the image forming magnification decreases toward the periphery when the image forming magnification is different between the central portion and the peripheral portion of the image, the “barrel distortion” shown in FIG. "And the imaging magnification increases toward the periphery, the" pincushion distortion "as shown in FIG. 6 occurs.

図５及び図６に示したような歪曲収差の補正は、例えば、図７に示した着目点ＡＰに対応する原画像の座標（これを対応点ＣＰの座標とも呼ぶ）を求め、その対応点ＣＰの周辺複数画素の画素値を補間処理することで求めた対応点ＣＰの画素値を、着目点ＡＰの画素値とする処理にて行うことができる。この場合に原画像の対応点ＣＰの座標を求める手法としては、下式を用いたアルゴリズムがよく用いられる。なお、以下では下記の２式を式（１）として参照する。   The correction of distortion as shown in FIG. 5 and FIG. 6 is performed, for example, by obtaining the coordinates of the original image corresponding to the point of interest AP shown in FIG. This can be performed by processing the pixel value of the corresponding point CP obtained by interpolating the pixel values of a plurality of pixels around the CP as the pixel value of the point of interest AP. In this case, an algorithm using the following equation is often used as a method for obtaining the coordinates of the corresponding point CP of the original image. In the following, the following two formulas are referred to as formula (1).

ｈｄ＝ｈｕ＋（ｈｕ−ｈ０）＊（ｋ１＊ｒ２＋ｋ２＊ｒ４）
ｖｄ＝ｖｕ＋（ｖｕ−ｖ０）＊（ｋ１＊ｒ２＋ｋ２＊ｒ４） … （１） hd = hu + (hu−h0) * (k1 * r 2 + k2 * r 4 )
vd = vu + (vu−v0) * (k1 * r 2 + k2 * r 4 ) (1)

ここで、（ｈ０，ｖ０）は歪み中心の座標、（ｈｕ，ｖｕ）は着目点ＡＰの座標、ｒは着目点ＡＰの歪み中心からの距離であり、パラメータｋ１，ｋ２を使用して、着目点ＡＰに対応する原画像の対応点ＣＰの座標（ｈｄ，ｖｄ）を求める事が出来る。   Here, (h0, v0) is the coordinates of the distortion center, (hu, vu) is the coordinates of the attention point AP, r is the distance from the distortion center of the attention point AP, and the parameters k1 and k2 are used for the attention. The coordinates (hd, vd) of the corresponding point CP of the original image corresponding to the point AP can be obtained.

上述した歪曲収差を補正するための技術の一例が特許文献１に記載されている。特許文献１に記載されている補正装置は、撮像素子が出力した画像信号をＡ／Ｄ（アナログ・デジタル）変換し、信号処理プロセッサで所定の信号処理を行った後、補正前（すなわち歪みの補正処理前）の画像データとして一旦メインメモリに格納する。次に、歪み補正部（ディストーション補正部）が、メインメモリに書き込まれている補正前の画像データを読み出し、歪曲収差の補正処理を行い、補正後の画像データをメインメモリに書き込む。この構成では、信号処理プロセッサと、歪み補正部と、メインメモリとが、バスを介して相互に接続されている。   An example of a technique for correcting the above-described distortion is described in Patent Document 1. The correction apparatus described in Patent Document 1 performs A / D (analog / digital) conversion on an image signal output from an image pickup device, performs predetermined signal processing by a signal processor, and then performs correction (that is, distortion correction). It is temporarily stored in the main memory as image data before correction processing. Next, a distortion correction unit (distortion correction unit) reads the uncorrected image data written in the main memory, performs distortion correction processing, and writes the corrected image data in the main memory. In this configuration, the signal processor, the distortion correction unit, and the main memory are connected to each other via a bus.

特開２００３−３３３５８８号公報JP 2003-333588 A

上述したように特許文献１に記載されている補正装置では、歪曲収差の補正処理にともない、バスを介して接続されているメモリに対して複数回のデータ読み書きが行われる。一般に、バスを介さないプロセッサ等の信号処理装置内部のデータ転送と比べ、バスを介して接続されている外部のメモリとの間のデータ転送では動作時の消費電力が大きくなる。このメモリアクセスによる消費電力は、データの転送量が多くなるほど大きくなる。また、データの転送量が多くなるとバス帯域幅が問題となることがある。このような問題の解決には歪み補正処理にともなう外部メモリとの間のデータ転送量の削減が課題となる。   As described above, in the correction apparatus described in Patent Document 1, data read / write is performed a plurality of times with respect to the memory connected via the bus in accordance with the distortion correction processing. In general, compared with data transfer inside a signal processing device such as a processor not via a bus, power consumption during operation is large in data transfer with an external memory connected via a bus. The power consumption due to this memory access increases as the data transfer amount increases. Also, the bus bandwidth may be a problem when the amount of data transferred increases. In order to solve such a problem, a reduction in the amount of data transferred to and from an external memory due to distortion correction processing becomes an issue.

本発明は、上記の事情を考慮してなされたものであり、歪曲収差補正にともなう画像データの転送量を削減することができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とする。   The present invention has been made in consideration of the above-described circumstances, and an object thereof is to provide an image processing apparatus, an image processing method, and an imaging apparatus that can reduce the transfer amount of image data accompanying distortion correction. To do.

上記課題を解決するため、本発明による画像処理装置は、所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、外部の記憶部に書き込む圧縮画像データとして出力するデータ圧縮部とを備えることを特徴とする。   In order to solve the above problems, an image processing apparatus according to the present invention uses a plurality of pixels included in image data generated by using a predetermined optical system and a predetermined image sensor for correcting distortion. A distortion aberration correction area determination unit that determines whether or not the image data is compressed by a predetermined encoding process according to a determination result of the distortion aberration correction area determination unit, and the compressed image data is written to an external storage unit And a data compression unit that outputs the data as a data compression unit.

また、本発明による他の画像処理装置は、前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、１又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定することを特徴とする。   In another image processing apparatus according to the present invention, the distortion correction region determination unit may perform the distortion for each pixel or for each pixel excluding the pixel located at the center of the image represented by the image data. Having a table in which information indicating whether or not to be used for correction of aberration is associated, and referring to the table to determine whether or not the plurality of pixels are used for correcting the distortion Features.

また、本発明による他の画像処理装置は、前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で可変長符号を用いた符号化処理によって前記画像データを圧縮することを特徴とする。   In another image processing apparatus according to the present invention, the data compression unit replaces a pixel value of a pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value. The image data is compressed by an encoding process using a variable length code.

また、本発明による他の画像処理装置は、前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で前記画像データが含む隣接画素の画素値との差分値を求め、その差分値を可変長符号に変換する符号化処理によって前記画像データを圧縮することを特徴とする。   In another image processing apparatus according to the present invention, the data compression unit replaces a pixel value of a pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value. The image data is compressed by an encoding process for obtaining a difference value between adjacent pixel values included in the image data and converting the difference value into a variable length code.

また、本発明による画像処理方法は、所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定するステップと、前記判定の結果に応じて前記画像データを所定の符号化処理によって圧縮し、所定の記憶部に記憶するステップとを含むことを特徴とする。   Further, the image processing method according to the present invention determines whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correcting distortion. A step of determining, and a step of compressing the image data by a predetermined encoding process in accordance with a result of the determination and storing the compressed image data in a predetermined storage unit.

また、本発明による撮像装置は、光学系と、前記光学系を介して入力した光信号を電気信号に変換する撮像素子と、前記撮像素子から出力された電気信号に基づいて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、圧縮画像データとして出力するデータ圧縮部と、前記データ圧縮部が出力した圧縮画像データを記憶する記憶部とを備えることを特徴とする。   An image pickup apparatus according to the present invention includes an optical system, an image pickup device that converts an optical signal input through the optical system into an electric signal, and image data generated based on the electric signal output from the image pickup device. A distortion aberration correction region determination unit that determines whether or not a plurality of pixels included in the image are used for distortion correction, and the image data is determined in accordance with a determination result of the distortion aberration correction region determination unit. And a storage unit that stores the compressed image data output from the data compression unit.

本発明によれば、外部の記憶部に書き込む画像データに含まれている複数の画素が歪曲収差の補正に使用されるか否かの判定結果に応じて、画像データが所定の符号化処理によって圧縮される。この構成によれば例えば歪曲収差の補正に使用されない画素の画素値を無効化するような符号化処理を行うことができ、画像データの圧縮率を高めることで、画像データの転送量を削減することができる。   According to the present invention, image data is subjected to a predetermined encoding process according to a determination result of whether or not a plurality of pixels included in image data to be written in an external storage unit are used for correcting distortion. Compressed. According to this configuration, for example, it is possible to perform an encoding process that invalidates the pixel values of pixels that are not used for correcting distortion, and the image data transfer amount is reduced by increasing the compression rate of the image data. be able to.

本発明の一実施形態の撮像装置の構成例を示したブロック図である。It is a block diagram showing an example of composition of an imaging device of one embodiment of the present invention. 図１に示したデータ圧縮部２１と歪曲収差補正領域判定部２２の構成例を示したブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a data compression unit 21 and a distortion correction region determination unit 22 illustrated in FIG. 1. 図２の指定領域トリミング部３１へ入力又はから出力される画像データが表す画像を模式的に示した説明図である。It is explanatory drawing which showed typically the image which the image data input into or output from the designated area trimming part 31 of FIG. 2 represents. 図２に示したルックアップテーブル４３の構成例を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining a configuration example of a lookup table 43 shown in FIG. 2. 「樽型歪み」について説明するための図である。It is a figure for demonstrating "barrel distortion". 「糸巻き型歪み」について説明するための図である。It is a figure for demonstrating "pincushion type distortion." 歪曲収差の補正について説明するための図である。It is a figure for demonstrating correction | amendment of a distortion aberration.

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明による撮像装置の一実施形態の構成例を示したブロック図である。図１に示した撮像装置１は、例えば監視カメラ、カムコーダー、デジタルスチルカメラなどを構成したり、情報処理端末の内部に構成されたりする。この場合、撮像装置１は、光学系１１と、撮像素子１２と、Ａ／Ｄ変換部１３と、画像処理装置１４と、システムバス１５と、ＣＰＵ（中央処理装置）１６と、フレームメモリ１７とを備えている。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of an embodiment of an imaging apparatus according to the present invention. The imaging device 1 illustrated in FIG. 1 is configured as, for example, a surveillance camera, a camcorder, a digital still camera, or the like, or configured inside an information processing terminal. In this case, the imaging apparatus 1 includes an optical system 11, an imaging element 12, an A / D conversion unit 13, an image processing apparatus 14, a system bus 15, a CPU (central processing unit) 16, and a frame memory 17. It has.

光学系１１は、１又は複数のレンズを有して構成され、撮像素子１２に入射する光信号を集光したり、屈折させたりする。撮像素子１２は、光学系１１を介して入射した光信号を電気信号に変換する半導体センサーであり、複数の画素を有している。Ａ／Ｄ変換部１３は、撮像素子１２が出力したアナログの画像信号をデジタルの画像信号に変換する。   The optical system 11 is configured to include one or a plurality of lenses, and collects or refracts an optical signal incident on the image sensor 12. The imaging element 12 is a semiconductor sensor that converts an optical signal incident through the optical system 11 into an electrical signal, and has a plurality of pixels. The A / D converter 13 converts the analog image signal output from the image sensor 12 into a digital image signal.

画像処理装置１４は、デジタルシグナルプロセッサ等から構成され、Ａ／Ｄ変換部１３が出力した画像信号やフレームメモリ１７に記憶した画像データに対して所定の画像処理を行う。この場合、画像処理装置１４は、画像信号処理部２０と、データ圧縮部２１と、歪曲収差補正領域判定部２２と、歪曲収差補正部２３と、データ圧縮伸張部２４とを備えている。   The image processing apparatus 14 includes a digital signal processor and the like, and performs predetermined image processing on the image signal output from the A / D conversion unit 13 and the image data stored in the frame memory 17. In this case, the image processing apparatus 14 includes an image signal processing unit 20, a data compression unit 21, a distortion correction region determination unit 22, a distortion correction unit 23, and a data compression / decompression unit 24.

画像信号処理部２０は、Ａ／Ｄ変換部１３が出力した画像信号に対して例えばＲＧＢ信号（色を赤・緑・青の３色で表現する方式）からＹＣ信号（色を輝度と色相で表現する方式）へ変換する処理を行い、求めた画像データをデータ圧縮部２１へと出力する。   For example, the image signal processing unit 20 outputs an RGB signal (a method for expressing colors in three colors of red, green, and blue) to a YC signal (color is expressed in luminance and hue) with respect to the image signal output from the A / D conversion unit 13. The image data thus obtained is output to the data compression unit 21.

データ圧縮部２１は、後述する歪曲収差補正領域判定部２２の判定結果に応じて、画像信号処理部２０から入力した画像データを所定の符号化処理によって圧縮し、外部のフレームメモリ１７に書き込む圧縮画像データとして出力する。すなわち、データ圧縮部２１は、圧縮画像データを求めるとともに、出力した圧縮画像データをシステムバス１５を介してフレームメモリ１７に書き込む。   The data compression unit 21 compresses the image data input from the image signal processing unit 20 by a predetermined encoding process according to the determination result of the distortion aberration correction region determination unit 22 to be described later, and writes the compressed image data to the external frame memory 17. Output as image data. That is, the data compression unit 21 obtains compressed image data and writes the output compressed image data to the frame memory 17 via the system bus 15.

歪曲収差補正領域判定部２２は、画像信号処理部２０が出力した画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定し、判定した結果をデータ圧縮部２１に対して出力する。   The distortion aberration correction area determination unit 22 determines whether or not a plurality of pixels included in the image data output from the image signal processing unit 20 are used for distortion correction, and the determination result is data-compressed. Output to the unit 21.

歪曲収差補正部２３は、画像処理装置１４内の所定の記憶部に予め格納されている複数の設定値（つまりパラメータ）を参照し、データ圧縮伸張部２４で伸張された画像データに対して歪曲収差の補正を行う。この設定値は、光学系１１や撮像素子１２の仕様、設定状態や動作状態及び歪曲収差の補正の強弱の設定状態等に応じて計算や実測値に基づいて予め設定された値である。歪曲収差補正部２３は、例えば、図７に示した着目点に対応する原画像の座標（すなわち対応点の座標）を求め、その対応点の複数の周辺画素の画素値を補間処理することで求めた対応点の画素値を、着目点の画素値とする処理を行うことで歪曲収差を補正する。歪曲収差補正部２３は、歪曲収差を補正した画像データをデータ圧縮伸張部２４に対して出力し、データ圧縮伸張部２４によって圧縮する。   The distortion aberration correction unit 23 refers to a plurality of setting values (that is, parameters) stored in advance in a predetermined storage unit in the image processing apparatus 14, and distorts the image data expanded by the data compression / decompression unit 24. Aberration correction is performed. This set value is a value set in advance based on calculations and actual measurement values according to the specifications of the optical system 11 and the image sensor 12, the setting state and operating state, and the setting state of the distortion correction strength. For example, the distortion aberration correcting unit 23 obtains the coordinates of the original image corresponding to the point of interest shown in FIG. 7 (that is, the coordinates of the corresponding point), and interpolates the pixel values of a plurality of peripheral pixels of the corresponding point. The distortion is corrected by performing the process of using the pixel value of the obtained corresponding point as the pixel value of the point of interest. The distortion correction unit 23 outputs the image data corrected for distortion to the data compression / decompression unit 24, and the data compression / decompression unit 24 compresses the image data.

データ圧縮伸張部２４は、フレームメモリ１７に記憶されているデータ圧縮部２１が圧縮した圧縮画像データをシステムバス１５を介してフレームメモリ１７から読み出す。そして、データ圧縮伸張部２４は、データ圧縮部２１における符号化処理（すなわち圧縮処理）に対応した復号化処理（すなわち伸張処理）を行い、復号した（すなわち伸張した）画像データを歪曲収差補正部２３に対して出力する。データ圧縮伸張部２４は、また、歪曲収差補正部２３によって歪曲収差が補正された画像データを圧縮し、システムバス１５を介してフレームメモリ１７に対して書き込む。   The data compression / decompression unit 24 reads the compressed image data compressed by the data compression unit 21 stored in the frame memory 17 from the frame memory 17 via the system bus 15. The data compression / decompression unit 24 performs a decoding process (that is, a decompression process) corresponding to the encoding process (that is, the compression process) in the data compression unit 21, and the decoded (that is, the decompressed) image data is a distortion aberration correction unit. Output to 23. The data compression / decompression unit 24 also compresses the image data whose distortion has been corrected by the distortion correction unit 23 and writes the compressed image data to the frame memory 17 via the system bus 15.

なお、歪曲収差補正部２３及びデータ圧縮伸張部２４は、歪曲収差の補正や圧縮及び伸張処理を、画像データのフレーム単位で行ってもよいし、１フレームを複数の領域に分割してその分割した領域毎に行ってもよい。   Note that the distortion correction unit 23 and the data compression / decompression unit 24 may perform distortion correction, compression, and expansion processing in units of image data frames, or divide one frame into a plurality of regions. This may be done for each area.

システムバス１５はＣＰＵ１６、フレームメモリ１７、データ圧縮部２１、データ圧縮伸張部２４等の各部を相互に接続し、画像データ等のデータを転送する。   The system bus 15 interconnects the CPU 16, the frame memory 17, the data compression unit 21, the data compression / decompression unit 24, and transfers data such as image data.

ＣＰＵ１６は、例えば不揮発性記憶装置を内部に備え、その不揮発性記憶装置に記憶されているプログラムを実行することで、光学系１１、撮像素子１２、Ａ／Ｄ変換部１３、画像処理装置１４、フレームメモリ１７等の各部を制御する。   The CPU 16 includes, for example, a non-volatile storage device, and executes a program stored in the non-volatile storage device, so that the optical system 11, the image sensor 12, the A / D conversion unit 13, the image processing device 14, Controls each part of the frame memory 17 and the like.

フレームメモリ１７は、例えばＤＲＡＭ（ダイナミックランダムアクセスメモリ）、ＳＲＡＭ（スタティックランダムアクセスメモリ）等からなり、１又は複数フレーム分の画像データ等を記憶する。このフレームメモリ１７は、画像処理装置１４外部の記憶部の一構成例である。   The frame memory 17 is composed of, for example, a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory) or the like, and stores image data for one or a plurality of frames. The frame memory 17 is a configuration example of a storage unit outside the image processing apparatus 14.

なお、図１に示した構成は主な構成要素を示したものであり、撮像装置１は、例えば、他に電源回路、表示部、操作部、外部記録媒体の読み書き装置、通信装置、バッテリ等の構成要素の一部又は全部を備えることができる。   The configuration shown in FIG. 1 shows main components. The imaging apparatus 1 includes, for example, a power supply circuit, a display unit, an operation unit, an external recording medium read / write device, a communication device, a battery, and the like. A part or all of the components can be provided.

次に、図２から図４を参照して、図１に示したデータ圧縮部２１と歪曲収差補正領域判定部２２の構成例について説明する。図２に示したデータ圧縮部２１は、指定領域トリミング部３１と、画素値置換部３２と、隣接画素差分値算出部３３と、可変長符号化部３４とを備えている。一方、歪曲収差補正領域判定部２２は、トリミング領域指定部４１と、歪曲収差補正使用画素判定部４２とを備えている。   Next, configuration examples of the data compression unit 21 and the distortion correction region determination unit 22 illustrated in FIG. 1 will be described with reference to FIGS. The data compression unit 21 illustrated in FIG. 2 includes a designated area trimming unit 31, a pixel value replacement unit 32, an adjacent pixel difference value calculation unit 33, and a variable length coding unit 34. On the other hand, the distortion correction region determination unit 22 includes a trimming region specification unit 41 and a distortion aberration correction use pixel determination unit 42.

指定領域トリミング部３１は、図１に示した画像信号処理部２０が出力した画像データを入力し、トリミング領域指定部４１によって指定された領域をトリミングして、トリミング後画像データとして出力する。ここで図３を参照して指定領域トリミング部３１の動作例について説明する。図３は、指定領域トリミング部３１に入力される画像データの一例を画像データ５１として模式的に示すとともに、指定領域トリミング部３１が出力するトリミング後画像データの一例をトリミング後画像データ５２として模式的に示している。画像データ５１は、「樽型歪み」が生じている画像であり、斜線で示した領域６１内の複数の画素を用いて図１の歪曲収差補正部２３は歪みを補正した画像データを生成する。したがって、斜線で示した領域６１より外側の領域６２は、その領域６２内の画素が歪曲収差補正部２３によって使用されない画素となる。そこで指定領域トリミング部３１は、入力される画像データ５１の上下左右の端部で領域６２が各端部からの長さが最小となる画素数Ｙ１、Ｙ２、Ｘ１及びＸ２を表す情報を、トリミング領域指定部４１から取得する。そして、指定領域トリミング部３１は、入力される画像データ５１から画素数Ｙ１、Ｙ２、Ｘ１及びＸ２分上下左右の端部をトリミングしたトリミング後画像データ５２を生成し、画素値置換部３２に対して出力する。   The designated area trimming unit 31 receives the image data output from the image signal processing unit 20 shown in FIG. 1, trims the area designated by the trimming area designation unit 41, and outputs the trimmed image data. Here, an example of the operation of the designated area trimming unit 31 will be described with reference to FIG. FIG. 3 schematically shows an example of image data input to the designated area trimming unit 31 as image data 51, and schematically shows an example of the trimmed image data output from the designated area trimming unit 31 as trimmed image data 52. Is shown. The image data 51 is an image in which “barrel distortion” occurs, and the distortion aberration correcting unit 23 in FIG. 1 generates image data in which the distortion is corrected by using a plurality of pixels in the region 61 indicated by oblique lines. . Accordingly, the region 62 outside the region 61 indicated by the oblique lines is a pixel in which the pixels in the region 62 are not used by the distortion correction unit 23. Therefore, the designated area trimming unit 31 trims information indicating the number of pixels Y1, Y2, X1, and X2 in which the area 62 has the minimum length from each end at the upper, lower, left, and right ends of the input image data 51. Obtained from the area designation unit 41. Then, the designated area trimming unit 31 generates trimmed image data 52 obtained by trimming the upper, lower, left and right ends of the input image data 51 by the number of pixels Y1, Y2, X1, and X2, and the pixel value replacement unit 32 Output.

画素値置換部３２は、指定領域トリミング部３１から入力したトリミング後画像データ５２が含む複数の画素のうち、図１の歪曲収差補正部２３による歪曲収差の補正で当該画素が使用されるか否かを判定した結果が「使用されない」との判定結果である画素について、その画素の画素値を所定の固定値（例えば‘０’）に置き換える処理を行う。すなわち、図３に示した例では、トリミング後画像データ５２内の領域６２内の画素が「使用されない」と判定される画素であるため、領域６２内の各画素の画素値が‘０’に置換される。一方、画素値置換部３２は、「使用される」との判定結果である画素については、その画素の画素値をそのまま変化させない。   The pixel value replacement unit 32 determines whether or not the pixel is used in the correction of distortion by the distortion correction unit 23 in FIG. 1 among the plurality of pixels included in the post-trimming image data 52 input from the designated region trimming unit 31. For a pixel whose determination result is “not used”, the pixel value of the pixel is replaced with a predetermined fixed value (eg, “0”). That is, in the example shown in FIG. 3, since the pixels in the area 62 in the trimmed image data 52 are determined as “not used”, the pixel value of each pixel in the area 62 is set to “0”. Replaced. On the other hand, the pixel value replacement unit 32 does not change the pixel value of the pixel that is the determination result of “used” as it is.

次に、歪曲収差補正使用画素判定部４２について説明する。歪曲収差補正使用画素判定部４２は、複数の歪曲収差補正領域判別ルックアップテーブル４３（以下、ＬＵＴ４３と称する）を備えている。ＬＵＴ４３は、処理対象となるリミング後画像データ５２内の各画素が歪曲収差補正で使用されるか否かを示す情報を有するテーブルである。図５及び図６を参照して説明した歪曲収差は、光学系１１や撮像素子１２の仕様や設定状態、動作状態等に応じて複数の態様で変化する。そのため、図１の歪曲収差補正部２３の処理を行う際の設定パラメータは、歪曲収差、及び歪曲収差の補正の強弱の設定の態様に合わせて予め複数用意され、更に、それぞれの設定パラメータに対応する歪曲収差補正使用画素判定部４２の設定パラメータが予め用意されている。この実施形態において歪曲収差補正使用画素判定部４２の設定パラメータは、ＬＵＴ４３と、３種類の設定値とを含んでいる。ここで図４を参照して歪曲収差補正使用画素判定部４２の設定パラメータについて説明する。図４は、図３に示したトリミング後画像データ５２に対応する設定パラメータの一例を説明するための図である。   Next, the distortion correction used pixel determination unit 42 will be described. The distortion aberration correction use pixel determination unit 42 includes a plurality of distortion aberration correction region determination lookup tables 43 (hereinafter referred to as LUTs 43). The LUT 43 is a table having information indicating whether each pixel in the post-rimming image data 52 to be processed is used for distortion correction. The distortion described with reference to FIGS. 5 and 6 changes in a plurality of modes according to the specifications, the setting state, the operation state, and the like of the optical system 11 and the image sensor 12. Therefore, a plurality of setting parameters are prepared in advance according to the setting of distortion aberration and the strength of distortion correction, and the corresponding parameters are set for the processing of the distortion aberration correcting unit 23 in FIG. Setting parameters of the distortion aberration correction pixel determining unit 42 to be used are prepared in advance. In this embodiment, the setting parameters of the distortion aberration correction pixel determining unit 42 include an LUT 43 and three types of setting values. Here, with reference to FIG. 4, setting parameters of the distortion aberration correction use pixel determination unit 42 will be described. FIG. 4 is a view for explaining an example of setting parameters corresponding to the trimmed image data 52 shown in FIG.

歪曲収差補正使用画素判定部４２の設定パラメータに含まれている３種類の設定値のうちの１つは、図３を参照して説明したトリミング領域指定部４１が不要領域を指定する際に用いる情報である上下左右のトリミング幅を示した画素数Ｙ１、Ｙ２、Ｘ１及びＸ２を表す情報である。トリミング領域指定部４１は、この設定値を参照して、トリミング対象となる領域を示す情報を指定領域トリミング部３１に対して出力する。   One of the three types of setting values included in the setting parameters of the distortion aberration correction pixel determining unit 42 is used when the trimming region specifying unit 41 described with reference to FIG. 3 specifies an unnecessary region. This is information indicating the number of pixels Y1, Y2, X1, and X2 indicating the upper, lower, left, and right trimming widths. The trimming area designating unit 41 refers to the set value and outputs information indicating the area to be trimmed to the designated area trimming unit 31.

他の設定値の１つは、ＬＵＴ４３の各エントリが何個の画素を単位として各画素の使用・不使用の判定結果を表しているのかを示す情報である。この設定値は、例えば、各エントリが対応する垂直方向の画素数と水平方向の画素数とを表す情報である。ＬＵＴ４３において各エントリが、１画素毎に使用するか否かの判定結果を示すものである場合（すなわち各画素に対してエントリを持たせる場合には）垂直方向の画素数が１、水平方向の画素数が１となる。例えば垂直及び水平の画素数を２分の１に間引き、垂直２画素及び水平２画素の４画素毎に使用するか否かの判定結果を示す場合（すなわち水平・垂直２画素置きにエントリを持たせる場合には）垂直方向の画素数が２、水平方向の画素数が２となる。また、例えば垂直及び水平の画素数を４分の１に間引き、垂直４画素及び水平４画素の１６画素毎に使用するか否かの判定結果を示す場合（すなわち水平・垂直４画素置きにエントリを持たせる場合には）垂直方向の画素数が４、水平方向の画素数が４となる。   One of the other set values is information indicating how many pixels each entry of the LUT 43 represents the use / non-use determination result of each pixel. This set value is, for example, information indicating the number of pixels in the vertical direction and the number of pixels in the horizontal direction to which each entry corresponds. In the LUT 43, when each entry indicates a determination result as to whether or not each pixel is used (that is, when each pixel has an entry), the number of vertical pixels is 1, and the horizontal direction The number of pixels is 1. For example, when the number of vertical and horizontal pixels is decimated by half and the result of determination of whether to use every 4 pixels of 2 vertical pixels and 2 horizontal pixels is indicated (that is, there is an entry for every two horizontal and vertical pixels) The number of pixels in the vertical direction is 2 and the number of pixels in the horizontal direction is 2. In addition, for example, when the number of vertical and horizontal pixels is thinned down to a quarter and the result of determining whether to use every 16 pixels of vertical 4 pixels and horizontal 4 pixels is shown (that is, every horizontal and vertical 4 pixels are entered) The number of pixels in the vertical direction is 4, and the number of pixels in the horizontal direction is 4.

残りの設定値は、図４に示したトリミング後画像データ５２の中で、ＬＵＴ４３内に使用・不使用に関する情報を含ませない複数の画素からなる領域である、除外領域５２２の左上の画素の垂直及び水平座標Ｖ１及びＨ１と、同除外領域５２２の右下の画素の垂直及び水平座標Ｖ２及びＨ２とを表す情報を含んでいる。歪曲収差の補正に使用されない画素は画像外縁部に限定される為、画像中心部を除外領域５２２として設定することで、ＬＵＴ４３のエントリ数を減らし、ＬＵＴ４３の回路規模を小さくすることができる。除外領域５２２内の画素については、画素値置換部３２による画素の置換が行われない。   The remaining set values are the upper left pixel of the excluded area 522, which is an area composed of a plurality of pixels in the LUT 43 that does not include information on use / nonuse in the trimmed image data 52 shown in FIG. It includes information representing the vertical and horizontal coordinates V1 and H1 and the vertical and horizontal coordinates V2 and H2 of the lower right pixel of the exclusion area 522. Since the pixels that are not used for distortion correction are limited to the outer edge portion of the image, setting the image center portion as the exclusion region 522 can reduce the number of entries in the LUT 43 and reduce the circuit scale of the LUT 43. For the pixels in the exclusion region 522, the pixel replacement by the pixel value replacement unit 32 is not performed.

ＬＵＴ４３は、トリミング後画像データ５２において、除外領域５２２を除いた領域に対して、１又は複数画素毎の領域５２１毎に領域５２１内に歪曲収差補正で使用される画素が含まれているか否かを示す情報を、各１ビットの情報Ａ０、Ａ１、Ａ２、Ａ３、…、Ａｎとして含んでいる。図４に示した例では、水平２画素及び垂直２画素の４画素からなる領域５２１毎に当該領域５２１に歪曲収差補正で使用される画素が含まれているか否かを示す情報Ａ０、Ａ１、Ａ２、Ａ３、…、Ａｎが対応付けられている。ＬＵＴ４３のエントリにはそれぞれ１ｂｉｔの値Ａ０、Ａ１、Ａ２、Ａ３、…、Ａｎが格納されている。そのエントリに含まれる画素の内、歪曲収差補正に使用される画素が１画素でもあれば値Ａ０、Ａ１、Ａ２、Ａ３、…、Ａｎに‘１’をセットし、全くない場合には‘０’をセットする。当該画素が歪曲収差補正に使用されるか否かの判断は、予め計算によって求めたり、実測値に基づいて決定したりすることができる。   Whether or not the LUT 43 includes, in the post-trimming image data 52, pixels used for correcting distortion aberration in the region 521 for each region 521 of one or a plurality of pixels with respect to the region excluding the excluded region 522. Are included as 1-bit information A0, A1, A2, A3,..., An. In the example shown in FIG. 4, information A0, A1, and the like indicating whether or not each region 521 composed of four pixels of two horizontal pixels and two vertical pixels includes pixels used for distortion correction. A2, A3,..., An are associated with each other. Each entry of the LUT 43 stores 1-bit values A0, A1, A2, A3,. The value A0, A1, A2, A3,..., An is set to “1” if there is at least one pixel used for distortion correction among the pixels included in the entry. Set '. Whether or not the pixel is used for distortion correction can be determined in advance by calculation, or can be determined based on an actual measurement value.

決定方法の一例として、歪曲収差補正領域判別ＬＵＴ４３のデータの算出方法の例を示す。まずはＬＵＴ４３の全てのエントリを‘０’クリアする。次に図１の歪曲収差補正部２３において実行される処理のソフトウェアシミュレーションを１画素ずつ実行して、式（１）に示す様に着目点に対応する原画像の座標を求める。対応点の画素値は周辺画素の画素値を補間する事で求められ、補間方法に応じて必要な周辺画素の範囲が変わる。例えば４ｘ４のバイキュービック補間を行うのであれば、対応点の周辺１６画素が使用される事になる。対応点の周辺画素位置を求めたら、その画素が含まれるＬＵＴ４３のエントリに‘１’をセットする。これを全ての着目点分繰り返す。尚、歪曲収差補正領域判別ＬＵＴ４３は、歪曲収差補正の設定や、光学系１１内のレンズのズームポジション等に応じて複数作成しておく。   As an example of the determination method, an example of a method for calculating data of the distortion correction region determination LUT 43 will be described. First, all entries in the LUT 43 are cleared to “0”. Next, a software simulation of processing executed in the distortion correction unit 23 in FIG. 1 is executed pixel by pixel, and coordinates of the original image corresponding to the point of interest are obtained as shown in Expression (1). The pixel value of the corresponding point is obtained by interpolating the pixel values of the peripheral pixels, and the necessary peripheral pixel range varies depending on the interpolation method. For example, if 4 × 4 bicubic interpolation is performed, 16 pixels around the corresponding point are used. When the peripheral pixel position of the corresponding point is obtained, “1” is set in the entry of the LUT 43 including the pixel. This is repeated for all points of interest. Note that a plurality of distortion aberration correction region determination LUTs 43 are created according to the distortion aberration correction setting, the zoom position of the lens in the optical system 11, and the like.

歪曲収差補正使用画素判定部４２は、光学系１１や撮像素子１２の仕様や設定状態、動作状態等、及び歪曲収差の補正の強弱の設定状態等に応じて決定される歪曲収差補正部２３の設定パラメータに対応した設定パラメータ（すなわちＬＵＴ４３と３種類の設定値との組）の１つを選択し、トリミング後画像データ５２の各画素の判定結果を例えば１ビットの情報として生成し、画素値置換部３２に対して出力する。   The distortion aberration correction use pixel determination unit 42 includes a distortion aberration correction unit 23 that is determined according to the specifications, the setting state, the operation state, and the like of the optical system 11 and the imaging element 12 and the setting state of the distortion correction strength. One of the setting parameters corresponding to the setting parameter (that is, a set of the LUT 43 and three types of setting values) is selected, and the determination result of each pixel of the trimmed image data 52 is generated as, for example, 1-bit information. The data is output to the replacement unit 32.

次に、図２に示した隣接画素差分値算出部３３は、画素値置換部３２が出力した画素値置換後画像データを入力し、画素毎に隣接画素の画素値との差分値を算出し、画素数分の差分値からなるデータ（図２では隣接画素差分値として示したデータ）を出力する。なお、差分値を１つ前の画素の画素値と、当該画素の画素値との差分として求める場合、最初の画素については例えば当該画素の画素値を差分値とする。   Next, the adjacent pixel difference value calculation unit 33 illustrated in FIG. 2 receives the pixel value replacement image data output from the pixel value replacement unit 32, and calculates a difference value from the pixel value of the adjacent pixel for each pixel. Then, data composed of difference values for the number of pixels (data shown as adjacent pixel difference values in FIG. 2) is output. Note that when the difference value is obtained as a difference between the pixel value of the previous pixel and the pixel value of the pixel, for the first pixel, for example, the pixel value of the pixel is set as the difference value.

次に、可変長符号化部３４は、隣接画素差分値算出部３３から入力した各隣接画素差分値を、予め設定した変換表を参照し、可変長の符号化データ（すなわち可変長の符号語）に変換する。変換表では、隣接画素差分値のうち出現頻度が大きいものに符号長が短い符号語を割り当て、出現頻度が比較的小さいものには符号長が比較的長い符号語を割り当てておく。本実施形態では、画素値置換部３２が、歪曲収差補正で使用されない画素の画素値をすべて同一の所定の固定値に置換しているので、使用されない画素が複数隣接して存在する領域では隣接画素の画素値が同一値となり、差分値は‘０’となる。したがって、例えば差分値‘０’に対応する符号語の符号長を小さな値にしておけば、使用されない画素が複数存在する領域に対応する符号語系列のビット数を小さくすることができる。可変長符号化部３４は、符号化処理によって算出した画像データを圧縮画像データとして図１のフレームメモリ１７に格納する。   Next, the variable length encoding unit 34 refers to the conversion table set in advance for each adjacent pixel difference value input from the adjacent pixel difference value calculation unit 33, and encodes variable length encoded data (that is, a variable length codeword). ). In the conversion table, codewords having a short code length are assigned to those having a high appearance frequency among adjacent pixel difference values, and codewords having a relatively long code length are assigned to those having a relatively low appearance frequency. In the present embodiment, since the pixel value replacement unit 32 replaces all pixel values of pixels that are not used in distortion correction with the same predetermined fixed value, the pixel value replacement unit 32 is adjacent in a region where a plurality of pixels that are not used exist. The pixel values of the pixels are the same value, and the difference value is “0”. Therefore, for example, if the code length of the code word corresponding to the difference value “0” is set to a small value, the number of bits of the code word sequence corresponding to the area where a plurality of unused pixels are present can be reduced. The variable length encoding unit 34 stores the image data calculated by the encoding process in the frame memory 17 of FIG. 1 as compressed image data.

以上のようにして図２に示した構成例では、データ圧縮部２１が、歪曲収差補正領域判定部２２の判定結果に応じて、画像信号処理部２０から入力した画像データを可変長符号を用いた符号化処理によって圧縮し、外部のフレームメモリ１７に書き込む圧縮画像データとして出力する。   In the configuration example shown in FIG. 2 as described above, the data compression unit 21 uses the variable length code for the image data input from the image signal processing unit 20 according to the determination result of the distortion correction region determination unit 22. The compressed image data is compressed by the encoding process, and is output as compressed image data to be written in the external frame memory 17.

本実施形態によれば、画像処理装置１４外部のフレームメモリ１７に書き込む画像データに含まれている複数の画素が歪曲収差の補正に使用されるか否かの判定結果に応じて、データ圧縮部２１によって、画像データが所定の符号化処理を用いて圧縮される。この構成によれば例えば歪曲収差の補正に使用されない画素の画素値を、例えば所定の固定値に置換するという、当該画素の画素値を無効化するような符号化処理を行うことができ、画像データの圧縮率を高めて、画像データの転送量を削減することができる。なお、この符号化処理では、後段の歪曲収差補正部２３で使用されない領域の画素値のみを無効化する為、この処理を追加する事による画質劣化は発生しない。   According to the present embodiment, the data compression unit according to the determination result of whether or not a plurality of pixels included in the image data to be written to the frame memory 17 outside the image processing device 14 is used for correcting distortion. 21 compresses the image data using a predetermined encoding process. According to this configuration, for example, a pixel value of a pixel that is not used for correcting distortion aberration can be subjected to an encoding process that invalidates the pixel value of the pixel, for example, by replacing the pixel value with a predetermined fixed value. The amount of image data transferred can be reduced by increasing the data compression rate. Note that in this encoding process, only pixel values in a region that is not used in the subsequent distortion correction unit 23 are invalidated, so image quality deterioration due to the addition of this process does not occur.

なお、本発明の実施の形態は上記のものに限定されない。例えば、データ圧縮部２１と歪曲収差補正領域判定部２２のブロック分けは図１に示したものに限らない。すなわち、図２を参照して説明した指定領域トリミング部３１、トリミング領域指定部４１、画素値置換部３２、歪曲収差補正使用画素判定部４２の各機能を一体的なものとして、４より小さいブロック構成とするように各ブロックの構成を統合するなどの変更が可能である。つまり、データ圧縮部２１と歪曲収差補正領域判定部２２とは一体的な構成とすることができる。   The embodiment of the present invention is not limited to the above. For example, the block division of the data compression unit 21 and the distortion aberration correction region determination unit 22 is not limited to that shown in FIG. In other words, the functions of the designated area trimming unit 31, the trimming area designation unit 41, the pixel value replacement unit 32, and the distortion aberration correction use pixel determination unit 42 described with reference to FIG. It is possible to make changes such as integrating the configuration of each block so as to be a configuration. That is, the data compression unit 21 and the distortion aberration correction region determination unit 22 can be integrated.

また、図４に示した除外領域５２２を設けず、ＬＵＴ４３内ですべての画素に対して使用又は不使用を示す情報を対応付けるようにしてもよい。また、ＬＵＴ４３に代えて、あるいはＬＵＴ４３のエントリ数を削減するとともに、１又は複数の計算式を設定し、その計算式の計算結果を用いて各画素の使用・不使用を判定するような構成を用いることもできる。   Further, the exclusion area 522 shown in FIG. 4 may not be provided, and information indicating use or non-use may be associated with all pixels in the LUT 43. Further, instead of the LUT 43, or the number of entries in the LUT 43 is reduced, one or a plurality of calculation formulas are set, and the use / non-use of each pixel is determined using the calculation results of the calculation formulas. It can also be used.

１…撮像装置、１１…光学系、１２…撮像素子、１３…Ａ／Ｄ変換部、１４…画像処理装置、１５…システムバス、１６…ＣＰＵ、１７…フレームメモリ、２１…データ圧縮部、２２…歪曲収差補正領域判定部、２３…歪曲収差補正部、２４…データ圧縮伸張部、３１…指定領域トリミング部、３２…画素値置換部、３３…隣接画素差分値算出部、３４…可変長符号化部、４１…トリミング領域指定部、４２…歪曲収差補正使用画素判定部、４３…歪曲収差補正領域判別ルックアップテーブル DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... Optical system, 12 ... Imaging device, 13 ... A / D conversion part, 14 ... Image processing apparatus, 15 ... System bus, 16 ... CPU, 17 ... Frame memory, 21 ... Data compression part, 22 ... distortion aberration correction region determination unit, 23 ... distortion aberration correction unit, 24 ... data compression / expansion unit, 31 ... designated region trimming unit, 32 ... pixel value replacement unit, 33 ... adjacent pixel difference value calculation unit, 34 ... variable length code , 41... Trimming area designation section, 42... Distortion distortion correction use pixel determination section, 43.

Claims (5)

所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、
前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、外部の記憶部に書き込む圧縮画像データとして出力するデータ圧縮部と
を備え、
前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、１又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする記載の画像処理装置。 A distortion aberration correction area determination unit that determines whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correction of distortion;
A data compression unit that compresses the image data by a predetermined encoding process according to a determination result of the distortion correction region determination unit and outputs the compressed image data to be written in an external storage unit ;
Indicates whether the distortion aberration correction area determination unit is used to correct the distortion aberration for each pixel or a plurality of pixels excluding the pixel located at the center of the image represented by the image data. The image processing apparatus according to claim 1, further comprising: a table in which information is associated, and determining whether or not the plurality of pixels are used for correcting the distortion with reference to the table . 前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で可変長符号を用いた符号化処理によって前記画像データを圧縮する
ことを特徴とする請求項１に記載の画像処理装置。 The data compression unit replaces the pixel value of the pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value, and then performs the encoding process using a variable length code. The image processing apparatus according to claim 1, wherein the image data is compressed. 前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で前記画像データが含む隣接画素の画素値との差分値を求め、その差分値を可変長符号に変換する符号化処理によって前記画像データを圧縮する
ことを特徴とする請求項２に記載の画像処理装置。 The data compression unit replaces the pixel value of the pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value, and the pixel value of the adjacent pixel included in the image data The image processing apparatus according to claim 2 , wherein the image data is compressed by an encoding process in which a difference value is obtained and the difference value is converted into a variable length code. 所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定するステップと、
前記判定の結果に応じて前記画像データを所定の符号化処理によって圧縮し、所定の記憶部に記憶するステップと
を含み、
前記歪曲収差の補正に使用されるか否かを判定するステップにおいて、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、１又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする画像処理方法。 Determining whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correction of distortion;
Wherein said image data according to the result of the determination is compressed by a predetermined encoding processing, viewing containing and storing in a predetermined storage unit,
In the step of determining whether or not to use the correction of the distortion aberration, the distortion aberration correction is performed for each pixel or for each pixel excluding the pixel located at the center of the image represented by the image data. A table in which information indicating whether or not the pixel is used is associated, and whether or not the plurality of pixels are used for correcting the distortion is determined with reference to the table. Image processing method. 光学系と、
前記光学系を介して入力した光信号を電気信号に変換する撮像素子と、
前記撮像素子から出力された電気信号に基づいて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、
前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、圧縮画像データとして出力するデータ圧縮部と、
前記データ圧縮部が出力した圧縮画像データを記憶する記憶部と
を備え、
前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、１又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする撮像装置。 Optical system,
An image sensor for converting an optical signal input via the optical system into an electrical signal;
A distortion aberration correction region determination unit that determines whether or not a plurality of pixels included in image data generated based on an electrical signal output from the image sensor is used for correction of distortion;
A data compression unit that compresses the image data by a predetermined encoding process according to a determination result of the distortion correction region determination unit, and outputs the compressed image data as compressed image data;
A storage unit for storing the compressed image data output by the data compression unit ,
Indicates whether the distortion aberration correction area determination unit is used to correct the distortion aberration for each pixel or a plurality of pixels excluding the pixel located at the center of the image represented by the image data. An imaging apparatus comprising a table in which information is associated, and determining whether or not the plurality of pixels are used for correcting the distortion aberration with reference to the table .
JP2013255482A 2013-12-10 2013-12-10 Image processing apparatus, image processing method, and imaging apparatus Active JP6275468B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013255482A JP6275468B2 (en) 2013-12-10 2013-12-10 Image processing apparatus, image processing method, and imaging apparatus
KR1020140051908A KR102138331B1 (en) 2013-12-10 2014-04-29 Image processing apparatus, image processing method, and photographing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013255482A JP6275468B2 (en) 2013-12-10 2013-12-10 Image processing apparatus, image processing method, and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2015115720A JP2015115720A (en) 2015-06-22
JP6275468B2 true JP6275468B2 (en) 2018-02-07

Family

ID=53515462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013255482A Active JP6275468B2 (en) 2013-12-10 2013-12-10 Image processing apparatus, image processing method, and imaging apparatus

Country Status (2)

Country Link
JP (1) JP6275468B2 (en)
KR (1) KR102138331B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072666B1 (en) 2016-01-26 2020-02-03 한국전자통신연구원 Optical imaging device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3897247B2 (en) 2002-05-16 2007-03-22 富士フイルム株式会社 Optical distortion correction method and correction apparatus
JP2007318596A (en) * 2006-05-29 2007-12-06 Opt Kk Compression method of image data by wide angle lens, expansion display method, compression apparatus, wide angle camera apparatus, and monitor system
JP5085506B2 (en) * 2008-10-24 2012-11-28 オリンパス株式会社 Imaging device
JP2010263500A (en) * 2009-05-08 2010-11-18 Fujitsu Ltd Video processing system, photography device, and method thereof
JP5811879B2 (en) 2012-02-10 2015-11-11 株式会社Ｊｖｃケンウッド Image processing apparatus and image processing method
JP6136190B2 (en) * 2012-10-23 2017-05-31 株式会社ソシオネクスト Image processing apparatus and imaging apparatus

Also Published As

Publication number Publication date
JP2015115720A (en) 2015-06-22
KR102138331B1 (en) 2020-07-27
KR20150067707A (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP5747136B2 (en) Image processing for HDR images
JP4151684B2 (en) Encoding apparatus, encoding method, encoding program, and imaging apparatus
JP4657367B2 (en) Image processing apparatus, imaging apparatus, and image distortion correction method
JP5660711B2 (en) Restoration gain data generation method
TW200913674A (en) Video camera
JP4992698B2 (en) Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program
US20130002905A1 (en) Imaging apparatus
US10621706B2 (en) Device for recording information about defective pixels, and defective pixel value correction device and method
JPH11250239A (en) Digital image pickup device for operating distortion correction by yuv data
TWI513303B (en) Apparatus and method for correction of distortion in digital image data
JPH11250238A (en) Digital image pickup device for operating distortion correction by block unit
US20180096456A1 (en) Image processing apparatus
JP6275468B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP6685198B2 (en) Imaging device, control method thereof, and program
JP5811879B2 (en) Image processing apparatus and image processing method
JPH11250240A (en) Digital image pickup device for operating distortion correction by yuv data
JP6352625B2 (en) Image data compression circuit, image data compression method, and imaging apparatus
JP2007129403A (en) Image encoder and image processing system
JP2004242125A (en) Image processor
JP2013106131A (en) Image processing device
JP2018067868A (en) Imaging apparatus
JP5359814B2 (en) Image processing device
JP7289642B2 (en) IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM
CN112532957B (en) Image processing method and device
JP5704057B2 (en) Image correction apparatus and image correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180110

R150 Certificate of patent or registration of utility model

Ref document number: 6275468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250