JP6275468B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP6275468B2 JP6275468B2 JP2013255482A JP2013255482A JP6275468B2 JP 6275468 B2 JP6275468 B2 JP 6275468B2 JP 2013255482 A JP2013255482 A JP 2013255482A JP 2013255482 A JP2013255482 A JP 2013255482A JP 6275468 B2 JP6275468 B2 JP 6275468B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- distortion
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 37
- 238000003384 imaging method Methods 0.000 title claims description 16
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims description 89
- 230000004075 alteration Effects 0.000 claims description 50
- 238000013144 data compression Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000009966 trimming Methods 0.000 description 22
- 230000006837 decompression Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007717 exclusion Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置、画像処理方法及び撮像装置に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device.
一般的に、監視カメラ、カムコーダー、デジタルスチルカメラなどの撮像装置により撮影された画像には、光学系の歪曲収差の影響により歪みが生じる。画像の中心部と周辺部とで結像倍率が異なるのが原因で、例えば正方格子画像を撮影した場合に、周辺に向かって結像倍率が小さくなると、図5に示すような「樽型歪み」が生じ、周辺に向かって結像倍率が大きくなると、図6に示すような「糸巻き型歪み」が生じる。 In general, an image captured by an imaging device such as a surveillance camera, a camcorder, or a digital still camera is distorted due to the distortion of an optical system. For example, when a square lattice image is taken and the image forming magnification decreases toward the periphery when the image forming magnification is different between the central portion and the peripheral portion of the image, the “barrel distortion” shown in FIG. "And the imaging magnification increases toward the periphery, the" pincushion distortion "as shown in FIG. 6 occurs.
図5及び図6に示したような歪曲収差の補正は、例えば、図7に示した着目点APに対応する原画像の座標(これを対応点CPの座標とも呼ぶ)を求め、その対応点CPの周辺複数画素の画素値を補間処理することで求めた対応点CPの画素値を、着目点APの画素値とする処理にて行うことができる。この場合に原画像の対応点CPの座標を求める手法としては、下式を用いたアルゴリズムがよく用いられる。なお、以下では下記の2式を式(1)として参照する。 The correction of distortion as shown in FIG. 5 and FIG. 6 is performed, for example, by obtaining the coordinates of the original image corresponding to the point of interest AP shown in FIG. This can be performed by processing the pixel value of the corresponding point CP obtained by interpolating the pixel values of a plurality of pixels around the CP as the pixel value of the point of interest AP. In this case, an algorithm using the following equation is often used as a method for obtaining the coordinates of the corresponding point CP of the original image. In the following, the following two formulas are referred to as formula (1).
hd=hu+(hu−h0)*(k1*r2+k2*r4)
vd=vu+(vu−v0)*(k1*r2+k2*r4) … (1)
hd = hu + (hu−h0) * (k1 * r 2 + k2 * r 4 )
vd = vu + (vu−v0) * (k1 * r 2 + k2 * r 4 ) (1)
ここで、(h0,v0)は歪み中心の座標、(hu,vu)は着目点APの座標、rは着目点APの歪み中心からの距離であり、パラメータk1,k2を使用して、着目点APに対応する原画像の対応点CPの座標(hd,vd)を求める事が出来る。 Here, (h0, v0) is the coordinates of the distortion center, (hu, vu) is the coordinates of the attention point AP, r is the distance from the distortion center of the attention point AP, and the parameters k1 and k2 are used for the attention. The coordinates (hd, vd) of the corresponding point CP of the original image corresponding to the point AP can be obtained.
上述した歪曲収差を補正するための技術の一例が特許文献1に記載されている。特許文献1に記載されている補正装置は、撮像素子が出力した画像信号をA/D(アナログ・デジタル)変換し、信号処理プロセッサで所定の信号処理を行った後、補正前(すなわち歪みの補正処理前)の画像データとして一旦メインメモリに格納する。次に、歪み補正部(ディストーション補正部)が、メインメモリに書き込まれている補正前の画像データを読み出し、歪曲収差の補正処理を行い、補正後の画像データをメインメモリに書き込む。この構成では、信号処理プロセッサと、歪み補正部と、メインメモリとが、バスを介して相互に接続されている。 An example of a technique for correcting the above-described distortion is described in Patent Document 1. The correction apparatus described in Patent Document 1 performs A / D (analog / digital) conversion on an image signal output from an image pickup device, performs predetermined signal processing by a signal processor, and then performs correction (that is, distortion correction). It is temporarily stored in the main memory as image data before correction processing. Next, a distortion correction unit (distortion correction unit) reads the uncorrected image data written in the main memory, performs distortion correction processing, and writes the corrected image data in the main memory. In this configuration, the signal processor, the distortion correction unit, and the main memory are connected to each other via a bus.
上述したように特許文献1に記載されている補正装置では、歪曲収差の補正処理にともない、バスを介して接続されているメモリに対して複数回のデータ読み書きが行われる。一般に、バスを介さないプロセッサ等の信号処理装置内部のデータ転送と比べ、バスを介して接続されている外部のメモリとの間のデータ転送では動作時の消費電力が大きくなる。このメモリアクセスによる消費電力は、データの転送量が多くなるほど大きくなる。また、データの転送量が多くなるとバス帯域幅が問題となることがある。このような問題の解決には歪み補正処理にともなう外部メモリとの間のデータ転送量の削減が課題となる。 As described above, in the correction apparatus described in Patent Document 1, data read / write is performed a plurality of times with respect to the memory connected via the bus in accordance with the distortion correction processing. In general, compared with data transfer inside a signal processing device such as a processor not via a bus, power consumption during operation is large in data transfer with an external memory connected via a bus. The power consumption due to this memory access increases as the data transfer amount increases. Also, the bus bandwidth may be a problem when the amount of data transferred increases. In order to solve such a problem, a reduction in the amount of data transferred to and from an external memory due to distortion correction processing becomes an issue.
本発明は、上記の事情を考慮してなされたものであり、歪曲収差補正にともなう画像データの転送量を削減することができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and an object thereof is to provide an image processing apparatus, an image processing method, and an imaging apparatus that can reduce the transfer amount of image data accompanying distortion correction. To do.
上記課題を解決するため、本発明による画像処理装置は、所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、外部の記憶部に書き込む圧縮画像データとして出力するデータ圧縮部とを備えることを特徴とする。 In order to solve the above problems, an image processing apparatus according to the present invention uses a plurality of pixels included in image data generated by using a predetermined optical system and a predetermined image sensor for correcting distortion. A distortion aberration correction area determination unit that determines whether or not the image data is compressed by a predetermined encoding process according to a determination result of the distortion aberration correction area determination unit, and the compressed image data is written to an external storage unit And a data compression unit that outputs the data as a data compression unit.
また、本発明による他の画像処理装置は、前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、1又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定することを特徴とする。 In another image processing apparatus according to the present invention, the distortion correction region determination unit may perform the distortion for each pixel or for each pixel excluding the pixel located at the center of the image represented by the image data. Having a table in which information indicating whether or not to be used for correction of aberration is associated, and referring to the table to determine whether or not the plurality of pixels are used for correcting the distortion Features.
また、本発明による他の画像処理装置は、前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で可変長符号を用いた符号化処理によって前記画像データを圧縮することを特徴とする。 In another image processing apparatus according to the present invention, the data compression unit replaces a pixel value of a pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value. The image data is compressed by an encoding process using a variable length code.
また、本発明による他の画像処理装置は、前記データ圧縮部が、前記歪曲収差補正領域判定部が前記歪曲収差の補正に使用されないと判定した画素の画素値を所定の固定値に置き換えた上で前記画像データが含む隣接画素の画素値との差分値を求め、その差分値を可変長符号に変換する符号化処理によって前記画像データを圧縮することを特徴とする。 In another image processing apparatus according to the present invention, the data compression unit replaces a pixel value of a pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value. The image data is compressed by an encoding process for obtaining a difference value between adjacent pixel values included in the image data and converting the difference value into a variable length code.
また、本発明による画像処理方法は、所定の光学系と所定の撮像素子とを用いて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定するステップと、前記判定の結果に応じて前記画像データを所定の符号化処理によって圧縮し、所定の記憶部に記憶するステップとを含むことを特徴とする。 Further, the image processing method according to the present invention determines whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correcting distortion. A step of determining, and a step of compressing the image data by a predetermined encoding process in accordance with a result of the determination and storing the compressed image data in a predetermined storage unit.
また、本発明による撮像装置は、光学系と、前記光学系を介して入力した光信号を電気信号に変換する撮像素子と、前記撮像素子から出力された電気信号に基づいて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、圧縮画像データとして出力するデータ圧縮部と、前記データ圧縮部が出力した圧縮画像データを記憶する記憶部とを備えることを特徴とする。 An image pickup apparatus according to the present invention includes an optical system, an image pickup device that converts an optical signal input through the optical system into an electric signal, and image data generated based on the electric signal output from the image pickup device. A distortion aberration correction region determination unit that determines whether or not a plurality of pixels included in the image are used for distortion correction, and the image data is determined in accordance with a determination result of the distortion aberration correction region determination unit. And a storage unit that stores the compressed image data output from the data compression unit.
本発明によれば、外部の記憶部に書き込む画像データに含まれている複数の画素が歪曲収差の補正に使用されるか否かの判定結果に応じて、画像データが所定の符号化処理によって圧縮される。この構成によれば例えば歪曲収差の補正に使用されない画素の画素値を無効化するような符号化処理を行うことができ、画像データの圧縮率を高めることで、画像データの転送量を削減することができる。 According to the present invention, image data is subjected to a predetermined encoding process according to a determination result of whether or not a plurality of pixels included in image data to be written in an external storage unit are used for correcting distortion. Compressed. According to this configuration, for example, it is possible to perform an encoding process that invalidates the pixel values of pixels that are not used for correcting distortion, and the image data transfer amount is reduced by increasing the compression rate of the image data. be able to.
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明による撮像装置の一実施形態の構成例を示したブロック図である。図1に示した撮像装置1は、例えば監視カメラ、カムコーダー、デジタルスチルカメラなどを構成したり、情報処理端末の内部に構成されたりする。この場合、撮像装置1は、光学系11と、撮像素子12と、A/D変換部13と、画像処理装置14と、システムバス15と、CPU(中央処理装置)16と、フレームメモリ17とを備えている。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of an embodiment of an imaging apparatus according to the present invention. The imaging device 1 illustrated in FIG. 1 is configured as, for example, a surveillance camera, a camcorder, a digital still camera, or the like, or configured inside an information processing terminal. In this case, the imaging apparatus 1 includes an optical system 11, an
光学系11は、1又は複数のレンズを有して構成され、撮像素子12に入射する光信号を集光したり、屈折させたりする。撮像素子12は、光学系11を介して入射した光信号を電気信号に変換する半導体センサーであり、複数の画素を有している。A/D変換部13は、撮像素子12が出力したアナログの画像信号をデジタルの画像信号に変換する。
The optical system 11 is configured to include one or a plurality of lenses, and collects or refracts an optical signal incident on the
画像処理装置14は、デジタルシグナルプロセッサ等から構成され、A/D変換部13が出力した画像信号やフレームメモリ17に記憶した画像データに対して所定の画像処理を行う。この場合、画像処理装置14は、画像信号処理部20と、データ圧縮部21と、歪曲収差補正領域判定部22と、歪曲収差補正部23と、データ圧縮伸張部24とを備えている。
The
画像信号処理部20は、A/D変換部13が出力した画像信号に対して例えばRGB信号(色を赤・緑・青の3色で表現する方式)からYC信号(色を輝度と色相で表現する方式)へ変換する処理を行い、求めた画像データをデータ圧縮部21へと出力する。
For example, the image
データ圧縮部21は、後述する歪曲収差補正領域判定部22の判定結果に応じて、画像信号処理部20から入力した画像データを所定の符号化処理によって圧縮し、外部のフレームメモリ17に書き込む圧縮画像データとして出力する。すなわち、データ圧縮部21は、圧縮画像データを求めるとともに、出力した圧縮画像データをシステムバス15を介してフレームメモリ17に書き込む。
The
歪曲収差補正領域判定部22は、画像信号処理部20が出力した画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定し、判定した結果をデータ圧縮部21に対して出力する。
The distortion aberration correction
歪曲収差補正部23は、画像処理装置14内の所定の記憶部に予め格納されている複数の設定値(つまりパラメータ)を参照し、データ圧縮伸張部24で伸張された画像データに対して歪曲収差の補正を行う。この設定値は、光学系11や撮像素子12の仕様、設定状態や動作状態及び歪曲収差の補正の強弱の設定状態等に応じて計算や実測値に基づいて予め設定された値である。歪曲収差補正部23は、例えば、図7に示した着目点に対応する原画像の座標(すなわち対応点の座標)を求め、その対応点の複数の周辺画素の画素値を補間処理することで求めた対応点の画素値を、着目点の画素値とする処理を行うことで歪曲収差を補正する。歪曲収差補正部23は、歪曲収差を補正した画像データをデータ圧縮伸張部24に対して出力し、データ圧縮伸張部24によって圧縮する。
The distortion
データ圧縮伸張部24は、フレームメモリ17に記憶されているデータ圧縮部21が圧縮した圧縮画像データをシステムバス15を介してフレームメモリ17から読み出す。そして、データ圧縮伸張部24は、データ圧縮部21における符号化処理(すなわち圧縮処理)に対応した復号化処理(すなわち伸張処理)を行い、復号した(すなわち伸張した)画像データを歪曲収差補正部23に対して出力する。データ圧縮伸張部24は、また、歪曲収差補正部23によって歪曲収差が補正された画像データを圧縮し、システムバス15を介してフレームメモリ17に対して書き込む。
The data compression /
なお、歪曲収差補正部23及びデータ圧縮伸張部24は、歪曲収差の補正や圧縮及び伸張処理を、画像データのフレーム単位で行ってもよいし、1フレームを複数の領域に分割してその分割した領域毎に行ってもよい。
Note that the
システムバス15はCPU16、フレームメモリ17、データ圧縮部21、データ圧縮伸張部24等の各部を相互に接続し、画像データ等のデータを転送する。
The system bus 15 interconnects the
CPU16は、例えば不揮発性記憶装置を内部に備え、その不揮発性記憶装置に記憶されているプログラムを実行することで、光学系11、撮像素子12、A/D変換部13、画像処理装置14、フレームメモリ17等の各部を制御する。
The
フレームメモリ17は、例えばDRAM(ダイナミックランダムアクセスメモリ)、SRAM(スタティックランダムアクセスメモリ)等からなり、1又は複数フレーム分の画像データ等を記憶する。このフレームメモリ17は、画像処理装置14外部の記憶部の一構成例である。
The
なお、図1に示した構成は主な構成要素を示したものであり、撮像装置1は、例えば、他に電源回路、表示部、操作部、外部記録媒体の読み書き装置、通信装置、バッテリ等の構成要素の一部又は全部を備えることができる。 The configuration shown in FIG. 1 shows main components. The imaging apparatus 1 includes, for example, a power supply circuit, a display unit, an operation unit, an external recording medium read / write device, a communication device, a battery, and the like. A part or all of the components can be provided.
次に、図2から図4を参照して、図1に示したデータ圧縮部21と歪曲収差補正領域判定部22の構成例について説明する。図2に示したデータ圧縮部21は、指定領域トリミング部31と、画素値置換部32と、隣接画素差分値算出部33と、可変長符号化部34とを備えている。一方、歪曲収差補正領域判定部22は、トリミング領域指定部41と、歪曲収差補正使用画素判定部42とを備えている。
Next, configuration examples of the
指定領域トリミング部31は、図1に示した画像信号処理部20が出力した画像データを入力し、トリミング領域指定部41によって指定された領域をトリミングして、トリミング後画像データとして出力する。ここで図3を参照して指定領域トリミング部31の動作例について説明する。図3は、指定領域トリミング部31に入力される画像データの一例を画像データ51として模式的に示すとともに、指定領域トリミング部31が出力するトリミング後画像データの一例をトリミング後画像データ52として模式的に示している。画像データ51は、「樽型歪み」が生じている画像であり、斜線で示した領域61内の複数の画素を用いて図1の歪曲収差補正部23は歪みを補正した画像データを生成する。したがって、斜線で示した領域61より外側の領域62は、その領域62内の画素が歪曲収差補正部23によって使用されない画素となる。そこで指定領域トリミング部31は、入力される画像データ51の上下左右の端部で領域62が各端部からの長さが最小となる画素数Y1、Y2、X1及びX2を表す情報を、トリミング領域指定部41から取得する。そして、指定領域トリミング部31は、入力される画像データ51から画素数Y1、Y2、X1及びX2分上下左右の端部をトリミングしたトリミング後画像データ52を生成し、画素値置換部32に対して出力する。
The designated
画素値置換部32は、指定領域トリミング部31から入力したトリミング後画像データ52が含む複数の画素のうち、図1の歪曲収差補正部23による歪曲収差の補正で当該画素が使用されるか否かを判定した結果が「使用されない」との判定結果である画素について、その画素の画素値を所定の固定値(例えば‘0’)に置き換える処理を行う。すなわち、図3に示した例では、トリミング後画像データ52内の領域62内の画素が「使用されない」と判定される画素であるため、領域62内の各画素の画素値が‘0’に置換される。一方、画素値置換部32は、「使用される」との判定結果である画素については、その画素の画素値をそのまま変化させない。
The pixel
次に、歪曲収差補正使用画素判定部42について説明する。歪曲収差補正使用画素判定部42は、複数の歪曲収差補正領域判別ルックアップテーブル43(以下、LUT43と称する)を備えている。LUT43は、処理対象となるリミング後画像データ52内の各画素が歪曲収差補正で使用されるか否かを示す情報を有するテーブルである。図5及び図6を参照して説明した歪曲収差は、光学系11や撮像素子12の仕様や設定状態、動作状態等に応じて複数の態様で変化する。そのため、図1の歪曲収差補正部23の処理を行う際の設定パラメータは、歪曲収差、及び歪曲収差の補正の強弱の設定の態様に合わせて予め複数用意され、更に、それぞれの設定パラメータに対応する歪曲収差補正使用画素判定部42の設定パラメータが予め用意されている。この実施形態において歪曲収差補正使用画素判定部42の設定パラメータは、LUT43と、3種類の設定値とを含んでいる。ここで図4を参照して歪曲収差補正使用画素判定部42の設定パラメータについて説明する。図4は、図3に示したトリミング後画像データ52に対応する設定パラメータの一例を説明するための図である。
Next, the distortion correction used
歪曲収差補正使用画素判定部42の設定パラメータに含まれている3種類の設定値のうちの1つは、図3を参照して説明したトリミング領域指定部41が不要領域を指定する際に用いる情報である上下左右のトリミング幅を示した画素数Y1、Y2、X1及びX2を表す情報である。トリミング領域指定部41は、この設定値を参照して、トリミング対象となる領域を示す情報を指定領域トリミング部31に対して出力する。
One of the three types of setting values included in the setting parameters of the distortion aberration correction
他の設定値の1つは、LUT43の各エントリが何個の画素を単位として各画素の使用・不使用の判定結果を表しているのかを示す情報である。この設定値は、例えば、各エントリが対応する垂直方向の画素数と水平方向の画素数とを表す情報である。LUT43において各エントリが、1画素毎に使用するか否かの判定結果を示すものである場合(すなわち各画素に対してエントリを持たせる場合には)垂直方向の画素数が1、水平方向の画素数が1となる。例えば垂直及び水平の画素数を2分の1に間引き、垂直2画素及び水平2画素の4画素毎に使用するか否かの判定結果を示す場合(すなわち水平・垂直2画素置きにエントリを持たせる場合には)垂直方向の画素数が2、水平方向の画素数が2となる。また、例えば垂直及び水平の画素数を4分の1に間引き、垂直4画素及び水平4画素の16画素毎に使用するか否かの判定結果を示す場合(すなわち水平・垂直4画素置きにエントリを持たせる場合には)垂直方向の画素数が4、水平方向の画素数が4となる。
One of the other set values is information indicating how many pixels each entry of the
残りの設定値は、図4に示したトリミング後画像データ52の中で、LUT43内に使用・不使用に関する情報を含ませない複数の画素からなる領域である、除外領域522の左上の画素の垂直及び水平座標V1及びH1と、同除外領域522の右下の画素の垂直及び水平座標V2及びH2とを表す情報を含んでいる。歪曲収差の補正に使用されない画素は画像外縁部に限定される為、画像中心部を除外領域522として設定することで、LUT43のエントリ数を減らし、LUT43の回路規模を小さくすることができる。除外領域522内の画素については、画素値置換部32による画素の置換が行われない。
The remaining set values are the upper left pixel of the excluded
LUT43は、トリミング後画像データ52において、除外領域522を除いた領域に対して、1又は複数画素毎の領域521毎に領域521内に歪曲収差補正で使用される画素が含まれているか否かを示す情報を、各1ビットの情報A0、A1、A2、A3、…、Anとして含んでいる。図4に示した例では、水平2画素及び垂直2画素の4画素からなる領域521毎に当該領域521に歪曲収差補正で使用される画素が含まれているか否かを示す情報A0、A1、A2、A3、…、Anが対応付けられている。LUT43のエントリにはそれぞれ1bitの値A0、A1、A2、A3、…、Anが格納されている。そのエントリに含まれる画素の内、歪曲収差補正に使用される画素が1画素でもあれば値A0、A1、A2、A3、…、Anに‘1’をセットし、全くない場合には‘0’をセットする。当該画素が歪曲収差補正に使用されるか否かの判断は、予め計算によって求めたり、実測値に基づいて決定したりすることができる。
Whether or not the
決定方法の一例として、歪曲収差補正領域判別LUT43のデータの算出方法の例を示す。まずはLUT43の全てのエントリを‘0’クリアする。次に図1の歪曲収差補正部23において実行される処理のソフトウェアシミュレーションを1画素ずつ実行して、式(1)に示す様に着目点に対応する原画像の座標を求める。対応点の画素値は周辺画素の画素値を補間する事で求められ、補間方法に応じて必要な周辺画素の範囲が変わる。例えば4x4のバイキュービック補間を行うのであれば、対応点の周辺16画素が使用される事になる。対応点の周辺画素位置を求めたら、その画素が含まれるLUT43のエントリに‘1’をセットする。これを全ての着目点分繰り返す。尚、歪曲収差補正領域判別LUT43は、歪曲収差補正の設定や、光学系11内のレンズのズームポジション等に応じて複数作成しておく。
As an example of the determination method, an example of a method for calculating data of the distortion correction
歪曲収差補正使用画素判定部42は、光学系11や撮像素子12の仕様や設定状態、動作状態等、及び歪曲収差の補正の強弱の設定状態等に応じて決定される歪曲収差補正部23の設定パラメータに対応した設定パラメータ(すなわちLUT43と3種類の設定値との組)の1つを選択し、トリミング後画像データ52の各画素の判定結果を例えば1ビットの情報として生成し、画素値置換部32に対して出力する。
The distortion aberration correction use
次に、図2に示した隣接画素差分値算出部33は、画素値置換部32が出力した画素値置換後画像データを入力し、画素毎に隣接画素の画素値との差分値を算出し、画素数分の差分値からなるデータ(図2では隣接画素差分値として示したデータ)を出力する。なお、差分値を1つ前の画素の画素値と、当該画素の画素値との差分として求める場合、最初の画素については例えば当該画素の画素値を差分値とする。
Next, the adjacent pixel difference
次に、可変長符号化部34は、隣接画素差分値算出部33から入力した各隣接画素差分値を、予め設定した変換表を参照し、可変長の符号化データ(すなわち可変長の符号語)に変換する。変換表では、隣接画素差分値のうち出現頻度が大きいものに符号長が短い符号語を割り当て、出現頻度が比較的小さいものには符号長が比較的長い符号語を割り当てておく。本実施形態では、画素値置換部32が、歪曲収差補正で使用されない画素の画素値をすべて同一の所定の固定値に置換しているので、使用されない画素が複数隣接して存在する領域では隣接画素の画素値が同一値となり、差分値は‘0’となる。したがって、例えば差分値‘0’に対応する符号語の符号長を小さな値にしておけば、使用されない画素が複数存在する領域に対応する符号語系列のビット数を小さくすることができる。可変長符号化部34は、符号化処理によって算出した画像データを圧縮画像データとして図1のフレームメモリ17に格納する。
Next, the variable
以上のようにして図2に示した構成例では、データ圧縮部21が、歪曲収差補正領域判定部22の判定結果に応じて、画像信号処理部20から入力した画像データを可変長符号を用いた符号化処理によって圧縮し、外部のフレームメモリ17に書き込む圧縮画像データとして出力する。
In the configuration example shown in FIG. 2 as described above, the
本実施形態によれば、画像処理装置14外部のフレームメモリ17に書き込む画像データに含まれている複数の画素が歪曲収差の補正に使用されるか否かの判定結果に応じて、データ圧縮部21によって、画像データが所定の符号化処理を用いて圧縮される。この構成によれば例えば歪曲収差の補正に使用されない画素の画素値を、例えば所定の固定値に置換するという、当該画素の画素値を無効化するような符号化処理を行うことができ、画像データの圧縮率を高めて、画像データの転送量を削減することができる。なお、この符号化処理では、後段の歪曲収差補正部23で使用されない領域の画素値のみを無効化する為、この処理を追加する事による画質劣化は発生しない。
According to the present embodiment, the data compression unit according to the determination result of whether or not a plurality of pixels included in the image data to be written to the
なお、本発明の実施の形態は上記のものに限定されない。例えば、データ圧縮部21と歪曲収差補正領域判定部22のブロック分けは図1に示したものに限らない。すなわち、図2を参照して説明した指定領域トリミング部31、トリミング領域指定部41、画素値置換部32、歪曲収差補正使用画素判定部42の各機能を一体的なものとして、4より小さいブロック構成とするように各ブロックの構成を統合するなどの変更が可能である。つまり、データ圧縮部21と歪曲収差補正領域判定部22とは一体的な構成とすることができる。
The embodiment of the present invention is not limited to the above. For example, the block division of the
また、図4に示した除外領域522を設けず、LUT43内ですべての画素に対して使用又は不使用を示す情報を対応付けるようにしてもよい。また、LUT43に代えて、あるいはLUT43のエントリ数を削減するとともに、1又は複数の計算式を設定し、その計算式の計算結果を用いて各画素の使用・不使用を判定するような構成を用いることもできる。
Further, the
1…撮像装置、11…光学系、12…撮像素子、13…A/D変換部、14…画像処理装置、15…システムバス、16…CPU、17…フレームメモリ、21…データ圧縮部、22…歪曲収差補正領域判定部、23…歪曲収差補正部、24…データ圧縮伸張部、31…指定領域トリミング部、32…画素値置換部、33…隣接画素差分値算出部、34…可変長符号化部、41…トリミング領域指定部、42…歪曲収差補正使用画素判定部、43…歪曲収差補正領域判別ルックアップテーブル DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... Optical system, 12 ... Imaging device, 13 ... A / D conversion part, 14 ... Image processing apparatus, 15 ... System bus, 16 ... CPU, 17 ... Frame memory, 21 ... Data compression part, 22 ... distortion aberration correction region determination unit, 23 ... distortion aberration correction unit, 24 ... data compression / expansion unit, 31 ... designated region trimming unit, 32 ... pixel value replacement unit, 33 ... adjacent pixel difference value calculation unit, 34 ... variable length code , 41... Trimming area designation section, 42... Distortion distortion correction use pixel determination section, 43.
Claims (5)
前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、外部の記憶部に書き込む圧縮画像データとして出力するデータ圧縮部と
を備え、
前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、1又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする記載の画像処理装置。 A distortion aberration correction area determination unit that determines whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correction of distortion;
A data compression unit that compresses the image data by a predetermined encoding process according to a determination result of the distortion correction region determination unit and outputs the compressed image data to be written in an external storage unit ;
Indicates whether the distortion aberration correction area determination unit is used to correct the distortion aberration for each pixel or a plurality of pixels excluding the pixel located at the center of the image represented by the image data. The image processing apparatus according to claim 1, further comprising: a table in which information is associated, and determining whether or not the plurality of pixels are used for correcting the distortion with reference to the table .
ことを特徴とする請求項1に記載の画像処理装置。 The data compression unit replaces the pixel value of the pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value, and then performs the encoding process using a variable length code. The image processing apparatus according to claim 1, wherein the image data is compressed.
ことを特徴とする請求項2に記載の画像処理装置。 The data compression unit replaces the pixel value of the pixel that the distortion aberration correction area determination unit determines not to be used for correction of the distortion aberration with a predetermined fixed value, and the pixel value of the adjacent pixel included in the image data The image processing apparatus according to claim 2 , wherein the image data is compressed by an encoding process in which a difference value is obtained and the difference value is converted into a variable length code.
前記判定の結果に応じて前記画像データを所定の符号化処理によって圧縮し、所定の記憶部に記憶するステップと
を含み、
前記歪曲収差の補正に使用されるか否かを判定するステップにおいて、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、1又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする画像処理方法。 Determining whether or not a plurality of pixels included in image data generated using a predetermined optical system and a predetermined image sensor are used for correction of distortion;
Wherein said image data according to the result of the determination is compressed by a predetermined encoding processing, viewing containing and storing in a predetermined storage unit,
In the step of determining whether or not to use the correction of the distortion aberration, the distortion aberration correction is performed for each pixel or for each pixel excluding the pixel located at the center of the image represented by the image data. A table in which information indicating whether or not the pixel is used is associated, and whether or not the plurality of pixels are used for correcting the distortion is determined with reference to the table. Image processing method.
前記光学系を介して入力した光信号を電気信号に変換する撮像素子と、
前記撮像素子から出力された電気信号に基づいて生成された画像データに含まれている複数の画素が、歪曲収差の補正に使用されるか否かを判定する歪曲収差補正領域判定部と、
前記歪曲収差補正領域判定部の判定結果に応じて前記画像データを所定の符号化処理によって圧縮し、圧縮画像データとして出力するデータ圧縮部と、
前記データ圧縮部が出力した圧縮画像データを記憶する記憶部と
を備え、
前記歪曲収差補正領域判定部が、前記画像データが表す画像の中心部に位置する画素を除いた各画素に対し、1又は複数画素毎に前記歪曲収差の補正に使用されるか否かを表す情報を対応付けたテーブルを有し、前記テーブルを参照して前記複数の画素が前記歪曲収差の補正に使用されるか否かを判定する
ことを特徴とする撮像装置。 Optical system,
An image sensor for converting an optical signal input via the optical system into an electrical signal;
A distortion aberration correction region determination unit that determines whether or not a plurality of pixels included in image data generated based on an electrical signal output from the image sensor is used for correction of distortion;
A data compression unit that compresses the image data by a predetermined encoding process according to a determination result of the distortion correction region determination unit, and outputs the compressed image data as compressed image data;
A storage unit for storing the compressed image data output by the data compression unit ,
Indicates whether the distortion aberration correction area determination unit is used to correct the distortion aberration for each pixel or a plurality of pixels excluding the pixel located at the center of the image represented by the image data. An imaging apparatus comprising a table in which information is associated, and determining whether or not the plurality of pixels are used for correcting the distortion aberration with reference to the table .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013255482A JP6275468B2 (en) | 2013-12-10 | 2013-12-10 | Image processing apparatus, image processing method, and imaging apparatus |
KR1020140051908A KR102138331B1 (en) | 2013-12-10 | 2014-04-29 | Image processing apparatus, image processing method, and photographing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013255482A JP6275468B2 (en) | 2013-12-10 | 2013-12-10 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015115720A JP2015115720A (en) | 2015-06-22 |
JP6275468B2 true JP6275468B2 (en) | 2018-02-07 |
Family
ID=53515462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013255482A Active JP6275468B2 (en) | 2013-12-10 | 2013-12-10 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6275468B2 (en) |
KR (1) | KR102138331B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102072666B1 (en) | 2016-01-26 | 2020-02-03 | 한국전자통신연구원 | Optical imaging device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3897247B2 (en) | 2002-05-16 | 2007-03-22 | 富士フイルム株式会社 | Optical distortion correction method and correction apparatus |
JP2007318596A (en) * | 2006-05-29 | 2007-12-06 | Opt Kk | Compression method of image data by wide angle lens, expansion display method, compression apparatus, wide angle camera apparatus, and monitor system |
JP5085506B2 (en) * | 2008-10-24 | 2012-11-28 | オリンパス株式会社 | Imaging device |
JP2010263500A (en) * | 2009-05-08 | 2010-11-18 | Fujitsu Ltd | Video processing system, photography device, and method thereof |
JP5811879B2 (en) * | 2012-02-10 | 2015-11-11 | 株式会社Jvcケンウッド | Image processing apparatus and image processing method |
JP6136190B2 (en) * | 2012-10-23 | 2017-05-31 | 株式会社ソシオネクスト | Image processing apparatus and imaging apparatus |
-
2013
- 2013-12-10 JP JP2013255482A patent/JP6275468B2/en active Active
-
2014
- 2014-04-29 KR KR1020140051908A patent/KR102138331B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20150067707A (en) | 2015-06-18 |
KR102138331B1 (en) | 2020-07-27 |
JP2015115720A (en) | 2015-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4151684B2 (en) | Encoding apparatus, encoding method, encoding program, and imaging apparatus | |
JPWO2008139577A1 (en) | Image processing apparatus, imaging apparatus, and image distortion correction method | |
TW200913674A (en) | Video camera | |
JP4992698B2 (en) | Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program | |
US8823832B2 (en) | Imaging apparatus | |
JP2012065187A (en) | Imaging apparatus and restored gain data generation method | |
US10621706B2 (en) | Device for recording information about defective pixels, and defective pixel value correction device and method | |
JPH11250239A (en) | Digital image pickup device for operating distortion correction by yuv data | |
TWI513303B (en) | Apparatus and method for correction of distortion in digital image data | |
JP6376767B2 (en) | Image processing apparatus and image processing method | |
US10497093B2 (en) | Image processing apparatus for minimizing deterioration of image quality of a raw image | |
JPH11250238A (en) | Digital image pickup device for operating distortion correction by block unit | |
JP6275468B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP6685198B2 (en) | Imaging device, control method thereof, and program | |
JP5811879B2 (en) | Image processing apparatus and image processing method | |
JP6352625B2 (en) | Image data compression circuit, image data compression method, and imaging apparatus | |
JP2007129403A (en) | Image encoder and image processing system | |
JP2004242125A (en) | Image processor | |
JP2013106131A (en) | Image processing device | |
CN113473028A (en) | Image processing method, image processing device, camera assembly, electronic equipment and medium | |
JP5359814B2 (en) | Image processing device | |
JP7289642B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM | |
CN112532957B (en) | Image processing method and device | |
JP5704057B2 (en) | Image correction apparatus and image correction method | |
US20240087086A1 (en) | Image processing method, image processing apparatus, program, trained machine learning model production method, processing apparatus, and image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6275468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |