JP4118213B2 - Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program - Google Patents
Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program Download PDFInfo
- Publication number
- JP4118213B2 JP4118213B2 JP2003332478A JP2003332478A JP4118213B2 JP 4118213 B2 JP4118213 B2 JP 4118213B2 JP 2003332478 A JP2003332478 A JP 2003332478A JP 2003332478 A JP2003332478 A JP 2003332478A JP 4118213 B2 JP4118213 B2 JP 4118213B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- image
- absolute value
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Description
本発明は画像圧縮処理に伴う歪みの抑制を行う画像圧縮方法、画像圧縮装置、撮像装置、処理箇所特定方法、処理箇所特定器及びコンピュータプログラムに関する。 The present invention relates to an image compression method, an image compression apparatus, an imaging apparatus, a processing location specifying method, a processing location specifying device, and a computer program for suppressing distortion associated with image compression processing.
従来、信号量削減のため静止画及び動画に対する画像圧縮が広く行われている。例えば、静止画では2次元離散コサイン変換を用いるJPEG形式の画像圧縮が周知である。このようなJPEG圧縮はデジタルカメラのような撮像装置に適用されることが多く、またコンピュータを用いてソフト的にJPEG圧縮を行うこともある。 Conventionally, image compression for still images and moving images has been widely performed in order to reduce the signal amount. For example, image compression in JPEG format using two-dimensional discrete cosine transform is well known for still images. Such JPEG compression is often applied to an imaging apparatus such as a digital camera, and JPEG compression may be performed in software using a computer.
図12は、従来のJPEG圧縮を行う撮像装置1の内部構成を示すブロック図である。撮像装置1の内部は撮像処理部2、画像圧縮部3及びモニタ部4に大別される。撮像処理部2は図示しない光学系より導かれた像を光電変換し画像信号を生成する撮像素子2aと、ノイズ削除及びアナログ/デジタル変換等を行うA/D変換部2bとを有する。 FIG. 12 is a block diagram illustrating an internal configuration of an imaging apparatus 1 that performs conventional JPEG compression. The inside of the imaging apparatus 1 is roughly divided into an imaging processing unit 2, an image compression unit 3, and a monitor unit 4. The imaging processing unit 2 includes an imaging device 2a that photoelectrically converts an image guided from an optical system (not shown) to generate an image signal, and an A / D conversion unit 2b that performs noise elimination, analog / digital conversion, and the like.
画像圧縮部3は順次処理部3a、フィルタ処理部3b、JPEG処理部3c、バス管理部3d、メモリ3e、MPU3f及び外部メモリインタフェース部3gを内部バス3hで夫々接続した構成である。順次処理部3a及びフィルタ処理部3bは画像圧縮に対する所要の前処理を行い、JPEG処理部3cはレベルシフト処理及び2次元離散コサイン変換処理等の画像圧縮に係る一連の処理を行う。圧縮された画像は外部メモリインタフェース部3gを介して出力されることで外部メモリ5に記憶される。なお、画像圧縮に係る圧縮率は適宜調整可能である。また、JPEG圧縮は下記の特許文献1にも開示されている。 The image compression unit 3 is configured by sequentially connecting a processing unit 3a, a filter processing unit 3b, a JPEG processing unit 3c, a bus management unit 3d, a memory 3e, an MPU 3f, and an external memory interface unit 3g through an internal bus 3h. The sequential processing unit 3a and the filter processing unit 3b perform necessary preprocessing for image compression, and the JPEG processing unit 3c performs a series of processing related to image compression such as level shift processing and two-dimensional discrete cosine transform processing. The compressed image is output via the external memory interface unit 3g and stored in the external memory 5. Note that the compression rate for image compression can be adjusted as appropriate. JPEG compression is also disclosed in Patent Document 1 below.
図13(a)〜(c)は、撮像された画像の寸法が画像圧縮部3における各処理を経て縮小していく状況を示す。
図13(a)の外枠は撮像画像に係る画像範囲6aを示し、この例では画像範囲6aの寸法は1344(水平画素数、以下同様)×971(垂直画素数、以下同様)である。図13(a)の内枠は順次処理部3aの処理で所謂オプティカルブラック部7が削除された第1処理範囲6b(1292×966)を示す。また、図13(b)の内枠はフィルタ処理部3bのフィルタ処理により第1処理範囲6bから寸法が縮小された第2処理範囲6c(1288×962)を示す。
FIGS. 13A to 13C show a situation in which the size of the captured image is reduced through each process in the image compression unit 3.
The outer frame of FIG. 13A shows an image range 6a related to the captured image. In this example, the size of the image range 6a is 1344 (the number of horizontal pixels, the same applies hereinafter) × 971 (the number of vertical pixels, the same applies hereinafter). The inner frame in FIG. 13A shows the first processing range 6b (1292 × 966) in which the so-called optical black portion 7 is deleted in the processing of the processing portion 3a. Further, the inner frame of FIG. 13B shows a second processing range 6c (1288 × 962) whose size is reduced from the first processing range 6b by the filter processing of the filter processing unit 3b.
さらに、図13(c)に示す内枠はJPEG処理部3cで圧縮処理を行うためにMPU3fにより第2処理範囲6cから切り出された第3処理範囲6d(1280×960)を示す。この第3処理範囲6の寸法は、水平及び垂直画素数がJPEG圧縮の処理に係る画素単位数である「8」の倍数になっている。また、画像信号の成分がYCrCb系である画像は、色差信号Cr、Cbの信号量が輝度信号Yに対して水平方向に半分又は水平垂直方向に半分であるため「16」の倍数を画像寸法にすることが多い。なお、従来の画像圧縮部3は上述したように各処理段階で画像寸法を縮小していく処理に関し、一定の画素数で一定の箇所から切り出すように定まった処理を行う。
JPEG形式のような画像圧縮は、圧縮対象の画像が一般的な風景のような自然画像に対しては好適であるが、隣接する画素間で輝度、色差等に係るコントラストの差が大きい二値画像及びアニメーション画像等に対しては高圧縮率でブロックノイズ及びモスキートノイズ等の歪みが生じると云う問題がある。 Image compression such as the JPEG format is suitable for natural images such as landscapes in which the image to be compressed is a general landscape, but a binary having a large contrast difference between adjacent pixels in terms of luminance, color difference, etc. There is a problem that distortion such as block noise and mosquito noise occurs at a high compression rate for images and animation images.
図14(a)はJPEG圧縮を行う前の画像を示す。この画像は40×40の寸法であり、正方形のパッチ(寸法は8×8)を左上頂点が座標画素で(15、15)、右下頂点が座標画素で(23、23)となる位置に有している。パッチの明るさのレベルは数値で示すと「64」であり、背景部分の明るさのレベルは「192」であり、両者のコントラストの差は大きい。なお、図14(d)の画像は、図14(a)の画像に対し、JPEG圧縮の処理(2次元離散コサイン変換:DCT)に係る水平及び垂直方向の画素単位数(8×8)を破線で格子状に示したものであり、この破線は実際の画像には存在しない。また、この格子状の破線とパッチとを対比すると、パッチは画像圧縮に係る画素単位の境界(破線)を越えて位置することが分かる。 FIG. 14A shows an image before JPEG compression. This image has a size of 40 × 40, and a square patch (size: 8 × 8) is placed at a position where the upper left vertex is a coordinate pixel (15, 15) and the lower right vertex is a coordinate pixel (23, 23). Have. The brightness level of the patch is “64” in numerical value, the brightness level of the background portion is “192”, and the difference in contrast between the two is large. Note that the image in FIG. 14D has the number of pixel units (8 × 8) in the horizontal and vertical directions related to the JPEG compression process (two-dimensional discrete cosine transform: DCT) with respect to the image in FIG. The broken lines are shown in a grid pattern, and the broken lines do not exist in the actual image. Further, when this grid-like broken line is compared with the patch, it can be seen that the patch is located beyond the boundary (broken line) of the pixel unit related to image compression.
図14(b)は、図14(a)の画像を最小の圧縮率でJPEG圧縮を行うことで得た低圧縮画像を示し、図14(c)は、図14(a)の画像を最高の圧縮率でJPEG圧縮を行うことで得た高圧縮画像を示す。 FIG. 14B shows a low-compression image obtained by performing JPEG compression on the image of FIG. 14A at the minimum compression rate, and FIG. 14C shows the image of FIG. A highly compressed image obtained by performing JPEG compression at a compression rate of
図14(b)の低圧縮画像は画像品位として支障無いレベルであり、一見歪みが生じていないように見える。しかし、この低圧縮画像を精査すると座標画素(8、8)から座標画素(23、23)の矩形領域において僅かに歪みが生じており、この矩形領域とパッチが重なる部分では、明るさのレベルが「62」から「65」にかけて変異している画素が存在する。一方、図14(c)の高圧縮画像は高圧縮率のため座標画素(8、8)から座標画素(23、23)の矩形領域にかけて顕著な歪みが生じている。 The low-compressed image in FIG. 14B is at a level that does not hinder the image quality, and at first glance it appears that no distortion has occurred. However, when this low-compressed image is scrutinized, there is a slight distortion in the rectangular area from the coordinate pixel (8, 8) to the coordinate pixel (23, 23), and the brightness level is the portion where the rectangular area and the patch overlap. There are pixels that vary from “62” to “65”. On the other hand, the high-compressed image in FIG. 14C has a high compression ratio, so that significant distortion occurs from the coordinate pixel (8, 8) to the rectangular area of the coordinate pixel (23, 23).
これは、JPEG形式の圧縮画像における処理の一つである2次元離散コサイン変換に係る画素単位数(8×8の格子ブロック)の内部で歪みの生じ方が相異し、上述した矩形領域でブロックノイズとして観察されるためである。なお、上述した矩形領域以外では歪みは生じていない。 This is because the distortion occurs differently within the number of pixel units (8 × 8 lattice blocks) related to the two-dimensional discrete cosine transform, which is one of the processes in the compressed image in JPEG format. This is because it is observed as block noise. It should be noted that no distortion occurs outside the rectangular area described above.
一般的にJPEG圧縮は、2次元離散コサイン変換により各画素が有するコントラストに係る成分信号を周波数成分に変換してから量子化を行うことで高周波成分を削除するため、圧縮率に応じて程度は変動するものの圧縮画像に歪みが発生するのは避けられない。特に、圧縮対象が二値画像及びアニメーション画像のような画素間でコントラストの差が大きい画像ではコントラストの境界部分に高周波成分が多く含まれてしまい、このような高周波成分が量子化により削除されるため歪みが発生しやすい。 In general, JPEG compression removes high-frequency components by converting the component signals related to the contrast of each pixel into frequency components by two-dimensional discrete cosine transform, and then performing quantization, so the degree depends on the compression rate. Although it fluctuates, it is inevitable that distortion occurs in the compressed image. In particular, in a case where an image to be compressed has a large contrast difference between pixels such as a binary image and an animation image, a lot of high-frequency components are included in the boundary portion of contrast, and such high-frequency components are deleted by quantization. Therefore, distortion is likely to occur.
なお、上述したような問題はJPEG圧縮だけでなく、動画の圧縮規格であるMPEG、H.262等の2次元離散コサイン変換を利用した画像圧縮処理においても同様に発生する。 Note that the above-described problems are not limited to JPEG compression, but are MPEG, H.264, which are compression standards for moving images. The same occurs in image compression processing using two-dimensional discrete cosine transform such as H.262.
本発明は、斯かる問題に鑑みてなされたものであり、画素間のコントラストの差分を演算すると共に演算した結果に応じて圧縮のような画像処理を行う箇所を調節することにより圧縮画像に生じる歪みを回避するようにした画像圧縮方法、画像圧縮装置、撮像装置、処理箇所特定方法、処理箇所特定器及びコンピュータプログラムを提供することを目的とする。
また、本発明は画素間のコントラストの差分を演算して最大のコントラストの差分が生じている画素位置を特定し、圧縮のような画像処理に係る画素単位の境界が特定した画素位置に一致するように画像処理を行う箇所を調節することにより、圧縮画像の品質を向上させた画像圧縮方法、画像圧縮装置、撮像装置、処理箇所特定方法、処理箇所特定器及びコンピュータプログラムを提供することを目的とする。
The present invention has been made in view of such a problem, and occurs in a compressed image by calculating a difference in contrast between pixels and adjusting a position where image processing such as compression is performed according to the calculated result. An object of the present invention is to provide an image compression method, an image compression device, an imaging device, a processing location specifying method, a processing location specifying device, and a computer program that avoid distortion.
In addition, the present invention calculates the contrast difference between pixels to identify the pixel position where the maximum contrast difference occurs, and the boundary of the pixel unit related to image processing such as compression coincides with the identified pixel position. An object of the present invention is to provide an image compression method, an image compression device, an imaging device, a processing location specifying method, a processing location specifying device, and a computer program that improve the quality of a compressed image by adjusting the location where image processing is performed And
さらに、本発明は演算したコントラストの差分を適宜増減することにより、コントラストの差分に係る比較検出を容易にした画像圧縮方法、画像圧縮装置及び撮像装置を提供することを目的とする。
さらに、また、本発明は撮像した画像に対して歪みの発生を抑えるように圧縮処理を行う撮像装置を提供することを目的とする。
Furthermore, an object of the present invention is to provide an image compression method, an image compression apparatus, and an imaging apparatus that facilitate comparison and detection related to the contrast difference by appropriately increasing or decreasing the calculated contrast difference.
Furthermore, another object of the present invention is to provide an imaging apparatus that performs compression processing so as to suppress the occurrence of distortion on a captured image.
本発明の画像圧縮方法は、画像圧縮の処理単位である画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段を用意して、画像圧縮を行う画像圧縮方法であって、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算するステップと、演算した差分の絶対値を該差分に係る画素位置に基づき前記画素ブロック内の画素位置毎に分別するステップと、分別した差分の絶対値を該差分に係る画素位置に応じた前記差分記憶手段に積算して記憶するステップと、該差分記憶手段が記憶した積算された差分の絶対値同士の比較を行うステップと、該比較により最大の積算された差分の絶対値を検出するステップと、検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定するステップと、特定した箇所から画素ブロック単位で画像圧縮を行うステップとを備えることを特徴とする。 The image compression method of the present invention is an image compression method for compressing an image by preparing a plurality of difference storage means corresponding to each pixel position in a pixel block, which is a unit of image compression, and forming an image. fractionating the absolute value of the difference of a plurality of pixels each having signal and a step of calculating between adjacent pixels, the absolute value of the calculated difference for each pixel position in the pixel block based on the pixel position according to said difference of the Comparing the absolute value of the accumulated difference stored in the difference storage means with the step, integrating the absolute value of the sorted difference in the difference storage means corresponding to the pixel position related to the difference, and storing the difference step a, step a, the pixel block difference memory means for storing the absolute value of the largest accumulated the difference detected corresponding to detecting the absolute value of the largest accumulated the difference by the comparison performed Based on the pixel position, and wherein the step of identifying where to begin the compression process, further comprising the step of performing image compression in pixel block units from specified locations against the image.
本発明の画像圧縮方法は、演算した差分の絶対値を該差分の絶対値に応じて増減するステップを更に備え、前記分別するステップは、該増減するステップが増減した差分の絶対値を分別することを特徴とする。 Image compression method of the present invention further comprises a step of increasing or decreasing in accordance with the absolute value of the calculated difference to the absolute value of said difference, the step of fractionation to separate the absolute value of the difference step of the increase or decrease is increased or decreased It is characterized by that.
本発明の画像圧縮装置は、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段と、該演算手段が演算した差分の絶対値を、該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段と、該差分記憶手段が夫々記憶する積算された差分の絶対値同士の比較を行う比較手段と、該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段と、該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段とを備えることを特徴とする。 Image compression apparatus of the present invention includes: a calculating means for a plurality of pixels forming an image is computed between pixels adjacent the absolute value of the difference signal, each of which has the absolute value of the difference the calculating means is calculated, said difference Based on the pixel position according to the above, the classification means for classifying into each pixel position in the pixel block that is a processing unit of image compression, and for storing the accumulated absolute value of the difference classified by the classification means, A plurality of difference storage means corresponding to each pixel position in the pixel block, a comparison means for comparing the absolute values of the accumulated differences respectively stored in the difference storage means, and a comparison by the comparison means Based on the pixel position in the pixel block corresponding to the detection means for detecting the absolute value of the accumulated difference and the difference storage means for storing the absolute value of the maximum accumulated difference detected by the detection means, the image in pairs to A position specifying means for specifying where to start the compression process, characterized in that it comprises an image compressing means for performing image compression in pixel block from where it was identified relevant section specifying means.
本発明の画像圧縮装置は、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段と、該演算手段が演算した差分の絶対値を該差分の絶対値に応じて増減する増減手段と、該増減手段が増減した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段と、該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段と、該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、圧縮処理を開始する箇所を特定する箇所特定手段と、該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段とを備えることを特徴とする。 Image compression apparatus of the present invention includes: a calculating means for a plurality of pixels forming an image is computed between pixels adjacent the absolute value of the difference signal, each of which has the absolute value of the difference which the calculation means has calculated the said difference a adjusting unit that adjusts according to the absolute value, based on the pixel position of the absolute value of the difference bulking down means increases or decreases in said difference, separation means for separating each pixel position in the pixel block is a processing unit of an image compression If a storage of該分by means for accumulating and storing the absolute value of the difference obtained by fractionation, and a plurality of difference storing means respectively corresponding to each pixel position in the pixel block, integrated for storing the said difference storage means comparing means for comparing the absolute value with each other by the differential, a detection means for detecting the absolute value of the largest accumulated the difference by the comparison of the comparison means, the maximum that detecting means detects accumulated the difference the difference for storing the absolute value Based on the pixel position in the pixel block憶means corresponds, the part specifying means for specifying a position to start the compression process, the image compression unit which performs image compression in pixel block from where it was identified relevant section specifying means It is characterized by providing.
本発明の画像圧縮装置は、前記信号は、画像に係る輝度信号及び/又は色差信号であることを特徴とする。 The image compression apparatus according to the present invention is characterized in that the signal is a luminance signal and / or a color difference signal related to an image.
本発明の撮像装置は、撮像した画像を出力する撮像部と、前記画像圧縮装置とを備え、前記演算手段は、前記撮像部が出力した画像に対して演算することを特徴とする。 The imaging device of the present invention includes an imaging unit that outputs a captured image and the image compression device, and the calculation unit calculates the image output by the imaging unit.
本発明の処理箇所特定方法は、画像圧縮の処理単位である画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段を用意して、画像圧縮処理を開始する箇所を特定する処理箇所特定方法において、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算するステップと、演算した差分の絶対値を該差分に係る画素位置に基づき前記画素ブロック内の各画素位置に分別するステップと、分別した差分の絶対値を該差分に係る画素位置に応じた前記差分記憶手段に積算して記憶するステップと、該差分記憶手段が記憶した積算された差分の絶対値同士の比較を行うステップと、該比較により最大の積算された差分の絶対値を検出するステップと、検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定するステップとを備えることを特徴とする。 The processing location specifying method of the present invention prepares a plurality of difference storage means respectively corresponding to each pixel position in a pixel block which is a processing unit of image compression, and specifies a processing location specifying a location where image compression processing is started. In the method, a step of calculating an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels, and an absolute value of the calculated difference in the pixel block based on a pixel position related to the difference . a step of separating each pixel position, a step of storing the absolute value by integrating the difference storing means corresponding to the pixel position according to said difference of fractionated difference, accumulated a difference of said difference storage means for storing performing a comparison of the absolute value between the maximum and detecting the accumulated absolute value of the difference, difference storing hand stores the absolute value of the largest accumulated the difference detected by the comparison There based on the pixel position in the pixel block corresponding, characterized in that it comprises the steps of identifying where to start the compression processing against the image.
本発明の処理箇所特定器は、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段と、該演算手段が演算した差分の絶対値を該差分の絶対値に応じて増減する増減手段と、該増減手段が増減した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の画素位置に夫々対応した複数の差分記憶手段と、該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段と、該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段とを備えることを特徴とする。 Processing site identification device of the invention, said difference plurality of pixels forming an image and a calculating means for calculating between pixels adjacent the absolute value of the difference signal, each of which has the absolute value of the difference which the calculation means has calculated An increase / decrease unit that increases / decreases in accordance with an absolute value of the image, and a classification that classifies the absolute value of the difference increased / decreased by the increase / decrease unit into each pixel position in a pixel block that is a unit of image compression based on the pixel position related to the difference And a storage for accumulating and storing the absolute values of the differences sorted by the sorting means, a plurality of difference storage means corresponding to the pixel positions in the pixel block, and an accumulation stored by the difference storage means comparing means for comparing the absolute value with each other by the differential, a detection means for detecting the absolute value of the largest accumulated the difference by the comparison of the comparison means, the maximum that detecting means detects accumulated the difference the difference for storing the absolute value憶means, characterized in that it comprises a point specifying means for specifying a position to start the compression processing against the image based on the pixel position in the pixel block corresponding.
本発明のコンピュータプログラムは、コンピュータに画像圧縮を行わせるためのコンピュータプログラムにおいて、コンピュータを、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段、該演算手段が演算した差分の絶対値を、該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段、前記画素ブロック内の各画素位置に夫々対応し、前記分別手段が分別した差分の絶対値を積算して記憶する複数の差分記憶手段、該差分記憶手段が夫々記憶する積算された差分の絶対値同士の比較を行う比較手段、該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段、該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段、該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段として機能させることを特徴とする。 Computer program of the present invention is a computer program for causing an image compression to the computer, operation manual stage a computer, a plurality of pixels forming an image is computed between pixels adjacent the absolute value of the difference signal, each of which has , the absolute value of the difference the calculating means is calculated, based on the pixel position according to said difference, separation means for separating each pixel position of the image compression processing pixel block which is a unit, each pixel position of the pixel block A plurality of difference storage means for accumulating and storing the absolute values of the differences sorted by the sorting means, comparison means for comparing the absolute values of the accumulated differences stored by the difference storage means, Detection means for detecting the absolute value of the maximum integrated difference by comparison of the comparison means, and storing the absolute value of the maximum integrated difference detected by the detection means Based on the pixel position in the pixel block divided storage means corresponding performs image compression in pixel block units from point specifying means to identify where to start the compression process, and identified relevant section identifying unit locations relative to the image It functions as an image compression means.
本発明のコンピュータプログラムは、コンピュータに画像処理を行う箇所を特定させるためのコンピュータプログラムにおいて、コンピュータを、画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段、該演算手段が演算した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段、前記画素ブロック内の画素位置に夫々対応し、前記分別手段が分別した差分の絶対値を積算して記憶する複数の差分記憶手段、該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段、該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段、該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段として機能させることを特徴とする。 The computer program according to the present invention is a computer program for causing a computer to specify a place to perform image processing. The computer calculates an absolute value of a difference between signals of a plurality of pixels forming an image between adjacent pixels. operation manual stage, said calculating means based on the pixel position of the absolute value to the difference amount of the difference computed, separating means for separating each pixel position of the image compression processing pixel block which is a unit pixel of the pixel block respectively corresponding to the position, the plurality of difference storing means separating means for accumulating and storing the absolute value of the difference fractionated, compared hand stage said difference storage means for comparing the absolute value between the accumulated the differential store , detecting means for detecting a maximum accumulated absolute value of the difference by the comparison of the comparison means, the maximum accumulated the stored absolute value of the difference is detecting means has detected Based on the pixel position in the pixel block that difference storage means corresponds, characterized in that to function as a part specifying means for specifying a position to start the compression processing against the image.
本発明にあっては、画像を形成する各画素が有する信号の差分を演算して比較を行うので、隣接する画素間のコントラストの差分が明確になる。また、比較結果に応じて圧縮のような画像処理を行う箇所を特定するため、画像処理に対して適切な箇所が求まる。さらに、このように求めた箇所に対して画像圧縮を行うことで圧縮に伴い発生する歪みの程度を抑制することが可能になる。 In the present invention, the difference between the signals of each pixel forming the image is calculated and compared, so that the contrast difference between adjacent pixels becomes clear. In addition, in order to identify a place where image processing such as compression is performed according to the comparison result, a suitable place for image processing is obtained. Furthermore, it is possible to suppress the degree of distortion caused by the compression by performing image compression on the location thus obtained.
本発明にあっては、画素間の信号の差分を演算した結果を圧縮のような画像処理に係る画素単位数に夫々対応した複数の差分記憶手段へと分別記憶させるので、演算したコントラストの差分が画素単位毎に整理された状態になる。また、整理した状態でコントラストの差分を比較することにより最大の差分を検出し、この最大の差分を記憶する差分記憶手段に対応する画素単位から圧縮に伴う歪みの生じる箇所を判断できるようになる。よって判断した箇所が圧縮処理に係る画素単位の境界と一致するように圧縮対象の箇所を特定することにより、ブロックノイズ及びモスキートノイズ等による画像品質の低下が防止される。 In the present invention, the result of calculating the signal difference between the pixels is separately stored in a plurality of difference storage means each corresponding to the number of pixel units related to image processing such as compression, so the calculated contrast difference Are arranged for each pixel unit. In addition, the maximum difference is detected by comparing the contrast difference in an organized state, and the location where distortion due to compression occurs can be determined from the pixel unit corresponding to the difference storage means for storing the maximum difference. . Therefore, by specifying the location to be compressed so that the determined location matches the boundary of the pixel unit related to the compression processing, it is possible to prevent the image quality from being deteriorated due to block noise, mosquito noise, or the like.
また、本発明にあっては、演算したコントラストの差分を適宜増減することにより、画素間の各差分の相異が明確になり、差分同士の比較及び最大の差分検出が容易になる。
さらに、本発明にあっては、差分記憶手段が差分を積算して記憶するため、画素単位数毎の比較を画像全体に対して均等に比較でき、局所的に大きい差分に影響されることなく全体的な比較判断が可能になる。
Further, in the present invention, by appropriately increasing / decreasing the calculated contrast difference, the difference between the pixels becomes clear, and the comparison between the differences and the maximum difference detection are facilitated.
Furthermore, in the present invention, since the difference storage means accumulates and stores the differences, the comparison for each number of pixel units can be made equally with respect to the entire image without being affected by a large difference locally. Overall comparison judgment becomes possible.
本発明にあっては、コントラストに係る信号として輝度信号及び/又は色差信号を用いるので、フィルタ処理でRGB系の成分信号からYCbCr系の成分信号に変換される処理過程に対して好適に歪みを抑える処理を行える。
さらに、本発明にあっては、撮像した画像に対して上述したような歪みを抑える処理を行うため、撮像装置における画像圧縮処理で生成する圧縮画像に歪みが生じる程度を抑制できる。
In the present invention, since a luminance signal and / or a color difference signal is used as a signal related to contrast, distortion is suitably applied to a process of conversion from an RGB system component signal to a YCbCr system component signal by filter processing. Processing to suppress can be performed.
Furthermore, in the present invention, since the processing for suppressing the distortion as described above is performed on the captured image, it is possible to suppress the degree of distortion in the compressed image generated by the image compression processing in the imaging apparatus.
本発明にあっては、画像の各画素が有する信号の差分を演算して比較を行い、比較結果に応じて圧縮対象の箇所を特定し、この特定した箇所を画像圧縮することにより、コントラストの差の影響が生じないように圧縮処理を行うことができ、歪みの発生を抑制して圧縮画像の品質を従来に比べて向上できる。 In the present invention, the difference of the signal of each pixel of the image is calculated and compared, the location to be compressed is identified according to the comparison result, and the identified location is image-compressed so that the contrast is reduced. The compression process can be performed so as not to be affected by the difference, and the quality of the compressed image can be improved compared to the conventional case by suppressing the occurrence of distortion.
本発明にあっては、画素間の信号の差分を演算した結果を画像圧縮に係る画素単位数に夫々対応した複数の差分記憶手段へと分別記憶させることにより、画像における信号の各差分を画素単位毎に整理できる。また、各差分記憶手段が記憶する内容で比較し最大の差分を検出するため、最大の差分に係る画素単位を整理した記憶状態に基づき容易に特定できる。よって、特定した画素単位に基づき最大の差分となる画素位置が圧縮処理に係る画素単位の境界と一致するように圧縮対象の箇所を特定して画像圧縮を行うことにより、最大の差分を原因とした歪みの発生を解消して、圧縮画像から明確なブロックノイズ及びモスキートノイズによる画像品質の低下を防止できる。 In the present invention, the result of calculating the signal difference between the pixels is separately stored in a plurality of difference storage means each corresponding to the number of pixel units related to image compression, whereby each difference of the signal in the image is converted into a pixel. Organize by unit. Further, since the maximum difference is detected by comparing with the contents stored in each difference storage means, it can be easily specified based on the storage state in which the pixel units related to the maximum difference are arranged. Therefore, by specifying the location to be compressed and performing image compression so that the pixel position that becomes the maximum difference based on the specified pixel unit coincides with the boundary of the pixel unit related to the compression process, the maximum difference is caused. The occurrence of such distortion can be eliminated, and deterioration of the image quality due to clear block noise and mosquito noise from the compressed image can be prevented.
また、本発明にあっては、演算した差分を適宜増減することにより、画素間の各差分の相異が明確となり、差分同士の比較、検出を容易に行える。
さらに、本発明にあっては、差分記憶手段が差分を積算して記憶し、比較手段が積算された差分同士を比較することにより、局所的に生じる大きい差分に影響されることなく差分を全体的に均等した状態で比較でき、圧縮画像の全体的な品質向上に貢献できる。
In the present invention, by appropriately increasing or decreasing the calculated difference, the difference of each difference between pixels becomes clear, and comparison and detection of differences can be easily performed.
Furthermore, in the present invention, the difference storage means accumulates and stores the differences, and the comparison means compares the accumulated differences with each other, so that the entire difference is not affected by a large difference generated locally. Can be compared in a uniform manner, and can contribute to the improvement of the overall quality of the compressed image.
本発明にあっては、コントラストに係る信号として輝度信号及び/又は色差信号を用いることにより、フィルタ処理される信号に対応してスムーズに歪み抑制に係る処理を行える。
さらに、本発明にあっては、撮像した画像に対して上述した各処理を行うことにより、撮像装置における画像圧縮処理で生成する圧縮画像に対して歪みの影響を抑制できる。
In the present invention, by using a luminance signal and / or a color difference signal as a signal relating to contrast, processing relating to distortion suppression can be performed smoothly in accordance with a signal to be filtered.
Furthermore, in the present invention, by performing the above-described processes on the captured image, it is possible to suppress the influence of distortion on the compressed image generated by the image compression process in the imaging apparatus.
本発明にあっては、画像の各画素が有する信号の差分を演算して比較を行い、比較結果に応じて圧縮対象の箇所を特定することにより、画像処理に好適な画像範囲を得ることができる。
また、本発明にあっては、画素間の信号の差分を演算した結果を画像処理に係る画素単位数に夫々対応した複数の差分記憶手段へと分別記憶し、記憶内容同士の比較で最大の差分を検出し、最大の差分に対応する画素単位数に基づき画像処理を行う箇所を特定するため、画像処理による影響を回避した画像範囲を提供できる。
In the present invention, it is possible to obtain a suitable image range for image processing by calculating a difference between signals of each pixel of the image and performing comparison, and specifying a compression target portion according to the comparison result. it can.
Further, in the present invention, the result of calculating the signal difference between the pixels is separately stored in a plurality of difference storage means respectively corresponding to the number of pixel units related to image processing, and the maximum in comparison between stored contents Since the difference is detected and the location where the image processing is performed is specified based on the number of pixel units corresponding to the maximum difference, an image range that avoids the influence of the image processing can be provided.
図1は、本発明の第1実施形態に係る撮像装置10の内部構成を示すブロック図である。本実施形態の撮像装置10は所謂デジタルカメラに該当し、その内部構成は、撮像した画像に係る画像信号を生成する撮像処理部12、画像圧縮処理を行う画像圧縮部13及び画像の表示を行うモニタ部14に大別される。また、撮像装置10は外部メモリ15に撮像した画像に係る画像ファイルを記憶可能にしている。 FIG. 1 is a block diagram showing an internal configuration of the imaging apparatus 10 according to the first embodiment of the present invention. The imaging apparatus 10 of the present embodiment corresponds to a so-called digital camera, and the internal configuration thereof is an imaging processing unit 12 that generates an image signal related to a captured image, an image compression unit 13 that performs image compression processing, and an image display. It is roughly divided into a monitor unit 14. In addition, the imaging device 10 can store an image file related to the image captured in the external memory 15.
撮像処理部12は撮像素子12a及びA/D変換部12bを有する。撮像素子12aは図示しない撮像レンズ等を含む光学系を通じた集光像に基づき光電変換を行い、画像に係るアナログの画像信号を生成する。A/D変換部12bはアナログの画像信号に含まれるノイズ成分の削除処理を行い、必要に応じて信号増幅処理を行ってからデジタルの画像信号へ変換し、このデジタルの画像信号を画像圧縮部13へ送出する。なお、撮像処理部12が送出する画像信号は、撮像素子12aの色フィルタ配列に応じて1画素当たりの色は1色であると共に1画素当たりの信号量は10bitであり、複数の画素により形成される画像の寸法は、例えば図13(a)に示すように1344×971の画像範囲6aになる。 The imaging processing unit 12 includes an imaging element 12a and an A / D conversion unit 12b. The imaging element 12a performs photoelectric conversion based on a condensed image through an optical system including an imaging lens (not shown) and generates an analog image signal related to the image. The A / D conversion unit 12b performs a process of removing a noise component included in the analog image signal, performs a signal amplification process as necessary, converts the digital image signal, and converts the digital image signal into an image compression unit. 13 to send. Note that the image signal sent out by the imaging processing unit 12 has one color per pixel and a signal amount per pixel of 10 bits according to the color filter array of the imaging element 12a, and is formed by a plurality of pixels. The size of the image to be displayed is, for example, an image range 6a of 1344 × 971 as shown in FIG.
画像圧縮部13は画像圧縮装置に相当するものであり、図12の従来の撮像装置1における画像圧縮部3に比べるとコントラスト位置検出部11を設けたことが相異する。画像圧縮部13は、各処理部13a、13b等、メモリ13e及びMPU13fを内部バス13hで接続した構成にしており、MPU13fの制御に基づき各処理部13a、13b等で画像圧縮に係る所要の処理を行う。 The image compression unit 13 corresponds to an image compression device, and is different from the image compression unit 3 in the conventional imaging device 1 of FIG. 12 in that the contrast position detection unit 11 is provided. The image compression unit 13 has a configuration in which the processing units 13a and 13b, etc., and the memory 13e and the MPU 13f are connected by an internal bus 13h. I do.
順次処理部13aは、カメラ信号処理の一部として黒レベル補正、白バランス補正及びガンマ補正等の各種補正処理を画像信号に対して行う。なお、図13(a)に示す撮像された画像信号に含まれる52画素×5画素のオプティカルブラック部分7における黒色の信号レベルは通常「0」でないが、順次処理部13aの黒レベル補正によりオプティカルブラック部分7の信号レベルの平均値を撮像処理部12全体の出力レベルから減算することで、オプティカルブラック部分7の黒色を基準レベル「0」として再生する。また、黒レベル補正が完了するとオプティカルブラック部分7は不要となるため、順次処理部13aはオプティカルブラック部分7を削除する処理を行う。 The sequential processing unit 13a performs various correction processes such as black level correction, white balance correction, and gamma correction on the image signal as part of the camera signal processing. Note that the black signal level in the 52 × 5 optical black portion 7 included in the captured image signal shown in FIG. 13A is not usually “0”, but the optical level is sequentially corrected by the black level of the processing unit 13a. By subtracting the average value of the signal level of the black portion 7 from the output level of the entire imaging processing unit 12, the black color of the optical black portion 7 is reproduced as the reference level “0”. Further, when the black level correction is completed, the optical black portion 7 becomes unnecessary, and thus the processing unit 13a sequentially performs a process of deleting the optical black portion 7.
よって、順次処理部13aで処理された画像信号は1画素当たりの信号量は8bitに圧縮されて、画像寸法は例えば図13(a)に示すような1292×966の第1処理範囲6bになる。なお、順次処理部13aは処理を行った画像信号をメモリ13eへ出力する。 Therefore, the image signal processed by the sequential processing unit 13a is compressed to 8 bits in signal amount per pixel, and the image size becomes, for example, a first processing range 6b of 1292 × 966 as shown in FIG. . The sequential processing unit 13a outputs the processed image signal to the memory 13e.
フィルタ処理部13bはメモリ13eから順次処理部13aで処理が行われた画像信号を読み出して、他のカメラ信号処理としてRGB補間同時化処理、RGB−YCCマトリクス処理、エッジ補正処理等を行う。フィルタ処理13bは、各処理により画像信号を輝度信号Y、赤色の色差信号Cr及び青色の色差信号Cbの計3個の信号成分に変換する。この変換により画像信号に係る信号成分の1画素当たりの信号量は16bit(輝度信号Yが8bit、両色差信号Cr、Cbが8bit)になる。 The filter processing unit 13b reads the image signal sequentially processed by the processing unit 13a from the memory 13e, and performs RGB interpolation synchronization processing, RGB-YCC matrix processing, edge correction processing, and the like as other camera signal processing. The filter processing 13b converts the image signal into a total of three signal components of the luminance signal Y, the red color difference signal Cr, and the blue color difference signal Cb by each processing. By this conversion, the signal amount per pixel of the signal component related to the image signal becomes 16 bits (the luminance signal Y is 8 bits, both color difference signals Cr and Cb are 8 bits).
また、本実施形態のフィルタ処理部13bは、RGB補間同時化処理及びエッジ補正処理等に有限インパルス応答フィルタ処理(以下、FIR処理と称す)を適用しており、少ない遅延素子で効果的なフィルタリングを実現している。FIR処理は、隣接する画素間で演算処理が行うので、画像周縁部に位置する画素では隣接する画素が存在しないことから、有効なフィルタリングに係る処理を行えない。そのため、フィルタ処理部13bはフィルタリングに係る処理で画像信号の画像寸法を縮小し、例えば、水平及び垂直方向に2次のFIR処理を行うことで、水平及び垂直方向に2画素ずつ有効部分を縮小し、画像寸法を図13(b)に示すような1288×962の第2処理範囲6cにする。 Further, the filter processing unit 13b of the present embodiment applies finite impulse response filter processing (hereinafter referred to as FIR processing) to RGB interpolation simultaneous processing, edge correction processing, and the like, and effective filtering with a small number of delay elements. Is realized. Since the FIR processing is performed between adjacent pixels, there is no adjacent pixel among the pixels located in the peripheral edge portion of the image, and therefore effective filtering processing cannot be performed. Therefore, the filter processing unit 13b reduces the image size of the image signal by processing related to filtering. For example, by performing secondary FIR processing in the horizontal and vertical directions, the effective portion is reduced by two pixels in the horizontal and vertical directions. Then, the image size is set to the second processing range 6c of 1288 × 962 as shown in FIG.
なお、フィルタ処理部13bは、変換した画像信号に係る3個の信号成分の中で、各画素が有する輝度信号Yを画素位置の情報を付加した状態でコントラスト位置検出部11へ順次出力する一方、処理を行った画像信号をメモリ13eへ出力する。 The filter processing unit 13b sequentially outputs the luminance signal Y of each pixel to the contrast position detection unit 11 with pixel position information added among the three signal components related to the converted image signal. The processed image signal is output to the memory 13e.
図2は、コントラスト位置検出部11の内部構成を示すブロック図である。コントラスト位置検出部11は処理箇所特定器に相当し、水平及び垂直方向の各画素に分けて処理を行うために水平コントラスト位置検出部20及び垂直コントラスト位置検出部30を備えている。各コントラスト位置検出部20、30の基本的な構成は同一であるため、代表して水平コントラスト位置検出部20で説明を行う。 FIG. 2 is a block diagram illustrating an internal configuration of the contrast position detection unit 11. The contrast position detection unit 11 corresponds to a processing location identifier, and includes a horizontal contrast position detection unit 20 and a vertical contrast position detection unit 30 for performing processing separately for each pixel in the horizontal and vertical directions. Since the basic configurations of the contrast position detection units 20 and 30 are the same, the horizontal contrast position detection unit 20 will be described as a representative.
水平コントラスト位置検出部20は、1画素遅延部21、水平用差分部22、水平用変換部23、水平用セレクタ部24、各積分部25a〜25h及び水平用検出部26を有している。
水平コントラスト位置検出部20は、フィルタ処理部13bから順次出力される水平画素に係る輝度信号Yを、水平用差分器22と1画素遅延部21とで受け付ける。水平用差分器22は演算手段として自身が受け付けた輝度信号Y及び1画素遅延部21が受け付けて1画素遅延した輝度信号Yに対して隣接する水平画素間の差分を演算する。また、演算結果によっては負の値も生じるため、水平用差分器22は演算した結果を絶対値化する処理も同時に行い、絶対値化した差分を水平用変換部23へ出力する。なお、水平コントラスト位置検出部20は、どのような画素位置同士の差分であるか示す画素位置の情報を出力する差分に付加している。
The horizontal contrast position detection unit 20 includes a one-pixel delay unit 21, a horizontal difference unit 22, a horizontal conversion unit 23, a horizontal selector unit 24, integration units 25a to 25h, and a horizontal detection unit 26.
The horizontal contrast position detection unit 20 receives the luminance signal Y related to the horizontal pixels sequentially output from the filter processing unit 13 b by the horizontal difference unit 22 and the one-pixel delay unit 21. The horizontal subtractor 22 calculates the difference between adjacent horizontal pixels with respect to the luminance signal Y received by itself as the calculating means and the luminance signal Y received by the one-pixel delay unit 21 and delayed by one pixel. In addition, since a negative value is generated depending on the calculation result, the horizontal difference unit 22 also performs processing for converting the calculated result into an absolute value, and outputs the absolute value difference to the horizontal conversion unit 23. Note that the horizontal contrast position detection unit 20 adds pixel position information indicating what kind of pixel position is the difference between the pixel positions to be output.
水平用変換部23は増減手段として水平用差分部22からの差分を非線形変換するため該差分に応じて増減するものである。具体的に水平用変換部23は、図3のグラフに示すような入出力特性を有する曲線Kに係るデータを内部保持部(図示せず)に予め保持しており、この曲線Kに基づき演算された差分(入力)を非線形変換して出力する。なお、図3のグラフにおいて横軸は入力される差分の信号レベル(0〜255)を示し、縦軸は出力される差分(変換値)の信号レベル(0〜255)を示す。このような非線形変換により、入力された差分が小さいときは低輝度となるように圧縮変換され、入力された差分が大きいときは高輝度となるように伸長変換される。 The horizontal conversion unit 23 increases or decreases according to the difference in order to nonlinearly convert the difference from the horizontal difference unit 22 as an increase / decrease unit. Specifically, the horizontal conversion unit 23 stores data related to the curve K having input / output characteristics as shown in the graph of FIG. The obtained difference (input) is non-linearly transformed and output. In the graph of FIG. 3, the horizontal axis indicates the signal level (0 to 255) of the input difference, and the vertical axis indicates the signal level (0 to 255) of the output difference (conversion value). By such non-linear conversion, compression conversion is performed so that the luminance is low when the input difference is small, and expansion conversion is performed so that the luminance is high when the input difference is large.
水平用変換部23は、上述したように差分を適宜増減することにより、後述する水平用検出部26における検出処理の容易化を図っている。なお、水平用変換部23における差分の増減は、曲線Kに基づく非線形変換だけでなく、直線及び屈曲線等に基づく変換も可能である。また、水平用変換部23は変換した差分を水平用セレクタ部24へ出力する。 As described above, the horizontal conversion unit 23 appropriately increases or decreases the difference, thereby facilitating detection processing in the horizontal detection unit 26 described later. In addition, the increase / decrease in the difference in the horizontal conversion unit 23 can be performed not only by nonlinear conversion based on the curve K but also based on straight lines, bent lines, and the like. Further, the horizontal conversion unit 23 outputs the converted difference to the horizontal selector unit 24.
水平用セレクタ部24は水平用変換部23から出力された差分を、その差分に付加された画素位置に係る情報に基づきJPEG圧縮の処理に係る画素単位数である8画素毎に分別する分別手段として機能する。例えば、処理対象の画像における水平方向の画素で左側から1番目の画素を「0」画素にすると、8番目の「7」画素と9番目の「8」画素との間にJPEG圧縮処理の画素単位の境界が位置することから、水平用変換23から出力された「7」画素と「8」画素との差分を「8n+0」(nは整数。以下同様)と云う第0グループに分別する。 The horizontal selector 24 separates the difference output from the horizontal converter 23 into 8 pixels that are the number of pixel units related to the JPEG compression process based on the information about the pixel position added to the difference. Function as. For example, if the first pixel from the left in the horizontal direction in the processing target image is set to “0” pixel, the pixel of JPEG compression processing is between the eighth “7” pixel and the ninth “8” pixel. Since the unit boundary is located, the difference between the “7” pixel and the “8” pixel output from the horizontal conversion 23 is classified into a 0th group called “8n + 0” (n is an integer, the same applies hereinafter).
上述した例で説明を続けると、水平用セレクタ部24は「8」画素と「9」画素との差分を「8n+1」と云う第1グループへ、「9」画素と「10」画素との差分を「8n+2」と云う第2グループへ、「10」画素と「11」画素との差分を「8n+3」と云う第3グループへ、「11」画素と「12」画素との差分を「8n+4」と云う第4グループへ、「12」画素と「13」画素との差分を「8n+5」と云う第5グループへ、「13」画素と「14」画素との差分を「8n+6」と云う第6グループへ、「14」画素と「15」画素との差分を「8n+7」と云う第7グループへ、「15」画素と「16」画素との差分を再度「8n+0」の第0グループへ夫々分別する。 Continuing the description with the above example, the horizontal selector 24 changes the difference between the “8” pixel and the “9” pixel to the first group “8n + 1”, and the difference between the “9” pixel and the “10” pixel. To a second group called “8n + 2”, a difference between “10” pixels and “11” pixels to a third group called “8n + 3”, and a difference between “11” pixels and “12” pixels to “8n + 4”. The fourth group is called “8n + 5”, the difference between “12” pixels and “13” pixels is the fifth group, and the difference between “13” pixels and “14” pixels is “8n + 6”. The difference between the “14” pixel and the “15” pixel is divided into the seventh group called “8n + 7”, and the difference between the “15” pixel and the “16” pixel is again sorted into the “8n + 0” zeroth group. To do.
上述した分別形態を一般的にまとめると次のようになる。「8n+0」の第0グループには「8n−1」画素と「8n+0」画素との差分が分別され、「8n+1」の第1グループには「8n+0」画素と「8n+1」画素との差分が分別され、「8n+2」の第2グループには「8n+1」画素と「8n+2」画素との差分が分別され、「8n+3」の第3グループには「8n+2」画素と「8n+3」画素との差分が分別され、「8n+4」の第4グループには「8n+3」画素と「8n+4」画素との差分が分別され、「8n+5」の第5グループには「8n+4」画素と「8n+5」画素との差分が分別され、「8n+6」の第6グループには「8n+5」画素と「8n+6」画素との差分が分別され、「8n+7」の第7グループには「8n+6」画素と「8n+7」画素との差分が分別される。 The above-described classification forms are generally summarized as follows. The difference between the “8n−1” pixel and the “8n + 0” pixel is sorted in the 0th group of “8n + 0”, and the difference between the “8n + 0” pixel and the “8n + 1” pixel is sorted in the first group of “8n + 1”. The difference between the “8n + 1” pixel and the “8n + 2” pixel is sorted into the second group of “8n + 2”, and the difference between the “8n + 2” pixel and the “8n + 3” pixel is sorted into the third group of “8n + 3”. The difference between the “8n + 3” pixel and the “8n + 4” pixel is sorted into the fourth group of “8n + 4”, and the difference between the “8n + 4” pixel and the “8n + 5” pixel is sorted into the fifth group of “8n + 5”. The difference between the “8n + 5” pixel and the “8n + 6” pixel is classified in the sixth group “8n + 6”, and the difference between the “8n + 6” pixel and the “8n + 7” pixel is classified in the seventh group “8n + 7”. It is.
なお左端の「0」画素は左側に画素が存在しないため、「0」画素に関しては「0」画素と「1」画素との差分のみが第1グループに分別される。また、右端の画素も右側に画素が存在しないことから、右端の画素に関する差分は第7グループのみに分別される。 Since there is no pixel on the left side of the leftmost “0” pixel, only the difference between the “0” pixel and the “1” pixel is classified into the first group for the “0” pixel. Further, since the rightmost pixel does not exist on the right side, the difference regarding the rightmost pixel is classified into only the seventh group.
第0積分部25a〜第7積分部25hは、水平用セレクタ部24が分別した差分を夫々記憶するものであり、各積分部25a〜25hは第0グループから第7グループに対応して設けられて各グループに分別された差分を夫々記憶する。即ち、第0積分部25aは第0グループに分別された差分を記憶し、以下、第1積分部25bは第1グループ、第2積分部25cは第2グループ、第3積分部25dは第3グループ、第4積分部25eは第4グループ、第5積分部25fは第5グループ、第6積分部25gは第6グループ、第7積分部25hは第7グループに夫々分別された差分を記憶する。 The zeroth integration unit 25a to the seventh integration unit 25h each store the difference sorted by the horizontal selector unit 24, and each integration unit 25a to 25h is provided corresponding to the 0th group to the 7th group. The difference sorted into each group is stored. That is, the 0th integration unit 25a stores the difference sorted into the 0th group. Hereinafter, the first integration unit 25b is the first group, the second integration unit 25c is the second group, and the third integration unit 25d is the third group. The group, the fourth integration unit 25e stores the difference sorted into the fourth group, the fifth integration unit 25f stores the difference into the fifth group, the sixth integration unit 25g stores the sixth group, and the seventh integration unit 25h stores the difference sorted into the seventh group. .
また各積分部25a〜25hは、水平用セレクタ部24が分別して出力してくる差分を積算して記憶する。この積算は出力される毎に順次行うことも可能であり、又は画像全体に係る差分が出力されてから最後にまとめて積算することも可能である。 Each of the integrating units 25a to 25h integrates and stores the differences that are sorted and output by the horizontal selector unit 24. This integration can be performed sequentially every time it is output, or it can also be integrated collectively at the end after the difference relating to the entire image is output.
水平用検出部26は、各積分部25a〜25hが記憶する差分同士の比較を行う比較手段、最大の差分を検出する検出手段及び検出した最大の差分を記憶する各積分部25a〜25hに対応する画素単位数に基づき圧縮処理に係る箇所の特定を行う箇所特定手段として機能する。 The horizontal detection unit 26 corresponds to a comparison unit that compares the differences stored in the integration units 25a to 25h, a detection unit that detects the maximum difference, and each integration unit 25a to 25h that stores the detected maximum difference. It functions as a location specifying means for specifying a location related to the compression processing based on the number of pixel units.
具体的に水平用検出部26は、各積分部25a〜25hで積算された差分同士を比較し、この比較により最大の差分を検出する。また、水平用検出部26は検出した最大の差分を記憶する積分部25a〜25hがいずれであるかを特定し、特定した積分部25a〜25hが対応するグループに係る数値を圧縮対象の箇所に係るオフセット位置として図1に示すMPU13fへ出力する。なお、上述したグループに係る数値とは各グループが対応する「8n+m(mは0〜7の整数)」における整数「m」を意味し、例えば、最大の差分を第1積分部25bが記憶する場合、第1積分部25bは第1グループに対応するので、第1グループに係る「8n+1」より整数「1」を出力する。なお、水平用検出部26は各積分部25a〜25bに画像の全画素に対する差分が積算されたかを判断してから、上述した比較及び最大値検出等の処理を行う。 Specifically, the horizontal detection unit 26 compares the differences integrated by the integration units 25a to 25h, and detects the maximum difference by this comparison. Further, the horizontal detection unit 26 specifies which of the integration units 25a to 25h that stores the detected maximum difference, and sets the numerical value related to the group to which the specified integration units 25a to 25h correspond to the portion to be compressed. The offset position is output to the MPU 13f shown in FIG. The numerical value relating to the above group means an integer “m” in “8n + m (m is an integer of 0 to 7)” corresponding to each group. For example, the first integration unit 25b stores the maximum difference. In this case, since the first integrating unit 25b corresponds to the first group, the integer “1” is output from “8n + 1” related to the first group. The horizontal detection unit 26 determines whether or not the differences with respect to all the pixels of the image have been accumulated in the integration units 25a to 25b, and then performs the above-described processing such as comparison and maximum value detection.
一方、図2の垂直コントラスト位置検出部30は、1ライン遅延部31、垂直用差分部32、垂直用変換部33、垂直用セレクタ部34、各積分部35a〜35h及び垂直用検出部36を有し、垂直画素における圧縮対象の箇所に係るオフセット位置の整数をMPU13fへ出力する。なお、1ライン遅延部31は、処理対象となる輝度信号Yに係る画素が垂直画素であるため1ライン分遅延した画素に係る輝度信号Yの受け付けを行う。 2 includes a one-line delay unit 31, a vertical difference unit 32, a vertical conversion unit 33, a vertical selector unit 34, integration units 35a to 35h, and a vertical detection unit 36. And an integer of the offset position relating to the portion to be compressed in the vertical pixel is output to the MPU 13f. The one-line delay unit 31 receives the luminance signal Y related to the pixel delayed by one line because the pixel related to the luminance signal Y to be processed is a vertical pixel.
図1に示すMPU13fは各処理部12、13等の制御に加えて、JPEG処理部13cの圧縮対象となる範囲をメモリ13eに記憶されたフィルタ処理済みの画像から切り出す処理を行う。この圧縮対象の範囲の切り出しは、従来では固定の箇所から行われていたが、本実施形態のMPU13fは、コントラスト位置検出部11から出力される水平及び垂直画素に係る整数に基づき切り出し箇所をオフセットして調整する。 The MPU 13f shown in FIG. 1 performs a process of cutting out the range to be compressed by the JPEG processing unit 13c from the filtered image stored in the memory 13e, in addition to the control of the processing units 12 and 13 and the like. Although the extraction of the compression target range has conventionally been performed from a fixed location, the MPU 13f of the present embodiment offsets the extraction location based on the integers related to the horizontal and vertical pixels output from the contrast position detection unit 11. And adjust.
例えば、コントラスト位置検出部11が水平画素に対して整数「1」、垂直画素に対して整数「1」を夫々出力した場合、MPU13fはメモリ13eに記憶された画像の左上頂点となる原点座標画素(0、0)より右方向に「1」、下方向に「1」オフセットした座標画素(1、1)をJPEG圧縮対象となる画像の左上頂点として、所要の画像寸法の範囲を切り出す処理を行う。このような切り出し調整をMPU13fが行うことにより、画像の一部において図14(a)の画像のように圧縮処理に係る8×8画素単位内でコントラストの差が生じていても、図6(a)(d)に示す画像のように、パッチにより背景部分とコントラストの差が生じる箇所が8×8画素単位の境界に一致する。なお、図6(d)の画像は、図6(a)の画像に対し、JPEG圧縮の処理(2次元離散コサイン変換:DCT)に係る水平及び垂直方向の画素単位数(8×8)を破線で格子状に示したものであり、この破線は実際の画像には存在しない。 For example, when the contrast position detection unit 11 outputs an integer “1” for the horizontal pixel and an integer “1” for the vertical pixel, the MPU 13f is the origin coordinate pixel that is the upper left vertex of the image stored in the memory 13e. A process of cutting out a range of a required image size using the coordinate pixel (1, 1) offset by “1” in the right direction and “1” in the downward direction from (0, 0) as the upper left vertex of the image to be JPEG compressed. Do. By performing such cutout adjustment by the MPU 13f, even if a difference in contrast occurs within an 8 × 8 pixel unit related to the compression processing as in the image of FIG. 14A in a part of the image, FIG. a) As shown in the image shown in (d), a portion where a difference in contrast from the background portion is caused by the patch coincides with a boundary of 8 × 8 pixel units. Note that the image in FIG. 6D has the number of horizontal and vertical pixel units (8 × 8) related to the JPEG compression process (two-dimensional discrete cosine transform: DCT) with respect to the image in FIG. The broken lines are shown in a grid pattern, and the broken lines do not exist in the actual image.
また、図1に示すJPEG処理部13cは画像圧縮手段に相当し、上述したようにMPU13fにより切り出された画像に対してJPEG圧縮処理を行い、JPEG画像ストリーム信号に変換する。具体的にJPEG処理部13はレベルシフト処理、2次元離散コサイン変換処理、量子化、ジグザグシーケンス化及びハフマン符号化等の一連のJPEG圧縮に係る処理を画像に対して行う。なお、JPEG処理部13cは圧縮画像をメモリ13eに出力してメモリ13eに記憶させる。また、MPU13fはメモリ13eに記憶させた圧縮画像をJPEG画像ファイルとして必要な各種データを付加した状態で外部メモリインタフェース部13gへ出力する。 The JPEG processing unit 13c shown in FIG. 1 corresponds to an image compression unit, and performs JPEG compression processing on the image cut out by the MPU 13f as described above, and converts it into a JPEG image stream signal. Specifically, the JPEG processing unit 13 performs a series of JPEG compression processing such as level shift processing, two-dimensional discrete cosine transform processing, quantization, zigzag sequencing, and Huffman coding on an image. The JPEG processing unit 13c outputs the compressed image to the memory 13e and stores it in the memory 13e. The MPU 13f outputs the compressed image stored in the memory 13e to the external memory interface unit 13g with various necessary data added as a JPEG image file.
外部メモリインタフェース部13gは、各規格に準じたメモリカードのような半導体メモリである外部メモリ15をセットしている場合は、JPEG画像ファイルを外部メモリ15へ出力して外部メモリ15に記憶させる処理を行う。
なお、画像圧縮部13のバス管理部13dは内部バス13hの管理を行う。また、図1に示すモニタ部14は、フィルタ処理部13bで処理された輝度信号Y及び各色差信号Cr、Cbに変換された画像信号を受け付けて画像の表示を行う。
The external memory interface unit 13g outputs a JPEG image file to the external memory 15 and stores it in the external memory 15 when the external memory 15 which is a semiconductor memory such as a memory card conforming to each standard is set. I do.
The bus management unit 13d of the image compression unit 13 manages the internal bus 13h. The monitor unit 14 shown in FIG. 1 receives the luminance signal Y processed by the filter processing unit 13b and the image signals converted into the color difference signals Cr and Cb, and displays an image.
次に、上述した撮像装置10で撮像された画像が圧縮されて外部メモリ15へと記憶されるに至る一連の処理を図4の第1フローチャートに基づいて説明する。
先ず、画像圧縮部13は、撮像処理部12が撮像した画像に係る画像信号を受け付ける(S1)。なお、画像圧縮部13は受け付けた画像信号を一時的にメモリ13eに記憶する。次に、画像圧縮部13の順次処理部13aはメモリ13eから画像信号を読み出して、レベル補正及びガンマ補正等の各種補正処理を行う(S2)。この補正処理によりオプティカルブラック部は削除される。また、順次処理部13aは補正処理を行った画像信号を一時的にメモリ13eに記憶する。
Next, a series of processes until the image captured by the above-described imaging device 10 is compressed and stored in the external memory 15 will be described based on the first flowchart of FIG.
First, the image compression unit 13 receives an image signal related to an image captured by the imaging processing unit 12 (S1). The image compression unit 13 temporarily stores the received image signal in the memory 13e. Next, the sequential processing unit 13a of the image compression unit 13 reads the image signal from the memory 13e, and performs various correction processes such as level correction and gamma correction (S2). By this correction processing, the optical black portion is deleted. The sequential processing unit 13a temporarily stores the corrected image signal in the memory 13e.
それから、画像圧縮部13のフィルタ処理部13bがメモリ13eから画像信号を読み出して、フィルタ処理を行う(S3)。このフィルタ処理により画像寸法は縮小される。また、フィルタ処理部13bはフィルタ処理を行った画像信号を一時的にメモリ13eに記憶すると共に、画像信号が有する輝度信号Yのみをコントラスト位置検出部11へ送出する。 Then, the filter processing unit 13b of the image compression unit 13 reads the image signal from the memory 13e and performs the filter process (S3). The image size is reduced by this filtering process. Further, the filter processing unit 13b temporarily stores the filtered image signal in the memory 13e, and sends only the luminance signal Y included in the image signal to the contrast position detection unit 11.
コントラスト位置検出部11は、輝度信号Yに対し各処理を行うことで切り出し箇所特定に係る整数をMPU13fへ出力すると云う圧縮箇所の特定を行う(S4)。また、MPU13fはコントラスト位置検出部11からの整数で特定された箇所を左上頂点としてメモリ13eに記憶されている画像から切り出した範囲をJPEG処理部13cへ送出し、JPEG処理部13cは切り出された範囲に対し所要の画像圧縮処理を行う(S5)。 The contrast position detection unit 11 performs compression processing to specify the compression portion that outputs an integer related to the extraction portion specification to the MPU 13f by performing each process on the luminance signal Y (S4). Also, the MPU 13f sends the range cut out from the image stored in the memory 13e to the JPEG processing unit 13c with the part specified by the integer from the contrast position detection unit 11 as the upper left vertex, and the JPEG processing unit 13c is cut out. The required image compression processing is performed on the range (S5).
JPEG処理部13cは圧縮処理を行った圧縮画像をメモリ13eに出力し、最終的にMPU13fがメモリ13eに記憶された圧縮画像をJPEG画像ファイルとして所要のデータを付加して外部メモリインタフェース部13gを介して外部メモリ15へ出力する(S6)。これにより外部メモリ15には圧縮画像に係るJPEG画像ファイルが記憶される。なお、上述した圧縮箇所を特定する段階(S4)及び画像圧縮処理の段階(S5)が本発明に係る画像圧縮方法と主に対応した処理内容になる。 The JPEG processing unit 13c outputs the compressed image subjected to the compression process to the memory 13e. Finally, the MPU 13f adds the necessary data as the JPEG image file to the compressed image stored in the memory 13e and adds the external memory interface unit 13g. To the external memory 15 (S6). As a result, the JPEG image file relating to the compressed image is stored in the external memory 15. It should be noted that the step (S4) of specifying the compression point and the step (S5) of the image compression process described above are the processing contents mainly corresponding to the image compression method according to the present invention.
図5の第2フローチャートは、図4の第1フローチャートの圧縮箇所特定の段階(S4)に対するコントラスト位置検出部11が行う処理箇所特定方法に係る処理手順を詳細に示したものである。
図2のコントラスト位置検出部11は、先ずフィルタ処理部13bから出力されてきた輝度信号Yを、水平画素に対しては1画素遅延部21及び水平用差分部22で受付を行うと共に垂直画素に対しては1ライン遅延部31及び垂直用差分部32で受付を行う(S10)。次に、各差分部22、32は隣接する画素間の輝度信号Yに対し差分を夫々演算し(S11)、演算結果に係る差分を各変換部23、33へ出力する。
The second flowchart of FIG. 5 shows in detail the processing procedure related to the processing location specifying method performed by the contrast position detection unit 11 for the compression location specifying stage (S4) of the first flowchart of FIG.
The contrast position detection unit 11 in FIG. 2 first receives the luminance signal Y output from the filter processing unit 13b for the horizontal pixels by the one-pixel delay unit 21 and the horizontal difference unit 22 and converts them to the vertical pixels. On the other hand, the reception is performed by the one-line delay unit 31 and the vertical difference unit 32 (S10). Next, each of the difference units 22 and 32 calculates a difference with respect to the luminance signal Y between adjacent pixels (S11), and outputs the difference related to the calculation result to each of the conversion units 23 and 33.
各変換部23、33は出力されてきた差分を適宜増減する非線形変換を行い(S12)、増減した差分を各セレクタ部24、34へ出力する。各セレクタ部24、34は差分を、各差分に係る画素位置に分別して各積分部25a〜25h、35a〜35hへ出力する(S13)。各積分部25a〜25h、35a〜35hは出力された差分を積算して記憶し、各検出部26、36が積算された差分が全画素分に対して記憶されたか否か検出することで、画像全体分の処理が終了したかを判断する(S14)。 Each of the conversion units 23 and 33 performs non-linear conversion that appropriately increases or decreases the output difference (S12), and outputs the increased or decreased difference to each of the selector units 24 and 34. Each selector unit 24, 34 classifies the difference into pixel positions related to each difference, and outputs them to each integrating unit 25a-25h, 35a-35h (S13). The integration units 25a to 25h and 35a to 35h accumulate and store the output differences, and detect whether or not the difference obtained by the integration of the detection units 26 and 36 is stored for all pixels. It is determined whether the processing for the entire image has been completed (S14).
画像全体分の処理が終了していない場合(S14:NO)、輝度信号受付(S10)から差分を各積分部25a〜25h、35a〜35hへ出力する段階(S13)を画像全体分に対して行われるまで繰り返す。一方、画像全体分の処理が終了した場合(S14:YES)、各検出部26、36は各積分部25a〜25h、35a〜35hで記憶される積算値から最大値を検出し(S15)、最大値を記憶する各積分部25a〜25h、35a〜35hに対応する水平及び垂直画素用の整数をMPU13fへ出力する(S16)。 If the processing for the entire image has not been completed (S14: NO), the step of outputting the difference from the luminance signal reception (S10) to each integrating unit 25a to 25h, 35a to 35h (S13) for the entire image. Repeat until done. On the other hand, when the processing for the entire image is completed (S14: YES), the detection units 26 and 36 detect the maximum value from the integrated values stored in the integration units 25a to 25h and 35a to 35h (S15), The integers for horizontal and vertical pixels corresponding to the integrating units 25a to 25h and 35a to 35h storing the maximum value are output to the MPU 13f (S16).
上述した図5の第2フローチャートにおける処理による整数をMPU13fが受け付けることで、MPU13は、例えば、図6(a)(d)に示す画像のように切り出しを行い、画像内におけるコントラストの差が生じている箇所を圧縮処理の画素単位に係る境界に一致させている。 When the MPU 13f accepts an integer obtained by the process in the second flowchart of FIG. 5 described above, the MPU 13 cuts out the image as shown in FIGS. 6A and 6D, for example, and a difference in contrast occurs in the image. Are made to coincide with the boundary relating to the pixel unit of the compression processing.
また、図6(b)の低圧縮画像は、図6(a)の切り出し箇所を調整した画像を低圧縮率でJPEG圧縮したものであり、図6(c)の高圧縮画像は、図6(a)に示す画像を高圧縮率でJPEG圧縮したものである。図6(b)の低圧縮画像は、図14(b)に示す従来の低圧縮画像に対しパッチの周囲における状況の差は小さいが、図6(c)の高圧縮画像は、図14(c)に示す従来の高圧縮画像と比べると、パッチの周囲に歪みが生じておらず、良好な画像が得られていることが分かる。 Further, the low-compressed image in FIG. 6B is a JPEG-compressed image obtained by adjusting the cutout portion in FIG. 6A at a low compression rate, and the high-compressed image in FIG. The image shown in (a) is JPEG compressed at a high compression rate. The low-compressed image in FIG. 6B has a smaller difference in the situation around the patch than the conventional low-compressed image shown in FIG. 14B, but the high-compressed image in FIG. Compared to the conventional high-compression image shown in c), it can be seen that there is no distortion around the patch and a good image is obtained.
これは、コントラスト位置検出部11の処理に基づき切り出し位置を調整することにより、コントラストの差が大きく生じている箇所がJPEG圧縮に係る8×8画素単位の境界と一致したため、2次元離散コサイン変換に係る処理単位内でコントラストの差が無くなり、画像の高調波成分も解消されてJPEG処理部13cの量子化で高周波成分を除去する影響が無くなったためである。 This is because, by adjusting the cut-out position based on the processing of the contrast position detection unit 11, the location where the contrast difference is large coincides with the boundary of 8 × 8 pixel units related to JPEG compression, so that the two-dimensional discrete cosine transform is performed. This is because there is no difference in contrast within the processing unit and the harmonic component of the image is eliminated, and the influence of removing the high frequency component by the quantization of the JPEG processing unit 13c is eliminated.
なお、上述したような切り出し範囲の調整を行うことにより、切り出された画像の寸法が従来の切り出し箇所が固定に場合に比べて小さくなることもあるが、その小さくなる寸法は、最大でも圧縮処理に係る画素単位数であるため、デジタルカメラが有するモニタ部に係る解像度では、大きな画素数の画像に対して影響が生じるものではない。また、モニタ部に全画像が収まる程度の画素数であれば、上述した影響は顕在化しない。さらに、切り出し範囲が調整されることにより、画像中心と撮像に係る光軸の中心が一致しなくなることもあるが、一致した状態からオフセット寸法は最大でも画素単位数の半分に収まるため、昨今の撮像装置等では特に支障は生じない。 Note that by adjusting the cutout range as described above, the size of the cutout image may be smaller than in the case where the conventional cutout location is fixed. Therefore, the resolution of the monitor unit included in the digital camera does not affect the image having a large number of pixels. Further, if the number of pixels is such that the entire image can be accommodated in the monitor unit, the above-described influence does not become obvious. Furthermore, by adjusting the cutout range, the center of the image and the center of the optical axis related to imaging may not match, but since the offset dimension is within half the number of pixel units at the maximum from the matched state, There is no particular problem with an imaging device or the like.
また、第1実施形態に係る撮像装置10は、上述した形態に限定されるものではなく種々の変形例が存在する。例えば、画像圧縮部13はJPEG処理部13cを、2次元離散コサイン変換を利用した画像圧縮処理を行うMPEG圧縮部又はH.262等の動画圧縮部等に置き換えることも可能である。JPEG処理部12cをMPEG圧縮部に置き換えた場合、撮像装置10はデジタルビデオカメラに相当したものになり、JPEG処理部12cをH.262等の動画圧縮部に置き換えた場合、撮像装置10はテレビ電話等に対応したカメラに相当したものになる。また、第1実施形態の撮像装置10は、撮像機能を備える携帯電話器及び固定型電話器等にも適用できる。 Further, the imaging apparatus 10 according to the first embodiment is not limited to the above-described form, and there are various modifications. For example, the image compression unit 13 converts the JPEG processing unit 13c into an MPEG compression unit that performs image compression processing using two-dimensional discrete cosine transform, or H.264. It can be replaced with a moving image compression unit such as H.262. When the JPEG processing unit 12c is replaced with an MPEG compression unit, the imaging device 10 is equivalent to a digital video camera. When the moving image compression unit such as 262 is replaced, the imaging device 10 corresponds to a camera compatible with a videophone or the like. The imaging device 10 of the first embodiment can also be applied to a mobile phone device and a fixed phone device having an imaging function.
さらに、図1に示す画像圧縮部13は、撮像処理部12及びモニタ部14と切り離して単体の画像圧縮装置にすることも可能である。この場合、図1の画像圧縮部13と同等の構成を有する画像圧縮装置に外部信号入力部を設け、この外部信号入力部に画像信号を出力する機器を接続することで、入力された画像信号を歪みの発生を抑えて圧縮する処理を本発明に係る画像圧縮装置で行うことができる。 Furthermore, the image compression unit 13 shown in FIG. 1 can be separated from the imaging processing unit 12 and the monitor unit 14 to form a single image compression apparatus. In this case, an external image input unit is provided in the image compression apparatus having the same configuration as that of the image compression unit 13 in FIG. 1, and a device that outputs an image signal is connected to the external signal input unit. Can be performed by the image compression apparatus according to the present invention.
さらに、また、水平及び垂直コントラスト位置検出部20、30が有する各積分部25a〜25h、35a〜35hの個数は夫々8個に限定されるものでなく、画像圧縮処理の水平及び垂直方向の画素単位数に応じて適宜増減することが可能である。例えば、上述したようにJPEG処理部13cの代わりにMPEG圧縮部又は動画圧縮部等を用いた場合、16画素単位で圧縮処理を行うため、水平用に16個の積分部を設けると共に垂直用に16個の積分部を設けるようにする。この場合、各セレクタ部24、34も16画素毎に分別し、「16n+0」と云う第0グループに対応する第0積分部から「16n+15」と云う第15グループに対応する第15積分部へ分別した差分を出力することになる。 Furthermore, the number of integrating units 25a to 25h and 35a to 35h included in the horizontal and vertical contrast position detecting units 20 and 30 is not limited to eight, and the pixels in the horizontal and vertical directions of the image compression process are not limited to eight. It is possible to increase or decrease appropriately according to the number of units. For example, as described above, when an MPEG compression unit or a moving image compression unit is used instead of the JPEG processing unit 13c, the compression processing is performed in units of 16 pixels. Sixteen integration units are provided. In this case, the selectors 24 and 34 are also separated for every 16 pixels, and classified from the 0th integration unit corresponding to the 0th group “16n + 0” to the 15th integration unit corresponding to the 15th group “16n + 15”. Will output the difference.
また、上述した説明ではコントラスト位置検出部11が処理する成分信号を輝度信号Yとしたが、輝度信号Yに色差信号Cr、Cbの両方又はいずれか一方を組み合わせて処理することも可能であり、さらには、輝度信号Yを用いずに色差信号Cr、Cbの両方又はいずれか一方のみで処理するようにしてもよい。このような場合、フィルタ処理部13bは使用する成分信号をコントラスト位置検出部11へ出力することになる。また、各信号成分の比率が所謂「YCC422」である場合、輝度信号Yに対する積分部の水平画素用の個数を8個から16個に増加した方が各色差信号のマッチング性が向上し好適である。さらに、各信号成分の比率が所謂「YCC420」である場合は、輝度信号Yに対する積分部の垂直画素用の個数を16個に増加した方が各色差信号のマッチング性を良好にできる。 In the above description, the component signal processed by the contrast position detection unit 11 is the luminance signal Y. However, the luminance signal Y can be processed by combining both or one of the color difference signals Cr and Cb. Furthermore, the luminance signal Y may not be used and processing may be performed using both or one of the color difference signals Cr and Cb. In such a case, the filter processing unit 13b outputs the component signal to be used to the contrast position detection unit 11. Further, when the ratio of each signal component is so-called “YCC422”, it is preferable to increase the number of horizontal pixels of the integration unit for the luminance signal Y from 8 to 16 because the matching of each color difference signal is improved. is there. Furthermore, when the ratio of each signal component is so-called “YCC420”, the matching of each color difference signal can be improved by increasing the number of vertical pixels of the integration unit to the luminance signal Y to 16.
なお、上述したように、輝度信号Yに加えて色差信号Cr、Cbを利用する場合は、輝度信号用のコントラスト位置検出部、色差信号用Cr、Cb用のコントラスト位置検出部を設けるようにしてもよい。 As described above, when the color difference signals Cr and Cb are used in addition to the luminance signal Y, a contrast position detection unit for luminance signals and a contrast position detection unit for color difference signals Cr and Cb are provided. Also good.
さらに、図1に示す画像圧縮部13は、メモリ13eを除いた部分をワンチップ化することも可能であり、メモリ13e及びコントラスト位置検出部11を除いた部分をワンチップ化することも可能である。後者の場合には順次処理部13a及びフィルタ処理部13b等の処理を行う半導体チップ(例えばシャープ(株)製のLR38668)を適用できる。なお、図2に示す構造のコントラスト位置検出部11のみを処理箇所特定器としてワンチップ化することも可能である。また、画像圧縮部13の構成を簡易化する場合は、各変換部23、33を省略してもよい。 Further, the image compression unit 13 shown in FIG. 1 can be formed into a single chip except for the memory 13e, and can be formed into a single chip except for the memory 13e and the contrast position detection unit 11. is there. In the latter case, a semiconductor chip (for example, LR38668 manufactured by Sharp Corporation) that sequentially performs processing such as the processing unit 13a and the filter processing unit 13b can be applied. Note that only the contrast position detecting unit 11 having the structure shown in FIG. When the configuration of the image compression unit 13 is simplified, the conversion units 23 and 33 may be omitted.
図7は、本発明の第2実施形態に係る画像圧縮装置50の内部構成を示すブロック図である。画像圧縮装置50は、ハード的には図12に示す撮像装置1における画像圧縮部3の内部構成と略同等であり、相異する点としては内部バス53hに外部入力部53i及び外部出力部53jを接続していること、MPU53fにフラッシュメモリ53kを接続していること、及び、外部メモリインタフェース部3gを省略していることが挙げられる。本実施形態の画像圧縮装置50は、図1に示す第1実施形態の画像圧縮部13におけるコントラスト位置検出部11の処理をMPU53fがソフト的に行うものである。 FIG. 7 is a block diagram showing an internal configuration of the image compression apparatus 50 according to the second embodiment of the present invention. The image compression device 50 is substantially the same in hardware as the internal configuration of the image compression unit 3 in the imaging device 1 shown in FIG. 12, and is different from the internal bus 53h in the external input unit 53i and the external output unit 53j. Are connected, the flash memory 53k is connected to the MPU 53f, and the external memory interface unit 3g is omitted. In the image compression apparatus 50 of the present embodiment, the MPU 53f performs the processing of the contrast position detection unit 11 in the image compression unit 13 of the first embodiment shown in FIG.
画像圧縮装置50には内部メモリ部51を有するMPU53fを適用し、内部メモリ部51の所要アドレス箇所をレジスタとして図8に示す第0水平バッファ58a〜第7水平バッファ58h及び第0垂直バッファ59a〜第7垂直バッファ59hを設けている。これら各水平バッファ58a〜58h及び各垂直バッファ59a〜59hは図2に示す水平コントラスト位置検出部20の各積分部25a〜25h及び垂直コントラスト位置検出部30の各積分部35a〜35hに夫々相当するものである。 An MPU 53f having an internal memory unit 51 is applied to the image compression device 50, and the required address portion of the internal memory unit 51 is used as a register, and the 0th horizontal buffer 58a to the 7th horizontal buffer 58h and the 0th vertical buffer 59a to 5th shown in FIG. A seventh vertical buffer 59h is provided. The horizontal buffers 58a to 58h and the vertical buffers 59a to 59h correspond to the integrating units 25a to 25h of the horizontal contrast position detecting unit 20 and the integrating units 35a to 35h of the vertical contrast position detecting unit 30 shown in FIG. Is.
また、MPU53fに水平コントラスト位置検出部20の各処理部21、22等及び垂直コントラスト位置検出部30の各処理部31、32等に係る処理を行わせるためのプログラムがフラッシュメモリ53kに記憶されている。なお、画像圧縮装置50の上述した箇所以外は、第1実施形態の画像圧縮部13と同等であり、順次処理部53a、フィルタ処理部53b、JPEG処理部53c及びバス管理部53dは第1実施形態と同様の処理を行う。 A program for causing the MPU 53f to perform processing related to the processing units 21 and 22 of the horizontal contrast position detection unit 20 and the processing units 31 and 32 of the vertical contrast position detection unit 30 is stored in the flash memory 53k. Yes. The portions other than those described above of the image compression apparatus 50 are the same as those of the image compression unit 13 of the first embodiment, and the sequential processing unit 53a, filter processing unit 53b, JPEG processing unit 53c, and bus management unit 53d are the first embodiment. Processing similar to that of the form is performed.
フラッシュメモリ53kに記憶されるプログラムは、水平画素処理部分及び垂直画素処理部分に分かれている。水平画素処理部分はフィルタ処理部53bが出力する水平画素に係る輝度信号Yを処理し、垂直画素処理部分はフィルタ処理部53bが出力する垂直画素に係る輝度信号Yを処理し、各部のプログラム内容は略同等である。 The program stored in the flash memory 53k is divided into a horizontal pixel processing portion and a vertical pixel processing portion. The horizontal pixel processing portion processes the luminance signal Y related to the horizontal pixel output from the filter processing portion 53b, and the vertical pixel processing portion processes the luminance signal Y related to the vertical pixel output from the filter processing portion 53b, and the program contents of each portion Are approximately equivalent.
水平及び垂直画素処理部分は、MPU53fを水平及び垂直画素に対する処理に対し1画素遅延手段(垂直画素に対しては1ライン遅延手段、以下同様)、演算手段、増減手段、分別手段、及び特定手段として機能させる内容がプログラミングされている。
MPU13fは、プログラムの起動に基づきフィルタ処理部13bが出力する水平及び垂直画素に係る輝度信号Yを順次受け付けるが、その受付に係る状況は、隣接する画素に係る輝度信号Yを演算手段及び1画素遅延手段として夫々受け付ける。
The horizontal and vertical pixel processing section includes a one-pixel delay means for processing the MPU 53f for horizontal and vertical pixels (one-line delay means for vertical pixels, the same applies hereinafter), a calculation means, an increase / decrease means, a sorting means, and a specifying means. The contents to function as are programmed.
The MPU 13f sequentially receives the luminance signal Y related to the horizontal and vertical pixels output from the filter processing unit 13b based on the activation of the program. The situation related to the reception is that the luminance signal Y related to the adjacent pixel is calculated by means of a calculation unit and one pixel. Each is accepted as a delay means.
演算手段に係る処理内容は、図2に示す各差分部22、32の処理と同等であり、演算手段として受け付けた輝度信号Y及び1画素遅延手段として受け付けた輝度信号Yの1画素遅延出力との差分を演算するように規定されている。なお、この差分の演算に対しては演算結果を絶対値化する内容も規定されている。 The processing contents related to the calculation means are equivalent to the processing of each of the difference units 22 and 32 shown in FIG. 2, and the luminance signal Y received as the calculation means and the one-pixel delay output of the luminance signal Y received as the one-pixel delay means It is prescribed to calculate the difference between the two. In addition, for the calculation of the difference, contents for converting the calculation result into an absolute value are also defined.
増減手段は、図2の各変換部23、33と同等の処理を行うものであり、絶対値化された差分を図3に示すグラフにおける曲線Kに基づき非線形変換を行う内容が規定されており、プログラムには曲線Kに係るデータも予め規定されている。具体的には、処理対象の差分が小さいときは低輝度値に変換し、差分が大きいときは高輝度値に変換する。このように非線形変換することで、後述する処理で低輝度値が多数有る中で高輝度値の検出を確実に行えるようになる。 The increase / decrease means performs processing equivalent to that of each of the conversion units 23 and 33 in FIG. 2, and the contents for performing nonlinear conversion on the absolute difference based on the curve K in the graph shown in FIG. 3 are defined. In the program, data relating to the curve K is also defined in advance. Specifically, when the difference to be processed is small, it is converted into a low luminance value, and when the difference is large, it is converted into a high luminance value. By performing non-linear conversion in this way, it becomes possible to reliably detect a high luminance value in the case where there are a large number of low luminance values in the processing described later.
分別手段は、図2の各セレクタ部24、34に相当するものであり、変換された差分を、その差分に係る画素位置情報に基づき圧縮のような画像処理に係る画素単位数毎に分別する処理を行うように規定されている。本実施形態では第1実施形態の各セレクタ部24、34と同様に各差分を分別して、第0グループから第7グループに夫々対応する図8に示す各バッファ58a〜58h、59a〜59hへ出力する。 The sorting means corresponds to each selector unit 24, 34 in FIG. 2, and sorts the converted difference for each number of pixel units related to image processing such as compression based on pixel position information related to the difference. It is prescribed to process. In this embodiment, each of the differences is sorted and output to the buffers 58a to 58h and 59a to 59h shown in FIG. 8 corresponding to the 0th group to the 7th group, respectively, like the selector units 24 and 34 of the first embodiment. To do.
各バッファ58a〜58h、59a〜59hは出力されてきた差分を積算して記憶するものであり、各バッファ58a等と各グループの対応付けは第1実施形態と同様である。
また、特定手段は、図2の各検出部26、36に相当するものであり、比較手段、検出手段及び箇所特定手段として機能する。即ち、特定手段は各バッファ58a等で積算された差分を比較して最大値を検出し、その最大値を記憶するバッファがいずれであるかを特定し、特定したバッファに係る画素単位数に応じた整数を判定する処理を行う。
Each of the buffers 58a to 58h and 59a to 59h accumulates and stores the output differences, and the correspondence between each buffer 58a and the like and each group is the same as in the first embodiment.
Further, the specifying unit corresponds to each of the detection units 26 and 36 in FIG. 2, and functions as a comparison unit, a detection unit, and a location specifying unit. That is, the specifying unit compares the difference accumulated in each buffer 58a and the like to detect the maximum value, specifies which buffer stores the maximum value, and according to the number of pixel units related to the specified buffer. Processing to determine the integer.
また、MPU53fが特定手段として判定した整数に基づきメモリ53eに記憶されているフィルタ処理部53bで処理された画像から切り出す箇所を特定し、その特定した箇所より所要の寸法を切り出す。なお、プログラムはソフト的に切り出し範囲を調整するに当たり、上述した各手段に係る処理を始める際に各バッファ58a〜58h、59a〜59hの初期化及び各バッファ58a〜58h、59a〜59hに全画素分の差分が記憶されたかをMPU13fに確認させることを夫々規定している。 Further, a part to be cut out from the image processed by the filter processing unit 53b stored in the memory 53e is specified based on the integer determined by the MPU 53f as the specifying means, and a required dimension is cut out from the specified part. When the program adjusts the cutout range in software, when starting the processing related to each means described above, the buffers 58a to 58h and 59a to 59h are initialized and all the pixels are stored in the buffers 58a to 58h and 59a to 59h. It is specified that the MPU 13f confirms whether or not the minute difference is stored.
また、切り出された範囲に対する処理は第1実施形態と同様であり、JPEG処理部53cが切り出された範囲に対して画像圧縮を行い、生成した圧縮画像をメモリ53eに記憶する。 The processing for the clipped range is the same as in the first embodiment, and the JPEG processing unit 53c performs image compression on the clipped range, and stores the generated compressed image in the memory 53e.
図9は、上述したプログラムに基づいたMPU53fの圧縮を行う処理箇所の特定方法に係る一連の処理手順を示した第3フローチャートである。
第3フローチャートは、図7の画像圧縮装置50が外部入力部53iより受け付けた画像信号を順次処理部53a及びフィルタ処理部53bで処理し、メモリ53eにはフィルタ処理された画像信号が記憶されると共にフィルタ処理部53bから輝度信号YがMPU53fに出力されるときに対して、プログラムに規定された内容をMPU53fが順次行う処理を示したものである。
FIG. 9 is a third flowchart showing a series of processing procedures related to a method for specifying a processing location for compressing the MPU 53f based on the above-described program.
In the third flowchart, the image compression apparatus 50 of FIG. 7 sequentially processes the image signal received from the external input unit 53i by the processing unit 53a and the filter processing unit 53b, and the filtered image signal is stored in the memory 53e. In addition, when the luminance signal Y is output from the filter processing unit 53b to the MPU 53f, the MPU 53f sequentially performs the contents defined in the program.
先ず、MPU53fは処理を始めるに当たり、各水平バッファ58a〜58h及び各垂直バッファ59a〜59hを初期化して記憶内容を削除する(S20)。次に、MPU53fはフィルタ処理部53bから水平及び垂直画素に係る輝度信号Yを受け付けて(S21)、演算手段として隣接する画素間の差分を演算する(S22)。さらに、MPU53fは演算した差分を適宜増減するため、増減手段として非線形変換を行う(S23)。 First, when starting the processing, the MPU 53f initializes the horizontal buffers 58a to 58h and the vertical buffers 59a to 59h and deletes the stored contents (S20). Next, the MPU 53f receives the luminance signal Y related to the horizontal and vertical pixels from the filter processing unit 53b (S21), and calculates a difference between adjacent pixels as a calculation means (S22). Further, the MPU 53f performs non-linear conversion as an increase / decrease means in order to increase / decrease the calculated difference as appropriate (S23).
それから、MPU53fは分別手段として変換した差分に含まれる画素位置情報より、各差分を画素単位数毎に分別する(S24)。そして分別した各差分を対応する各バッファ58a〜58h、59a〜59hが記憶し(S25)、記憶した差分を積算する。 Then, the MPU 53f sorts each difference for each number of pixel units based on the pixel position information included in the difference converted as the sorting means (S24). Then, the respective buffers 58a to 58h and 59a to 59h corresponding to the sorted differences are stored (S25), and the stored differences are integrated.
MPU53fは、この状態で各バッファ58a〜58h、59a〜59hの記憶内容を検出することで、各バッファ58a〜58h、59a〜59hが全画素に係る差分を記憶したかを判断する(S26)。全画素に係る差分を記憶していない場合(S26:NO)、輝度信号を受け付ける段階(S21)へ戻り、全画素に係る差分を記憶するまで輝度信号の受付段階(S21)から各差分の記憶段階(S25)を繰り返す。 In this state, the MPU 53f detects the stored contents of the buffers 58a to 58h and 59a to 59h to determine whether the buffers 58a to 58h and 59a to 59h have stored the differences relating to all the pixels (S26). When the differences relating to all the pixels are not stored (S26: NO), the process returns to the step (S21) of accepting the luminance signal, and each difference is stored from the accepting step (S21) of the luminance signal until the difference relating to all the pixels is memorized. Repeat step (S25).
また、各バッファ58a〜58h、59a〜59hで全画素に係る差分を記憶した場合(S26:YES)、MPU53fは比較手段として各バッファ58a〜58h、59a〜59hが記憶する積算された差分同士を比較し(S27)、検出手段として最大の差分を検出し、その最大の差分を記憶しているバッファを特定する(S28)。さらに、MPU53fは特定したバッファに対応する画素単位数に応じた整数を求めることで、箇所特定手段として圧縮処理を行う画像の切り出し箇所を特定する(S29)。 Further, when the differences relating to all the pixels are stored in each of the buffers 58a to 58h and 59a to 59h (S26: YES), the MPU 53f uses the accumulated differences stored in the buffers 58a to 58h and 59a to 59h as comparison means. The comparison is made (S27), the maximum difference is detected as a detecting means, and the buffer storing the maximum difference is specified (S28). Further, the MPU 53f specifies the cutout part of the image to be compressed as the part specifying unit by obtaining an integer corresponding to the number of pixel units corresponding to the specified buffer (S29).
なお、MPU53fはメモリ53eに記憶されている画像から上述したように特定した切り出し箇所を左上頂点として所要の寸法を切り出し、この切り出した範囲に対してJPEG処理部53cが圧縮処理を行って生成した圧縮画像を一旦メモリ53eに記憶する。また、メモリ53eに記憶された圧縮画像は、外部からの要求等に応じてMPU53fにより読み出されて外部出力部53jを介して外部へ出力される。 Note that the MPU 53f cuts out the required dimensions from the image stored in the memory 53e as described above with the cut-out location specified as the upper left vertex, and the JPEG processing unit 53c generates the cut-out range by compressing it. The compressed image is temporarily stored in the memory 53e. The compressed image stored in the memory 53e is read by the MPU 53f in response to an external request or the like, and is output to the outside via the external output unit 53j.
このようにMPU53fがフラッシュメモリ53kに記憶されたプログラムに基づいて圧縮に応じた処理箇所を特定することで、JPEG処理部53cが処理する画像は、少なくとも最大の輝度差に係るコントラストの差が生じている画素部分が圧縮処理の画素単位数の境界に一致するため、JPEG圧縮による大きな歪みの発生を防止している。また、第2実施形態に係る画像圧縮装置50は、第1実施形態の画像圧縮部13に比べてコントラスト位置検出部11が存在しない分だけ構成が簡易化されている。 In this way, the MPU 53f specifies the processing location corresponding to the compression based on the program stored in the flash memory 53k, so that the image processed by the JPEG processing unit 53c has a contrast difference related to at least the maximum luminance difference. Since the pixel portion coincides with the boundary of the number of pixel units in the compression process, the occurrence of large distortion due to JPEG compression is prevented. In addition, the image compression apparatus 50 according to the second embodiment has a simplified configuration as long as the contrast position detection unit 11 does not exist as compared with the image compression unit 13 of the first embodiment.
なお、第2実施形態に係る画像圧縮装置50は、上述した形態に限定されるものでなく種々の変形例の適用が可能である。例えば、処理箇所特定に係るプログラムは、フラッシュメモリ53kではなく、メモリ53e又は内部メモリ51に記憶させるようにしてもよい。また、図8に示す各バッファ58a〜58h、59a〜59hはメモリ53e又はフラッシュメモリ53kに記憶エリアを確保するようにしてもよく、さらには各バッファ用のメモリを新たに設けて内部バス53hに接続するようにしてもよい。なお、フラッシュメモリ53kに上述したプログラム及び各種データ等を記憶させない場合は、フラッシュメモリ53kを省略することも可能である。 Note that the image compression apparatus 50 according to the second embodiment is not limited to the above-described form, and various modifications can be applied. For example, the program for specifying the processing location may be stored not in the flash memory 53k but in the memory 53e or the internal memory 51. Further, each of the buffers 58a to 58h and 59a to 59h shown in FIG. 8 may be provided with a storage area in the memory 53e or the flash memory 53k. Further, a memory for each buffer is newly provided in the internal bus 53h. You may make it connect. Note that the flash memory 53k can be omitted if the above-described program, various data, and the like are not stored in the flash memory 53k.
また、第2実施形態においても第1実施形態と同様な各変形例を適用でき、例えば、JPEG処理部53cをMPEG圧縮部のような2次元離散コサイン変換を利用した圧縮部に置き換えることが可能であり、各バッファ58a〜58h、バッファ59a〜59hの個数を水平及び垂直用に夫々16個設けるようにしてもよく、さらに、輝度信号Y以外にも、各色差信号Cr、Cb等に対して処理を行ってもよい。なお、上述したような処理箇所特定に係る変形処理は、フラッシュメモリ53kに記憶されるプログラムを適宜変更することで容易に対応することが可能である。 In the second embodiment, the same modifications as in the first embodiment can be applied. For example, the JPEG processing unit 53c can be replaced with a compression unit using two-dimensional discrete cosine transform such as an MPEG compression unit. The number of the buffers 58a to 58h and the number of the buffers 59a to 59h may be 16 each for horizontal and vertical. Furthermore, in addition to the luminance signal Y, each of the color difference signals Cr, Cb, etc. Processing may be performed. It should be noted that the deformation processing related to the above-described processing location identification can be easily handled by appropriately changing the program stored in the flash memory 53k.
さらに、また、画像圧縮装置50は、画像信号を出力する撮像部及び画像表示を行うモニタ部と組み合わせることにより、全体としてデジタルカメラ及びデジタルビデオカメラのような撮像装置を構成することも可能であり、撮像機能を備えた携帯電話器にも適用できる。 Furthermore, the image compression apparatus 50 can be combined with an image pickup unit that outputs an image signal and a monitor unit that displays an image, thereby forming an image pickup apparatus such as a digital camera and a digital video camera as a whole. It can also be applied to a mobile phone equipped with an imaging function.
図10は本発明の第3実施形態に係る画像圧縮装置に相当するコンピュータ60の内部構成を示すブロック図である。
コンピュータ60は一般的な構成を有するものであり、CPU60a、メモリ60b、外部記憶媒体アクセス部60c、モニタ装置61を接続するモニタ接続部60d、外部接続部60e及びハードディスク60fを内部バス60gで夫々接続している。なお、外部記憶媒体アクセス部60cとはフロッピディスク用のアクセス部、半導体メモリ用のアクセス部、CD及びDVDのような光ディスク用のアクセス部等が相当し、外部接続部60eとはシリアル接続部、USB接続部、IEEE1394系の接続部、LANポート及びモデムのような通信部等が相当する。
FIG. 10 is a block diagram showing an internal configuration of a computer 60 corresponding to the image compression apparatus according to the third embodiment of the present invention.
The computer 60 has a general configuration, and a CPU 60a, a memory 60b, an external storage medium access unit 60c, a monitor connection unit 60d for connecting a monitor device 61, an external connection unit 60e, and a hard disk 60f are connected by an internal bus 60g. is doing. The external storage medium access unit 60c corresponds to an access unit for a floppy disk, an access unit for a semiconductor memory, an access unit for an optical disk such as a CD and a DVD, and the external connection unit 60e is a serial connection unit, A USB connection unit, an IEEE 1394 connection unit, a LAN port, a communication unit such as a modem, and the like correspond to this.
コンピュータ60は、図7に示す第2実施形態の画像圧縮装置50における順次処理部53a、フィルタ処理部53b及びJPEG処理部53cに係る各処理もハードディスク60fに記憶されたコンピュータプログラムに基づきCPU60aが行うようにしており、圧縮に係る処理箇所特定に対する内容も上記コンピュータプログラムに含まれている。 In the computer 60, the CPU 60a also performs each processing related to the sequential processing unit 53a, the filter processing unit 53b, and the JPEG processing unit 53c in the image compression apparatus 50 of the second embodiment shown in FIG. 7 based on the computer program stored in the hard disk 60f. Thus, the contents for specifying the processing location related to compression are also included in the computer program.
よって、上記コンピュータプログラムはCPU60aを順次処理部53a、フィルタ処理部53b及びJPEG処理部53cに係る処理を行うように機能させると共に、第2実施形態と同様に1画素遅延手段、演算手段、増減手段、分別手段、及び特定手段として機能させる内容がプログラミングされている。なお、CPU60aが各処理部53a〜53cとして機能する場合の処理は第2実施形態での各処理部53a〜53cが行う内容と同一である。 Therefore, the computer program causes the CPU 60a to function so as to sequentially perform the processes related to the processing unit 53a, the filter processing unit 53b, and the JPEG processing unit 53c, and, similarly to the second embodiment, a one-pixel delay unit, a calculation unit, an increase / decrease unit The contents that function as the sorting means and the specifying means are programmed. The processing when the CPU 60a functions as the processing units 53a to 53c is the same as the processing performed by the processing units 53a to 53c in the second embodiment.
また、処理箇所特定に対する内容のコンピュータプログラムの部分は、第2実施形態の画像圧縮装置50のフラッシュメモリ53kに記憶されたプログラムと略同等であるが、CPU60aが画像処理を開始する際に図8に示すような各バッファ58a〜58h、59a〜59hをメモリ60bに設ける処理が規定されている。CPU60aが設けるバッファ数は第2実施形態と同様に画像圧縮に係る画素単位数であり、JPEG圧縮を行う場合では、水平画素用に計8個の水平バッファ及び垂直画素用に計8個の垂直バッファを設ける。 Further, the computer program portion of the content for specifying the processing location is substantially the same as the program stored in the flash memory 53k of the image compression apparatus 50 of the second embodiment, but when the CPU 60a starts image processing, FIG. A process of providing each of the buffers 58a to 58h and 59a to 59h in the memory 60b as shown in FIG. The number of buffers provided by the CPU 60a is the number of pixel units related to image compression as in the second embodiment. When JPEG compression is performed, a total of 8 horizontal buffers for horizontal pixels and a total of 8 vertical buffers for vertical pixels are used. Provide a buffer.
図11は、第3実施形態の処理箇所特定に係るコンピュータプログラムの部分に対するアルゴリズムの一例を示す。このアルゴリズムにおいて、xは元画像の水平画素数、yは元画像の垂直画素数、iは処理対象となる画素の水平位置(iは0〜x−1の整数)、jは処理対象となる画素の垂直位置(jは0〜y−1の整数)、bh[k]は水平バッファ(kは0〜7の整数)、bv[l]は垂直バッファ(lは0〜7の整数)、g(j、i)は垂直位置j及び水平位置iの画素の信号レベル、c(j、i)は信号レベルを保持する一次変数、mは水平切り出しオフセット値、nは垂直切り出しオフセット値、%は剰余を求める演算子、read()はメモリ60bから指定位置の画素の信号レベルを読み込む関数、non_linear_transform()は非線形変換関数である。 FIG. 11 shows an example of an algorithm for the computer program part related to the processing location identification of the third embodiment. In this algorithm, x is the number of horizontal pixels of the original image, y is the number of vertical pixels of the original image, i is the horizontal position of the pixel to be processed (i is an integer from 0 to x−1), and j is the target of processing. Pixel vertical position (j is an integer from 0 to y-1), bh [k] is a horizontal buffer (k is an integer from 0 to 7), bv [l] is a vertical buffer (l is an integer from 0 to 7), g (j, i) is the signal level of the pixel at the vertical position j and the horizontal position i, c (j, i) is a primary variable for holding the signal level, m is a horizontal cut-off offset value, n is a vertical cut-off offset value,% Is an operator for calculating the remainder, read () is a function for reading the signal level of the pixel at the designated position from the memory 60 b, and non_linear_transform () is a non-linear conversion function.
図11のアルゴリズムでは、先ず(文1)及び(文2)で画素間のコントラストの差分を積算記憶する各バッファを初期化している。forループ文を用いて(文1)で水平バッファを「0」にすると共に(文2)で垂直バッファを「0」にしている。次に、(文3)〜(文15)で画素間のコントラストの差分積算を元画像全体の画素間で行う。これはforループ文を用いて水平方向及び垂直方向に対し2重構造にしている。 In the algorithm of FIG. 11, first, each buffer that accumulates and stores the difference in contrast between pixels is initialized in (Sentence 1) and (Sentence 2). The horizontal buffer is set to “0” in (Sentence 1) using the for loop statement, and the vertical buffer is set to “0” in (Sentence 2). Next, in (Sentence 3) to (Sentence 15), contrast difference accumulation between pixels is performed between pixels of the entire original image. This has a double structure in the horizontal and vertical directions using a for loop statement.
具体的に(文3)は垂直方向のforループ文であり、(文5)は水平方向のforループ文である。(文4)は垂直バッファを指定する剰余演算で解析する垂直位置を確定した段階で行っておくものである。(文6)〜(文8)は対象画素を読み込むものであり、(文9)は隣接する水平画素間のコントラストの差分を演算して絶対値化を行うものであり、(文13)は隣接する垂直画素間のコントラストの差分を演算して絶対値化を行うものである。また、(文10)及び(文14)は演算した差分に対して非線形変換を行うものであり、この非線形変換の入出力特性は、図3に示すグラフの曲線Kに準じる。(文11)は水平バッファを指定する剰余演算であり、(文12)及び(文15)は指定された各バッファに非線形変換された差分を積算記憶するものである。 Specifically, (Sentence 3) is a vertical for loop sentence, and (Sentence 5) is a horizontal for loop sentence. (Sentence 4) is performed when the vertical position to be analyzed by the remainder calculation specifying the vertical buffer is determined. (Sentence 6) to (Sentence 8) read the target pixel, (Sentence 9) calculates the contrast difference between adjacent horizontal pixels, and converts it into an absolute value. (Sentence 13) An absolute value is obtained by calculating a difference in contrast between adjacent vertical pixels. (Sentence 10) and (Sentence 14) perform non-linear transformation on the calculated difference, and the input / output characteristics of this non-linear transformation conform to the curve K of the graph shown in FIG. (Sentence 11) is a remainder operation for designating a horizontal buffer, and (Sentence 12) and (Sentence 15) are for accumulating and storing the non-linearly converted difference in each designated buffer.
上述した(文3)〜(文15)の処理で元画像全体の画素でコントラストの差分積算を記憶すると、次に最大の積算値を記憶するバッファを特定する。これはforループ文を用いて全バッファの内容を検出して行う。(文16)〜(文19)は水平画素に対する処理であり、(文20)〜(文23)は垂直画素に対する処理である。(文17)及び(文21)はif文を用いて隣接するバッファ間の大小関係を比較するものであり、(文18)(文19)(文22)(文23)で大きい変数m、nを夫々保持する処理を行う。 When the contrast difference integration is stored in the pixels of the entire original image in the processes of (Sentence 3) to (Sentence 15) described above, the buffer that stores the next maximum integration value is specified. This is done by detecting the contents of all buffers using a for loop statement. (Sentence 16) to (Sentence 19) are processes for horizontal pixels, and (Sentence 20) to (Sentence 23) are processes for vertical pixels. (Sentence 17) and (Sentence 21) are for comparing magnitude relations between adjacent buffers using an if sentence, and in (Sentence 18) (Sentence 19) (Sentence 22) (Sentence 23), a large variable m, A process of holding n is performed.
(文24)は最終的に最大の差分積算値を保持したバッファを特定し、変数m、nの値を戻り値として切り出しに係るオフセット値に利用するものである。
上述したように求めた変数m、nの値に基づきメモリ60bに記憶された画像から切り出し箇所を特定することにより、強いコントラストの差を生じさせる画素間とJPEG圧縮に係る画素単位の境界を一致させることが可能になる。なお、図11のアルゴリズムは基本的な処理内容を説明したものであり、ソースコードとして完成したものではない。
(Sentence 24) specifies the buffer that finally holds the maximum difference integrated value, and uses the values of the variables m and n as return values for the offset value related to extraction.
By specifying the cut-out location from the image stored in the memory 60b based on the values of the variables m and n obtained as described above, the boundary between pixels that cause a strong contrast difference and the pixel unit related to JPEG compression are matched. It becomes possible to make it. Note that the algorithm in FIG. 11 describes basic processing contents, and is not completed as source code.
なお、コンピュータ60は、処理対象の画像を外部記憶媒体アクセス部60cにセットされた記憶媒体又は外部接続部60eを介して外部から受け付けるようにしている。
よって、コンピュータ60は上述したコンピュータプログラムに基づき受け付けた画像に対して画像圧縮に係る処理を開始すると、先ず、メモリ60bに各バッファを設けると共に受け付けた画像に対して第2実施形態の順次処理部53a及びフィルタ処理部53bに相当する処理をCPU60aが行い、さらにフィルタ処理を行った画像をメモリ60bに一旦記憶し、輝度信号Yに対して上述した図11のアルゴリズムに基づく処理を行うことで、圧縮に係る処理箇所を特定する。
Note that the computer 60 accepts an image to be processed from the outside through a storage medium set in the external storage medium access unit 60c or the external connection unit 60e.
Therefore, when the computer 60 starts processing related to image compression for an image received based on the computer program described above, first, each buffer is provided in the memory 60b and the sequential processing unit of the second embodiment is applied to the received image. The CPU 60a performs processing corresponding to 53a and the filter processing unit 53b, temporarily stores the filtered image in the memory 60b, and performs processing based on the above-described algorithm of FIG. A processing location related to compression is specified.
それから、CPU60aはメモリ60bから画像を読み出して上述したように特定した箇所を左上頂点として所要の範囲を切り出し、この切り出した範囲に対しJPEG圧縮処理を行う。また圧縮処理により得られた圧縮画像はメモリ60b又はハードディスク60fに記憶される。このように記憶した圧縮画像は外部からの操作要求に応じてCPU60aの制御により外部記憶媒体アクセス部60cに出力することが可能であり、さらには外部接続部を介して外部へ出力することも可能である。
なお、第3実施形態に係るコンピュータ60が行う処理は、第2実施形態に係る各種変形例の適用が可能であり、ハードディスク60fに記憶するコンピュータプログラムを適宜変更することで各種変形例の適用も容易に対応できる。
Then, the CPU 60a reads out an image from the memory 60b, cuts out a required range with the location specified as described above as the upper left vertex, and performs JPEG compression processing on the cut out range. The compressed image obtained by the compression process is stored in the memory 60b or the hard disk 60f. The compressed image stored in this way can be output to the external storage medium access unit 60c under the control of the CPU 60a in response to an operation request from the outside, and can also be output to the outside via an external connection unit. It is.
The processing performed by the computer 60 according to the third embodiment can be applied to various modifications according to the second embodiment, and various modifications can be applied by appropriately changing the computer program stored in the hard disk 60f. Can be easily handled.
10 撮像装置
11 コントラスト位置検出部
12 撮像処理部
13 画像圧縮部
13a 順次処理部
13b フィルタ処理部
13c JPEG処理部
13d バス管理部
13e メモリ
13f MPU
13g 外部メモリインタフェース部
13h 内部バス
14 モニタ部
15 外部メモリ
20 水平コントラスト位置検出部
21 1画素遅延部
22 水平用差分部
23 水平用変換部
24 水平用セレクタ部
25a〜25h 第0積分部〜第7積分部
26 水平用検出部
30 垂直コントラスト位置検出部
31 1ライン遅延部
32 垂直用差分部
33 垂直用変換部
34 垂直用セレクタ部
35a〜35h 第0積分部〜第7積分部
36 垂直用検出部
58a〜58h 第0水平バッファ〜第7水平バッファ
59a〜59h 第0垂直バッファ〜第7垂直バッファ
DESCRIPTION OF SYMBOLS 10 Imaging device 11 Contrast position detection part 12 Imaging processing part 13 Image compression part 13a Sequential processing part 13b Filter processing part 13c JPEG processing part 13d Bus management part 13e Memory 13f MPU
13g External memory interface unit 13h Internal bus 14 Monitor unit 15 External memory 20 Horizontal contrast position detection unit 21 1 pixel delay unit 22 Horizontal difference unit 23 Horizontal conversion unit 24 Horizontal selector units 25a to 25h 0th integration unit to 7th Integration unit 26 Horizontal detection unit 30 Vertical contrast position detection unit 31 1-line delay unit 32 Vertical difference unit 33 Vertical conversion unit 34 Vertical selector unit 35a to 35h 0th integration unit to 7th integration unit 36 Vertical detection unit 58a to 58h 0th horizontal buffer to 7th horizontal buffer 59a to 59h 0th vertical buffer to 7th vertical buffer
Claims (10)
画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算するステップと、
演算した差分の絶対値を該差分に係る画素位置に基づき前記画素ブロック内の画素位置毎に分別するステップと、
分別した差分の絶対値を該差分に係る画素位置に応じた前記差分記憶手段に積算して記憶するステップと、
該差分記憶手段が記憶した積算された差分の絶対値同士の比較を行うステップと、
該比較により最大の積算された差分の絶対値を検出するステップと、
検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定するステップと、
特定した箇所から画素ブロック単位で画像圧縮を行うステップと
を備えることを特徴とする画像圧縮方法。 An image compression method for performing image compression by preparing a plurality of difference storage means respectively corresponding to each pixel position in a pixel block that is a processing unit of image compression,
Calculating an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels;
Sorting the absolute value of the calculated difference for each pixel position in the pixel block based on the pixel position related to the difference;
Integrating and storing the absolute value of the sorted difference in the difference storage unit corresponding to the pixel position related to the difference;
A step of comparing absolute values of accumulated differences stored in the difference storage means;
Detecting the absolute value of the largest accumulated difference by the comparison;
A step difference storing means for storing the absolute value of the largest accumulated the difference detected is based on the pixel position in the pixel block corresponding to identify where to start compression processing against the image,
An image compression method comprising: compressing an image in units of pixel blocks from a specified location.
該演算手段が演算した差分の絶対値を、該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、
該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段と、
該差分記憶手段が夫々記憶する積算された差分の絶対値同士の比較を行う比較手段と、
該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、
該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段と、
該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段と
を備えることを特徴とする画像圧縮装置。 A computing means for computing an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels;
Classification means for classifying the absolute value of the difference calculated by the calculation means into each pixel position in a pixel block which is a processing unit of image compression based on the pixel position related to the difference;
A plurality of difference storage means corresponding to each pixel position in the pixel block, for storage for accumulating and storing the absolute values of the differences sorted by the sorting means;
Comparison means for comparing absolute values of accumulated differences stored in the difference storage means;
Detecting means for detecting an absolute value of the maximum accumulated difference by comparison of the comparing means;
Point specifying the difference storing means for detection means for storing the absolute value of the largest accumulated the difference detected based on the pixel position in the pixel block corresponding to identify where to start compression processing against the image Means,
An image compression apparatus comprising: an image compression unit that compresses an image in units of pixel blocks from a location specified by the location specifying unit.
該演算手段が演算した差分の絶対値を該差分の絶対値に応じて増減する増減手段と、
該増減手段が増減した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、
該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の各画素位置に夫々対応した複数の差分記憶手段と、
該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段と、
該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、
該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、圧縮処理を開始する箇所を特定する箇所特定手段と、
該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段と
を備えることを特徴とする画像圧縮装置。 A computing means for computing an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels;
A adjusting unit that said calculating means is increased or decreased according to the absolute value of said difference absolute value of the difference computed,
Based absolute value of the difference bulking down means increases or decreases to the pixel position according to said difference, and sorting means for sorting to each pixel position in the pixel block is a processing unit of an image compression,
A plurality of difference storage means corresponding to each pixel position in the pixel block , for storage for accumulating and storing the absolute values of the differences sorted by the sorting means;
Comparing means for comparing absolute values of accumulated differences stored in the difference storing means;
Detecting means for detecting an absolute value of the maximum accumulated difference by comparison of the comparing means;
A part specifying unit that the difference storing means for detection means for storing the absolute value of the largest accumulated the difference detected based on the pixel position in the pixel block corresponding to identify where to start the compression process,
An image compression apparatus comprising: an image compression unit that compresses an image in units of pixel blocks from a location specified by the location specifying unit.
前記請求項3乃至請求項5のいずれか1つに記載の画像圧縮装置と
を備え、
前記演算手段は、前記撮像部が出力した画像に対して演算することを特徴とする撮像装置。 An imaging unit that outputs the captured image;
Wherein an image compression apparatus according to any one of claims 3 to 5,
The imaging device is characterized in that the calculation means calculates the image output by the imaging unit.
画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算するステップと、
演算した差分の絶対値を該差分に係る画素位置に基づき前記画素ブロック内の各画素位置に分別するステップと、
分別した差分の絶対値を該差分に係る画素位置に応じた前記差分記憶手段に積算して記憶するステップと、
該差分記憶手段が記憶した積算された差分の絶対値同士の比較を行うステップと、
該比較により最大の積算された差分の絶対値を検出するステップと、
検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定するステップと
を備えることを特徴とする処理箇所特定方法。 In a processing location identification method for preparing a plurality of difference storage means respectively corresponding to each pixel position in a pixel block which is a processing unit of image compression, and identifying a location where image compression processing is started ,
A step of calculating an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels;
Sorting the absolute value of the calculated difference into each pixel position in the pixel block based on the pixel position related to the difference;
Integrating and storing the absolute value of the sorted difference in the difference storage unit corresponding to the pixel position related to the difference;
A step of comparing absolute values of accumulated differences stored in the difference storage means;
Detecting the absolute value of the largest accumulated difference by the comparison;
Further comprising the steps of difference storing means for storing the absolute value of the largest accumulated the difference detected is based on the pixel position in the pixel block corresponding to identify where to start compression processing against the image Characterized processing location identification method.
該演算手段が演算した差分の絶対値を該差分の絶対値に応じて増減する増減手段と、
該増減手段が増減した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段と、
該分別手段が分別した差分の絶対値を積算して記憶する記憶用であり、前記画素ブロック内の画素位置に夫々対応した複数の差分記憶手段と、
該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段と、
該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段と、
該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段と
を備えることを特徴とする処理箇所特定器。 A computing means for computing an absolute value of a difference between signals of each of a plurality of pixels forming an image between adjacent pixels;
A adjusting unit that said calculating means is increased or decreased according to the absolute value of said difference absolute value of the difference computed,
Based absolute value of the difference bulking down means increases or decreases to the pixel position according to said difference, and sorting means for sorting to each pixel position in the pixel block is a processing unit of an image compression,
A plurality of difference storage means corresponding to each pixel position in the pixel block , for storage for accumulating and storing the absolute values of the differences classified by the classification means;
Comparing means for comparing absolute values of accumulated differences stored in the difference storing means;
Detecting means for detecting an absolute value of the maximum accumulated difference by comparison of the comparing means;
Largest accumulated a difference of place specifying means for specifying a position to start the compression process the absolute value difference storing means for storing pairs in the image based on the pixel position in the pixel block corresponding to the detection means detects And a processing location specifying device.
コンピュータを、
画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段、
該演算手段が演算した差分の絶対値を、該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段、
前記画素ブロック内の各画素位置に夫々対応し、前記分別手段が分別した差分の絶対値を積算して記憶する複数の差分記憶手段、
該差分記憶手段が夫々記憶する積算された差分の絶対値同士の比較を行う比較手段、
該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段、
該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段、
該箇所特定手段が特定した箇所から画素ブロック単位で画像圧縮を行う画像圧縮手段として機能させるためのコンピュータプログラム。 In a computer program for causing a computer to perform image compression,
Computer
Arithmetic hand stage in which a plurality of pixels forming an image is computed between pixels adjacent the absolute value of the difference signal, each of which has,
Classification means for classifying the absolute value of the difference calculated by the calculation means into each pixel position in a pixel block which is a unit of image compression based on the pixel position related to the difference;
A plurality of difference storage means that respectively correspond to each pixel position in the pixel block and accumulate and store the absolute values of the differences sorted by the sorting means;
Comparison means for comparing absolute values of accumulated differences stored in the difference storage means,
Detecting means for detecting an absolute value of the maximum accumulated difference by comparison of the comparing means;
Largest accumulated the basis of the pixel position in the pixel block difference memory means for storing the absolute value of the difference is corresponding, part specifying means to identify where to start the compression process on the image detection means detects ,
A computer program for causing an image compression unit to perform image compression on a pixel block basis from a location specified by the location specifying unit .
コンピュータを、
画像を形成する複数の画素が夫々有する信号の差分の絶対値を隣接する画素間で演算する演算手段、
該演算手段が演算した差分の絶対値を該差分に係る画素位置に基づき、画像圧縮の処理単位である画素ブロック内の各画素位置に分別する分別手段、
前記画素ブロック内の画素位置に夫々対応し、前記分別手段が分別した差分の絶対値を積算して記憶する複数の差分記憶手段、
該差分記憶手段が記憶する積算された差分の絶対値同士の比較を行う比較手段、
該比較手段の比較により最大の積算された差分の絶対値を検出する検出手段、
該検出手段が検出した最大の積算された差分の絶対値を記憶する差分記憶手段が対応する前記画素ブロック内の画素位置に基づき、前記画像に対する圧縮処理を開始する箇所を特定する箇所特定手段として機能させるためのコンピュータプログラム。 In a computer program for causing a computer to specify a location for image processing,
Computer
Arithmetic hand stage in which a plurality of pixels forming an image is computed between pixels adjacent the absolute value of the difference signal, each of which has,
Classification means for classifying the absolute value of the difference calculated by the calculation means into each pixel position in a pixel block which is a processing unit of image compression based on the pixel position related to the difference;
A plurality of difference storage means that respectively correspond to the pixel positions in the pixel block and accumulate and store absolute values of the differences sorted by the sorting means;
Comparative hand stage said difference storage means for comparing the absolute value between the accumulated the difference store,
Detecting means for detecting an absolute value of the maximum accumulated difference by comparison of the comparing means;
Point specifying the difference storing means for detection means for storing the absolute value of the largest accumulated the difference detected based on the pixel position in the pixel block corresponding to identify where to start compression processing against the image A computer program for functioning as a means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003332478A JP4118213B2 (en) | 2003-09-24 | 2003-09-24 | Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003332478A JP4118213B2 (en) | 2003-09-24 | 2003-09-24 | Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005101866A JP2005101866A (en) | 2005-04-14 |
JP4118213B2 true JP4118213B2 (en) | 2008-07-16 |
Family
ID=34460773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003332478A Expired - Fee Related JP4118213B2 (en) | 2003-09-24 | 2003-09-24 | Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4118213B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015076140A1 (en) * | 2013-11-20 | 2015-05-28 | 京セラドキュメントソリューションズ株式会社 | Image compression/expansion device and image formation device |
JP2015220543A (en) * | 2014-05-15 | 2015-12-07 | オリンパス株式会社 | Image processing system |
CN117579835A (en) * | 2018-01-16 | 2024-02-20 | 株式会社尼康 | Encoding device, decoding device, encoding method, decoding method, encoding program, and decoding program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3280546B2 (en) * | 1995-09-01 | 2002-05-13 | 日本電信電話株式会社 | Image editing / encoding device and image decoding device |
JP4383581B2 (en) * | 1998-05-22 | 2009-12-16 | パナソニック株式会社 | Block noise detecting device and block noise removing device |
JP4306061B2 (en) * | 1999-03-26 | 2009-07-29 | 日本ビクター株式会社 | Block noise detector |
-
2003
- 2003-09-24 JP JP2003332478A patent/JP4118213B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005101866A (en) | 2005-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5269718B2 (en) | Image processing apparatus, image processing program, and image processing method | |
US7444031B2 (en) | Image processing apparatus | |
US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
US8233060B2 (en) | Image data processing apparatus, image data processing method, and program | |
US8194160B2 (en) | Image gradation processing apparatus and recording | |
US8456544B2 (en) | Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method for reducing noise in RGB bayer array image data | |
EP1367837A1 (en) | Image processing method, image processing program, and image processor | |
US20090219417A1 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
US20090207271A1 (en) | Image Processor Correcting Color Misregistration, Image Processing Program, Image Processing Method, and Electronic Camera | |
KR20080102172A (en) | Adaptive image filter for filtering image information | |
JP5240194B2 (en) | Signal processing method and signal processing apparatus | |
JP5534832B2 (en) | Image processing apparatus, image processing method, and program | |
KR100504649B1 (en) | Device for compressing image data | |
WO2011148573A1 (en) | Image pickup device | |
JP4608436B2 (en) | Image shooting device | |
JP5092536B2 (en) | Image processing apparatus and program thereof | |
JP6685198B2 (en) | Imaging device, control method thereof, and program | |
JP4118213B2 (en) | Image compression method, image compression device, imaging device, processing location identification method, processing location identification device, and computer program | |
JP4780215B2 (en) | Image processing apparatus and image processing program | |
JP5249111B2 (en) | Image processing apparatus, method, program, and imaging system | |
JP4037336B2 (en) | Image processing apparatus and method, and program | |
JP3979020B2 (en) | Image processing apparatus for sampling compressed image | |
JP5704057B2 (en) | Image correction apparatus and image correction method | |
JP4083043B2 (en) | Coding noise removal device | |
JP2004328283A (en) | Image processor, image forming apparatus, image processing method, image processing program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080422 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110502 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120502 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130502 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140502 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |