WO2013175946A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013175946A1
WO2013175946A1 PCT/JP2013/062555 JP2013062555W WO2013175946A1 WO 2013175946 A1 WO2013175946 A1 WO 2013175946A1 JP 2013062555 W JP2013062555 W JP 2013062555W WO 2013175946 A1 WO2013175946 A1 WO 2013175946A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
brightness
colorrate
pixel
image
Prior art date
Application number
PCT/JP2013/062555
Other languages
English (en)
French (fr)
Inventor
正浩 小林
Original Assignee
Kobayashi Masahiro
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobayashi Masahiro filed Critical Kobayashi Masahiro
Publication of WO2013175946A1 publication Critical patent/WO2013175946A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an image processing apparatus that converts a screen composed of a screen in which extremely bright portions and dark portions are mixed in the same screen, such as a surveillance camera and an indoor window, into an easy-to-view screen.
  • a histogram as an image evaluation technique, graphing the number of pixels by brightness level of each color, showing the pixel distribution in the image, shadow (left part of the histogram), halftone (middle of the histogram) and highlight
  • a method is used in which the details of the right side of the histogram are displayed and the image is judged to have sufficient detail to make an appropriate correction.
  • Patent Document 1 discloses an image sensor that photoelectrically converts an optical image and outputs an electrical signal, a signal processing unit that processes an electrical signal output from the image sensor to generate a video signal, and the signal processing
  • An imaging apparatus having a histogram circuit for generating a histogram from a video signal output from the means and an exposure control means for performing exposure control using the histogram detected by the histogram circuit is disclosed.
  • Japanese Patent Application Laid-Open No. 2004-228688 discloses a step of reading light from an original to generate image data, a step of creating a density distribution histogram from the image data, and a density distribution closer to the light and dark ends of the total density of the image data.
  • An image processing method includes a step of generating a density correction curve based on the ratio of the number of data and a step of correcting the density of image data using the density correction curve.
  • Patent Document 3 discloses an imaging unit that captures an image of a subject and acquires image data of the captured image, and a predetermined pixel portion of a captured image that includes image data acquired by the imaging unit and has a predetermined luminance level. Converts the luminance value of each pixel in the pixel portion consisting of pixels within the range so that the luminance interval between the pixels is increased while maintaining the upper and lower relative luminance relationships between the pixels.
  • An imaging apparatus including a gradation correction unit that performs gradation correction is disclosed.
  • Patent Document 1 real-time still image shooting is difficult unless a CPU having a large processing capacity is used on a screen having a large number of pixels.
  • the processing time becomes long unless a host computer with high capability is used.
  • Patent Document 3 it takes time to calculate a histogram of the entire screen having a large number of pixels.
  • the image processing apparatus 4 is an image processing apparatus that converts the brightness of an image by one-pass image scanning, and a histogram hist (i) of brightness information i for a moving area of a predetermined pattern including the scanning position of the image scanning. ), A means for accumulating the histogram hist (i) in a range of i ⁇ p (where p is brightness information before conversion of the scanning position), and a cumulative frequency n, and brightness of the scanning position. Means for converting the brightness information p into brightness information according to the cumulative frequency n.
  • JP 2002-142150 A JP 2003-051944 A Japanese Patent Laid-Open No. 2007-124087 Japanese Patent No. 4386959
  • Patent Document 4 since the brightness of an image can be converted in one pass without manipulating the image for area division, it is easy to combine with a commercially available inexpensive microcomputer or personal computer and graphic board. It becomes possible to perform real-time processing of VGA moving images. However, since the processing by the image processing apparatus proposed in Patent Document 4 is only the adjustment of the brightness of each pixel and the adjustment of the color tone is not performed, there remains room for improvement.
  • the present invention is an image processing apparatus that adjusts the brightness and color tone of each pixel constituting an image by one-pass image scanning, and the image processing apparatus performs brightness adjustment and color tone adjustment.
  • An arithmetic processing device that performs in parallel and calculates the brightness of each pixel in the brightness adjustment region, and a frame buffer that expands the brightness of each pixel before and after the processing by the arithmetic processing device, Arithmetic processing device for calculating color tone for each pixel in the color tone adjustment region, and a frame buffer for developing the color tone for each pixel before and after processing by the arithmetic processing device, and for calculating the color tone Is input with a brightness ratio (f) for each pixel before and after the processing, and when this ratio (f) is equal to or larger than a preset color enhancement parameter (ColorRate), The logarithmic value of the value obtained by subtracting the color emphasis parameter (ColorRate) from (f) is obtained, the color emphasis parameter (ColorRate) is
  • the color enhancement parameter (ColorRate) is preferably specified from the outside.
  • the brightness of VGA video can be easily obtained by combining a commercially available inexpensive microcomputer or personal computer with a graphic board. Can be processed in real time, and can be implemented in hardware such as FPGA or DSP.
  • Diagram showing a basic system example Process flow diagram Basic principle diagram of histogram optimization for pixel unit detection Graph showing the relationship between the color tone (CbCr) magnification and the brightness change (Y0 / Y1) in the previous image processing
  • A is an image in which brightness and color tone are not adjusted
  • (b) is an image in which only brightness adjustment is performed
  • (c) is a photo of brightness and color tone.
  • Adjusted image (A) is an image in which brightness and color tone are not adjusted
  • (b) is an image in which only brightness adjustment is performed
  • (c) is a photo of brightness and color tone.
  • Adjusted image (A) is an image in which brightness and color tone are not adjusted
  • (b) is an image in which only brightness adjustment is performed
  • (c) is a photo of brightness and color tone.
  • Adjusted image (A) is an image in which brightness and color tone are not adjusted
  • (b) is an image in which only brightness adjustment is performed
  • (c) is a photo of brightness and color
  • FIG. 1 shows an example of a basic system of the present invention.
  • This system is basically a microcomputer or personal computer equipped with a graphics board, and a frame for capturing an image through an interface 4 such as a graphic board, ROM 2a, RAM 2b, and PCI connected to the CPU 1 via a system bus 3. It is composed of grabbers 6.
  • an operation device 7 such as a button and an external connection port 8 such as a serial port are provided through the I / O interface 5 in order to operate this apparatus.
  • the graphic board includes a GPU 9 having one parallel processing cell, a GPU memory 10, a processing frame buffer 11, an output frame buffer 12, and a display output circuit 13.
  • the GPU 9 instructs each cell to process the image data in the processing frame buffer 11 in accordance with the instruction and write the processing result to the output frame buffer 12.
  • the GPU 9 instructs each cell to process the image data in the processing frame buffer 11 in accordance with the instruction and write the processing result to the output frame buffer 12.
  • the CPU 1 of the computer transfers software corresponding to this processing from the ROM 2a to the RAM 2b and executes the software.
  • the executed software (1) captures an image from the frame grabber. (2) The captured image is transferred to the processing frame buffer 11 on the graphic board. (3) Instruct this processing to the GPU. (4) A cell in the GPU executes an instruction by parallel processing. (5) Wait until all processing results are written to the output frame buffer. (6) Display processing results. A series of operations are repeated.
  • the processing frame buffer 11 and the output frame buffer 12 can express a plurality of color spaces.
  • YCbCr, HSV, Lab, and HLS are targeted.
  • the display output circuit 13 converts the contents of the output frame buffer 12 in the color space representation into a video signal suitable for the display. It supports a plurality of video signals, and analog RGB is generally used, but DVI, components (D1 to D4), YC separation, composite, etc. can also be output.
  • the GPU of the graphic board is used for the calculation instead of the CPU of the computer.
  • dynamic data can be processed as a stream, and data can be analyzed in real time and processed with high accuracy and high speed in the operation processing in the kernel.
  • the image processing apparatus of the present application performs brightness adjustment and color tone adjustment in parallel. As shown in FIG. 2, the image (pixel) input to the processing frame buffer 11 is divided into brightness information and color information, the brightness information is processed in the brightness adjustment area 20, and the color information is adjusted in color tone. Processed in region 30.
  • the brightness adjustment area 20 includes an arithmetic processing device 21 that calculates the brightness of each pixel, and frame buffers 22 and 23 in which the brightness of each pixel before and after the processing by the arithmetic processing device 21 is developed.
  • the color tone adjustment area 30 is provided with an arithmetic processing device 31 that calculates the color tone of each pixel, and frame buffers 32 and 33 in which the color tone of each pixel before and after the processing by the arithmetic processing device 31 is developed. Provided.
  • a reading pattern 24 composed of predetermined pixels (7 vertical and 7 horizontal) is set, and the pixel at the center of the reading pattern 24 is set as the pixel of interest 25. Is calculated from a histogram of pixels (7 vertical and 7 horizontal) constituting the reading pattern 24 excluding the pixel of interest 25.
  • a general histogram average calculation method is applied as a calculation method.
  • the reading pattern 24 and the target pixel 25 are shifted to the right by one column.
  • the pixel of interest 25 moves to the right by one pixel
  • the second to seventh columns of the selected pixels from the first row to the seventh row in the histogram calculation are the same as in FIG. From the 7th row to the 7th row and the 8th row are added.
  • the pixel in the eighth column is a new calculation target, which is the pixel (1,1), (1,7), (7,1), (7,7) in the previous histogram calculation.
  • the histogram can be easily calculated by adding the data in the eighth column to the data in the second to seventh columns obtained by subtracting the data in the first column from the total value of the histogram of the enclosed region.
  • the solid line area in FIG. 3B indicates a calculation area at the time of the next calculation, and the pixel in the fourth row and the fifth column is the target pixel 25, pixels (1, 2), (1) whose brightness is to be calculated by histogram averaging. , 8), (7, 2), and (7, 8), a region obtained by removing the target pixel 25 from the region is a calculation region.
  • the actual calculation is performed by one column from the previous calculation value. Since the histogram of the eye is subtracted and the eighth column is simply added, processing can be performed in a short time.
  • the averaging method is not limited to the above, and high-speed thinning processing in which every other reading pattern 24 is moved is also possible.
  • log2 is to be approximated by the following expansion.
  • the integer part of the logarithm to be obtained is the bit digit number of the most significant bit of the logarithm (digit number with LSB set to 0).
  • the decimal part of the logarithm to be obtained the lower bits excluding the most significant bit are used as the decimal part.
  • Table 1 shows a processing example in the case of 4 digits of 16-bit decimal part. This makes it possible to approximate the logarithm with a straight line between the logarithm (integer solution) when the logarithm is 1-2-4-8... I can do it.
  • the color enhancement parameter (ColorRate) can be designated from the outside, and the degree of color adjustment can be adjusted.
  • the brightness-adjusted value (Y) is developed in the frame buffer 23
  • the color space value (CbCr) subjected to color enhancement is developed in the frame buffer 33, and these values are output frame buffer. 12 is displayed via the display output circuit 13.
  • FIGS. 5 to 7 respectively relate to the outside scenery, the house, and the switchboard.
  • (A) is an image in which brightness and color tone are not adjusted
  • (b) is an image in which only brightness adjustment is performed
  • (c). Is an image with brightness and color tone adjusted. From these images, it can be seen that an image that has been adjusted in brightness and color tone using the image processing apparatus according to the present invention is superior in perspective as compared to other images, and can be clearly identified in detail.
  • the image processing apparatus can be used as an apparatus for performing image processing in real time, such as a surveillance camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】動画などの画質改善を行う画像処理装置を提供する。 【解決手段】　画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整領域ではピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整領域ではピクセル毎の色調を演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の色調が展開されるフレームバッファとを備え、前記色調を演算する演算処理装置には前記処理前と処理後のピクセル毎の明るさ比（ｆ）が入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値に乗じ、また比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色強調パラメータ（ColorRate）を色空間の値に乗じる。

Description

画像処理装置
　本発明は、監視カメラや室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する画面で構成される画面を見やすい画面に変換する画像処理装置に関する。
　監視カメラの映像は２４時間稼動しているため、極端に明るい状況や暗い状況が刻々変化する。カメラの一般的なオートゲインコントロールなどでは変化が大きい場合には極端な変化に追いつけない場合が多い。また、室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する場合はゲインコントロールでは対応することが出来ない。
そこで、画像評価技術としてヒストグラムを使い、各カラーの明るさのレベル別にピクセル数をグラフ化し、画像内のピクセル分布を示し、シャドウ（ヒストグラムの左側部分）、中間調（ヒストグラムの中央）およびハイライト（ヒストグラムの右側部分）のディテールを表示し、画像に適切な補正を行うための十分なディテールがあるかどうかを判断する方法が使われている。
例えば、特許文献１には、光学像を光電変換して電気信号を出力する撮像素子と、該撮像素子から出力された電気信号を処理して映像信号を生成する信号処理手段と、該信号処理手段から出力された映像信号からヒストグラムを生成するヒストグラム回路と、該ヒストグラム回路によって検出されたヒストグラムを用いて露光制御を行う露光制御手段とを有する撮像装置が開示されている。
また特許文献２には、原稿からの光を読取って画像データを生成する工程と、前記画像データから濃度分布のヒストグラムを作成する工程と、前記画像データの全データ数に対する濃度分布の明暗両端寄りのデータ数の割合に基づいて濃度補正曲線を生成する工程と、前記濃度補正曲線で画像データの濃度補正を行う工程とを有する画像処理方法が開示されている。
更に特許文献３には、被写体を撮像し、撮像画像の画像データを取得する撮像手段と、その撮像手段により取得された画像データからなる撮像画像の所定の画素部分であって輝度レベルが所定の範囲内にある画素からなる画素部分に対し、当該画素部分における各画素の輝度値を、各画素間の相対的な輝度の上下関係を維持したまま各画素間の輝度間隔を増大させるよう変換する階調補正を行う階調補正手段とを備えた撮像装置が開示されている。
上記特許文献１にあっては、画素数の多い画面では大きな処理能力を持つＣＰＵを使わないとリアルタイムでの静止画撮影は難しい。特許文献２にあっては、能力の高いホストコンピュータを使わないと処理時間が長くなってしまう。特許文献３にあっては、画素数の多い画面全体のヒストグラムを計算すると時間がかかってしまう。
そこで、本発明者は特許文献４に係る画像処理装置を提案した。この画像処理装置４は、１パスの画像走査で画像の明るさを変換する画像処理装置であって、前記画像走査の走査位置を含む所定パターンの移動エリアについて明るさ情報ｉのヒストグラムｈｉｓｔ（ｉ）を求める手段と、前記ヒストグラムｈｉｓｔ（ｉ）をｉ≦ｐ（ただしｐは前記走査位置の変換前の明るさ情報）の範囲で累積して累積度数ｎを求める手段と、前記走査位置の明るさ情報ｐを前記累積度数ｎに応じて明るさ情報に変換する手段を備えている。
特開２００２－１４２１５０号公報 特開２００３－０５１９４４号公報 特開２００７－１２４０８７号公報 特許第４３８６９５９号公報
特許文献４によれば、エリア分割のために画像を操作せずに１パスで画像の明るさを変換できるため、一般に市販されている安価なマイクロコンピュータやパーソナルコンピュータとグラフィックボードの組み合わせで容易にＶＧＡ動画のリアルタイム処理を行うことが可能となる。
しかしながら、特許文献４で提案される画像処理装置による処理は、各ピクセルの明るさの調整のみで、色調についての調整は行っていないため、改善の余地が残っている。
上記課題を解決するため、本発明は画像を構成するピクセル毎の明るさと色調を１パスの画像走査で調整する画像処理装置であって、この画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整領域ではピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整領域ではピクセル毎の色調を演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の色調が展開されるフレームバッファとを備え、前記色調を演算する演算処理装置には前記処理前と処理後のピクセル毎の明るさ比（ｆ）が入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値に乗じ、また比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色強調パラメータ（ColorRate）を色空間の値に乗じるようにした。
　尚、前記色強調パラメータ（ColorRate）は外部から指定可能とすることが好ましい。
本発明に係る画像処理装置によれば、２パス方式を取らず単純なアルゴリズムなため、現在一般的に市販されている安価なマイクロコンピュータやパーソナルコンピュータとグラフィックボードの組み合わせで容易にＶＧＡ動画の明るさと色調のリアルタイム処理を行うことが可能であり、ＦＰＧＡなどへのハードウエア化やＤＳＰによる処理も可能となる
システムの基本例を示す図 処理のフロー図 ピクセル単位検出のヒストグラム最適化の基本原理図 色調（CbCr）の倍率と前段画像処理での明るさ変化（Ｙ0／Ｙ1）の関係を示すグラフ 補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像 補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像 補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像
本発明の実施にはＦＰＧＡによる実装が最も効率的であるが、従来のコンピュータシステムでの実施も可能である。
以下に本発明の従来コンピュータでの実施の形態を図に基づいて詳細に説明する。
なお、以下の実施例は本発明においてグラフィックボードは旧来のものではなく、プロセッサあたり１２０個以上のコアを搭載したマルチコアＧＰＵを搭載したグラフィックボード使うことが望ましい。
図１は、本発明の基本システム例である。本システムは、基本的にはグラフィクスボードを搭載したマイクロコンピュータまたはパーソナルコンピュータであって、ＣＰＵ１にシステムバス３を介して接続されるグラフィックボード、ＲＯＭ２ａ、ＲＡＭ２ｂ、ＰＣＩなどのインターフェイス４を通して画像を取り込むフレームグラバ６で構成される。また、本装置を操作するためにＩ／Ｏインターフェイス５を通してボタン等の操作装置７やシリアルポート等の外部接続ポート８を持つ。
グラフィックボードは、一並列処理セルを持つＧＰＵ９、ＧＰＵメモリー１０、処理用フレームバッファ１１、出力用フレームバッファ１２、表示出力回路１３から構成されている。
ＧＰＵ９はＣＰＵ１から指示を受けて各セルに対して処理用フレームバッファ１１にある画像データを指示に従って処理を行い、処理結果を出力用フレームバッファ１２へ書き込むよう命令する。セルは複数あり並列処理を行うことでＣＰＵからの指示をセルの数だけ一斉に処理する。
コンピュータのＣＰＵ１は、起動時にＲＯＭ２ａから本件処理に相当するソフトウエアをＲＡＭ２ｂへ転送しソフトウエアを実行する。実行したソフトウエアは
（１）フレームグラバから画像を取り込む。
（２）取り込んだ画像をグラフィックボード上の処理用フレームバッファ１１へ転送する。
（３）ＧＰＵへ本件処理を指示する。
（４）ＧＰＵ内セルが並列処理によって指示を実行する。
（５）処理結果がすべて出力用フレームバッファに書き込まれるまで待つ。
（６）処理結果を表示。
といった一連の動作を繰り返す。
処理用フレームバッファ１１や出力用フレームバッファ１２では複数の色空間を表現することが出来る。本件では例えばＹＣｂＣｒ、ＨＳＶ、Ｌａｂ、ＨＬＳを対象とする。
表示出力回路１３は上記色空間表現となっている出力用フレームバッファ１２の内容をディスプレイに適合した映像信号に変換する。複数の映像信号に対応しており、アナログＲＧＢが一般的であるが、ＤＶＩ、コンポーネント（Ｄ１～Ｄ４）、ＹＣ分離、コンポジットなどを出力することも出来る。
本願の画像処理装置にあっては、計算をコンピュータのＣＰＵではなく、グラフィックボードのＧＰＵを使う。これにより動的なデータをストリームとして処理することが可能となり、カーネルでの演算処理過程においては、データをリアルタイムに解析し、高精度且つ高速処理が行える。
本願の画像処理装置は明るさの調整と色調の調整を並列して行なう。図２に示すように処理用フレームバッファ１１に入力された画像（ピクセル）は明るさ情報と色情報に分けられ、明るさ情報は明るさの調整領域２０で処理され、色情報は色調の調整領域３０で処理される。
明るさの調整領域２０には、ピクセル毎の明るさを演算する演算処理装置２１と、この演算処理装置２１による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファ２２、２３が設けられ、色調の調整領域３０には、ピクセル毎の色調を演算する演算処理装置３１と、この演算処理装置３１による処理前と処理後のピクセル毎の色調が展開されるフレームバッファ３２、３３が設けられる。
明るさを演算する演算処理装置２１による処理の原理を図３に基づいて説明する。先ず図３（ａ）に示すように所定のピクセル（縦７個、横７個）からなる読み取りパターン２４を設定し、この読み取りパターン２４の中心となるピクセルを着目ピクセル２５とし、この着目ピクセル２５の値を着目ピクセル２５を除いた読み取りパターン２４を構成するピクセル（縦７個、横７個）のヒストグラムから算出する。算出方法は一般的なヒストグラムの平均化算出方法を適用する。
その後、図３（ｂ）に示すように読み取りパターン２４及び着目ピクセル２５を右に１列分シフトする。
着目ピクセル２５が１ピクセル分右に移動すると、ヒストグラム計算における選択ピクセル１行目から７行目までのうち２列目～７列目は図３（ａ）と共通であるが、新たに２列目～７列目までと８列目が追加となっている。
８列目にあるピクセルについては新たな計算対象となるが、これは前回のヒストグラムの計算において、ピクセル（１，１）、（１、７）、（７、１）、（７，７）で囲まれる領域のヒストグラムの合計値から１列目のデータを減算した２列目～７列目までのデータに８列目のデータを加算すれば容易にヒストグラムを計算することができる。
　図３（ｂ）の実線領域は次の計算時の計算エリアを示し、４行５列目のピクセルがヒストグラム平均化による明るさ算出対象となる着目ピクセル２５、ピクセル（１、２）、（１，８）、（７，２）、（７、８）で囲まれる領域から着目ピクセル２５を除いた領域が計算領域となるが、前述の通り、実際の計算は、前の計算値から１列目のヒストグラムを減算し、８列目を加算するだけなので短時間で処理できる。
平均化の方法としては上記に限らず、読み取りパターン２４を１つおきに移動させる間引き高速処理も可能である。
一方、上記と並行して行う色調の調整は、ピクセル毎に明るさ調整処理前の明るさ（Ｙ１）と明るさ調整処理後の明るさ（Ｙ０）から、これらの比（ｆ）＝Ｙ０／Ｙ１を求める。
そして、比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値（CbCr）に乗じる。
式は以下の式を用いる。
CbCr←CbCr*[ｍ*log2{(f- ColorRate)*n+c1}+c2+ ColorRate]
ここで、ｍ、ｎ、ｃ1、ｃ2は対数のカーブを適正にするための定数である。
m,nを２のべき乗の加減算とすれば、乗算の回数をさらに減らすことが出来る。
例）m ＝ 2 , n ＝ 1.75の場合、2倍は被乗数を左シフト１回、1.75倍は被乗数に右シフト１回と２回を加算すれば乗算が不要になる。
図４に、m＝2 、 n＝1.75、ｃ1＝9、ｃ2＝－６の場合の色調（CbCr）の倍率と前段画像処理での明るさ変化（Ｙ0／Ｙ1）の関係を示す。
　ここで、log2は以下の展開で近似値を求めるものとする。
　求める対数の整数部は被対数の最上位ビットのビット桁番号とする（ＬＳＢを０とした桁番号）。次に求める対数の小数分は上記最上位ビットを除いた下位ビットをそのまま小数部とする。
　（表１）に１６ビット小数部４桁の場合の処理例を示す。
　これによりシフト操作のみで被対数が１－２－４－８・・・と２のべき乗の時の対数（整数解）の間を直線で補間して近似することになり、対数を高速に演算出来る。
Figure JPOXMLDOC01-appb-T000001
また、比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色空間の値（CbCr）にColorRateを乗じる。
CbCr←CbCr* ColorRate
尚、色強調パラメータ（ColorRate）については外部から指定可能とされており、色調整の度合いを調整できる。
以上のようにして明るさ調整された値（Ｙ）はフレームバッファ２３に展開され、色強調処理された色空間の値（CbCr）はフレームバッファ３３に展開され、これらの値は出力用フレームバッファ１２に送られ表示出力回路１３を介して表示される。
図５乃至図７は夫々外の風景、家の中及び配電盤に関し、（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像である。
これらの画像から本発明に係る画像処理装置を用いて、明るさ及び色調の調整を行った画像は他の画像に比べて、遠近感が優れ、細部までハッキリと識別できることが分かる。
　本発明に係る画像処理装置は、監視カメラなどの画像処理をリアルタイムで行う装置として利用できる。
１…ＣＰＵ、２ａ…ＲＯＭ、２ｂ…ＲＡＭ、３…システムバス、４…インターフェイス、５…Ｉ／Ｏインターフェイス、６…フレームグラバ、７…操作装置、８…外部接続ポート、９…ＧＰＵ、１０…ＧＰＵメモリー、１１…処理用フレームバッファ、１２…出力用フレームバッファ、１３…表示出力回路、２０…明るさの調整領域、２１…演算処理装置、２２、２３…フレームバッファ　２４…読み取りパターン、２５…注目ピクセル、３０…色調の調整領域、３１…演算処理装置、３２、３３…フレームバッファ。

Claims (2)

  1. 　１パスの画像走査で画像を構成するピクセル毎の明るさと色調を調整する画像処理装置であって、この画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整手段としてピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による明るさの調整処理前と明るさの調整処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整手段としてピクセル毎の色調を演算する演算処理装置と、この演算処理装置による色調の調整処理前と色調の調整処理後のピクセル毎の色調が展開されるフレームバッファとを備え、前記色調を演算する演算処理装置には前記フレームバッファから出力される前記明るさの調整処理前と明るさの調整処理後のピクセル毎の明るさ比（ｆ）が前記１パス内で入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の座標値に乗じ、また比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色強調パラメータ（ColorRate）を色空間の座標値に乗じ、得られた値を前記色調の調整処理後のピクセル毎の色調が展開されるフレームバッファに出力することを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、前記色強調パラメータ（ColorRate）は外部から指定可能であることを特徴とする画像処理装置。
PCT/JP2013/062555 2012-05-21 2013-04-30 画像処理装置 WO2013175946A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-115548 2012-05-21
JP2012115548A JP5178933B1 (ja) 2012-05-21 2012-05-21 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013175946A1 true WO2013175946A1 (ja) 2013-11-28

Family

ID=48189423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062555 WO2013175946A1 (ja) 2012-05-21 2013-04-30 画像処理装置

Country Status (3)

Country Link
US (1) US9082163B2 (ja)
JP (1) JP5178933B1 (ja)
WO (1) WO2013175946A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9761028B2 (en) * 2013-02-13 2017-09-12 Konica Minolta Laboratory U.S.A., Inc. Generation of graphical effects
US9536277B2 (en) * 2014-11-04 2017-01-03 Toshiba Medical Systems Corporation Asynchronous method and apparatus to support real-time processing and data movement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134635A (ja) * 1998-10-22 2000-05-12 Hitachi Denshi Ltd カラーテレビジョンカメラ
JP2003009163A (ja) * 2001-06-27 2003-01-10 Canon Inc 電子カメラ及びそのホワイトバランス処理方法
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
US6049626A (en) * 1996-10-09 2000-04-11 Samsung Electronics Co., Ltd. Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation
US6018588A (en) * 1996-10-09 2000-01-25 Samsung Electronics Co., Ltd. Image enhancement circuit and method using mean matching/quantized mean matching histogram equalization and color compensation
JPH1169372A (ja) * 1997-08-14 1999-03-09 Fuji Photo Film Co Ltd 画像の明度調整方法およびその方法に使用するデジタルカメラ並びに画像処理装置
JP2002142150A (ja) 2000-10-31 2002-05-17 Hitachi Ltd 撮像装置
JP2003051944A (ja) 2001-08-07 2003-02-21 Canon Inc 画像処理方法、画像処理システム、プログラム及び記憶媒体
US7110046B2 (en) * 2003-11-04 2006-09-19 Cyberlink Corp. Method for dynamically adjusting video brightness
US7450756B2 (en) * 2005-04-28 2008-11-11 Hewlett-Packard Development Company, L.P. Method and apparatus for incorporating iris color in red-eye correction
US8139828B2 (en) * 2005-10-21 2012-03-20 Carestream Health, Inc. Method for enhanced visualization of medical images
JP4774915B2 (ja) 2005-10-26 2011-09-21 カシオ計算機株式会社 撮像装置、階調補正方法及びプログラム
WO2008102826A1 (ja) * 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
JP4386959B1 (ja) * 2009-02-06 2009-12-16 正浩 小林 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134635A (ja) * 1998-10-22 2000-05-12 Hitachi Denshi Ltd カラーテレビジョンカメラ
JP2003009163A (ja) * 2001-06-27 2003-01-10 Canon Inc 電子カメラ及びそのホワイトバランス処理方法
JP2012049600A (ja) * 2010-08-24 2012-03-08 Seiko Epson Corp 画像処理装置、画像処理方法及び撮像装置

Also Published As

Publication number Publication date
US9082163B2 (en) 2015-07-14
JP5178933B1 (ja) 2013-04-10
JP2013243528A (ja) 2013-12-05
US20130308859A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
US20230217116A1 (en) Merging multiple exposures to generate a high dynamic range image
US11113795B2 (en) Image edge processing method, electronic device, and computer readable storage medium
EP3709260A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
JP4290193B2 (ja) 画像処理装置
EP2624204B1 (en) Image processing apparatus and method of controlling the same
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101731729B1 (ko) Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치
JP4386959B1 (ja) 画像処理装置
JP6677172B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2005056374A (ja) 映像処理におけるエッジ強調のための装置および方法
EP3685346A1 (en) System and method for image dynamic range adjusting
US8355597B2 (en) Image processing device including gradation conversion processor, noise reduction processor, and combining-raio calculator, and method and storage device storing progam for same
JP5178933B1 (ja) 画像処理装置
JPH1117984A (ja) 画像処理装置
US11647298B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022112995A (ja) 画像処理方法
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP2021082211A (ja) 画像処理装置、画像処理方法、及びプログラム
Narasimha et al. A real-time high dynamic range HD video camera
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2024085780A (ja) 画像処理装置、画像処理方法
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム
CN111882506A (zh) 一种针对目视解译的彩色遥感图像像质增强方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13793692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13793692

Country of ref document: EP

Kind code of ref document: A1