JP3956311B2 - Image data conversion device and camera device - Google Patents
Image data conversion device and camera device Download PDFInfo
- Publication number
- JP3956311B2 JP3956311B2 JP2004042187A JP2004042187A JP3956311B2 JP 3956311 B2 JP3956311 B2 JP 3956311B2 JP 2004042187 A JP2004042187 A JP 2004042187A JP 2004042187 A JP2004042187 A JP 2004042187A JP 3956311 B2 JP3956311 B2 JP 3956311B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- conversion
- image data
- minimum
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 268
- 238000012937 correction Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000004043 responsiveness Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 101100310622 Mus musculus Soga1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
Description
本発明は、画像データの変換（圧縮・復調）装置及びこれを使用したカメラ装置に関する。 The present invention relates to an image data conversion (compression / demodulation) apparatus and a camera apparatus using the same.
近時、カメラに使用されるイメージセンサとしては、ＣＣＤイメージセンサが一般的である。ところが、通常のＣＣＤイメージセンサは、輝度のダイナミックレンジ（以下、場合により、単にダイナミックレンジという。）が５０ｄＢ程度と狭く、屋外撮影などで得られる出力画像は、いわゆる白つぶれや黒つぶれ（明暗の飽和）が発生し易い。そこで、特許文献１に示されるように輝度分布の補正を行って出力画像の劣化を防止する技術や、非特許文献１に示されるように露光条件の異なる複数画像を合成してダイナミックレンジを拡大する技術などが提案されている。
Recently, a CCD image sensor is common as an image sensor used in a camera. However, a normal CCD image sensor has a luminance dynamic range (hereinafter, simply referred to as “dynamic range”) as narrow as about 50 dB, and an output image obtained by outdoor photography or the like has so-called white-out and black-out (light / dark). Saturation) is likely to occur. Therefore, as disclosed in
しかし、輝度分布の補正を行うものは、ダイナミックレンジが拡大するわけではないので、必要な画像情報（対象物のコントラスト）が得られない可能性があり、例えば車両における周辺監視等に使用するには不十分であった。また、露光条件の異なる複数画像を合成する方法では、一つの画像（合成画像）を得るために、複数回撮影する必要があり、応答性が低下する問題があるため、やはり車両における周辺監視等に使用するには不十分であった。 However, a device that corrects the luminance distribution does not increase the dynamic range, so that necessary image information (contrast of the object) may not be obtained. Was insufficient. Further, in the method of combining a plurality of images with different exposure conditions, it is necessary to take a plurality of times to obtain one image (synthesized image), and there is a problem that the responsiveness is lowered. It was insufficient for use.
なお、車両における周辺監視等の用途において、カメラに入力される情景は、昼間の走行環境に限定しても、直射日光で照らされた路面、トンネル内や種々の陰などに代表されるように、明るさの範囲が非常に広く、しかも車両の走行に伴って被写体である対象物（路面上の白線や他車両など）が高速で変化する。そして、車両における周辺監視等のためには、このような情景を逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データを、応答性高く出力するカメラ装置が必要になる。 In addition, in applications such as surrounding surveillance in vehicles, scenes input to the camera are represented by road surfaces illuminated by direct sunlight, tunnels, and various shades, even when limited to daytime driving environments. The brightness range is very wide, and the object (white line on the road surface, other vehicle, etc.) that is the subject changes at high speed as the vehicle travels. And for surrounding monitoring in a vehicle, etc., such a scene is sequentially imaged instantaneously, and image data having a sufficient amount of information for identifying an object by image processing such as edge detection is responsive. A high output camera device is required.
そこで発明者らは、ダイナミックレンジが６０ｄＢを超える広ダイナミックレンジのイメージセンサを使用したカメラ装置を、車両における周辺監視等に適用することを検討している。しかしこの場合、ダイナミックレンジの狭い液晶ディスプレイに画像表示するなどのために、得られた広ダイナミックレンジ（高階調）の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ（低階調）の画像データに変換する必要が生じる。 Therefore, the inventors are examining the application of a camera device using an image sensor with a wide dynamic range exceeding 60 dB in the dynamic range to vehicle periphery monitoring or the like. However, in this case, to display images on a liquid crystal display with a narrow dynamic range, the obtained wide dynamic range (high gradation) image data is retained in the narrow dynamic range (low gradation) while retaining the necessary image information. ) Needs to be converted into image data.
なお、非特許文献２には、ハードウェア処理によって、画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮する技術が提案されている。
Non-Patent
ところが、上述した非特許文献２の技術には、次のような問題がある。
まず、規模の大きいハードウェアが必要になるため、コスト増や装置の大型化の問題がある。
また、一枚一枚の元画像を解析した後に、同じ画像にフィードバックをかけなければならない制約条件があるため、元画像のデータ（６４０×４８０）のすべてを使っているわけではなく、半分のデータ（６４０×２４０）だけを取り込み、残りの半分を取り込まない間に処理をして、出力する方法を取っている。従って、縦方向の解像度が１／２になるとともに、画像出力が約一フレーム分遅れる問題がある。
However, the technique of Non-Patent
First, since large-scale hardware is required, there are problems of cost increase and apparatus enlargement.
In addition, since there is a constraint that must be fed back to the same image after analyzing each original image, not all of the original image data (640 × 480) is used. A method is used in which only data (640 × 240) is fetched and processed while the remaining half is not fetched, and output. Therefore, there is a problem that the vertical resolution is halved and the image output is delayed by about one frame.
そこで本発明は、上述した問題が解消され、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データに良好に変換する画像データ変換装置を提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image data conversion apparatus that solves the above-mentioned problems and that satisfactorily converts image data having a wide luminance dynamic range into image data having a narrow dynamic range.
本願の画像データ変換装置は、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データに変換する画像データ変換装置であって、
変換前の画像データの輝度ヒストグラムがゼロ％近傍の規定値ｈ１である輝度を最低変換輝度ａ１とし、前記輝度ヒストグラムが５０％又はその近傍の規定値ｈ２である輝度を中間変換輝度ａ２とし、前記輝度ヒストグラムが１００％近傍の規定値ｈ３である輝度を最高変換輝度ａ３とする変換輝度設定手段と、
前記中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））に基づいて、前記中間変換輝度ａ２の画素データが、変換後の画像データにおける前記ダイナミックレンジの中央側に位置するように、変換特性を決定する変換特性決定手段と、
前記変換特性に従って、変換前の画像データにおける最低変換輝度ａ１から最高変換輝度ａ３のデータを、目標の狭い前記ダイナミックレンジの画像データに変換し、変換後の画像データとして出力する画像データ変換手段とを備えたものである。
The image data conversion device of the present application is an image data conversion device that converts image data with a wide dynamic range of brightness into image data with a narrow dynamic range,
The luminance whose luminance histogram of the image data before the conversion is a specified value h1 near zero% is defined as the lowest converted luminance a1, the luminance whose luminance histogram is the specified value h2 of 50% or its vicinity as intermediate converted luminance a2, Conversion luminance setting means for setting the luminance whose luminance histogram is a specified value h3 in the vicinity of 100% to the maximum conversion luminance a3;
Based on the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2, the pixel data of the intermediate conversion luminance a2 is the center side of the dynamic range in the converted image data. Conversion characteristic determining means for determining the conversion characteristic so as to be located in
Image data conversion means for converting data of the lowest conversion luminance a1 to the highest conversion luminance a3 in the image data before conversion into image data of the narrow dynamic range that is the target and outputting the image data after conversion according to the conversion characteristics; It is equipped with.
本願の画像データ変換装置では、上記変換輝度設定手段と画像データ変換手段の機能により、ダイナミックレンジの広い変換前の画像データのうち、輝度ヒストグラムがゼロ％近傍である輝度（最低変換輝度ａ１）から１００％近傍である輝度（最高変換輝度ａ３）までの限定された範囲（変換輝度幅）のデータのみが変換されて、変換後の画像データが生成される。このため、広ダイナミックレンジ（高階調）の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ（低階調）の画像データに変換することができる。 In the image data conversion apparatus of the present application, by the functions of the conversion luminance setting means and the image data conversion means, from the luminance (lowest conversion luminance a1) where the luminance histogram is near zero% among the image data before conversion having a wide dynamic range. Only data in a limited range (conversion luminance width) up to the luminance near 100% (maximum conversion luminance a3) is converted, and converted image data is generated. Therefore, wide dynamic range (high gradation) image data can be converted into narrow dynamic range (low gradation) image data while retaining necessary image information.
しかも変換特性は、変換特性決定手段により、中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））に基づいて、中間変換輝度ａ２の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に位置するように、設定される。このため、度数が比較的高い輝度のデータ（中間変換輝度ａ２付近の画素データ）が、暗側又は明側に偏っていた場合には、このデータが変換後のダイナミックレンジの中央側（中間輝度の側）に移動するように補正されることになる。したがって、変換後の画像が全体的に暗すぎたり、全体的に明るすぎたりすることが抑制され、全体的に中間的な階調にある良好な画像が常に得られる。 In addition, the conversion characteristic is determined by the conversion characteristic determining means based on the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2 after the pixel data of the intermediate conversion luminance a2 is converted. It is set so as to be located on the center side of the dynamic range in the image data. For this reason, when data with relatively high frequency (pixel data near the intermediate conversion luminance a2) is biased to the dark side or the bright side, this data is converted to the center side (intermediate luminance) of the converted dynamic range. It will be corrected so that it will move to the side. Therefore, it is possible to prevent the image after conversion from being too dark or too bright as a whole, and a good image having an intermediate gradation as a whole can always be obtained.
また本変換装置は、元画像の輝度ヒストグラムにより限定した範囲を、同ヒストグラムにより決定される変換特性で変換するものであるため、非特許文献２の技術に比較して、簡単なハードウェアで実現でき、低コスト化や小型化が図れる利点がある。
また本変換装置は、非特許文献２の技術のように画像にフィードバックをかけるものではないので、それによる解像度の低下や画像出力の遅れが無いという特長がある。
また本変換装置は、上述したように、画像の輝度分布によって最適な変換特性を選ぶ方式であるため、ディスプレイ表示等のための従来の一般的な画像データ変換方式と異なり、コントラストが落ちてしまう現象が防止される効果もある。なお、ディスプレイ表示等のための従来の一般的な画像データ変換方式は、一定の変換特性カーブ（例えば、ｓＲＧＢと呼ばれるもの）で変換する方式であるため、ダイナミックレンジが広い画像に対して、変換後の画像（ディスプレイに表示する画像）のコントラストが落ちてしまう問題があった。
In addition, since this conversion device converts the range limited by the luminance histogram of the original image with conversion characteristics determined by the histogram, it is realized with simple hardware compared to the technique of Non-Patent
Further, the present conversion device does not apply feedback to the image as in the technique of Non-Patent
In addition, as described above, since this conversion device is a method for selecting an optimal conversion characteristic according to the luminance distribution of an image, the contrast is lowered unlike a conventional general image data conversion method for display display or the like. There is also an effect of preventing the phenomenon. Note that a conventional general image data conversion method for display display or the like is a method of converting with a certain conversion characteristic curve (for example, sRGB), so that an image with a wide dynamic range is converted. There was a problem that the contrast of a later image (image displayed on the display) was lowered.
次に、本画像データ変換装置の好ましい態様は、前記変換輝度設定手段が設定した最低変換輝度ａ１が、所定の許容最低輝度を下回る場合には、この最低変換輝度ａ１を、前記許容最低輝度に補正する最低変換輝度補正手段を備えるものである。
この態様であると、許容最低輝度を下回る無用な黒領域部分が変換の対象になることを避けることができる。
Next, in a preferred aspect of the present image data conversion device, when the minimum conversion luminance a1 set by the conversion luminance setting means is lower than a predetermined allowable minimum luminance, the minimum conversion luminance a1 is set to the allowable minimum luminance. A minimum conversion luminance correction means for correcting is provided.
According to this aspect, it is possible to avoid useless conversion of a black area portion below the allowable minimum luminance.
なお、上記最低変換輝度補正手段を設けた場合には、次のような中間変換輝度補正手段をさらに備えた態様とすることが望ましい。即ち、最低変換輝度ａ１を補正した結果、前記最低変換輝度ａ１が前記中間変換輝度ａ２を超えた場合には、中間変換輝度ａ２を、前記最低変換輝度ａ１と最高変換輝度ａ３の平均値に補正する中間変換輝度補正手段を備えた構成とすることが望ましい。
この態様であると、最低変換輝度ａ１を補正した結果、前記最低変換輝度ａ１が前記中間変換輝度ａ２を超えて、本装置が機能しなくなる不具合を回避できる。
In the case where the minimum conversion luminance correction unit is provided, it is desirable that the following intermediate conversion luminance correction unit is further provided. That is, as a result of correcting the minimum conversion luminance a1, when the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2, the intermediate conversion luminance a2 is corrected to an average value of the minimum conversion luminance a1 and the maximum conversion luminance a3. It is desirable to have a configuration including intermediate conversion luminance correction means.
According to this aspect, it is possible to avoid the problem that the apparatus does not function because the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2 as a result of correcting the minimum conversion luminance a1.
また、本画像データ変換装置の好ましい別の態様は、前記変換輝度設定手段が設定した前記最低変換輝度ａ１と前記最高変換輝度ａ３の差である変換輝度幅が、所定の許容最低輝度幅を下回る場合には、前記変換輝度幅が前記許容最低輝度幅に一致するように、前記最低変換輝度ａ１又は／及び最高変換輝度ａ３を補正する輝度幅補正手段を備えるものである。
この態様であると、変換輝度幅が過度に狭くなることが防止される。
In another preferable aspect of the image data conversion apparatus, a conversion luminance width that is a difference between the minimum conversion luminance a1 and the maximum conversion luminance a3 set by the conversion luminance setting unit is less than a predetermined allowable minimum luminance width. In this case, a brightness width correction unit that corrects the minimum conversion brightness a1 and / or the maximum conversion brightness a3 so that the conversion brightness width matches the allowable minimum brightness width.
In this aspect, the conversion luminance width is prevented from becoming excessively narrow.
次に、本願のカメラ装置は、前記ダイナミックレンジが６０ｄＢを超える広ダイナミックレンジのイメージセンサと、このイメージセンサにより得られた画像データを変換する本願の画像データ変換装置とを備えたものである。
このカメラ装置であると、上記イメージセンサにより、白つぶれや黒つぶれのない画像データが１回の撮影で瞬時に得られ、ダイナミックレンジ拡大のために露光条件を変えて複数回撮影するといった応答性が低下する特殊な動作は不要である。そして、本願の画像データ変換装置により、前述したように、この画像データのうちの有効な部分のみが、明るさの偏りを補正されコントラストも保持された狭いダイナミックレンジ（低階調）の画像データに変換される。
したがって、明るさの範囲が非常に広く、対象物が高速で変化する情景も、逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データであって、しかも扱い易い低階調で明るさの偏りを補正されてコントラストも保持された良好な画像データを、応答性高く出力することができる。
なお、本発明におけるイメージセンサは、広ダイナミックレンジのものであれば、構成や方式を限定されるものではなく、例えばＣＭＯＳ型（蓄積型、バランス型、対数変換型）イメージセンサであってもよいし、ＣＣＤ型イメージセンサ等であってもよい。
Next, the camera device of the present application includes an image sensor having a wide dynamic range in which the dynamic range exceeds 60 dB, and an image data conversion device of the present application that converts image data obtained by the image sensor.
With this camera device, the image sensor can instantly obtain image data with no whiteout or blackout, and responsiveness such as shooting multiple times with different exposure conditions to expand the dynamic range. No special action is required to reduce the. Then, as described above, only an effective portion of the image data is corrected for the brightness deviation and the contrast is maintained, and the image data conversion device of the present application has a narrow dynamic range (low gradation). Is converted to
Accordingly, image data having a sufficient amount of information for capturing a scene in which the range of brightness is very wide and a target object changes at high speed and identifying the target object by image processing such as edge detection. In addition, it is possible to output good image data with high responsiveness, which is easy to handle and has a low gradation and whose brightness is corrected and the contrast is maintained.
The configuration and method of the image sensor according to the present invention are not limited as long as the image sensor has a wide dynamic range. For example, a CMOS type (storage type, balance type, logarithmic conversion type) image sensor may be used. Alternatively, a CCD type image sensor or the like may be used.
本発明の画像データ変換装置によれば、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データ（視認性に優れるとともに画像処理に適したコントラストの画像データ）に良好に変換することができる。 According to the image data conversion device of the present invention, it is possible to satisfactorily convert image data with a wide luminance dynamic range into image data with a narrow dynamic range (image data with excellent visibility and contrast suitable for image processing). it can.
以下、本発明の実施の形態の一例を図面に基づいて説明する。
図１（ａ）は、本例の監視システム（画像データ変換装置及びカメラ装置を含むシステム）の全体構成を示す図である。図１（ｂ）は、変換前の画像データ例を示す図であり、図１（ｃ）は、画像データの変換処理を説明する図である。図２（ａ）は、変換特性例を示す図であり、図２（ｂ）は、変換後の画像データ例を示す図である。また図３（ａ）は、変換輝度幅確保のための最低変換輝度ａ１の補正を説明する図であり、図３（ｂ）は、最低変換輝度ａ１を許容最低輝度ＭＩＮ以上にし、かつ変換輝度幅Ｗを確保するための最低変換輝度ａ１や最高変換輝度ａ３の補正を説明する図である。また図４は、画像データ変換装置の処理内容を説明するフローチャートである。
Hereinafter, an example of an embodiment of the present invention will be described with reference to the drawings.
FIG. 1A is a diagram illustrating an overall configuration of a monitoring system (a system including an image data conversion device and a camera device) of the present example. FIG. 1B illustrates an example of image data before conversion, and FIG. 1C illustrates image data conversion processing. 2A is a diagram illustrating an example of conversion characteristics, and FIG. 2B is a diagram illustrating an example of image data after conversion. FIG. 3A is a diagram for explaining the correction of the minimum conversion luminance a1 for securing the conversion luminance width, and FIG. 3B shows that the minimum conversion luminance a1 is equal to or higher than the allowable minimum luminance MIN and the conversion luminance. It is a figure explaining correction | amendment of the minimum conversion brightness | luminance a1 and the maximum conversion brightness | luminance a3 for ensuring the width | variety W. FIG. FIG. 4 is a flowchart for explaining the processing contents of the image data conversion apparatus.
本例の監視システムは、図１（ａ）に示すように、カメラ装置１と、ＮＴＳＣ変換装置２と、モニタ３とを備える。またカメラ装置１は、カメラ本体４と画像データ変換装置５を有する。
As shown in FIG. 1A, the monitoring system of this example includes a
カメラ本体４は、例えば１２０ｄＢのダイナミックレンジを持つＣＭＯＳイメージセンサよりなるカメラである。このカメラ本体４は、集光用の光学系を備えるとともに、イメージセンサの駆動制御回路に加えて、ＡＧＣ（自動ゲイン調整）回路や、ＡＤ変換（アナログ→デジタル変換）回路を内蔵しており、１０ビット（１０２４階調）の輝度信号を出力する。 The camera body 4 is a camera composed of a CMOS image sensor having a dynamic range of 120 dB, for example. This camera body 4 includes a condensing optical system, and in addition to an image sensor drive control circuit, an AGC (automatic gain adjustment) circuit and an AD conversion (analog to digital conversion) circuit are built-in. A 10-bit (1024 gradation) luminance signal is output.
画像データ変換装置５は、ＤＳＰ（Digital Signal Processor）を含むＡＳＩＣ（特定用途向け集積回路）により構成され、いわゆるマイコンのＣＰＵよりも高速で画像データ変換処理（詳細後述する）を行う。なおこの場合、画像データ変換装置５は、カメラ本体４から出力される画像データにおける１０ビット（１０２４階調）の輝度信号を、８ビット（２５６階調）に変換して出力する。
ＮＴＳＣ変換装置２は、モニタ３での画像表示のために、画像データ変換装置５から出力された画像信号の形態を、所定のテレビ映像信号方式（ＮＴＳＣ方式）の形態に変換してモニタ３に出力する周知の装置である。
The image data conversion device 5 is configured by an ASIC (Application Specific Integrated Circuit) including a DSP (Digital Signal Processor), and performs image data conversion processing (details will be described later) at a higher speed than a CPU of a so-called microcomputer. In this case, the image data converter 5 converts the 10-bit (1024 gradation) luminance signal in the image data output from the camera body 4 into 8 bits (256 gradations) and outputs the converted signal.
The
次に、画像データ変換装置５の主な変換処理機能について説明する。
画像データ変換装置５のＤＳＰは、カメラ本体４から１フレーム分の画像データが入力されると、この画像データの輝度ヒストグラム（例えば、図１（ｂ）に示す）から、最低変換輝度ａ１、中間変換輝度ａ２、及び最高変換輝度ａ３を決定するよう、動作プログラムが設定され（後述するステップＳ１参照）、本発明の変換輝度設定手段を実現する。具体的には、輝度ヒストグラムが規定値ｈ１（＝０.１％）である輝度を最低変換輝度ａ１とし、輝度ヒストグラムが規定値ｈ２（＝５０％）である輝度を中間変換輝度ａ２とし、輝度ヒストグラムが規定値ｈ３（＝９９．９％）である輝度を最高変換輝度ａ３とする。
なお、変換前の画像データにおける最低変換輝度ａ１から最高変換輝度ａ３までの範囲の画像データのみが、変換の対象である変換輝度幅となる。
Next, main conversion processing functions of the image data conversion apparatus 5 will be described.
When one frame of image data is input from the camera body 4 to the DSP of the image data converter 5, the minimum conversion luminance a1 and the intermediate conversion luminance a1 from the luminance histogram (for example, shown in FIG. 1B) of this image data. An operation program is set so as to determine the converted luminance a2 and the maximum converted luminance a3 (see step S1 described later), thereby realizing the converted luminance setting means of the present invention. Specifically, the luminance whose luminance histogram is the prescribed value h1 (= 0.1%) is the lowest converted luminance a1, the luminance whose luminance histogram is the prescribed value h2 (= 50%) is the intermediate converted luminance a2, and the luminance The brightness whose histogram is the specified value h3 (= 99.9%) is set as the maximum conversion brightness a3.
Only the image data in the range from the lowest conversion luminance a1 to the highest conversion luminance a3 in the image data before conversion becomes the conversion luminance width to be converted.
また、画像データ変換装置５のＤＳＰは、中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））に基づいて、中間変換輝度ａ２の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に移動するように、変換特性を決定するよう、動作プログラムが設定され（後述するステップＳ１０参照）、本発明の変換特性決定手段を実現する。
ここで、変換特性は、変換前の画像データにおける使用範囲のデータの輝度信号を、目標の狭いダイナミックレンジ（２５６階調）の輝度信号を持つ画像データに変換するための特性であり、例えば図１（ｃ）に示すような投影線として表すことができ、例えば図２（ａ）に示すように相対位置Ａに対応して複数設定されている。
Further, the DSP of the image data conversion apparatus 5 converts the pixel data of the intermediate conversion luminance a2 after the conversion based on the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2. An operation program is set so as to determine the conversion characteristic so as to move to the center side of the dynamic range in the image data (see step S10 described later), thereby realizing the conversion characteristic determination means of the present invention.
Here, the conversion characteristic is a characteristic for converting the luminance signal of the use range data in the image data before the conversion into image data having a luminance signal with a target narrow dynamic range (256 gradations). It can be expressed as a projection line as shown in FIG. 1 (c). For example, a plurality of lines are set corresponding to the relative position A as shown in FIG. 2 (a).
そして、図１（ｃ）及び図２（ａ）において、一点鎖線で示す直線は、中立の変換特性（相対位置Ａ＝０.５）を示す投影線であり、この場合、変換後の輝度ヒストグラムは、図１（ｃ）の左側（又は図２（ｂ））に一点鎖線で示すようになり、変換前の輝度ヒストグラム（変換輝度幅の部分）の単なる相似形となる。しかし、相対位置Ａが０.５よりも小さいと（即ち、中間変換輝度ａ２が変換前の変換輝度幅において暗側に偏っていると）、図２（ａ）に示すように、上記投影線が上に凸の曲線となる変換特性となり、この場合、変換後の輝度ヒストグラムは、例えば図１（ｃ）の左側（又は図２（ｂ））に実線で示すようになって、度数が比較的高い輝度のデータ（中間変換輝度ａ２付近の画素データ）が、変換後のダイナミックレンジの暗側から中央側（中間輝度の側）に移動するように補正されることになる。また逆に、相対位置Ａが０.５よりも大きいと（即ち、中間変換輝度ａ２が変換前の変換輝度幅において明側に偏っていると）、図２（ａ）に示すように、上記投影線が下に凸の曲線となる変換特性となり、この場合、度数が比較的高い輝度のデータ（中間変換輝度ａ２付近の画素データ）が、変換後のダイナミックレンジの明側から中央側（中間輝度の側）に移動するように補正されることになる。 In FIG. 1C and FIG. 2A, the straight line indicated by the alternate long and short dash line is a projection line indicating neutral conversion characteristics (relative position A = 0.5). In this case, the luminance histogram after conversion is shown. Is indicated by a one-dot chain line on the left side of FIG. 1C (or FIG. 2B), and is merely a similar shape of the luminance histogram before conversion (the portion of the converted luminance width). However, when the relative position A is smaller than 0.5 (that is, when the intermediate conversion luminance a2 is biased to the dark side in the conversion luminance width before conversion), as shown in FIG. Is a conversion characteristic with a convex curve. In this case, the luminance histogram after conversion is, for example, as shown by the solid line on the left side of FIG. 1C (or FIG. 2B), and the frequency is compared. High luminance data (pixel data near the intermediate conversion luminance a2) is corrected so as to move from the dark side to the center side (intermediate luminance side) of the converted dynamic range. Conversely, if the relative position A is larger than 0.5 (that is, if the intermediate conversion luminance a2 is biased to the bright side in the conversion luminance width before conversion), as shown in FIG. In this case, the data having a relatively high frequency (pixel data near the intermediate conversion luminance a2) is converted from the bright side to the central side (intermediate side) of the dynamic range after conversion. It is corrected to move to the luminance side).
なお、上述した変換特性としては、具体的には、モニタの非線形性に対処するための補正特性であるいわゆるガンマ曲線を使用することができるが、上述したように相対位置Ａに応じて、上に凸または下に凸となるものであればいかなるものでもよい。例えば、単なる円弧状の曲線を使用してもよい。また、この変換特性は、予め各種の相対位置Ａに対応するものを複数設定しておき、各変換特性のデータをルックアップテーブルとして、画像データ変換装置５内のメモリに登録して使用することが望ましい。
そして、画像データ変換装置５のＤＳＰは、上述したように変換特性を決定すると、この変換特性に従って、変換前の画像データにおける最低変換輝度ａ１から最高変換輝度ａ３のデータを、目標の狭いダイナミックレンジの画像データに変換し、変換後の画像データとして出力し、本発明の画像データ変換手段を実現する（後述するステップＳ１０，Ｓ１１参照）。
As the above-mentioned conversion characteristic, specifically, a so-called gamma curve that is a correction characteristic for dealing with the non-linearity of the monitor can be used. Any material may be used as long as it is convex or convex downward. For example, a simple arc-shaped curve may be used. In addition, a plurality of conversion characteristics corresponding to various relative positions A are set in advance, and data of each conversion characteristic is registered in a memory in the image data conversion device 5 as a lookup table and used. Is desirable.
When the DSP of the image data conversion device 5 determines the conversion characteristics as described above, the data of the lowest conversion brightness a1 to the highest conversion brightness a3 in the image data before conversion is converted into a target narrow dynamic range according to the conversion characteristics. And output as converted image data to realize the image data conversion means of the present invention (see steps S10 and S11 described later).
次に、画像データ変換装置５のその他の処理機能や処理手順について、図４のフローチャートに従って説明する。
画像データ変換装置５は、カメラ本体４から１フレーム分の画像データが入力されると、図４の処理を開始し、まずステップＳ１において、入力された画像データの輝度ヒストグラムから、前述の最低変換輝度ａ１、中間変換輝度ａ２、及び最高変換輝度ａ３を決定する。
次いでステップＳ２では、予め設定された許容最低輝度ＭＩＮに、予め設定された変換輝度幅の最低幅Ｗを加算した値よりも、最高変換輝度ａ３の方が小さいか否か判定し、判定結果が肯定的の場合にはステップＳ３に進み、否定的の場合にはステップＳ４に進む。
なお、許容最低輝度ＭＩＮは、画像データとして無用な黒領域部分が変換されて使用されないようにするためのものである。また、最低幅Ｗは、変換輝度幅が過度に狭くなることを防止するためのものである。
Next, other processing functions and processing procedures of the image data converter 5 will be described with reference to the flowchart of FIG.
When image data for one frame is input from the camera body 4, the image data converter 5 starts the processing of FIG. 4. First, in
Next, in step S2, it is determined whether or not the maximum conversion luminance a3 is smaller than a value obtained by adding the minimum width W of the preset conversion luminance width to the preset allowable minimum luminance MIN. If the determination is affirmative, the process proceeds to step S3. If the determination is negative, the process proceeds to step S4.
Note that the allowable minimum luminance MIN is for preventing an unnecessary black area portion from being converted and used as image data. The minimum width W is for preventing the conversion luminance width from becoming excessively narrow.
一方、ステップＳ４では、最低変換輝度ａ１が許容最低輝度ＭＩＮよりも小さいか否か判定し、判定結果が肯定的の場合にはステップＳ５に進み、否定的の場合にはステップＳ６に進む。
またステップＳ６では、最高変換輝度ａ３と最低変換輝度ａ１の差（変換輝度幅の幅）が最低幅Ｗよりも小さいか否か判定し、判定結果が肯定的の場合にはステップＳ７に進み、否定的の場合にはステップＳ１０に進む。
On the other hand, in step S4, it is determined whether or not the minimum conversion luminance a1 is smaller than the allowable minimum luminance MIN. If the determination result is affirmative, the process proceeds to step S5, and if negative, the process proceeds to step S6.
In step S6, it is determined whether or not the difference between the maximum conversion luminance a3 and the minimum conversion luminance a1 (the width of the conversion luminance width) is smaller than the minimum width W. If the determination result is affirmative, the process proceeds to step S7. If negative, the process proceeds to step S10.
そしてステップＳ３では、最低変換輝度ａ１を許容最低輝度ＭＩＮに変更し、最高変換輝度ａ３を、許容最低輝度ＭＩＮと最低幅Ｗの和に変更する補正を行い、ステップＳ８に進む。
またステップＳ５では、最低変換輝度ａ１を、許容最低輝度ＭＩＮに変更する補正を行い、ステップＳ８に進む。
またステップＳ７では、最低変換輝度ａ１を、最高変換輝度ａ３と最低幅Ｗの差に変更する補正を行い、ステップＳ１０に進む。
In step S3, the minimum conversion luminance a1 is changed to the allowable minimum luminance MIN, the maximum conversion luminance a3 is corrected to be the sum of the allowable minimum luminance MIN and the minimum width W, and the process proceeds to step S8.
In step S5, correction is performed to change the minimum conversion luminance a1 to the allowable minimum luminance MIN, and the process proceeds to step S8.
In step S7, correction is performed to change the minimum conversion luminance a1 to the difference between the maximum conversion luminance a3 and the minimum width W, and the process proceeds to step S10.
次にステップＳ８では、中間変換輝度ａ２が最低変換輝度ａ１よりも小さいか否か判定し、判定結果が肯定的の場合にはステップＳ９に進み、否定的の場合にはステップＳ１０に進む。
そしてステップＳ９では、中間変換輝度ａ２を、最低変換輝度ａ１と最高変換輝度ａ３の平均値に変更する補正を行い、ステップＳ１０に進む。
Next, in step S8, it is determined whether or not the intermediate conversion luminance a2 is smaller than the minimum conversion luminance a1. If the determination result is affirmative, the process proceeds to step S9. If the determination result is negative, the process proceeds to step S10.
In step S9, correction is performed to change the intermediate conversion luminance a2 to an average value of the lowest conversion luminance a1 and the highest conversion luminance a3, and the process proceeds to step S10.
次いでステップＳ１０では、中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））を算出し、この相対位置Ａに対応した変換特性のルックアップテーブルを決定し、この変換特性に従って、変換前の画像データにおける最低変換輝度ａ１から最高変換輝度ａ３のデータを、目標の狭いダイナミックレンジの画像データ（この場合、２５６階調）に変換する。
そして、ステップＳ１１で、変換後の画像データを出力し、１フレーム分の変換処理を終了する。
Next, in step S10, the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2 is calculated, and a lookup table of conversion characteristics corresponding to the relative position A is determined. According to the conversion characteristics, the data from the lowest conversion luminance a1 to the highest conversion luminance a3 in the image data before conversion is converted into image data (in this case, 256 gradations) with a narrow dynamic range.
In step S11, the converted image data is output, and the conversion process for one frame is completed.
以上説明した処理によれば、前述の変換輝度設定手段、変換特性決定手段、及び画像データ変換手段としての機能が実現されるとともに、本発明の最低変換輝度補正手段、中間変換輝度補正手段、及び輝度幅補正手段としての機能が実現される。
即ち、ステップＳ２〜Ｓ５によれば、最低変換輝度ａ１が、所定の許容最低輝度ＭＩＮを下回る場合には、この最低変換輝度ａ１が、例えば図３（ｂ）に示す如く許容最低輝度ＭＩＮに補正され、本発明の最低変換輝度補正手段が実現される。
また、ステップＳ８〜Ｓ９によれば、最低変換輝度ａ１を補正した結果、最低変換輝度ａ１が中間変換輝度ａ２を超えた場合、中間変換輝度ａ２が、最低変換輝度ａ１と最高変換輝度ａ３の平均値に補正され、本発明の中間変換輝度補正手段が実現される。
According to the processing described above, the functions as the conversion luminance setting unit, the conversion characteristic determination unit, and the image data conversion unit described above are realized, and the minimum conversion luminance correction unit, the intermediate conversion luminance correction unit of the present invention, and The function as the brightness width correcting means is realized.
That is, according to steps S2 to S5, when the minimum conversion luminance a1 is lower than the predetermined allowable minimum luminance MIN, the minimum conversion luminance a1 is corrected to the allowable minimum luminance MIN as shown in FIG. 3B, for example. Thus, the minimum conversion luminance correction means of the present invention is realized.
Further, according to steps S8 to S9, when the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2 as a result of correcting the minimum conversion luminance a1, the intermediate conversion luminance a2 is an average of the minimum conversion luminance a1 and the maximum conversion luminance a3. Thus, the intermediate conversion luminance correction means of the present invention is realized.
また、ステップＳ２〜Ｓ７によれば、最低変換輝度ａ１と最高変換輝度ａ３の差である変換輝度幅が、許容最低輝度幅Ｗを下回る場合には、例えば図３（ａ）又は（ｂ）に示す如く、変換輝度幅が許容最低輝度幅Ｗに一致するように、最低変換輝度ａ１又は／及び最高変換輝度ａ３が補正され、本発明の輝度幅補正手段が実現される。
なお、図３（ａ），（ｂ）において一点鎖線で示す斜めの線は、前述した変換特性を示す投影線（ａ１、ａ２、又はａ３の補正なしの場合）であり、この投影線は、ａ１、ａ２、又はａ３の補正により実線で示すように当然変化する。
Further, according to steps S2 to S7, when the conversion luminance width which is the difference between the minimum conversion luminance a1 and the maximum conversion luminance a3 is less than the allowable minimum luminance width W, for example, as shown in FIG. 3 (a) or (b). As shown, the minimum conversion luminance a1 and / or the maximum conversion luminance a3 are corrected so that the conversion luminance width matches the allowable minimum luminance width W, and the luminance width correction means of the present invention is realized.
3 (a) and 3 (b), the oblique line indicated by the alternate long and short dash line is a projection line (in the case of no correction of a1, a2, or a3) indicating the conversion characteristics described above, and this projection line is As a result of the correction of a1, a2, or a3, it naturally changes as shown by the solid line.
以上説明した本例の画像データ変換装置５では、上記変換輝度設定手段と画像データ変換手段の機能により、ダイナミックレンジの広い変換前の画像データのうち、輝度ヒストグラムが０.１％である最低変換輝度ａ１から９９.９％である最高変換輝度ａ３までの限定された範囲（変換輝度幅）のデータのみが変換されて、変換後の画像データが生成される。このため、広ダイナミックレンジ（高階調）の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ（低階調）の画像データに変換することができる。 In the image data conversion apparatus 5 of the present example described above, the lowest conversion having a luminance histogram of 0.1% among the image data before conversion having a wide dynamic range by the functions of the conversion luminance setting unit and the image data conversion unit. Only data in a limited range (conversion luminance width) from the luminance a1 to the highest conversion luminance a3 that is 99.9% is converted, and converted image data is generated. Therefore, wide dynamic range (high gradation) image data can be converted into narrow dynamic range (low gradation) image data while retaining necessary image information.
しかも変換特性は、前記変換特性決定手段により、中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））に基づいて、中間変換輝度ａ２の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に位置するように、設定される。このため、度数が比較的高い輝度のデータ（中間変換輝度ａ２付近の画素データ）が、暗側又は明側に偏っていた場合には、このデータが変換後のダイナミックレンジの中央側（中間輝度の側）に移動するように補正されることになる。したがって、変換後の画像が全体的に暗すぎたり、全体的に明るすぎたりすることが抑制され、全体的に中間的な階調にある良好な画像が常に得られる。 In addition, the conversion characteristic is determined by the conversion characteristic determination means based on the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2 after the pixel data of the intermediate conversion luminance a2 is converted. It is set so as to be located on the center side of the dynamic range in the image data. For this reason, when data with relatively high frequency (pixel data near the intermediate conversion luminance a2) is biased to the dark side or the bright side, this data is converted to the center side (intermediate luminance) of the converted dynamic range. It will be corrected so that it will move to the side. Therefore, it is possible to prevent the image after conversion from being too dark or too bright as a whole, and a good image having an intermediate gradation as a whole can always be obtained.
また画像データ変換装置５は、元画像の輝度ヒストグラムにより限定した範囲を、同ヒストグラムにより決定される変換特性で変換するものであるため、非特許文献２の技術に比較して、簡単なハードウェア（この場合、ＤＳＰよりなる簡素な構成）で実現でき、低コスト化や小型化が図れる利点がある。
また画像データ変換装置５は、非特許文献２の技術のように画像にフィードバックをかけるものではないので、それによる解像度の低下や画像出力の遅れが無いという特長がある。
また画像データ変換装置５は、上述したように、画像の輝度分布によって最適な変換特性を選ぶ方式であるため、ディスプレイ表示等のための従来の一般的な画像データ変換方式と異なり、コントラストが落ちてしまう現象が防止される効果もある。
Further, the image data conversion device 5 converts the range limited by the luminance histogram of the original image with conversion characteristics determined by the histogram, so that it has simple hardware compared to the technique of
Further, since the image data conversion device 5 does not feed back an image unlike the technique of
Further, as described above, the image data conversion device 5 is a method for selecting the optimum conversion characteristics according to the luminance distribution of the image. Therefore, unlike the conventional general image data conversion method for display display or the like, the contrast is lowered. This also has the effect of preventing the phenomenon that occurs.
また、本例の画像データ変換装置は、最低変換輝度ａ１が、許容最低輝度ＭＩＮを下回る場合には、この最低変換輝度ａ１を、前記許容最低輝度に補正する最低変換輝度補正手段を備える。このため、許容最低輝度ＭＩＮを下回る無用な黒領域部分が変換の対象になることを避けることができる。 Further, the image data conversion apparatus of this example includes a minimum conversion luminance correction unit that corrects the minimum conversion luminance a1 to the allowable minimum luminance when the minimum conversion luminance a1 is lower than the allowable minimum luminance MIN. For this reason, it is possible to avoid useless conversion of a black area portion below the allowable minimum luminance MIN.
また、本例の画像データ変換装置は、最低変換輝度ａ１を補正した結果、最低変換輝度ａ１が中間変換輝度ａ２を超えた場合には、中間変換輝度ａ２を、最低変換輝度ａ１と最高変換輝度ａ３の平均値に補正する中間変換輝度補正手段を備えている。このため、最低変換輝度ａ１を補正した結果、最低変換輝度ａ１が中間変換輝度ａ２を超えて、本装置が機能しなくなる不具合を回避できる。 In addition, when the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2 as a result of correcting the minimum conversion luminance a1, the image data conversion apparatus of this example converts the intermediate conversion luminance a2 into the minimum conversion luminance a1 and the maximum conversion luminance. Intermediate conversion luminance correction means for correcting to the average value of a3 is provided. For this reason, as a result of correcting the minimum conversion luminance a1, it is possible to avoid the problem that the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2 and the apparatus does not function.
また、本例の画像データ変換装置は、最低変換輝度ａ１と最高変換輝度ａ３の差である変換輝度幅が、許容最低輝度幅Ｗを下回る場合には、前記変換輝度幅が許容最低輝度幅Ｗに一致するように、最低変換輝度ａ１又は／及び最高変換輝度ａ３を補正する輝度幅補正手段を備える。このため、変換輝度幅が過度に狭くなることが防止される。 Further, in the image data conversion apparatus of this example, when the conversion luminance width that is the difference between the minimum conversion luminance a1 and the maximum conversion luminance a3 is less than the allowable minimum luminance width W, the conversion luminance width is the allowable minimum luminance width W. Is provided with a brightness width correcting means for correcting the lowest converted brightness a1 and / or the highest converted brightness a3. For this reason, it is prevented that the conversion luminance width becomes excessively narrow.
次に、本例のカメラ装置１によれば、ダイナミックレンジが６０ｄＢを超えるイメージセンサよりなるカメラ本体４により、白つぶれや黒つぶれのない画像データが１回の撮影で瞬時に得られ、ダイナミックレンジ拡大のために露光条件を変えて複数回撮影するといった応答性が低下する特殊な動作は不要である。そして、画像データ変換装置５により、前述したように、この画像データのうちの有効な部分のみが、明るさの偏りを補正されコントラストも保持された狭いダイナミックレンジ（低階調）の画像データに変換される。
したがって、明るさの範囲が非常に広く、対象物が高速で変化する情景も、逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データであって、しかも扱い易い低階調で明るさの偏りを補正されてコントラストも保持された良好な画像データを、応答性高く出力することができる。
Next, according to the
Accordingly, image data having a sufficient amount of information for capturing a scene in which the range of brightness is very wide and a target object changes at high speed and identifying the target object by image processing such as edge detection. In addition, it is possible to output good image data with high responsiveness, which is easy to handle and has a low gradation and whose brightness is corrected and the contrast is maintained.
なお、本発明は上述した形態例に限られず、各種の変形や応用があり得る。
例えば、最低変換輝度ａ１、中間変換輝度ａ２、及び最高変換輝度ａ３をそれぞれ決定するヒストグラムの数値は、前述した具体例に限定されないことはいうまでもない。
また、上記形態例では、画像を単にモニタに表示する監視システムに本発明を適用した例を示したが、これに限定されないこともいうまでもない。例えば、画像データを分析して車両の自動走行等に使用する車両における監視システムに適用しても効果的であるし、デジタルビデオカメラ等に適用することも可能である。
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible.
For example, it goes without saying that the numerical values of the histogram for determining the minimum conversion luminance a1, the intermediate conversion luminance a2, and the maximum conversion luminance a3 are not limited to the specific examples described above.
Moreover, although the example which applied this invention to the monitoring system which only displays an image on a monitor was shown in the said form example, it cannot be overemphasized that it is not limited to this. For example, the present invention can be effectively applied to a monitoring system in a vehicle that analyzes image data and is used for automatic driving of the vehicle, and can also be applied to a digital video camera or the like.
１ カメラ装置
４ カメラ本体
５ 画像データ変換装置
1 Camera Device 4 Camera Body 5 Image Data Conversion Device
Claims (5)
変換前の画像データの輝度ヒストグラムがゼロ％近傍の規定値ｈ１である輝度を最低変換輝度ａ１とし、前記輝度ヒストグラムが５０％又はその近傍の規定値ｈ２である輝度を中間変換輝度ａ２とし、前記輝度ヒストグラムが１００％近傍の規定値ｈ３である輝度を最高変換輝度ａ３とする変換輝度設定手段と、
前記中間変換輝度ａ２の相対位置Ａ（Ａ＝（ａ２−ａ１）／（ａ３−ａ１））に基づいて、前記中間変換輝度ａ２の画素データが、変換後の画像データにおける前記ダイナミックレンジの中央側に位置するように、変換特性を決定する変換特性決定手段と、
前記変換特性に従って、変換前の画像データにおける最低変換輝度ａ１から最高変換輝度ａ３のデータを、目標の狭い前記ダイナミックレンジの画像データに変換し、変換後の画像データとして出力する画像データ変換手段とを備えることを特徴とする画像データ変換装置。 An image data converter for converting image data having a wide dynamic range of brightness into image data having a narrow dynamic range,
The luminance whose luminance histogram of the image data before the conversion is a specified value h1 near zero% is defined as the lowest converted luminance a1, the luminance whose luminance histogram is the specified value h2 of 50% or its vicinity as intermediate converted luminance a2, Conversion luminance setting means for setting the luminance whose luminance histogram is a specified value h3 in the vicinity of 100% to the maximum conversion luminance a3;
Based on the relative position A (A = (a2-a1) / (a3-a1)) of the intermediate conversion luminance a2, the pixel data of the intermediate conversion luminance a2 is the center side of the dynamic range in the converted image data. Conversion characteristic determining means for determining the conversion characteristic so as to be located in
Image data conversion means for converting data of the lowest conversion luminance a1 to the highest conversion luminance a3 in the image data before conversion into image data of the narrow dynamic range that is the target and outputting the image data after conversion according to the conversion characteristics; An image data conversion device comprising:
中間変換輝度ａ２を超えた場合には、中間変換輝度ａ２を、前記最低変換輝度ａ１と最高変換輝度ａ３の平均値に補正する中間変換輝度補正手段を備えることを特徴とする請求項２に記載の画像データ変換装置。 As a result of correcting the minimum conversion luminance a1, when the minimum conversion luminance a1 exceeds the intermediate conversion luminance a2, the intermediate conversion luminance a2 is corrected to an average value of the minimum conversion luminance a1 and the maximum conversion luminance a3. The image data conversion apparatus according to claim 2, further comprising intermediate conversion luminance correction means.
このイメージセンサにより得られた画像データを変換する請求項１乃至４の何れかに記載の画像データ変換装置と
を備えたことを特徴とするカメラ装置。 An image sensor having a dynamic range exceeding 60 dB;
A camera apparatus comprising: the image data conversion apparatus according to claim 1, which converts image data obtained by the image sensor.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004042187A JP3956311B2 (en) | 2004-02-19 | 2004-02-19 | Image data conversion device and camera device |
| PCT/JP2005/002961 WO2005081516A1 (en) | 2004-02-19 | 2005-02-17 | Image data conversion device and camera device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004042187A JP3956311B2 (en) | 2004-02-19 | 2004-02-19 | Image data conversion device and camera device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005236588A JP2005236588A (en) | 2005-09-02 |
| JP3956311B2 true JP3956311B2 (en) | 2007-08-08 |
Family
ID=34879247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004042187A Expired - Lifetime JP3956311B2 (en) | 2004-02-19 | 2004-02-19 | Image data conversion device and camera device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3956311B2 (en) |
| WO (1) | WO2005081516A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8526057B2 (en) | 2010-01-13 | 2013-09-03 | Nikon Corporation | Image processing apparatus and image processing method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4687492B2 (en) * | 2006-02-14 | 2011-05-25 | 株式会社ニコン | Camera, imaging method, exposure calculation device, and program |
| US7639893B2 (en) * | 2006-05-17 | 2009-12-29 | Xerox Corporation | Histogram adjustment for high dynamic range image mapping |
| US7636496B2 (en) * | 2006-05-17 | 2009-12-22 | Xerox Corporation | Histogram adjustment for high dynamic range image mapping |
| JP5181970B2 (en) * | 2008-09-25 | 2013-04-10 | オムロン株式会社 | Image processing apparatus and image processing method |
| EP2449526A1 (en) * | 2009-06-29 | 2012-05-09 | Thomson Licensing | Zone-based tone mapping |
| EP2360926A1 (en) * | 2010-01-19 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Image encoder and image decoder |
| US10237525B2 (en) * | 2015-12-25 | 2019-03-19 | Sharp Kabushiki Kaisha | Display device, method for controlling display device, control program, and recording medium |
| JP6652301B2 (en) | 2016-01-27 | 2020-02-19 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP6682322B2 (en) * | 2016-03-31 | 2020-04-15 | シャープ株式会社 | Gradation value conversion device, television receiver, gradation value conversion method, control program, and recording medium |
| JP6647162B2 (en) * | 2016-07-08 | 2020-02-14 | 三菱電機株式会社 | Video recording device, video reproducing device, recording method, and reproducing method |
| JP6759995B2 (en) * | 2016-11-11 | 2020-09-23 | 株式会社デンソー | Image processing device |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4069333B2 (en) * | 1996-11-13 | 2008-04-02 | セイコーエプソン株式会社 | Image processing apparatus, image processing method, and medium on which image processing program is recorded |
| JP4292679B2 (en) * | 1999-05-10 | 2009-07-08 | コニカミノルタホールディングス株式会社 | Solid-state imaging device |
| JP2001045298A (en) * | 1999-07-27 | 2001-02-16 | Sharp Corp | Method for processing picture, recording medium recording picture processing program and picture processor |
| JP3685712B2 (en) * | 2000-11-16 | 2005-08-24 | シャープ株式会社 | Dynamic gamma correction device |
| JP2002204388A (en) * | 2000-12-28 | 2002-07-19 | Ricoh Co Ltd | Apparatus for automatic exposure control, method therefor and recording medium |
| JP3601528B2 (en) * | 2002-07-18 | 2004-12-15 | 凸版印刷株式会社 | Image conversion device, imaging device, printer device, mobile phone device, server device, and image conversion service method |
-
2004
- 2004-02-19 JP JP2004042187A patent/JP3956311B2/en not_active Expired - Lifetime
-
2005
- 2005-02-17 WO PCT/JP2005/002961 patent/WO2005081516A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8526057B2 (en) | 2010-01-13 | 2013-09-03 | Nikon Corporation | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005081516A1 (en) | 2005-09-01 |
| JP2005236588A (en) | 2005-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825426B2 (en) | Merging multiple exposures to generate a high dynamic range image | |
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| JP5148989B2 (en) | Imaging device | |
| US7199840B2 (en) | Dynamic gray scale range adjustment apparatus and method | |
| JP5099701B2 (en) | Signal processing device, signal processing method, control program, readable recording medium, solid-state imaging device, and electronic information device | |
| WO2005081516A1 (en) | Image data conversion device and camera device | |
| US8797427B2 (en) | Image processing apparatus | |
| JP2009017306A (en) | Image display device and imaging apparatus using the same | |
| US20180061029A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus | |
| JP6613697B2 (en) | Image processing apparatus, program, and recording medium | |
| JP2015156600A (en) | Image signal processor, image signal processing method, and imaging apparatus | |
| EP3306915B1 (en) | Method and apparatus for controlling image data | |
| JP2006237851A (en) | Image input apparatus | |
| US9019406B2 (en) | Imaging apparatus and image processing program for correcting dark area gradation | |
| JP2004007202A (en) | Image processor | |
| JP2002359754A (en) | Grey level correction device and method | |
| US8102446B2 (en) | Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal | |
| JP2006165828A (en) | Gradation correcting device | |
| KR20160001582A (en) | Apparatus and method for processing image | |
| JP4260707B2 (en) | Imaging device | |
| JP2006157599A (en) | Imaging device | |
| WO2015141860A1 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP2005318499A (en) | Image processing apparatus | |
| JP2011181019A (en) | Bird's-eye view image generation device | |
| JP4833669B2 (en) | Imaging apparatus and signal processing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070426 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3956311 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |