JP5520863B2 - Image signal processing device - Google Patents
Image signal processing device Download PDFInfo
- Publication number
- JP5520863B2 JP5520863B2 JP2011066961A JP2011066961A JP5520863B2 JP 5520863 B2 JP5520863 B2 JP 5520863B2 JP 2011066961 A JP2011066961 A JP 2011066961A JP 2011066961 A JP2011066961 A JP 2011066961A JP 5520863 B2 JP5520863 B2 JP 5520863B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- input
- image signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像信号処理装置に関する。 The present invention relates to an image signal processing apparatus.
本技術分野の背景技術として、例えば、特開２００８−１４８１８０号公報（特許文献１）がある。該公報には、「[課題]最適露出制御および画像補正処理を行なう装置および方法を提供する。[解決手段]撮像装置の取得画像に基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて被写体の制御目標平均輝度レベルを決定し、主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する。また、露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する。本構成により、露出の最適制御、バランスのとれた明るさの出力画像の生成が可能となる。」と記載されている（要約参照）。 As background art of this technical field, for example, there is JP 2008-148180 A (Patent Document 1). In this publication, “[PROBLEM] To provide an apparatus and method for performing optimal exposure control and image correction processing. [Solution] Based on an acquired image of an imaging apparatus, an average luminance and a luminance distribution range of a main subject are calculated. The control target average luminance level of the subject is determined based on the calculated main subject luminance distribution range and the required number of gradations corresponding to the main subject, and exposure control is executed so that the main subject has the control target average luminance level. In addition, gradation conversion processing is performed for subject images whose average luminance level has shifted due to exposure control, so that the average luminance level is set at the approximate center of the output luminance distribution. It is possible to generate an output image with high brightness ”(see summary).
例えば一般的なデジタルカメラやデジタルビデオカメラなどの撮像装置には、露光制御機能が搭載されている。一般的な露光制御は、画角内の光量を測光し、その結果を用いて絞り及び電子シャッタ及び撮像素子からの利得を調整することで実現されている。このような露光制御を持つ撮像装置を用いてダイナミックレンジの広いシーンを撮影すると、光源などの明るい部分は白飛びし、影になっている暗い部分は黒つぶれして被写体の視認性が低下することがあった。そこで、ダイナミックレンジの広いシーンにおいても被写体の視認性を確保できる技術が必要とされている。 For example, an image pickup apparatus such as a general digital camera or digital video camera has an exposure control function. General exposure control is realized by measuring the amount of light within the angle of view and adjusting the gain from the aperture, electronic shutter, and image sensor using the result. When shooting a scene with a wide dynamic range using an imaging device with such exposure control, bright parts such as the light source will be blown out, and dark parts that are in shadow will be blacked out, reducing the visibility of the subject. There was a thing. Therefore, there is a need for a technique that can ensure the visibility of a subject even in a scene with a wide dynamic range.
特許文献１（特開２００８−１４８１８０号公報）では、被写体の平均輝度に応じた露出制御を行うことで白飛び、黒つぶれを軽減する撮像装置を提案している。しかし、例えば、明るい領域及び暗い領域が多く、中間輝度の領域の少ない被写体などでは、平均輝度による露出制御では効果が不十分である場合がある。 Japanese Patent Application Laid-Open No. 2008-148180 proposes an imaging device that reduces overexposure and underexposure by performing exposure control according to the average luminance of a subject. However, for example, in an object having many bright and dark areas and few intermediate luminance areas, the effect of exposure control using average luminance may be insufficient.
上記課題を解決するために、特許請求の範囲に記載の構成を採用する。 In order to solve the above problems, the configuration described in the claims is adopted.
本発明によれば、ダイナミックレンジの広いシーンを撮影する際の被写体の視認性を向上させることができる。 According to the present invention, it is possible to improve the visibility of a subject when shooting a scene with a wide dynamic range.
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be clarified by the following description of embodiments.
以下、本発明の実施形態を図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（１）実施例１のシステム構成
本発明における実施例について詳細に説明する。図１は、本発明の実施例１における基本構成の一例を説明する図である。撮像部１０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部１０２は、撮像部１０１からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部１０３は、画像入力部１０２の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。輝度統計情報算出部１０４は、被写体認識部１０３から得た情報を用いて画像入力部１０２からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。入出力特性制御部１０５は、輝度統計情報算出部１０４からの情報を用いて、画像入力部１０２からの画像信号に対する入出力特性制御量を算出し、撮像部１０１と画像信号補正部１０６の制御を行う。これにより、被写体に応じた露光制御と画像信号処理が可能となり、画面の視認性向上効果が得られる。画像信号補正部１０６は、入出力特性制御部１０５から得た情報を元に、画像入力部１０２からの画像信号に対して画像信号補正処理を行う。画像出力部１０７は、画像信号補正部１０６からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、画像信号補正部１０６からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、実施例１では画像信号補正部と画像信号処理を行う画像出力部を個別に図示しているが、画像信号補正部が画像出力部の一部に含まれていても構わない。
(1) System Configuration of Embodiment 1 An embodiment of the present invention will be described in detail. FIG. 1 is a diagram illustrating an example of a basic configuration according to the first embodiment of the present invention. The imaging unit 101 includes an aperture that adjusts the amount of incident light from a subject, a lens that collects light passing through the aperture, an imaging element that photoelectrically converts the light collected by the lens and outputs it as an image signal, and the like. The The
以上の構成により、被写体の存在する領域の輝度分布に応じて露光制御と画像信号補正処理を実現できるため、ダイナミックレンジの広いシーンにおいても被写体の視認性を向上させることができる。 With the above configuration, since exposure control and image signal correction processing can be realized according to the luminance distribution of the region where the subject exists, the visibility of the subject can be improved even in a scene with a wide dynamic range.
（２）被写体認識を用いた入出力特性制御
図２は、ダイナミックレンジの広いシーンを撮影した際の輝度分布の一例を説明する図である。横軸は輝度レベルを表わし、縦軸は該輝度レベルの画素数を表わす。図示した２０１の領域は、輝度レベルが低く、画面上ではほとんど黒として見える黒つぶれの状態になっている領域である。２０２の領域は、輝度レベルが高く、画面上ではほとんど白として見える白飛びの状態になっている領域である。画面の視認性を向上させるには、前記黒つぶれ及び前記白飛びしている画素が少なくなるよう入出力特性を制御する必要がある。
(2) Input / Output Characteristic Control Using Subject Recognition FIG. 2 is a diagram illustrating an example of a luminance distribution when a scene with a wide dynamic range is captured. The horizontal axis represents the luminance level, and the vertical axis represents the number of pixels at the luminance level. The
図３は、画像信号補正部１０５の処理の概念の一例を示す図である。左側に示すのは、黒つぶれしている様な暗い領域と白飛びしている様な明るい領域と信号補正無しでも階調がはっきり視認できる中間輝度の領域とを併せ持つ入力画像である。また右側に示すのはそれぞれの領域のコントラストを改善するための入出力特性を示している。各画素の輝度レベルに応じて、図３の右側のグラフのようにガンマ特性を制御することで、低輝度領域と高輝度部分とで異なる入出力特性制御を行うことができる。このとき、輝度統計情報算出部１０３（図１）で、画像入力部１０２からの画素信号を中心とし、その周辺画素で構成される所定の画像領域（ｎ×ｍ画素の領域）における信号のヒストグラム分布、最大値最小値、平均値等、画像領域の信号の輝度分布状態を示す情報を算出し、各画素の輝度レベルとしてこれらを用いると、ノイズの影響を抑えた画像信号補正処理を行うことができる。これにより、通常の画面一律のガンマ制御と異なり、画素単位で画像信号を補正することができる。
FIG. 3 is a diagram illustrating an example of a processing concept of the image
図４は、入出力特性制御部１０５（図１）が行う入出力特性制御の処理の流れを説明するフロー図である。本実施例では、輝度統計情報として被写体が存在する領域のヒストグラムを使用した場合を例に説明する。また、入出力特性制御部は、低輝度部分と高輝度部分でそれぞれ異なる入出力特性変化量を算出可能であるとする。ステップＳ４０１で、入出力特性制御部１０５に画像入力部１０２からの画像情報及び輝度統計情報算出部１０４からの輝度統計情報が入力されると、ステップＳ４０２にて、前記輝度統計情報を用いて画面内に白飛びがあるか否かの判定を行う。白飛びがある場合はステップＳ４０３にて、入出力特性制御部１０５は撮像部１０１に対して絞りを絞るよう命令する。その後ステップＳ４０４にて、前記輝度統計情報を用いて再び、画面内に白飛びがあるか否かを判定する。このとき、ステップＳ４０２で白飛びがあると判定される画素数と、ステップＳ４０４で白飛びがあると判定される画素数は異なる値が設定される。これは、露光制御だけで白飛びを抑えようとして、暗い領域の信号が減少してしまうのを防ぐためである。ステップＳ４０４で白飛びがあると判定された場合は、ステップＳ４０５で、入出力特性制御部４０５が、高輝度部分の入出力特性制御を行い、画像信号補正部１０６が高輝度部分の画像信号補正を行う。ステップＳ４０４にて、白飛びが無いと判定された場合は、ステップＳ４０５を飛ばしてステップＳ４０６に移行する。ステップＳ４０６では、前記輝度統計情報を用いて画面内に黒つぶれがあるか否かの判定を行う。黒つぶれがある場合は、ステップＳ４０７で、入出力特性制御部１０５が、低輝度部分の入出力特性制御を行い、画像信号補正部１０６が低輝度部分の画像信号補正を行う。ステップＳ４０６で、黒つぶれが無いと判定された場合は、ステップＳ４０７を飛ばして処理を終了する。なお、白飛びしていると判定する輝度レベルの範囲や、ステップＳ４０２及びＳ４０４の判定で白飛びがあると判定するための画素数などは、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などに値を保存し、それを用いても構わない。黒つぶれに関する判定については、白飛びの判定と同様の処理を行えば良い。また、白飛びしている画素数に応じて、露光制御部にて絞り量を制御したり、高輝度側の画像信号補正量を制御したり、また、黒つぶれしている画素数に応じて、低輝度側の画像信号補正量を制御しても良い。なお、本実施例では絞りを制御して画面全体の輝度レベルを変化させると前述したが、状況に応じてシャッタ速度や画像入力部１０２の利得制御量を制御しても構わない。
FIG. 4 is a flowchart for explaining the flow of input / output characteristic control processing performed by the input / output characteristic control unit 105 (FIG. 1). In this embodiment, a case where a histogram of a region where a subject exists is used as luminance statistical information will be described as an example. Further, it is assumed that the input / output characteristic control unit can calculate different input / output characteristic change amounts in the low luminance part and the high luminance part. When the image information from the
以上の処理により、被写体が存在する領域の白飛び及び黒つぶれ画素数に応じて露光制御と画像信号補正を行うことができるため、被写体の視認性を向上させることができる。なお、本実施例ではある程度の白飛びを露光制御で抑え、残った白飛び部分には画像信号補正処理を行うため、露光制御によって画面を暗くしすぎることなく視認性の向上を実現することができる。 With the above processing, exposure control and image signal correction can be performed in accordance with the number of overexposed and underexposed pixels in the area where the subject is present, so that the visibility of the subject can be improved. In the present embodiment, a certain amount of whiteout is suppressed by exposure control, and image signal correction processing is performed on the remaining whiteout portion, so that the visibility can be improved without making the screen too dark by exposure control. it can.
図５は、入出力特性の効果の一例を示す図である。（ａ）は、ダイナミックレンジの広いシーンを撮影した際に、特別な露光制御や画像信号補正処理を行わなかった場合のヒストグラムを示す。５０１は、黒つぶれになる輝度レベルの範囲を、５０２は、白飛びになる輝度レベルの範囲を示す。５０３は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、黒つぶれ及び白飛びが発生していることが分かる。（ｂ）は、ステップＳ４０３（図４）の露光制御によって、白飛びを抑える制御を行った際のヒストグラムを示す。５０４は、各輝度レベルを持つ画素数をプロットしたものである。（ｂ）の例では、露光制御によって全体的に矢印５０５の方向にヒストグラムが変化し、白飛びしている画素が減少していることがわかる。（ｃ）は、ステップＳ４０５で高輝度部分の画像信号補正処理を行った際のヒストグラムを示す。５０６は、各輝度レベルを持つ画素数をプロットしたものである。（ｃ）の例では、画像信号補正処理によって高輝度部分が矢印５０７の方向に変化し、高輝度部分の信号の分布が広がっている。このとき、被写体認識部１０３（図１）が高輝度部分に被写体を検出した場合、該被写体の視認性が上がるような画像信号補正が高輝度部分に対して行われる。（ｄ）は、ステップＳ４０５の低輝度側の画像信号補正処理によって、黒つぶれを抑える制御を行った際のヒストグラムを示す。５０８は、各輝度レベルを持つ画素数をプロットしたものである。（ｄ）の例では、画像信号補正処理によって低輝度部分が矢印５０９の方向に変化し、黒つぶれしている画素が減少していることが分かる。このとき、被写体認識部１０３が低輝度部分に被写体を検出した場合、該被写体の視認性が上がるような画像信号補正が低輝度部分に対して行われる。また、本実施例の画像信号補正処理と合わせてガンマ補正などの信号処理を行うことで低輝度部分の視認性をさらに向上させても構わない。
FIG. 5 is a diagram illustrating an example of the effect of input / output characteristics. (A) shows a histogram when special exposure control and image signal correction processing are not performed when a scene with a wide dynamic range is photographed.
以上より、被写体の白飛びしている部分を露光制御及び画像信号補正処理で改善し、被写体の黒つぶれしている部分を画像信号補正処理によって改善することで、被写体のダイナミックレンジが広いシーンでも白飛び及び黒つぶれを抑制することができる。 As described above, the overexposed portion of the subject is improved by exposure control and image signal correction processing, and the underexposed portion of the subject is improved by image signal correction processing, so even in a scene with a wide dynamic range of the subject. Whiteout and blackout can be suppressed.
なお、実施例１では、白飛びを露光制御及び画像信号補正処理で抑制し、黒つぶれを画像信号補正処理で抑制すると前述したが、その他にも、白飛びを画像信号補正処理で抑制し、黒つぶれを露光制御及び画像信号補正処理で抑制してももちろん構わない。 In the first embodiment, the whiteout is suppressed by the exposure control and the image signal correction process, and the blackout is suppressed by the image signal correction process. However, the whiteout is suppressed by the image signal correction process. Obviously, the blackout may be suppressed by exposure control and image signal correction processing.
（１）実施例２のシステム構成
図６は、本発明の実施例２における基本構成の一例を説明する図である。撮像部６０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部６０２は、撮像部６０１からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部６０３は、画像入力部６０２の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。第一輝度統計情報算出部６０４は、被写体認識部６０３から得た情報を用いて画像入力部６０２からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第一入出力特性制御部６０５は、入出力特性制御部１０５（図１）と同様の機能を持つブロックであり、画像入力部６０２からの画像信号に対する入出力特性制御量を算出し、撮像部６０１と第一画像信号補正部６０６の制御を行う。第一画像信号補正部６０６は、画像信号補正部１０６と同様の機能を持つブロックであり、第一入出力特性制御部６０５からの情報を元に、画像入力部６０２からの画像信号に対して画像信号補正処理を行う。第二輝度統計情報算出部６０７は、第一画像信号補正部６０６からの画像信号に対して輝度統計情報を算出する。輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第二入出力特性制御部６０８は、第二輝度統計情報算出部６０７から得た情報を用いて、第一画像信号補正部６０６からの画像信号の入出力特性制御量を算出する。第二画像信号補正部６０９は、第二入出力特性制御部６０８から得た情報を元に、第一画像信号補正部６０６からの画像信号に対して画像信号補正を行う。画像出力部６１０は、第二画像信号補正部６０９からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、第二画像信号補正部６０９からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。
(1) System Configuration of Embodiment 2 FIG. 6 is a diagram for explaining an example of a basic configuration in Embodiment 2 of the present invention. The imaging unit 601 includes an aperture that adjusts the amount of incident light from the subject, a lens that collects light passing through the aperture, an imaging device that photoelectrically converts the light collected by the lens and outputs the image signal, and the like. The The
以上の構成により、第一画像信号補正を行った後に、第一輝度統計情報を用いて第二画像信号補正を行うことで、画像信号補正処理による視認性の向上効果をより大きくできる。 With the above configuration, after the first image signal correction is performed, the second image signal correction is performed using the first luminance statistical information, so that the effect of improving the visibility by the image signal correction process can be further increased.
（２）実施例２の入出力特性制御
図７は、第一入出力特性制御部６０５（図６）及び第二入出力特性制御部６０８が行う入出力特性制御の処理の流れを説明するフロー図である。本実施例では、第一輝度統計情報として被写体が存在する領域のヒストグラムを、第二輝度統計情報として輝度最大値最小値を使用した場合を例に説明する。また、第一入出力特性制御部は、低輝度部分と高輝度部分でそれぞれ異なる入出力特性変化量を算出可能であるとする。ステップＳ７０１で、入出力特性制御部６０５に画像入力部６０２からの画像情報及び第一輝度統計情報算出部６０４からの輝度統計情報が入力されると、ステップＳ７０２にて、前記輝度統計情報を用いて画面内に白飛びがあるか否かの判定を行う。白飛びがある場合はステップＳ７０３にて、入出力特性制御部６０５は撮像部６０１に対して絞りを絞るよう命令する。その後ステップＳ７０４にて、前記輝度統計情報を用いて再び、画面内に白飛びがあるか否かを判定する。このとき、ステップＳ７０２で白飛びがあると判定される画素数と、ステップＳ７０４で白飛びがあると判定される画素数は異なる値が設定される。これは、露光制御だけで白飛びを抑えようとして、暗い領域の信号が減少してしまうのを防ぐためである。ステップＳ７０４で白飛びがあると判定された場合は、ステップＳ７０５で、第一入出力特性制御部６０５が、高輝度部分の入出力特性制御を行い、第一画像信号補正部６０６が高輝度部分の画像信号補正を行う。ステップＳ７０４にて、白飛びが無いと判定された場合は、ステップＳ７０５を飛ばしてステップＳ７０６に移行する。ステップＳ７０６では、前記第一輝度統計情報を用いて画面内に黒つぶれがあるか否かの判定を行う。黒つぶれがある場合は、ステップＳ７０７で、第一入出力特性制御部６０５が、低輝度部分の入出力特性制御を行い、第一画像信号補正部６０６が低輝度部分の画像信号補正を行う。ステップＳ７０６で、黒つぶれが無いと判定された場合は、ステップＳ７０７を飛ばして処理を終了する。なお、白飛びしていると判定する輝度レベルの範囲や、ステップＳ７０２及びＳ７０４の判定で白飛びがあると判定するための画素数などは、ＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。黒つぶれに関する判定については、白飛びの判定と同様の処理を行えば良い。また、白飛びしている画素数に応じて、露光制御部にて絞り量を制御したり、高輝度側の画像信号補正量を制御したり、また、黒つぶれしている画素数に応じて、低輝度側の画像信号補正量を制御しても良い。なお、本実施例では絞りを制御して画面全体の輝度レベルを変化させると前述したが、状況に応じてシャッタ速度や画像入力部１０２の利得制御量を制御しても構わない。最後にステップＳ７０８で、第二輝度統計情報算出部６０７から得た情報、具体的には第一画像信号補正部からの信号の輝度最大値及び最小値を用いて、第一画像信号補正部６０６からの信号に対して、ダイナミックレンジを拡大する第二画像信号補正処理を行い、処理を終了する。このとき、ステップＳ７０８にて第一画像信号補正部からの輝度最大値最小値を用いて第二画像信号補正処理を行う際に、前記輝度最大値最小値は一定期間蓄積した値の平均を用いて使用しても構わない。これにより、ノイズの影響を軽減することが可能である。また、その他のフィルタ処理を施して信号の確度を上げて使用してももちろん構わない。
(2) Input / Output Characteristic Control of Example 2 FIG. 7 is a flowchart for explaining the flow of input / output characteristic control processing performed by the first input / output characteristic control unit 605 (FIG. 6) and the second input / output
以上の処理により、被写体が存在する領域の白飛び及び黒つぶれ画素数に応じて露光制御と画像信号補正を行うことができるため、被写体の視認性を向上させることができる。なお、本実施例ではある程度の白飛びを露光制御で抑え、残った白飛び部分には画像信号補正処理を行うため、露光制御によって画面を暗くしすぎることなく視認性の向上を実現することができる。また、第一画像信号補正処理によってダイナミックレンジが縮小された場合でも、第二画像信号補正処理によって再びダイナミックレンジを拡大することができるため、視認性がさらに向上する。 With the above processing, exposure control and image signal correction can be performed in accordance with the number of overexposed and underexposed pixels in the area where the subject is present, so that the visibility of the subject can be improved. In the present embodiment, a certain amount of whiteout is suppressed by exposure control, and image signal correction processing is performed on the remaining whiteout portion, so that the visibility can be improved without making the screen too dark by exposure control. it can. Further, even when the dynamic range is reduced by the first image signal correction process, the dynamic range can be expanded again by the second image signal correction process, so that the visibility is further improved.
（３）実施例２の効果
第一画像信号補正処理については、実施例１の図４及び図５で画像信号補正処理として説明したものと同様である。
(3) Effects of Second Embodiment The first image signal correction process is the same as that described as the image signal correction process in FIGS. 4 and 5 of the first embodiment.
図８は、第二画像信号補正処理の効果の一例を示す図である。（ａ）は、ステップＳ７０７（図７）で第一画像信号補正処理（低輝度側）を行った後の画像信号に対するヒストグラムである。８０１は、黒つぶれになる輝度レベルの範囲を、８０２は、白飛びになる輝度レベルの範囲を示す。８０３は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、第一画像信号補正処理によって、黒つぶれ部分を明るい側に、白飛び部分を暗い側に補正した結果、白飛び及び黒つぶれは解消されたが、輝度レベルの最小値（０）付近と最大値（ｍａｘ）付近の画素が存在しない状態になっていることがわかる。この場合、画面上で黒い被写体がグレーに見えることがある。なお、輝度レベルの最小値はｙ１であり、最大値はｙ２である。また、０＜ｙ１＜ｙ２＜ｍａｘである。（ａ）の輝度分布の場合、輝度レベル０からｙ１と、輝度レベルｙ２からｍａｘの画素が存在せず、出力信号のダイナミックレンジが無駄になっている。そこで、第二画像信号補正処理により、（ｂ）の矢印の方向に信号の輝度レベルを補正する。８０４は、第二画像信号補正処理後の画像信号に対するヒストグラムである。
FIG. 8 is a diagram illustrating an example of the effect of the second image signal correction process. (A) is a histogram with respect to the image signal after performing a 1st image signal correction process (low-intensity side) by step S707 (FIG. 7).
以上の第二画像信号補正処理により、出力信号のダイナミックレンジの無駄をなくし、黒い被写体を黒として出力することができる。 With the above second image signal correction processing, it is possible to eliminate the waste of the dynamic range of the output signal and output a black subject as black.
図９は、ステップＳ７０８（図７）で行う第二画像信号補正処理の一例を示す図である。（ａ）は、ステップＳ７０７で第一画像信号補正処理（低輝度側）を行った後の画像信号に対するヒストグラムである。９０１は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、画像入力部からの画像信号のダイナミックレンジがもともと狭いため、輝度レベルの最小値（０）付近と最大値（ｍａｘ）付近の画素が存在しない状態になっている。なお、輝度レベルの最小値はｙ１であり、最大値はｙ２である。また、０＜ｙ１＜ｙ２＜ｍａｘである。（ａ）の輝度分布の場合、輝度レベル０からｙ１と、輝度レベルｙ２からｍａｘの画素が存在せず、出力信号のダイナミックレンジが無駄になっている。しかし、第二画像信号補正処理によって、（ｂ）の矢印の方向に信号の輝度レベルを補正して最小値を０に、最大値をｍａｘにすると、元の画像信号に対する補正量が大きすぎるため不自然な画像になることがある。そこで、（ｃ）の暗側オフセット９０２及び明側オフセット９０３を設定し、第二画像信号補正処理によって画像信号を補正しすぎないようにする。具体的には、ｙ１がｙ３に、ｙ２がｙ４になるよう画像信号のダイナミックレンジを拡大する。なお、各オフセット値は、ｙ１及びｙ２を用いて算出すると、より自然な出力画像を生成できる。
FIG. 9 is a diagram illustrating an example of the second image signal correction process performed in step S708 (FIG. 7). (A) is a histogram with respect to the image signal after performing the 1st image signal correction process (low-intensity side) by step S707.
以上の第二画像信号補正処理により、第二画像信号補正処理によって画像信号を補正しすぎることなく、自然な出力画像を生成することができる。 By the above second image signal correction process, a natural output image can be generated without overcorrecting the image signal by the second image signal correction process.
なお、実施例２では、白飛びを露光制御及び画像信号補正処理で抑制し、黒つぶれを画像信号補正処理で抑制すると前述したが、その他にも、白飛びを画像信号補正処理で抑制し、黒つぶれを露光制御及び画像信号補正処理で抑制してももちろん構わない。 In the second embodiment, the whiteout is suppressed by the exposure control and the image signal correction process, and the blackout is suppressed by the image signal correction process. However, the whiteout is suppressed by the image signal correction process. Obviously, the blackout may be suppressed by exposure control and image signal correction processing.
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, each of the above-described configurations may be configured such that some or all of them are configured by hardware, or are implemented by executing a program by a processor. Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
１０１…撮像部、１０２…画像入力部、１０３…被写体認識部、１０４…輝度統計情報算出部、１０５…入出力特性制御部、１０６…画像信号補正部、１０７…画像出力部、２０１…黒つぶれしている輝度レベルの範囲、２０２…白飛びしている輝度レベルの範囲、５０１…黒つぶれしている輝度レベルの範囲、５０２…白飛びしている輝度レベルの範囲、５０３…（ａ）のヒストグラム、５０４…（ｂ）のヒストグラム、５０５…露光制御による変化方向、５０６…（ｃ）のヒストグラム、５０７…画像信号補正による変化方向、５０８…（ｄ）のヒストグラム、５０９…画像信号補正による変化方向、６０１…撮像部、６０２…画像入力部、６０３…被写体認識部、６０４…第一輝度統計情報算出部、６０５…第一入出力特性制御部、６０６…第一画像信号補正部、６０７…第二輝度統計情報算出部、６０８…第二入出力特性制御部、６０９…第二画像信号補正部、６１０…画像出力部、８０１…黒つぶれしている輝度レベルの範囲、８０２…白飛びしている輝度レベルの範囲、８０３…（ａ）のヒストグラム、８０４…、９０１…黒つぶれしている輝度レベルの範囲、９０２…白飛びしている輝度レベルの範囲、９０３…（ａ）のヒストグラム、９０４…（ｂ）のヒストグラム、１００１…（ａ）のヒストグラム、１００２…暗側オフセット量、１００３…明側オフセット量
DESCRIPTION OF SYMBOLS 101 ... Imaging part, 102 ... Image input part, 103 ... Subject recognition part, 104 ... Luminance statistical information calculation part, 105 ... Input / output characteristic control part, 106 ... Image signal correction part, 107 ... Image output part, 201 ... Blackout Range of
Claims (9)
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
を具備し、
前記入出力特性制御手段は、
前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記画像信号補正手段を制御すること、を特徴とする画像信号処理装置。 An imaging means including an imaging device that photoelectrically converts incident light from a subject and outputs it as an image signal;
Image input means for inputting a signal from the image sensor;
Subject recognition means for subjecting the signal from the image input means to image processing to recognize and detect subject information;
Luminance statistical information calculation means for calculating luminance statistical information of a region where the subject exists with respect to a signal from the image input means based on the subject information obtained from the subject recognition means;
Input / output characteristic control means for performing input / output characteristic control on the signal from the image input means;
Image signal correction means for performing image signal correction for each arbitrary region with respect to the signal from the image input means;
Comprising
The input / output characteristic control means includes:
Using the luminance statistical information obtained from the luminance statistical information calculating means, the imaging means is controlled so as to reduce particularly overexposed pixels in a high luminance portion of the signal, and the luminance statistical information is used to control the low luminance of the signal. An image signal processing apparatus, characterized in that the image signal correcting means is controlled so as to reduce particularly blackened pixels in a region.
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
を具備し、
前記入出力特性制御手段は、
前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記画像信号補正手段を制御すること、を特徴とする画像信号処理装置。 An imaging means including an imaging device that photoelectrically converts incident light from a subject and outputs it as an image signal;
Image input means for inputting a signal from the image sensor;
Subject recognition means for subjecting the signal from the image input means to image processing to recognize and detect subject information;
Luminance statistical information calculation means for calculating luminance statistical information of a region where the subject exists with respect to a signal from the image input means based on the subject information obtained from the subject recognition means;
Input / output characteristic control means for performing input / output characteristic control on the signal from the image input means;
Image signal correction means for performing image signal correction for each arbitrary region with respect to the signal from the image input means;
Comprising
The input / output characteristic control means includes:
Using the luminance statistical information obtained from the luminance statistical information calculating means, the imaging means is controlled so as to reduce particularly blackout pixels in the low luminance area of the signal, and the high luminance of the signal is determined using the luminance statistical information. An image signal processing apparatus, characterized in that the image signal correcting means is controlled so as to reduce particularly white-out pixels in a portion.
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
該第一画像信号補正手段の出力の輝度統計情報を算出する第二輝度統計情報算出手段と、
該第二輝度統計情報を用いて、該第一輝度統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
を具備し、
前記第一入出力特性制御手段は、
前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記第一画像信号補正手段を制御すること、を特徴とする画像信号処理装置。 An imaging means including an imaging device that photoelectrically converts incident light from a subject and outputs it as an image signal;
Image input means for inputting a signal from the image sensor;
Subject recognition means for subjecting the signal from the image input means to image processing to recognize and detect subject information;
First luminance statistical information calculation means for calculating luminance statistical information of a region where the subject exists with respect to a signal from the image input means based on the subject information obtained from the subject recognition means;
First input / output characteristic control means for performing input / output characteristic control on a signal from the image input means;
First image signal correction means for performing image signal correction for each arbitrary region with respect to the signal from the image input means;
A second luminance statistics calculating means for calculating the luminance statistics of the output of the first image signal correcting means,
Using said second luminance statistics, and a second input-output characteristic control means for controlling the change of the input-output characteristics for each area with respect to the output from said first luminance statistics calculating means,
Second image signal correction means for performing image signal correction according to the output of the second input / output characteristic control means;
Comprising
The first input / output characteristic control means includes:
Using the luminance statistical information obtained from the first luminance statistical information calculating means, the imaging means is controlled so as to reduce particularly overexposed pixels in the high luminance portion of the signal, and obtained from the first luminance statistical information calculating means. And controlling the first image signal correcting means so as to reduce particularly blackened pixels in a low luminance region of the signal using the luminance statistical information.
該撮像素子からの信号を入力する画像入力手段と、
該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
該第一画像信号補正手段の出力の輝度統計情報を算出する第二輝度統計情報算出手段と、
該第二輝度統計情報を用いて、該第一輝度統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
を具備し、
前記第一入出力特性制御手段は、
前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記第一画像信号補正手段を制御すること、を特徴とする画像信号処理装置。 An imaging means including an imaging device that photoelectrically converts incident light from a subject and outputs it as an image signal;
Image input means for inputting a signal from the image sensor;
Subject recognition means for subjecting the signal from the image input means to image processing to recognize and detect subject information;
First luminance statistical information calculation means for calculating luminance statistical information of a region where the subject exists with respect to a signal from the image input means based on the subject information obtained from the subject recognition means;
First input / output characteristic control means for performing input / output characteristic control on a signal from the image input means;
First image signal correction means for performing image signal correction for each arbitrary region with respect to the signal from the image input means;
A second luminance statistics calculating means for calculating the luminance statistics of the output of the first image signal correcting means,
Using said second luminance statistics, and a second input-output characteristic control means for controlling the change of the input-output characteristics for each area with respect to the output from said first luminance statistics calculating means,
Second image signal correction means for performing image signal correction according to the output of the second input / output characteristic control means;
Comprising
The first input / output characteristic control means includes:
Using the luminance statistical information obtained from the first luminance statistical information calculating means, the imaging means is controlled so as to reduce particularly blackout pixels in the low luminance region of the signal, and obtained from the first luminance statistical information calculating means. And controlling the first image signal correcting means so as to reduce particularly white-out pixels in a high-luminance portion of the signal using the luminance statistical information.
前記入出力特性制御手段は、
少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
を特徴とする画像信号処理装置。 The image signal processing apparatus according to claim 1 or 2,
The input / output characteristic control means includes:
Control multiple input / output characteristics that differ at least in the low-brightness and high-brightness parts,
An image signal processing apparatus.
前記第一入出力特性制御手段は、
少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
を特徴とする画像信号処理装置。 The image signal processing apparatus according to claim 3 or 4,
The first input / output characteristic control means includes:
Control multiple input / output characteristics that differ at least in the low-brightness and high-brightness parts,
An image signal processing apparatus.
前記輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
を特徴とする画像信号処理装置。 The image signal processing apparatus according to claim 1 or 2,
The luminance statistical information calculation means detects one or a plurality of histogram distribution, maximum value minimum value, average value in the signal from the image input means,
An image signal processing apparatus.
前記第一輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出し、前記第二輝度統計情報算出手段は、前記第一画像信号補正手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
を特徴とする画像信号処理装置。 The image signal processing apparatus according to claim 3 or 4,
The first luminance statistical information calculation unit detects one or more of a histogram distribution, a maximum value minimum value, and an average value in a signal from the image input unit, and the second luminance statistical information calculation unit includes the first luminance statistical information calculation unit. Detecting one or more of a histogram distribution, maximum value minimum value, average value in the signal from the image signal correction means,
An image signal processing apparatus.
前記第二入出力特性制御手段は、
前記第二輝度統計情報算出手段から得た輝度統計情報に対して所定のフィルタ処理を行うこと、
を特徴とする画像信号処理装置。 The image processing apparatus according to claim 3 or 4,
The second input / output characteristic control means includes:
Performing a predetermined filtering process on the luminance statistics obtained from the second luminance statistics calculating means,
An image signal processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011066961A JP5520863B2 (en) | 2011-03-25 | 2011-03-25 | Image signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011066961A JP5520863B2 (en) | 2011-03-25 | 2011-03-25 | Image signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012205031A JP2012205031A (en) | 2012-10-22 |
| JP5520863B2 true JP5520863B2 (en) | 2014-06-11 |
Family
ID=47185541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011066961A Active JP5520863B2 (en) | 2011-03-25 | 2011-03-25 | Image signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5520863B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6324090B2 (en) | 2014-01-31 | 2018-05-16 | 株式会社 日立産業制御ソリューションズ | Imaging device |
| CN109845241B (en) | 2016-10-04 | 2020-12-15 | 富士胶片株式会社 | Image pickup apparatus, image pickup method, and recording medium |
-
2011
- 2011-03-25 JP JP2011066961A patent/JP5520863B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012205031A (en) | 2012-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4622629B2 (en) | Imaging device | |
| US20100231748A1 (en) | Imaging device | |
| US8023763B2 (en) | Method and apparatus for enhancing image, and image-processing system using the same | |
| EP2911110A2 (en) | Image signal processing apparatus, image signal processing method, and image capturing apparatus | |
| JP4694424B2 (en) | Authentication device | |
| JP2009177472A (en) | Image processing method, image processor and imaging device | |
| US11838649B2 (en) | Image capturing device and control method thereof and medium | |
| JP5358344B2 (en) | Imaging apparatus and imaging method | |
| JP2014179756A (en) | Image processing device, control method therefor and control program | |
| JP5861924B2 (en) | Imaging device | |
| WO2020206659A1 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
| GB2499668A (en) | Exposure Controller | |
| US11863873B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
| JP2013118513A (en) | Imaging apparatus | |
| US10475162B2 (en) | Image processing device, method, and storage medium for gamma correction based on illuminance | |
| JP6080531B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP5520863B2 (en) | Image signal processing device | |
| JP5591026B2 (en) | Imaging apparatus and control method thereof | |
| JP2002288650A (en) | Image processing device, digital camera, image processing method and recording medium | |
| JP4629002B2 (en) | Imaging device | |
| JP5215820B2 (en) | Imaging device | |
| JP5621335B2 (en) | Image processing apparatus, image processing method, and image pickup apparatus | |
| JP6397261B2 (en) | Image processing apparatus and method | |
| US11012630B1 (en) | Image processor and image processing method | |
| JP2018181070A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5520863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |