JP5533752B2 - 画像信号処理装置 - Google Patents

Description

本発明は、画像信号処理装置に関する。

本技術分野の背景技術として、例えば、特開２００２−２７９２５６号公報（特許文献１）がある。該公報には、課題として「上記ワイドダイナミックレンジカメラなどのダイナミックレンジの広い画像を撮影可能な撮像装置において，映像信号として再生可能な出力画像のダイナミックレンジが，輝度信号レベルが高輝度に該当する高輝度部分と輝度信号レベルが低輝度／中輝度に該当する低中輝度部分とに割り当てられる割合は，被写体によらず常に固定されていた。」と、［課題を解決するための手段］として、「被写体を撮像し；被写体の撮像された露光時間が相対的に長い長時間露光画像と，露光時間が相対的に短い短時間露光画像の画像信号を検波し；画像信号から決定される切替輝度信号レベルに基づき，長時間露光画像と短時間露光画像とから，合成画像を生成し；合成画像に占める輝度領域に応じて，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てをし；出力画像のダイナミックレンジの動的な割当てに基づいて，合成画像のダイナミックレンジを圧縮することを特徴としている」と記載されている。

また、例えば特開２００２−７７７３３号公報（特許文献２）がある。該公報には［課題］として「本発明は、バイアス電圧を切り換えることなく、光電変換部に入射される入射光量に応じて、自動的に対数変換動作及び線形変換動作を切り換えることができる固体撮像装置を提供することを目的とする。」と、解決手段として、「信号φＶPSに、撮像時にＭＯＳトランジスタＴ１のソースに与える電圧ＶＨより低い電圧ＶＬとなるパルス信号を与えることによって、撮像開始時におけるＭＯＳトランジスタＴ１のゲート電圧をソース電圧より低い電圧とする。よって、撮像時において、被写体が所定の輝度値を超えるまでは、ＭＯＳトランジスタＴ１がカットオフ状態となるので、線形変換された電気信号が出力され、又、被写体が所定の輝度値を超えたとき、ＭＯＳトランジスタＴ１がサブスレッショルド領域で動作するので、対数変換された電気信号が出力される。」と記載されている。

特願２００２−２７９２５６号公報 特開２００２− ７７７３３号公報

高速露光画像と低速露光画像の二枚の画像を合成することで白飛びや黒潰れの少ない画像を得る事の可能なワイドダイナミックレンジ処理（以後、WDR=Wide Dynamic Range処理）を行う画像信号処理装置において、適正なWDR処理画像を得るために、前記特許文献１では、「合成画像が生成されるたびに， 適正なダイナミックレンジの振分割合であるか否かを判断し， 適正でなければ振分割合
を補正する」ことにより画像からえられる検波データ等を取得解析しており、これらは検波データを用いたフィードバック制御である為に、特にWDRが求められる環境においては被写体によって白飛びや黒潰れの状態が多く、極端に白飛びをしている被写体から得られる検波データでは制御が最適となるまでの時間が必要となるってしまうという課題があった。

また前記特許文献２では対数（以後、非線形とする）変換動作と線形変換動作を切り替えるとあるが、非線形動作では線形動作時の画像と同等のノイズ量や、色再現に関する画質は得られず、線形動作時ではダイナミックレンジの広い画像は得られないという問題があった。

本発明は、線形および非線形の画像処理技術を使用する際に露光制御を高速に制御可能な画像信号処理装置を提供することを目的とする。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、線形および非線形の画像処理技術を使用する際に露光制御を高速に制御可能な画像信号処理装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における基本構成の一例を説明する図である。 撮像素子の詳細について説明する図である。 白飛びが発生している画像のヒストグラムの制御例を示す図である。 線形センサと非線形センサを併用した際の画像のヒストグラムの例を示す図である。 カラーフィルタの配列の一例を示す図である。 カラーフィルタの配列の一例を示す図である。 カラーフィルタの配列の一例を示す図である。

以下、本発明の実施形態を図面を用いて説明する。

実施例１のシステム構成について図１を用いて説明する。
図１は、本発明の実施例１における基本構成の一例を説明する図である。
撮像部１０１の詳細については図２で説明する。

撮像部１０１は、被写体からの入射光の光量を調整する絞り（図示せず）、該絞りを通った光を集めるためのレンズ（図示せず）、該レンズが集めた光を光電変換し画像信号として出力し、かつ、その入出力特性が線形である撮像素子と非線形である撮像素子で構成され、各撮像素子には電子シャッタ制御部（図示せず）及び利得制御部（図示せず）が備わっている。

画像入力部１０２は、撮像部１０１からの画像信号を入力して後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。なお、画像入力部１０２は、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号処理を含んでも良い。

線形センサ露光制御部１０３は、撮像部１０１の絞りや、撮像素子の電子シャッタ制御および、利得制御、画像入力部１０２の利得などの制御を行う。また、WDR画像を得るために時分割で線形センサに対して長時間露光と短時間露光の制御を行い、長時間露光画像と短時間露光画像を得る。

非線形センサ露光制御部１０４は、線形センサ露光制御部１０３が長時間露光と短時間露光を時分割で制御する為に撮像部１０１の絞りを制御する事で非線形センサに対する入射光の光量が変化する場合や、線形センサ露光制御部１０３が画像入力部１０２の利得などを制御する場合に、画像入力部１０２からの出力される非線形センサ画像信号の量を所定に保つように、撮像素子の電子シャッタや利得、あるいはその両方の制御を行う。

信号レベル検出部１０５は、画像入力部１０２からの線形センサと非線形センサからの画像信号の信号レベルを検出する。信号レベル検出部１０５にて検出する数値は、例えば、入力した画素信号の絶対値である。また、例えば、入力した画素信号のヒストグラム分布、最大値最小値、平均値など、画像領域の信号の輝度分布状態を示す情報となる数値である。以上の情報を検出すれば、画素信号を得た際の入射光の光量を推定することができる。

画質制御部１０６は、信号レベル検出部１０５からの長時間露光画像信号および短時間露光画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの、画像信号処理を行う。

画像合成部１０７は画質制御部からの長時間露光画像信号および短時間露光画像信号からWDR画像を合成する
画像出力部１０８は、画像合成部１０７からの画像信号に所定の処理を行い出力する。

所定の処理とは、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理であり、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、画像出力部１１０は、信号レベル調整のための利得制御や、フィルタ処理、エンコードによる圧縮処理など、所定の画像信号処理を含む構成であっても良い。

次に撮像部１０１の一部である撮像素子の詳細について図２で説明する。
図２で示すカラーフィルタの配列は一般的ベイヤ配列と呼ばれているRGB各カラーフィルタに対して、R、G、Bフィルタを配置している撮像素子は線形撮像素子を用いており、例えばGフィルタの半数にあたる箇所を非線形撮像素子としている。

また、前記線形センサ露光制御部１０３は、図２のR,G,Bフィルタが配置されている線形画素に対する電子シャッタ及び、利得制御を行う。前記非線形センサ露光制御部１０４は、図２の非線形画素（Lの画素）に対する電子シャッタ及び利得制御を行う事で、画像入力部１０２からの出力される線形画素と非線形画素の信号の量を個別に制御が可能となる。

次に本実施例によって解決されるWDR制御について説明する。まず初めにWDR制御とは高速露光画像と低速露光画像の二枚の画像を合成することで白飛びや黒潰れの少ない画像を得る事の可能な制御であるが、先に課題で述べたとおり、適正なWDR処理画像を得るためには、画像からえられる検波データを取得解析し、合成画像に占める輝度領域に応じて，合成画像を圧縮し，映像信号として出力する出力画像のダイナミックレンジの動的な割当てを行っている。この動的な割り当てを行う為に必要な高速露光画像と低速露光画像の取得には、高速露光画像に対しては白飛びを抑えるようにシャッタ制御や、絞り制御、ゲイン制御を行い、また低速露光画像に対して黒つぶれを抑えるように同様の制御行っている。

しかし従来の線形センサでは、ダイナミックレンジが狭い為にこれらの各画像に白飛びや黒つぶれが発生している際、特に白飛びに関してはセンサで取得したデータが飽和している場合は一回の制御で最適画像となる制御量が求めることが出来ないために、検波データ取得と解析と制御を繰り返し実施することが必要となる為に、制御が最適となるまでの時間が必要となるってしまっていた。

そこで本実施例においては、従来WDR制御のように白飛びや黒潰れした映像から、最適な長時間露光制御と短時間露光制御になるまで繰り返し制御を行うのではなく、線形センサと非線形センサを併用し、非線形センサによって常時取得可能な白飛びや黒潰れのない検波データから得られるヒストグラムや輝度データを解析する事によって、線形撮像素子による撮像データが白飛びや黒つぶれせずに取得できるシャッタ制御値、絞り制御値、ゲイン制御値を求める事が可能となる。

その制御の違いを図３と図４を用いて説明する。
図３に従来WDRによる白飛びが発生している画像のヒストグラムの制御例を示す。図３（ａ）はセンサの飽和レベルa以上の信号が存在している状態を表している。図３（ａ）はWDR制御によって飽和レベルa以上の信号は存在しないが、最適信号レベルb以下にはなっていない状態。図３（ｂ）は最適信号レベルになった状態である。

従来WDR制御では、白飛びしている信号がその程度の輝度レベルにあるかが、センサの信号が飽和してしまっているために判断が出来ないため、図３（ａ）の状態から図３（ｂ）の状態になるまでの制御量が求めることができない。そのため、図３（ｄ）のフローチャートに示すように信号が飽和している場合の制御量は、適当な一定制御量を繰り返し行い徐々に制御値を変えて制御する方法しかできない。仮に制御量を大きくすれば、最適露光状態を超えて制御をかけすぎてしまう可能性があり、また制御量を小さくすれば制御に時間がかかってしまう。

そこで図４に線形センサと非線形センサを併用した際の画像のヒストグラムの例を示す。

図４（ａ）は図3と同様の被写体を撮影していると仮定しセンサの飽和レベルa以上の信号が存在している状態を表している。図４（ｂ）は図４（ａ）と同じタイミングで非線形センサにより撮影されたヒストグラムの例である。図４（ａ）では飽和レベル以上の信号となってしまっている信号が、非線形センサでは図４（ｂ）で示すように最適信号レベルのヒストグラムとして取得することが可能となる様子を示している。また線形センサと非線形センサの信号レベルの相関関係はセンサの入出力特性や、各素子のゲイン量などから決まるので非線形センサで取得したヒストグラムの図４（ｂ）の明るさcに割りあたっている信号レベルを線形センサの図４（ｃ）の最適信号レベルbに制御するための制御量は求めることが可能となる。

そのため、従来の線形センサのように適当な制御値になるように徐々に制御量を変えていく必要がなく、短時間の制御によって線形センサの最適露光状態に制御することが可能である。

しかし入力特性が線形である撮像部に対する長時間露光と短時間露光制御を行っている為に両センサで共通に使用されているメカニカルシャッタや絞りが変化することで入出力特性が非線形である撮像部への入力信号も同じく変動してしまう。

しかしメカシャッタや絞り制御などにより線形撮像素子の入力信号が変動する場合でも、非線形撮像素子で撮像した信号から線形撮像素子の制御量を求めることはメカシャッタの制御量や、絞り量を考慮する事で可能である
あるいはシャッタの制御量や、絞りの制御量を非線形撮像素子の電子シャッタ制御やゲイン制御等を用いて相殺するように制御する事で、非線形撮像素子の信号量がシャッタや絞りゲイン制御が固定の状態と同等の状態とする事が可能である。

すなわち非線形撮像部の電子シャッタやゲインを、線形撮像部による露出制御を打ち消すように制御することで非線形の撮像部への入力信号をある一定の信号量になるようにする事が可能であり、このように制御する事により非線形撮像素子が常に一定の制御量で動作しているとみなすことができ、非線形素子が取得するヒストグラム等の検出結果より線形素子の制御量を簡単に求めることが可能となる。

このように制御する事で非線形撮像素子のダイナミックレンジが広い特性より得られる白飛びや黒潰れの状態がない画像からの検波データを線形撮像素子の制御に用いる事が可能となる。

また短時間露光制御についても同様で、線形撮像素子では黒潰れが発生していた被写体に対して制御時間を必要とせず最適な長時間露光制御量を求める事が可能となる。

また、カラーフィルタの配列については図２で示すカラーフィルタの配列以外に、非線形撮像素子とするGフィルタの位置を図５のパターンとしてもよく、また非線形撮像素子の解像度重視のパターンである図６や、Gフィルタ色再現重視のパターンである図７などとしてもよい。

１０１…撮像部、１０２…画像入力部、１０３…線形センサ露光制御部、１０４・・・非線形センサ露光制御部、１０５…信号レベル検出部、１０６…画質制御部、１０７.・・・画像合成部、１０８…画像出力部、２０１…R:線形画素及びRフィルタ、２０２・・・G:線形画素および、Gフィルタ。２０３・・・B:線形画素及び、Bフィルタ、２０４・・・L:非線形画素

Claims (2)

1. 光電変換特性が非線形である第１の撮像素子と
   光電変換特性が線形である第２の撮像素子と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号レベルを検出する信号レベル検出手段と、
   高速露光信号と低速露光信号を合成する画像信号合成手段と
   光電変換特性が非線形である撮像素子の第１の露光制御手段と、
   光電変換特性が線形である撮像素子の第２の露光制御手段と、
   を具備し、
   前記第２の露光制御手段は、前記光電変換特性が非線形である撮像素子の信号レベル検出手段によって得られた検波結果に応じて、光電変換特性が線形である撮像素子による長時間露光制御と短時間露光制御を制御する事を特徴とする画像信号処理装置。
2. 請求項１において、光電変換特性が非線形である撮像素子に対する検波結果が、光電変換特性が線形である撮像素子に対する露光制御量を打ち消すように、光電変換特性が非線形である撮像素子の第１の露光制御手段が制御することを特徴とする画像信号処理装置。

Images