WO2004071077A1

WO2004071077A1 - 画像処理装置、画像処理プログラムおよび当該プログラムを記録した記録媒体

Info

Publication number: WO2004071077A1
Application number: PCT/JP2004/001226
Authority: WO
Inventors: Kazunori Sumiya; Manabu Yata; Tarou Hizume; Makoto Sube
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-02-05
Filing date: 2004-02-05
Publication date: 2004-08-19
Also published as: EP1592235A1; JP4272443B2; EP1592235A4; CN1748409A; JP2004266347A; CN100355271C; US20060177148A1; EP1592235B1

Abstract

　本発明は、露光時間の異なる複数の画像信号を入力する画像信号入力部１１と、複数の画像信号のレベル変換係数を演算する第１及び第２レベル変換係数演算部１２、１３と、複数の画像信号の重み付け係数を演算する重み付け係数演算部１４と、複数の画像信号にそれぞれのレベル変換係数と重み付け係数とを積算したもの同士を加算する加算部１７とを備えた構成を有することにより、広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置を提供する。

Description

明細書画像処理装置、画像処理プログラムおよび当該プログラムを記録した記録媒体技術分野

本発明は、ディジタルの画像処理装置に関し、特に、ダイナミックレンジの広い画像を得ることができる画像処理装置おょぴそのプログラムおよびその記録媒体に関する。背景技術

従来の画像処理装置には、広いダイナミックレンジの画像を得ることができるものもある。この種の画像処理装置には、例えば、特開平 6— 1 4 1 2 2 9 号公報に開示されているものがあった。

図 9に、従来の画像処理装置の構成図を示す。図 9に示すように、従来の画像処理装置は、撮像素子 1と、メモリ 2と、積算部 3と、第 1及び第 2 レベル重み付け処理部 4、 5と、加算部 6と、速度変換部 7と、レベル圧縮部 8とから構成されている。撮像素子 1は、被写体を撮像する。被写体が撮像素子 1により短い露光時間と長い露光時間で撮像され、 1フィールドごとに露光時間の短い画像信号と露光時間の長い画像信号とが撮像素子 1から順次出力される。露光時間の短い画像信号と露光時間の長い画像信号との両方の画像信号は所定の処理後に合成されて画像信号となるもので、露光時間の短い画像信号はメモリ 2に出力され、露光時間の長い画像信号は第 1重み付け処理部 4に出力される。露光時間の短い画像信号はメモリ 2に蓄積され、タイミング制御部 9により撮像素子 1から出力される露光時間の長い画像信号とタイミングが合わされ、積算部 3で短い露光時間と長い露光時間との露光時間の比が積算され第 2 レべル重み付け処理部 5に出力される。第 2 レベル重み付け処理部 5は、積算部 3 よりの露光時間の短い画像信号に、その画像信号の信号レベルに合わせて重み付け係数を積算する。一方、第 1 レベル重み付け処理部 4は、撮像素子 1から出力される露光時間の長い画像信号にその画像信号の信号レベルに合わせて重み付け係数を積算する。第 1 レベル重み付け処理部 4と第 2 レベル重み付け処理部 5により重み付けされた露光時間の短い画像信号と露光時間の長い画像信号とは、加算部 6にて加算される。露光時間の短い画像信号と露光時間の長い画像信号の読出しのために撮像素子 1で通常の読出し速度よりも速い読出しを行っているため、加算部 6により加算された画像信号は、加算速度変換部 7でモニタなどの出力に係る構成要素の処理速度に合わせて画像信号速度が変換され、レベル圧縮部 8では出力に係る構成要素のダイナミックレンジに合わせて画像信号の信号レベルの高い部分が圧縮され、モニタなどに出力される。

従って、従来の画像処理装置は、被写体の暗い部分では露光時間の長い画像信号を使用し、被写体の明るい部分では露光時間の短い信号を使用し、画像信号の信号レベルの高い部分は非線形圧縮により圧縮され、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジの画像を得ている。

しかしながら、従来の画像処理装置は、上記したごとく露光時間の短い画像信号に露光時間の比を積算して露光時間の長い画像信号に信号レベルを合わせ画像信号の処理を行っているため、処理が複雑で画像信号のビット数が増加し、それに伴い回路規模が増大してしまうという問題があった。

また、画像信号に対する演算回数が多く、処理遅延の増加や、演算誤差の累積により微小な画像情報が欠落するという問題もあつた。

さらに、カラー画像信号の場合には、画像信号を輝度信号と色差信号に分け、輝度信号で非線形変化の変化率で色差信号を制御しているため、輝度信号の変化率を求める演算が必要であり、さらに回路規模が増大するという問題があつた。

本発明は、このような従来の問題を解決するためになされたもので、広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置およびそのプログラムおよぴその記録媒体を提供するものである。発明の開示

本発明の画像処理装置は、露光時間の異なる複数の画像信号を入力する画像信号入力部と、前記複数の画像信号のレベル変換係数を演算するレベル変換係数演算部と、前記複数の画像信号の重み付け係数を演算する重み付け係数演算部と、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する加算部とを備えた構成を有している。

この構成により、レベル変換係数を用いることで画像信号に対する演算回数を減らし、喑ぃ部分の黒つぶれや明るい部分の白飛ぴのない、広いダイナミツクレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。

また、本発明の画像処理装置は、前記レベル変換係数演算部が、前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記複数の画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行う構成を有している。

この構成により、画像信号に対する演算回数を減らし、回路規模が増大することなく的確に簡潔構成とすることができる。

また、本発明の画像処理装置は、前記複数の画像信号からそれぞれ高周波成分を取り出す高周波成分取出部と、前記高周波成分に応じた特性の高周波レべル変換係数を演算する高周波レベル変換係数演算部とを備え、前記加算部は、前記高周波成分に前記高周波レベル変換係数を積算したものを前記レベル変換係数が積算された前記画像信号に加算して、前記重み付け係数を積算する構成を有している。

この構成により、画像の高周波成分を活かしてメリハリを利かせて暗い部分から明るい部分まで広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができる。

また、本発明の画像処理装置は、前記画像信号が複数の色成分信号からなるカラー画像信号のとき、複数の前記カラー画像信号から代表値をそれぞれ算出する代表値算出部を備え、前記代表値から前記レベル変換係数と前記重み付け係数を算出する構成を有している。

この構成により、各色信号成分に対して同一のレベル変換係数を用い、色相の変化のない、暗い部分から明るい部分まで広いダイナミックレンジで良質のカラーを回路規模が増大することなく簡潔に得ることができる。

また、本発明の画像処理装置は、前記画像信号入力部が、予め定めた露光時間の画像信号を蓄積し、前記蓄積した画像信号同士のタイミングを合わせて合成し、合成した画像信号を出力する撮像装置からの画像信号を入力する構成を有している。

この構成により、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダィナミックレンジで良質の画像を容易に得ることができる。

また、本発明の画像処理装置のプログラムは、露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する手順を有している。

このプログラムにより、マイク口プロセッサゃデジタノレシグナノレプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。また、本発明の画像処理装置のプログラムは、前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行う手順を有している。このプログラムにより、画像信号に対する演算回数を減らし、回路規模が增大することなく容易に簡潔にすることができる。

また、本発明の画像処理装置のプログラムは、前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算する手順を有している。

このプログラムにより、的確なレベル変換係数を容易に得ることができる。また、本発明の画像処理装置の記録媒体は、露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算するプログラムを記録する。

このプログラムの記録媒体により、マイク口プロセッサやデジタルシグナルプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。

また、本発明の画像処理装置の記録媒体は、前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行うプログラムを記録する。

このプログラムの記録媒体により、画像信号に対する演算回数を減らし、容易に画像信号の信号レベルを合わせるレベル合わせと信号レベルの高い部分の圧縮を同時に実現できる。

さらに、本発明の画像処理装置の記録媒体は、前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算するプログラムを記録する。

このプログラムの記録媒体により、的確なレベル変換係数を容易に得ることができる。図面の簡単な説明

本発明に係る画像処理装置、画像処理プログラムの特徴および長所は、以下の図面と共に、後述される記載から明らかになる。

第 1図は、本発明の第 1の実施の形態の画像処理装置のプロック図である。第 2図は、被写体輝度に対する画像信号のグラフの図である。

第 3図は、露光時間の長い画像の画像信号（ロング画像信号）と露光時間の短い画像の画像信号（ショート画像信号）とに対するレベル圧縮関数とレベル変換係数の特性データのグラフの図である。

第 4図は、画像信号に図 3に示した変換係数を積算したときの特性のグラフの図である。第 5図は、図 1に示す重み付け係数演算部で演算される重み付け係数を示す図である。

第 6図は、本発明の第 2の実施の形態の画像処理装置のブロック図である。第 7図は、本発明の第 3の実施の形態の画像処理装置のプロック図である。第 8図は、本発明の実施の形態の画像処理装置に用いられる撮像装置のプロック図である。

第 9図は、従来の画像処理装置の構成図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を用いて説明する。

図 1は、本発明の第 1の実施の形態の画像処理装置のプロック図を示す。図 1に示すように、本発明の第 1の実施の形態の画像処理装置は、露光時間の長い画像の画像信号（以下、ロング画像信号と称する）と露光時間の短い画像の画像信号（以下、ショート画像信号と称する）とを入力する画像信号入力部 1 1と、ロング画像信号の信号レベルの変換と信号レベルの高い部分の非線形圧縮を同時に行うレベル係数を演算する第 1 レベル変換係数演算部 1 2と、ショート画像信号の信号レベルの変換と信号レベルの高い部分の非線形圧縮を同時に行うレベル係数を演算する第 2 レベル変換係数演算部 1 3と、ロング画像信号とショート画像信号の重み付け加算に用いる重み付け係数を演算する重み付け係数演算部 1 4と、重み付け係数演算部 1 4の出力とロング画像信号の第 1 レベル変換係数演算部 1 2の出力とを積算する積算部 1 5 aと、重み付け係数演算部 1 4の出力とショート画像信号の第 2 レベル変換係数演算部 1 3の出力とを積算する積算部 1 5 bと、積算部 1 5 aの出力と画像信号入力部 1 1 よりのロング画像信号とを積算する積算部 1 6 aと、積算部 1 5 bの出力と画像信号入力部 1 1 よりのショート画像信号とを積算する積算部 1 6 bと、積算部 1 6 aの出力と積算部 1 6 bの出力とを合成するため加算する加算部 1 7から構成されている。

次に、本発明の第 1の実施の形態の画像処理装置の動作につき説明する。画像信号入力部 1 1は、露光時間の異なる同じ被写体の複数の画像の画像信号が同時に処理されるように同時化された画像信号を入力する。画像信号入力部 1 1よりの複数の画像信号のうちのロング画像信号は、ロング画像信号の第 1 レベル変換係数演算部 1 2に入力され、ロング画像信号に積算するためのレベル変換係数が演算される。同様に、ショート画像信号もショート画像信号の第 2 レベル変換係数演算部 1 3に入力され、ショート画像信号に積算するためのレベル変換係数が演算される。このロングとショートの画像信号のレベル変換係数の演算方法については後述することとする。

重み付け係数演算部 1 4では、ロング画像信号の信号レベルを元にロング画像信号とショート画像信号の重み付け加算に用いる重み付け係数をそれぞれ演算する。この重み付け係数の演算方法については後述することとする。

第 1 レベル変換係数演算部 1 2で演算されたロング画像信号のレベル変換係数と、重み付け係数演算部 1 4で演算された重み付け係数とは積算部 1 5 aで積算された後、画像信号入力部 1 1 よりのロング画像信号に積算部 1 6 aで積算され、レベル変換係数による画像信号の信号レベルのレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたロング画像信号となる。同じく、第 2 レベル変換係数演算部 1 3で演算されたショート画像信号のレベル変換係数と、重み付け係数演算部 1 4で演算された重み付け係数とは積算部 1 5 で積算された後、画像信号入力部 1 1よりのショート画像信号に積算部 1 6 bで積算され、レベル変換係数による画像信号の信号レベルのレベル合わせとレべル圧縮と、重み付け係数により重み付けがされたショート画像信号となる。加算部 1 7では、積算部 1 6 a、 1 6 bより出力された重み付がされたロング画像信号とショート画像信号を加算し、画像信号をモニタなどに出力する。続いて、ロング画像信号とショート画像信号のレベル変換係数の演算方法について説明する。

図 2は、被写体輝度に対する画像信号のグラフを示し、横軸は被写体輝度、縦軸は画像信号の信号レベルを示している。

図 2に示すように、ロング画像信号 2 1は、被写体輝度が高い部分では飽和レベル 2 3で飽和しており、ショート画像信号 2 2は、口ング画像信号 2 1に対して露光時間比の分だけ傾きが小さいことが分かる。つまり、被写体輝度が高い被写体の明るい部分の口ング画像信号 2 1の画像は白く飛んだ画像となり、被写体輝度が低い被写体の暗い部分のショート画像信号 2 2の画像は暗くてはつきりしない画像となることが分かる。

そこで、本発明の第 1の実施の形態の画像処理装置は、明るい部分から暗い部分まで良質の画質を得るために、ロング画像信号 2 1とショート画像信号 2 2の両方の画像信号を被写体の明るさに応じて合成する。ロング画像信号 2 1 とショート画像信号 2 2とを合成するために画像信号の信号レベルの合わせを行うが、レベル合わせのためにショート画像信号 2 2を露光時間比倍した画像信号 2 4は、画像信号 2 4のレンジが大きくなるためビット数が増加したものとなり、画像信号の例えばモニタなどの出力先のビット数は限られているため、所定のビット数に収める処理が必要となる。

そこで、画像信号の信号レベルの高い部分を非線形に圧縮するレベル圧縮を行い、画像信号のビット数の圧縮を行う。

図 3は、ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフを示す。

図 3の（a ) は、ロング画像信号に対するレベル圧縮関数の特性データのグラフを示す。

ロング画像信号のレベル圧縮関数 3 1を Fロング（X ) とすると、この F口ング（X ) の算出値 Yは、（式 1 ) として表すことができる。

Y = Fロング（X ) (式 1 )

X ：入力画像信号

レベル圧縮関数 3 1は、ロング画像信号の信号レベルの低い部分をブーストし、ロング画像信号の信号レベルの高い部分は抑圧するような特性を自由に設定可能であり、これにより、画像信号の信号レベルの低い部分つまり画像の暗い部分は強調されて見やすくなり、信号レベルの高い部分は信号飽和レベル以下に圧縮される。また、被写体や用途に合わせて、レベル圧縮関数の特性を s字状にすることで、中間レベルの信号をより見やすくすることも可能であり、被写体の状態に合わせてマイコンなどで適応的にレベル圧縮関数 3 1の特性を制御することが可能であり、良好の画質とすることができる。

図 3の（b) は、ロング画像信号に対するレベル変換係数の特性データのグラフを示す。

レベル変換係数 32を Aロング（X) とすると、 Aロング（X) は、レベル圧縮関数 31のロング（X) に対して（式 2) として表すことができる。

Aロング (X) =Fロング (X) /X (式 2)

(式 3) に表すように、ロング画像信号にレベル変換係数 32を積算すると、レベル圧縮関数 31を用いたときと同じ結果を得ることができる。

Aロング (X) * X = Fロング (X) /X*X = Y (式 3)

つまり、ロング画像信号にレベル変換係数 32を積算することで、信号の信号レベルの高い部分の圧縮を行うことができる。

図 3の（c) は、ショート画像信号に対するレベル圧縮関数の特性データのグラフを示す。

ロング画像信号の場合と同様に、ショート画像信号のレベル圧縮関数 33を Fショート（X) とすると、この Fショート（X) の算出値 Υは、（式 4) として表すことができる。

Y = Fショート（X) (式 4)

ここで、 Fショート（X) は、（式 5) を用いることで、レベル圧縮と同時に口ング画像信号とショート画像信号の信号レベルを合わせるレベル合わせを行うことができる。

Fショート（X) =Fロング（X*N) (式 5)

N：露光時間の比率

図 3の（d) は、ショート画像信号に対するレベル変換係数の特性データのグラフを示す。

口ング画像信号の場合と同様に、ショート画像信号のレベル変換係数 34は、レベル圧縮関数 3 3の Fショート（X ) 'に対して（式 6 ) として表すことができる。 '

Aショート（X) = Fショート（X) / X (式 6 )

(式 7 ) に示すように、ショート画像信号にレベル変換係数 3 4を積算すると、レベル圧縮関数 3 3を用いた時と同じ結果を得ることができる。

Aショート（X ) * X = Fショート（X ) ZX * X = Y (式 7 ) つまり、ショート画像信号にレベル変換係数 3 4を積算することで、レベル圧縮と同時にロング画像信号とショート画像信号の信号レベルを合わせるレべル合わせを行うことができる。なお、ロング画像信号とショート画像信号の信号レベルは必ずしも厳密に一致させる必要はない。

なお、図 3の（b ) と図 3の（d ) とに示したレベル変換係数 3 2、 3 4は予めマイコンなどで計算し、テーブルとしてメモリなどに記録しておき、入力画像信号の信号レベルでテーブルを参照することで、対応するレベル変換係数 3 2、 3 4を得ることができる。

また、図 3の（b ) と図 3 ( d ) とに示したレベル変換係数 3 2、 3 4の代表点を選ぴ、代表点のみをテーブルとしてメモリなどに記録しておき、代表点の間は線形補間などで補完することも可能であり、この方法はメモリ削減の点でも好ましいものとなる。

図 4は、画像信号に図 3に示した変換係数を積算したときの特性のグラフを示し、横軸はレベル変換前の入力画像信号であり、縦軸はレベル変換後の出力画像信号である。ロング画像信号 4 1とショート画像信号 4 2ともに、入力信号のうち信号レベルの低い部分は出力がブーストされており、入力信号のうち信号レベルの高い部分は出力が抑圧されている。また、ロング画像信号 4 1とショート画像信号 4 2は、互いに入力が信号レベルの低い部分で一致していることが分かる。

さらに、画像信号の重み付け係数の演算方法について説明する。

図 5は、図 1に示す重み付け係数演算部 1 4で演算される重み付け係数を示す。重み付け係数演算部 1 4では、ロング画像信号の入力レベルに応じてロング画像信号の重み付け係数 5 1とショート画像信号の重み付け係数 5 2を定める _c 入力レベルが低い部分ではロング画像信号の重み付け係数 5 1を大きく、入力レベルが大きい部分ではショート画像信号の重み付け数 5 2を大きくする。これにより、被写体の暗い部分でノイズによる画質劣化の少ないロング画像信号を使用し、明るい部分では飽和していないショート画像信号を使用することで、良質の画質を得ることができる。

また、ロング画像信号の重み付け係数 5 1とショート画像信号の重み付け係数 5 2の和を常に 1に保ちつつ、信号レベルに従ってロング画像信号の重み付け係数 5 1とショート画像信号の重み付け係数 5 2を変化させることで、重み付け係数を積算した画像信号を加算したときにレベル変動がなく、複数の画像信号を信号レベルに従つた比率で滑らかに合成することができる。

さらに、画像信号乗り換え開始レベル 5 3と、画像信号乗り換えの傾き 5 4 は可変とすることで、様々な条件の画像に対応することができる。

なお、本発明の第 1の実施の形態の画像処理装置は、ロング画像信号とショ一ト画像信号とをそれぞれ別々に処理することとしたが、口ング画像信号とショート画像信号とで行われる処理はレベル変換係数の値を除いて同じであるため、処理に係る構成要素を 1つにして、画像信号を 2倍速化してロング画像信号とショート画像信号を時分割信号としてレベル変換係数の値のみを切替えるようにし、重み付け係数演算部 1 4にはロング画像信号のみが入力されるようスイッチングし、加算部 1 7にて画像信号同士を加算処理する部分で速度変換を行うこともでき、回路規模の点から好ましいものとすることができる。

また、本発明の第 1の実施の形態の画像処理装置は、露光時間の異なる 2つの画像信号につき説明したが、 3つ以上の異なる露光時間の画像信号を用いても同様の処理を行うことができ、以下の実施の形態の画像処理装置でも同様である。

以上のように、本発明の第 1の実施の形態の画像処理装置は、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数による重み付けにより、画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに、レベル変換係数と重み付け係数を積算することで画像信号に対する演算回数が少なく、処理遅延や、演算誤差 5 の累積による微小な画像情報の欠落を低減することができる。

また、レベル変換係数を用いることで画像信号の信号レベルのレベル合わせと信号レベルの高い部分のレベル圧縮とを同時に行うことができ、画像信号のレベル合わせの積算によるビット数增加に伴う回路規模の増大を容易に避けることができる。

L0 図 6は、本発明の第 2の実施の形態の画像処理装置のブロック図を示す。

図 6に示すように、本発明の第 2の実施の形態の画像処理装置は、画像信号の高周波を取り出す高周波成分取出部である H P F (ハイパスフィルタ) 6 5 a、 6 5 bと、ショート画像信号の高周波成分の信号レベルを変換する高周波レベル変換係数を演算する第 1高周波レベル変換係数演算部 6 6と、ロング画 15 像信号の高周波成分の信号レベルを変換する高周波レベル変換係数を演算する第 2高周波レベル変換係数演算部 6 7とを本発明の第 1の実施の形態の画像処理装置に追加した構成となっている。

以下、本発明の第 1の実施の形態の画像処理装置との相違点につき説明する。 H P F 6 5 aでは、入力されたロング画像信号の高周波成分を抽出し、 H P ϊθ F 6 5 bでは、入力されたショート画像信号の高周波成分を抽出する。第 1高周波レベル圧縮係数演算部 6 6はショート画像信号の高周波成分を入力として, 高周波レベル変換係数を求める。ここで、予め演算しておく高周波レベル変換係数のテーブルは、ショート画像信号のレベル変換係数と異なった、高周波成分に適した特性、例えば信号レベルの高い部分の圧縮をあまり行わないような 55 特性を持たせておくことで、後に全ての画像信号を加算したときに高周波成分が残り、メリハリのある画像を得ることができる。

第 2高周波レベル圧縮係数演算部 6 7も同様にロング画像信号の高周波成分を入力として、高周波レベル変換係数を求め、レベル変換係数にはロング画像信号のレベル変換係数とは異なった高周波成分に適した特性、例えば信号レべルの高い部分の圧縮をあまり行わないような特性を持たせておく。

加算部 7 0 aは、積算部 6 8 aで第 1 レベル変換係数演算部 6 2よりのレべル変換係数が積算された画像信号入力部 6 1 よりのロング画像信号と、積算部 6 9 aで第 2高周波レベル変換係数演算部 6 7よりの高周波レベル変換係数が積算された H P F 6 5 a よりの高周波成分のロング画像信号とを加算して合成する。

同様に、加算部 7 0 bは、積算部 6 8 bで第 2 レベル変換係数演算部 6 3よりのレベル変換係数が積算された画像信号入力部 6 1よりのショート画像信号と、積算部 6 9 bで第 1高周波レベル変換係数演算部 6 6よりの高周波レベル変換係数が積算された H P F 6 5 bよりの高周波成分のショート画像信号とを加算して合成する。

加算部 7 2は、加算部 7 0 aよりの合成されたロング画像信号に積算部 7 1 aで重み付けがされたロング画像信号と、加算部 7 0 bよりの合成されたショート画像信号に積算部 7 1 bで重み付けがされたショート画像信号とを加算する。加算部 7 2で加算された画像信号はモニタなどに出力され画像表示が行われる。

以上のように、本発明の第 2の実施の形態の画像処理装置は、画像信号の高周波成分を取り出し、高周波成分に適した特性の高周波レベル変換係数を積算することで、従来のように画像信号の信号レベルのレベル合わせによるビット数増加に伴う回路規模の増加なしに、画像信号の高周波成分によるメリハリの利いた広いダイナミックレンジの良質の画像を得ることができる。

図 7は、本発明の第 3の実施の形態の画像処理装置のプロック図を示す。本発明の第 3の実施の形態の画像処理装置は、カラー画像の処理を行うもので、図 7に示すように、ロング画像信号の代表値を算出する第 1代表値算出部 8 2 aと、ショート画像信号の代表値を算出する第 2代表値算出部 8 2 bとを本発明の第 1の実施の形態の画像処理装置に追加した構成となっている。

以下、本発明の第 1の実施の形態の画像処理装置との相違点につき説明する。カラー画像を扱う場合、画像データはレッド（R )、グリーン（G )、ブルー ( B ) の原色信号か、シアン（C y；)、マゼンダ（M g )、イェロー（Y e )、グリーン（G ) の補色信号として入力されることが一般的である。各色成分の画像信号はそれぞれ画像信号の信号レベルが異なるため、第 1の実施の形態をそのまま実施した場合、非線形変換によってそれぞれの色成分の画像信号の比率が変わってしまい、色相が変化してしまうことがある。

本発明の第 3の実施の形態の画像処理装置は、第 1及び第 2代表値算出部 8 2 a、 8 2 bが各色成分の画像信号から代表値を算出する。算出される代表値としては、捕色信号においては輝度値となる平均値や、最大値などがある。原色データの画像信号の場合には、輝度値を、一般的な（式 8 ) により算出し、代表値とすることができる。

輝度値 = 0 . 3 * R + 0 . 6 * G + 0 . 1 * B (式 8 )

第 1及び第 2代表値算出部 8 2 a、 8 2 bにて算出された、ロング画像信号とショート画像信号の各々の代表値を入力としてロング画像信号の信号レベルを変換するレベル変換係数を演算する第 1 レベル変換係数演算部 8 3とショート画像信号の信号レベルを変換するレベル変換係数を演算する第 2レベル変換係数演算部 8 4でそれぞれレベル変換係数を求める。また、重み付け係数演算部 8 5への入力も、第 1代表値算出部 8 2 aにて算出されたロング画像信号の代表値とする。以降、本発明の第 1の実施の形態の画像処理装置と同様に、元の各々の色成分の画像信号にレベル変換係数と重み付け係数が積算されたもの同士が加算される。

以上のように、本発明の第 3の実施の形態の画像処理装置は、入力された色成分の各画像信号に、代表値により求められた同じ係数が積算されるため、各色成分の比率が変化することはなく、画像信号の信号レベルのレベル合わせによるビット数増加に伴う回路規模の増加や、画像信号の変化率を得るための割り算処理なしに、色相の変化のない広いダイナミックレンジの良質のカラー画像を得ることができる。

図 8は、本発明の実施の形態の画像処理装置に用いられる撮像装置のプロック図を示す。

本発明の実施の形態の画像処理装置に用いられる撮像装置は、撮像素子 9 1 と、撮像素子 9 1よりのアナログ画像信号の画像処理を行うアナログ処理部 9 2と、アナログ画像信号をディジタル画像信号に変換する A D変換部 9 3と、ディジタル画像信号の画像処理を行う画像信号処理ュニット 9 4から構成されている。画像信号処理ユニット 9 4は、画像信号の同時化を行うためのタイミング制御部 9 5と、メモリ 9 6と、ロング画像信号とショート画像信号を合成する画像信号合成部 9 7と、画像処理部 9 8から構成されている。

撮像素子 9 1は固体撮像素子（C C Dや C M O S ) のセンサで構成され、光を電気信号に変換する。画像信号はアナログ処理部 9 2で、相関 2重サンプリング（C D S ) や自動振幅制御（A G C ) といった処理を行った後、 A D変換部 9 3にてディジタル化され、画像信号処理部ュニット 9 4に入力する。

タイミング制御部 9 5は、メモリ 9 6を使用して画像信号をー且記録し、口ング画像信号とショート画像信号との同じ被写体の画像信号が同時処理されるように両者のタイミングを合わせ、ロング画像信号とショート画像信号との合成を行い、その後画像処理部 9 8で合成した画像信号の画像信号処理を行って出力する。

また、露光時間の異なる複数の画像信号を得るために、撮像素子 9 1とアナログ処理部 9 2と A D変換部 9 3とを露光時間の異なる画像の個数倍の速度で動かし、画像データをタイミング制御部 9 5によりー且メモリ 9 6に記録しておき、他の画像信号とタイミングを合わせて読み出すことを行っている。

そのため、画面の単位で露光時間を切替える場合には、（式 9 ) のメモリ容量が必要となり、

メモリ容量 = 1画面全体分のデータ * (露光時間の異なる画像の個数一 1 )

(式 9 ) 行の単位で露光時間を切替える場合には、（式 1 0 ) のメモリ容量が必要となる。

メモリ容量 = 1ライン分のデータ * (露光時間の異なる画像の個数一 1 ) (式 1 0 ) また、撮像素子 9 1とアナログ処理部 9 2と A D変換部 9 3とを複数系列用意し、タイミング制御部 9 5とメモリ 9 6による画像信号の同時化が必要ない構成にすることもできる。

また、撮像に係る構成要素を複数にすることで撮像した複数の画像間に時間的なずれがない構成とすることもできる。

さらに、画像信号の周波数特性を変えずに画像信号の信号レベルを抑える光量制限フィルタ（以下、 N Dフィルタと称する）を撮像素子 9 1に巿松状またはストライプ状に配置することで、露光時間を変化させる方法と同様の明るさの異なる複数の画像を得ることもできる。この場合には、高輝度画像と低輝度画像の画素が N Dフィルタにより交互に出力されるため、時間的なずれを少なくでき、かつタイミング制御部 9 5による同時化も容易にすることができる。以上のように、上記した撮像装置を本発明の実施の形態の画像処理装置に用いることにより、明るさの異なる複数の画像を撮像し、それらを合成する構成により、暗い部分の黒つぶれや、明るい部分の白飛ぴのない、良質の画像を得ることのできる広いダイナミックレンジの画像を得ることができる。

なお、上記の実施の形態では、本発明に関する画像処理装置について説明したが各処理を手順として画像処理装置のプログラムとし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。

また、このプログラムを記憶する画像処理装置の記憶^体とし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。産業上の利用可能性

以上説明したように、本発明によれば、露光時間の異なる複数の画像信号を入力し、レベル変換と重み付けを同時に行う変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することができる。

Claims

請求の範囲

1 . 露光時間の異なる複数の画像信号を入力する画像信号入力部と、前記複数の画像信号のレベル変換係数を演算するレベル変換係数演算部と、前記複数の画像信号の重み付け係数を演算する重み付け係数演算部と、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する加算部とを備えたことを特徴とする画像処理装置。

2 . 前記レベル変換係数演算部は、前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記複数の画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行うことを特徴とする請求項 1に記載の画像処理装置。

3 . 前記複数の画像信号からそれぞれ高周波成分を取り出す高周波成分取出部と、前記高周波成分に応じた特性の高周波レベル変換係数を演算する高周波レベル変換係数演算部とを備え、前記加算部は、前記高周波成分に前記高周波レベル変換係数を積算したものを前記レベル変換係数が積算された前記画像信号に加算して、前記重み付け係数を積算することを特徴とする請求項 1または請求項 2に記載の画像処理装置。

4 . 前記画像信号が複数の色成分信号からなるカラー画像信号のとき、複数の前記カラー画像信号から代表値をそれぞれ算出する代表値算出部を備え、前記代表値から前記レベル変換係数と前記重み付け係数を算出することを特徴とする請求項 1から請求項 3の何れかに記載の画像処理装置。

5 . 前記画像信号入力部は、予め定めた露光時間の画像信号を蓄積し、前記蓄積した画像信号同士のタイミングを合わせて合成し、合成した画像信号を出力する撮像装置からの画像信号を入力することを特徴とする請求項 1から請求項 4の何れかに記載の画像処理装置。

6 . 露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレべル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算することを特徴とする画像処理装置のプログラム。

7 . 前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行うことを特徴とする請求項 6に記載の画像処理装置のプロダラム。

8 . 前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算することを特徴とする請求項 6に記載の画像処理装置のプログラム。

9 . 露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレべル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算するプログラムを記録することを特徴とする画像処理装置の記録媒体。

1 0·. 前記レベル変換係数により、前記複数の画像信号の信号レベルを合わせるレベル合わせと、前記画像信号の信号レベルの高い部分を圧縮するレベル圧縮とを同時に行うプログラムを記録することを特徴とする請求項 9に記載の画像処理装置の記録媒体。

1 1 . 前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算するプログラムを記録することを特徴とする請求項 9に記載の画像処理装置の記録媒体。