JP5208799B2 - 撮像システム、映像信号処理プログラム、および撮像方法 - Google Patents

Description

本発明は撮像システム、映像処理信号プログラム、および撮像方法に関するものである。

現在、デジタルスチルカメラやビデオカメラ等の撮像系の信号処理において、映像信号を階調変換するという処理がしばしば行われる。階調変換処理の一つの方法として、映像信号の輝度成分や色差成分により補正量を算出し、階調変換する方法がある。

例えば、特許文献１では、入力された映像信号から対象領域を検出し、対象領域と非対象領域のそれぞれにおいて、輝度成分や色差成分の頻度に基づいて補正テーブルを作成し階調変換を行うことで、対象領域と非対象領域のそれぞれを適切に階調変換することを可能としている。
特開２００７−１２４６０４号公報

しかしながら、上記の発明では、映像信号内に色差信号成分を含む暗い領域と色差信号成分をほとんど含まない黒い領域とがあった場合、撮像系の信号処理や暗部のノイズ等の影響により、黒い領域と暗い領域との色差成分に差が生じない可能性があるため、両領域において同様の階調補正が行われてしまう。そのため、黒い領域に対しては黒が浮いてしまいメリハリのない映像となってしまう。黒い領域とは、黒色を示す領域、さらには黒色に近い色を示す領域を含む領域である。また、暗い領域とは、本来黒色または黒色に近い色を示す領域とは異なる色を示す領域である。暗い領域は、例えば陰などにより暗くなり、本来の色を示していない領域である。

本発明はこのような課題に鑑みてなされたものであり、露出を変更した複数の映像信号の色差成分に基づいて暗い領域および黒い領域を区別して階調補正を行うことで、映像信号に対して最適な階調補正を行うことが可能な撮像システムを提供することを目的としている。

本発明のある態様は、映像信号を階調変換し、出力する撮像システムであって、映像信号を取得する撮像部と、映像信号を輝度信号と色差信号とに分離する分離部と、第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定する露出条件設定部と、第１の映像信号と第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定部と、階調変換曲線に基づいて、もう一方の映像信号の階調補正を行う階調補正部と、を備えることを特徴とする。

本発明の別の態様は、映像信号を階調変換する映像信号処理プログラムであって、コンピュータに、第１の露出条件により撮影された第１の映像信号を取得する第１の取得手順と、第１の露出条件とは異なる第２の露出条件により撮影された第２の映像信号を取得する第２の取得手順と、映像信号を輝度信号と色差信号とに分離する分離手順と、第１の映像信号と第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定手順と、階調変換曲線に基づいて、もう一方の映像信号の階調補正を行う階調補正手順と、を実行させることを特徴とする。

本発明のさらに別の態様は、映像信号を階調変換し、出力する撮像方法であって、映像信号を取得し、映像信号を輝度信号と色差信号とに分離し、第１の映像信号と第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定し、階調変換曲線に基づいて、もう一方の映像信号の階調補正を行う、ことを特徴とする。

これらの態様によれば、第１の映像信号と第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定することで、映像信号中の暗い領域と黒い領域とを正確に区別することができ、最適な階調変換を行うことができる。

本発明によると、階調変換を向上させることができる。

本発明の第１実施形態の構成について図１を用いて説明する。図１は、第１実施形態の撮像システムのブロック図である。

第１実施形態の撮像システムは、レンズ系１００と、絞り１０１と、カラーフィルタ１０２と、ＣＣＤ１０３（撮像部）と、ＡＥセンサ（光強度検出部）１０４と、Ａ／Ｄ１０５と、バッファ１０６と、露出制御部（露出条件設定部）１０７と、信号処理部１０８と、色差信号分離部（分離部）１０９と、補正係数算出部１１０と、補正部１１１と、圧縮部１１２と、出力部１１３と、制御部１１４と、外部Ｉ／Ｆ部１１５と、を備える。

露出制御部１０７は絞り１０１と、ＣＣＤ１０３と、ＡＥセンサ１０４と接続している。信号処理部１０８は色差信号分離部１０９と、補正係数算出部１１０と、補正部１１１と接続している。色差信号分離部１０９は、補正係数算出部１１０へ接続している。補正係数算出部１１０は補正部１１１へ接続している。補正部１１１は圧縮部１１２へ接続している。マイクロコンピュータなどの制御部１１４は露出制御部１０７と、信号処理部１０８と、色差信号分離部１０９と、補正係数算出部１１０と、補正部１１１および圧縮部１１２と双方向に接続している。さらに外部Ｉ／Ｆ部１１５も制御部１１４と双方向に接続している。

レンズ系１００は、複数のレンズによって構成される。絞り１０１は、単位時間当たりにＣＣＤ１０３の受光面へ到達する光量を調整する。

ＣＣＤ１０３は、ＲＧＢ原色系の単板ＣＣＤである。ＣＣＤ１０３よりも被写体側にカラーフィルタ１０２が配置される。また、本実施形態では、電子シャッタのシャッタ速度を制御することで、電荷蓄積時間（露光時間）を制御するが、メカニカルシャッタを用いて露光時間を制御してもよい。

レンズ系１００、絞り１０１、カラーフィルタ１０２、ＣＣＤ１０３は、光軸に沿って配置される。

Ａ／Ｄ１０５は、ＣＣＤ１０３を介して撮影したアナログの映像信号をデジタルの映像信号に変換する。デジタルの映像信号はバッファ１０６に転送される。また、バッファ１０６内の映像信号は、信号処理部１０８に転送される。

露出制御部１０７について、図２を用いて説明する。図２は、露出制御部１０７のブロック図である。

露出制御部１０７は、ヒストグラム算出部２００と、露出算出部（累積値算出部、露出値算出部）２０１と、パラメータ制御部２０２と、を備える。ヒストグラム算出部２００は露出算出部２０１へ接続し、露出算出部２０１はパラメータ制御部２０２へ接続している。ＡＥセンサ１０４はヒストグラム算出部２００へ接続している。制御部１１４はヒストグラム算出部２００、露出算出部２０１およびパラメータ制御部２０２と双方向に接続する。パラメータ制御部２０２は絞り１０１およびＣＣＤ１０３へ接続している。

ヒストグラム算出部２００は、撮影時にＡＥセンサ１０４によって検出した輝度値のヒストグラムを算出する。ヒストグラム算出部２００によって算出したヒストグラムは、例えば図３（ａ）のようになる。

露出算出部２０１は、ヒストグラム算出部２００によって算出したヒストグラムから映像信号の輝度値の平均値Ｍ₁を算出する。そして、第１の映像信号の露出値ＥＶ₁ ^ISOを式（１）により算出する。

なお、第１の映像信号を取得した時の絞り値をＦ₁、露光時間をＴ₁、ＩＳＯ感度をＩＳＯとする。また、ｂｉｔは映像信号をデジタル信号に変換する際のビット精度である。ｉおよびｐは映像信号をＥＶ値に変換するための係数である。以下、絞り値Ｆ₁、露光時間Ｔ₁とした第１の露出条件によって得られた映像信号を第１の映像信号とする。

また、露出算出部２０１は、ヒストグラムに基づいて、輝度値が所定の閾値（第１所定値）ｔ以下となる画素数の頻度を積算値Ａ１として積算する。閾値ｔは予め設定される値である。

そして、積算値Ａ１が所定値（第２所定値）以上である場合には、平均値をΔｍだけ輝度値が大きくなるように移動させる。所定値は予め設定される値である。本実施形態では、積算値Ａ１が所定値よりも大きい場合には、撮像した画像が、黒い領域を多く含んでいる、もしくは暗い領域が多いと判定する。図３（ａ）におけるヒストグラムをΔｍだけ移動させたヒストグラムが図３（ｂ）である。Δｍは、閾値ｔ以下となる画素数の頻度の積算値Ａ２が所定値よりも小さくなるように設定される。

Δｍ移動させた場合に、露出値ＥＶ₁ ^ISOとなる絞り値Ｆ₂、露光時間Ｔ₂の関係は、式（２）のように表すことができる。

式（２）を変形させると、式（３）のように表すことができる。

式（３）の露出値ＥＶ₂ ^ISOは、積算値Ａ２が所定値以下となり、輝度値の平均値がＭ₁であり、絞り値がＦ₂であり、露出時間がＴ₂となるような露出値である。露出値ＥＶ₂ ^ISOは露出値ＥＶ₁ ^ISOよりも小さい値である。そのため、同じ被写体を撮影した場合でも、式（１）の条件により撮影を行って得られた映像よりも、式（３）の条件により撮影を行って得られた映像の方が、明るい映像となる。

露出算出部２０１は、式（３）に基づいて、露出値ＥＶ₂ ^ISOにおける絞り値Ｆ₂と露光時間Ｔ₂とを算出する。

パラメータ制御部２０２は、露出算出部２０１によって算出した絞り値Ｆ２および露光時間Ｔ２となるように、絞り１０１の絞り値およびＣＣＤ１０３のシャッタ速度を制御する。

上記するように、露出制御部１０７によって、第１の映像信号に対して、絞りＦ２および露光時間Ｔ₂となるように第２の露出条件を設定し、絞り１０１の絞り値およびＣＣＤ１０３のシャッタ速度を制御して撮影された映像信号を取得する。以下、第２の露出条件により得られた映像信号を、第２の映像信号とする。また、第１の映像信号、および第２の映像信号を区別しない映像信号について説明する場合には、映像信号と記載する。

信号処理部１０８は、制御部１１４の制御に基づき、バッファ１０６上の単板状態の映像信号を読み込む。そして、公知の補間処理（デモザイキング処理）、ホワイトバランス処理などを行い、各画素においてＲＧＢのフルカラーの映像信号を生成する。生成された映像信号のうち第１の映像信号は、補正係数算出部１１０および補正部１１１へ転送される。また、第２の映像信号は、色差信号分離部１０９、補正係数算出部１１０へ転送される。

色差信号分離部１０９は、信号処理部１０８から転送された第２の映像信号を第２の輝度信号と第２の色差信号に分離する。分離は例えば、以下に示す式（４）のような計算を行う。

ここで、ＲＧＢは映像信号のＲＧＢ値を表し、Ｙは輝度信号、Ｃｂ、Ｃｒは色差信号を表す。色差信号分離部１０９において得られた第２の色差信号は補正係数算出部１１０へ転送される。

補正係数算出部１１０について、図４を用いて説明する。図４は補正係数算出部１１０のブロック図である。

補正係数算出部１１０は、フレームメモリ３０１と、移動量算出部３０２と、係数算出部（第１の位置合わせ部）３０４と、フレームメモリ３０３と、を備える。フレームメモリ３０１は移動量算出部３０２へ接続している。移動量算出部３０２およびフレームメモリ３０３は係数算出部３０４へ接続している。信号処理部１０８はフレームメモリ３０１へ接続している。色差信号分離部１０９はフレームメモリ３０３へ接続している。制御部１１４は移動量算出部３０２および係数算出部３０４と双方向に接続している。係数算出部３０４は補正部１１１に接続している。

フレームメモリ３０１は、信号処理部１０８から転送される映像信号を蓄積する。

フレームメモリ３０３は、色差信号分離部１０９から転送される第２の色差信号を蓄積する。

移動量算出部３０２は、フレームメモリ３０１に蓄積された第１の映像信号と第２の映像信号を抽出する。そして、第１の映像信号に対する第２の映像信号の移動量を算出する。移動量の算出方法としては、公知の動きベクトルやブロックマッチングなどを用いる。

係数算出部３０４は、フレームメモリ３０３から第２色差信号を抽出する。そして、移動量算出部３０２によって算出した移動量に基づいて、第１の映像信号に対する第２の色差信号の座標変換を行い、位置合わせを行う。例えばカメラを正位置とした場合の横方向をｘ方向とし、縦方向をｙ方向とした場合に、ｘ軸方向にａ、ｙ軸方向にｂの移動量が算出されたとする。この場合には、第２の色差信号はｘ軸方向に−ａ、ｙ軸方向に−ｂだけ平行移動する。これによって、第１の映像信号と第２の色差信号との位置合わせが行われる。なお、平行移動の他にも、回転や拡大、縮小などの座標変換処理が可能である。

係数算出部３０４は、位置合わせを行った後に、対応する画素ごとに補正係数αを算出する。補正係数αは、例えば式（５）に示すように、第２の色差信号から算出される彩度Ｓ₂に基づいて算出される。

ここで、ｋは規格化係数であり、Ｃ_r2およびＣ_b2は第２の色差信号である。本実施形態では、第１の映像信号の階調補正を行うので、補正係数αは、第１の露出条件とは異なる第２の露出条件によって得られた第２の映像信号の第２の色差信号を用いて算出される。係数算出部３０４によって算出された補正係数αは、補正部１１１へ転送される。

補正部１１１について、図５を用いて説明する。図５は、補正部１１１のブロック図である。

補正部１１１は、階調変換曲線作成部（階調変換曲線設定部）４０１と、変換曲線適用部（階調補正部）４０３と、を備える。階調変換曲線作成部４０１は変換曲線適用部４０３へ接続している。補正係数算出部１１０は階調変換曲線作成部４０１へ接続している。信号処理部１０８は変換曲線適用部４０３へ接続している。制御部１１４は階調変換曲線作成部４０１および変換曲線適用部４０３と双方向に接続している。変換曲線適用部４０３は圧縮部１１２へ接続している。

階調変換曲線作成部４０１は、補正係数算出部１１０により転送された補正係数αを用いて、階調変換曲線を作成する。階調変換曲線は、例えば式（６）を用いて作成される。ｘは階調補正前の信号値、ｙは階調補正後の信号値である。

ここでｘは８ビットの信号としているため、階調変換曲線を規格化するための係数として２５５を用いている。

変換曲線適用部４０３は、式（６）に示され階調変換曲線を用いて、信号処理部１０８により転送された第１の映像信号のＲＧＢ値について、それぞれ階調補正を行う。補正係数αは、第２の色差信号から算出される彩度Ｓ₂に基づいて算出されており、変換曲線適用部４０３は、第２の映像信号とは異なる第１の映像信号に対して階調補正を行う。

第２の映像信号の彩度Ｓ₂が略ゼロとなる場合には、式（５）により補正係数αは略１となる。そのため、式（６）に示す階調変換曲線を用いた階調補正の前後で信号値はほとんど変わらない。つまり露出により彩度が変化しない黒い領域は、階調補正による入力信号値の増幅率が小さく、階調補正が行われても入力信号値と出力信号値がほぼ等しくなる。

一方、彩度Ｓ₂が略ゼロではない場合には、式（５）により補正係数αは１よりも大きくなる。そのため、式（６）により、階調補正後の信号値ｙは、階調補正前の信号値ｘよりも大きくなり、暗い領域の信号値が増幅される。つまり、彩度がある暗い領域は、補正部１１１において、階調補正により、入力画素値が増幅されて出力される。階調補正された第１の映像信号は、圧縮部１１２に転送される。

圧縮部１１２は、変換曲線適用部４０３から転送された階調補正後の第１の映像信号に対して、公知のＪＰＥＧ等の圧縮処理を行い、出力部１１３へ転送する。

出力部１１３は、メモリカードなどへ圧縮信号を記録保存あるいは外部表示ディスプレイに階調補正後の第１の映像信号を表示する。

外部Ｉ／Ｆ１１５は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備える。

本実施形態ではハードウェアによる処理を前提としているが、このような構成に限定される必要はない。例えば、ＣＣＤ１０３からの映像信号を映像信号サイズ、撮影条件（露出、焦点距離）などのヘッダ情報を付加したＲａｗデータとして出力し、別途ソフトウェアにて処理する構成も可能である。ソフトウェアによって処理を行う場合には、例えば制御部１１４に含まれるＣＰＵがメモリに記憶された制御プログラムに基づいて演算処理を実行することにより、信号処理部１０８などが機能する。

ソフトウェアによって処理を行う場合について、図６のフローチャートを用いて説明する。

ステップＳ１では、ヘッダ情報を読み出す。

ステップＳ２では、第１の映像信号を取得し、バッファ１０６に記憶させる。また、第２の映像信号を取得すると第２の映像信号をバッファ１０６に記憶させる。

信号処理部１０８に相当するステップＳ３では、ＲＧＢのフルカラーの映像信号を作成する。

色差信号分離部１０９に相当するステップＳ４では、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。

補正係数算出部１１０に相当するステップＳ５では、第２の色差信号に基づいて、補正係数αを算出する。

補正部１１１に相当するステップＳ６では、補正係数αに基づいて、階調変換曲線を算出し、階調変換曲線を用いて第１の映像信号に対して階調補正を行う。

本実施形態では、第１の映像信号に対して階調補正を行ったが、第２の映像信号に対して階調補正を行ってもよい。第２の映像信号に対して階調補正を行う場合には、補正係数αは、第１の映像信号の第１の色差信号から算出される彩度Ｓ１を用いて算出される。

また、露出条件として、絞り値、シャッタ速度を設定し、露出を制御したが、これに限られることはなく、ＩＳＯ感度、ストロボなどを調整して、露出を制御してもよい。また、第２の露出条件を、第１の露出条件に対して、例えば絞り値を所定値だけ広げる、シャッタ速度を所定値だけ遅くする、など決められた値だけ変更することで、設定しても良い。

本発明の第１実施形態の効果について説明する。

第１の露出条件によって撮影を行い、第１の露出条件とは異なる第２の露出条件による撮影で得られた第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。そして、第２の色差信号に基づいて、黒い領域を示す信号値の増幅率よりも、黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する。そして、階調変換曲線に基づいて、第１の映像信号を階調補正する。これによって、第１の映像中の黒い領域と暗い領域とを区別して、階調補正を行うことができ、メリハリのある階調補正を行うことができる。

第２の色差信号から算出する彩度Ｓ₂に基づいて、補正係数αを算出し、補正係数αに基づいて、階調変換曲線を設定する。露出条件によって変化する彩度に基づいて、階調変換曲線を設定することで、第１の映像中の黒い領域と暗い領域とを区別して、階調補正を行うことができる。

また、第１の映像信号に対する第２の映像信号の移動量を算出する。そして、算出した移動量に基づいて、第１の映像信号と第２の色差信号との位置合わせを行い、位置合わせを行った画素毎に補正係数αを算出する。これによって、例えば手ブレ、被写体ブレなどが生じた場合でも、画素毎に正確な補正係数αを算出することができる。そのため、第１の映像信号の階調補正を正確に行うことができる。

また、第１の露出条件によって撮像を行い、ＡＥセンサ１０４によって検出した第１の映像信号のヒストグラムを算出する。ヒストグラムにおいて、輝度値が所定の閾値ｔ以下となる画素数の頻度を積算値Ａ１として積算する。そして、積算値Ａ１が所定値以上である場合には、第１の露出条件による露出値ＥＶ₁ ^ISOよりも小さい露出値ＥＶ₂ ^ISOとなる第２の露出条件を設定する。そして、第２の露出条件によって、第２の映像信号を取得する。このようにして取得した第２の映像信号と第１の映像信号とに基づいて、階調補正を行うことで、第１の映像画像中の暗い領域と黒い領域とを正確に区別した階調補正を行うことができる。

次に本発明の第２実施形態について図７を用いて説明する。図７は、第２実施形態の撮像システムのブロック図である。

第２実施形態は、さらに補正領域選択部１０００を備える。第１実施形態と同一の構成については、同じ符号を付している。以下においては、第１実施形態と異なる箇所について説明する。

信号処理部１２０は、第２の映像信号に加えて、第１の映像信号を色差信号分離部１２１へ転送する。

色差信号分離部１２１は、信号処理部１２０から転送された映像信号を、例えば第１実施形態の式（４）に基づいて、輝度信号と色差信号とに分離する。色差信号分離部１２１は、第２映像信号の分離に加えて、第１の映像信号を第１の映像信号と第１の色差信号とに分離する。

補正領域選択部１０００は、補正係数算出部１２２へ接続している。補正領域選択部１０００は、色差信号分離部１２１によって分離した第１の色差信号が転送される。そして、第１の色差信号から算出される彩度Ｓ₁が、式（７）を満たす場合には、その領域を補正領域であると判定する。つまり、補正領域選択部１０００は、彩度Ｓ₁が小さい領域を補正領域として選択する。

Ｔｈは、予め設定される値（第３所定値）である。彩度Ｓ₁が式（７）を満たす領域は、彩度が低いグレー、すなわち暗い領域や黒い領域を含む領域である。補正領域選択部１０００によって選択された補正領域に関する情報は、補正係数算出部１２２へ転送される。

なお、第２実施形態では、第１の色差信号から算出される彩度Ｓ₁が式（７）を満たすかどうか判定して、補正領域を選択したが、第２の色差信号から彩度Ｓ₂を算出し、式（７）を満たすかどうか判定してもよい。

補正係数算出部１２２は、図８に示すように補正領域に関する情報が係数算出部３０５に転送される点が第１実施形態とは異なっている。係数算出部３０５は、補正係数αを算出する際に、補正領域選択部１０００によって選択された補正領域に対して、補正係数αを算出する。

これによって、補正部１１１は、補正領域選択部１０００によって選択された補正領域のみに階調補正を行う。そのため、階調補正を行う領域を少なくすることができ、高速な処理を行うことができる。

補正領域選択部１０００は、ハードウェアによる処理を前提としているが、第１実施形態と同様にソフトウェアによって処理する構成とすることも可能である。

第２実施形態における処理を、ソフトウェアによって行う場合について、図９のフローチャートを用いて説明する。

ステップＳ１１では、ヘッダ情報を読み出す。

ステップＳ１２では、第１の映像信号を取得し、バッファ１０６に記憶させる。また、第２の映像信号を取得すると第２の映像信号をバッファ１０６に記憶させる。

信号処理部１２０に相当するステップＳ１３では、ＲＧＢのフルカラーの映像信号を作成する。

色差信号分離部１２１に相当するステップＳ１４では、第１の映像信号を第１の輝度信号と第１の色差信号とに分離する。また、第２の映像信号を第２の輝度信号と第２の色差信号とに分離する。

補正領域選択部１０００に相当するステップＳ１５では、第１の色差信号の彩度Ｓ₁から、補正領域を選択する。

補正係数算出部１２２に相当するステップＳ１６では、選択された補正領域について、第２の色差信号に基づいて、補正係数αを算出する。

補正部１１１に相当するステップＳ１７では、補正係数αに基づいて、階調変換曲線を算出し、階調変換曲線を用いて第１の映像信号に対して階調補正を行う。

本発明の第２実施形態の効果について説明する。

第１の色差信号の彩度Ｓ₁が暗い領域であると判定される領域を補正領域として選択し、その補正領域に対してのみ補正係数αを算出する。これによって、選択された補正領域のみに階調補正を行い、高速な処理を行うことができる。

次に本発明の第３実施形態について図１０を用いて説明する。図１０は、第３実施形態の撮像システムのブロック図である。

第３実施形態は、第１実施形態とは、信号処理部１３０と、色差信号分離部１３１と、補正係数算出部１３２と、が異なっている。第１実施形態と同一の構成については、同じ符号を付している。以下においては、第１実施形態と異なる箇所について説明する。

信号処理部１３０は、第２の映像信号に加えて、第１の映像信号を色差信号分離部１２１へ転送する。

色差信号分離部１３１は、信号処理部１３０から転送された映像信号を、例えば第１実施形態の式（４）に基づいて、輝度信号と色差信号とに分離する。色差信号分離部１３１は、第２映像信号の分離に加えて、第１の映像信号を第１の輝度信号と第１の色差信号とに分離する。色差信号分離部１３１は、第１の輝度信号と、第２の輝度信号と、第２の色差信号と、を補正係数算出部１３２へ転送する。

補正係数算出部１３２について、図１１を用いて説明する。図１１は補正係数算出部１３２のブロック図である。補正係数算出部１３２は、フレームメモリ５０１と、移動量算出部（第２の位置合わせ部）５０２と、フレームメモリ５０３と、係数算出部５０４と、を備える。フレームメモリ５０１は移動量算出部５０２へ接続している。移動量算出部５０２およびフレームメモリ５０３は係数算出部５０４へ接続している。色差信号分離部１０９は、フレームメモリ５０１およびフレームメモリ５０３へ接続している。係数算出部５０４は補正部１１１へ接続している。制御部１１４は移動量算出部５０２および係数算出部５０４と双方向に接続している。

フレームメモリ５０１は、色差信号分離部１０９から転送される輝度信号を蓄積する。

フレームメモリ５０３は、色差信号分離部１０９から転送される第２の色差信号を蓄積する。

移動量算出部５０２は、フレームメモリ５０１から第１の輝度信号および第２の輝度信号を抽出し、第１の輝度信号に対する第２の輝度信号の移動量を算出する。移動量の算出方法は公知の動きベクトルやブロックマッチングなどを用いる。

係数算出部５０４は、フレームメモリ５０３から第２の色差信号を抽出し、移動量算出部５０２によって算出した移動量に基づいて、第１の輝度信号に対する第２の色差信号の位置合わせを行う。

係数算出部５０４は、位置合わせを行った後に、対応する画素ごとに補正係数αを算出する。

なお、第１実施形態と同様に、ソフトウェアによって処理する構成とすることも可能である。ソフトウェアによって処理する際には、第１実施形態の図６で示すフローチャートと同様に行う。

本発明の第３実施形態の効果について説明する。

輝度信号を用いて移動量を算出し、位置合わせを行うことで、人間の視覚特性に適した位置合わせを行うことができる。そのため、理想的な補正係数αを算出することができ、暗い領域と黒い領域とを人間の視覚特性に合わせて、階調補正を行うことができる。

次に本発明の第４実施形態について図１２を用いて説明する。図１２は、第４実施形態の撮像システムのブロック図である。

第４実施形態は、第２実施形態とは、信号処理部１４０と、色差信号分離部１４１と、補正係数算出部１４２と、が異なっている。第２実施形態と同一の構成については、同じ符号を付している。以下においては、第２実施形態と異なる箇所について説明する。

信号処理部１４０は、映像信号を生成する。生成された映像信号のうち第１の映像信号は、色差信号分離部１４１および補正部１１１へ転送される。また、第２の映像信号は、色差信号分離部１４１へ転送される。

色差信号分離部１４１は、信号処理部１４０から転送された映像信号を輝度信号と色差信号とに分離する。分離された第１の輝度信号と第２の輝度信号と第２の色差信号は、補正係数算出部１４２に転送される。また、分離された第１の色差信号は、補正領域選択部１０００へ転送される。

補正係数算出部１４２について、図１３を用いて説明する。図１３は補正係数算出部１４２のブロック図である。

補正係数算出部１４２は、フレームメモリ５０１と、移動量算出部５０２と、フレームメモリ５０３と、係数算出部５０５と、を備える。第４実施形態の補正係数算出部１４２は、第３実施形態の補正係数算出部１３２と比較すると、係数算出部５０５が異なっている。第３実施形態の同一の構成については、同じ符号を付している。以下においては、第３実施形態と異なる構成について説明する。

係数算出部５０５は、フレームメモリ５０３から第２の色差信号を抽出し、移動量算出部５０２によって算出した移動量に基づいて、第１の輝度信号に対する第２の色差信号の位置合わせを行う。

係数算出部５０５は、位置合わせを行った後に、補正領域選択部１０００によって選択された領域に対して、対応する画素ごとに補正係数αを算出する。算出された補正係数αは、補正部１１１に転送される。

なお、第２実施形態と同様に、ソフトウェアによって処理する構成とすることも可能である。ソフトウェアによって処理する際には、第２実施形態の図９で示すフローチャートと同様に行う。

本発明の第４実施形態の効果について説明する。

輝度信号を用いて位置合わせを行うため、人間の視覚特性に適した位置合わせを行うことができ、理想的な補正係数αの算出が可能となる。第１の色差信号の彩度Ｓ₁が暗い領域であると判定される領域を補正領域として選択し、その補正領域に対してのみ補正係数αを算出する。これによって、選択された補正領域のみに階調補正を行い、高速な処理を行うことができる。

次に本発明の第５実施形態について図１４を用いて説明する。図１４は、第５実施形態の補正部６００のブロック図である。

第５実施形態は、第１実施形態とは、補正部６００が異なっている。第１実施形態と同一の構成については、同じ符号を付している。ここでは、補正部６００について説明する。

補正部６００は、ＬＵＴ（ルックアップテーブル）６０１と、変換曲線適用部６０３と、を備える。ＬＵＴ６０１は、補正係数算出部１１０と変換曲線適用部６０３へ接続している。

ＬＵＴ６０１は、補正係数算出部１１０によって算出された補正係数αに基づいて、階調変換曲線を設定する。ＬＵＴ６０１は、様々な補正係数αに対応する階調変換曲線を複数記憶している。階調変換曲線は、第１実施形態と同様の効果を得ることができる階調変換特性を有している。ＬＵＴ６０１では、補正係数αが１に近い場合、階調変換特性は入力信号値に対して出力信号値があまり変化しないものが選択され、補正係数αが１より大きい場合、階調変換特性は暗い領域の入力信号値に対して出力信号値が増幅されるものが選択される。

第５実施形態の効果について説明する。

ＬＵＴ６０１によって、補正係数αに基づいて、階調変換曲線を選択することで、第１実施形態と同様の効果を得ることができる。

なお、第５実施形態を第２実施形態から第４実施形態の撮像システムに適用してもよい。

また、上記した実施形態における処理は、撮像システム以外の装置、例えばパーソナルコンピュータなどによって実行されてもよい。この場合には、制御プログラムが例えばＲＯＭなどの記憶媒体に記憶されており、ＣＰＵが制御プログラムに基づいて、演算処理を実行することにより、色差信号分離部などとして機能する。

本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。

本発明の第１実施形態の撮像システムにおけるブロック図である。 第１実施形態の露出制御部のブロック図である。 ヒストグラム算出部によって算出したヒストグラムの例を示す図である。 第１実施形態の補正係数算出部のブロック図である。 第１実施形態の補正部のブロック図である。 第１実施形態の処理をソフトウェアによって行う場合のフローチャートである。 本発明の第２実施形態の撮像システムにおけるブロック図である。 第２実施形態の補正係数算出部のブロック図である。 第２実施形態の処理をソフトウェアによって行う場合のフローチャートである。 本発明の第３実施形態の撮像システムにおけるブロック図である。 第３実施形態の補正係数算出部のブロック図である。 本発明の第４実施形態の撮像システムにおけるブロック図である。 第４実施形態の補正係数算出部のブロック図である。 本発明の第５実施形態の補正部のブロック図である。

１０１ 絞り
１０３ ＣＣＤ（撮像部）
１０４ ＡＥセンサ（光強度検出部）
１０７ 露出制御部（露出条件設定部）
１０８、１２０、１３０、１４０ 信号処理部
１０９、１２１、１３１、１４１ 色差信号分離部（分離部）
１１０、１２２、１３２、１４２ 補正係数算出部
１１１、６００ 補正部
１１４ 制御部
２００ ヒストグラム算出部
２０１ 露出算出部（累積値算出部、露出値算出部）
２０２ パラメータ制御部
３０２、５０２ 移動量算出部
３０４、３０５、５０４、５０５ 係数算出部（第１の位置合わせ部、第２の位置合わせ部）
４０１ 階調変換曲線作成部（階調変換曲線設定部）
４０３、６０２ 変換曲線適用部（階調補正部）
６０１ ＬＵＴ
１０００ 補正領域選択部

Claims (15)

1. 映像信号を階調変換し、出力する撮像システムであって、
   前記映像信号を取得する撮像部と、
   前記映像信号を輝度信号と色差信号とに分離する分離部と、
   第１の映像信号を取得した時の第１の露出条件とは異なる第２の露出条件を設定する露出条件設定部と、
   前記第１の映像信号と前記第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定部と、
   前記階調変換曲線に基づいて、前記もう一方の映像信号の階調補正を行う階調補正部と、を備えることを特徴とする撮像システム。
2. 前記第１の映像信号の第１の色差信号あるいは前記第２の映像信号の第２の色差信号に基づいて、補正領域を選択する補正領域選択部を備え、
   前記階調補正部は、前記補正領域に対して、前記階調変換曲線に基づいて、前記もう一方の映像信号の階調補正を行うことを特徴とする請求項１に記載の撮像システム。
3. 前記第１の映像信号の第１の色差信号から算出する彩度と前記第２の映像信号の第２の色差信号から算出する彩度のいずれか一方に基づいて、階調補正のための補正係数を算出する補正係数算出部を備え、
   前記階調変換曲線設定部は、前記補正係数に基づいて、前記階調変換曲線を設定することを特徴とする請求項１または２に記載の撮像システム。
4. 前記第１の映像信号と前記第２の映像信号との位置合わせを行う第１の位置合わせ部を備え、
   前記補正係数算出部は、前記第１の映像信号と前記第２の映像信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度のいずれか一方に基づいて、前記補正係数を算出することを特徴とする請求項３に記載の撮像システム。
5. 前記第１の輝度信号と前記第２の輝度信号との位置合わせを行う第２の位置合わせ部を備え、
   前記補正係数算出部は、前記第１の輝度信号と前記第２の輝度信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度のいずれか一方に基づいて、前記補正係数を算出することを特徴とする請求項３に記載の撮像システム。
6. 被写体の輝度を検出する光強度検出部を備え、
   前記露出条件設定部は、
   前記光強度検出部によって検出された前記第１の露出条件における前記第１の映像信号の輝度をヒストグラムとして算出するヒストグラム算出部と、
   前記ヒストグラムにおいて、前記輝度が第１所定値以下である前記第１の映像信号の信号値の累積値を算出する累積値算出部と、
   前記累積値が、第２所定値以下となるように露出値を算出し、前記第２の露出条件を設定する露出値算出部と、を備えることを特徴とする請求項１から５のいずれか一つに記載の撮像システム。
7. 前記補正領域選択部は、前記第１の色差信号から算出する彩度あるいは前記第２の色差信号から算出する彩度が、第３所定値以下である領域を前記補正領域とすることを特徴とする請求項２に記載の撮像システム。
8. 請求項１から７のいずれか一つに記載の撮像システムを備えることを特徴とする電子機器。
9. 映像信号を階調変換する映像信号処理プログラムであって、
   コンピュータに、
   第１の露出条件により撮影された第１の映像信号を取得する第１の取得手順と、
   前記第１の露出条件とは異なる第２の露出条件により撮影された第２の映像信号を取得する第２の取得手順と、
   前記映像信号を輝度信号と色差信号とに分離する分離手順と、
   前記第１の映像信号と前記第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定する階調変換曲線設定手順と、
   前記階調変換曲線に基づいて、前記もう一方の映像信号の階調補正を行う階調補正手順と、を実行させることを特徴とする映像信号処理プログラム。
10. 前記コンピュータに、
    前記第１の映像信号の第１の色差信号あるいは前記第２の映像信号の第２の色差信号に基づいて、補正領域を選択する補正領域選択手順を実行させ、
    前記階調補正手順は、前記補正領域に対して、前記階調変換曲線に基づいて、前記もう一方の映像信号の階調補正を行うことを特徴とする請求項９に記載の映像信号処理プログラム。
11. 前記コンピュータに、
    前記第１の映像信号の第１の色差信号から算出する彩度と前記第２の映像信号の第２の色差信号から算出する彩度のいずれか一方に基づいて、階調補正のための補正係数を算出する補正係数算出手順を実行させ、
    前記階調変換曲線設定手順は、前記補正係数に基づいて、前記階調変換曲線を設定することを特徴とする請求項９または１０に記載の映像信号処理プログラム。
12. 前記コンピュータに、
    前記第１の映像信号と前記第２の映像信号との位置合わせを行う第１の位置合わせ手順を実行させ、
    前記補正係数算出手順は、前記第１の映像信号と前記第２の映像信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度のいずれか一方に基づいて、前記補正係数を算出することを特徴とする請求項１１に記載の映像信号処理プログラム。
13. 前記コンピュータに、
    前記第１の輝度信号と前記第２の輝度信号との位置合わせを行う第２の位置合わせ手順を実行させ、
    前記補正係数算出手順は、前記第１の輝度信号と前記第２の輝度信号とを用いて位置合わせが行われた後に、前記第１の色差信号から算出する彩度と前記第２の色差信号から算出する彩度のいずれか一方に基づいて、前記補正係数を算出することを特徴とする請求項１１に記載の映像信号処理プログラム。
14. 前記補正領域選択手順は、前記第１の色差信号から算出する彩度あるいは前記第２の色差信号から算出する彩度が、第３所定値以下である領域を前記補正領域とすることを特徴とする請求項１０に記載の映像信号処理プログラム。
15. 映像信号を階調変換し、出力する撮像方法であって、
    前記映像信号を取得し、
    前記映像信号を輝度信号と色差信号とに分離し、
    前記第１の映像信号と前記第２の露出条件によって取得された第２の映像信号のいずれか一方の映像信号の色差信号に基づいて、もう一方の映像信号中の黒い領域を示す信号値の増幅率よりも、前記黒い領域以外の領域を示す信号値の増幅率を大きくする階調変換曲線を設定し、
    前記階調変換曲線に基づいて、前記もう一方の映像信号の階調補正を行う、ことを特徴とする撮像方法。

Images