WO2002103632A1

WO2002103632A1 - Synthetiseur d'images

Info

Publication number: WO2002103632A1
Application number: PCT/JP2002/005985
Authority: WO
Inventors: Kazuhiro Tsujino
Original assignee: Sanyo Electric Co., Ltd.
Priority date: 2001-06-19
Filing date: 2002-06-14
Publication date: 2002-12-27
Also published as: CN1518724A; CN1288597C; US20040233307A1; JP2003078921A; US7511739B2; JP3510868B2

Description

明細

技術分野

この発明は、画像合成装置に関し、特にたとえばディジタルカメラに適用され、長時間露光によって得られた画像信号と短時間露光によって得られた画像信号とに基づいて合成画像信号を生成する、画像合成装置に関する。従来技術

ディジタルカメラでは、シャツ夕ボタンが押されると、イメージセンサのプリ露光によって得られた R G B信号に基づいて YUV信号が生成され、 Y信号の積分値（輝度評価値）が所定条件を満たすように最適露光量が決定される。ィメージセンサの本露光は最適露光量に従つて行われ、これによつて得られた R G B信号に基づく YUV信号が記録媒体に記録される。

また、ディジタルカメラとしては、ダイナミックレンジ拡大モードが選択されたときに、同じ被写体の長時間露光および短時間露光を行い、長時間露光画像信号と利得が付与された短時間露光画像信号とを互いに合成するものがある。長時間露光および短時間露光でのイメージセンサの出力特性は、たとえば図 2 0 (A) および図 2 0 (B) に示すように変化する。図 2 0 (A) によれば、被写体の明るさつまり被写体からの反射光の強さが L 1に達した時点でィメ一ジセンサの出力が飽和する。一方、図 2 0 (B) によれば、被写体の明るさが L 2 (> L 1 ) に達した時点でイメージセンサの出力が飽和する。このため、長時間露光画像信号を形成する各画素の Yレベルを明るさ L 1に対応する基準値 Y 1と比較して、 Yレベルく Y 1の条件力成立するときに長時間露光画像信号を選択し、 Y レベル≥Y 1の条件が成立するときに利得 Νが付与された短時間露光画像信号を選択するようにすれば、図 2 1に示すようにダイナミックレンジが拡大された合成画像信号が得られる。

しかし、被写体の色に偏りがあると、最適露光量で被写体を撮影しても、特定色の色レベルが飽和してしまう。たとえば、人の顔（肌色）をマクロ撮影したときの R G B信号の比率に注目すると、 Rレベルは Gレベルおよび Bレベルに比べて大幅に高くなる。 Y信号は R G B信号に基づいて生成されるため、 R G B信号の比率カ端に歪むと、輝度評価値が所定条件を満たすように最適露光量を決定したとしても、本露光によって得られる R信号のレベルは飽和する。この結果、 R G B信号の比率が本来の比率からずれてしまい、再現される画像の色相が歪んでしまう。 '

このような色相の歪みの問題は、特定色に偏つた被写体をダイナミックレンジ拡大モードで撮影したときに顕著に生じる。たとえば、図 2 2 (A) に示す長時間露光画像のように、顔を形成する部分 Aの Yレベルが基準値 Y 1を超えており、部分 Bの Yレベルが基準値 Y 1以下でかつ Rレベルが飽和している場合、この長時間露光画像を図 2 2 (B) に示す短時間露光画像（利得付与済み）と合成すると、図 2 2 (C) に示すように部分 Bの色相のみが歪んだ合成画像が生成されてしまう。この場合、部分 Bが浮き出したように表示され、図 2 2 (A) に示す長時間露光画像よりも色相の歪みが目立つてしまう。発明の概要

それゆえに、この発明の主たる目的は、新規な画像合成装置を提供することである。

この発明の他の目的は、合成画像信号の色相に歪みが生じるのをできるだけ防止できる、画像合成装置を提供することである。

この発明のその他の目的は、合成画像信号の色相に歪みが生じるのをできるだけ防止できる、画像合成方法を提供することである。

この発明によれば、第 1露光量に従う第 1露光によって得られた被写体の第 1 画像信号と第 1露光量よりも少ない第 2露光量に従う第 2露光によって得られた被写体の第 2画像信号とに基づいて被写体の合成画像信号を生成する画像合成装置は、次のものを備える：第 1画像信号および第 2画像信号のいずれか一方の明るさ関連レベルを基準値と比較する比較手段；明るさ関連レベルが基準値以下のとき第 1画像信号を選択する第 1選択手段；明るさ関連レベルが基準値よりも大きいとき第 2画像信号を選択する第 2選択手段；被写体の色の偏り度を検出する偏り度検出手段；および偏り度に基づいて基準値を減少させる減少手段。

第 1露光量に従う第 1露光によって得られた第 1画像信号と第 2露光量に従う第 2露光によつて得られた第 2画像信号とに基づいて合成画像信号を生成するとき、第 1画像信号および第 2画像信号のいずれか一方の明るさ関連レベルが、比較手段によって基準値と比較される。明るさ関連レベルが基準値以下のときは第 1画像信号が第 1選択手段によって選択され、明るさ関連レベルカ堪準値よりも大きいときは第 2画像信号が第 2選択手段によって選択される。これによつて、合成画像信号が生成される。一方、偏り度検出手段は被写体の色の偏り度を検出し、減少手段は検出された偏り度に基づいて基準値を減少させる。

第 2露光量は第 1露光量よりも少ないため、被写体の色が特定色に偏っているときでも、特定色の色成分は飽和しにくく、第 2画像信号の色相も歪みにくい。検出された偏り度に基づいて基準値を減少させるようにすれば、第 2画像信号が選択されやすくなり、合成画像信号の色相に歪みが生じる現象が抑えられる。所定露光量に従う露光によつて得られた被写体の第 3画像信号を取り込む場合、偏り度は、当該第 3画像信号に基づいて特定色の色飽和度および輝度飽和度を検出し、色飽和度から輝度飽和度を減算することによって求めることができる。全ての色レベルが飽和したときは、輝度レベルも飽和する。すると、特定色の色レベルは飽和するが輝度レベルが飽和していない画素は、特定色に偏っているとみなすことができる。このため、色飽和度から輝度飽和度を減算することで、偏り度が求められる。

特定色の色レベルが飽和している画素の数を色飽和度とみなし、輝度が飽和している画素の数を輝度飽和度とみなせば、偏り度を正確かつ容易に算出できる。なお、所定露光量は、好ましくは、第 1露光量よりも少なくかつ第 2露光量よりも多い。

ある実施例では、偏り度が大きいほど基準値が大きく減少する。これによつて、偏り度が大きいほど、第 2画像信号が選択されやすくなる。

他の実施例では、被写体像を形成する複数部分の各々が所定条件を満たすかどうかが、判別手段によって判別される。減少手段は、所定条件を満たす部分の数に応じて偏り度に重み付けを施し、重み付け結果に基づいて基準値を減少させる。所定条件は、好ましくは、注目する部分が特定色であるという第 1条件、および注目する部分が高輝度であるという第 2条件を含む。

この発明によれば、第 1露光量に従う第 1露光によって得られた被写体の第 1 画像信号と第 1露光量よりも少ない第 2露光量に従う第 2露光によって得られた被写体の第 2画像信号とに基づいて被写体の合成画像信号を生成する画像合成方法は、次のステップを備える：（a )第 1画像信号および第 2画像信号のいずれか —方の明るさ関連レベルを基準値と比較し；（b )明るさ関連レベルが基準値以下のとき第 1画像信号を選択し；（ c )明るさ関連レベルが基準値よりも大きいとき第 2画像信号を選択し；（d )被写体の色の偏り度を検出し；そして（e )偏り度に基づいて基準値を減少させる。

第 1露光量に従う第 1露光によって得られた第 1画像信号と第 2露光量に従う第 2露光によって得られた第 2画像信号とに基づいて合成画像信号を生成するとき、第 1画像信号および第 2画像信号のいずれか一方の明るさ関連レベルが、基準値と比較される。明るさ関連レベルが基準値以下のときは第 1画像信号が選択され、明るさ関連レベルが基準値よりも大きいときは第 2画像信号が選択される。これによつて、合成画像信号が生成される。ここで、基準値は、被写体の色の偏り度に基づいて基準値を減少される。

第 2露光量は第 1露光量よりも少ないため、被写体の色が特定色に偏つているときでも、特定色の色成分は飽和しにくく、第 2画像信号の色相も歪みにくい。検出された偏り度に基づいて基準値を減少させるようにすれば、第 2画像信号が選択されやすくなり、合成画像信号の色相に歪みが生じる現象が抑えられる。この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。図面の簡単な説明

図 1はこの発明の一実施例を示すブロック図であり；

図 2は図 1実施例に適用される信号処理回路の一例を示すプロック図であ

Ό ；

図 3は図 1実施例に適用される C P Uの動作の一部を示すフロー図であり；図 4は図 1実施例に適用される C P Uの動作の他の一部を示すフロー図であ D ； _t

図 5は図 1実施例に適用される C P Uの動作のその他の一部を示すフロー図であり；

図 6は図 1実施例に適用される C P Uの動作のさらにその他の一部を示すフロー図であり；

図 7は図 1実施例に適用される C P Uの動作の他の一部を示すフロー図であり

図 8は R G B信号および Y信号を格納するテーブルの一例を示す図解図であ

0 ；

図 9はこの発明の他の実施例を示すブロック図であり；

図 1 0は図 9実施例に適用される信号処理回路の一例を示すブロック図であ；

図 1 1は図 9実施例に適用される C P Uの動作の一部を示すフロー図であ

Ό ；

図 1 2は図 9実施例に適用される C P Uの動作の他の一部を示すフロー図であり；

図 1 3は図 9実施例に適用される C P Uの動作のその他の一部を示すフロー図であり；

図 1 4は図 9実施例に適用される C P Uの動作のさらにその他の一部を示すフロ一図であり；

図 1 5は図 9実施例に適用される C P Uの動作の他の一部を示すフロー図であり；

図 1 6は図 9実施例に適用される C P Uの動作のさらにその他の一部を示すフロー図であり；

図 1 7は図 9実施例に適用される C P Uの動作の他の一部を示すフロー図であり；

図 1 8は図 9実施例の動作の一部を示す図解図であり；

図 1 9は図 9実施例の動作の他の一部を示す図解図であり；図 20 (A) は長時間露光を行ったときの被写体の明るさに対するセンサ出力を示すグラフであり；

図 20 (B) は短時間露光を行ったときの被写体の明るさに対するセンサ出力を示すグラフであり；

図 21は長時間露光画像信号と短時間露光画像信号の合成処理を示す図解図であり；

図 22 (A) は長時間露光画像の一例を示す図解図であり；

図 22 (B)は利得が付与された短時間露光画像の一例を示す図解図であり；そして

図 22 (C) は合成画像の一例を示す図解図である。発明を実施するための最良の形態

図 1を参照して、この実施例のディジタルカメラ 10は、光学レンズ 12および絞り部材 14を含む。被写体の光学像は、これらの部材を経て C C Dイメージャ（イメージセンサ） 16の受光面に入射される。受光面では、入射された光学像に対応するカメラ信号つまり生画像信号が光電変換によって生成される。なお、受光面は、原色べィャ配列の色フィルタ（図示せず）によって覆われ、カメラ信号を形成する各々の画素信号は、 R, Gおよび Bのいずれか 1つの色情報のみを持つ。

電源が投入されると、 CPU44は、絞り量および露光時間を絞り部材 14および TG (Timing Generator) 18にそれぞれ設定し、 1/15秒毎に露光を T G 18に命令する。 TG18は、 1/15秒毎に CCDイメージャ 16を露光し、当該露光によって生成されるカメラ信号を CCDイメージャ 16から読み出す。 1/15秒毎に読み出された各フレームのカメラ信号は、 CDSZAGC回路 2 0における周知のノィズ除去およびレベル調整と AZD変換器 22における A/ D変換とを経て、信号処理回路 24に与えられる。

信号処理回路 24は、図 2に示すように構成される。カメラ信号は、乗算器 2 4 aで利得（=刀期値）を付与され、色分離回路 24 aによって色分離を施される。カメラ信号を形成する各々の画素は R情報信号（R信号)， G情報信号（G信号）および B情報信号（B信号）のいずれか 1つしか持っていないため、各画素が不足する 2つの色情報信号が色分離回路 24 bによって補完される。色分離回路 24 bからは、各々の画素を形成する R信号， G信号および B信号が同時に出力される。 1画素毎に出力された R信号， G信号および B信号は、白バランス調整回路 24 cを経て YUV変換回路 24 dに与えられ、これによつて Y信号（輝度)， U信号（色差： R-Y) および V信号（色差： B— Y) からなる画像信号が生成される。

図 1に戻って、スィッチ SW1は端子 S 2と接続されており、信号処理回路 2 4から出力された画像信号は、スィッチ SW1を介して第 2メモリコントローラ 30に与えられる。第 2メモリコントローラ 30は、与えられた画像信号を第 2 メモリ 32の画像信号格納エリァ 32 aに書き込む。

ビデオエンコーダ 34は、画像信号格納エリア 32 aの画像信号を第 2メモリコントローラ 30を通して読み出し、読み出された各フレームの画像信号を NT SCフォ一マツトのコンポジット画像信号にエンコードし、そしてエンコードされたコンポジット画像信号を LCDモニタ 36に供給する。 LCDモニタ 36には、被写体のリアルタイム動画像つまりスルー画像が 15 f p sのフレームレートで表示される。

シャツ夕ポタン 46が押されると、 CPU 44は、プリ露光を TG 18に命令し、当該プリ露光に基づいて信号処理回路 24で生成された RGB信号および Y 信号を取り込む。 CPU44は、 R信号および G信号に基づいて画像合成のための基準値 Ysを決定し、 RGB信号に基づいて白バランスを調整し、そして Y信号に基づいて長時間露光用の第 1露光時間 S m 1と短時間露光用の第 2露光時間 Sm 2とを決定する。決定された第 1露光時間 Smlは通常撮影（1回だけ本露光を行う撮影）のときの最適露光時間よりも長く、第 2露光時間 Sm2は当該最適露光時間よりも短い。 CPU44は続いて、注目する 2フレームの各々で長時間露光（第 1露光時間 Smlに従う本露光）と短時間露光（第 2露光時間 Sm2 に従う本露光）とを TG18に命令する。 TG18は、注目する 2フレームの 1 フレーム目で CCDイメージャ 16に長時間露光を施し、 2フレーム目で長時間露光によって生成されたカメラ信号の読み出しと短時間露光とを CCDイメージャ 16に施す。短時間露光によって生成されたカメラ信号は、 2フレーム目に続くフレームで CCDイメージャ 16から読み出される。

CPU44は、長時間露光画像信号（長時間露光に基づく画像信号）が信号処理回路 24から出力されるとき、第 1メモリコントローラ 26に書き込みを命令する。長時間露光画像信号は、第 1メモリコント口一ラ 26によって第 1メモリ 28に格納される。 CPU44はまた、短時間露光によって生成されたカメラ信号が CCDイメージャ 16から読み出されるとき、図 2に示す乗算器 24 aの利得を初期値から所定値 Nに変更し、第 1メモリコントローラ 26に長時間露光画像信号の読み出しを命令する。信号処理回路 24からは、短時間露光に基づくかつ利得 Nが付与された短時間露光画像信号が出力され、第 1メモリコントローラ 26からは長時間露光画像信号が出力される。スィッチ SW1の端子 S 1および S 2には、同じ画素に対応する長時間露光画像信号および短時間露光画像信号が同時に与えられる。

C P U 44はさらに、長時間露光画像信号を形成する各々の画素の Y信号を取り込み、取り込んだ Y信号のレベルと基準値 Ysとを 1画素毎に比較し、そして比較結果に応じてスィッチ SW1の切り換えを制御する。スィッチ SW1は、 Y 信号レベル≤Y sの条件が成立するとき端子 S 1と接続され、 Υ信号レベル >Υ sの条件が成立するとき端子 S 2と接続される。端子 S 1との接続時は長時間露光画像信号を形成する画素信号が選択され、端子 S 2との接続時は短時間露光画像信号を形成する画素信号が選択され、これによつてダイナミックレンジが拡大された合成画像信号が生成される。

合成画像信号がスィッチ SW1から出力されるとき、 CPU44は、第 2メモリコントローラ 30に書き込みを命令する。合成画像信号は、第 2メモリコントローラ 30によって第 2メモリ 32の画像信号格納エリァ 32 aに一時的に格納される。 CPU44は続いて、 J PEGコーデック 38に圧縮処理を命令する。 J PEGコーデック 38は、画像信号格納エリア 32 aに格納された合成画像信号を第 2メモリコントローラ 30を通して読み出し、読み出された合成画像信号に J PEGフォーマツトに準じた圧縮処理を施す。圧縮画像信号が得られると、 J PEGコーデック 38は、生成された圧縮画像信号を第 2メモリコントローラ 30に与える。圧縮画像信号は、第 2メモリコントローラ 30によって圧縮信号格納エリア 32 bに格納される。

圧縮画像信号の格納処理が完了すると、 CPU44は、第 2メモリコント口一ラ 30を通して圧縮信号格納エリァ 32 bから圧縮画像信号を読み出し、読み出した圧縮画像信号をメモリカード 42に記録する。これによつて、メモリカード

42内に画像ファイルが作成される。なお、メモリカード 42は着脱自在な不揮発性の記録媒体であり、当該メモリカード 42はスロット 40に装着されたときに CPU44によってアクセス可能となる。

電源が投入されると、図 3〜図 7に示すフロ一図に従う処理が C P U 44によつて実行される。なお、このフロー図に対応する制御プログラムは、 ROM48 に記憶される。

まずステツプ S 1でスルー画像表示処理を行われ、ステップ S 3でシャツ夕ポタン 46の操作の有無が判別される。シャツ夕ボタン 46が操作されない間、処理は、ステップ S 5におけるモニタ用 AE処理を経てステップ S 1に戻る。これによって、絞り部材 14に設定される絞り量および TG18に設定される露光時間が、繰り返し調整され、適度な明るさのスルー画像がモニタ 36に表示される。なお、ステップ S 1および S 5の処理は、 TG18から 1Z15秒毎に発生する VDパルスに応答して実行される。

シャツ夕ポタン 46が操作されると、ステップ S 7で測光用の露光設定が行われる。具体的には、 1/1200秒の露光時間が TG18に設定され、最大開放の絞り量が絞り部材 14に設定される。ステップ S 9では TG18から VDパルスが与えられたかどうかが判断され、 YESであればステップ S 11で測光のためのプリ露光が TG 18に命令される。 TG18は、命令が与えられた現フレームで 1 1200秒間のプリ露光を行い、当該プリ露光によって生成されたカメラ信号を現フレームに続く次フレームで CCDイメージャ 16から読み出す。読み出されたカメラ信号に基づく Y信号は、読み出しフレームと同じフレームで図

2に示す YUV変換回路 24 dから出力される。このため、 VDパルスの発生の有無がステップ S 13で判別され、 YESと判断されたときにステップ S 15で

1フレーム分の Y信号が YUV変換回路 24 dから取り込まれる。取り込まれた 1フレーム分の Y信号は、ステップ S 11のプリ露光に基づく Υ信号である。ステップ S 17では、取り込まれた Υ信号に基づいて露光時間 Spおよび絞り量 Fが算出される。具体的には、 1フレーム期間にわたる Y信号の積分によって輝度評価値 I yが求められ、当該輝度評価値 I yが所定条件を満たす露光時間 S Pおよび絞り量 Fが算出される。ステップ S 19では、絞り量 Fが絞り部材 14 に設定され、露光時間 S pが TG 18に設定する。なお、ステップ S 19における露光設定は、基準値 Ysの決定，白バランス調整および最適露光時間の決定のための露光設定である。

この露光設定の後に VDパルスが発生すると、ステップ S 21で YESと判断され、ステップ S 23でプリ露光が TG 18に命令される。 TG 18は露光時間 S pに従うプリ露光を行い、かっこのプリ露光によって生成されたカメラ信号を CCDイメージャ 16から読み出す。プリ露光の命令の後に VDパルスが発生すると、処理がステップ S 25からステップ S 27に進み、図 2に示す白バランス調整回路 24 cから出力された RGB信号と YUV変換回路 24 dから出力された Y信号とが取り込まれる。取り込まれた RGB信号および Y信号はいずれも、ステップ S 23のプリ露光に基づく信号である。ステップ S 29では、取り込まれた R G B信号および Y信号を図 8に示すテーブル 44 aに格納する。このとき、同じ画素の RGB信号および Y信号には、共通の画素番号が割り当てられる。ステツプ S 31では 1フレームの信号の取り込みが完了したかどうかが判断され、 YESと判断されるまでステップ S 27および S 29の処理が繰り返される。ステップ S 33では取り込まれた R信号および G信号に基づいて基準値 Ysが決定され、ステップ S 35では取.り込まれた R0B信号に基づいて白バランス調整回路 22のゲインが最適値に設定され、ステップ S 37では取り込まれた Y信号に基づいて最適露光時間が算出される。ステップ S 37で算出される最適露光時間は本露光を 1回だけ行う場合に最適となる露光時間であるため、ステップ S 39では当該最適露光時間よりも長い時間が長時間露光用の第 1露光時間 Sm 1 として決定され、ステップ S 41では当該最適露光時間よりも短い時間が短時間露光用の第 2露光時間 S m 2として決定される。

ステップ S43では第 1露光時間 Smlが TG18に設定され、その後の VD パルスの発生に応答してステップ S 45で YESと判断される。すると、ステツプ S 47で図 2に示す乗算器 24aに初期利得が設定され、ステップ S 49で本露光が TG18に命令され、そしてステップ S 51で第 1メモリコントローラ 2. 6に書き込み命令が与えられる。 TG18は、第 1露光時間 Smlに従う長時間露光を行い、これによつて生成されたカメラ信号を CCDイメージャ 16から読み出す。読み出されたカメラ信号は、図 20 (A) に示す特性を有する。信号処理回路 24は当該カメラ信号に基づいて長時間露光画像信号を生成し、生成された長時間露光画像信号は第 1メモリコントローラ 26によって第 1メモリ 28に書き込まれる。

ステップ S 53では第 2露光時間 S m 2が T G 18に設定され、その後の V D パルスの発生に応答してステップ S 55で YESと判断される。ステップ S 57 では利得 Nが乗算器 24 aに設定され、ステップ S 59では本露光が TG 18に命令され、ステップ S 61では第 1コントローラ 26に読み出し命令が与えられる。 TG18は第 2露光時間 Sm2に従う短時間露光を行い、これによつて生成されたカメラ信号は図 20 (B) に示す特性を有する。信号処理回路 24は、短時間露光によって得られたカメラ信号に基づいて、利得 Nが付与された短時間露光画像信号を生成する。一方、第 1メモリコントローラ 26は、読み出し命令に応答して長時間露光画像信号を第 1メモリ 28から読み出す。

この結果、長時間露光画像信号および短時間露光画像信号は、スィッチ SW1 を形成する端子 S 1および S 2に同時に与えられる。つまり、長時間露光画像信号を形成する X番目の画素信号が端子 S 1に与えられると同時に、短時間露光画像信号を形成する X番目の画素信号が端子 S 2に与えられる。

ステップ S 63では第 2メモリコントローラ 30に書き込み命令が与えられ、続くステップ S 65では Y信号が第 1メモリコントローラ 26から取り込まれる。取り込まれる Y信号は長時間露光画像信号を形成する Y信号であり、 X番目の Y 信号が取り込まれるタイミングは、 X番目の画素信号（YUV信号）が端子 S 1 に与えられるタイミングよりもわずかに早い。ステップ S 67では、取り込まれた Y信号のレベルが基準値 Ysと比較される。そして、 Y信号レベル >Ysの条件が満たされれば処理はステップ S 69に進み、 Y信号レベル≤Y sの条件が満たされれば処理はステップ S 7 1に進む。ステップ S 6 9では長時間露光画像信号の選択のためにスィッチ S W 1が端子 S 1に接続され、ステップ S 7 1では短時間露光画像信号の選択のためにスィッチ SW 1が端子 S 2に接続される。ステップ S 7 3では 1フレームの比較処理が完了したかどうか判別され、 Y E Sと判断されるまでステップ S 6 5〜S 7 1の処理が繰り返される。

これによつて、図 2 1に示す特性を持つ 1フレーム分の合成画像信号が生成される。スィッチ SW 1の切り換え制御に先立って第 2メモリコントローラ 3 0に書き込み命令を与えているため、生成された合成画像信号は第 2メモリコント口ーラ 3 0によって第 2メモリ 3 2の画像信号格納エリア 3 2 aに格納される。ステヅプ S 7 5では J P E Gコーデック 3 8に圧縮命令が与えられ、ステツプ S 7 7では J P E Gコ一デック 3 8によって生成されかつ S D RAM 3 2の圧縮信号格納エリア 3 2 bに確保された圧縮画像信号がファイル形式でメモリカード 4 2に記録される。こうして記録処理が完了すると、処理はステップ S 1に戻る。ステップ S 3 3における基準値決定処理は、図 7に示すサブルーチンに従って実行される。まずステップ S 8 1で R信号レベルが飽和している画素の総数 R s a tが検出され、ステップ S 8 3で G信号レベルが飽和している画素の総数 G s a tが検出される。これらの処理はテーブル 4 4 aに格納された R信号および G 信号の各々と閾値との比較によって行われ、 Rレベルが閾値を超える画素数および Gレベルが閾値を超える画素数がそれぞれ R s a tおよび G s a tとされる。検出された R s a tおよび G s a tはそれぞれ、 R信号の色飽和度および G信号の色飽和度と定義することができる。

ステップ S 8 5では、 R s a tから G s a tを減算することによって差分画素数 R s a t— Nが算出される。ステップ S 8 7では R s a t— Nが " 0 " よりも大きいかどうか判断する。 Y E Sであればそのままステップ S 9 1に進み、 NO であればステップ S 8 9で R s a t— Nを " 0 " に設定してからステップ S 9 1 に進む。

Y信号は、 R信号， G信号および B信号に R： G： B = 3 ： 6 ： 1の比率で加重加算を施して生成される。このため、 G信号が Y信号に最も大きな影響を与える。また、 G信号が飽和するときは R信号および B信号も飽和し（つまり輝度レベルが飽和し）、 G信号は飽和するが R信号または B信号は飽和しないような現象は、通常は発生しない。このため、 Gs a tは輝度飽和度と定義することもできる。そうすると、ステップ S 87で算出される Rs a t— Nは、輝度飽和が生じることなく R信号レベルが飽和している画素の総数とみなすことができ、 G信号を基準とした R信号の偏り度とみなすこともできる。

なお、ステップ S 87および S 89の処理は、信号処理回路 24の設定の誤差によって Rs a t—Nがマイナスの数値を示すおそれがあることを考慮したものである。また、 R信号に関連する R s a t—Nを算出するようにしたのは、 R信号が人の肌の色に最も大きな影響を与えるからである。

ステップ S 91では、数式 1に示す条件が満たされるかどうかが判別される。条件が満たされれば処理はそのままステップ S 95に進むが、条件が満たさなければステップ S 93での数式 2に従う Rs a t—Nの更新を経てステップ S 95 に進む。ステップ S 95では、数式 3に従って基準値 Ysを決定する。

[数式 1]

R s a t― N * K≤ Y s ma x— Y s m i n

K：定数

Y s m a x : Y sがとりうる最大値

Y sm i n： Y sがとりうる最小値

[数式 2]

R s a t一 N *K = Ysmax— Ysmi n

[数式 3]

Y s =Υ s ma x-R s a t _N *

Ysmaxおよび Ysmi nはそれぞれ Y sがとりうる最大値および最小値であるため、 Ysは Ysmax〜Ysmi nの範囲で決定する必要がある。数式 3 によれば、 Ysmaxから R s a t—N *Kを減算して Ysを求めるため、 Ys を Y sma x〜Y sm i nの範囲に収めるためには、 R s a t__N*Kは "Y s max— Ysmi n"以下でなければならない。このため、数式 1の条件を満たさないときに、数式 2に従って R s a t— N*Kが補正される。

以上の説明から分かるように、長時間露光画像信号と短時間露光画像信号とに基づいて合成画像信号を生成するとき、長時間露光画像信号の Y信号レベルが基準値 Y sと比較される（S 67)。そして、 Y信号レベル≤Y sの条件が満たされるときはスィヅチ SW1によって長時間露光画像信号が選択され（S 69)、 Υ信号レベル〉 Y sの条件が満たされるときはスィツチ SW1によって短時間露光画像信号が選択される（S 71)。これによつて、合成画像信号が生成される。被写体の色の偏り度はこのようなスィッチ S W 1の切り換え制御に先立つて検出され (S 81〜S 85)、検出された偏り度に基づいて基準値が減少する（S 95)。被写体の色の偏り度は、プリ露光によって得られた R信号および G信号に基づいて Rレベルの色飽和度および Gレベルの色飽和度（=輝度飽和度）を検出し（S 81, S 83)、色飽和度から輝度飽和度を減算する（S 85) ことによって求められる。 Rレベル， Gレベルおよび Bレベルが全て飽和したときは、 Yレベルも飽和する。このため、 Rレベルは飽和するが Yレベル力飽和していない画素は、赤色に偏っているとみなすことができる。このため、 Rレベルの色飽和度から G レベルの色飽和度を減算することで、赤色への偏り度が求められる。

短時間露光の場合は、被写体の色が特定色に偏っていても、特定色の色成分は飽和しにくく、短時間露光画像信号の色相も歪みにくい。このため、検出された偏り度に基づいて基準値 Y sを減少させるようにすれば、短時間露光画像信号が選択されやすくなり、合成画像信号の色相に歪みが生じる現象を抑えることができる。

なお、この実施例では、 R s a t— Nを求めるとき、 3 & 1;から& 3 & 1:を減算するようにしているが、これに代えて Y信号レベルが飽和している画素の総数 Ys a tを検出し、 R s a tから Ys a tから減算するようにしてもよい。また、この実施例では、長時間露光および短時間露光を行うとき絞り量を固定値（プリ露光で求めた絞り量）とし、露光時間を変動させるようにしているが、露光時間に加えてまたは露光時間に代えて、絞り量を変動させるようにしてもよい。さらに、この実施例では、 R s a t— Nに基づいて基準値 Ysを決定するようにしているが、 B s a t_N (=B s a t— G s a t) を算出し、当該 B s a t —Nに基づいて基準値 Ysを決定するようにしてもよい。そうすれば、 B信号を多く含む色について、色相が歪んだ部分が浮き出すような現象の発生を防止することができる。

また、数式 3に従う演算では、基準値 Y sを R s a t— Nの値に応じて線形に変化させるようにしているが、基準値 Y sは、 R s a t— Nの値に応じて非線形に（たとえば 2次関数に従って）変化させてもよい。さらに、この実施例では、長時間露光を先に実行し、続いて短時間露光を実行するようにしているが、この順序は逆でもよい。

さらに、この実施例では、 R s a t— Nを求めるとき Rレベルが飽和している画素の総数 R s a tから Gレベルが飽和している画素の総数 G s a tを減算するようにしている。しかし、 Rレベルおよび Gレベルを 1画素毎に閾値と比較し、 Rレベルは飽和するが Gレベルは飽和しない画素の数を積分し、そして積分値を R s a t—Nと定義するようにしてもよい。

図 9および図 1 0を参照して、他の実施例のディジタルカメラ 1 0は、 C P U 4 4内にカウンタ 4 4 rおよび 4 4 gが形成される点、および図 1 1〜図 1 7に示すフロー図に従う処理が C P U 4 4によって実行される点を除き、図 1実施例と同様である。また、図 1 1および図 1 2に示すステップ S 1 0 1〜S 1 3 1は図 3および図 4に示すステップ S 1〜S 3 1と同様であり、図 1 3〜図 1 5に示すステップ S 1 5 5〜S 1 9 3は図 4〜図 6に示すステップ S 3 9〜S 7 7と同様である。このため、同様の部分についての重複した説明は省略する。

図 1 2に示すステツプ S 1 2 7および S 1 2 9の処理が 1フレーム期間にわたつて行われ、ステップ S 1 3 1で Y E Sと判断されると、ステップ S 1 3 5で白バランス調整処理が行われ、ステップ S 1 3 7で最適露光時間が算出される。白パランス調整および最適露光時間の算出はそれぞれ、テーブル 4 4 aに格納された R G B信号および Y信号に基づいて行われる。最適露光時間が算出されると、当該最適露光時間がステップ S 1 3 9で T G 1 8に設定される。

ステップ S 1 4 1では VDパルスの発生の有無が判別され、 Y E Sと判断されたときにステップ S 1 4 3でプリ露光を行われる。このプリ露光は、ステップ S 1 1 7で算出された絞り量 Fおよびステップ S 1 3 7で算出された最適露光時間に従って実行される。このような最適露光量に従うプリ露光の後に VDパルスが発生すると、ステップ S 1 4 5で Y E Sと判断され、ステップ3 1 4 7〜3 1 5 1でステップ S 127〜S 131と同様の処理が行われる。これによつて、ステップ S 143のプリ露光に基づく 1フレームの RGB信号および Y信号がテープル 44 aに格納される。ステップ S 151で YESと判断されると、処理はステップ S 153における基準値決定処理を経てステップ S 155に進む。

ステップ S 153の基準値決定処理は、図 16および図 17に示すサブルーチンに従って実行される。まずステップ S 201でカウンタ 44 rのカウント値 R c n tおよびカウンタ 44 gのカウント値 Gc n tが " 0" に設定され、ステツプ S 203でテ一プル 44 aを参照して Y i j , (R— G) i jおよび（B— G) i jが算出される。

被写体像は図 18に示すように水平方向および垂直方向に 8分割され、合計 6 4個の分割エリァが画面上に形成される。 iおよび jはそれぞれ水平方向および垂直方向における分割エリアの位置を示し、 "1"〜 "8"のいずれか 1つが iおよび jに割り当てられる。 Y i jは分割エリア（ i , j ) から検出された Y信号の積分値を示し、輝度評価値と定義することができる。一方、 (R-G) i jは分割エリア（ i, j) から検出された R信号および G信号の各々の積分値の差分を示し、（B— G) i jは分割エリア（i, j )から検出された B信号および G信号の各々の積分値の差分を示す。

ステップ S 205では、数式 4の演算が実行される。数式 4によれば、 (R-G) i jおよび（B— G) i jの各々が輝度評価値によって割り算する。

[数式 4]

f y (R-G) i j = (R-G) i j ZY i j

f y (B-G) i j = (B-G) i j /Y i j

(R-G) i jおよび（B— G) i jが示す数値には、プリ露光時の露光量が反映される。つまり、露光量が多ければ数値は大きくなるが、露光量が小さければ数値は小さくなる。このような特性を持つ（R— G) i jおよび（B— G) i jを各分割エリアの色評価値と定義すると、色評価値は露光量によって変動する。一方、被写体の色は本来的に露光量に依存せず、被写体および光源が変化しない限り、被写体の色は常に同じである。したがって、露光量が変更されても、色評価値は同じ値をとり続けるべきである。このため、数式 4に従って（R— G) i jおよび（B— G) i jの各々が露光量に関連する輝度評価値 Y i jによって割り算され、割り算値が色評価値とされる。これによつて色評価値は露光量に依存しなくなり、被写体の色を正確に評価することができる。

ステップ S 207では f y (R-G) i jおよび f y (B— G) i jが図 19 に示す色分布図のエリア Rに含まれるかどうかが判別され、ステップ S 209では Y i jが閾値 t h 1を上回るかどうかが判別される。ステップ S 207および S 209のいずれか一方でも NOと判断されると、処理はそのままステップ S 2 13に進むが、ステップ S 207および S 209の両方で YESと判断されると、ステップ S 211でカウント値 Rc n tがインクリメントされ、その後処理がステツプ S213に進む。したがって、カウント値 Re n tは、注目する分割エリァの色評価値がェリア Rに属しかつ当該分割ェリァの画像が高輝度であるときに、ステップ S 213では f y (R-G) i jおよび f y (B-G) i jが図 19 に示す色分布図のエリア Gに含まれるかどうかが判別され、ステップ S 215では Y i jが閾値 t 2を上回るかどうかが判別される。ステップ S 213または S 215で NOと判断されると処理はそのままステップ S 219に進むが、ステップ S 213および S 215の両方で YESと判断されると、ステップ S 217 でカウント値 Gc n tがインクリメントされ、その後処理がステップ S 219に進む。したがって、カウント値 Ge n tは、注目する分割エリアの色評価値がェリァ Gに属しかつ当該分割ェリァの画像が高輝度であるときに、インクリメントされる。

ステップ S 219では図 18に示す全ての分割エリアについて判別処理が行われたかどうかが判断され、 Y E Sと判断されるまでステップ S 203〜S 217 の処理が繰り返される。この結果、ステップ S 207および S 211の判別結果に応じてカウント値 Rcn tが更新され、ステップ S 213および S 215の判別結果に応じてカウント値 Gc n tが更新される。

図 19に示すエリア：は R成分を多く含むエリアであり、エリア Gは G成分を多く含むエリアである。したがって、高輝度でかつ R成分を含む部分が多いほどカウント値 Rcn tが大きくなり、高輝度でかつ G成分を含む部分力多いほど力ゥント値 Gc n tが大きくなる。また、図 19から分かるように、エリア Rには、人間の肌の色も含まれる。このため、明るい場所で人間の顔が撮影されたときは、顔の画像が存在する分割エリアを判別するときにカウント値 Rc n tがインクリメントされる。

ステップ S 221では、テーブル 44 aを参照して R s a t， Gs a tおよび B s a tが検出される。上述のように、 Rs a tは Rの関する色飽和度であり、 Gs a tは Gに関する色飽和度である。また、 B s a tは Bレベルが飽和している画素の総数であり、 Bに関する色飽和度と定義することができる。

ステップ S 223ではカウント値 Gc n tが判別され、ステップ S 225では Gs a tおよび B s a tが互いに比較される。 G c n t = 0であるか、 Gen t ≥1であっても Gs a t≤B s a tであれば、処理はステップ S 227に進む。一方、 Ge n 1;≥1でかっ03 a t>B s a tであれば、処理はステップ S 22 9に進む。ステップ S 227では数式 5に従って R s a t_Nが算出され、ステップ S 229では数式 6に従って R s a t— Nが算出される。

[数式 5]

R s a t一 N = R s a t— Gs a t

[数式 6]

R s a t一 N = R s a t -B s a t

上述のように、通常は G信号が飽和するときに輝度レベルも飽和するため、図 1実施例では Gs a tが輝度飽和度と定義される。そして、 Rs a tから Gs a tを減算することによって、輝度レベルは飽和していないが Rレベルが飽和している画素の総数が求められる。しかし、被写体によっては輝度レベルが飽和せずに Gレベルが飽和するものもあり、このような被写体では Gs a tを輝度飽和度と定義することはできない。一方、輝度レベルが飽和するときは Gレベルだけでなく Bレベルも飽和するため、 Gs a tおよび B s a tのうち小さい方の数値が、輝度レベル力飽和している画素数に近いと言える。このため、ステップ S 225 で Gs a tが B s a tと比較され、小さい方の数値を Rs a tから減算することで、 R信号の偏り度である Rs a t— Nが求められる。

また、 Gcn t = 0のときは、被写体に G成分が含まれない力あるいは被写体の輝度が全体的に低い。このため、原則通り、 Gs a tを輝度飽和度と定義することができる。このとき、処理は、ステップ S 225の比較処理を経ることなくステップ S 227に進み、数式 5に従って R s a t— Nが求められる。

ステップ S 231では、算出された R s a t— Nの値が判別される。そして、 R s a t—N>0の条件が成立すれば処理はそのままステップ S 235に進み、 R s a t— N≤0の条件が成立すればステップ S 233で R s a t__Nが "0" に設定され、その後処理がステップ S 235に進む。この処理は、図 7に示すステツプ S 87および S 89と同じである。

ステップ S 235では、カウント値 Rc n tが "1" と比較される。そして、 R c n t≥ 1の条件が成立すればステップ S 237で数式 7に従って R s a t— Nが更新され、 R c n t = 0の条件が成立すればステツプ S 239で Rs a t— Nが "0" に設定される。

[数式 7]

R s a t_N = R s a t一 N氺 R c n t

R s a t— Nが確定すると、ステップ S 241〜S 245で図 7に示すステツプ S 91〜S 95と同様の処理が行われる。これによつて、基準値 Y sが決定される。

一般のユーザは人間を被写体として選ぶことが多いため、人間の肌の画像に色相の歪みが現れるような事態はできるだけ回避するべきである。このため、人間の肌の画像に最も多く含まれる R成分が注目され、 R c n t≥ 1の条件が成立するときに R s a t— Nが Rcn tによって掛け算される。つまり、高輝度でかつ色評価値が Rエリアに属する分割ェリアの数によって、 Rの偏り度に重み付けがかけられる。これによつて、カウント値 Rcn tが大きいほど基準値 Ysが低下し、短時間露光画像信号が図 9に示すスイッチ S W 1によつて選択されやすくなる。この結果、 R成分を含む色について色相の歪みが抑制される。

なお、 Rc n t = 0のとき、 Rs a t_Nは " 0" に設定され、これによつて基準値 Ysは最大値 Ys maxに設定される。カウント値 R c n tが " 0 " となるのは、全ての分割エリアの画像が低輝度であるか R成分を含まないときである。このような場合、基準値 Ysを最大値 Ysmaxに設定しても色相は歪まないと思われるため、基準値 Y sが最大値 Y s m a xに設定される。

この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。

Claims

請求の範囲

1 . 第 1露光量に従う第 1露光によって得られた被写体の第 1画像信号と第 1 露光量よりも少ない第 2露光量に従う第 2露光によつて得られた前記被写体の第 2画像信号とに基づいて前記被写体の合成画像信号を生成する画像合成装置であつて、次のものを備える：

前記第 1画像信号および前記第 2画像信号のいずれか一方の明るさ関連レベルを基準値と比較する比較手段；

前記明るさ関連レベルが前記基準値以下のとき前記第 1画像信号を選択する第 1選択手段；

前記明るさ関連レベルが前記基準値よりも大きいとき前記第 2画像信号を選択する第 2選択手段；

前記被写体の色の偏り度を検出する偏り度検出手段；および

前記偏り度に基づいて前記基準値を減少させる減少手段。

2 . クレーム 1に従属する画像合成装置であって、所定露光量に従う露光によつて得られた前記被写体の第 3画像信号を取り込む取り込み手段をさらに備え、前記偏り度検出手段は、前記第 3画像信号に基づいて特定色の色飽和度を検出する色飽和度検出手段、前記第 3画像信号の輝度飽和度を検出する輝度飽和度検出手段、および前記色飽和度から前記輝度飽和度を減算する減算手段を含む。

3. クレーム 2に従属する画像合成装置であって、前記色飽和度検出手段は前記特定色の色レベルが飽和している画素の第 1画素数を検出し、前記輝度飽和度検出手段は輝度が飽和している画素の第 2画素数を検出する。

4. クレーム 2または 3に従属する画像合成装置であって、前記所定露光量は前記第 1露光量よりも少なくかつ前記第 2露光量よりも多い。

5 . クレーム 1ないし 4のいずれかに従属する画像合成装置であって、前記減少手段は前記偏り度が大きいほど前記基準値を大きく減少させる。

6 . クレ一ム 1ないし 4のいずれかに従属する画像合成装置であって、被写体像を形成する複数部分の各々が所定条件を満たすかどうかを判別する判別手段をさらに備え、

前記減少手段は、前記所定条件を満たす部分の数に応じて前記偏り度に重み付けを施す重み付け手段、および前記重み付け手段による重み付け結果に基づいて前記基準値を減少させる基準値減少手段を含む。

7 . クレーム 6に従属する画像合成装置であって、前記所定条件は、注目する部分が特定色であるという第 1条件、および前記注目する部分が高輝度であるという第 2条件を含む。

8 . クレーム 1ないし 7のいずれかに従属する画像合成装置を備えるディジ夕ルカメラ。

9 . 第 1露光量に従う第： I露光によって得られた被写体の第 1画像信号と第 1 露光量よりも少ない第 2露光量に従う第 2露光によって得られた前記被写体の第 2画像信号とに基づいて前記被写体の合成画像信号を生成する画像合成方法であつて、次のステップを備える：

( a ) 前記第 1画像信号および前記第 2画像信号のいずれか一方の明るさ関連レベルを基準値と比較し；

( b ) 前記明るさ関連レベルが前記基準値以下のとき前記第 1画像信号を選択し；

( c ) 前記明るさ関連レベルが前記基準値よりも大きいとき前記第 2画像信号を選択し；

( d ) 前記被写体の色の偏り度を検出し；そして

( e ) 前記偏り度に基づいて前記基準値を減少させる。

1 0 . クレーム 9に従属する画像合成方法であって、所定露光量に従う露光によって得られた前記被写体の第 3画像信号を取り込むステップ（f ) をさらに備え、

前記ステップ（d ) は、前記第 3画像信号に基づいて特定色の色飽和度を検出するステップ（d— 1 )、前記第 3画像信号の輝度飽和度を検出するステップ（d 一 2 )、および前記色飽和度から前記輝度飽和度を減算するステップ（d— 3 ) を含む。