JP4693522B2 - 撮像装置 - Google Patents

Description

本発明は、ＣＣＤ等の撮像素子を用いて撮像した画像を圧縮符号化する撮像装置に関し、特に圧縮後の画質劣化を抑制することの可能な撮像装置に関する。

例えばデジタルカメラやデジタルビデオカメラといった撮像装置において、映像データを圧縮処理する際には、目標ビットレート（符号量）を基準にした圧縮処理を行う必要がある。その一方で、限られた符号量の中で、見た目の解像感がよく、かつ効率的なデータ圧縮をすることが望まれる。

この要望を実現するべく、特許文献１では、画像圧縮時に入力画像を注目領域と非注目領域に分類し、注目領域に非注目領域よりも多くの符号量を割り当てて（高ビットレートで）符号化することが提案されている。なお、特許文献１では、入力画像に付随した注目領域情報や分割ブロック内の輝度分布を基準にして、注目領域と非注目領域とを分類している。

特開２０００−１３４６２２号公報

しかしながら、特許文献１記載の方法では、入力画像を画像圧縮する時点で注目領域と非注目領域に分類している。そのため、画像圧縮前に行う信号処理に関しては、注目領域も非注目領域も差がない。このような画像圧縮前の信号処理としては、ＣＣＤ等の撮像素子の出力信号に対するノイズリダクション処理やアパーチャ補正等のカメラ信号処理がある。

つまり、圧縮符号化に供される信号は、注目領域と非注目領域の区別無く、同一のカメラ信号処理を行った信号である。そのため、符号化時に注目領域に多くの符号量を割り当てても、実感できる程度の画質改善効果が得られないことがあった。

本発明はこのような従来技術の課題に鑑みなされたものであり、限られた符号量で、画質の劣化が目立たないように圧縮可能な撮像装置を提供することを目的とする。

上述の目的は、撮像画像データに、予め定められた信号処理を適用して出力する信号処理手段と、信号処理手段の出力データを圧縮符号化する圧縮符号化手段と、信号処理手段の処理過程で得られる自動合焦制御に用いる評価値データに基づいて、撮像画像データのうち合焦しているブロックを注目ブロックとして分類し合焦していないブロックを非注目ブロックとして分類する分類手段と、被写界深度を算出する被写界深度算出手段と、分類手段の分類結果および被写界深度算出手段の算出した被写界深度に基づいて、信号処理手段が撮像画像データに適用する信号処理を制御する制御手段とを有し、制御手段が、注目ブロックに含まれる画像データに対しては、非注目ブロックに含まれる画像データよりも、圧縮符号化の符号量に関係する高周波成分を残すように信号処理を制御し、被写界深度算出手段により算出された被写界深度が浅いほど、注目ブロックに含まれる画像データで残す高周波成分と非注目ブロックに含まれる画像データで残す高周波成分との差を大きくすることを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、限られた符号量で、画質の劣化が目立たないように圧縮可能な撮像装置が実現できる。

＜＜第１の実施形態＞＞
以下、図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
（ビデオカメラの全体構成）
図１は、本発明の第１の実施形態に係る撮像装置としてのデジタルビデオカメラの構成例を示すブロック図である。

ズームレンズ１Ａはズームモータ１Ｂ、絞り２ＡはＩＧメータ２Ｂ、フォーカスレンズ３Ａはフォーカスモータ３Ｂによりそれぞれ駆動される。また、ズームモータ１Ｂはモータドライバ１Ｃ、ＩＧメータ２ＢはＩＧドライバ２Ｃ、フォーカスモータ３Ｂはモータドライバ３Ｃを介し、それぞれレンズ制御部４の命令に基づいて制御される。また、ズームレンズ１Ａ、絞り２Ａ及びフォーカスレンズ３Ａの位置情報は、ズームエンコーダ１Ｄ，アイリスエンコーダ２Ｄ及びフォーカスエンコーダ３Ｄによって検出され、レンズ制御部４へ供給される。これら位置情報はオートフォーカス制御など様々な処理に用いられる。

ズームレンズ１Ａ、絞り２Ａ及びフォーカスレンズ３Ａを透過した光束は、撮像素子の一例である電荷結合素子（ＣＣＤ）６に結像し、電荷が蓄積される。ＣＣＤ６はタイミング発生器（ＴＧ）８が出力するタイミング信号に基づいて駆動され、電荷が読み出されることにより、画像信号が得られる。ＴＧ８はまた、図示しないシャッターを制御し、適切な量の電荷がＣＣＤ６に蓄積されるように制御する。

アナログフロントエンド（ＡＦＥ）回路７は、ＣＣＤ６から読み出された各画素の電気信号に対し、リセットノイズ除去、利得調整、アナログ−ディジタル（ＡＤ）変換等を行い、ディジタル撮像信号を生成する。ＡＦＥ７の出力であるディジタル撮像信号は、カメラ信号処理回路９に入力される。

（カメラ信号処理部９）
カメラ信号処理回路９の構成例を図２に示す。ロー（ＲＡＷ）データノイズ低減（ＮＲ）回路９０１は、ＡＦＥ７の出力にフィールドもしくはフレーム巡回ノイズ低減処理を施す巡回型ノイズ低減回路である。ローデータＮＲ回路９０１は、メモリ９０１１がフレームメモリの場合にはフレーム巡回ＮＲ処理を行い、メモリ９０１１がフィールドメモリの場合にはフィールド巡回ＮＲ処理を行う。

メモリ９０１１の出力信号が、ノイズ成分を全て除去した映像信号であるとすると、ＡＥＦ７の出力からメモリ９０１１の出力を減算する減算器９０１２の出力信号はノイズ成分である。減算器９０１２の出力は、図１の主制御部２２からデータバス１４を介して入力された閾値ｔｈ１を有するリミッタ９０１３に入力される。リミッタ９０１３は、閾値ｔｈ１以下のレベルの信号をノイズ成分として抽出し、乗算器９０１４へ出力する。

乗算器９０１４では、ノイズ成分に図１の主制御部２２からの巡回係数ｌｅｖｅｌ１を乗じて減算器９０１５に送る。減算器９０１５で、ＡＦＥ７から入力した信号から、乗算器９０１４の出力を差し引いて、ノイズ低減（ＮＲ）処理を実現する。

このとき、巡回係数ｌｅｖｅｌ１（０≦ｌｅｖｅｌ１≦１）を最大値１に近付けると、入力映像信号に含まれるノイズ成分を除去する割合が大きくなるので、ノイズ低減効果は大きくなる。また、リミッタ９０１３に与える閾値ｔｈ１を大きくした場合も、ノイズとして抽出される信号のレベルが大きくなるので、結果としてノイズ低減効果は大きくなる。

ローデータＮＲ回路９０１の出力は輝度・色（ＹＣ）分離回路９０２でフィルタリングにより輝度成分と色成分に分離される。

ＹＣ分離回路９０２で分離された輝度成分Ｙは、低域通過フィルタ（ＬＰＦ）９０３で主制御部２２から設定された周波数ｆｙｌに帯域を制限し、色キャリアの除去等を行うと同時に、必要な周波数成分のみを取り出す。ＬＰＦ９０３の出力は、後述するＡＦ前処理回路１０、ＡＥ前処理回路１１、ベクトル検出回路１２、輪郭閉領域検出回路１３と、輪郭成分検出回路９０４へ出力される。輪郭成分検出回路９０４は、高域通過フィルタ（ＨＰＦ）を用い、ＬＰＦ９０３の出力から、主制御部２２により設定された周波数ｆｙｈを中心周波数とする輪郭（エッジ）成分を検出して出力する。加算器９０５は、輪郭成分検出回路９０４とＬＰＦ９０３の出力を加算してアパーチャ補正を行う。加算器９０５の出力は輝度信号処理回路９０６でガンマ補正等の輝度信号に関する処理を行う。

一方、ＹＣ分離回路９０２で分離された色成分Ｃは、色信号処理回路９０７に供給される。色信号処理回路９０７は、ホワイトバランス、ガンマ補正等の色信号に関する処理を行い、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成する。色信号処理回路９０７の出力である色差信号（Ｒ−Ｙ，Ｂ−Ｙ）はそれぞれＬＰＦ９０８，９０９で主制御部２２から設定された周波数ｆｃｌに帯域を制限し、必要な周波数成分のみを取り出す。そして、色差信号多重化回路９１０でＲ−Ｙ成分とＢ−Ｙ成分を多重化する。

輝度信号処理回路９０６の出力と色差信号多重化回路９１０の出力はＹＣ多重化回路９１１で多重化され、ＹＣノイズ低減（ＮＲ）回路９１２へ供給される。ＹＣＮＲ回路９１２は、ＲＡＷデータＮＲ回路９０１と同様の動作で、多重化されたＹ成分Ｃ成分それぞれにＮＲ処理を施す。主制御部２２では閾値ｔｈ２と巡回係数ｌｅｖｅｌ２をリミッタ９１２３と乗算器９１２４に設定する。

ＹＣＮＲ回路９１２の出力はセレクタ１５に送られる。セレクタ１５では、映像信号の記録時にはＹＣＮＲ回路９１２の出力を、再生時は圧縮伸張処理回路１９（実際にはデータバス１４を介する）を選択して出力する。セレクタ１５の出力はディジタル−アナログ（ＤＡ）変換器１６でアナログ信号に変換された後、モニタ１７に表示される。ＬＣＤ等のモニタ１７で、撮影画像または再生画像をモニタリングすることができる。

（圧縮伸張処理回路１９）
ＹＣＮＲ回路９１２の出力はデータバス１４を介して圧縮伸張処理回路１９へも送られる。圧縮伸張処理回路１９の構成例を図３に示す。本実施形態において、圧縮伸張処理回路１９はＭＰＥＧ方式に準拠した圧縮伸張処理を行うものとして説明するが、他の方式による圧縮伸張処理を行うものであってもよい。

圧縮伸張処理回路１９は、データ圧縮処理部１９Ａとデータ伸張処理部１９Ｂからなる。
ＹＣＮＲ回路９１２から圧縮すべく入力された画像データは、データ圧縮処理部１９Ａにおいて、入力バッファメモリ１９０１に蓄えられる。その後、入力バッファメモリ１９０１に記憶されている画像データを、ブロック化回路１９０２で所定サイズ、例えば８×８画素、のブロックに分割する。ＤＣＴ回路１９０４は、スイッチ１９０３を介して入力されたブロック単位の画像データに離散コサイン変換（ＤＣＴ）を施し、ＤＣＴ係数を出力する。スイッチ１９０３は、入力された画像データがＩ−ピクチャかそれ以外のピクチャかに応じて切換えられ、Ｉ−ピクチャの場合はブロック化回路１９０２の出力を選択し、それ以外のＢ，Ｐピクチャの場合は減算器１９１４の出力を選択する。

量子化器１９０５は、ＤＣＴ回路１９０４から出力されたＤＣＴ係数を、レート制御回路１９０８から設定される量子化ステップで量子化し、結果を量子化係数として出力する。可変長符号化器（ＶＬＣ）１９０６は、量子化器１９０５から出力された量子化係数を可変長符号化する。出力バッファメモリ１９０７は、ＶＬＣ１９０６から出力された可変長符号を一時記憶する。

逆量子化器１９０９および逆ＤＣＴ回路１９１０は局部復号器を構成し、量子化器１９０５から出力された量子化係数に逆量子化処理と逆ＤＣＴ処理を順次施してブロック単位の局部復号ブロックを得る。動き補償回路１９１２は、加算器１９１１を介して逆ＤＣＴ回路１９１０から出力された局部復号ブロックを入力するとともに、所定のフレーム（前フレーム、後フレームまたはこれらの補間フレーム）における対応マクロブロックを出力する。また、スイッチ１９１３は、Ｉ−ピクチャが処理されている場合以外は閉じる。

減算器１９１４は、動き補償回路１９１２の出力とブロック化回路１９０２の出力とを減算処理する。その差分値（動き補償誤差）は、Ｉ−ピクチャ以外の場合、スイッチ１９０３を介してＤＣＴ回路１９０４へ入力され、符号化が施される。
また、レート制御回路１９０８は、出力バッファメモリ１９０７における符号の占有量に基づいて、量子化器１９０５の量子化ステップを変更することより符号量制御を行う。

出力バッファメモリ１９０７の出力はデータバス１４を介して記録再生処理回路１８（図１）に送られる。記録再生処理回路１８は、受け取ったデータを、メモリカード、光／磁気ディスク、磁気テープ等の記録メディア２０に記録するのに適したフォーマットに変換し、記録メディア２０に記録する。

再生時には、記録メディア２０から読み出したデータを、記録再生処理回路１８で、後のデータ伸張処理に適したフォーマットに変換し、データバス１４を介して圧縮伸張処理回路１９に送る。

圧縮伸張処理回路１９の中のデータ伸張処理回路１９Ｂでは記録再生処理回路１８から再生した符号化データを一旦入力バッファ１９１５に格納する。可変長復号器（ＶＬＤ）１９１６は、入力バッファ１９１５から符号化データを順次読み出し、可変長復号化する。逆量子化器１９１７は、ＶＬＤ１９１６で復号されたデータを逆量子化する。逆ＤＣＴ回路１９１８は、逆量子化器１９１７で逆量子化されたデータに逆ＤＣＴを施して、空間領域のデータに変換する。動き補償回路１９２０は、スイッチ１９１９を介してデータを入力し、動き補償用の差分値を出力する。加算器１９２１は、逆ＤＣＴ回路１９１８の出力に、動き補償回路１９２０から出力された差分値を加算する。

なお、スイッチ１９１９は、Ｉ−ピクチャの場合は逆ＤＣＴ回路１９１８の出力を選択し、Ｂ，Ｐピクチャの場合は加算器１９２１の出力を選択する。復号されたデータであるスイッチ１９１９の出力は、出力バッファ１９２２に一旦記憶され、元の空間配置に復元されて１フレームの画像データとして出力される。

出力バッファ１９２２の出力はデータバス１４を介してセレクタ１５（図１）に送られ、さらにディジタル−アナログ（ＤＡ）変換器１６（図１）でアナログ信号に変換された後、モニタ１７に表示される。

（領域分類処理）
上述のように、カメラ信号処理部９のＬＰＦ９０３の出力は、ＡＦ前処理回路１０、ＡＥ前処理回路１１、動きベクトル検出回路１２、輪郭閉領域検出回路１３に送られる。これらの回路は、入力画像の輝度信号に基づいて、個々の回路に特有の条件から入力画像中の注目領域と非注目領域とを判別する。

ＡＦ前処理回路１０では、ＬＰＦ９０３の出力である映像信号を図４（ａ）に示すように複数ブロックに分け、ブロック毎にＡＦに必要な評価値を生成して主制御部２２に送る。合焦制御に必要な評価値としてどのようなものを使用してもよいが、多点測距枠の合焦情報を用いることができる。具体的には、例えば特開平６−２６８８９６号公報に示されるような、ＴＥ／ＦＥピーク評価値、ＴＥラインピーク積分評価値、ＦＥラインピーク積分評価値を用いることができる。

主制御部２２では、ＡＦ前処理回路１０から取得した評価値に基づいて、そのブロックが合焦しているかどうか判別する。例えば図４（ａ）で被写体４０１にピントが合っている場合、主被写体は被写体４０１であり、図４（ａ）中、被写体４０１を含むブロック（灰色）を注目領域（注目ブロック）、被写体４０１を含まないブロック（白色）を非注目領域（非注目ブロック）として判別する。

ＡＥ前処理回路１１では、ＬＰＦ９０３の出力である映像信号を図４（ｂ）に示すように複数ブロックに分け、ブロック毎にＡＥに必要な評価値を生成して主制御部２２に送る。自動露出制御に必要な評価値として特に制限はないが、例えば特開平６−８６１４７号公報に示されるような、検出枠内のデータ積分値をＡＥ評価値として用いることができる。主制御部２２では取得した評価値から、そのブロックの輝度レベルが適正レベルであるかどうか判別する。

図４（ｂ）で被写体４０２に露出が合っている場合、主被写体は被写体４０２であり、図４（ｂ）で被写体４０２を含むブロック（灰色）を注目領域、被写体４０２を含まないブロック（白色）を非注目領域として判別する。

動きベクトル検出回路１２では、ＬＰＦ９０３の出力である映像信号を図４（ｃ）に示すように複数ブロックに分け、ブロック毎に動きベクトルを求め主制御部２２に送る。動きベクトルの算出方法もまた特に制限されないが、例えば所定空間周波数成分の二値化結果をマッチング演算する方法を用いることができる。

図４（ｃ）の被写体４０３が主たる被写体であるとき、撮影者は被写体４０３の動きが止まるように撮影するので、主制御部２２では動きベクトルが小さい図４（ｃ）中の被写体４０３を含むブロック（灰色）を注目領域、動きベクトルが大きいブロック（白色）を非注目領域として判別する。

輪郭閉領域検出回路１３では、ＬＰＦ９０３の出力である映像信号から、輪郭で囲まれた閉領域を検出し、閉領域の内か外かを示す判別信号を、図４（ｄ）に示すブロック情報と共に主制御部２２に送る。閉領域の抽出方法にも特に制限はないが、例えば、輪郭を構成する画素（エッジ画素）のエッジ方向（第１〜第４のエッジ方向のいずれか）を判別し、各エッジ画素からそのエッジ方向に延びる直線が交差する位置にある画素を閉領域内画素と判別する方法を利用できる。

主制御部２２では検出した閉領域を含む図４（ｄ）中の被写体４０４を含むブロック（灰色）を注目領域、閉領域を含まないブロック（白色）を非注目領域として判別する。輪郭信号を注目非注目領域の判別に用いると主被写体の輪郭を含むブロックのみが注目領域と判定されるのに対し、輪郭閉領域信号を注目非注目の判別に用いると主被写体全体を含むブロックが注目領域と判定される。そのため、後者の場合、主被写体を含む領域全体に対して選択的な処理を行うことができ、結果として領域全体に対して画質劣化を抑制することができる。

なお、ここでは、注目領域と非注目領域とを判別、分類する方法として、４通りの方法を説明したが、符号化前に行う信号処理によって判別、分類が可能であれば、他の任意の方法を用いることが可能である。

例えば、動きベクトルから主被写体を判別する方法として、動きベクトルが小さいブロックを注目領域と判断する以外に、各ブロックの動きベクトルから画像全体の動きベクトル（撮影者が動かした量）を求め、それに近い動きベクトルを持つブロックを注目領域としてもよい。

また、これらの方法は１つ又は２つ以上を組み合わせることも可能である。２つ以上を組み合わせて用いる場合、各方法が注目領域と判定する領域と、最終的に注目領域とする領域との関係は適宜設定することができる。

たとえば、いずれかの方法で注目領域と判定される領域や、全ての方法で注目領域と判定される領域を最終的な注目領域と判定したり、方法毎の注目領域に重み付けを行い、閾値以上の重みを有する領域を最終的な注目領域と判定したりすることが可能である。

（制御部２２によるカメラ信号処理部９の制御）
次に、本実施形態のデジタルビデオカメラにおける、制御部２２によるカメラ信号処理部９の制御方法について、図５に示すフローチャートを用いて説明する。

本実施形態においては、注目領域中の被写体は撮影者が特に記録したい対象であると考えられることから、注目領域の時間的、空間的高周波成分を非注目領域よりも残しながら圧縮符号化処理を行う。具体的には、圧縮符号化処理が行われる信号中の高周波成分の量を、注目領域で非注目領域より多くする。これにより、圧縮符号化時には注目領域に多くの符号量が割り当てられ、非注目領域には少ない符号量が割り当てられる。従って、全体としての符号量は維持しながら（目標のビットレートを満足しながら）、視覚的に圧縮符号化による画質劣化を感じにくい、すなわち高画質な圧縮符号化結果を得ることが可能となる。

このため、本実施形態においては、制御部２２がカメラ信号処理部９の信号処理パラメータを制御することで、カメラ信号処理部９が出力する信号に含まれる高周波成分の量を制御する。そして、注目領域の信号は非注目領域の信号よりも高周波成分を多く含むように制御することにより、圧縮符号化時には注目領域に対して符号量が多く割り当てられ、高画質な圧縮符号化結果を実現する。

まず、図４に示すように分割したブロック毎に、図１のＡＦ前処理回路１０、ＡＥ前処理回路１１、動きベクトル検出回路１２、輪郭閉領域検出回路１３から出力される評価値をデータバス１４を介して主制御部２２で取得する（Ｓ５０２）。そして、Ｓ５０３で、現ブロックが、ピントが合っているか、最適露出になっているか、動きベクトル値は小さいか、輪郭閉領域の内部かといった上述の注目ブロック判断条件を満たしているかどうかを主制御部２２で判断して、注目ブロックかどうかを判断する。このとき、ＡＦ前処理回路１０、ＡＥ前処理回路１１、動きベクトル検出回路１２、輪郭閉領域検出回路１３の出力全てを用いて判断しても、４つの出力のうち一部を用いて判断してもよい。

現ブロックが注目領域であると判断された場合にはＳ５０４で、非注目領域と判断された場合にはＳ５０５で、カメラ信号処理回路９で処理中の映像信号が注目領域と非注目領域の境界付近であるかどうかを判断する。これは、注目領域と非注目領域で信号処理を急に切り換えると、視覚的に注目領域と非注目領域の境界で違和感を生じるためである。

Ｓ５０３，Ｓ５０４で、注目領域でありかつ注目領域と非注目領域の境界付近ではないと判断された場合、Ｓ５０７において主制御部２２は以下のような制御を行う。すなわち、カメラ信号処理部９の出力する信号（ＹＣＮＲ９１２の出力信号）が非注目領域の信号よりも高周波成分を多く含むよう、カメラ信号処理回路９にパラメータセットＰｈを設定する。

例えば、図２の低域通過回路（ＬＰＦ）９０３での通過域端周波数ｆｙｌを色キャリアが発生しない程度に高域に設定し、できる限り注目領域内の輝度信号の高周波成分を表現する。また、輪郭成分検出回路９０４で検出する輪郭（エッジ）成分の帯域ｆｙｈを高めに設定し、モニタ１７に表示したとき注目領域の高周波成分が鈍らないようにする。さらに、色信号に関しても、ＬＰＦ９０８，９０９の通過域端周波数ｆｃｌを、折り返しが生じない程度に高域に設定し、注目領域の高周波成分を表現する。

また、注目領域では動きが滑らかになるように、時間軸上にも多くの符号量を割り付ける。そこで、ローデータＮＲ回路９０１、ＹＣＮＲ回路９１２において、注目領域では巡回係数ｌｅｖｅｌ１，ｌｅｖｅｌ２、閾値ｔｈ１，ｔｈ２を残留ノイズが気にならない程度に小さな値にする。これにより、残像を防ぐと同時に時間軸上の相関を低くして、圧縮符号化時に多くの符号量を割り当てる。

以上のように、Ｓ５０７では主制御部２２で、カメラ信号処理部９において高周波成分を多く残した信号を生成するようなパラメータセットＰｈを生成し、カメラ信号処理部９の出力成分を制御する。これにより、データ圧縮処理回路１９Ａでの圧縮時に、注目領域に多くの符号量が割り当てられるようにする。

Ｓ５０３，Ｓ５０５で非注目領域であり、かつ注目領域と非注目領域の境界付近ではないと判断された場合は、Ｓ５０８において主制御部２２は以下のような制御を行う。すなわち、カメラ信号処理部９の出力する信号（ＹＣＮＲ９１２の出力信号）が注目領域の信号よりも高周波成分を少なく含むよう、カメラ信号処理回路９にパラメータセットＰｌを設定する。

例えば、図２の低域通過回路（ＬＰＦ）９０３での通過域端周波数ｆｙｌを低域に設定し、圧縮符号化時に少ない符号量が割り当てられるようにして、符号量が減った分、注目領域に充分な符号量が割り当てられるようにする。

また、輪郭成分検出回路９０４で検出する輪郭（エッジ）成分の帯域ｆｙｈを低めに設定しても、注目領域ではないのでモニタ１７に表示したときの高周波成分の鈍りは気付かれにくい。さらに、色信号に関してもＬＰＦ９０８，９０９の通過域端周波数ｆｃｌを低域に設定し、圧縮時に符号量を割り当てず、その分注目領域の色成分に充分な符号量が割り当てられるようにする。

非注目領域では時間軸上の相関を高くして、符号化時の情報を減らしてもよい。そこで、ローデータＮＲ回路９０１、ＹＣＮＲ回路９１２において、非注目領域では、巡回係数ｌｅｖｅｌ１，ｌｅｖｅｌ２、閾値ｔｈ１，ｔｈ２を大きな値にして、ノイズ低減効果を大きくすると同時に時間軸上の相関を高くして、符号化時の情報を減らす。

以上のように、Ｓ５０８では主制御部２２で、カメラ信号処理部９において高周波成分が少ない信号を生成するようなパラメータセットＰｌを生成し、カメラ信号処理部９の出力成分を制御する。これにより、非注目領域の圧縮符号化が低符号量で行われるようにし、データ圧縮処理回路１９Ａでの圧縮符号化時に注目領域に多くの符号量が割り当てられても、目標のデータレートを維持することが可能になる。

Ｓ５０４，Ｓ５０５でそれぞれ、カメラ信号処理回路９で処理中の映像信号が注目領域と非注目領域の境界付近であると判断された場合は、Ｓ５０６で境界からの距離に応じてＰｈ，Ｐｌを合成したパラメータＰｍを生成する。

図６を用いてパラメータＰｍの生成について説明する。注目領域、非注目領域それぞれにおいて「境界付近」とされる領域の幅を境界線からｒとする。すなわち、境界線を中心として幅２ｒの領域である。この領域ではＰｈ，Ｐｌを合成したパラメータＰｍを使用する。

注目領域における「境界付近」の始まりから距離ｄ離れた箇所では、非注目領域における「境界付近」の始まりの境界までの距離は２ｒ−ｄである。図６では、注目領域における「境界付近」の始まり地点を水平軸の原点とする座標軸を示している。この座標系において、水平軸の原点に垂直な軸上では、パラメータＰｈを用い、２ｒに垂直な軸上ではパラメータＰｌを用いるので、その間の領域では、
Ｐｍ＝ｋ＊Ｐｈ＋（１−ｋ）＊Ｐｌ 式１
（ここで、ｋ＝（２ｒ−ｄ）／２ｒ）
のように、Ｐｍを求めカメラ信号処理回路９に送る。実際には、本実施形態で示した図２における周波数の設定やＮＲ回路のパラメータに関し式１を適用する。

Ｓ５０６，Ｓ５０７，Ｓ５０８でパラメータを設定したら、Ｓ５０９で終了か否かを判断し、処理を継続するならば、Ｓ５０２に戻り、次のブロックの評価値データを取得する。終了であればＳ５１０に飛ぶ。

なお、境界からの距離を算出するには、不図示のカウンタにより、映像信号における画面上の位置をカウントして実現する。

以上説明したように、本実施形態によれば、ＣＣＤ等の撮像素子の出力である映像信号を所定数画素からなるブロックに分割し、ブロック毎に、合焦度、動きベクトル、輝度分布等を元に注目領域と非注目領域に分類する。そして、注目ブロック、非注目ブロックに応じて、輝度帯域、輪郭補償帯域、色差帯域等の空間的相関（高周波成分）の制御や、巡回ＮＲ等の時間的相関の制御を行う。

具体的には、注目領域に対しては非注目領域よりも高周波成分を残すようにカメラ信号処理を行ったり、時間的相関を低くするような制御を行う。また、非注目領域では、高周波成分が少なくなるような制御を行う。これにより、圧縮符号化時には注目領域に対して多くの符号量が割り当てられ、また非注目領域では少ない符号量が割り当てられることになる。従って、目標レートの達成と高画質とを両立できるという効果が得られる。

また、合焦情報や輝度信号の分布情報など、自動合焦制御や自動露出制御において通常の撮像装置が用いているカメラ評価値を用いて注目領域（ブロック）、非注目領域（ブロック）を判定するので、特段新たな構成を追加する必要が無い点も有利である。

＜＜第２の実施形態＞＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、制御部２２がカメラ信号処理部９に設定するパラメータセットＰｈ，Ｐｌについて、高周波成分の量に差が付くように決定するものであり、具体的な差をどのように決定するかは任意であった。本実施形態では、被写界深度に応じてパラメータセットＰｈ，Ｐｌの値の差、具体的にはカメラ信号処理部出力における高周波成分の差を調整することにより、よりきめ細かな画質制御を行う。

本実施形態に係るデジタルビデオカメラは、その構成及び基本動作において第１の実施形態と共通でよい。そのため、ここではパラメータセットＰｈ，Ｐｌの差をどのようにして決定するかという動作に関してのみ説明する。

図７は、本実施形態のデジタルビデオカメラにおける、パラメータセットＰｈ，Ｐｌの差を決定する動作を説明するフローチャートである。この動作は、例えば画像の１フレーム毎に実行し、実行結果はフレーム内の全ブロックの符号化処理に対して共通して適用される。

Ｓ７０２で、レンズ制御部４は、ズームエンコーダ１Ｄ及びアイリスエンコーダ２Ｄから、それぞれ焦点距離（ズーム倍率）、Ｆ値を送る。次にＳ７０３で、予め用意した、Ｆ値毎の焦点距離と被写界深度との対応テーブルを用いて、被写界深度を求める。このような対応テーブルとしては、例えば特開２００３−３３７２８０号公報（図２）に示されるグラフをテーブル化したものを例示することができる。

一般に、絞り２Ａが開放されＦ値が小さいほど、またズームレンズ１Ａがテレ端にあるほど被写界深度は浅く、ピントが合った主被写体を浮き立たせる。逆に、絞り２Ａが絞られＦ値が大きいほど、またズームレンズ１Ａがワイド端にあるほど被写界深度は深く、主被写体にピントをあわせた場合でも、その主被写体前後の物体にある程度ピントが合った状態になる。

Ｓ７０４で被写界深度が所定の値より浅いかどうか判断し、浅ければ主被写体以外にはほとんどピントが合わない状態と判断される。そのため、背景部分の空間的、時間的高域成分をかなり除去しても問題ない。その場合、データ圧縮処理回路１９Ａで圧縮すると符号量が相当削減されるので、その分、主被写体（注目領域）の空間的、時間的高域成分を強調して符号量を費やすことができる。従って、Ｓ７０５でパラメータＰｈ，Ｐｌを設定する際は、その差異を大きくする。

一方、被写界深度が所定値よりも深い場合は、主被写体以外にもある程度はピントが合っているので、Ｓ７０６でパラメータＰｈ，Ｐｌを設定する際は、その差異を小さくして、非注目領域に対しても程度の品質を確保する。

また、近年の映像機器製品には、特定の状況で被写体を撮る場合にシャッター速度及び絞りを予め決められた値に設定するプログラムＡＥ機能が付いている。具体的には、被写界深度を浅くして被写体を浮き上がらせ、特に人物等をきれいに撮るポートレートモードや、夏の浜辺や冬のスキー場等でその明るさを強調するサーフ＆スノーモード等がある。よって、図７のＳ７０４で被写界深度の浅深を判断するに当り、Ｓ７０２で焦点距離（ズーム倍率）、Ｆ値を求める代わりに、プログラムＡＥのモードを取得してモードに応じて一意的に被写界深度の浅深を判断してもよい。例えば、被写界深度の浅いモードではパラメータセットＰｈ，Ｐｌの差を大きくし、被写界深度の深いモードでは差を小さくするようにすればよい。

＜他の実施形態＞
前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理を撮像装置のコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の実施形態に係る撮像装置としてのデジタルビデオカメラの校正例を表すブロック図である。 図１におけるカメラ信号処理回路の内部構成例を表すブロック図である。 図１における圧縮伸張回路の内部構成例を表すブロック図である。 実施形態における映像信号のブロック分割と注目領域、非注目領域の例を表す図である。 第１の実施形態におけるカメラ信号処理制御動作を表すフローチャートである。 境界領域でのパラメータの算出原理を説明する図である。 第２の実施形態における、パラメータセットＰｈ，Ｐｌの差を決定するための動作を表すフローチャートである。

Claims (7)

1. 撮像画像データに、予め定められた信号処理を適用して出力する信号処理手段と、
   前記信号処理手段の出力データを圧縮符号化する圧縮符号化手段と、
   前記信号処理手段の処理過程で得られる自動合焦制御に用いる評価値データに基づいて、前記撮像画像データのうち合焦しているブロックを注目ブロックとして分類し合焦していないブロックを非注目ブロックとして分類する分類手段と、
   被写界深度を算出する被写界深度算出手段と、
   前記分類手段の分類結果および前記被写界深度算出手段の算出した被写界深度に基づいて、前記信号処理手段が前記撮像画像データに適用する前記信号処理を制御する制御手段とを有し、
   前記制御手段が、前記注目ブロックに含まれる画像データに対しては、前記非注目ブロックに含まれる画像データよりも、前記圧縮符号化の符号量に関係する高周波成分を残すように前記信号処理を制御し、前記被写界深度算出手段により算出された被写界深度が浅いほど、前記注目ブロックに含まれる画像データで残す前記高周波成分と前記非注目ブロックに含まれる画像データで残す前記高周波成分との差を大きくすることを特徴とする撮像装置。
2. 前記分類手段が、前記ブロックごとに輝度信号のレベルを検出し、当該輝度信号レベルに基づいて前記注目ブロックと前記非注目ブロックとを分類することを特徴とする請求項１記載の撮像装置。
3. 前記分類手段が、前記撮像画像データ中に含まれる、輪郭で囲まれた閉領域を検出するとともに、前記閉領域に含まれるブロックを前記注目ブロック、前記閉領域に含まれないブロックを前記非注目ブロックとして分類することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記信号処理手段が、色差信号又は輝度信号に対する低域通過フィルタを有し、
   前記制御手段が、前記低域通過フィルタの周波数特性を制御することにより、前記注目ブロックに含まれる画像データと、前記非注目ブロックに含まれる画像データに適用する信号処理を制御することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記信号処理手段が、高域通過フィルタを用いた輪郭検出手段を有し、
   前記制御手段が、前記高域通過フィルタの周波数特性を制御することにより、前記注目ブロックに含まれる画像データと、前記非注目ブロックに含まれる画像データに適用する信号処理を制御することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記信号処理手段が、巡回型ノイズ低減回路を有し、
   前記制御手段が、前記注目ブロックに対しては前記非注目ブロックよりも時間的相関が小さくなるように前記巡回型ノイズ低減回路を制御することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記制御手段が、前記注目ブロックと前記非注目ブロックの境界付近においては、前記注目ブロックに含まれる画像データで残す前記高周波成分の量と前記非注目ブロックに含まれる画像データで残す前記高周波成分の量とから生成した量、前記圧縮符号化の符号量に関係する高周波成分を残すように前記圧縮符号化を制御することを特徴とする請求項１記載の撮像装置。

Images