JP4612897B2 - 画像処理装置 - Google Patents

Description

本発明は、高周波強調と画像符号化からなる画像処理装置に関する。

従来、デジタルビデオカメラ等では、撮影レンズの解像力や光学ローパスフィルタなどの影響により、撮影画像は、実際の被写体と比べて輪郭がぼける傾向にあり、これを補正するため、輪郭強調処理を行うのが一般的である。具体的には、撮像によって得られた画像信号の高周波数成分のみを増幅することにより、上記輪郭のぼけを改善している（例えば特許文献１参照）。

また、ユーザが輪郭強調処理の強調度を設定できるようにして、自由にエッジ強調を行うことができるデジタルビデオカメラなどが、市販されている。

このように輪郭強調された画像データは、画像符号化装置においてＭＰＥＧ２などの符号化方式に従って圧縮符号化された後、磁気テープなどの記録媒体に記録される。画像符号化装置は、通常、圧縮効率を向上させるためにプレフィルタを備えている（例えば特許文献２参照）。このプレフィルタは、符号化に先立ち、ローパスフィルタ処理などを行って画像の高周波成分を除去する。これにより、符号量の増加を抑制するとともにノイズ成分を除去し、クリアな画像を記録することが可能となる。
特開平６−１３３１８８号公報 特開２００２−２４７５７６号公報

従来の撮像装置では、輪郭強調処理で高周波成分を強調又は増幅しているのに対して、画像符号化装置では、高周波数成分を削減している。また、画像符号化装置の量子化処理装置では高周波数成分を粗く量子化することで、高周波数成分を削除している。

このように、輪郭強調処理は、画像符号化での高周波削減処理とは相反する処理であり、画像符号化との関係では、かえって画質を劣化させることにもなりかねない。例えば、高周波成分を粗く量子化した場合に、画像の輪郭周辺にモスキートノイズが発生しやすくなる。即ち、ユーザの意図に反して、画像が劣化する。

本発明は、このような不都合を解消した画像処理装置を提示することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、入力される画像信号の高周波成分を強調処理する高周波強調手段と、当該高周波強調手段により高周波成分の強調処理が施された画像信号を符号化する画像符号化手段と、当該高周波強調手段による強調処理の特性に応じて当該画像符号化手段の符号化パラメータを制御する符号化パラメータ制御手段とを具備し、当該符号化パラメータ制御手段は、当該高周波強調手段によって強調処理された高周波成分を残すように、当該画像符号化手段に対して当該強調処理された高周波成分の劣化を少なくするための符号化パラメータを設定することを特徴とする。

本発明に係る画像処理装置は、入力される画像信号に含まれる輪郭の強調処理を行う輪郭強調手段と、当該輪郭強調手段により強調処理が施された画像信号を符号化する画像符号化手段と、当該輪郭強調手段による強調処理の強度に応じて当該画像符号化手段に対して異なる符号化パラメータを設定する符号化パラメータ制御手段とを具備し、当該符号化パラメータ制御手段は、当該強調処理の強度が所定閾値以上の場合、当該強度が当該所定閾値よりも低い場合に比べて、当該画像符号化手段に対して当該輪郭を含む画像信号中の高周波成分の劣化を少なくするための符号化パラメータを設定することを特徴とする。

本発明によれば、高周波成分が意図的に付加された画像データに対して、ローパスフィルタ又は量子化等の符号化パラメータを制御することにより、高周波成分の特性を維持した圧縮符号化が可能となる。

また、高周波成分が強調された画像データに対しては、エッジに対する符号量割り当てをより多くし、その他の複雑な絵柄に対する符号量割り当てを少なくすることにより、全体での符号量増加を防ぐことが可能となる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の第１実施例である撮像装置の概略構成ブロック図である。１０はレンズなどの撮像光学系、１２はＣＣＤなどの撮像素子であり、１４はＡ／Ｄ変換器、１６はカメラ信号処理装置である。カメラ信号処理装置１６は、輝度信号成分（Ｙ）と色信号成分（Ｃ）を分離するＹ／Ｃ分離装置１８、色信号を処理する色信号処理装置２０、輝度信号を処理する輝度信号処理装置２２から構成される。輪郭強調制御装置２４は、輝度信号処理装置２２での輪郭強調を制御する。

符号化処理装置３０は、カメラ信号処理装置１６からの映像信号をＭＰＥＧ２方式により圧縮符号化する。符号化処理装置３０は、高周波成分を低減するプレフィルタ３２、画面の並び替えを行うためのフレームバッファ３４、入力画像と局所復号化された画像との差分をとる減算器３６、ＤＣＴ（離散コサイン変換）などの直交変換器３８、量子化装置４０、可変長符号化装置４２、逆量子化装置４４、逆直交変換器４６、動き補償装置４８及び動き予測装置５０を具備する。

システム制御装置６０は、カメラ信号処理装置１６及び符号化処理装置３０を含む撮像装置全体を制御する。

本実施例の基本動作を説明する。撮像光学系１０は、被写体の光学像を撮像素子１２の撮像面に結像する。撮像素子１２は、光学像に対応する画像信号を生成し、Ａ／Ｄ変換器１４に出力する。Ａ／Ｄ変換器１４は、撮像素子１２からのアナログ画像信号をデジタル信号に変換し、カメラ信号処理装置１６のＹ／Ｃ分離装置１８に印加する。Ｙ／Ｃ分離装置１８は、Ａ／Ｄ変換器１４からのデジタル画像信号を輝度成分（Ｙ）と色成分（Ｃ）に分離し、色成分を色信号処理装置２０に、輝度成分を輝度信号処理装置２２に出力する。

色信号処理装置２０は、入力する色成分にホワイトバランス、色相補正及び色ガンマ補正などの色処理を行い、輝度信号処理装置２２は、入力する輝度成分に輪郭強調処理とガンマ補正などの処理を行う。処理された色成分と輝度成分は、符号化処理装置３０に印加される。

輪郭強調処理を簡単に説明する。図２は、輝度信号の輪郭強調処理の過程を示す波形例である。図２（ａ）は、輪郭強調の対象となる輝度信号を示す。図２（ａ）に示す輝度信号の高周波成分を増幅して、図２（ｂ）に示すような輪郭補償信号を生成する。図２（ａ）に示す輝度信号に図２（ｂ）に示す輪郭補償信号を加算すると、図２（ｃ）に示すように、輪郭を強調した輝度信号が得られる。即ち図２（ｃ）に示す輝度信号は、図２（ａ）に示す元の輝度信号と比較して、波形の立ちあがりと立ち下がりの振幅差が大きくなっており、輪郭が強調されている。

輪郭強調制御装置２４は、ユーザの操作によって指定された輪郭強調の強度に従って、輝度信号処理装置２２における輪郭強調の強度を制御する。図３は、輪郭強調の設定画面例を示す。ユーザは、この設定画面上でキー操作等により、適用すべき輪郭強調の強度を選択し設定する。輪郭強調制御装置２４は、また、適用される輪郭強調の強度を、システム制御装置６０に伝達する。

符号化処理装置３０のプレフィルタ３２は、図４に示すようなローパスフィルタ特性を具備する。即ち、プレフィルタ３２は、図４に示すような周波数特性のローパスフィルタ処理を行うことで映像信号の高周波数成分をカットする。これは、人間の視覚特性上、劣化の目立ち難い高周波数成分を除くことにより、情報量を削減し、符号化効率を向上させるためである。プレフィルタ３２のローパスフィルタ処理のカットオフ周波数は、後述するように、システム制御装置６０により制御される。プレフィルタ３２の出力映像信号は、フレームバッファ３４に一時記憶される。

フレームバッファ３４では、符号化する順番に画像フレームの並べ替えが行われる。ＭＰＥＧ２では、画像フレームは、同一フレーム内の情報を使って圧縮符号化されるＩピクチャと、時間的に前のフレームとの差分を利用して圧縮符号化されるＰピクチャと、時間的に後のフレームを含む２つのフレームとの差分を利用して圧縮符号化されるＢピクチャの３つのタイプに分類される。符号化順に並び替えられた画像フレームは、画面内の所定大きさを有する小領域であるマクロブロック単位で圧縮符号化される。

Ｉピクチャは、減算器３６では減算処理を行われずに、直交変換器３８に印加される。ＢピクチャとＰピクチャのフレーム間予測を行うマクロブロックの画像データは、減算器３６によりフレーム間予測による予測画像の画像データを減算されて、直交変換器３８に印加される。

直交変換器３８は、入力データを離散コサイン変換することで周波数成分に変換し、ＤＣＴ係数データを量子化装置４０に出力する。量子化装置４０は、ＤＣＴ係数データを量子化する。量子化装置４０は、低周波数成分を細かく、高周波数成分を粗く量子化する。量子化装置４０により量子化されたＤＣＴ係数データは、可変長符号化装置４２及び逆量子化装置４４に印加される。

可変長符号化装置４２は、量子化装置４０からの量子化されたＤＣＴ係数データと、後述する動き予測装置５０からの動きベクトルおよび各種ヘッダ情報とを可変長符号化し、ビットストリームを出力する。

一方、逆量子化装置４４は、量子化装置４０からの量子化されたＤＣＴ係数データを逆量子化して周波数成分に復号化し、逆直交変換器４６は、逆量子化装置４４の出力データを逆ＤＣＴ変換する。

逆直交変換器４６から出力されるデータがＰピクチャ又はＢピクチャの予測誤差画像である場合は、動き補償装置４８が、その予測誤差画像と動き補償画像とを加算することにより、フレーム画像データを再現する。

動き予測装置５０は、フレーム間予測を行う際に、復号画像の中から、入力画像との差分などに基づき符号化効率が最も良くなる画像をサーチし、入力動画像の符号化対象フレーム画像の動き情報である動きベクトルを算出する。算出されて動きベクトルは、動き補償装置４８及び可変長符号化装置４２に印加される。

動き補償装置４８は、参照先のフレームと動きベクトルから動き補償画像（予測画像）を減算器３６に出力する。減算器３６は、先に説明したように、フレーム間予測を行うマクロブロックに対して、入力画像データと動き補償画像データとの差分をとり、差分画像（予測誤差画像）を直交変換器３８に出力する。

本実施例では、システム制御装置６０が、輪郭強調制御装置２４からの輪郭強調情報に従い、プレフィルタ３２のフィルタ特性及び量子化装置４２の量子化特性を制御する。

図５は、システム制御装置６０の動作フローチャートである。システム制御装置６０は、輪郭強調制御装置２４から輪郭強調情報を取得し、輪郭強調の設定の有無を調べる（Ｓ１０）。この輪郭強調情報には、撮影映像データに対する輪郭強調の有無と輪郭強調の強度の情報が含まれている。システム制御装置６０はこの輪郭強調情報を解析し、現在、撮影している映像に輪郭強調がされているかどうかを調べる。

輪郭強調が設定されている場合（Ｓ１０）、輪郭強調の強度が所定閾値以上であるかどうかを調べる（Ｓ１１）。輪郭強調の強度が所定閾値以上であれば（Ｓ１１）、システム制御装置６０は、ローパスフィルタ特性のカットオフ周波数を高くするようにプレフィルタ３２を制御する（Ｓ１２）。図６はプレフィルタ３２のローパスフィルタ特性を示す。横軸は周波数を示し、縦軸はゲインを示す。特性３２ａが標準時のローパスフィルタ特性であり、特性３２ｂが、輪郭強調の強度が所定閾値を越えている場合に採用されるローパスフィルタ特性である。

システム制御装置６０は更に、高周波成分を細かく量子化する量子化マトリクスを利用してＤＣＴ係数を量子化するように、量子化装置４２を制御する（Ｓ１３）。図７は、フレーム内符号化するピクチャに対する量子化マトリクスの例を示す。ＭＰＥＧ２では、量子化は、直交変換器３８から出力される８×８画素のＤＣＴ係数を、マクロブロック毎の視覚特性を反映した量子化スケールコード値と量子化マトリクスの対応係数の積で割り算することで実行される。そのため、量子化マトリクスの数字が大きいほど、粗く量子化され、画質劣化が大きくなる。

図７（ａ）は、ＭＰＥＧ２のデフォルトの量子化マトリクスを示し、図７（ｂ）は、ステップＳ１３の制御により採用される量子化マトリクスを示す。図７（ａ）に示す量子化マトリクスでは、高周波成分ほど数値が大きくなっており、高周波数成分が粗く量子化される。図７（ｂ）に示す量子化マトリクスは、図７（ａ）に示す量子化マトリクスと比較して、高周波数成分の数値が小さくなっており、高周波数成分でも比較的細かい量子化になる。

輪郭強調の設定が無い場合（Ｓ１０）、又は、輪郭強調の強度が所定閾値未満の場合（Ｓ１１）、システム制御装置６０は、ローパスフィルタのカットオフ周波数を低くするようにプレフィルタ３２を制御する（Ｓ１４）。即ち、プレフィルタ３２のローパスフィルタ特性として、図６に示す周波数特性３２ａのように、カットオフ周波数の低い特性を採用する。システム制御装置６０はまた、高周波成分を粗く量子化する量子化マトリクス（例えば、図７（ａ）に示す量子化マトリクス）を利用して量子化するように、量子化装置４０を制御する（Ｓ１５）。

以上のように、輪郭強調の度合いに応じて、プレフィルタ３２および量子化装置４０の量子化マトリクスを制御することで、強い輪郭強調が採用される場合に、通常の設定では失われてしまう高周波数成分を残すことができる。これにより、輪郭を強調するというユーザの意図を反映した圧縮符号化画像データを生成できる。一方、輪郭強調が採用されていない場合、又は、輪郭強調が弱い場合は、視覚特性上劣化の目立ち難い高周波数成分をカットすることで、符号化効率の良い圧縮符号化画像データを生成できる。

上記実施例では、輪郭強調の強さに応じてプレフィルタ特性と量子化特性の両方を制御したが、何れか一方のみを制御する方法であってもかまわない。

また、上記実施例では輪郭強調の強さだけに応じて、プレフィルタおよび量子化の特性を変更していたが、輪郭強調する中心周波数も考慮して制御してもよい。具体的には、輪郭強調の中心周波数が高いときにはプレフィルタ３２におけるローパスフィルタのカットオフ周波数を高くし、量子化装置４０では、高周波数成分まで細かく量子化する量子化マトリクスを採用する。一方、輪郭強調の中心周波数が低い場合には、プレフィルタ３２におけるローパスフィルタのカットオフ周波数を低くし、量子化装置４０では、高周波数成分を粗く量子化する量子化マトリクスを採用する。

また、輪郭強調の度合いによってシステム制御装置６０が制御する対象の回路は、プレフィルタ３２と量子化装置４０に限定されない。例えば、符号化処理装置３０において輪郭強調による効果を減衰させてしまうもの、例えばローカルデコード時にかけるローパスフィルタなどを制御対象に含めても良い。

図７に示す量子化マトリクスは一例であり、本発明がこれに限定されないことは言うまでもない。高周波数成分を細かく量子化するものであれば、どのような量子化マトリクスを用いてもかまわない。

上記実施例ではローパスフィルタ特性と量子化マトリクスを、所定の２種類から選択したが、ローパスフィルタ特性又は量子化マトリクスを２種類以上持つ構成であってもかまわない。この場合、輪郭強調の強さに応じて、使用するローパスフィルタ特性又は量子化マトリクスを段階的に変更していく。

画像符号化方式としてＭＰＥＧ２を例に説明したが、同様の処理を含む符号化方式であれば、Ｈ．２６４方式など、その他の画像符号化方式にも適用可能である。

輪郭強調の調整をユーザが設定する実施例を説明したが、画像の状態に合わせて輪郭強調制御装置２４が適応的に輪郭強調の強度を制御する構成にも、本発明は、適用可能である。

高周波数成分を画像信号に付加する一例として、輪郭強調を説明したが、輪郭強調以外の目的で撮影画像に高周波数成分が付加される場合にも、本発明は、適用可能である。

画像中に輪郭成分が多い場合のみ、図１に示す実施例の符号量制御を適用するようにしてもよい。具体的には、プレフィルタ処理前の画像信号から輪郭部分を検出する。画面１フレームに対する輪郭部分の割合が所定量以上で、かつ輪郭強調の強さが所定閾値以上のときのみ、プレフィルタのローパスフィルタ特性のカットオフ周波数を高くし、量子化処理では、高周波数成分まで細かく量子化できるマトリクスを用いる。画像中に輪郭成分が少なく輪郭強調の効果が少ない画像に対しては、ローパスフィルタのカットオフ周波数を低くし、高周波数成分は粗く量子化することで、符号化効率を上げることができる。一方、画像中に輪郭成分が多く輪郭強調の効果が大きい画像に対しては、ローパスフィルタのカットオフ周波数を高くし、高周波数成分まで細かく量子化することで、輪郭の劣化を防ぐことが可能となる。

図８は、本発明の第２実施例の概略構成ブロック図を示す。この実施例では、画像の高周波数成分を残して符号化することによる符号化効率の低下を防ぎつつ、輪郭部分も劣化させないように工夫している。

要素１１０乃至１２４は図１に示す実施例の要素１０乃至２４と同様に機能する。また、符号化処理装置１３０の要素１３２乃至１５０は、それぞれ、符号化処理装置３０の要素３２乃至５０と同様に機能する。符号化処理装置１３０は、要素１３２乃至１５０に加えて、画像信号の絵柄を解析する画像解析装置１５２と、発生符号量を制御する符号量制御装置１５４を具備する。システム制御装置１６０は、システム制御装置６０の機能に加えて、符号量制御装置１５４を制御する機能を具備する。

画像解析装置１５２と符号量制御装置１５４の作用と、システム制御装置１６０の追加機能を詳細に説明する。

画像解析装置１５２は、フレームバッファ１３４に記憶される画像データを参照して、画像の輪郭の有無を検出する。具体的には、画像解析装置１５２は、フレームバッファ１３４に格納される画像データのうち、今から符号化するマクロブロックと同じマクロブロック内の画像データを読み出し、このマクロブロック内の画像データが輪郭部分であるかどうかを解析する。輪郭検出に関しては、従来から様々な手法が提案されており、それら任意の方法を用いてよい。例えばマクロブロックをさらに小さなＤＣＴブロック単位に分割し、ＤＣＴ変換などの直交変換をＤＣＴブロックに対して行い、垂直成分、水平成分又は対角成分などの絶対値和等を輪郭強度として算出する方法がある。この輪郭強度が高いほど、輪郭画像である可能性が高いと判断される。さらに、画像解析装置１５２は、マクロブロック内の分散値等を用いて、画像の複雑度を算出する。画像解析装置１５２は、この輪郭強度情報と複雑度情報を符号量制御装置１５４に出力する。

符号量制御装置１５４は、図示しない出力バッファ（ＶＢＶバッファ）の空き容量に基づきピクチャ単位の符号量割り当てを決定し、また、発生符号量と絵柄に応じてマクロブロックの量子化スケール値を決定する。この量子化スケール値は、量子化装置１４０において量子化マトリクスと共に量子化に利用される。量子化スケール値が大きいほど、量子化後の発生符号量が少なくなり、値が小さいほど、発生符号量が多くなる。画像の絵柄は、複雑度および輪郭強度から判断される。複雑な絵柄ほど劣化を視覚的に認識し難いことから、基本的には、複雑な絵柄に対しては量子化スケール値を大きくして発生符号量を減らす。一方、劣化が視覚的に認識しやすい平坦な絵柄（複雑度の低い画像）や、輪郭を含む絵柄（輪郭強度が高い画像）に対しては、量子化スケール値を小さくして、ある程度の符号量を与える。

システム制御装置１６０は、図１に示す実施例と同様に、輪郭強調制御装置１２４から輪郭強調情報を受け取り、プレフィルタ１３２及び量子化装置１４０を制御する。この制御に加えて、システム制御装置１６０は、後述するように、符号量制御装置１５４を制御する。

図９は、システム制御装置１６０の動作フローチャートを示す。システム制御装置１６０は、輪郭強調制御装置１２４から輪郭強調情報を取得し、輪郭強調の設定の有無を調べる（Ｓ２０）。この輪郭強調情報には、撮影映像データに対する輪郭強調の有無と輪郭強調の強度の情報が含まれている。システム制御装置１６０はこの輪郭強調情報を解析し、現在、撮影している映像に輪郭強調がされているかどうかを調べる。

輪郭強調が設定されている場合（Ｓ２０）、輪郭強調の強度が所定閾値以上であるかどうかを調べる（Ｓ２１）。輪郭強調の強度が所定閾値以上であれば（Ｓ２１）、システム制御装置１６０は、ローパスフィルタ特性のカットオフ周波数を高くするようにプレフィルタ１３２を制御する（Ｓ２２）。

更に、システム制御装置１６０は、図１０（Ａ）に示すように、輪郭部以外の絵柄に対する量子化ステップ値を大きく算出するように符号量制御装置１５４に指示する（Ｓ２３）。図１０は、輪郭強調度に応じた符号量割当ての関係を示す。この結果、輪郭部に割り当てる符号量が相対的に多くなり、輪郭部以外の部分、即ち、平坦部及び複雑部に対する符号量割り当てが相対的に少なくなる。高周波数成分を残すことにより符号量が増加するが、平坦部及び複雑部への符号量割り当てを減らす。これにより、１画面全体の符号量は、一定になるように制御される。

図１に示す実施例と同様に、システム制御装置１６０は、高周波成分を細かく量子化する量子化マトリクスを利用してＤＣＴ係数を量子化するように、量子化装置１４０を制御する（Ｓ２４）。

輪郭強調の設定が無い場合（Ｓ２０）、又は、輪郭強調の強度が所定閾値未満の場合（Ｓ２１）、システム制御装置１６０は、ローパスフィルタのカットオフ周波数を低くするようにプレフィルタ１３２を制御する（Ｓ２５）。システム制御装置１６０はまた、図１０（Ｂ）に示すように、輪郭部と平坦部の量子化ステップ値を小さくし、複雑部の量子化ステップを大きくするように、符号量制御装置１５４に指示する（Ｓ２６）。この結果、輪郭部と平坦部に割り当てられる符号量が相対的に多くなり、複雑部に対する割当て符号量が相対的に少なくなる。即ち、輪郭強調度が所定閾値よりも小さい場合は、視覚的に劣化を認識しやすい輪郭部と平坦部に多くの符号量を割り当て、視覚的に劣化を認識し難い複雑部にはあまり符号量を割り当てない。

システム制御装置１６０はまた、高周波成分を粗く量子化する量子化マトリクス（例えば、図７（ａ）に示す量子化マトリクス）を利用して量子化するように、量子化装置１４０を制御する（Ｓ２７）。

以上のように構成することにより、本実施例では、輪郭強調に伴い生じる符号量の増加（ローパスフィルタのカットオフ周波数を高くし、高周波数成分まで細かく量子化することによって生じる符号量の増加）を、輪郭以外の画像に割り当てる符号量を減らすことにより相殺し、全体の発生符号量のバランスをとることが可能となる。

上記実施例では、輪郭検出の結果を量子化スケール値の制御のみに利用したが、符号量に影響を与える処理であれば、量子化スケール以外に輪郭検出の結果を利用する構成であってもよい。例えば、輪郭強調度と輪郭の有無によってプレフィルタ１３２を制御してもよい。具体的には、プレフィルタ１３２で処理される前の画像信号を取得し、輪郭を検出する。輪郭強調度が所定閾値よりも大きい場合は、輪郭を含まない画像にはカットオフ周波数の低いローパスフィルタを適用し、輪郭を含む画像にはカットオフ周波数の高いローパスフィルタを適用する。これにより、同一フレームの画像において画像輪郭を含まない部分画像に対しては、高周波数成分を残さず符号化するので、符号化効率が向上する。

画像中に輪郭成分が多い場合のみ、図８に示す実施例の符号量制御を適用するようにしてもよい。具体的には、プレフィルタ処理前の画像信号から輪郭部分を検出する。画面１フレームに対する輪郭部分の割合が所定量以上で、かつ輪郭強調の強さが所定閾値以上のときのみ、プレフィルタのローパスフィルタ特性のカットオフ周波数を高くし、量子化処理では、高周波数成分まで細かく量子化できるマトリクスを用いる。画像中に輪郭成分が少なく輪郭強調の効果が少ない画像に対しては、ローパスフィルタのカットオフ周波数を低くし、高周波数成分は粗く量子化することで、符号化効率を上げることができる。一方、画像中に輪郭成分が多く輪郭強調の効果が大きい画像に対しては、ローパスフィルタのカットオフ周波数を高くし、高周波数成分まで細かく量子化することで、輪郭の劣化を防ぐことが可能となる。

図１１は、本発明の第３実施例の概略構成ブロック図を示す。この実施例では、ノイズ成分を意図的に撮影画像中に混入させる。ここでいうノイズ成分は、フィルムグレインと呼ばれる、フィルムライクな映像効果を演出するための粒子状ノイズのことである。フィルムグレイン付加機能は、民生用の高級ビデオカメラ等に実装されている機能の１つであり、映像中に粒子状のノイズを付加する撮影効果機能である。一般的なフィルムグレイン付加方法によると、ノイズ成分を電子的又は光学的に生成することができる。いずれの場合も、混入されたノイズ成分によって映像中の高周波成分が増加する。以下の実施例では、光学的にノイズを生成する。

図１１において、要素２１０乃至２２２は図１に示す実施例の要素１０乃至２２と同様に機能する。また、符号化処理装置２３０の要素２３２乃至２５０は、それぞれ、符号化処理装置３０の要素３２乃至５０と同様に機能する。

本実施例では、撮像光学系２１０と撮像素子２１２の間に、被写体の光学像にフィルムグレインノイズを光学的に付加するノイズ生成装置２６２を挿入してある。ノイズ生成装置２６２は例えば、撮像光学系２１０の光軸に平行な軸であって、撮像光学系２１０の光軸からずれた軸を中心に回転可能な擦りガラスの光学フィルタからなる。この擦りガラスを回転させることで、付加するノイズの量又は特性を変更できる。

撮像光学系２１０による被写体の光学像は、ノイズ生成装置２６２を介して、撮像素子２１２の撮像面に結像する。撮像光学系２１０から入射する光学像は、ノイズ生成装置２６２の擦りガラスを透過する際に、ガラスの粒子の影響を受けノイズを付加される。このようにノイズを加えることで、フィルム調のノイズ感を出すことが可能である。ノイズ生成装置２６２を構成する擦りガラスを回転することによって、ノイズの周波数や量を調整することが可能である。

ノイズ生成装置２６２は、擦りガラスの回転位置などから計算されるノイズ量及びノイズの中心周波数などをノイズ情報としてシステム制御装置２６０に出力する。

撮像素子２１２は、ノイズ生成装置２６２によりノイズを付加された光学像に対応する画像信号を生成し、Ａ／Ｄ変換器２１４に出力する。Ａ／Ｄ変換器２１４は、撮像素子２１２からのアナログ画像信号をデジタル信号に変換し、カメラ信号処理装置２１６のＹ／Ｃ分離装置２１８に印加する。Ｙ／Ｃ分離装置２１８は、Ａ／Ｄ変換器２１４からのデジタル画像信号を輝度成分（Ｙ）と色成分（Ｃ）に分離し、色成分を色信号処理装置２２０に、輝度成分を輝度信号処理装置２２２に出力する。

色信号処理装置２２０は、入力する色成分にホワイトバランス、色相補正及び色ガンマ補正などの色処理を行い、輝度信号処理装置２２２は、入力する輝度成分に輪郭強調処理とガンマ補正などの処理を行う。処理された色成分と輝度成分は、符号化装置２３０に印加される。

符号化処理装置２３０の構成と機能は、符号化処理装置３０の構成と機能と同じであるので、詳細な説明を省略する。

システム制御装置２６０は、ノイズ生成装置２６２からのノイズ情報に従い、プレフィルタ２３２のフィルタ特性及び量子化装置２４０の量子化特性を制御する。

図１２は、システム制御装置２６０の動作フローチャートである。システム制御装置２６０は、ノイズ生成装置２６２が撮影光学系２１０と撮像素子２１２の間に配置されているかどうかを調べる（Ｓ３０）。ノイズ生成装置２６２が配置されている場合（Ｓ３０）、システム制御装置２６０は、ノイズ生成装置２６２からのノイズ情報に従い、ノイズの中心周波数とノイズ量を調べる（Ｓ３１）。

ノイズの中心周波数が所定閾値以上で、且つノイズ量が所定閾値以上であれば（Ｓ３１）、システム制御装置２６０は、ローパスフィルタ特性のカットオフ周波数を高くするようにプレフィルタ２３２を制御し（Ｓ３２）、高周波成分を細かく量子化する量子化マトリクスを利用してＤＣＴ係数を量子化するように、量子化装置２４０を制御する（Ｓ３３）。

ノイズ生成装置２６２が配置されていない場合（Ｓ３０）、若しくは、ノイズの中心周波数が所定閾値未満であるか、又は、ノイズ量が所定閾値未満の場合（Ｓ３１）、システム制御装置２６０は、ローパスフィルタ特性のカットオフ周波数を低くするようにプレフィルタ２３２を制御し（Ｓ３４）、高周波成分を粗く量子化する量子化マトリクスを利用してＤＣＴ係数を量子化するように、量子化装置２４０を制御する（Ｓ３５）。

以上のように、ノイズ生成装置２６２によるノイズ付加の度合いに応じて、プレフィルタ２３２および量子化装置２４０の量子化マトリクスを制御することで、通常の設定では失われてしまうノイズの高周波数成分を残すことができる。これにより、フィルム調のノイズ感のある映像を作成したいというユーザの意図を反映した圧縮符号化画像データを生成できる。一方、ノイズ量が少ない場合、視覚特性上劣化の目立ち難い高周波数成分をカットすることで、符号化効率の良い圧縮符号化画像データを生成できる。

上記実施例では、システム制御装置２６０はノイズ生成装置２６２から出力されるノイズ情報に基づき、プレフィルタ２３２および量子化装置２４０の特性を制御したが、単純にノイズ生成装置２６２が装着されているか否かによってプレフィルタ２３２および／又は量子化装置２４０の特性を制御してもよい。

また、上記実施例では、ノイズ量およびノイズの中心周波数に応じてプレフィルタ２３２および量子化装置２４０の特性を制御したが、ノイズ量とノイズの中心周波数の何れか一つの情報に基づきプレフィルタ２３２および／又は量子化装置２４０の特性を制御してもよい。

上記実施例では、撮像光学系２１０の後段にノイズ生成装置２６２を配置する構成を採用したが、符号化処理装置２３０に入力する前に、映像信号にノイズを電気的に付加する構成であっても、同様の作用効果を得ることができる。例えば、輝度信号処理装置又は色信号処理装置において、ノイズをデジタル信号として生成し、映像信号に加算してもよい。

本発明の第１実施例の概略構成ブロック図である。 映像信号の輪郭強調の例を示す図である。 輪郭強調の設定画面例を示す図である。 ローパスフィルタの周波数特性を示す図である。 第１実施例におけるシステム制御装置６０の動作フローチャートである。 プレフィルタ３２の周波数特性例を示す図である。 量子化装置４０の量子化マトリクスの例を示す図である。 第２実施例の概略構成を示すブロック図である。 システム制御装置１６０の動作フローチャートである。 第２実施例における輪郭強調度と符号量割り当ての関係を示す表である。 第３実施例の概略構成ブロック図である。 システム制御装置２６０の動作フローチャートである。

符号の説明

１０ 撮像光学系
１２ 撮像素子
１４ Ａ／Ｄ変換器
１６ カメラ信号処理装置
１８ Ｙ／Ｃ分離装置
２０ 色信号処理装置
２２ 輝度信号処理装置
２４ 輪郭強調制御装置
３０ 符号化処理装置
３２ プレフィルタ
３４ フレームバッファ
３６ 減算器
３８ 直交変換器
４０ 量子化装置
４２ 可変長符号化装置
４４ 逆量子化装置
４６ 逆直交変換器
４８ 動き補償装置
５０ 動き予測装置
６０ システム制御装置
１１０ 撮像光学系
１１２ 撮像素子
１１４ Ａ／Ｄ変換器
１１６ カメラ信号処理装置
１１８ Ｙ／Ｃ分離装置
１２０ 色信号処理装置
１２２ 輝度信号処理装置
１２４ 輪郭強調制御装置
１３０ 符号化処理装置
１３２ プレフィルタ
１３４ フレームバッファ
１３６ 減算器
１３８ 直交変換器
１４０ 量子化装置
１４２ 可変長符号化装置
１４４ 逆量子化装置
１４６ 逆直交変換器
１４８ 動き補償装置
１５０ 動き予測装置
１５２ 画像解析装置
１５４ 符号量制御装置
１６０ システム制御装置
２１０ 撮像光学系
２１２ 撮像素子
２１４ Ａ／Ｄ変換器
２１６ カメラ信号処理装置
２１８ Ｙ／Ｃ分離装置
２２０ 色信号処理装置
２２２ 輝度信号処理装置
２３０ 符号化処理装置
２３２ プレフィルタ
２３４ フレームバッファ
２３６ 減算器
２３８ 直交変換器
２４０ 量子化装置
２４２ 可変長符号化装置
２４４ 逆量子化装置
２４６ 逆直交変換器
２４８ 動き補償装置
２５０ 動き予測装置
２６０ システム制御装置
２６２ ノイズ生成装置

Claims (11)

1. 入力される画像信号の高周波成分を強調処理する高周波強調手段と、
   当該高周波強調手段により高周波成分の強調処理が施された画像信号を符号化する画像符号化手段と、
   当該高周波強調手段による強調処理の特性に応じて当該画像符号化手段の符号化パラメータを制御する符号化パラメータ制御手段
   とを具備し、
   当該符号化パラメータ制御手段は、当該高周波強調手段によって強調処理された高周波成分を残すように、当該画像符号化手段に対して当該強調処理された高周波成分の劣化を少なくするための符号化パラメータを設定することを特徴とする画像処理装置。
2. 当該画像符号化手段がプレフィルタを具備し、当該符号化パラメータ制御手段は、当該符号化パラメータとして当該プレフィルタのローパスフィルタ特性の遮断周波数を制御することを特徴とする請求項１に記載の画像処理装置。
3. 当該符号化パラメータ制御手段は、当該高周波強調手段による強調処理の強度が所定閾値以上の場合、当該プレフィルタのローパスフィルタ特性の遮断周波数を第１の周波数に設定し、当該高周波強調手段による強調処理の強度が当該所定閾値未満の場合に、当該プレフィルタのローパスフィルタ特性の遮断周波数を当該第１の周波数より低い第２の周波数に設定することを特徴とする請求項２に記載の画像処理装置。
4. 当該符号化パラメータ制御手段は、当該高周波強調手段により強調処理される高周波成分の中心周波数が所定値以上の場合、当該プレフィルタのローパスフィルタ特性の遮断周波数を第１の周波数に設定し、当該高周波強調手段により強調処理される高周波成分の中心周波数が当該所定値未満の場合に当該プレフィルタのローパスフィルタ特性の遮断周波数を当該第１の周波数より低い第２の周波数に設定することを特徴とする請求項２に記載の画像処理装置。
5. 当該画像符号化手段が、所定のブロック単位に分割した画像データを直交変換して直交変換係数を出力する直交変換手段と、当該直交変換係数を量子化する量子化手段を具備し、当該符号化パラメータ制御手段は、当該符号化パラメータとして当該量子化手段の量子化特性に係る係数を制御することを特徴とする請求項１又は２に記載の画像処理装置。
6. 当該符号化パラメータ制御手段は、当該高周波強調手段による強調処理の強度が所定閾値以上の場合、当該強調処理された高周波成分を量子化するための第１の量子化係数を設定し、当該高周波強調手段による強調処理の強度が当該所定閾値未満の場合、当該強調処理された高周波成分を量子化するための第２の量子化係数であって、当該第１の量子化係数の場合よりも当該高周波成分を粗く量子化するための第２の量子化係数を設定することを特徴とする請求項５に記載の画像処理装置。
7. 当該符号化パラメータ制御手段は、当該高周波強調手段により強調処理される高周波成分の中心周波数が所定値以上の場合、当該強調処理された高周波成分を量子化するための第１の量子化係数を設定し、当該高周波強調手段により強調処理される高周波成分の中心周波数が当該所定値未満の場合、当該強調処理された高周波成分を量子化するための第２の量子化係数であって、当該第１の量子化係数の場合よりも当該高周波成分を粗く量子化するための第２の量子化係数を設定することを特徴とする請求項５に記載の画像処理装置。
8. 当該高周波強調手段が、画像の輪郭を強調する輪郭強調手段であって、当該輪郭強調手段が、当該入力される画像信号の高周波成分を増幅することによって当該強調処理を行うことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 更に、当該高周波強調手段により高周波成分の強調処理が施された画像信号から輪郭に相当する部分を検出する輪郭検出手段を具備し、
   当該符号化パラメータ制御手段は、当該輪郭検出手段によって検出される輪郭部分の割合が画面に対して所定量以上の場合に、当該符号化パラメータを制御することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 当該高周波強調手段が、画像に粒子状のノイズを付加するノイズ付加手段であって、当該ノイズ付加手段が、当該ノイズの成分を当該入力される画像信号に付加することによって当該強調処理を行うことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
11. 入力される画像信号に含まれる輪郭の強調処理を行う輪郭強調手段と、
    当該輪郭強調手段により強調処理が施された画像信号を符号化する画像符号化手段と、
    当該輪郭強調手段による強調処理の強度に応じて当該画像符号化手段に対して異なる符号化パラメータを設定する符号化パラメータ制御手段
    とを具備し、
    当該符号化パラメータ制御手段は、当該強調処理の強度が所定閾値以上の場合、当該強度が当該所定閾値よりも低い場合に比べて、当該画像符号化手段に対して当該輪郭を含む画像信号中の高周波成分の劣化を少なくするための符号化パラメータを設定することを特徴とする画像処理装置。

Images