JP4072347B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、被写体を撮像して得られた画像信号（映像信号）を圧縮処理して記録媒体に記録するカメラ一体型の撮像装置等に用いられる、画像処理装置に関するものである。
【０００２】
【従来の技術】
近年では、ディスク状記録媒体や半導体メモリ等の記録媒体の大容量化が急速に進展したことにより、このような記録媒体を用いることで、音声や、静止画像、さらには動画像を長時間記録及び再生することが可能な撮像装置（撮像記録装置）が提案されている。
【０００３】
上記撮像装置は、静止画や動画像の画像信号を記録媒体に記録する際、当該画像信号を圧縮する方式を採用していることにより、従来のテープ状記録媒体を用いた撮像装置に匹敵する小型軽量化というサイズメリットを得ながらも、高速且つランダムなデータアクセス優位性を実現しており、記録媒体に対する高信頼性や操作上の検索即応性等の大幅なる機能向上に寄与している。
【０００４】
例えば、上記撮像装置において、被写体を撮像して得られた画像信号（撮像信号）をディスク状記録媒体等の記録媒体へ記録する場合、先ず、撮像信号をディジタル化した後、当該ディジタルデータ（画像データ）に対して、ＤＣＴ等で空間軸から周波数軸上への変換処理を施し、量子化及び符号化による圧縮処理を施し、当該圧縮処理後の画像データ（圧縮画像データ）を記録媒体に記録する。
【０００５】
また、上記撮像装置において、記録媒体から画像を再生する場合、先ず、記録媒体から再生データ（圧縮画像データ）を読み出し、当該読出画像データに対して、ＥＣＣ（エラー訂正）、復号、逆量子化、及び逆ＤＣＴ等の処理を施すことで、空間軸上の画像信号を取得し、これをモニタ等に対して視聴可能なように出力する。
【０００６】
【発明が解決しようとする課題】
ところで、上述したような撮像装置においては、人間の目の視覚特性を利用した画像の符号化効率向上を図る提案がなされている。
例えば、特開平７−１１５６６４号等においては、人間の視覚特性が明るい部分の劣化より暗い部分の劣化の方が知覚しやすいということを利用して、圧縮対象の画像信号に対して、暗い部分の画像領域の量子化ステップを細かくし、これとは逆に明るい部分の画像領域の量子化ステップを粗く設定することで、人間の目に圧縮の劣化が検知されにくい高能率符号化装置が提案されている。
【０００７】
ここで、画像圧縮において、限られた符号量をいかに最適に配分するかという課題に対し、人間の視覚特性を考慮し、圧縮による画質劣化が検知されにくいように最適化することは重要である。
【０００８】
そこで、符号量を制御して画像圧縮する方法として、例えば、対象画像データに対して、暗い画像領域内の情報、すなわち低輝度の情報を、明るい画像領域内の情報、すなわち高輝度の情報よりも一律に符号量を多く割り当てる方法が挙げられる。
しかしながら、この画像圧縮方法では、次のような問題点がある。
【０００９】
まず、人間の視覚特性上、画像圧縮の劣化が最も知覚しやすいのは、黒レベルより輝度が高いグレー部の画像領域、すなわち輝度中間調部の画像領域であり、撮像記録装置における大半の撮像シーンがこの領域に集中している。
したがって、上記の画像圧縮方法では、人間の知覚上、画像圧縮の劣化が知覚されやすい画像領域に対して、符号量が一律に多く割り当てられることになるため、すなわち、符号量の最適配分という観点において、必要以上に当該画像領域に多くの符号量が割り当てられることになるため、全体として膨大な符号量増加が否めないという問題がある。
【００１０】
また、被写体を撮像して得られた画像（映像）には、例えば、屋内撮影のように中間調の輝度レベルに比較的集中しやすい撮像シーンがある一方、屋外撮影のように高輝度（ハイライト）から低輝度（シャドー）まで輝度ダイナミックレンジの広いシーンもある。したがって、このように様々な状況下にある画像信号において、上記の画像圧縮方法のように、特定輝度レベルに一律なる符合量割り当てを施すことは得策ではない。
【００１１】
そこで、本発明は、上記の欠点を除去するために成されたもので、画像圧縮による画質劣化が生じることのない、効率的な画像圧縮を行える、画像処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、被写体を撮像して画像信号を得る撮像手段と、前記撮像手段により得られた画像信号に対してフィルタ処理を施すプレフィルタと、前記プレフィルタより出力された画像信号を圧縮符号化する符号化回路とを有する圧縮手段と、前記撮像手段により得られた画像信号の輝度特徴に基づき、前記プレフィルタのフィルタ特性を切り替える制御手段と、メモリを用いて画面の並べ替え処理を行う画面並べ替え手段とを備え、前記画面並べ替え手段は前記撮像手段により得られた画像信号に対して画面の並べ替え処理を行い、前記プレフィルタは前記画面並べ替え手段によって画面の並べ替え処理が行われた画像信号に対してフィルタ処理を施すことを特徴とする。
【００３１】
上述のような構成により、例えば、屋内での撮影では、中間調の輝度レベルに比較的集中しやすいシーンがある一方、屋外での撮影では、高輝度（ハイライト）から低輝度（シャドー）まで輝度ダイナミックレンジの広いシーンがあり、このような様々な状況下にある画像信号の圧縮及び記録において、人間の知覚上、画像圧縮の劣化が知覚されやすい個所に対して、適切な符号量を割り当てることができ、画質改善効果が得られる。
また、画像中の絵柄に応じて、人間の知覚に敏感な輝度中間調部に対して、符号量の割り当てに重み付け制御がなされるので、符号量の最適配分という観点において、全体最適化に寄与することができる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３３】
[第１の実施の形態]
本発明は、例えば、図１に示すような撮像記録装置１００に適用される。
本実施の形態の撮像記録装置１００は、被写体を撮像して取得した当該被写体の画像信号（映像信号）を圧縮処理して記録媒体１０５に記録する機能を有し、特に、画像信号の輝度特徴を判定した結果に基づいて、画像圧縮における符号量を制御するように構成されている。
以下、本実施の形態の撮像記録装置１００の構成及び動作について具体的に説明する。
【００３４】
＜撮像記録装置１００の全体構成＞
撮像記録装置１００は、上記図１に示すように、光学系レンズ群１０１と、絞り、フォーカス、及びズーム等を含む光学制御系１０２と、光学系レンズ群１０１及び光学制御系１０２を介した被写体光から画像信号（カメラ信号）を生成して処理するカメラ信号処理部１１１と、カメラ信号処理部１１１で得られた画像データの圧縮処理及び圧縮画像データの伸張処理を行う圧縮伸張処理部１０３と、圧縮伸張処理部１０３で得られた圧縮画像データの記録媒体１０５への記録処理及び記録媒体１０５からの圧縮画像データの再生処理を行う記録再生処理部１０４と、処理対象の画像データに基づいた画像等を表示する表示部１０６と、所定の処理プログラムを実行する等して撮像記録装置１００全体の動作制御を司るＣＰＵ１０８と、ＣＰＵ１０８で実行される処理プログラム及び各種データ等を記憶するメモリ１０７と、撮像記録装置１００の動作指示を入力するためのキー操作部１０９とを備えている。
また、撮像記録装置１００は、特に、カメラ信号処理部１１１で得られた画像データの輝度特徴を判定する輝度特徴判定部１１０を備えており、圧縮伸張処理部１０３での画像圧縮における符号量は、この輝度特徴判定部１１０での判定結果に基づいて制御される。
【００３５】
＜撮像記録装置１００の一連の動作＞
例えば、メモリ１０７は、上記図１に示す各機能ブロック間でタイム・シェアリングして使用可能なメモリ空間であり、ＣＰＵ１０８は、撮像記録装置１００全体を統括制御する中央演算処理部として機能する。また、キー操作１０９は、ユーザ（撮像記録装置１００を使用するユーザ）と撮像記録装置１００のインターフェースである。
そこで、ユーザが、キー操作１０９を操作することで所望する動作指示を撮像記録装置１００（具体的にはＣＰＵ１０８）に対して入力すると、ＣＰＵ１０８は、当該入力コマンドに基づいて、以下に説明するような動作を実現するための制御処理を実行する。
【００３６】
まず、記録動作指示がユーザから入力された場合、被写体からの光（被写体光）は、光学系レンズ群１０１及び光学制御系１０２を介することで、所定の明るさ、画角、及びフォーカス等が制御された光学信号となり、カメラ信号処理１１１に対して入力される。
カメラ信号処理１１１は、当該光学信号を処理することで画像データ（撮像データ）を生成して出力する。
【００３７】
圧縮伸張処理１０３は、カメラ信号処理１１１から出力された画像データに対して、量子化及び符号化による所定の圧縮処理を施すことで、圧縮画像データを生成する。
このとき、表示部１０６（ＬＣＤ等）は、必要に応じて、圧縮伸張処理１０３で処理対象となっている画像データを表示する。また、表示部１０６は、必要に応じて、撮像記録装置１００の動作状況に関する情報を表示する。これにより、ユーザは、現在処理対象となっている画像や、現在の撮像記録装置１００の動作状況等を、オンスクリーン・ディスプレイでモニタすることができる。
【００３８】
記録再生処理１０４は、圧縮伸張処理１０３で得られた画像圧縮データを記録媒体１０５に対して最適に記録するための信号処理として、エラー訂正処理（ＥＣＣ）、パリティ付加処理、及び変調処理等を実行し、これらの処理後の画像データを記録媒体１０５に記録する。
【００３９】
一方、再生動作指示がユーザから入力された場合、記録再生処理１０４は、記録媒体１０５から該当する再生対象のデータ（再生データ）を検出し、当該再生データに対して、エラー訂正処理や復調処理等を施す。
圧縮伸張処理１０３は、記録再生処理１０４での処理後のデータ（圧縮画像データ）を伸張することで、圧縮処理前の画像データを復元する。
【００４０】
表示部１０６は、圧縮伸張処理１０３で得られた画像データを表示する。このとき、必要に応じて、表示部１０６は、撮像記録装置１００の動作状況に関する情報を表示する。
【００４１】
尚、本実施の形態の特徴とする構成である「輝度特徴判定部１１０」に関わる動作についての詳細は後述する。
また、本実施の形態の最も特徴とする構成は、画像圧縮のための構成であることにより、以下では、主に、撮像記録装置１００の記録動作に着目して説明する。
【００４２】
＜カメラ信号処理１１１の構成及び動作＞
カメラ信号処理１１１は、例えば、図２に示すように、ＣＣＤ（電荷撮像素子）２０１、Ｓ／Ｈ（サンプルホールド）回路２０２、ＡＧＣ（オートゲインコントロール）回路２０３、Ａ／Ｄコンバータ２０４、カメラプロセス処理回路２０５、及びＴＧ（タイミングジェネレータ）２０６を備えている。
【００４３】
上記図２のカメラ信号処理１１１において、先ず、ＣＣＤ２０１は、光学系レンズ群１０１及び光学制御系１０２（上記図１参照）を介して供給された光学信号を電気信号に変換して出力する。
Ｓ／Ｈ回路２０２は、ＣＣＤ２０１から出力された電気信号を、サンプリング及び電荷ホールドすることで、当該電気信号を連続した画像信号として出力する。
【００４４】
ＡＧＣ回路２０３は、ＣＰＵ１０８からの制御に基づいて、Ｓ／Ｈ回路２０２から出力された画像信号のレベルを、次段のＡ／Ｄコンバータ２０４の入力レンジに対して適切なレベルになるように制御して、当該画像信号をＡ／Ｄコンバータ２０４に対して入力する。
【００４５】
このとき、ＴＧ２０６は、ＣＰＵ１０８からの制御に基づいて、ＣＣＤ２０１及びＳ／Ｈ回路２０２に対して、所定のタイミング信号を供与する。したがって、ＣＣＤ２０１及びＳ／Ｈ回路２０２はそれぞれ、ＴＧ２０６からのタイミング信号に基づいて動作する。
【００４６】
Ａ／Ｄコンバータ２０４は、ＡＧＣ回路２０３からの画像信号、すなわち所定レベルにゲイン調整された画像信号をディジタル化して出力する。
カメラプロセス処理回路２０５は、Ａ／Ｄコンバータ２０４の出力に対して、色分離、階調補正、及びホワイトバランス調整等の信号処理を施した後、これを画像データ（撮像データ）として圧縮伸張処理部１０３及び輝度特徴判定部１１０（上記図１参照）に対して出力する。
【００４７】
＜圧縮伸張処理部１０３の構成及び動作＞
圧縮伸張処理部１０３は、例えば、ＭＰＥＧ２に基づいた圧縮処理機能を有し、図３に示すように、プレフィルタ３２０、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）回路３０２、量子化回路３０３、スイッチ３０１，３０９、減算回路３１０、符号化回路３０４、多重化回路３０５、逆量子化回路３０６、逆ＤＣＴ回路３０７、加算回路３０８、動き補償予測回路３１１、及び動き検出回路３１２を備えている。
また、圧縮伸張処理部１０３は、上記図１に示したメモリ１０７に含まれるメモリ１０７ａ，１０７ｂを備えている。
【００４８】
尚、圧縮伸張処理部１０３の動作について、詳細は後述する輝度特徴判定部１１０の判定結果に基づいた動作については、輝度特徴判定部１１０と合わせて説明する。
【００４９】
上記図３の圧縮伸張処理部１０３において、先ず、カメラ信号処理１１１（上記図１参照）から供給された画像データは、一旦メモリ１０７ａに蓄えられる。
メモリ１０７ａでは、ＣＰＵ１０８からの制御により、画面の並べ替え処理が実行される。
【００５０】
具体的には例えば、図４は、カメラ信号処理１１１から供給された画像データ（対象画像データ）を、一連のフレーム間符号化を構成するＩピクチャ、Ｐピクチャ、及びＢピクチャによるＧＯＰ単位で、先頭をＩピクチャとし、３フレームおきにＰピクチャを位置させ、さらに、Ｐピクチャの間にＢピクチャを２フレーム位置させる構成で符号化するものとした場合の、画面の並べ替え処理の様子を示したものである。
【００５１】
上記図４（ａ）に示すように、対象画像データ、すなわちメモリ１０７ａへの入力画像データは、
Ｂｚ_n-1，Ｂｚ_n，Ｉａ₀，Ｂａ₀，Ｂａ₁，Ｐａ₀，
Ｂａ₂，Ｂａ₃，Ｐａ₁，…
なるピクチャ構成となっている。これに対して画面の並べ替え処理を施すことで、上記図４（ｂ）に示すように、
Ｉａ₀，Ｂｚ_n-1，Ｂｚ_n，Ｐａ₀，Ｂａ₀，Ｂａ₁，
Ｐａ₁，Ｂａ₂，Ｂａ₃，…
なるピクチャ構成を得る。
【００５２】
上述のような画面の並べ替え処理が施された画像データがメモリ１０７ａから出力されると、プレフィルタ３２０は、当該出力画像データの所定の帯域を制限して出力する。このときのプレフィルタ３２０のフィルタ係数等に関しては、ＣＰＵ１０８により適宜設定可能である。
【００５３】
プレフィルタ３２０から出力された画像データは、スイッチ３０１に供給される。
スイッチ３０１は、プレフィルタ３２０からの画像データがＩピクチャの場合、その出力先としてａ側の出力端子を選択し、当該画像データがＰピクチャ又はＢピクチャの場合、その出力先としてｂ側の出力端子を選択する。
【００５４】
したがって、スイッチ３０１に対してブロック化されたＩピクチャの画像データが入力された場合、当該画像データは、ａ側の出力端子を介して、ＤＣＴ回路３０２へと供給される。
【００５５】
ＤＣＴ回路３０２は、スイッチ３０１からの画像データ（Ｉピクチャの画像データ）に対して、複数画素からなるブロック単位でのＤＣＴ変換処理を施すことで、周波数軸上のデータ（周波数軸データ）を生成し、これを次段の量子化回路３０３へ供給する。
量子化回路３０３は、ＤＣＴ回路３０２からの周波数軸データが所定の記録レートとなるように量子化し、この量子化データを符号化回路３０４及び逆量子化回路３０６へ供給する。
【００５６】
符号化回路３０４は、量子化回路３０３からの量子化データに対して、ハフマン符号化やランレングス符号化による可変長符号化処理を施し、当該処理後データ（Ｉピクチャの符号化データ）を多重化回路３０５へ供給する。
【００５７】
これと同時に、逆量子化回路３０６は、量子化回路３０３からの量子化データを逆量子化して、周波数軸データを復元する。
逆ＤＣＴ回路３０７は、逆量子化回路３０６で得られた周波数軸データに対して逆ＤＣＴ処理を施すことで、Ｉピクチャの画像データを復元する。
【００５８】
逆ＤＣＴ回路３０７で得られたＩピクチャの画像データは、次段の加算回路３０８へ供給される。
このとき、スイッチ３０９は、加算回路３０８への入力画像データがＩピクチャの場合、Ｚｅｒｏデータを出力する出力端子のｂ側を選択するように構成されていることにより、Ｚｅｒｏデータを加算回路３０８に対して出力する。
したがって、この場合、加算回路３０８は、入力画像データに対して何も加算しないのと同値、すなわち入力画像データ（Ｉピクチャの画像データ）と同値を加算結果としてメモリ１０７ｂに対して出力して保存する。
【００５９】
一方、プレフィルタ３２０から出力された画像データがＰピクチャの画像データである場合、動き補償予測回路３１１は、メモリ１０７ｂからＩピクチャの画像データを読み出し、これを減算回路３１０に供給する。
減算回路３１０は、動き補償予測回路３１１からのＩピクチャの画像データと、メモリ１０７ａに蓄積されているＰピクチャの画像データとの減算処理を実行し、その結果をスイッチ３０１に供給する。
【００６０】
スイッチ３０１は、上述したように、入力画像データがＰピクチャ又はＢピクチャの場合にはｂ側の出力端子を選択することにより、減算回路３１０からの減算結果をフレーム間差分の画像データとしてＤＣＴ回路３０２に供給する。
ＤＣＴ回路３０２は、スイッチ３０１からの画像データに対して、上述したような変換処理を施す。これにより、順次符号化処理が実行されることになる。
【００６１】
このとき、動き補償予測回路３１１は、メモリ１０７ｂに保持されたＩピクチャの画像データから予測データを取得して、これをスイッチ３０９のａ側の出力端子に供給する。スイッチ３０９は、動き補償予測回路３１１からの予測データの出力先として、ａ側の出力端子を選択する。これにより、加算回路３０８に対しては、動き補償予測回路３１１で得られた予測データが供給される。
【００６２】
すなわち、Ｐピクチャの画像データの符号化の場合、スイッチ３０９がａ側の出力端子を選択するので、加算回路３０８は、スイッチ３０９のａ側の出力端子からの予測データと、逆ＤＣＴ回路３０７からの画像データとを加算し、この加算結果をメモリ１０７ｂに対して出力する。
【００６３】
また、プレフィルタ３２０から出力された画像データがＢピクチャの画像データである場合、Ｐピクチャの画像データの処理時と同様に、スイッチ３０１及び３０９はそれぞれ、ａ側の出力端子を選択する。
【００６４】
この場合の動作として特徴的なのは、動き補償予測回路３１１が、メモリ１０７ｂに保持されている画像データより、ＩピクチャとＰピクチャの双方から動き予測を行うことが可能な点である。
【００６５】
上述のようにして、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのそれぞれの画像データについて圧縮処理が実行される中で、動き検出回路３１２は、動き補償予測回路３１１で得られる動きベクトルの絶対値の総和を求め、画像の動き情報をＣＰＵ１０８へ供給する。
多重化回路３０５は、符号化回路３０４からのデータに対して、シーン切り替え情報、或いはＣＰＵ１０８から供給される動き情報を多重し、その多重化データ（圧縮画像データ）を記録再生処理部１０４（上記図１参照）へ供給する。
【００６６】
＜記録再生処理部１０４の構成及び動作＞
記録再生処理部１０４は、例えば、図５に示すような構成により、圧縮伸張処理部１０３からの圧縮画像データを記録媒体１０５に記録し、また、記録媒体１０５に記録されたデータを再生する。
ここでは記録媒体１０５が、例えば、光磁気ディスクであるものとしている。
【００６７】
すなわち、記録再生処理部１０４は、上記図５に示すように、スピンドルモータ５０６、レーザードライバ５０５、サーボＤＳＰ５０７、光ピックアップ５０４、磁気ヘッド５０２、磁気ヘッドドライバ５０１、及びプリアンプ５０８を備えている。
【００６８】
記録媒体１０５への記録動作の場合、先ず、サーボＤＳＰ５０７は、スピンドルモータ５０６を駆動制御することで、記録媒体１０５（ディスク媒体）に対して所定の回転サーボをかけると共に、光ピックアップ５０４が当該ディスクの所定トラックをトレースするように、不図示のトラバースモータに対してサーボ制御をかける。また、サーボＤＳＰ５０７は、光ピックアップ４０４のアクチュエータを制御することで、レーザー光のフォーカス制御やトラッキング制御を行う。
これにより、レーザードライバ５０５からは、所定の記録レーザーパワーが記録媒体１０５（ディスク媒体）に対して出力される。これと同時に、磁気ヘッドドライバ５０１は、圧縮伸張処理部１０３からの圧縮画像データに基づいて、磁気ヘッド５０２に対して記録変調磁界をかける。
【００６９】
上述のようにして、圧縮伸張処理部１０３からの圧縮画像データは、磁気情報として、記録媒体１０５（ディスク媒体）の所定位置（所定トラック）に記録される。
【００７０】
一方、記録媒体１０５からの再生動作の場合、先ず、レーザードライバ５０５は、サーボＤＳＰ５０７からの制御により、所定の再生パワーを記録媒体１０５（ディスク媒体）に対して照射し、これによるディスクからの反射光量差を検出して光電変換後、この電気信号（再生電気信号）をプリアンプ５０８に対して出力する。
プリアンプ５０８は、レーザードライバ５０５により供給された再生電気信号に対して、所定のレベルの信号とする増幅処理を施す。当該処理後の信号は、記録再生処理１０４内で、さらに波形等化等の再生信号処置が施される。
【００７１】
＜輝度特徴判定部１１０の構成及び動作、及びこれに関する圧縮伸張処理部１０３の動作＞
輝度特徴判定部１１０は、本実施の形態の最も特徴とする構成部であり、例えば、図６に示すように、対象画像データの色温度情報６０１とＣＰＵ１０８により予め設定された設定値６０４を比較する比較部６０２と、比較部６０２の比較結果に基づいて対象画像データの輝度特徴を判定する判定部６０３とを備えている。
【００７２】
先ず、上述したカメラ信号処理部１１１では、ＣＰＵ１０８を駆使したカメラプロセス処理（カメラプロセス処理回路２０５による処理）により、色分離、ガンマ補正、及びホワイトバランス調整等の信号処理を施した画像データ（撮像データ）が生成される。
この画像データが輝度特徴判定部１１０で処理されることになるが、具体的には、当該画像データは一旦ＣＰＵ１０８に対して入力され、ＣＰＵ１０８は、当該画像データから色温度情報６０１を取得し、この色温度情報６０１を輝度特徴判定部１１０に供給する。
【００７３】
ここで、ＪＩＳ（日本工業規格）では、標準の光に関して、以下の通り定めている。
・白熱灯の光：色温度２８５６Ｋ
・昼間の光：色温度６５０４Ｋ
・昼間の平均の光：色温度６７７４Ｋ
したがって、光源の色温度情報（色温度情報６０１）により、対象画像データが屋外での撮影により得られたものであるか、或いは屋内での撮影により得られたものであるのかを判定することができる。
【００７４】
例えば、設定値６０４に対して、色温度の閾値として“６０００Ｋ”程度を設定した場合、比較部６０２は、色温度情報６０１により示される対象画像データの色温度と、設定値６０４により示される“６０００Ｋ”とを比較する。
判定部６０３は、比較部６０２の比較結果により、対象画像データの色温度が“６０００Ｋ”以上である場合、対象画像データは「屋外撮影」又はそれに順じる明るい場所での撮影により得られたデータであると判定し、一方、対象画像データの色温度が“６０００Ｋ”以下である場合、対象画像データは「屋内撮影」又はそれに順じる暗い場所での撮影により得られたデータであると判定する。
【００７５】
そこで、上述した圧縮伸張処理部１０３は、輝度特徴判定部１１０の判定結果に基づいて、対象画像データの圧縮処理を実行する。
すなわち、圧縮伸張処理部１０３は、輝度特徴判定部１１０の判定結果により、対象画像データが、「屋内撮影」又はそれに順じる暗い場所での撮影により得られたデータである場合、例えば、図７に示すように、量子化ステップの割り当てを変える。
【００７６】
上記図７では、横軸を「符号量割り当て」を横軸で示し、対象画像データの「輝度レベル」を縦軸で示している。
上記図７に示すように、縦軸に示す輝度レベルにおいて、黒（Ｂｌａｃｋ）〜白（Ｗｈｉｔｅ）の間を、“ｔｈ１”と“ｔｈ２”の２つの閾値で区切り、それぞれの領域で、量子化ステップを変える。これにより、符号量の割り当てが可変されることになる。
【００７７】
具体的には、上記図７では、対象画像データの平均輝度レベルが黒（Ｂｌａｃｋ）〜閾値ｔｈ２の間、すなわち低輝度部である場合、量子化ステップを“Ｑ２”とし、対象画像データの平均輝度レベルが閾値ｔｈ２〜閾値ｔｈ１の間、すなわち中間輝度部の場合、量子化ステップを“Ｑ３”とし、対象画像データの平均輝度レベルが閾値ｔｈ１〜白（Ｗｈｉｔｅ）までの間、すなわち高輝度部の場合、量子化ステップを“Ｑ１”とする。
量子化ステップはＱ１＞Ｑ２＞Ｑ３であり、量子化ステップＱ３が相対的に細かく量子化することになり、したがって、符号量はＱ１＜Ｑ２＜Ｑ３となる。
【００７８】
図８は、上述の一連の動作をフローチャートにより示したものである。
【００７９】
ステップＳ８０１：
輝度特徴判定部１１０において、比較部６０２は、ＣＰＵ１０８から対象画像データの色温度情報６０１を受け取ると、色温度情報６０１と設定値６０４を比較する。
ステップＳ８０２：
判定部６０３は、比較部６０２の比較結果により、対象画像データの色温度の高低を判定する。
【００８０】
ステップＳ８０３：
ステップＳ８０２の判定の結果、対象画像データの色温度が設定値６０４より低い場合、圧縮伸張処理部１０３は、上記図７に示したように、対象画像データの輝度レベルに応じて符号量の割り当てを変更して、対象画像データの圧縮処理を実行する。
【００８１】
ステップＳ８０４：
ステップＳ８０２の判定の結果、対象画像データの色温度が設定値６０４より高い場合、圧縮伸張処理部１０３は、通常通りの符号量の割り当てにより、対象画像データの圧縮処理を実行する。
【００８２】
尚、対象画像データの輝度レベルに基づいた量子化ステップの変更による、符号量の相対的な割り当て方法については、必ずしも上述した規定に限定するものではない。
例えば、上記図７において、対象画像データの平均輝度レベルが黒（Ｂｌａｃｋ）〜閾値ｔｈ２の間、すなわち低輝度部である場合、量子化ステップを“Ｑ３”とし、対象画像データの平均輝度レベルが閾値ｔｈ２〜閾値ｔｈ１の間、すなわち中間輝度部の場合、量子化ステップを“Ｑ２”とし、対象画像データの平均輝度レベルが閾値ｔｈ１〜白（Ｗｈｉｔｅ）までの間、すなわち高輝度部の場合、量子化ステップを“Ｑ１”とするようにしてもよい。この場合、量子化ステップはＱ１＞Ｑ２＞Ｑ３であり、低輝度部の量子化ステップが“Ｑ３”となり、他の輝度レベルより相対的に細かく量子化されることになる。
【００８３】
また、輝度レベルの閾値設定に関しても、上記図７に示したような“ｔｈ１”及び“ｔｈ２”に限定されることはなく、少なくとも１つの閾値をどの輝度レベルでも複数或いは任意に設定可能である。
【００８４】
[第２の実施の形態]
本実施の形態では、上記図１の撮像記録装置１００において、以下に説明するような構成とする。
尚、ここでは、第１の実施の形態と異なる構成及び動作についてのみ、具体的に説明する。
【００８５】
まず、輝度特徴判定部１１０において、圧縮伸張処理部１０３での圧縮処理における符号量制御のために、対象画像データの輝度レベル（輝度特徴）を判定する際、ＣＰＵ１０８で得られた色温度情報６０１だけでは、当該判定が不十分となる可能性がある。
【００８６】
例えば、光源として蛍光灯が用いられた場合、その種類により、次のように色温度が異なる。
・Ｄタイプ（昼光色）：６７００Ｋ
・Ｎタイプ（昼白色）：５０００Ｋ
・Ｌタイプ（電球色）：３０００Ｋ
このことから、色温度情報６０１のみを輝度特徴の判定指標とすると、昼光色タイプの蛍光灯下での撮影により得られた画像データと、屋外での撮影により得られた画像データとの差異が得られない可能性がある。
【００８７】
そこで、本実施の形態における輝度特徴判定部１１０´は、例えば、図９に示すように、上記図６に示した第１の実施の形態における構成に加えて、ＣＰＵ１０８におけるＡＧＣ設定情報（上記図２に示したＡＧＣ回路２０３の設定値）９０１と予めＣＰＵ１０８に設定された設定値９０２を比較する比較部９０４を備えた構成としており、判定部６０３に対しては、２つの比較部９０４，６０４の比較結果が供給される。
【００８８】
図１０は、本実施の形態における撮像記録装置１００の一連の動作をフローチャートにより示したものである。
【００８９】
ステップＳ１００１：
輝度特徴判定部１１０´において、比較部６０２は、ＣＰＵ１０８から対象画像データの色温度情報６０１を受け取ると、色温度情報６０１と設定値６０４を比較する。
【００９０】
ステップＳ１００２：
判定部６０３は、比較部６０２の比較結果により、対象画像データの色温度の高低を判定する。
この判定の結果、対象画像データの色温度が設定値６０４より低い場合にはステップＳ１００５へ進み、そうでない場合にはステップＳ１００３へ進む。
【００９１】
ステップＳ１００３：
ステップＳ１００２の判別の結果、対象画像データの色温度が設定値６０４より高い場合、比較部９０４は、ＣＰＵ１０８からＡＧＣ設定値９０１を受け取ると、ＡＧＣ設定値９０１と設定値９０２を比較する。
【００９２】
ステップＳ１００４：
判定部６０３は、比較部９０４の比較結果により、対象画像データのＡＧＣゲインアップ量を判定する。
この判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より大きい場合にはステップＳ１００５へ進み、そうでない場合にはステップＳ１００６へ進む。
【００９３】
例えば、色温度が高い蛍光灯下であっても、屋内での撮影では、ＡＧＣ回路２０３におけるゲインアップ量が大きいため、この撮影で得られた画像データのゲインアップ量が予め設定された値（閾値）９０２より小さい場合、ステップＳ１００５に移行する。一方、当該ゲインアップ量が閾値９０２より大きい場合には、通常の符号化処理であるステップＳ１００６へと行する。
【００９４】
ステップＳ１００５：
ステップＳ１００２の判定の結果、対象画像データの色温度が設定値６０４より低い場合、又はステップＳ１００４の判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より大きい場合、圧縮伸張処理部１０３は、上記図７に示したように、対象画像データの輝度レベルに応じて符号量の割り当てを変更して、対象画像データの圧縮処理を実行する。
【００９５】
ステップＳ１００６：
ステップＳ１００４の判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より小さい場合、圧縮伸張処理部１０３は、通常通りの符号量の割り当てにより、対象画像データの圧縮処理を実行する。
【００９６】
[第３の実施の形態]
第１及び第２の実施の形態では、対象画像データの輝度特徴（輝度レベル）を判定し、この判定結果に基づいて、圧縮処理における符号量の割り当てを変える構成とした。
本実施の形態では、上記図１に示した撮像記録装置１００において、対象画像データの輝度特徴（輝度レベル）を判定し、この判定結果に基づいて、上記図３に示した圧縮伸張処理部１０３のプレフィルタ３２０（上記図３参照）の特性を切り替える。
【００９７】
図１１は、本実施の形態における撮像記録装置１００の一連の動作をフローチャートにより示したものである。
尚、本実施の形態における輝度特徴判定部１１０は、第２の実施の形態の輝度特徴判定部１１０´（上記図９参照）と同様の構成であるものとして、上記図１１に示す動作を実施する。
【００９８】
ステップＳ１１０１：
輝度特徴判定部１１０´において、比較部６０２は、ＣＰＵ１０８から対象画像データの色温度情報６０１を受け取ると、色温度情報６０１と設定値６０４を比較する。
【００９９】
ステップＳ１１０２：
判定部６０３は、比較部６０２の比較結果により、対象画像データの色温度の高低を判定する。
この判定の結果、対象画像データの色温度が設定値６０４より低い場合にはステップＳ１１０５へ進み、そうでない場合にはステップＳ１１０３へ進む。
【０１００】
ステップＳ１１０３：
ステップＳ１１０２の判別の結果、対象画像データの色温度が設定値６０４より高い場合、比較部９０４は、ＣＰＵ１０８からＡＧＣ設定値９０１を受け取ると、ＡＧＣ設定値９０１と設定値９０２を比較する。
【０１０１】
ステップＳ１１０４：
判定部６０３は、比較部９０４の比較結果により、対象画像データのＡＧＣゲインアップ量を判定する。
この判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より大きい場合にはステップＳ１１０５へ進み、そうでない場合にはステップＳ１１０６へ進む。
【０１０２】
ステップＳ１１０５：
ステップＳ１１０２の判定の結果、対象画像データの色温度が設定値６０４より低い場合、又はステップＳ１１０４の判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より大きい場合、圧縮伸張処理部１０３は、例えば、ＣＰＵ１０８からの制御により、図１２に示すように、プレフィルタ３２０（上記図３参照）に対して、対象画像データにかけるプレフィルタの設定を切り替える。
具体的には、上記図１２に示す切り替え制御の場合、対象画像データにおいて、高輝度部に対しては、“Ｑ１”で示すような通過帯域の狭いフィルタ特性を与える。これに対して、低輝度部に対しては、“Ｑ１”よりも通過帯域の広い“Ｑ２”というフィルタ特性を与え、また、中間輝度部に対しては、“Ｑ２”よりも通過帯域の広い“Ｑ３”というフィルタ特性を与える。
【０１０３】
ステップＳ１１０６：
ステップＳ１１０４の判定の結果、対象画像データのＡＧＣゲインアップ量が設定値９０２より小さい場合、圧縮伸張処理部１０３は、通常通りのフィルタ特性により画像データのフィルタ処理を実行する。
【０１０４】
[第４の実施の形態]
第１〜第３の実施の形態では、屋内での撮影のように、中間調の輝度レベルに比較的集中しやすいシーン、或いは屋外での撮影のように、高輝度（ハイライト）から低輝度（シャドー）まで輝度ダイナミックレンジの広いシーン等のような、様々な状況下におけるシーンを含む画像データ（撮像データ）を圧縮処理する際、輝度特徴判定部１１０（或いは１１０´）により、当該圧縮処理における符号量の制御を最適化する構成とした。
しかしながら、実施形態としては、ユーザが、このような機能を積極的且つ意図的に選択して実施するモードも実現可能である。
【０１０５】
具体的には例えば、上記図１に示した撮像記録装置１００において、ユーザが、より中間調を重視した撮影画像を取得したい場合（絵作りをしたい場合）、ユーザは、このためのコマンドをキー操作部１０９を介して入力する。
ＣＰＵ１０８は、ユーザからの入力コマンドを受けると、圧縮伸張処理部１０３において、上記図７に示したような、中間調に重みをおいた符号量の割り当て制御を実施する。さらに、中間調への符号量の割り当ての重み付けに関しては、上記図１２に示したようなフィルタ係数設定の変更によるものであっても実現可能である。
【０１０６】
尚、本発明の目的は、第１〜第４の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第４の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第４の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１０７】
【発明の効果】
以上説明したように本発明では、被写体を撮像して得られた画像信号を、例えば、記録媒体に記録するために圧縮処理する場合、当該画像信号の輝度特徴に基づいて、プレフィルタのフィルタ特性を切り替えるように構成した。これにより、例えば、視覚的に画像圧縮による画質劣化の目立ちやすい輝度レベルの画像であっても、画質劣化が低減され効率的な画像圧縮を行うことができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した撮像記録装置の構成を示すブロック図である。
【図２】上記撮像記録装置のカメラ信号処理部の構成を示すブロック図である。
【図３】上記撮像記録装置の圧縮伸張部の構成を示すブロック図である。
【図４】上記圧縮伸張部での画面入れ換え処理を説明するための図である。
【図５】上記撮像記録装置の記録再生処理部の構成を示すブロック図である。
【図６】上記撮像記録装置の輝度特徴判定部の構成を示すブロック図である。
【図７】上記輝度特徴判定部の判定結果（輝度レベル）に応じた符号量割り当て変更を説明するための図である。
【図８】上記撮像記録装置の動作を説明するためのフローチャートである。
【図９】第２の実施の形態における上記輝度特徴判定部の構成を示すブロック図である。
【図１０】第２の実施の形態における上記撮像記録装置の動作を説明するためのフローチャートである。
【図１１】第３の実施の形態における上記撮像記録装置の動作を説明するためのフローチャートである。
【図１２】 第３の実施の形態において、プレフィルタの切り替えを説明するための図である。
【符号の説明】
１００ 撮像記録装置
１０１ 光学系レンズ群
１０２ 光学制御系
１０３ 圧縮伸張処理部
１０４ 記録再生処理部
１０５ 記録媒体
１０６ 表示部
１０７ メモリ
１０８ ＣＰＵ
１０９ キー操作部
１１０ 輝度特徴判定部
１１１ カメラ信号処理部

Claims (7)

1. 被写体を撮像して画像信号を得る撮像手段と、
   前記撮像手段により得られた画像信号に対してフィルタ処理を施すプレフィルタと、前記プレフィルタより出力された画像信号を圧縮符号化する符号化回路とを有する圧縮手段と、
   前記撮像手段により得られた画像信号の輝度特徴に基づき、前記プレフィルタのフィルタ特性を切り替える制御手段と、
   メモリを用いて画面の並べ替え処理を行う画面並べ替え手段とを備え、
   前記画面並べ替え手段は前記撮像手段により得られた画像信号に対して画面の並べ替え処理を行い、前記プレフィルタは前記画面並べ替え手段によって画面の並べ替え処理が行われた画像信号に対してフィルタ処理を施すことを特徴とする画像処理装置。
2. 前記制御手段は、前記撮像手段により得られた画像信号における色温度を予め定められた設定値と比較する比較手段と、前記比較手段の比較結果に基づいて前記輝度特徴を判定する判定手段とを備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記色温度が前記設定値より低い場合に前記プレフィルタのフィルタ特性を切り替えることを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記撮像手段により得られた画像信号におけるゲインアップ量を予め定められた設定値と比較する比較手段と、前記比較手段の比較結果に基づいて前記輝度特徴を判定する判定手段とを備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記画像信号の高輝度部に対しては第１のフィルタ特性を、前記画像信号の低輝度部に対しては前記第１のフィルタ特性よりも通過帯域の広い第２のフィルタ特性を前記プレフィルタに対して設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記画像信号の中間輝度部に対しては前記第２のフィルタ特性よりもさらに通過帯域の広い第３のフィルタ特性を前記プレフィルタに対して設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記画面並べ替え手段は、前記撮像手段により得られた画像信号におけるピクチャの順序を、前記符号化回路におけるフレーム間符号化に対応したピクチャの順序に並べ替えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

Images