JP3897253B2 - 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 - Google Patents
画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3897253B2 JP3897253B2 JP2002380033A JP2002380033A JP3897253B2 JP 3897253 B2 JP3897253 B2 JP 3897253B2 JP 2002380033 A JP2002380033 A JP 2002380033A JP 2002380033 A JP2002380033 A JP 2002380033A JP 3897253 B2 JP3897253 B2 JP 3897253B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- component amount
- moving object
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理に係り、特に、デジタルカメラなどによって撮影された静止画像中の移動物体の検出及びそれに関連した画像処理に関する。
【０００２】
【従来の技術】
様々な画像処理の分野において、画像中の移動物体の検出が必要となることがある。動画像の場合には、時間的に連続した前後の画像の比較により、比較的容易に移動物体を検出することができる（例えば特許文献１参照）。しかし、静止画像の場合、時間的に接近した画像を用意できないときには、そのような方法を適用できない。
【０００３】
画像は記録又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはＪＰＥＧが広く利用されているが、これに代わる圧縮方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）が注目されている（例えば非特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１４５７７６号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【０００５】
【発明が解決しようとする課題】
よって、本発明の目的は、デジタルカメラなどによって撮影された静止画像中の移動物体を検出するための新規な方法及び装置を提供することにある。本発明のもう１つの目的は、静止画像中の移動物体を検出し、その検出結果に応じて静止画像を圧縮する新規な方法及び装置を提供することにある。本発明のもう１つの目的は、圧縮された静止画像中の移動物体を検出する新規な方法及び装置を提供することにある。本発明のもう１つの目的は、静止画像を圧縮処理した符号化データを移動物体の検出結果に応じて変換する新規な方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の画像処理方法は、請求項１に記載されるように、
静止画像に２次元ウェーブレット変換が適用されることにより得られたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出処理と、
前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出処理と、
を含み、
前記移動物体検出処理は、前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定ステップと、該第１の判定ステップで前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定ステップとを含むことを特徴とする。
【０００７】
本発明の画像処理方法のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の構成に加え、前記移動物体検出処理において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することにある。
【０００８】
本発明の画像処理方法のもう１つの特徴は、請求項３に記載されるように、請求項１又は２に記載の構成に加え、２次元ウェーブレット変換を含む静止画像の圧縮処理をさらに含み、前記圧縮処理における２次元ウェーブレット変換により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることにある。
【０００９】
本発明の画像処理方法のもう１つの特徴は、請求項４に記載されるように、請求項３に記載の構成において、前記圧縮処理は、前記移動物体検出処理による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することにある。
【００１０】
本発明の画像処理方法のもう１つの特徴は、請求項５に記載されるように、請求項３に記載の構成に加え、前記移動物体検出処理による移動物体の検出結果に従って、前記圧縮処理により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことにある。
【００１１】
本発明の画像処理方法のもう１つの特徴は、請求項６に記載されるように、請求項１又は２に記載の構成に加え、２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画像の符号化データの伸長処理をさらに含み、前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることにある。
【００１２】
本発明の画像処理方法のもう１つの特徴は、請求項７に記載されるように、請求項６に記載の構成に加え、前記移動物体検出処理による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことにある。
【００１３】
本発明の画像処理方法のもう１つの特徴は、請求項８に記載されるように、請求項１乃至７のいずれか１項に記載の構成において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することにある。
【００１４】
本発明の画像処理方法のもう１つの特徴は、請求項９に記載されるように、請求項１乃至７のいずれか１項に記載の構成において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することにある。
【００１５】
本発明の画像処理装置は、請求項１０に記載されるように、
静止画像に対する２次元ウェーブレット変換を実行するウェーブレット変換処理手段と、
前記ウェーブレット変換により生成されたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と 比較する第２の判定手段とを含むことを特徴とする。
【００１６】
本発明の画像処理装置のもう１つの特徴は、請求項１１に記載されるように、請求項１０の記載の構成に加え、前記移動物体検出手段において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することにある。
【００１７】
本発明の画像処理装置のもう１つの特徴は、請求項１２に記載されるように、請求項１０又は１１に記載の構成に加え、静止画像の圧縮処理を実行する圧縮処理手段を有し、前記ウェーブレット変換処理手段は前記圧縮処理手段に含まれることにある。
【００１８】
本発明の画像処理装置のもう１つの特徴は、請求項１３に記載されるように、請求項１２に記載の構成において、前記圧縮処理手段は、前記移動物体検出手段による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することにある。
【００１９】
本発明の画像処理装置のもう１つの特徴は、請求項１４に記載されるように、請求項１２に記載の構成に加え、前記移動物体検出手段による移動物体の検出結果に従って、前記圧縮処理手段により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することにある。
【００２０】
本発明の画像処理装置のもう一つの特徴は、請求項１５に記載されるように、
２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画像の符号化データに対する伸長処理を実行する伸長処理手段と、
前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定手段とを含むことを特徴とする。
【００２１】
本発明の画像処理装置のもう１つの特徴は、請求項１６に記載されるように、請求項１５に記載の構成に加え、前記移動物体検出手段による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することにある。
【００２２】
本発明の画像処理装置のもう１つの特徴は、請求項１７に記載されるように、請求項１０乃至１６のいずれか１項に記載の構成において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することにある。
【００２３】
本発明の画像処理装置のもう１つの特徴は、請求項１８に記載されるように、請求項１０乃至１６のいずれか１項に記載の構成において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することにある。
【００２４】
本発明の撮像装置は、請求項１９に記載されるように、請求項１０乃至１６のいずれか１項に記載の各手段と、静止画像を撮影して入力する撮像手段を有することを特徴とする。
【００２５】
【発明の実施の形態】
本発明の実施の形態の説明に先立ち、その理解に必要な範囲でＪＰＥＧ２０００について概説する。
【００２６】
図１は、ＪＰＥＧ２０００の基本的な圧縮・伸長処理の流れを示すブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００２７】
各コンポーネントの各タイル画像は、色空間変換・逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００２８】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元ウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。ウェーブレット係数はサブバンド毎に量子化／逆量子化部３によって量子化される。ＪＰＥＧ２０００は可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００２９】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３０】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プリシンクト)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００３１】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図２に示す。図２に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３２】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３３】
ここで、本発明に直接関連する２次元ウェーブレット変換についてさらに説明する。図３乃至図６は、モノクロ画像（又はカラー画像の１つのコンポーネント）の16×16画素のタイル画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を垂直方向及び水平方向に施す過程を説明するための図である。
【００３４】
図３は変換前のタイル画像である。図示のようにＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Y座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここで、ハイパスフィルタとローパスフィルタはそれぞれ式（１）と式（２）で表される。式中のfloor（ｘ）は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）である。
【００３５】
C(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2) 式(1)
C(2i)=P(2i)+floor((C(2i-1)+C(2i+1)+2)/4) 式(2)
【００３６】
なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす操作である。
【００３７】
ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、とそれぞれ表記すれば、垂直方向の変換によって図３の画像は図４のようなＬ係数、Ｈ係数の配列へと変換される。
【００３８】
続いて、図４の係数配列に対して、水平方向に、Ｘ座標が奇数（ x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、前記の式のP(2i)等は係数値を表すものと読み替える)。
【００３９】
Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、とそれぞれ表記すれば、図４の係数配列は図５の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図５は４つのサブバンドで構成される。
【００４０】
以上の処理で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了する。図６は、ウェーブレット係数をサブバンド毎に集めたもので、このように係数を配列することをデインターリーブと呼び、図５のような状態に配置することをインターリーブと呼ぶ。
【００４１】
２回目のウェーブレット変換は、ＬＬサブバンドを原画像と見なして、同様の処理により行われる。その処理結果をデインターリーブすると、図７に示すようなサブバンドの係数が得られる。なお、図６及び図７中の係数の接頭の１や２は、その係数が得られるまでのウェーブレット変換の回数（デコンポジション・レベル）を示す。
【００４２】
図８に、デコンポジション・レベル数＝３の場合のサブバンド分解の様子を示す。なお、図８（ｄ）に示す各サブバンド中の括弧で囲んだ数字は解像度レベルを表す。
【００４３】
ここで、ＪＰＥＧ２０００におけるプリシンクト、コードブロック、パケット、レイヤについて説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００４４】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図９にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００４５】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図２の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００４６】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４７】
さて、デジタルカメラなどに用いられるイメージャは、ある露光時間内の光量を電気信号に変換することによって撮像する。したがって、露光時間内での移動量を無視できないような速度で移動する物体が含まれる静止画像の場合、移動物体の領域では移動方向の高周波成分が減少する。
【００４８】
２次元ウェーブレット変換の説明から理解されるように、ＨＬサブバンド係数は画像の垂直エッジ成分すなわち水平方向の高周波成分であり、ＬＨサブバンド係数は画像の水平エッジ成分すなわち垂直方向の高周波成分である。したがって、ＨＬサブバンド係数より水平方向の高周波成分量（の尺度）Ｙｈを、ＬＨサブハンド係数より垂直方向の高周波成分量（の尺度）Ｙｖをそれぞれ計算することができる。デジタルカメラなどで撮影された静止画像をタイル分割し、各タイル毎に２次元ウェーブレット変換した場合、移動物体が含まれないタイルにおいては一般に図１０の（ｄ）に示すようにＹｈとＹｖの差は小さい。これに対し、水平方向に移動する移動物体が含まれるタイルにおいては、図１０の（ａ）に示すようにＹｈがＹｖに比べかなり減少する。垂直方向に移動する移動物体が含まれるタイルにおいては、図１０の（ｂ）に示すようにＹｈに比べＹｖがかなり減少する。斜め方向に移動する移動物体が含まれるタイルでは、図１０の（ｃ）に示すように、Ｙｈ，Ｙｖともに減少するが、その違いは小さい。本発明は、このような移動物体の移動方向と水平方向及び垂直方向の高周波成分量の変化の関係を利用し、静止画像中の移動物体及びその移動方向を検出する。
【００４９】
以下、本発明のいくつかの実施の形態について図１１乃至図１９を参照して説明する。なお、説明の重複を減らすため、複数の図面において同一部分もしくは対応部分に同一の参照番号を用いる。
【００５０】
《実施の形態１》 図１１は、本発明の１つの実施の形態を説明するためのブロック図である。
【００５１】
図１１において、画像ソース５０は、処理対象の静止画像のデータを蓄積している記憶装置やパソコンなどの機器である。この画像ソース５０は、当該画像処理装置の内部にあっても、外部にあってネットワークなどの伝送路を介して当該画像処理装置に接続されるものであってもよい。
【００５２】
ウェーブレット変換処理部（ウェーブレット変換処理手段）１０２は、画像ソース５０より静止画像のデータを取り込み、静止画像に対し重複しない矩形領域（以下、タイル）毎に２次元のウェーブレット変換（例えば、前述の５×３変換）を施す処理を実行する手段である。
【００５３】
Ｙｈ，Ｙｖ算出部（高周波成分量算出手段）１０５は、ウェーブレット変換処理部１０２より出力されるＨＬ，ＬＨサブバンドの係数を取り込み、それを用いて水平方向と垂直方向の高周波成分量Ｙｈ，Ｙｖを計算する処理を実行する手段である。
【００５４】
移動物体検出部（移動物体検出手段）１１０は、水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出する処理を実行する手段である。移動物体検出の単位領域として、タイルと、それより小さい領域を選ぶことができる。まず、単位領域としてタイルが選ばれた場合の動作について、図１２に示すフローチャートを参照して説明する。
【００５５】
１つのタイルが選ばれ（ステップＳ１００）、ウェーブレット変換処理部１０２で同タイルの２次元ウェーブレット変換が行われる（ステップＳ１０１）。
【００５６】
Ｙｈ，Ｙｖ算出部１０５で、そのタイルのＨＬ，ＬＨサブバンド係数を用いて、例えば、（３）式により水平方向の高周波成分量Ｙｈを、（４）式により垂直方向の高周波成分量Ｙをそれぞれ計算する（ステップＳ１０２）。
Ｙh＝ah・Σ|1HL|+bh・Σ|2HL|+ch・Σ|3HL| (3)式
Ｙv＝av・Σ|1LH|+bv・Σ|2LH|+cv・Σ|3LH| (4)式
ただし、ah,bh,ch,av,bv,cvは０以上の定数である。
【００５７】
この例では、デコンポジションレベル１，２，３のＨＬ，ＬＨサブバンド係数を用いるが、より少ないレベルのＨＬ，ＬＨサブバンド係数（例えば、１ＨＬ，１ＬＨサブバンド係数のみ）、あるいは、より多くのレベルのＨＬ，ＬＨサブバンド係数を用いて計算をしてもよい。
【００５８】
移動物体検出部１１０において、Ｙｈ，Ｙｖの小さいほうの値すなわちＭｉｎ（Ｙｈ，Ｙｖ）と閾値ＴＨ１の比較判定を行う（ステップＳ１０４）。
【００５９】
Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１より大きければ（ステップＳ１０４，Ｙｅｓ）、図１０の（ｄ）のケースに相当するので、注目しているタイルに移動物体が含まれていないと判断し、処理はステップＳ１１２に進む。
【００６０】
移動物体検出部１１０は、Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１以下ならば（ステップＳ１０４，Ｎｏ）、図１０の（ａ），（ｂ）又は（ｃ）のケースに相当するので、注目しているタイルに移動物体が含まれていると判断する。そして、移動物体の移動方向を判別するため、Ｙｈ，Ｙｖの大きいほうの値と、小さいほうの値の比Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ）を計算し、その比と閾値ＴＨ２との比較判定を行う（ステップＳ１０６）。比がＴＨ２より大きいならば、図１０の（ａ）又は（ｂ）のケースに相当するので、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｈならば水平方向に移動する物体が含まれていると判断し、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｖならば垂直方向に移動する物体が含まれていると判断する（ステップＳ１０８）。比がＴＨ２以下ならば、図１０の（ｃ）のケースに相当するので、斜め方向に移動する物体が含まれていると判断する（ステップＳ１１０）。以上の判断の結果はタイル対応で移動物体検出部１１０に一時的に保存される。
【００６１】
ステップＳ１００からステップＳ１１０の処理が各タイルについて繰り返される。最後のタイルまで処理が終了すると（ステップＳ１１２，Ｙｅｓ）、移動物体検出部１１０は、同じ移動方向の移動物体が含まれていると判断された、接続したタイル群を１つの移動物体の領域として検出する（ステップＳ１１４）。例えば、図１３の（ａ）に示すように右方向に移動する自動車の像が含まれる静止画像が、図示のようにタイル分割されて処理される場合には、図１３の（ｂ）に示すように、左右矢印が記されたタイルは水平方向に移動する移動物体が含まれていると判断され、それらの接続したタイル群（網掛けされた領域）が１つの移動物体の領域として検出される。
【００６２】
移動物体検出の単位領域としてタイルより小さな領域が選ばれた場合の動作について、図１４に示すフローチャートを参照し説明する。なお、図２乃至図６を参照した説明から明らかなように、ウェーブレット変換の各サブバンドの各係数は、原画像の特定の画素（群）と対応関係がある。したがって、デインターリーブされた各サブバンドを矩形領域に分割した場合、その各領域は原画像上の特定の矩形領域と対応している。
【００６３】
まず、１つのタイルが選ばれ（ステップＳ２００）、そのタイルに対しウェーブレット変換処理部１０２で２次元ウェーブレット変換が実行される（ステップＳ２０１）。
【００６４】
Ｙｈ，Ｙｖ算出部１０５において、注目しているタイルを再分割した１つの領域を選択し（ステップＳ２０２）、その領域のＨＬ，ＬＨサブバンド係数を用いて、水平方向の高周波成分量Ｙｈと垂直方向の高周波成分量Ｙをそれぞれ計算する（ステップＳ２０４）。この計算式としては前記の（３）式，（４）式などを用いることができる。
【００６５】
移動物体検出部１１０において、Ｍｉｎ（Ｙｈ，Ｙｖ）と閾値ＴＨ１の比較判定を行う（ステップＳ２０６）。
【００６６】
Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１より大きければ（ステップＳ２０６，Ｙｅｓ）、注目している領域に移動物体が含まれていないと判断し、処理はステップＳ２１２に進む。
【００６７】
移動物体検出部１１０は、Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１以下ならば（ステップＳ２０６，Ｎｏ）、注目している領域に移動物体が含まれていると判断する。そして、Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ）を計算し、この比と閾値ＴＨ２との比較判定を行う（ステップＳ２０８）。比がＴＨ２より大きい場合、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｈならば水平方向に移動する物体が含まれていると判断し、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｖならば垂直方向に移動する物体が含まれていると判断する（ステップＳ２０９）。比がＴＨ２以下ならば、斜め方向に移動する物体が含まれていると判断する（ステップＳ２１０）。以上の判断の結果はタイルの領域対応に移動物体検出部１１０に一時的に保存される。
【００６８】
ステップＳ２０２からステップＳ２１０の処理がタイル内の各領域について繰り返される。選択されているタイルの最後の領域まで処理が終了すると（ステップＳ２１２，Ｙｅｓ）、ステップＳ２００に戻り、次のタイルについて同様の処理が繰り返される。
【００６９】
最後のタイルの処理が終了すると（ステップＳ２１４，Ｙｅｓ）、移動物体検出部１１０は、同じ移動方向の移動物体が含まれていると判断した領域の接続した領域群を１つの移動物体の領域として検出する（ステップＳ２１６）。
【００７０】
このようなタイルより小さな領域を単位とした移動物体検出によれば、タイル単位の場合よりも移動物体の領域をより精密に検出することができる。また、静止画像を１タイルとしてウェーブレット変換を施す場合にも移動物体検出が可能である。
【００７１】
この実施の形態の画像処理装置の各手段の機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００７２】
以下に説明する実施の形態から理解されるように、本発明は、圧縮処理に２次元ウェーブレット変換が含まれるＪＰＥＧ２０００のような圧縮方式が利用される画像処理方法及び装置に好適に適用できる。
【００７３】
《実施の形態２》 図１５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００のアルゴリズムにより静止画像の圧縮処理を実行する過程で、２次元ウェーブレット変換により生成されるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、検出された移動物体の領域の画質を他の領域より向上させた符号化データを生成する。
【００７４】
図１５において、圧縮処理部（圧縮処理手段）１００は、図示しない画像ソースより、デジタルカメラで撮影されたような静止画像の画像データを取り込み、ＪＰＥＧ２０００のアルゴリズムにより圧縮処理を行う手段である。この圧縮処理部１００の内部構成は、図１に示したものと同様であるので図示しない。
【００７５】
Ｙｈ，Ｙｖ算出部１０５と移動物体検出部１１０は、前記実施の形態１のものと同様である。ただし、Ｙｈ，Ｙｖ算出部１０５は水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖの計算に、圧縮処理部１００における圧縮処理過程で生成される量子化前のＨＬ，ＬＨサブバンドの係数を用いる。なお、圧縮対象の静止画像がカラー画像の場合には、Ｙ（輝度）コンポーネント（ＲＧＢコンポーネントの場合はＧコンポーネント）のＨＬ，ＬＨサブバンド係数のみが高周波成分量Ｙｈ，Ｙｖの計算に用いられる。
【００７６】
移動物体検出部１１０は、その水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出するが、その検出結果は圧縮処理部１００にも与えられ、圧縮処理部１００において移動体物体の領域の画質を他の領域より向上させるように圧縮条件が制御される。
【００７７】
移動物体検出の単位領域として、タイルと、それより小さい領域（例えば、図１０に関連して説明したコードブロックや複数コードブロックに対応した領域、あるいはプリシンクトに対応した領域など）を選ぶことができる。単位領域としてタイルが選ばれた場合の移動物体検出動作は図１２に示した通りである。ただし、ステップＳ１０１は圧縮処理部１００内のウェーブレット変換処理手段で実行される。タイルより小さい領域が単位領域として選ばれた場合の動作は図１４に示した通りであるが、ステップＳ２０１は圧縮処理部１００内のウェーブレット変換処理手段で実行される。
【００７８】
圧縮処理部１００には、ステップＳ１０４（図１２）又はステップＳ２０６（図１４）の判断結果が移動物体検出部１１０より送られる。したがって、圧縮処理の制御のみを目的とする場合には、ステップＳ１０６〜Ｓ１１０，Ｓ１１４（図１２）又はステップＳ２０８〜Ｓ２１０，Ｓ２１６（図１４）の処理を省くことができる。
【００７９】
圧縮処理部１００においては、移動物体が含まれていると判断されたタイル又は領域を、移動物体が含まれていないタイル又は領域より高い画質となるように圧縮処理を実行する。ＪＰＥＧ２０００では、注目した領域（ＲＯＩ；Region of Interest）の画質を他の領域より向上させる選択的領域画質向上機能がある。ＪＰＥＧ２０００の基本方式（JPEG2000 Part１）では、ウェーブレット係数の符号化前に、注目した領域（ＲＯＩ領域）のウェーブレット係数値を上位ビット側へシフトし、その領域外のウェーブレット係数値を下位ビット側へシフトするMax
Shift方式が採用されている。ＪＰＥＧ２０００では、ウェーブレット係数の量子化段階で、ＲＯＩ領域のウェーブレット係数値を他の領域よりも細かい量子化ステップで量子化することによっても、ＲＯＩ領域の画質を向上させることができる。圧縮処理部１００は、上記いずれかの方法により、移動物体が含まれていると判断されたタイル又は領域の画質を向上させるように、量子化段階以降の処理を実行する。かくして、移動物体の領域が他の領域より高画質の符号化データが圧縮処理部１００より出力される。すなわち、この実施の形態によれば、移動物体の領域の画質を落とすことなく、符号化データの符号量を削減することができる。
【００８０】
この実施の形態の画像処理装置の各手段の機能又は装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００８１】
《実施の形態３》 図１６は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、前記実施の形態２と同様、ＪＰＥＧ２０００のアルゴリズムにより静止画像の圧縮処理を実行する過程で、２次元ウェーブレット変換により得られるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、圧縮処理により生成された符号化データを、検出された移動物体の領域の画質を他の領域より向上させた符号化データに変換する。
【００８２】
この実施の形態では、符号加工部（符号加工手段）１１５が追加され、移動物体検出部１１０の検出結果が符号加工部１１５に与えられる。静止画像の画像データは、圧縮処理部１００によって、ロスレス圧縮されるか、ロスレスに近い低圧縮率でロシィ圧縮され、得られた符号化データは符号加工部１１５に入力される。
【００８３】
ＪＰＥＧ２０００の符号化データは、符号状態のままで符号の廃棄などの加工が可能である。符号加工部１１５は、圧縮処理部１００により生成された符号化データを移動物体検出結果に従って加工することにより、移動物体が含まれるタイル又は領域の画質を低下させることなく全体の符号量を減少させた符号化データに変換する。これ以外は、前記実施の形態２と同様であるので、その説明は省略する。
【００８４】
なお、圧縮処理部１００と符号加工部１１５の間に記憶手段を介在させてもよい。また、符号加工部１１５を他の部分とネットワークなどで接続する態様も可能である。このような態様も本発明に包含される。
【００８５】
この実施の形態の画像処理装置の各手段の機能又は装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００８６】
《実施の形態４》 図１７は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００の符号化データの伸長処理により得られるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行う。
【００８７】
図１７において、伸長処理部（伸長処理手段）２００は、図示しない画像ソースよりＪＰＥＧ２０００のアルゴリズムにより圧縮された静止画像の符号化データを取り込み、伸長処理を行う手段である。この伸長処理部２００の内部構成は、図１に示したものと同様であるので図示しない。
【００８８】
Ｙｈ，Ｙｖ算出部１０５と移動物体検出部１１０は、前記実施の形態１のものと同様である。ただし、Ｙｈ，Ｙｖ算出部１０５は水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖの計算に、伸長処理部２００による伸長処理によって生成される逆量子化後のＨＬ，ＬＨサブバンド係数を用いる。なお、静止画像がカラー画像の場合には、Ｙコンポーネント（ＲＧＢコンポーネントの場合はＧコンポーネント）のＨＬ，ＬＨサブバンド係数のみが高周波成分量Ｙｈ，Ｙｖの計算に用いられる。
【００８９】
移動物体検出部１１０は、その水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出する。前記実施の形態２，３と同様に、移動物体検出の単位領域として、タイルと、それより小さい領域（例えば図１０に関連して説明したコードブロックや複数コードブロックに対応する領域、あるいはプリシンクトに対応した領域など）を選ぶことができる。単位領域としてタイルが選ばれた場合又はタイルより小さな領域が選ばれた場合の移動物体検出動作はそれぞれ図１２又は図１４に示した通りであるが、ステップＳ１０１又はステップ２０１は、伸長処理部２００内のエントロピー復号化、逆量子化によるサブバンド係数生成の処理に置き換わる。
【００９０】
この実施の形態の画像処理装置の各手段機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００９１】
《実施の形態５》 図１８は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００の符号化データの伸長処理によって生成されるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、符号化データを、検出された移動物体の領域を高画質、それ以外の領域を低画質にした符号化データに変換する。
【００９２】
この実施の形態においては、前記実施の形態３と同様の符号加工部（符号加工手段）１１５が追加され、これ以外は前記実施の形態４と同様である。
【００９３】
伸長処理部２００は、図示しない画像ソースから、ＰＥＧ２０００のアルゴリズムによりロスレス圧縮された、又はロスレスに近いロシィ圧縮された静止画像の符号化データを取り込み、伸長処理を行う。この伸長処理で生成されたＨＬ，ＬＨサブバンド係数を用いて、Ｙｈ，Ｙｖ算出部１０５で水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖが計算され、それを用いて移動物体検出部１１０で移動物体の領域が検出される。移動物体検出処理動作は前記実施の形態４と同様である。各タイル又はそれより小さな各領域に対する移動物体検出結果（図１２のステップＳ１０４又は図１４のステップＳ２０６の結果）は符号加工部１１５に与えられ、符号加工部１１５において、前記実施の形態３と同様に、移動物体が含まれると判断されたタイル又は領域が高画質、それ以外の領域が低画質となるように符号化データの加工が行われる。
【００９４】
なお、符号化データの加工のみを目的とする場合には、図１２のステップＳ１０６〜Ｓ１１０，Ｓ１１４の処理、又は図１４のステップＳ２０８〜Ｓ２１０，Ｓ２１６の処理を省くことができる。
【００９５】
この実施の形態の画像処理装置の各手段の機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００９６】
《実施の形態６》 図１９は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は撮像装置、より具体的にはデジタルカメラなどの電子カメラ装置である。
【００９７】
図１９において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００９８】
３０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００９９】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び画像プロセッサ３０３は、静止画像を撮影する撮像手段を構成している。
【０１００】
３０８はＪＰＥＧ２０００のアルゴリズムによる画像データの圧縮処理と符号化データの伸長処理を行う圧縮／伸長処理部である。３１２は記録（記憶）媒体３１３に対する情報の書き込み／読み出しを行う媒体記録部である。記録媒体３１３は例えば各種メモリカードである。３１４はインターフェース部である。この画像処理装置は、インターフェース部３１４を介し、有線又は無線の伝送路あるいはネットワークを通じ、外部のパソコンなどと情報の交換を行うことができる。
【０１０１】
３０６はシステムコントローラであり、マイクロコンピュータからなる。このシステムコントローラ３０６は、操作部３０７から入力されるユーザの操作情報や画像プロセッサ３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、ズーミング機構の、画像プロセッサ３０３、圧縮／伸長処理部３０８、媒体記録部３１２などの制御を行う。３０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ３０３やシステムコントローラ３０６、圧縮／伸長処理部３０８媒体記録部３１２などの作業記憶域として利用される。
【０１０２】
操作部３０７は、電子カメラ装置の操作のための一般的な操作ボタン（スイッチ）のほかに、移動物体検出に関連した指示を入力するための操作ボタンも備える。
【０１０３】
通常の撮影動作は次の通りである。操作部３０７のレリーズボタンが押下されると、システムコントローラ３０６より撮影指示が画像プロセッサ３０３に与えられ、画像プロセッサ３０３は静止画像撮影の条件でイメージャ３０１を駆動する。撮影された静止画像のデータは画像プロセッサ３０３を経由してメモリ３０５に記憶される。この画像データは、システムコントローラ３０６の制御により、予め指定された、又はデフォルトの圧縮率で、圧縮／伸長処理部３０８により圧縮され、その符号化データは媒体記録部３１２により記録媒体３１３に記録される。
【０１０４】
前記実施の形態１（図１１）に対応した動作モードを指定することもできる。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されるが、圧縮過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。すなわち、圧縮／伸長処理部３０８の２次元ウェーブレット変換機能が図１１中のウェーブレット変換処理部１０２として利用され、図１１中のＹｈ，Ｙｖ算出部１０５及び移動物体検出部１１０の機能はシステムコントローラ３０６上でプログラムにより実現される。移動物体の検出結果は、符号化データに付加されて（例えばメインヘッダ又はタイルヘッダにコメントとして記述される）、符号化データとともに記録媒体３１３に記録される。
【０１０５】
前記実施の形態２（図１５）に対応した動作モードを指定することも可能である。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されるが、この圧縮処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。すなわち、図１５中のＹh，Ｙｖ算出部１０５と移動物体検出部１１０の機能は、システムコントローラ３０６上でプログラムにより実現される。そして、移動体検出結果に従って、圧縮／伸長処理部３０８では、移動物体が含まれると判断されたタイル又はより小さな領域の画質を向上させるような圧縮処理が行われる。生成された符号化データは記録媒体３１３に記録される。
【０１０６】
前記実施の形態３（図１６）に対応した動作モードも指定できる。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されたメモリ３０５又は記録媒体３１３に記録される。この圧縮処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行され、その検出結果もメモリ３０５に記録される。その後、メモリ３０５又は記録媒体３１３に記録されている符号化データに対し、移動物体検出結果に従った符号加工処理が実行され、移動物体の領域の画質を落とすことなく符号量を削減した符号化データが生成され、この符号化データが記録媒体３１３に記録される。すなわち、図１６中の符号加工部１１５の機能はシステムコントローラ３０６上でプログラムにより実現される。
【０１０７】
前記実施の形態４（図１７）に対応した動作モードを指定することもできる。この動作モードにおいては、指定された画像の符号化データが記録媒体３１３より読み出され、それが圧縮／伸長処理部３０８により伸長処理される。この伸長処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。移動物体検出結果は、例えば伸長された画像データとともに表示部３０４に表示され、あるいは、元の符号化データに付加されて（例えばメインヘッダ又はタイルヘッダにコメントとして記述される）、符号化データとともに記録媒体に記録される。
【０１０８】
前記実施の形態５（図１８）に対応した動作モードを指定することも可能である。この動作モードが指定された場合には、指定された画像の符号化データが媒体記録部３１２により記録媒体３１３からメモリ３０５に読み出される。この符号化データは圧縮／伸長処理部３０８により伸長されるが、その過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理と、その結果に従った符号化データの加工がシステムコントローラ３０６で実行される。すなわち、図１８中のＹｈ，Ｙｖ算出部１０５、移動物体検出部１１０及び符号加工部１１５の機能がシステムコントローラ３０６上でプログラムにより実現される。メモリ３０５に符号加工後の符号化データが生成され、これは媒体記録部３１２により記録媒体３１３に記録される。
【０１０９】
なお、圧縮／伸長処理部３０８を例えば画像プロセッサ３０３上でプログラムにより実現してもよい。また、Ｙｈ，Ｙｖ算出部１０５、移動物体検出部１１０、符号加工部１１５に対応するハードウェア又はファームウェアを別に設けることもできる。
【０１１０】
前記実施の形態２乃至６における圧縮方式は必ずしもＪＰＥＧ２０００のみに限定されるわけではなく、圧縮過程に２次元ウェーブレット変換が含まれる他の圧縮方式も利用し得る。
【０１１１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、デジタルカメラなどによって撮影された静止画像中の移動物体の領域及び移動方向を、時間的に前後した画像を参照することなく、検出することができる。圧縮された静止画像中の移動物体とその移動方向を検出することができる。静止画像中の移動物体の画質を落とすことなく、静止画像の符号化データの符号量を削減することができる。圧縮過程に２次元ウェーブレット変換を含むＪＰＥＧ２０００のような圧縮方式による圧縮処理や、その符号化データの伸長処理を伴う場合には、圧縮処理又は伸長処理で生成されるＨＬ，ＬＨサブバンド係数を移動物体検出に利用することにより、装置構成を単純化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化したブロック図である。
【図２】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図３】 タイル画像の一例を示す図である。
【図４】 図３のタイル画像に垂直方向のウェーブレット変換を行った結果を示す図である。
【図５】 図４の係数列に水平方向のウェーブレット変換を行った結果を示す図である。
【図６】 図５の係数列をデインターリーブした図である。
【図７】 図６のＬＬサブバンドに２次元のウェーブレット変換を行った結果を示す図である。
【図８】 ３レベルの２次元ウェーブレット変換を行った場合の各レベルのサブバンド係数を示す図である。
【図９】 プリシンクトとコードブロックを説明するための図である。
【図１０】 水平方向及び垂直方向の高周波成分量と移動方向との関連を示す図である。
【図１１】 本発明の実施の形態１を説明するためのブロック図である。
【図１２】 タイル単位の移動物体検出処理を説明するためのフローチャートである。
【図１３】 タイル単位の移動物体検出の例を示す図ある。
【図１４】 タイルより小さな領域単位の移動物体検出処理を説明するためのフローチャートである。
【図１５】 本発明の実施の形態２を説明するためのブロック図である。
【図１６】 本発明の実施の形態３を説明するためのブロック図である。
【図１７】 本発明の実施の形態４を説明するためのブロック図である。
【図１８】 本発明の実施の形態５を説明するためのブロック図である。
【図１９】 本発明の実施の形態６を説明するためのブロック図である。
【符号の説明】
１００ 圧縮処理部
１０２ ウェーブレット変換処理部
１０５ Ｙｈ，Ｙｖ算出部
１１０ 移動物体検出部
１１５ 符号加工部
２００ 伸長処理部
３００ 撮像光学系
３０１ イメージャ
３０２ ＣＤＳ・Ａ／Ｄ変換部
３０３ 画像プロセッサ
３０６ システムコントローラ
３０８ 圧縮／伸長処理部
【発明の属する技術分野】
本発明は、画像処理に係り、特に、デジタルカメラなどによって撮影された静止画像中の移動物体の検出及びそれに関連した画像処理に関する。
【０００２】
【従来の技術】
様々な画像処理の分野において、画像中の移動物体の検出が必要となることがある。動画像の場合には、時間的に連続した前後の画像の比較により、比較的容易に移動物体を検出することができる（例えば特許文献１参照）。しかし、静止画像の場合、時間的に接近した画像を用意できないときには、そのような方法を適用できない。
【０００３】
画像は記録又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはＪＰＥＧが広く利用されているが、これに代わる圧縮方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）が注目されている（例えば非特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１４５７７６号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【０００５】
【発明が解決しようとする課題】
よって、本発明の目的は、デジタルカメラなどによって撮影された静止画像中の移動物体を検出するための新規な方法及び装置を提供することにある。本発明のもう１つの目的は、静止画像中の移動物体を検出し、その検出結果に応じて静止画像を圧縮する新規な方法及び装置を提供することにある。本発明のもう１つの目的は、圧縮された静止画像中の移動物体を検出する新規な方法及び装置を提供することにある。本発明のもう１つの目的は、静止画像を圧縮処理した符号化データを移動物体の検出結果に応じて変換する新規な方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の画像処理方法は、請求項１に記載されるように、
静止画像に２次元ウェーブレット変換が適用されることにより得られたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出処理と、
前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出処理と、
を含み、
前記移動物体検出処理は、前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定ステップと、該第１の判定ステップで前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定ステップとを含むことを特徴とする。
【０００７】
本発明の画像処理方法のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の構成に加え、前記移動物体検出処理において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することにある。
【０００８】
本発明の画像処理方法のもう１つの特徴は、請求項３に記載されるように、請求項１又は２に記載の構成に加え、２次元ウェーブレット変換を含む静止画像の圧縮処理をさらに含み、前記圧縮処理における２次元ウェーブレット変換により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることにある。
【０００９】
本発明の画像処理方法のもう１つの特徴は、請求項４に記載されるように、請求項３に記載の構成において、前記圧縮処理は、前記移動物体検出処理による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することにある。
【００１０】
本発明の画像処理方法のもう１つの特徴は、請求項５に記載されるように、請求項３に記載の構成に加え、前記移動物体検出処理による移動物体の検出結果に従って、前記圧縮処理により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことにある。
【００１１】
本発明の画像処理方法のもう１つの特徴は、請求項６に記載されるように、請求項１又は２に記載の構成に加え、２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画像の符号化データの伸長処理をさらに含み、前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることにある。
【００１２】
本発明の画像処理方法のもう１つの特徴は、請求項７に記載されるように、請求項６に記載の構成に加え、前記移動物体検出処理による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことにある。
【００１３】
本発明の画像処理方法のもう１つの特徴は、請求項８に記載されるように、請求項１乃至７のいずれか１項に記載の構成において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することにある。
【００１４】
本発明の画像処理方法のもう１つの特徴は、請求項９に記載されるように、請求項１乃至７のいずれか１項に記載の構成において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することにある。
【００１５】
本発明の画像処理装置は、請求項１０に記載されるように、
静止画像に対する２次元ウェーブレット変換を実行するウェーブレット変換処理手段と、
前記ウェーブレット変換により生成されたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と 比較する第２の判定手段とを含むことを特徴とする。
【００１６】
本発明の画像処理装置のもう１つの特徴は、請求項１１に記載されるように、請求項１０の記載の構成に加え、前記移動物体検出手段において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することにある。
【００１７】
本発明の画像処理装置のもう１つの特徴は、請求項１２に記載されるように、請求項１０又は１１に記載の構成に加え、静止画像の圧縮処理を実行する圧縮処理手段を有し、前記ウェーブレット変換処理手段は前記圧縮処理手段に含まれることにある。
【００１８】
本発明の画像処理装置のもう１つの特徴は、請求項１３に記載されるように、請求項１２に記載の構成において、前記圧縮処理手段は、前記移動物体検出手段による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することにある。
【００１９】
本発明の画像処理装置のもう１つの特徴は、請求項１４に記載されるように、請求項１２に記載の構成に加え、前記移動物体検出手段による移動物体の検出結果に従って、前記圧縮処理手段により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することにある。
【００２０】
本発明の画像処理装置のもう一つの特徴は、請求項１５に記載されるように、
２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画像の符号化データに対する伸長処理を実行する伸長処理手段と、
前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定手段とを含むことを特徴とする。
【００２１】
本発明の画像処理装置のもう１つの特徴は、請求項１６に記載されるように、請求項１５に記載の構成に加え、前記移動物体検出手段による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することにある。
【００２２】
本発明の画像処理装置のもう１つの特徴は、請求項１７に記載されるように、請求項１０乃至１６のいずれか１項に記載の構成において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することにある。
【００２３】
本発明の画像処理装置のもう１つの特徴は、請求項１８に記載されるように、請求項１０乃至１６のいずれか１項に記載の構成において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することにある。
【００２４】
本発明の撮像装置は、請求項１９に記載されるように、請求項１０乃至１６のいずれか１項に記載の各手段と、静止画像を撮影して入力する撮像手段を有することを特徴とする。
【００２５】
【発明の実施の形態】
本発明の実施の形態の説明に先立ち、その理解に必要な範囲でＪＰＥＧ２０００について概説する。
【００２６】
図１は、ＪＰＥＧ２０００の基本的な圧縮・伸長処理の流れを示すブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００２７】
各コンポーネントの各タイル画像は、色空間変換・逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００２８】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元ウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。ウェーブレット係数はサブバンド毎に量子化／逆量子化部３によって量子化される。ＪＰＥＧ２０００は可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００２９】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３０】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プリシンクト)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００３１】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図２に示す。図２に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３２】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３３】
ここで、本発明に直接関連する２次元ウェーブレット変換についてさらに説明する。図３乃至図６は、モノクロ画像（又はカラー画像の１つのコンポーネント）の16×16画素のタイル画像に対して、ＪＰＥＧ２０００で採用されている５×３変換と呼ばれるウェーブレット変換を垂直方向及び水平方向に施す過程を説明するための図である。
【００３４】
図３は変換前のタイル画像である。図示のようにＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Y座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここで、ハイパスフィルタとローパスフィルタはそれぞれ式（１）と式（２）で表される。式中のfloor（ｘ）は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）である。
【００３５】
C(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2) 式(1)
C(2i)=P(2i)+floor((C(2i-1)+C(2i+1)+2)/4) 式(2)
【００３６】
なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす操作である。
【００３７】
ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、とそれぞれ表記すれば、垂直方向の変換によって図３の画像は図４のようなＬ係数、Ｈ係数の配列へと変換される。
【００３８】
続いて、図４の係数配列に対して、水平方向に、Ｘ座標が奇数（ x=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、前記の式のP(2i)等は係数値を表すものと読み替える)。
【００３９】
Ｌ係数を中心にローパスフィルタを施して得られる係数をＬＬ、Ｌ係数を中心にハイパスフィルタを施して得られる係数をＨＬ、Ｈ係数を中心にローパスフィルタを施して得られる係数をＬＨ、Ｈ係数を中心にハイパスフィルタを施して得られる係数をＨＨ、とそれぞれ表記すれば、図４の係数配列は図５の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図５は４つのサブバンドで構成される。
【００４０】
以上の処理で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了する。図６は、ウェーブレット係数をサブバンド毎に集めたもので、このように係数を配列することをデインターリーブと呼び、図５のような状態に配置することをインターリーブと呼ぶ。
【００４１】
２回目のウェーブレット変換は、ＬＬサブバンドを原画像と見なして、同様の処理により行われる。その処理結果をデインターリーブすると、図７に示すようなサブバンドの係数が得られる。なお、図６及び図７中の係数の接頭の１や２は、その係数が得られるまでのウェーブレット変換の回数（デコンポジション・レベル）を示す。
【００４２】
図８に、デコンポジション・レベル数＝３の場合のサブバンド分解の様子を示す。なお、図８（ｄ）に示す各サブバンド中の括弧で囲んだ数字は解像度レベルを表す。
【００４３】
ここで、ＪＰＥＧ２０００におけるプリシンクト、コードブロック、パケット、レイヤについて説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００４４】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図９にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００４５】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図２の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００４６】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４７】
さて、デジタルカメラなどに用いられるイメージャは、ある露光時間内の光量を電気信号に変換することによって撮像する。したがって、露光時間内での移動量を無視できないような速度で移動する物体が含まれる静止画像の場合、移動物体の領域では移動方向の高周波成分が減少する。
【００４８】
２次元ウェーブレット変換の説明から理解されるように、ＨＬサブバンド係数は画像の垂直エッジ成分すなわち水平方向の高周波成分であり、ＬＨサブバンド係数は画像の水平エッジ成分すなわち垂直方向の高周波成分である。したがって、ＨＬサブバンド係数より水平方向の高周波成分量（の尺度）Ｙｈを、ＬＨサブハンド係数より垂直方向の高周波成分量（の尺度）Ｙｖをそれぞれ計算することができる。デジタルカメラなどで撮影された静止画像をタイル分割し、各タイル毎に２次元ウェーブレット変換した場合、移動物体が含まれないタイルにおいては一般に図１０の（ｄ）に示すようにＹｈとＹｖの差は小さい。これに対し、水平方向に移動する移動物体が含まれるタイルにおいては、図１０の（ａ）に示すようにＹｈがＹｖに比べかなり減少する。垂直方向に移動する移動物体が含まれるタイルにおいては、図１０の（ｂ）に示すようにＹｈに比べＹｖがかなり減少する。斜め方向に移動する移動物体が含まれるタイルでは、図１０の（ｃ）に示すように、Ｙｈ，Ｙｖともに減少するが、その違いは小さい。本発明は、このような移動物体の移動方向と水平方向及び垂直方向の高周波成分量の変化の関係を利用し、静止画像中の移動物体及びその移動方向を検出する。
【００４９】
以下、本発明のいくつかの実施の形態について図１１乃至図１９を参照して説明する。なお、説明の重複を減らすため、複数の図面において同一部分もしくは対応部分に同一の参照番号を用いる。
【００５０】
《実施の形態１》 図１１は、本発明の１つの実施の形態を説明するためのブロック図である。
【００５１】
図１１において、画像ソース５０は、処理対象の静止画像のデータを蓄積している記憶装置やパソコンなどの機器である。この画像ソース５０は、当該画像処理装置の内部にあっても、外部にあってネットワークなどの伝送路を介して当該画像処理装置に接続されるものであってもよい。
【００５２】
ウェーブレット変換処理部（ウェーブレット変換処理手段）１０２は、画像ソース５０より静止画像のデータを取り込み、静止画像に対し重複しない矩形領域（以下、タイル）毎に２次元のウェーブレット変換（例えば、前述の５×３変換）を施す処理を実行する手段である。
【００５３】
Ｙｈ，Ｙｖ算出部（高周波成分量算出手段）１０５は、ウェーブレット変換処理部１０２より出力されるＨＬ，ＬＨサブバンドの係数を取り込み、それを用いて水平方向と垂直方向の高周波成分量Ｙｈ，Ｙｖを計算する処理を実行する手段である。
【００５４】
移動物体検出部（移動物体検出手段）１１０は、水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出する処理を実行する手段である。移動物体検出の単位領域として、タイルと、それより小さい領域を選ぶことができる。まず、単位領域としてタイルが選ばれた場合の動作について、図１２に示すフローチャートを参照して説明する。
【００５５】
１つのタイルが選ばれ（ステップＳ１００）、ウェーブレット変換処理部１０２で同タイルの２次元ウェーブレット変換が行われる（ステップＳ１０１）。
【００５６】
Ｙｈ，Ｙｖ算出部１０５で、そのタイルのＨＬ，ＬＨサブバンド係数を用いて、例えば、（３）式により水平方向の高周波成分量Ｙｈを、（４）式により垂直方向の高周波成分量Ｙをそれぞれ計算する（ステップＳ１０２）。
Ｙh＝ah・Σ|1HL|+bh・Σ|2HL|+ch・Σ|3HL| (3)式
Ｙv＝av・Σ|1LH|+bv・Σ|2LH|+cv・Σ|3LH| (4)式
ただし、ah,bh,ch,av,bv,cvは０以上の定数である。
【００５７】
この例では、デコンポジションレベル１，２，３のＨＬ，ＬＨサブバンド係数を用いるが、より少ないレベルのＨＬ，ＬＨサブバンド係数（例えば、１ＨＬ，１ＬＨサブバンド係数のみ）、あるいは、より多くのレベルのＨＬ，ＬＨサブバンド係数を用いて計算をしてもよい。
【００５８】
移動物体検出部１１０において、Ｙｈ，Ｙｖの小さいほうの値すなわちＭｉｎ（Ｙｈ，Ｙｖ）と閾値ＴＨ１の比較判定を行う（ステップＳ１０４）。
【００５９】
Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１より大きければ（ステップＳ１０４，Ｙｅｓ）、図１０の（ｄ）のケースに相当するので、注目しているタイルに移動物体が含まれていないと判断し、処理はステップＳ１１２に進む。
【００６０】
移動物体検出部１１０は、Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１以下ならば（ステップＳ１０４，Ｎｏ）、図１０の（ａ），（ｂ）又は（ｃ）のケースに相当するので、注目しているタイルに移動物体が含まれていると判断する。そして、移動物体の移動方向を判別するため、Ｙｈ，Ｙｖの大きいほうの値と、小さいほうの値の比Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ）を計算し、その比と閾値ＴＨ２との比較判定を行う（ステップＳ１０６）。比がＴＨ２より大きいならば、図１０の（ａ）又は（ｂ）のケースに相当するので、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｈならば水平方向に移動する物体が含まれていると判断し、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｖならば垂直方向に移動する物体が含まれていると判断する（ステップＳ１０８）。比がＴＨ２以下ならば、図１０の（ｃ）のケースに相当するので、斜め方向に移動する物体が含まれていると判断する（ステップＳ１１０）。以上の判断の結果はタイル対応で移動物体検出部１１０に一時的に保存される。
【００６１】
ステップＳ１００からステップＳ１１０の処理が各タイルについて繰り返される。最後のタイルまで処理が終了すると（ステップＳ１１２，Ｙｅｓ）、移動物体検出部１１０は、同じ移動方向の移動物体が含まれていると判断された、接続したタイル群を１つの移動物体の領域として検出する（ステップＳ１１４）。例えば、図１３の（ａ）に示すように右方向に移動する自動車の像が含まれる静止画像が、図示のようにタイル分割されて処理される場合には、図１３の（ｂ）に示すように、左右矢印が記されたタイルは水平方向に移動する移動物体が含まれていると判断され、それらの接続したタイル群（網掛けされた領域）が１つの移動物体の領域として検出される。
【００６２】
移動物体検出の単位領域としてタイルより小さな領域が選ばれた場合の動作について、図１４に示すフローチャートを参照し説明する。なお、図２乃至図６を参照した説明から明らかなように、ウェーブレット変換の各サブバンドの各係数は、原画像の特定の画素（群）と対応関係がある。したがって、デインターリーブされた各サブバンドを矩形領域に分割した場合、その各領域は原画像上の特定の矩形領域と対応している。
【００６３】
まず、１つのタイルが選ばれ（ステップＳ２００）、そのタイルに対しウェーブレット変換処理部１０２で２次元ウェーブレット変換が実行される（ステップＳ２０１）。
【００６４】
Ｙｈ，Ｙｖ算出部１０５において、注目しているタイルを再分割した１つの領域を選択し（ステップＳ２０２）、その領域のＨＬ，ＬＨサブバンド係数を用いて、水平方向の高周波成分量Ｙｈと垂直方向の高周波成分量Ｙをそれぞれ計算する（ステップＳ２０４）。この計算式としては前記の（３）式，（４）式などを用いることができる。
【００６５】
移動物体検出部１１０において、Ｍｉｎ（Ｙｈ，Ｙｖ）と閾値ＴＨ１の比較判定を行う（ステップＳ２０６）。
【００６６】
Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１より大きければ（ステップＳ２０６，Ｙｅｓ）、注目している領域に移動物体が含まれていないと判断し、処理はステップＳ２１２に進む。
【００６７】
移動物体検出部１１０は、Ｍｉｎ（Ｙｈ，Ｙｖ）が閾値ＴＨ１以下ならば（ステップＳ２０６，Ｎｏ）、注目している領域に移動物体が含まれていると判断する。そして、Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ）を計算し、この比と閾値ＴＨ２との比較判定を行う（ステップＳ２０８）。比がＴＨ２より大きい場合、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｈならば水平方向に移動する物体が含まれていると判断し、Ｍｉｎ（Ｙｈ，Ｙｖ）がＹｖならば垂直方向に移動する物体が含まれていると判断する（ステップＳ２０９）。比がＴＨ２以下ならば、斜め方向に移動する物体が含まれていると判断する（ステップＳ２１０）。以上の判断の結果はタイルの領域対応に移動物体検出部１１０に一時的に保存される。
【００６８】
ステップＳ２０２からステップＳ２１０の処理がタイル内の各領域について繰り返される。選択されているタイルの最後の領域まで処理が終了すると（ステップＳ２１２，Ｙｅｓ）、ステップＳ２００に戻り、次のタイルについて同様の処理が繰り返される。
【００６９】
最後のタイルの処理が終了すると（ステップＳ２１４，Ｙｅｓ）、移動物体検出部１１０は、同じ移動方向の移動物体が含まれていると判断した領域の接続した領域群を１つの移動物体の領域として検出する（ステップＳ２１６）。
【００７０】
このようなタイルより小さな領域を単位とした移動物体検出によれば、タイル単位の場合よりも移動物体の領域をより精密に検出することができる。また、静止画像を１タイルとしてウェーブレット変換を施す場合にも移動物体検出が可能である。
【００７１】
この実施の形態の画像処理装置の各手段の機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００７２】
以下に説明する実施の形態から理解されるように、本発明は、圧縮処理に２次元ウェーブレット変換が含まれるＪＰＥＧ２０００のような圧縮方式が利用される画像処理方法及び装置に好適に適用できる。
【００７３】
《実施の形態２》 図１５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００のアルゴリズムにより静止画像の圧縮処理を実行する過程で、２次元ウェーブレット変換により生成されるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、検出された移動物体の領域の画質を他の領域より向上させた符号化データを生成する。
【００７４】
図１５において、圧縮処理部（圧縮処理手段）１００は、図示しない画像ソースより、デジタルカメラで撮影されたような静止画像の画像データを取り込み、ＪＰＥＧ２０００のアルゴリズムにより圧縮処理を行う手段である。この圧縮処理部１００の内部構成は、図１に示したものと同様であるので図示しない。
【００７５】
Ｙｈ，Ｙｖ算出部１０５と移動物体検出部１１０は、前記実施の形態１のものと同様である。ただし、Ｙｈ，Ｙｖ算出部１０５は水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖの計算に、圧縮処理部１００における圧縮処理過程で生成される量子化前のＨＬ，ＬＨサブバンドの係数を用いる。なお、圧縮対象の静止画像がカラー画像の場合には、Ｙ（輝度）コンポーネント（ＲＧＢコンポーネントの場合はＧコンポーネント）のＨＬ，ＬＨサブバンド係数のみが高周波成分量Ｙｈ，Ｙｖの計算に用いられる。
【００７６】
移動物体検出部１１０は、その水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出するが、その検出結果は圧縮処理部１００にも与えられ、圧縮処理部１００において移動体物体の領域の画質を他の領域より向上させるように圧縮条件が制御される。
【００７７】
移動物体検出の単位領域として、タイルと、それより小さい領域（例えば、図１０に関連して説明したコードブロックや複数コードブロックに対応した領域、あるいはプリシンクトに対応した領域など）を選ぶことができる。単位領域としてタイルが選ばれた場合の移動物体検出動作は図１２に示した通りである。ただし、ステップＳ１０１は圧縮処理部１００内のウェーブレット変換処理手段で実行される。タイルより小さい領域が単位領域として選ばれた場合の動作は図１４に示した通りであるが、ステップＳ２０１は圧縮処理部１００内のウェーブレット変換処理手段で実行される。
【００７８】
圧縮処理部１００には、ステップＳ１０４（図１２）又はステップＳ２０６（図１４）の判断結果が移動物体検出部１１０より送られる。したがって、圧縮処理の制御のみを目的とする場合には、ステップＳ１０６〜Ｓ１１０，Ｓ１１４（図１２）又はステップＳ２０８〜Ｓ２１０，Ｓ２１６（図１４）の処理を省くことができる。
【００７９】
圧縮処理部１００においては、移動物体が含まれていると判断されたタイル又は領域を、移動物体が含まれていないタイル又は領域より高い画質となるように圧縮処理を実行する。ＪＰＥＧ２０００では、注目した領域（ＲＯＩ；Region of Interest）の画質を他の領域より向上させる選択的領域画質向上機能がある。ＪＰＥＧ２０００の基本方式（JPEG2000 Part１）では、ウェーブレット係数の符号化前に、注目した領域（ＲＯＩ領域）のウェーブレット係数値を上位ビット側へシフトし、その領域外のウェーブレット係数値を下位ビット側へシフトするMax
Shift方式が採用されている。ＪＰＥＧ２０００では、ウェーブレット係数の量子化段階で、ＲＯＩ領域のウェーブレット係数値を他の領域よりも細かい量子化ステップで量子化することによっても、ＲＯＩ領域の画質を向上させることができる。圧縮処理部１００は、上記いずれかの方法により、移動物体が含まれていると判断されたタイル又は領域の画質を向上させるように、量子化段階以降の処理を実行する。かくして、移動物体の領域が他の領域より高画質の符号化データが圧縮処理部１００より出力される。すなわち、この実施の形態によれば、移動物体の領域の画質を落とすことなく、符号化データの符号量を削減することができる。
【００８０】
この実施の形態の画像処理装置の各手段の機能又は装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００８１】
《実施の形態３》 図１６は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、前記実施の形態２と同様、ＪＰＥＧ２０００のアルゴリズムにより静止画像の圧縮処理を実行する過程で、２次元ウェーブレット変換により得られるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、圧縮処理により生成された符号化データを、検出された移動物体の領域の画質を他の領域より向上させた符号化データに変換する。
【００８２】
この実施の形態では、符号加工部（符号加工手段）１１５が追加され、移動物体検出部１１０の検出結果が符号加工部１１５に与えられる。静止画像の画像データは、圧縮処理部１００によって、ロスレス圧縮されるか、ロスレスに近い低圧縮率でロシィ圧縮され、得られた符号化データは符号加工部１１５に入力される。
【００８３】
ＪＰＥＧ２０００の符号化データは、符号状態のままで符号の廃棄などの加工が可能である。符号加工部１１５は、圧縮処理部１００により生成された符号化データを移動物体検出結果に従って加工することにより、移動物体が含まれるタイル又は領域の画質を低下させることなく全体の符号量を減少させた符号化データに変換する。これ以外は、前記実施の形態２と同様であるので、その説明は省略する。
【００８４】
なお、圧縮処理部１００と符号加工部１１５の間に記憶手段を介在させてもよい。また、符号加工部１１５を他の部分とネットワークなどで接続する態様も可能である。このような態様も本発明に包含される。
【００８５】
この実施の形態の画像処理装置の各手段の機能又は装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００８６】
《実施の形態４》 図１７は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００の符号化データの伸長処理により得られるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行う。
【００８７】
図１７において、伸長処理部（伸長処理手段）２００は、図示しない画像ソースよりＪＰＥＧ２０００のアルゴリズムにより圧縮された静止画像の符号化データを取り込み、伸長処理を行う手段である。この伸長処理部２００の内部構成は、図１に示したものと同様であるので図示しない。
【００８８】
Ｙｈ，Ｙｖ算出部１０５と移動物体検出部１１０は、前記実施の形態１のものと同様である。ただし、Ｙｈ，Ｙｖ算出部１０５は水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖの計算に、伸長処理部２００による伸長処理によって生成される逆量子化後のＨＬ，ＬＨサブバンド係数を用いる。なお、静止画像がカラー画像の場合には、Ｙコンポーネント（ＲＧＢコンポーネントの場合はＧコンポーネント）のＨＬ，ＬＨサブバンド係数のみが高周波成分量Ｙｈ，Ｙｖの計算に用いられる。
【００８９】
移動物体検出部１１０は、その水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖに基づいて静止画像中の移動物体を検出する。前記実施の形態２，３と同様に、移動物体検出の単位領域として、タイルと、それより小さい領域（例えば図１０に関連して説明したコードブロックや複数コードブロックに対応する領域、あるいはプリシンクトに対応した領域など）を選ぶことができる。単位領域としてタイルが選ばれた場合又はタイルより小さな領域が選ばれた場合の移動物体検出動作はそれぞれ図１２又は図１４に示した通りであるが、ステップＳ１０１又はステップ２０１は、伸長処理部２００内のエントロピー復号化、逆量子化によるサブバンド係数生成の処理に置き換わる。
【００９０】
この実施の形態の画像処理装置の各手段機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００９１】
《実施の形態５》 図１８は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は、ＪＰＥＧ２０００の符号化データの伸長処理によって生成されるＨＬ，ＬＨサブバンド係数を利用して移動物体の検出を行うとともに、符号化データを、検出された移動物体の領域を高画質、それ以外の領域を低画質にした符号化データに変換する。
【００９２】
この実施の形態においては、前記実施の形態３と同様の符号加工部（符号加工手段）１１５が追加され、これ以外は前記実施の形態４と同様である。
【００９３】
伸長処理部２００は、図示しない画像ソースから、ＰＥＧ２０００のアルゴリズムによりロスレス圧縮された、又はロスレスに近いロシィ圧縮された静止画像の符号化データを取り込み、伸長処理を行う。この伸長処理で生成されたＨＬ，ＬＨサブバンド係数を用いて、Ｙｈ，Ｙｖ算出部１０５で水平方向、垂直方向の高周波成分量Ｙｈ，Ｙｖが計算され、それを用いて移動物体検出部１１０で移動物体の領域が検出される。移動物体検出処理動作は前記実施の形態４と同様である。各タイル又はそれより小さな各領域に対する移動物体検出結果（図１２のステップＳ１０４又は図１４のステップＳ２０６の結果）は符号加工部１１５に与えられ、符号加工部１１５において、前記実施の形態３と同様に、移動物体が含まれると判断されたタイル又は領域が高画質、それ以外の領域が低画質となるように符号化データの加工が行われる。
【００９４】
なお、符号化データの加工のみを目的とする場合には、図１２のステップＳ１０６〜Ｓ１１０，Ｓ１１４の処理、又は図１４のステップＳ２０８〜Ｓ２１０，Ｓ２１６の処理を省くことができる。
【００９５】
この実施の形態の画像処理装置の各手段の機能及び装置内の処理は、ハードウェア又はファームウェアにより実現することも、パソコンなどの汎用コンピュータを利用しソフトウェアにより実現することも可能であり、そのいずれの態様も本発明に包含される。また、そのようなプログラムが記録された記録（記憶）媒体も本発明に包含される。
【００９６】
《実施の形態６》 図１９は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は撮像装置、より具体的にはデジタルカメラなどの電子カメラ装置である。
【００９７】
図１９において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００９８】
３０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００９９】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び画像プロセッサ３０３は、静止画像を撮影する撮像手段を構成している。
【０１００】
３０８はＪＰＥＧ２０００のアルゴリズムによる画像データの圧縮処理と符号化データの伸長処理を行う圧縮／伸長処理部である。３１２は記録（記憶）媒体３１３に対する情報の書き込み／読み出しを行う媒体記録部である。記録媒体３１３は例えば各種メモリカードである。３１４はインターフェース部である。この画像処理装置は、インターフェース部３１４を介し、有線又は無線の伝送路あるいはネットワークを通じ、外部のパソコンなどと情報の交換を行うことができる。
【０１０１】
３０６はシステムコントローラであり、マイクロコンピュータからなる。このシステムコントローラ３０６は、操作部３０７から入力されるユーザの操作情報や画像プロセッサ３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、ズーミング機構の、画像プロセッサ３０３、圧縮／伸長処理部３０８、媒体記録部３１２などの制御を行う。３０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ３０３やシステムコントローラ３０６、圧縮／伸長処理部３０８媒体記録部３１２などの作業記憶域として利用される。
【０１０２】
操作部３０７は、電子カメラ装置の操作のための一般的な操作ボタン（スイッチ）のほかに、移動物体検出に関連した指示を入力するための操作ボタンも備える。
【０１０３】
通常の撮影動作は次の通りである。操作部３０７のレリーズボタンが押下されると、システムコントローラ３０６より撮影指示が画像プロセッサ３０３に与えられ、画像プロセッサ３０３は静止画像撮影の条件でイメージャ３０１を駆動する。撮影された静止画像のデータは画像プロセッサ３０３を経由してメモリ３０５に記憶される。この画像データは、システムコントローラ３０６の制御により、予め指定された、又はデフォルトの圧縮率で、圧縮／伸長処理部３０８により圧縮され、その符号化データは媒体記録部３１２により記録媒体３１３に記録される。
【０１０４】
前記実施の形態１（図１１）に対応した動作モードを指定することもできる。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されるが、圧縮過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。すなわち、圧縮／伸長処理部３０８の２次元ウェーブレット変換機能が図１１中のウェーブレット変換処理部１０２として利用され、図１１中のＹｈ，Ｙｖ算出部１０５及び移動物体検出部１１０の機能はシステムコントローラ３０６上でプログラムにより実現される。移動物体の検出結果は、符号化データに付加されて（例えばメインヘッダ又はタイルヘッダにコメントとして記述される）、符号化データとともに記録媒体３１３に記録される。
【０１０５】
前記実施の形態２（図１５）に対応した動作モードを指定することも可能である。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されるが、この圧縮処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。すなわち、図１５中のＹh，Ｙｖ算出部１０５と移動物体検出部１１０の機能は、システムコントローラ３０６上でプログラムにより実現される。そして、移動体検出結果に従って、圧縮／伸長処理部３０８では、移動物体が含まれると判断されたタイル又はより小さな領域の画質を向上させるような圧縮処理が行われる。生成された符号化データは記録媒体３１３に記録される。
【０１０６】
前記実施の形態３（図１６）に対応した動作モードも指定できる。この動作モードにおいては、撮影された画像データは圧縮／伸長処理部３０８で圧縮されたメモリ３０５又は記録媒体３１３に記録される。この圧縮処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行され、その検出結果もメモリ３０５に記録される。その後、メモリ３０５又は記録媒体３１３に記録されている符号化データに対し、移動物体検出結果に従った符号加工処理が実行され、移動物体の領域の画質を落とすことなく符号量を削減した符号化データが生成され、この符号化データが記録媒体３１３に記録される。すなわち、図１６中の符号加工部１１５の機能はシステムコントローラ３０６上でプログラムにより実現される。
【０１０７】
前記実施の形態４（図１７）に対応した動作モードを指定することもできる。この動作モードにおいては、指定された画像の符号化データが記録媒体３１３より読み出され、それが圧縮／伸長処理部３０８により伸長処理される。この伸長処理の過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理がシステムコントローラ３０６で実行される。移動物体検出結果は、例えば伸長された画像データとともに表示部３０４に表示され、あるいは、元の符号化データに付加されて（例えばメインヘッダ又はタイルヘッダにコメントとして記述される）、符号化データとともに記録媒体に記録される。
【０１０８】
前記実施の形態５（図１８）に対応した動作モードを指定することも可能である。この動作モードが指定された場合には、指定された画像の符号化データが媒体記録部３１２により記録媒体３１３からメモリ３０５に読み出される。この符号化データは圧縮／伸長処理部３０８により伸長されるが、その過程で生成されるＨＬ，ＬＨサブバンド係数を利用した移動物体検出処理と、その結果に従った符号化データの加工がシステムコントローラ３０６で実行される。すなわち、図１８中のＹｈ，Ｙｖ算出部１０５、移動物体検出部１１０及び符号加工部１１５の機能がシステムコントローラ３０６上でプログラムにより実現される。メモリ３０５に符号加工後の符号化データが生成され、これは媒体記録部３１２により記録媒体３１３に記録される。
【０１０９】
なお、圧縮／伸長処理部３０８を例えば画像プロセッサ３０３上でプログラムにより実現してもよい。また、Ｙｈ，Ｙｖ算出部１０５、移動物体検出部１１０、符号加工部１１５に対応するハードウェア又はファームウェアを別に設けることもできる。
【０１１０】
前記実施の形態２乃至６における圧縮方式は必ずしもＪＰＥＧ２０００のみに限定されるわけではなく、圧縮過程に２次元ウェーブレット変換が含まれる他の圧縮方式も利用し得る。
【０１１１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、デジタルカメラなどによって撮影された静止画像中の移動物体の領域及び移動方向を、時間的に前後した画像を参照することなく、検出することができる。圧縮された静止画像中の移動物体とその移動方向を検出することができる。静止画像中の移動物体の画質を落とすことなく、静止画像の符号化データの符号量を削減することができる。圧縮過程に２次元ウェーブレット変換を含むＪＰＥＧ２０００のような圧縮方式による圧縮処理や、その符号化データの伸長処理を伴う場合には、圧縮処理又は伸長処理で生成されるＨＬ，ＬＨサブバンド係数を移動物体検出に利用することにより、装置構成を単純化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化したブロック図である。
【図２】 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図３】 タイル画像の一例を示す図である。
【図４】 図３のタイル画像に垂直方向のウェーブレット変換を行った結果を示す図である。
【図５】 図４の係数列に水平方向のウェーブレット変換を行った結果を示す図である。
【図６】 図５の係数列をデインターリーブした図である。
【図７】 図６のＬＬサブバンドに２次元のウェーブレット変換を行った結果を示す図である。
【図８】 ３レベルの２次元ウェーブレット変換を行った場合の各レベルのサブバンド係数を示す図である。
【図９】 プリシンクトとコードブロックを説明するための図である。
【図１０】 水平方向及び垂直方向の高周波成分量と移動方向との関連を示す図である。
【図１１】 本発明の実施の形態１を説明するためのブロック図である。
【図１２】 タイル単位の移動物体検出処理を説明するためのフローチャートである。
【図１３】 タイル単位の移動物体検出の例を示す図ある。
【図１４】 タイルより小さな領域単位の移動物体検出処理を説明するためのフローチャートである。
【図１５】 本発明の実施の形態２を説明するためのブロック図である。
【図１６】 本発明の実施の形態３を説明するためのブロック図である。
【図１７】 本発明の実施の形態４を説明するためのブロック図である。
【図１８】 本発明の実施の形態５を説明するためのブロック図である。
【図１９】 本発明の実施の形態６を説明するためのブロック図である。
【符号の説明】
１００ 圧縮処理部
１０２ ウェーブレット変換処理部
１０５ Ｙｈ，Ｙｖ算出部
１１０ 移動物体検出部
１１５ 符号加工部
２００ 伸長処理部
３００ 撮像光学系
３０１ イメージャ
３０２ ＣＤＳ・Ａ／Ｄ変換部
３０３ 画像プロセッサ
３０６ システムコントローラ
３０８ 圧縮／伸長処理部
Claims (21)
- 静止画像に２次元ウェーブレット変換が適用されることにより得られたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出処理と、
前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出処理と、
を含み、
前記移動物体検出処理は、前記高周波成分量算出処理により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定ステップと、該第１の判定ステップで前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定ステップとを含むことを特徴とする画像処理方法。 - 前記移動物体検出処理において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することを特徴とする請求項 1 に記載の画像処理方法。
- ２次元ウェーブレット変換を含む静止画像の圧縮処理をさらに含み、前記圧縮処理における２次元ウェーブレット変換により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることを特徴とする請求項１又は２に記載の画像処理方法。
- 請求項３に記載の画像処理方法において、前記圧縮処理は、前記移動物体検出処理による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することを特徴とする画像処理方法。
- 前記移動物体検出処理による移動物体の検出結果に従って、前記圧縮処理により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことを特徴とする請求項３に記載の画像処理方法。
- ２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画像の符号化データの伸長処理をさらに含み、前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数が前記静止画像の領域毎の前記水平方向及び垂直方向の高周波成分量の計算に用いられることを特徴とする請求項１又は２に記載の画像処理方法。
- 前記移動物体検出処理による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記 静止画像の領域の画質より高画質の符号データに変換する符号加工処理をさらに含むことを特徴とする請求項６に記載の画像処理方法。
- 請求項１乃至７のいずれか１項に記載の画像処理方法において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することを特徴とする画像処理方法。
- 請求項１乃至７のいずれか１項に記載の画像処理方法において、前記高周波成分量算出処理は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することを特徴とする画像処理方法。
- 静止画像に対する２次元ウェーブレット変換を実行するウェーブレット変換処理手段と、
前記ウェーブレット変換により生成されたＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定手段とを含むことを特徴とする画像処理装置。 - 前記移動物体検出手段において、前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））が第１の閾値より小さく、かつ、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））の比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が第２の閾値より大きい場合に、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が水平方向の高周波成分量（Ｙｈ）ならば当該領域を水平方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が垂直方向の高周波成分量（Ｙｖ）ならば当該領域を垂直方向に移動する移動物体が含まれる領域と判定し、前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さく、かつ、前記比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第２の閾値以下の場合に当該領域を斜め方向に移動する移動物体が含まれる領域と判定することを特徴とする請求項 1 ０に記載の画像処理装置。
- 静止画像の圧縮処理を実行する圧縮処理手段を有し、前記ウェーブレット変換処理手段は前記圧縮処理手段に含まれることを特徴とする請求項１０又は１１に記載の画像処理装置。
- 請求項１２に記載の画像処理装置において、前記圧縮処理手段は、前記移動物体検出手段による移動物体の検出結果に従って、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号化データを生成することを特徴とする画像処理装置。
- 前記移動物体検出手段による移動物体の検出結果に従って、前記圧縮処理手段により生成された符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することを特徴とする請求項１２に記載の画像処理装置。
- ２次元ウェーブレット変換を含む圧縮処理により圧縮された静止画 像の符号化データに対する伸長処理を実行する伸長処理手段と、
前記伸長処理により生成されるＨＬサブバンド係数及びＬＨサブバンド係数から、前記静止画像の領域毎の水平方向の高周波成分量（Ｙｈ）及び垂直方向の高周波成分量（Ｙｖ）を計算する高周波成分量算出手段と、
前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）に基づいて、前記静止画像中の移動物体を検出する移動物体検出手段と、
を有し、
前記移動物体検出手段は、前記高周波成分量算出手段により前記静止画像の各領域について算出された前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの小さい方の値（Ｍｉｎ（Ｙｈ，Ｙｖ））と第１の閾値とを比較する第１の判定手段と、該第１の判定手段で前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））が前記第１の閾値より小さいと判定された場合に、前記水平方向の高周波成分量（Ｙｈ）及び前記垂直方向の高周波成分量（Ｙｖ）のうちの大きい方の値（Ｍａｘ（Ｙｈ，Ｙｖ））と前記値（Ｍｉｎ（Ｙｈ，Ｙｖ））との比（Ｍａｘ（Ｙｈ，Ｙｖ）／Ｍｉｎ（Ｙｈ，Ｙｖ））を第２の閾値と比較する第２の判定手段とを含むことを特徴とする画像処理装置。 - 前記移動物体検出手段による移動物体の検出結果に従って、前記符号化データを、移動物体が含まれる前記静止画像の領域の画質が移動物体が含まれない前記静止画像の領域の画質より高画質の符号データに変換する符号加工手段を有することを特徴とする請求項１５に記載の画像処理装置。
- 請求項１０乃至１６のいずれか１項に記載の画像処理装置において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域と同一の領域毎の前記高周波成分量を計算することを特徴とする画像処理装置。
- 請求項１０乃至１６のいずれか１項に記載の画像処理装置において、前記高周波成分量算出手段は２次元ウェーブレット変換が適用される領域より小さな領域毎の前記高周波成分量を計算することを特徴とする画像処理装置。
- 請求項１０乃至１６のいずれか１項に記載の各手段と、前記静止画像を撮影して入力する撮像手段を有することを特徴とする撮像装置。
- 請求項１乃至９のいずれか１項に記載の各処理をコンピュータに実行させるプログラム。
- 請求項２０に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380033A JP3897253B2 (ja) | 2002-12-27 | 2002-12-27 | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380033A JP3897253B2 (ja) | 2002-12-27 | 2002-12-27 | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004213202A JP2004213202A (ja) | 2004-07-29 |
| JP3897253B2 true JP3897253B2 (ja) | 2007-03-22 |
Family
ID=32816363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002380033A Expired - Fee Related JP3897253B2 (ja) | 2002-12-27 | 2002-12-27 | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3897253B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101742291B (zh) * | 2008-11-14 | 2012-11-07 | 北大方正集团有限公司 | 压缩图像目标的定位与识别方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010135912A (ja) * | 2008-12-02 | 2010-06-17 | Sumitomo Electric Ind Ltd | 動画像データの圧縮方法 |
-
2002
- 2002-12-27 JP JP2002380033A patent/JP3897253B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101742291B (zh) * | 2008-11-14 | 2012-11-07 | 北大方正集团有限公司 | 压缩图像目标的定位与识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004213202A (ja) | 2004-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| KR100971833B1 (ko) | 화상 부호화 방법 및 장치 | |
| JP2004128583A (ja) | 撮像装置、画像処理方法、プログラム及び記録媒体 | |
| JP2008533787A (ja) | 圧縮済領域における静止画像を処理するための方法、コンピュータプログラムプロダクト、および装置 | |
| JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
| JP2004104347A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
| JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
| JP3966460B2 (ja) | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 | |
| JP2001359117A (ja) | 画像処理装置及び該装置における画像処理方法 | |
| JP2006074130A (ja) | 画像復号方法、画像復号装置および撮像装置 | |
| JP2006295561A (ja) | 符号化処理装置、符号化処理方法、プログラムおよび記録媒体 | |
| JP4749508B2 (ja) | 画像復号方法 | |
| JP4375662B2 (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
| JP3899737B2 (ja) | 画像符号化装置及び方法 | |
| JP4219303B2 (ja) | 符号化装置、符号化制御方法、プログラム及び記録媒体 | |
| JP2007074042A (ja) | 動画像処理装置及び方法 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP4136680B2 (ja) | 撮像装置、撮像方法、コンピュータプログラム及び記録媒体 | |
| JP4667423B2 (ja) | 画像復号装置 | |
| JP2004215155A (ja) | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム | |
| JP4077706B2 (ja) | インターレース画像の処理装置及び処理方法 | |
| JP4458408B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060920 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |