JP6344800B2 - 画像処理装置及び動画像伝送方法 - Google Patents

Description

本発明は、画像処理装置及び動画像伝送方法に係り、特に、低帯域で伝送した場合でも受信側で高画質の画像を再生することができる画像処理装置等に関する。

近年、画像を伝送するためのデータ量は日々増加している。２０１１年に切替わった地上デジタルテレビ放送の影響もあり、一般的に使用される画像の解像度はこれまでのアナログ解像度（720pix×480pix）からFull HD（High-Definition）解像度（1920pix×1080pix）へ変化している。

また、駅や空港、ビルや河川といった様々なロケーションで使用される監視用のカメラにおいても、ＣＣＤやＣＭＯＳセンサの高精細化が進み、解像度は従来のアナログ解像度から飛躍的に向上している。

これにより、高画質な画像を撮影・伝送できるようになった反面、必要となる伝送帯域は増加する。Full HDの画像を非圧縮で伝送しようとした場合、約1.5Gbpsの伝送帯域が必要である。パケット交換ネットワークを介して伝送しようとした場合、現在家庭用ブロードバンドとして普及している光ファイバであっても、100Mbps程度であり、非圧縮で伝送することはできない。

そのため、伝送可能な帯域までデータを圧縮する必要がある。現在、高効率の圧縮技術の規格としてH.264やH.265がある。これらは、動画像符号化の国際標準規格である。

圧縮技術においては、伝送帯域と画質はトレードオフの関係にあり、低帯域で伝送するために高圧縮をした場合、画質劣化が生じてしまう。そこで、低帯域で伝送しても、高画質の画像を得ることが求められており、デジタル画像処理により高解像度化を図る超解像技術が注目されている。

図２０は、一般的な画像処理装置を有する画像伝送システムの概略構成図である。図２０に示すように、画像伝送システムでは、送信側の構成としてビデオエンコーダ１を備え、受信側の構成としてビデオデコーダ２と、超解像処理部３とを備えている。

尚、図２０の例では、送信側の画像処理装置では送信に用いられる構成のみを示し、受信側の画像処理装置では受信に用いられる構成のみを示している。

送信側のビデオエンコーダ１は、ＣＣＤカメラ等の画像入力装置から入力された画像を、例えばH.264等の符号化方式で符号化し、ＩＰネットワークや同軸ケーブル網等の伝送路に出力する。

受信側のビデオデコーダ２は、伝送路を介して受信した画像データを、ビデオエンコーダ１における符号化方式に対応した方式で復号化する。

超解像処理部３は、復号画像から、より高解像の画像を得る超解像処理を行って、出力画像とする。

ところで、H.264やH.265の符号化方式では、様々な符号化ツールが規定されており、伝送帯域に合わせて柔軟な調整を行うことで画質の高品質化を図ることが可能である。そして、ビデオデコーダ側で、画質劣化の少ない画像に対して超解像処理を行うことにより、高画質化が可能となる。

しかし、例えば、ビットレートと画像サイズのみしか指定できないようなエンコーダを使用しなければならない場合には、圧縮処理の細かい調整ができないため、画質劣化が生じてしまう。そのため、デコーダ側において超解像処理を施しても効果が期待できない。

［動画像データの符号化における圧縮］
ここで、動画像の符号化における圧縮率の向上について説明する。動画像符号化方法は、ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像符号化装置が開発され、実用に供されている。更に、圧縮効率を向上させるため、例えば、画面内予測および画面間予測を用い、予測値と画素値の差分値を用いることにより、次段の直交変換、量子化処理及び可変長符号化処理の効率を向上させる技術が提案されている（例えば非特許文献１参照）。

動画像符号化で扱う情報は、画面を構成する画素そのものを扱う情報（動画像情報）と、動画像情報をどのように扱うかを記載する情報（ヘッダ情報）、及び画面間予測に用いる動きベクトル情報の組合せで構成される。

近年の技術進歩により、動画像情報の圧縮効率は目覚ましい向上を見せているが、ヘッダ情報及び動きベクトル情報に関しては圧縮率の向上はそれほど高くはない。

尚、画像伝送装置に関する関連技術としては、国際公開第２０１０／１３７３２３号「映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法」（三菱電機株式会社、特許文献１）明細書、特許第４２４５５７６号公報「画像圧縮伸張法、画像圧縮装置及び画像伸張装置」（ティーオーエー株式会社、特許文献２）、Joint Video Team (JV T) of ISO / IEC MPEG & ITU-T VCEG : Text of ISO / IEC 14496-10Advanced Video Cod ing 3rd Edition (2004)（非特許文献１）がある。

特許文献１には、映像符号化装置の圧縮部で、予測誤差信号を縮小変換してから変換・量子化するか否かを選択して、量子化係数データを生成し、縮小した場合には、量子化係数データを逆量子化・逆変換した後、拡大変換して復号予測誤差信号を生成することが記載されている。

特許文献２には、画像圧縮伸張法において、重要領域として指定された領域以外の領域は縮小データに変換し、重要領域の水平幅に合わせた画像領域内に重要領域及び縮小データを再配置して縮小画像データを生成し、動き補償予測、符号化処理を行い、復元時には、伸張処理された後、ヘッダ情報に基づいて元の配置を復元し、縮小データについては補間処理を行って、画像データを復元することが記載されている。

国際公開第２０１０／１３７３２３号明細書 特許第４２４５５７６号公報

Joint Video Team (JVT) of ISO / IEC MPEG & ITU-T VCEG : Text of ISO / IEC 14496-10Advanced Video Coding 3rd Edition (2004)

上述したように、従来の画像処理装置では、伝送帯域に合わせて柔軟に調整を行って符号化・復号化を行うものであるから、狭い伝送帯域を使って映像を高精細のまま伝送しようとすると、ビデオエンコーダにおいて圧縮処理の細かい調整ができず、出力画像の画質が復元困難なほどに劣化してしまうという問題点があった。

尚、特許文献１及び特許文献２には、圧縮側において、入力画像の複雑さを送信側複雑度として算出し、当該送信側複雑度に応じてローパスフィルタのカットオフ周波数と縮小部のスケーリング係数を調整して符号化し、符号化ストリームと送信側複雑度とを送信し、伸張側において、復号画像の複雑さと受信した送信画像の複雑さとを比較して、両者の差が最小となるように、画像拡大部のスケーリング係数と超解像処理部の折り返し周波数を最適化して設定することは記載されていない。

本発明は上記実状に鑑みて為されたもので、従来のビデオエンコーダでは細かい調整ができない状況でも、高画質の画像を得ることができる画像処理装置を提供することを目的とする。

本発明の一側面では、入力された画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置であって、画像圧縮部が、入力された画像信号を、設定されたカットオフ周波数で帯域制限するローパスフィルタと、ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小部と、帯域制限され縮小された画像信号を符号化する符号化部と、入力された画像信号について画像の複雑さを示す第１のパラメータを算出する第１の複雑さ算出部と、前記第１のパラメータに基づいて、最適なカットオフ周波数をローパスフィルタに設定すると共に、最適な縮小係数を前記画像縮小部に設定する第１の制御部と、第１のパラメータを、符号化部から出力された符号化ストリームに多重化して出力するマルチプレクサとを備え、画像伸張部が、入力された信号から符号化ストリームと第１のパラメータとを抽出するデマルチプレクサと、符号化ストリームを復号化する復号化部と、復号化部からの出力信号を指定された拡大係数に従って拡大する画像拡大部と、拡大された画像について、指定された折り返し周波数を用いて超解像処理を施す超解像処理部と、拡大された画像について、画像の複雑さを示す第２のパラメータを算出する第２の複雑さ算出部と、第１のパラメータと第２のパラメータとの差又は比を算出する複雑さ比較部と、当該差又は比に基づいて、最適な拡大係数を画像拡大部に設定すると共に、最適な折り返し周波数を超解像処理部に設定するパラメータ算出部とを備えたことを特徴としている。

また、本発明の他の側面では、入力された画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置であって、画像圧縮部が、入力された画像信号を、設定されたカットオフ周波数で帯域制限するローパスフィルタと、ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小部と、帯域制限され縮小された画像信号を符号化する符号化部と、符号化部から出力された信号から、情報損失の程度を示す量子化パラメータを抽出するデマルチプレクサと、複雑さを示すパラメータと量子化パラメータとの組み合わせに対応するフィードバック値を記憶するテーブルを備え、入力された画像信号について画像の複雑さを示す第１のパラメータを算出し、テーブルに基づいて第１のパラメータと抽出された量子化パラメータとに対応するフィードバック値を出力する第１の複雑さテーブル処理部と、フィードバック値に基づいて、最適なカットオフ周波数をローパスフィルタに設定すると共に、最適な縮小係数を画像縮小部に設定する制御部とを備え、画像伸張部が、入力された信号から符号化ストリームと量子化パラメータとを抽出するデマルチプレクサと、符号化ストリームを復号化する復号化部と、復号化部からの出力信号を、設定された拡大係数に従って拡大する画像拡大部と、指定された折り返し周波数を用いて超解像処理を施す超解像処理部と、複雑さを示すパラメータと量子化パラメータとの組み合わせに対応する拡大係数を記憶するテーブルを備え、画像拡大部で拡大された画像について画像の複雑さを示す第２のパラメータを算出し、テーブルに基づいて第２のパラメータと抽出された量子化パラメータとに対応する拡大係数を出力する第２の複雑さテーブル処理部と、拡大係数を画像拡大部に設定すると共に、拡大係数に基づいて最適な折り返し周波数を超解像処理部に設定するパラメータ算出部とを備えたことを特徴としている。

また、本発明の他の側面では、上記画像処理装置において、画像圧縮部において、画像拡大部が、第１のパラメータが予め設定された第１のしきい値未満であれば、フレーム全体での縮小を行い、前記第１のしきい値以上であれば、フレーム全体での縮小を行わず、符号化部が、フレーム全体の縮小の有無にかかわらず、入力された画像を分割した領域のそれぞれについて複雑さを示すパラメータを算出し、パラメータが予め設定された第２のしきい値未満であれば、当該領域を縮小して符号化し、パラメータが前記第２のしきい値以上であれば、当該領域を縮小せずに符号化し、画像伸張部において、復号化部が、画像圧縮部でのフレーム全体の縮小の有無及び領域毎の縮小の有無に応じて領域毎に復号化を行うことを特徴としている。

本発明によれば、伝送帯域に応じてきめ細かな設定ができない場合であっても、画像圧縮部と画像伸張部とが画像の複雑さに応じて連携して、最適な縮小／拡大処理及び超解像処理を行うことができ、低帯域で伝送しても高画質の出力画像を再生することができる。

或いは、本発明によれば、伝送帯域に応じてきめ細かな設定ができない場合であっても、画像圧縮部からパラメータを送信することなく、画像の複雑さに応じて最適な縮小／拡大処理及び超解像処理を行うことができ、低帯域で伝送しても高画質の出力画像を再生することができる。

或いは、本発明によれば、画像の複雑さに応じて、フレーム全体の縮小と、動きベクトルの縮小とを組み合わせて行うことにより、ヘッダの情報量を削減でき、動画像の圧縮率を向上させることができる効果がある。

本発明の実施例１に係る画像処理装置の構成ブロック図。 本発明の実施例２に係る画像処理装置の構成ブロック図。 画像の複雑さに応じたフレームの縮小処理を示す模式説明図。 画像縮小に伴う動きベクトルを示す模式説明図。 第３の画像処理装置の符号化処理部の構成ブロック図。 第３の画像処理装置の復号化処理部の構成ブロック図。 縮小画像の変換量子化を示す模式説明図。 第３の画像処理装置の符号化処理部における処理を示すフローチャート。 画像の複雑領域探索処理を示すフローチャート。 図８の処理Ｓ４に示した画像符号化処理を示すフローチャート（１）。 図８の処理Ｓ４に示した画像符号化処理を示すフローチャート（２）。 図８の処理Ｓ３に示した縮小画像符号化処理を示すフローチャート（１）。 図８の処理Ｓ３に示した縮小画像符号化処理を示すフローチャート（２）。 第３の画像処理装置の復号化処理部における処理の概要を示すフローチャート。 図１４の処理Ｓ１３０に示した復号処理Ａのフローチャート。 図１４の処理Ｓ１４０に示した復号処理Ｂのフローチャート。 図１４の処理Ｓ１６０に示した復号処理Ｃのフローチャート。 図１４の処理Ｓ１７０に示した復号処理Ｂのフローチャート。 第３の画像処理装置で処理される画像サイズの例を示す説明図。 一般的な画像処理装置を有する画像伝送システムの概略構成図。

本発明の実施の形態に係る画像処理装置及び画像処理方法は、要約すると、送信側装置において、入力画像に対して画像の複雑度を計算し、計算結果（送信画像複雑度）を圧縮画像ストリームに多重して受信側装置へ送信すると共に、送信画像複雑度に応じて、ローパスフィルタの通過帯域及び画像圧縮処理におけるスケーリングパラメータを適切に設定する。また受信側装置において、受信した送信画像複雑度と、復号された画像について計算した複雑度（復号画像複雑度）とを比較して、その比較結果に基づいて画像伸張処理のスケーリングパラメータ及び超解像処理の折返し周波数のパラメータを最適化する。このように送受信側の画像処理装置が連携動作を行って、画像の複雑度に応じて適切なスケーリング処理及び超解像処理を行うことができ、高画質の出力画像を得る。

また、本発明の実施の形態に係る画像処理装置は、送信側装置において、画像の複雑度を計算し、圧縮画像ストリームから符号化処理の量子化パラメータを抽出し、複雑度と量子化パラメータに応じて、ローパスフィルタの通過帯域及び画像圧縮処理におけるスケーリングパラメータを適切に設定し、受信側装置において、受信信号から量子化パラメータを抽出し、当該量子化パラメータに応じて画像伸張処理のスケーリングパラメータ及び超解像処理のパラメータを最適化するものであり、送受信側の画像処理装置が連携動作を行って、画像の複雑度に応じて適切なスケーリング処理及び超解像処理を行うことができ、高画質の出力画像を得ることができるものである。

図１は、本発明の実施例１に係る画像処理装置の構成ブロック図である。

実施例１に係る画像処理装置（第１の画像処理装置）は、ビデオエンコーダ１、ビデオデコーダ２及び超解像処理部３からなる図２０に示した画像処理システムと似た構成を有する。つまり、図１の上側が図２０のビデオエンコーダ１に相当し、下側が図２０のビデオデコーダ２と超解像処理部３に相当している。ビデオデコーダは、超解像処理部を含む構成となっている。尚、ビデオエンコーダは請求項に記載した画像圧縮部に相当し、ビデオデコーダは画像伸張部に相当している。

そして、ビデオエンコーダは、画像入力ＩＦ部２００と、ローパスフィルタ２０１と、画像縮小部２０２と、符号化部２１２と、複雑さ算出部２０３と、マルチプレクサ２０４と、制御部２１１とを備えている。

また、ビデオデコーダは、デマルチプレクサ２１５と、復号化部２１６と、画像拡大部２１７と、複雑さ算出部２１８と、複雑さ比較部２１９と、パラメータ算出部２２０と、超解像処理部２２１とを備えている。

［ビデオエンコーダの構成］
まず、ビデオエンコーダの各部について詳細に説明する。
画像入力ＩＦ部２００は、ＣＣＤカメラやセンサ等の撮像装置から画像データを取得するためのインタフェースである。画像データの入力形式としては、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）フォーマット等とする。

ローパスフィルタ２０１は、画像入力ＩＦ部２００からの入力画像信号について、特定周波数（カットオフ周波数）以上の成分をカットして帯域を制限する。カットオフ周波数は、制御部２１１からの指示で設定される。尚、ローパスフィルタ２０１は、画像データの画像サイズを変更する機能は備えていない。

画像縮小部２０２は、入力された画像データの画像サイズを縮小する。画像サイズは、制御部２１１によって設定されたスケーリング係数に応じて縮小される。画像縮小部２０２に設定されるスケーリング係数は、請求項に記載した縮小係数に相当する。

符号化部２１２は、H.264やH.265の符号化方式で、入力された画像データをＮ×Ｍ画素ブロック毎に符号化する（Ｎ、Ｍは２以上の整数）。符号化部２１２は、一般的なエンコーダであり、画像サイズと伝送ビットレートのみを設定可能とし、内部の微調整を行うことはできないものを想定している。伝送ビットレートを設定された符号化部２１２は、内部的に量子化パラメータなどを制御することにより、そのレートを目標にして符号化ストリームを生成し出力する。なお監視カメラの映像を伝送する用途では、完全なＣＢＲ（Constant BitRate）の適用は稀である。動画像符号化方法は、H.264等に限るものではなく、画像データを伝送するために伝送帯域までデータ量を削減する技術であればよい。

複雑さ算出部２０３は、入力された画像について複雑さを計算して、複雑さを示すパラメータ（送信画像複雑度）を出力する。複雑さの計算例として、ここでは、ブロック内の画素値の平均値と各画素値との差の大きさの総和を示すActivityを用いている。

Activityの計算方法について簡単に説明する。

複雑さ算出部２０３は、入力された画像をＭ×Ｎ画素の基本ブロック単位に分割し、基本ブロック毎に画素平均値（Average）を（式１）によって算出する。

そして、算出した平均値（Average）と当該基本ブロック内の各画素の値との差の絶対値（差分絶対値）を求め、その絶対値の総和（差分絶対値和）をActivityとして算出する（式２）。

Activityは、基本ブロックの画像が複雑な場合には大きな値となり、単純な場合には小さな値となる。

そして、複雑さ算出部２０３は、算出されたActivityをパラメータ化して、複雑さを表すパラメータである複雑度（送信画像複雑度）を制御部２１１とマルチプレクサ２０４に出力する。送信画像複雑度は、請求項に記載した第１のパラメータに相当する。送信画像複雑度を出力する単位は、基本ブロック、基本ブロックの集合であるスライス、フレームのいずれでもよい。パラメータ化の処理は、例えば、Activityの範囲を２５６段階（領域）に分けておき、そのまま１byteデータ（０−２５５）とする方法や、算出されたActivityがどの領域に含まれるかをコードブックなどを参照して判定して、より短いビット列に符号化する方法がある。

マルチプレクサ２０４は、複雑さ算出部２０３から入力された複雑度を、符号化ストリームに多重して伝送ストリームとして伝送路に出力する。H.264ストリームの場合、ユーザが自由に情報を多重できるＳＥＩ（Super Enhancement Information）領域が確保されているため、マルチプレクサ２０４は、符号化ストリームのＳＥＩ領域に送信画像複雑度を多重して出力する。もし複数個の送信画像複雑度を一纏めにＳＥＩに多重する場合、Range Coder等の算術符号や連長符号を適用することができる。

制御部２１１は、送信画像複雑度に対応するスケーリング係数とカットオフ周波数の値を予め記憶している。そして入力された送信画像複雑度及び伝送ビットレートに基づいて、画像縮小部２０２におけるスケーリング係数と、ローパスフィルタ２０１におけるカットオフ周波数とを決定し、それぞれ設定する。この制御は、符号化部２１２に設定された伝送ビットレートが所定値よりも低い場合且つ/又は入力画像が複雑な場合に特異的である。

例えば制御部２１１は、入力画像の複雑度が通常の範囲内のとき、複雑度が高周波成分の多さを表しているとみなして、複雑度が小さいほどスケーリング係数を小さくし（つまり、より小さく縮小され）、スケーリング係数に比例させてカットオフ周波数も低くする。なおカットオフ周波数以上の成分は、弱められるものの符号化画像中に残存し、この適度な残留エイリアシング（折り返し歪）が超解像処理に役立てられる。

一方、送信画像複雑度が所定値を超えた場合には、ローパスフィルタ２０１におけるカットオフ周波数に低く設定して高周波成分を大きくカットすると共に、画像縮小処理部２０２に対するスケーリング係数をやや大きくして、エイリアシングをほぼ完全に排除した縮小を行う。あるいは超解像を不要にするために縮小しない（スケーリング係数を１にする）ようにしてもよい。この時のカットオフ周波数とスケーリング係数を特別なカットオフ周波数とスケーリング係数と呼ぶ。この様に、所定値を境に、スケーリング係数とカットオフ周波数は不連続に変化しうる。

すなわち、第１の画像処理装置では、ビデオエンコーダ側において、入力された画像の複雑さに応じて、カットオフ周波数と画像縮小のスケーリング係数とを適切に設定することにより、低帯域で画像を伝送しても受信側で高解像度の画像を出力できるようにしているものである。

［ビデオデコーダの構成］
次に、ビデオデコーダ側の各部について説明する。

デマルチプレクサ２１５は、伝送路から多重化された伝送ストリームを入力して、符号化ストリームと送信画像複雑度とに分離し、符号化ストリームを復号化部２１６に出力し、送信画像複雑度を複雑さ比較部２１９に出力する。

復号化部２１６は、入力された符号化ストリームをエンコーダ側における符号化方式に対応した復号方式で復号化する。ここでは、一般的なH.264デコーダを想定している。

画像拡大部２１７は、復号された画像データを、パラメータ算出部２２０によって指定されたスケーリング係数に従って拡大する。尚、画像拡大部２１７に設定されるスケーリング係数或いはその逆数が、請求項に記載した拡大係数に相当する。

複雑さ算出部２１８は、元の大きさに拡大された画像データについて、基準ブロック毎に複雑さを算出し、復号画像の複雑さを表すパラメータとして、復号画像複雑度を出力する。復号画像複雑度は、請求項に記載した第２のパラメータに相当する。複雑さの算出処理及びパラメータ化の処理は、上述したビデオエンコーダ側の複雑さ算出部２１８における処理と同等である。

複雑さ比較部２１９は、デマルチプレクサ２１５から出力された送信画像複雑度と、ビデオデコーダ側の複雑さ算出部２１８で算出された復号画像複雑度とを比較し、両者の差又は比を算出する。つまり、複雑さ比較部２１９は、送信側のビデオエンコーダにおけるローパスフィルタ２０１、画像縮小部２０２、画像符号化部２１２の処理及び伝送によって、入力画像の複雑度がどの程度変化（劣化）しているのかを検出するものである。

パラメータ算出部２２０は、複雑さ比較部２１９から出力された送信画像複雑度と復号画像複雑度との差又は比（ここでは差とする）を入力し、当該差に基づいて、例えば当該差が最小となるよう、画像拡大部２１７における最適なスケーリング係数と、超解像処理部２１０における最適な折返し周波数を決定し、画像拡大部２１７と超解像処理部２１０にそれぞれ出力する。比を用いる場合には比の値が１に近づくよう制御する。
つまり、パラメータ算出部２２０は、送信側の処理によって劣化した入力画像の複雑さをできるだけ再現できるよう、画像拡大部２１７と超解像処理部２１０とを制御するものである。

一例としてパラメータ算出部２２０は、複雑度の差に基づいて、送信側において縮小されたか否かを判定する閾値を記憶している。最初に、スケーリング係数の初期値（１）を画像拡大部２１７に与え、その結果複雑度の差が閾値以下だった場合、スケーリング係数は適切、或いは縮小されていないと判断し、スケーリング係数を１として画像拡大部２１７に出力し、それに対応する折返し周波数を超解像処理部２２１に出力する。
また、複雑度の差が閾値より大きい場合には、閾値から大きくなるにつれて、スケーリング係数を１より大きくすると共に、それに反比例するように折返し周波数を低くしていく。この処理は、差が閾値以下に収束するまで反復されうる。

更に、複雑度の差（或いは複雑度そのもの）が所定値を超えた場合や、所定回数の反復で差が収束しない場合には、折返し周波数とスケーリング係数は、前述の特別なカットオフ周波数とスケーリング係数に対応したものに設定される。

パラメータ算出部２２０は、複雑度の差に応じたスケーリング係数をテーブルとして記憶しておいてもよいし、計算式を用いて算出してもよい。
尚、スケーリング係数は、ビデオエンコーダ側の画像縮小部２０２で適用されたスケーリングパラメータと同一とする必要がある。なお折返し周波数は、スケーリング係数に対応して一義的に決定でき、仮に間違えても致命的な影響はない。

これにより、画像拡大部２１７で送信側の元画像と同じ画像サイズに拡大すると共に、超解像処理部２２１で、超解像処理によって折返し成分を適切に除去し、高周波成分を復元することができ、高解像度の画像を再生することができるものである。

画像拡大部２１７は、パラメータ算出部２２０から設定されたスケーリング係数で、入力された画像を拡大する。

超解像処理部２２１は、パラメータ算出部２２０から設定された折返し周波数に基づいて折返し成分を除去し、超解像処理を行って高解像度の再生画像を出力する。超解像処理部２２１は基本的に、この設定された折り返し周波数以下の成分から、折り返し周波数以上の成分を復元しようとする。

尚、超解像方式が異なる場合、パラメータ算出部２２０は、基本的には、ローパスフィルタ２０１のカットオフ周波数と同一の周波数をパラメータとして超解像処理部２２１に設定すればよい。この場合、ローパスフィルタ２０１のカットオフ周波数、あるいはそれを一意に特定できるようなスケーリング係数が、エンコーダ側から複雑度と共に或いは複雑度の代わりに送信されるべきである。

［第１の画像処理装置の動作］
次に、第１の画像処理装置の動作について図１を用いて説明する。
図１に示すように、ビデオエンコーダ側では、画像入力ＩＦ部２００から入力された画像データは、２つに分岐され、一方はローパスフィルタ２０１において、画像の複雑さに応じたカットオフ周波数で高周波成分をカットされ、画像縮小部２０２で、画像の複雑さに応じたスケーリング係数で縮小される。
縮小された画像は、符号化部２１２において符号化され、符号化ストリームとしてマルチプレクサ２０４に入力される。

一方、２つに分岐された他方の信号は、複雑さ算出部２０３において画像の複雑さに応じたパラメータである送信画像複雑度が算出され、送信画像複雑度は、制御部２１１とマルチプレクサ２０４に入力される。

そして、制御部２１１において、送信画像複雑度に基づいてローパスフィルタ２０１のカットオフ周波数と、画像縮小部２０２のスケーリング係数に、最適な値がそれぞれ設定される。このとき、低帯域で伝送しても画質劣化を抑えるよう、カットオフ周波数とスケーリング係数とが適切に調整される。

また、マルチプレクサ２０４において、符号化ストリームと送信画像複雑度とが多重化されて伝送路に出力される。

一方、受信側のビデオデコーダでは、伝送路から受信されたデータは、デマルチプレクサ２１５で符号化ストリームと送信画像複雑度とに分離され、符号化ストリームは、復号化部２１６で復号化され、画像拡大部２１７において最適なスケーリング係数で拡大される。

そして、複雑さ算出部２１８において、拡大画像から画像の複雑さが算出され、パラメータとして復号画像複雑度が出力される。

複雑さ比較部２１９では、受信信号から分離された送信画像複雑度と、復号側で算出された復号画像複雑度とが比較され、両者の差が出力される。

そして、パラメータ算出部２２０において、複雑度の差に応じて画像拡大部２１７のスケーリング係数が算出され、それに応じて超解像処理部２２１の折返し周波数が特定されて、それぞれ画像拡大部２１７、超解像部２２１に設定される。ここで、送信側の処理等によって劣化した元画像の複雑さをできるだけ再現できるよう、最適なパラメータが画像拡大部２１７、超解像部２２１に設定される。

超解像部２２１では、パラメータ算出部２２０からの折返し周波数に基づいて超画像処理を行って、高精細な画像を出力する。

このようにして、第１の画像処理装置の動作が行われるものである。送信画像複雑度を多重化する単位（つまりスケーリング係数が切り替わる単位）が１フレーム（ピクチャ）或いはH.264におけるスライスである場合、本例の実装は容易である。また多重化する単位が基本ブロックの場合、色差成分に対してスケーリング係数を限定すれば（つまりカラーフォーマットの変更として）適用でき、或いは動き補償を行わないピクチャに限れば適用できる。

本発明の実施例１に係る画像処理装置及び画像処理方法によれば、ビデオエンコーダにおいて、複雑さ算出部２０３が、入力画像の複雑さのパラメータとして送信画像複雑度を算出して、マルチプレクサ２０４が、縮小され符号化された符号化ストリームに送信画像複雑度を多重して伝送路へ出力すると共に、送信画像複雑度に応じて、ローパスフィルタ２０１のカットオフ周波数及び画像縮小部２０２におけるスケーリング係数を適切に設定し、ビデオデコーダにおいて、デマルチプレクサ２１５が符号化ストリームから送信画像複雑度を抽出し、復号化部２１６が符号化ストリームを復号化し、画像拡大部２１７が適切なスケーリング係数で拡大し、複雑さ算出部２１８が、拡大画像について複雑さのパラメータである復号画像複雑度を算出し、複雑さ比較部２１９が、送信画像複雑度と復号画像複雑度とを比較して、その差又は比を出力し、パラメータ算出部２２０が、複雑度の差又は比に基づいて、画像拡大部２１６のスケーリング係数と、超解像処理部２２１の折返し周波数とを最適化して設定し、画像拡大部２１６が設定されたスケーリング係数で画像を拡大し、超解像処理部２２１が設定された折り返し周波数に基づいて折返し成分を除去して超解像処理を行うものであり、送信側の画像処理装置と受信側の画像処理装置とが連携動作を行って、画像の複雑度に応じて適切なスケーリング処理及び超解像処理を行うことができ、低帯域で伝送しても高画質の出力画像を再生することができる効果がある。

本発明の実施例２に係る画像処理装置（第２の画像処理装置）は、送信側の画像処理装置から、複雑さを示すパラメータ情報を送信しなくても、受信側において高画質化を実現できるものである。

［第２の画像処理装置の構成］
図２は、本発明の実施例２に係る画像処理装置の構成ブロック図である。
図２に示すように、第２の画像処理装置のビデオエンコーダは、第１の画像処理装置と同様の部分として、画像入力ＩＦ部３００と、ローパスフィルタ３０１と、画像縮小部３０２と、符号化部３１２とを備えており、第２の画像処理装置の特徴部分として、複雑さテーブル処理部３０３と、デマルチプレクサ３０４と、制御部３１１とを備えている。

また、第２の画像処理装置のビデオデコーダは、第１の画像処理装置と同様の部分として、復号化部３１６と、画像拡大部３１７と、パラメータ算出部３２０と、超解像処理部３２１と、パラメータ算出部３２０とを備え、第２の画像処理装置の特徴部分として、デマルチプレクサ３１５と、複雑さテーブル処理部３１９とを備えている。第１の画像処理装置と同様の部分については、説明を省略する。

以下、第２の画像処理装置の特徴部分について具体的に説明する。

［ビデオエンコーダの構成］
ビデオエンコーダのデマルチプレクサ３０４は、符号化部３１２から出力された符号化ストリームを入力し、符号化ストリームから量子化パラメータを抽出する。
量子化パラメータは、H.264等の符号化方式で用いられるパラメータであり、符号化によってどれだけ情報が失われているかを示すものである。
量子化パラメータが大きい場合には、量子化ステップの幅が大きく、画像データの情報量が大きく削減されて画質の劣化が大きくなる。逆に、量子化パラメータが小さい場合には画質劣化は小さくなる。

複雑さテーブル処理部３０３は、入力された画像の複雑さを表すパラメータである複雑度を算出する。複雑度の算出方法は、例えば、第１の画像処理装置で説明したActivityに基づいて算出する。更に、第２の画像処理装置の特徴として、複雑さテーブル処理部３０３は、量子化パラメータと複雑度とを引数としてフィードバック値を出力するテーブルを備えており、デマルチプレクサ３０４から入力された量子化パラメータと、算出された複雑度とに基づいて、制御部３１１にフィードバック値を出力する。
フィードバック値は、画像縮小部３０２におけるスケーリング係数に対応付けられたものであればよく、例えば、スケーリング係数そのものとしてもよい。

複雑さテーブル処理部３０３のテーブルにおけるスケーリング係数の設定例について簡単に説明する。
量子化パラメータは、ビデオエンコーダ内でどれだけ情報が失われているかを示しているが、情報損失の原因は、画像１枚１枚が緻密なことによる場合と、動きが激しいことによる場合の２通りがある。

各画像が緻密な場合には、ビデオエンコーダ側で情報を損失させるよりも、ダウンスケール（縮小）という規則性の元で情報を削減したほうが、ビデオデコーダ側での超解像の効果が大きい。
それに対して、動きが激しい映像では、スケーリング係数を小さくして画像を大幅に縮小しても、超解像の効果が上がるとは限らない。

従って、複雑さテーブル処理部３０３のテーブルでは、同じ量子化パラメータであっても、複雑度が大きいほど、つまり、画像１枚１枚が緻密なほど、スケーリング係数を小さくして画像縮小の寄与を大きくしている。

また、稀なケースではあるが、複雑度が小さく単純な画像でありながら量子化パラメータが大きい場合には、スケーリング係数を小さくしても画像再生に不都合は生じないため、テーブルではスケーリング係数を小さく設定している。
これにより、画像が縮小された分、ヘッダ等のオーバーヘッドを確実に削減することができ、また、動き探索範囲を広げることが可能となって、動き補償精度が向上する可能性がある。

制御部３１１は、フィードバック値に対応するカットオフ周波数及びスケーリング係数を記憶しており、入力されたフィードバック値に基づいて適切なカットオフ周波数をローパスフィルタ３０１に設定し、スケーリング係数を画像縮小部３０２に設定する。フィードバック値をそのままスケーリング係数に用いてもよい。

カットオフ周波数は、スケーリング係数と比例関係にあり、例えば、スケーリング係数＝１の場合（縮小なしの場合）、ローパスフィルタ３０１は全域通過とし（カットオフ周波数を高く設定する）、スケーリング係数＝０．５の場合、全域通過時の低周波側半分を通過させるよう、カットオフ周波数を全域通過時の半分の周波数として設定する。
若しくは、超解像処理で復元できる程度の折り返しを生じるよう、半分の周波数より若干高い周波数としてもよい。

例えば、伝送帯域が低く、入力画像が複雑で、量子化パラメータが大きい場合には、画質劣化が大きくならないように、ローパスフィルタ３０１でのカットオフ周波数を低くして高周波成分を大きくカットすると共に、画像縮小部３０２ではスケーリング係数を大きく設定し、圧縮処理による画質劣化を抑制するよう制御する。すなわち、量子化パラメータが小さくなるように制御する。

これにより、第２の画像処理装置のビデオエンコーダ側では、入力画像の複雑さと符号化における情報量の損失状態に応じて、適切なスケーリング係数及びカットオフ周波数を設定して、低帯域で画像を伝送しても受信側で高解像度の画像を復元できるようにしている。

なお、デマルチプレクサ３０４が量子化パラメータを取得する単位や、制御部３１１がスケーリング係数等を設定する単位は、基本ブロック、スライス、フレームの何れでもよい。ただし、得られる量子化パラメータには遅延があるため、得られた量子化パラメータと十分相関がある量子化パラメータが得られるであろう画像に対して、スケーリング係数とカットオフ周波数は適用されるべきである。フレーム単位でフィードバックする場合、複雑さテーブル処理部３０３は、直近の１フレーム分の複数の量子化パラメータを代表する１つの量子化パラメータを得て、上記テーブルの引数に用いることができる。フレーム内で量子化パラメータをダイナミックに制御しないような符号化部を用いていれば、符号化順で１フレーム以内に取得した量子化パラメータをそのまま用いてよい。

［ビデオデコーダの構成］
ビデオデコーダ側のデマルチプレクサ３１５は、伝送路から受信した符号化ストリームから量子化パラメータを抽出する。
複雑さテーブル処理部３１９は、画像拡大部３１７で拡大された復号画像について複雑さを表す複雑度を算出する。複雑度の算出方法は、ビデオエンコーダ側の複雑さテーブル処理部３０３と同じでとする。

また、複雑さテーブル処理部３１９は、複雑度と量子化パラメータとに対応する制御値を記憶したテーブルを備えており、算出された複雑度とデマルチプレクサ３１５から入力された量子化パラメータとに対応する制御値をパラメータ算出部３２０に出力する。
制御値は、画像拡大部３１７におけるスケーリング係数と対応付けられるものであればよく、例えば、スケーリング係数そのものとしてもよい。

パラメータ算出部３２０は、実施例１のパラメータ算出部２２０同様に、入力された制御値に応じて、画像拡大部３１７に最適なスケーリング係数を設定し、超解像処理部３２０に最適な折返し周波数を設定する。なお、入力される制御値は、設定されたスケーリング係数等が適用される画像自体に厳密に対応した量子化パラメータに基づくほうがよい。つまり、複雑さテーブル処理部３１９は、エンコーダ側の処理に合せて１フレーム前の量子化パラメータを保持する必要はなく、現在の量子化パラメータに基づいた制御値をパラメータ算出部３２０に与えればよい。

［第２の画像処理装置の動作］
次に、第２の画像処理装置の動作について、図２を参照して説明する。尚、第１の画像処理装置と同様の処理については省略する。
図２に示すように、ビデオエンコーダ側では、第１の画像処理装置と同様に、入力画像がローパスフィルタ３０１で帯域制限され、画像縮小部３０２で縮小され、符号化部３１２で符号化されて符号化ストリームとして伝送路に出力される。
符号化ストリームの一部は、デマルチプレクサ３０４に入力されて、量子化パラメータが抽出され、複雑さテーブル処理部３０３に入力される。

複雑さテーブル処理部３０３では、入力画像に基づいて複雑度が算出され、複雑度と量子化パラメータとに基づいてテーブルを参照し、対応するフィードバック値として画像縮小部３０２のスケーリング係数が決定され、制御部３１１に入力される。
制御部３１１により、スケーリング係数が画像縮小部３０２に設定されると共に、当該スケーリング係数に対応するカットオフ周波数がローパスフィルタ３０１に設定される。
第２の画像処理装置では、エンコーダ側において、スケーリング係数とカットオフ周波数とを適切に設定することにより、低帯域での伝送を可能とし、且つ画質の劣化を抑えることができるものである。

ビデオデコーダでは、受信されたデータは復号され、拡大され、超解像処理部３２１と複雑さテーブル処理部３１９に入力される。
また、受信データから抽出された量子化パラメータは、複雑さテーブル処理部３１９に入力される。

複雑さテーブル処理部３１９では、拡大された復号画像の複雑度を算出し、複雑度と量子化パラメータとに基づいてテーブルを参照して、制御値として画像拡大部３１７のスケーリング係数が決定され、スケーリング係数がパラメータ算出部３２０に出力される。

パラメータ算出部３２０では、入力されたスケーリング係数が画像拡大部３１７に設定され、当該スケーリング係数に対応する折返し周波数が超解像処理部３２１に設定される。
そして、超解像部３２１では、入力された折返し周波数に基づいて超画像処理を行って、高精細な画像を出力する。

本発明の実施例２に係る画像処理装置及び画像処理方法によれば、ビデオエンコーダにおいて、デマルチプレクサ３０４が符号化ストリームから量子化パラメータを抽出し、複雑さテーブル処理部３０３が、入力画像の複雑度を算出し、当該複雑度と量子化パラメータとに基づいて、画像縮小部３０２のスケーリング係数を決定して制御部３１１に出力し、制御部３１１が、入力されたスケーリング係数を画像縮小部３０２に設定すると共に、当該スケーリング係数に対応するカットオフ周波数をローパスフィルタ３０１に設定し、ビデオデコーダにおいて、デマルチプレクサ３１５が、入力された符号化ストリームから量子化パラメータを抽出し、複雑さテーブル処理部３１９が、復号され拡大された画像の複雑度を算出し、当該複雑度と量子化パラメータとに基づいて、画像拡大部３１７のスケーリング係数を決定してパラメータ算出部３２０に出力し、パラメータ算出部３２０が、入力されたスケーリング係数を画像拡大部３１７に設定すると共に、当該スケーリング係数に対応する折返し周波数を超解像処理部３２０に設定するものであり、送信側の画像処理装置と受信側の画像処理装置とが連携動作を行って、画像の複雑度に応じて適切なスケーリング処理及び超解像処理を行うことができ、低帯域で伝送しても高画質の出力画像を再生することができる効果がある。

次に、本発明の実施例３に係る画像処理装置（第３の画像処理装置）について説明する。
第３の画像処理装置は、動き補償を行う符号化方式を考慮したもので、単独で或いは第１や第２の画像処理装置と組み合わせて実施できる。第３の画像処理装置は、エンコーダ側で、画像を縮小し、フレーム内のマクロブロックの総数を削減することで、マクロブロックに起因するヘッダ情報を削減することを意図している点で、先の実施例と共通である。

まず、第３の画像処理装置における圧縮率向上の概要について、図３、図４を用いて説明する。図３は、画像の複雑さに応じたフレームの縮小処理を示す模式説明図であり、図４は、画像縮小に伴う動きベクトルを示す模式説明図である。

図３（ａ）に示す画像は、右側の木の葉が高い複雑性を示しているが、カメラが左に向きを変えて、（ｂ）に示すように木の葉が映らないようにすると、該当するフレームの複雑さは減少する。

（ａ）のように、複雑な画像の画像サイズを縮小すると複雑な部分の詳細な模様が消失してしまい画質が劣化する。一方、（ｂ）のように画像に複雑な部分がない場合は、画像サイズを縮小しても、画質の劣化度が少ない。

また、図４（ａ）（ｂ）に示すように、画像縮小時には、動きベクトルの大きさも小さくなる。
動きベクトルは、周囲の動きベクトルを用いた予測ベクトルとの差分を用いるが、画像を縮小することにより差分ベクトルも小さくすることができ、動きベクトルの符号量を削減できる。

そこで、第３の画像処理装置では、画像の複雑さに応じて画像を縮小し、ヘッダ情報及び動きベクトル情報の削減を図るようにしている。具体的な方法としては、フレーム全体の縮小と、動きベクトルの縮小との組み合わせを画像の複雑さに応じて適宜選択して、再生画像の品質を劣化させずに圧縮率を向上させるものである。

［第３の画像処理装置の構成］
第３の画像処理装置の構成について図５，図６を用いて説明する。図５は、第３の画像処理装置の符号化処理部の構成ブロック図であり、図６は、第３の画像処理装置の復号化処理部の構成ブロック図である。
第３の画像処理装置は、符号化や復号化処理の内部に踏み込んで検討されたものであり、原画像と縮小画像の両方を一旦符号化（変換係数の量子化）する、一種の２パス符号化の構成を有する。

［符号化処理部の構成］
まず、第３の画像処理装置の符号化処理部の構成について図５を用いて説明する。
図５に示すように、第３の画像処理装置の符号化処理部は、画像の複雑領域探索部１１と、画像縮小部１２と、縮小画像領域分割部１３と、画像領域分割部１４と、縮小画像動き探索部１５と、動き探索部１６と、変換／量子化部１７と、縮小画像変換／量子化部１８と、動きベクトルモード選択部１９と、可変長符号化部２０と、逆変換／逆量子化部２１と、再構成画像生成部２２と、フレームメモリ２３と、画像縮小部２４と、画像拡大部２５とを備えている。

これらの構成部分の内、画像の複雑領域探索部１１と、画像縮小部１２と、縮小画像動き探索部１５と、縮小画像変換／量子化部１８と、動きベクトルモード選択部１９とが第３の画像処理装置の特徴部分となっている。
１９

各構成部分について具体的に説明する。
画像の複雑領域探索部１１は、入力画像についてフレーム毎に複雑な領域の有無を判定する。
画像の複雑さは、フーリエ変換後の周波数分布や、画像の画素値の平均値と各画素の画素値の差分絶対値和（Activity）などの評価値を用いて判定する。
尚、算出された複雑さは、動きベクトルモード選択や画像縮小等における制御に用いてもよい。

入力された画像は、複雑であると判定された場合には、従来と同様に、フレーム全体を縮小せずに画像領域分割部１４に出力され、複雑ではないと判定された場合には、フレーム全体を縮小する画像縮小部１２に出力される。

画像縮小部１２は、定められた方法に基づいて、フレーム単位で画像を縮小する。ここで、第１、第２の画像処理部で説明したように、画像縮小部１２のスケーリング係数は、図１の制御部２１１又は図２の制御部３１１によって設定されている。

縮小画像領域分割部１３は、フレーム単位で縮小された画像をマクロブロック（例えば縦１６画素×横１６画素）単位に分割し、マクロブロック単位毎に出力する。
画像領域分割部１４は、縮小されていない画像をマクロブロック単位に分割する。
尚、縮小画像領域分割部１３から出力されるマクロブロックと、画像領域分割部１４から出力されるマクロブロックの画像サイズは同じであるが、同一の元データで比較すると、縮小画像領域分割部１３から出力されるマクロブロックは数が少なくなる。

縮小画像動き探索部１５は、入力されたマクロブロックを縮小して、参照画像の中から対象画像と似た領域の場所を探索し、参照画像との差分である差分画像と、縮小された動きベクトルと、参照画像の情報を出力する。

具体的には、縮小画像動き探索部１５は、縮小画像領域分割部１３からフレーム縮小された画像のマクロブロック（縦１６画素×横１６画素）を入力し、画像領域分割部１４からフレーム縮小されない画像のマクロブロック（縦１６画素×横１６画素）を入力する。縮小画像動き探索部１５は、入力されたマクロブロックを縮小して、縮小されたマクロブロック（縦８画素×横８画素）を生成する。

また、縮小画像動き探索部１５は、フレームメモリ２３より参照画像を取得する。
その際、該当する参照画像が縮小されている場合は縮小せずに、該当する参照画像が縮小されていない場合は、画像縮小部２４を介して縮小された参照画像を取得する。

そして、縮小画像動き探索部１５は、ブロックマッチング等の手法により、参照画像中で対象画像と似た領域の場所を探索する。似た領域の判定には、動きに応じた参照画像と対象画像の各画素の差分絶対値和であるSAD(Sum of Absolute Difference)や差分絶対値の２乗和であるSSD(Sum of Square Difference)などを用いる。

そして、縮小画像動き探索部１５は、動き探索の結果として、縮小された動きベクトル（縮小動きベクトル）を動きベクトルモード選択部１９に出力し、対象画像と参照画像との差分画像及び参照画像の情報を縮小画像変換／量子化部１８に伝送する。

動き探索部１６は、縮小されないマクロブロックについて、参照画像の中から対象画像と似た領域の場所を探索し、参照画像との差分である差分画像と動きベクトルと参照画像の情報を伝送する。

具体的には、動き探索部１６は、縮小画像領域分割部１３からフレーム縮小された画像のマクロブロックを入力し、画像領域分割部１４からフレーム縮小されない画像のマクロブロックを入力する。入力されるマクロブロックはいずれも縦１６画素×横１６画素である。

また、動き探索部１６は、フレームメモリ２３より、該当する参照画像が縮小されている場合は画像拡大部２５を介して拡大し、該当する参照画像が縮小されていない場合は拡大せずに、参照画像を受け取る。
そして、動き探索部１６は、ブロックマッチング等の手法により、参照画像において対象画像と似た領域の場所を探索し、動きベクトルを検出して、動きベクトルを動きベクトルモード選択部１９へ、対象画像と参照画像の差分画像及び参照画像の情報を変換／量子化部１７へ伝送する。

縮小画像変換／量子化部１８は、領域が縮小された画像についての差分画像を入力し、ＤＣＴ（Discrete Cosine Transform）等の変換と、変換係数の量子化を行い、量子化後の変換係数及び入力された差分画像を、動きベクトルモード選択部１９へ伝送する。

ここで、縮小画像変換／量子化部１８における変換量子化について図７を用いて説明する。図７は、縮小画像の変換量子化を示す模式説明図である。図７に示すように、例えば、動きベクトルを縮小しない画像について、縦８画素×横８画素にて変換を行う場合、縮小画像の変換量子化では、縦４画素×横４画素にて変換量子化を行い、縦４画素×横４画素の量子化された変換係数を算出する。そして、これを、縦８画素×横８画素の量子化された変換係数行列に代入する。代入位置は、図７の領域Ａとなる。

変換／量子化部１７は、動き探索部１６より縮小されない領域の差分画像を受け取り、ＤＣＴ等の変換及び変換係数の量子化を行う。量子化後の変換係数及び入力された差分画像を動きベクトルモード選択部１９へ伝送する。

動きベクトルモード選択部１９は、領域毎に、動きベクトルを縮小するか否かを判断し、縮小された動きベクトル又は縮小されない動きベクトルを、動きベクトル情報として出力する。
具体的には、動きベクトルモード選択部１９は、動き探索部１６及び縮小画像動き探索部１５からそれぞれ動きベクトルと縮小動きベクトルを入力し、変換／量子化部１７及び縮小画像変換／量子化部１８より、それぞれの量子化後の変換係数及び差分画像を入力する。

そして、動きベクトルモード選択部１９は、変換／量子化部１７からの変換係数における０以外の係数の数に基づいて、当該領域について縮小動きベクトルを使用するか、縮小されない動きベクトルを使用するかを判断する。

縮小の有無の判断は、縮小されていない領域の量子化後の変換係数の個数が、予め設定されたしきい値を超えるか、あるいは、図７に示す量子化後の変換係数の状態において、領域Ｂの変換係数が全て０であるかのどちらか、あるいは双方を用いて判断を行う。この判断方法は、他の手法を用いてもよい。

そして、動きベクトルモード選択部１９は、判断結果に基づいて、縮小動きベクトルを選択した場合には、動きベクトル情報として縮小動きベクトルを選択し、縮小画像変換／量子化部１８から出力された変換係数と参照画像の情報と共に可変長符号化部２０に伝送する。
一方、動きベクトルを選択した場合には、動きベクトルと、変換／量子化部１７から出力された変換係数と参照画像の情報とを可変長符号化部２０に伝送する。

更に、動きベクトルモード選択部１９は、同じ判断結果に基づいて、領域が縮小されない画像の変換係数と参照画像の情報、又は領域が縮小された画像の変換係数と参照画像の情報を、逆変換／逆量子化部２１に出力する。

可変長符号化部２９は、動きベクトルモード選択部１９からの動きベクトル情報（動きベクトル又は縮小動きベクトル）と、量子化された変換係数を所定の可変長符号化方法にて符号化を行い、出力ストリームに重畳する。
また、可変長符号化部２０は、設定された情報に基づき、各種ヘッダ情報を符号化して、重畳する。フレームの画像サイズを示す画像サイズ情報はヘッダに含まれる。

逆変換逆／量子化部２１は、動きベクトルモード選択部１９より伝送された量子化された変換係数を用いて、逆量子化並びに逆変換を行い、再構成された差分画像を生成する。
そして、再構成された差分画像と参照画像を再構成画像生成部２２に伝送する。
この時、量子化された変換係数が図６に示す量子化後の変換係数の状態において、領域Ｂの変換係数が０であれば、縦８×横８の係数より図７の領域Ａの部分を取り出し、縦４×横４の逆変換及び逆量子化を実施する。これにより、縮小された差分画像の領域が生成される。
領域Ｂの変換係数が０でない場合は、縦８×横８の逆変換及び逆量子化を実施する。これにより、縮小されない差分画像の領域が生成される。

再構成画像生成部２２は、再構成された差分画像及び参照画像を用いて再構成画像を生成し、フレームメモリの該当位置に書き込む。つまり、フレームメモリ２３には、再構成画像として、縮小された領域と縮小されない領域とが混在して書き込まれる。

画像縮小部２４は、フレームメモリ２３から入力された画像を縮小する。
画像拡大部２５は、フレームメモリ２３から入力された画像を拡大する。

［復号化処理部の構成］
次に、第３の画像処理装置の復号化処理部の構成について図６を用いて説明する。図６は、第３の画像処理装置の復号化処理部の構成ブロック図である。
図６に示すように、第３の画像処理装置の復号化処理部は、可変長復号化部３１と、画像サイズ判定部３２と、逆変換／逆量子化部３３と、動きベクトルモード判定部３４と、動き補償部３５と、画像拡大部３６と、再構成画像拡大部３７と、フレームメモリ３８と、参照画像拡大縮小部３９とを備えている。
これらの内、画像サイズ判定部３２と、動きベクトルモード判定部３４と、画像拡大部３６と、再構成画像拡大部３７と、参照画像拡大縮小部３９とが第３の画像処理装置の特徴部分となっている。

各構成部分について具体的に説明する。
可変長復号化部３１は、入力された符号化ストリームを可変長復号化して、量子化された変換係数やヘッダ情報を出力する。
画像サイズ判定部３２は、量子化された変換係数の情報を逆変換／逆量子化部３３へ伝送すると共に、該当フレームの画像サイズ情報を取り出して画像サイズを判定し、動きベクトルモード判定部３４に該当フレームが縮小されているか否かを示す画像サイズ判定情報を伝送する。

動きベクトルモード判定部３４は、可変長復号化部３１より出力される量子化された係数に基づいて動きベクトル情報を抽出し、動きベクトルの縮小の有無を判定し、動きベクトル判定情報を出力する。
動きベクトルモード判定部３４は、可変長符号化３１から該当マクロブロックの量子化された変換係数及び動きベクトル情報を入力すると共に、画像サイズ判定部３２から該当フレームの画像サイズ判定情報を取得する。

動きベクトルモード判定部３４における動きベクトルの縮小の有無の判定について説明する。
動きベクトルモード判定部３４は、量子化された変換係数の個数を評価値として算出し、評価値が予め設定されたしきい値より小さいか、あるいは、図７の領域Ｂの量子化された変換係数がすべて０であるかに基づいて、動き補償処理を画像を縮小して実施するか縮小しないで実施するかを判定し、動きベクトル判定情報として出力する。
そして、動きベクトルモード判定部３４は、動きベクトル判定情報と画像サイズ判定情報とを、動き補償部３５、参照画像拡大縮小部３９に伝送される。

動き補償部３５は、動きベクトル情報として取得した動きベクトル又は縮小動きベクトルに従って、参照画像から参照領域を取り出し、再構成差分画像との画素和をとり、再構成画像を生成する。
また、動き補償部３５は、画像サイズ判定情報と動きベクトル判定情報に従って、拡大率を特定し、再構成画像拡大部３７と画像拡大部３６に伝送する。

画像拡大部３６は、動き補償部３５より伝送された拡大率に応じて、動き補償部３５より伝送された再構成画像を拡大して、出力する。
再構成画像拡大部３７は、動き補償部３５より伝送された拡大率に応じて、再構成画像を拡大して、フレームメモリ３８に書き出す。

参照画像拡大縮小部３９は、動きベクトルモード判定部３４からの画像サイズ判定情報と動きベクトル判定情報に従い、フレームメモリ３８より取り出した画像の拡大率あるいは縮小率を決定し、画像の拡大／縮小を実施する。拡大／縮小された参照画像は動き補償部３５へと伝送される。

［第３の画像処理装置の符号化処理部の処理］
次に、第３の画像処理装置の符号化処理部における処理について図８を用いて説明する。図８は、第３の画像処理装置の符号化処理部における処理を示すフローチャートである。
図８に示すように、符号化処理部では、画像が入力されると、画像の複雑領域探索部１１が画像の複雑領域探索処理を行う（Ｓ１）。
その結果、出力される評価値を、設定されたしきい値と比較し（Ｓ２）、評価値が設定されたしきい値より小さい場合は、縮小画像符号化処理（Ｓ３）を実施し、しきい値以上である場合は、画像符号化処理（Ｓ４）を実施する。尚、図８の処理におけるしきい値は、請求項における第１のしきい値に相当する。
縮小画像符号化処理及び画像符号化処理については、後述する。

つまり、第３の画像処理装置では、画像の複雑さに応じて、画像が複雑ではない場合にはフレーム全体を縮小する縮小画像符号化を行い、複雑な場合には縮小せずに符号化を行うことにより、複雑な領域の画質を劣化させることなく圧縮率を向上させることができるものである。
そして、符号化処理部は、縮小画像符号化処理又は画像符号化処理の結果の情報を用いて可変長符号化部２０で可変長符号化を実施し（Ｓ５）、符号化ストリームを出力する。
このようにして符号化処理部全体の動作が行われる。

そして、第３の画像処理装置の特徴として、縮小画像符号化処理（Ｓ３）、画像符号化処理（Ｓ４）のそれぞれについて、動き補償を行う領域毎に、当該領域の複雑さに応じて動きベクトルの縮小を行うか行わないかを選択するようにして、全体として圧縮率の向上を図るようにしている。各処理については後述する。

次に、図８の処理Ｓ１に示した画像の複雑領域探索処理について図９を用いて説明する。図９は、画像の複雑領域探索処理を示すフローチャートである。
図９に示すように、画像の複雑領域探索部１１は、入力された１フレームの画像を、たとえば縦１６画素、横１６画素といった領域に分割する（Ｓ１１）。
そして、画像の複雑領域探索処理部１１は、分割された領域ごとに、フーリエ変換後の周波数分布や画像の画素値の平均値と各画素の画素値の差分絶対値和を用いて評価値を算出する（Ｓ１２）。

そして、画像の複雑領域探索部１１は、算出された評価値を、既に算出され記憶された評価値の最大値（最大評価値）と比較して、算出された評価値が最大であるかどうかを判断する（Ｓ１３）。
最大であった場合は、最大評価値を算出された評価値で更新する（Ｓ１４）。

そして、画像の複雑領域探索部１１は、探索するべき領域について評価値の算出及び最大評価値との比較がすべて終了しているか否かの判定を行い（Ｓ１５）、終了していない場合は、処理Ｓ１２に移行して、次の領域を抽出し同様の処理を実行する。
処理Ｓ１５で、全ての領域について処理が終了している場合は、画像の複雑領域探索を終了する。

フレーム毎に図９の処理を行うことにより、処理の終了時に最大評価値として記憶されている評価値が、各フレームの画像の複雑さを示す評価値となり、図８に示した処理Ｓ２でしきい値と比較されるものである。

次に、図８の処理Ｓ４に示した画像符号化処理について図１０，１１を用いて具体的に説明する。図１０，１１は、図８の処理Ｓ４に示した画像符号化処理を示すフローチャートである。
画像符号化処理は、フレーム単位で縮小を行わない場合に実施されるものであり、図１０及び図１１に示した処理が連続して行われる。

まず、画像符号化処理の内、量子化された変換係数を算出するまでの処理について図１０を用いて説明する。図１０に示すように、符号化処理部では、まず、画像領域分割部１４において、フレーム画像をマクロブロック（縦１６画素×横１６画素）の領域に分割する（Ｓ２１）。

そして、第３の画像処理装置の特徴として、画像領域分割部１４は、動きベクトルを縮小するか否かの判断を行うため、領域画像を縮小するフローと、縮小しないフローとを並行して実施する。そのため、図５において、画像領域分割部１４は、分割した領域画像を縮小画像動き探索部１５と、動き探索部１６の両方に出力する。

具体的には、動きベクトルを縮小しない（領域を縮小しない）フロー（左側）では、動き探索部１６が、参照画像が縮小されているか否かをチェックし（Ｓ２２）、縮小されている場合（Yesの場合）は、画像拡大部２５で参照画像を拡大して取得する（Ｓ２３）。
縮小されていない場合（Noの場合）は、そのままで参照画像とする。

動き探索部１６は、画像動き探索として、参照画像と領域分割された対象画像を用いてブロックマッチングを行い、対象画像に似た領域を抽出する。抽出された領域と対象画像の領域の位置の差分を動きベクトルとして検出する（Ｓ２４）。また、抽出された領域と対象画像の領域の各画素の差分値による画像を差分画像として生成する。差分画像のサイズは、縦１６画素×横１６画素となる。
そして、変換／量子化部１７が、差分画像に対して変換量子化を行って、量子化された変換係数を出力し（Ｓ２５）、処理（Ａ）に移行する。

一方、動きベクトルを縮小する（領域を縮小する）フロー（右側）では、縮小画像動き探索部１５が、画像領域分割部１４から、縮小されない領域画像を入力して、領域画像を縮小する（Ｓ２６）。
そして、縮小画像動き探索部１５は、参照領域が縮小されているか否かをチェックし（Ｓ２７）、縮小されていない場合は（Noの場合）、画像縮小部２４を介して参照画像を縮小して取得する（Ｓ２８）。縮小されている場合（Yesの場合）は、そのままで参照画像とする。

更に、縮小画像動き探索部１５は、縮小画像動き探索として、参照画像において対象画像に似た領域を抽出し、抽出された領域と対象画像の領域の位置の差分を縮小動きベクトルとして検出する（Ｓ２９）。また、抽出された領域と対象画像の領域の各画素の差分値による画像を差分画像として生成する。差分画像のサイズは、縦８画素×横８画素となる。

そして、縮小画像変換／量子化部１８が、差分画像に対し変換量子化を行い、量子化された変換係数を算出して、処理（Ａ）に移行する。
これにより、フレーム全体で縮小されない画像について、動きベクトルを縮小しない場合と縮小した場合の変換係数が算出されて、動きベクトルモード選択部１９に出力される。

次に、画像符号化処理の内、動きベクトルモード選択と再構成画像生成の処理について図１１を用いて説明する。図１１に示すように、変換係数が算出されて動きベクトルモード選択部１９に入力されると、動きベクトルモード選択部１９は、動きベクトルモードを選択するための評価値（動きベクトルモード選択評価値）を算出して、縮小された動きベクトルと縮小されない動きベクトルのいずれを選択するかを判断する。

動きベクトルモード選択評価値としては、領域を縮小しないフローの量子化された変換係数の個数を用いる場合や、図７に示した領域Ｂの量子化された変換係数がすべて０であるか否かを示す値が用いられる。
これらは、各領域の複雑さを表す値である。
ここでは、領域を縮小しないフローの量子化された変換係数の個数を動きベクトルモード選択評価値として、動きベクトルモード選択部１９が、しきい値より小さいかどうかを判断する（Ｓ３１）。処理Ｓ３１におけるしきい値は、請求項における第２のしきい値に相当する。

そして、動きベクトルモード選択評価値がしきい値以上であった場合（Noの場合）には、動きベクトルモード選択部１９は、縮小なしモードを選択して（Ｓ３２）、変換／量子化部１７からの縮小なしの量子化された変換係数を出力する（Ｓ３３）。

そして、逆変換／逆量子化部２１が、出力された変換量子化の結果を用いて逆量子化／逆変換を行い（Ｓ３４）、再構成された差分画像を生成する（Ｓ３５）。
そして、再構成画像生成部２２が、再構成された差分画像と、画像動き探索部１６で生成された参照画像とから再構成画像を生成し（Ｓ３５）、生成された再構成画像をフレームメモリ２３に格納して（Ｓ３６）、処理を終了する。
ここで格納される再構成画像は、縮小されない参照画像（縦１６画素×横１６画素）となる。

また、処理Ｓ３１で、動きベクトルモード選択評価値がしきい値未満であった場合（Ye sの場合）、動きベクトルモード選択部１９は、縮小モードを選択し（Ｓ３７）、縮小画像変換／量子化部１８からの、縮小された量子化後の変換係数を出力する（Ｓ３８）。

そして、縮小された量子化後の変換係数を用いて縮小画像逆変換／逆量子化を行い（Ｓ３９）、再構成画像生成部２２が、再構成画像を生成し（Ｓ４０）、拡大して（Ｓ４１）、フレームメモリに格納して（Ｓ４２）、処理を終了する。
この場合には、縮小された参照画像（縦８画素×横８画素）が得られる。
このようにして、フレーム全体の縮小が行われない場合の画像符号化処理が行われるものである。

［縮小画像符号化処理：図１２，図１３］ 次に、図８の処理Ｓ３に示した縮小画像符号化処理について図１２，１３を用いて具体的に説明する。図１２，１３は、図８の処理Ｓ３に示した縮小画像符号化処理を示すフローチャートである。
縮小画像符号化処理は、フレーム単位で縮小を行う場合に実施されるものであり、図１２及び図１３に示した処理が連続して行われる。
また、縮小画像符号化処理は、図１０，１１に示した画像符号化処理と基本的な流れは同じであるため、異なる部分についてのみ説明する。

まず、縮小画像符号化処理の内、量子化された変換係数を算出するまでの処理について図１２を用いて説明する。図１２に示すように、縮小画像符号化処理の特徴として、まず、画像縮小部１２が入力された画像をフレーム単位で縮小する（Ｓ５１）。

そして、縮小画像領域分割部１３が、縮小された画像をマクロブロック（縦１６画素×横１６画素）に分割し（Ｓ５２）、動きベクトルを縮小しない（領域を縮小しない）フローと、動きベクトルを縮小する（領域を縮小する）フローとを並行して実施する。
つまり、図５において、縮小画像領域分割部１３は、分割した領域の画像を、縮小画像動き探索部１５と動き探索部１６の両方に出力する。
ここで、縮小画像領域分割部１３で分割された縦１６画素×横１６画素の領域は、フレーム縮小される前の元画像では３２×３２の領域に相当している。

動きベクトルを縮小しないフロー（左側）では、動き探索部１６が、参照画像が縮小されているか否かをチェックし（Ｓ５３）、縮小されていない場合（Noの場合）は、画像縮小部２４を介して縦１６画素×横１６画素に縮小された参照画像を取得する（Ｓ５４）。縮小されている場合はそのままで参照画像とする。

動き探索部１６は、参照画像と領域分割された対象画像とを用いてブロックマッチングを行い、対象画像に似た領域を抽出し、両者の位置の差を動きベクトルとして検出する画像動き探索を行い（Ｓ５５）、差分画像を生成する。
そして、変換／量子化部１７が、差分画像に対し変換量子化を行い、量子化された変換係数を算出して（Ｓ５６）、処理（Ｂ）に移行する。

一方、動きベクトルを縮小するフロー（右側）では、縮小画像動き探索部１５が、入力された領域画像を縮小する（Ｓ５７）。これにより、動き探索を行う対象領域は、フレーム単位で縮小され、更に領域が縮小されたサイズとなる。

縮小画像動き探索部１５は、参照画像が縮小されているか否かをチェックし（Ｓ５８）、縮小されている場合は、画像縮小部２４で参照画像縮小Ａを実施後、参照画像を取得し（Ｓ５９）、処理６１に移行する。
ここでは、参照画像縮小Ａは縦横共に１／２に縮小する処理である。
また、処理Ｓ５８で、参照画像が縮小されていない場合には、画像縮小部２４で参照画像縮小Ｂを実施して、処理６１に移行する。
参照画像縮小Ｂは、縦横共に１／４に縮小する処理である。

そして、縮小画像動き探索部１５は、サイズが等しくなった対象画像と参照画像とを比較して、ブロックマッチングを行い、参照画像から対象画像に似た領域を抽出し、縮小動きベクトルを検出する縮小画像動き探索を行い（Ｓ６１）、抽出された領域と対象画像の領域の各画素の差分値による画像を差分画像として生成する。
そして、縮小画像変換／量子化部１８で、差分画像について変換量子化を行い、量子化された変換係数を算出して（Ｓ６２）、処理（Ｂ）に移行する。

次に、縮小画像符号化処理の内、動きベクトルモード選択と再構成画像生成の処理について図１３を用いて簡単に説明する。図１３に示す処理は、図１１に示した処理と同様であり、変換係数が動きベクトルモード選択部１９に入力されると、動きベクトルモード選択部１９は、動きベクトルモード選択評価値を算出してしきい値と比較し（Ｓ６３）、動きベクトルモード選択評価値がしきい値以上であった場合（Noの場合）には縮小なしモードを選択し（Ｓ６４）、しきい値未満であった場合（Yesの場合）、縮小モードを選択する（Ｓ７０）。

そして、図１１に示した処理と同様に、縮小なしモードの場合には、Ｓ６５〜Ｓ６８を行い、縮小ありモードの場合には、処理Ｓ７１〜Ｓ７５を行って処理を終わる。
縮小画像符号化処理によって得られる参照画像は、縮小された参照画像となる。

すなわち、第３の画像処理装置では、符号化処理部において、フレーム単位の画像の複雑さに応じてフレーム全体の縮小の有無を判断し、フレーム全体を縮小した場合としない場合のそれぞれについて、動き補償を行う単位であるマクロブロックの複雑さに応じて、動きベクトルの縮小、つまりマクロブロックの縮小を行うかどうかを判断して、領域毎に適切な符号化を行って、出力画像の劣化を抑えつつ圧縮率を向上させることができるものである。
第３の画像処理装置では、縮小の有無による符号化は、フレーム縮小の有無と、動きベクトル縮小の有無とを組み合わせるため４通りとなる。

次に、第３の画像処理装置の復号化処理部における処理について図１４を用いて説明する。図１４は、第３の画像処理装置の復号化処理部における処理の概要を示すフローチャートである。図１４に示すように、復号化処理部では、まず、可変長復号化部３１が入力されたストリームを可変長復号化し（Ｓ１００）、画像サイズ判定部３２が、ヘッダ情報等から入力されたフレームのサイズを読み取って、フレームが縮小されているかどうかを判定する（Ｓ１１０）。

処理Ｓ１１０においてフレームが縮小されていない場合（Noの場合）、動きベクトルモード判定部３４が、動きベクトルが縮小されているか否かを判断し（Ｓ１２０）、動きベクトルが縮小されていない場合には（Noの場合）、復号化処理部は、復号処理Ａに移行する（Ｓ１３０）。
また、処理Ｓ１２０において、動きベクトルが縮小されている場合（Yesの場合）には、復号化処理部は、復号処理Ｂに移行する（Ｓ１４０）。

処理１１０において、フレームが縮小されている場合（Yesの場合）、動きベクトルモード判定部３４が、動きベクトルが縮小されているか否かを判断し（Ｓ１５０）、縮小されていない場合（Noの場合）には、復号化処理部は、復号処理Ｃに移行する（Ｓ１６０）。
また、処理１５０において、動きベクトルが縮小されている場合（Yesの場合）、復号化処理部は、復号処理Ｄに移行する（Ｓ１７０）。
つまり、第３の画像処理装置の復号化処理部では、フレーム単位の縮小の有無と、動きベクトルの縮小の有無に応じて４通りの復号処理が為されるものである。

復号処理Ａについて図１５を用いて具体的に説明する。図１５は、図１４の処理Ｓ１３０に示した復号処理Ａのフローチャートである。復号処理Ａは、フレーム全体の縮小が行われず、動きベクトルの縮小も行われていない領域の復号処理である。

図１５に示すように、復号処理Ａでは、逆変換／逆量子化部３３が、逆変換／逆量子化処理を行って、再構成された差分画像を生成する（Ｓ２００）。
そして、動き補償部３５が、画面間予測のために参照する参照画像が縮小されているか否かの判定を行い（Ｓ２１０）、縮小されている場合（Yesの場合）は、参照画像拡大縮小部３９が参照画像を拡大する（Ｓ２２０）。縮小されていない場合（Noの場合）はそのままで参照画像とする。

そして、動き補償部３５は、可変長復号化部３１で抽出された縮小されていない動きベクトルを用い、参照画像の該当領域を用いた動き補償処理を実施し（Ｓ２３０）、再構成差分画像との画素和によって再構成画像を生成する。そして、再構成画像をフレームメモリ３８に格納して参照画像とし（Ｓ２４０）、最後に、再構成画像を出力する（Ｓ２５０）。
ここでは、縮小されない参照画像が得られる。
このようにして復号処理Ａが行われる。

次に、復号処理Ｂについて図１６を用いて説明する。図１６は、図１４の処理Ｓ１４０に示した復号処理Ｂのフローチャートである。復号処理Ｂは、フレーム全体の縮小が行われず、動きベクトルの縮小が行われた領域の復号処理である。

図１６に示すように、復号処理Ｂでは、逆変換／逆量子化部３３において、縮小逆変換／逆量子化を行って、縮小された領域の差分画像を生成する（Ｓ３００）。
具体的には、縮小逆変換／逆量子化では、縦８画素×横８画素の変換係数から、図７の領域Ａの部分を取り出し、縦４画素×横４画素の逆変換及び逆量子化を実施する。その結果、縮小している（たとえば、縦８画素×横８画素）再構成された差分画像が生成される。

そして、動き補償部３５が、参照画像が縮小されているか否かを判定し（Ｓ３１０）、縮小されていない場合（Noの場合）は、参照画像拡大縮小部３９が参照画像を縮小する（Ｓ３２０）。縮小されている場合（Yesの場合）はそのままで参照画像とする。
そして、動き補償部３５は、可変長復号化部３１から抽出された縮小動きベクトルを用い、参照画像の該当領域を用いて、縮小画像について動き補償を行う縮小画像動き補償処理を実施し（Ｓ３３０）、再構成された差分画像との画素和にて再構成画像を生成する。

そして、再構成画像拡大部３７が再構成画像を拡大して（Ｓ３４０）、フレームメモリへ３８格納する（Ｓ３５０）。これにより、縮小されない参照画像が得られる。
また、動き補償部３５は、再構成画像を画像拡大部３６に出力し、画像拡大部３６が再構成画像を元のサイズに拡大して、拡大再構成画像を出力する（Ｓ３６０）。
このようにして、復号処理Ｂが行われる。

次に、復号処理Ｃについて図１７を用いて説明する。図１７は、図１４の処理Ｓ１６０に示した復号処理Ｃのフローチャートである。復号処理Ｃは、フレーム全体の縮小が行われ、動きベクトルの縮小が行われていない領域の復号処理である。

図１７に示すように、復号処理Ｃでは、逆変換／逆量子化部３３が、逆変換／逆量子化の処理を行って、再構成された差分画像が生成される（Ｓ４００）。
そして、動き補償部３５が、画面間予測のために参照する参照画像が縮小されているか否かの判定を行い（Ｓ４１０）、縮小されていない場合（Noの場合）は、参照画像拡大縮小部３９が参照画像を縮小する（Ｓ４２０）。縮小されている場合（Yesの場合）はそのままで参照画像とする。

そして、動き補償部３５は、可変長復号化部３１で抽出された縮小されていない動きベクトルを用いて、参照画像の該当領域を用いた動き補償処理を実施し（Ｓ４３０）、再構成差分画像との画素和にて再構成画像を生成する。

そして、再構成画像拡大部３７が再構成画像を拡大したのち（Ｓ４４０）、拡大再構成画像をフレームメモリ３８に格納する（Ｓ４５０）。
また、動き補償部３５は、再構成画像を画像拡大部３６に出力し、画像拡大部３６が再構成画像を元のサイズに拡大し、拡大再構成画像を出力する（Ｓ４６０）。
このようにして、復号処理Ｃが行われる。

次に、復号処理Ｄについて図１８を用いて説明する。図１８は、図１４の処理Ｓ１７０に示した復号処理Ｂのフローチャートである。復号処理Ｄは、フレーム全体の縮小が行われ、且つ動きベクトルの縮小が行われた領域の復号処理である。

図１８に示すように、復号処理Ｄでは、逆変換／逆量子化部３３において、縮小逆変換／逆量子化を行って、縮小された領域の差分画像を生成する（Ｓ５００）。縮小逆変換／逆量子化は、図１６の復号処理Ｂと同様に、縦８画素×横８画素の係数から、縦４画素×横４画素の逆変換及び逆量子化を実施する。
その結果、例えば縦８画素×横８画素に縮小されている再構成された差分画像が生成される。

そして、動き補償部３５が、参照画像が縮小されているか否かの判定を行い（Ｓ５１０）、縮小されている場合（Yesの場合）は、参照画像拡大縮小部３９が、参照画像縮小処理Ａによって参照画像を縮小する（Ｓ５２０）。参照画像縮小処理Ａは、縦横１／２に縮小する処理である。

また、処理Ｓ５１０において参照画像が縮小されていない場合（Noの場合）、参照画像拡大縮小部３９は、参照画像縮小処理Ｂによって参照画像を縮小する（Ｓ５３０）。参照画像縮小処理Ｂは、縦横１／４に縮小する処理である。

そして、動き補償部３５は、可変長復号化部３１によって抽出された縮小動きベクトルを用いて、参照画像の該当領域を用いた縮小画像動き補償処理を実施し（Ｓ５４０）、再構成差分画像との画素和にて再構成画像を生成する。
そして、再構成画像拡大部３７が再構成画像を拡大して（Ｓ５５０）、フレームメモリへ格納する（Ｓ５６０）。
また、動き補償部３５は、再構成画像を画像拡大部３６に出力し、画像拡大部３６が再構成画像を元のサイズに拡大して、拡大再構成画像を出力する（Ｓ５７０）。
このようにして、復号処理Ｄが行われる。

ここで、第３の画像処理装置で処理される画像サイズの例について図１９を用いて簡単に説明する。図１９は、第３の画像処理装置で処理される画像サイズの例を示す説明図である。図１９では、符号化処理部における処理において、フレーム全体の縮小の有無と、動きベクトルの縮小の有無の組み合わせによって、画像サイズがどうなるかを示している。

図１９に示すように、マクロブロック（ＭＢ）サイズは、画像領域分割部１４又は縮小画像領域分割部１３において分割される領域の大きさであり、いずれの場合にも縦１６画素×横１６画素となっている。

ＭＣ（Motion Compensation）時のサイズは、動き探索部１６又は縮小動き探索部１５において、ブロックマッチング等の動き探索処理を行う際の領域の大きさを示している。
動きベクトルの縮小を行わない場合には、領域の縮小は行われず、動き探索部１６において縦１６画素×横１６画素の大きさで処理される。

動きベクトルの縮小を行う場合には、縮小画像動き探索部１５において、入力されたマクロブロックを縦８画素×横８画素の大きさに縮小してから処理される。

元画像でのサイズは、マクロブロックの元のサイズであり、フレーム縮小されていない場合にはマクロブロックサイズと同等（縦１６画素×横１６画素）であり、フレーム縮小されている場合には、縦３２画素×横３２画素となる。

再構成差分画像は、再構成画像生成部２２において再構成される画像の大きさであり、動きベクトルの縮小が行われた場合には、フレーム縮小の有無にかかわらず縦８画素×横８画素となる。

参照画像縮小無しは、縮小画像動き探索部１５又は動き探索部１６において、読み込んだ参照画像が縮小されていない場合の、フレームメモリに記憶された参照画像の大きさと、読み込む際の参照画像の大きさを示している。
同様に、参照画像縮小有は、縮小画像動き探索部１５又は動き探索部１６において、読み込んだ参照画像が縮小されている場合について、フレームメモリに記憶された参照画像の大きさと、読み込む際の参照画像の大きさを示している。

参照画像の縮小の有無にかかわらず、動きベクトルの縮小を行わない場合には縦１６画素×横１６画素に拡大／縮小されて読み出され、動きベクトルの縮小を行う場合には、縦８画素×横８画素に縮小されて読み出される。

本発明の実施例３に係る画像処理装置によれば、符号化処理部が、フレーム毎の複雑さの評価値を算出して、評価値が第１のしきい値未満であればフレーム全体の縮小を行い、しきい値以上であればフレーム全体の縮小を行わず、更に、縮小されたフレーム又は縮小されないフレームを所定の大きさの領域に分割して、当該領域の複雑さを示す動きベクトルモード選択評価値を算出して、動きベクトルモード選択評価値が第２のしきい値未満であれば動きベクトルの縮小を行い、動きベクトルモード選択評価値が第２のしきい値以上であれば動きベクトルの縮小を行わない符号化を行い、復号化処理部が、フレーム全体の縮小の有無と動きベクトルの縮小の有無の組み合わせに応じて、領域毎に４種類の復号化処理の中から適切な処理を選択して復号化処理を行うので、画像の複雑な領域については情報量を削減せずに伝送して画質の劣化を防ぐと共に、画像の複雑でない領域についてはフレーム全体と動きベクトルの縮小を行ってヘッダ情報量を大幅に削減でき、領域毎に適切な符号化／復号化を行って圧縮率を向上させることができる。特に、画像の複雑さが時間により変動する画像において、効率よく符号化することができる効果がある。

本発明は、低帯域で伝送した場合でも受信側で高画質の画像を再生することができる画像処理装置に適しており、更に、符号化における圧縮率を向上させることができる画像処理装置に適している。

１，２００，３００...画像入力ＩＦ部、 ２，２０１，３０１...ローパスフィルタ、
３，２２１，３２１...超解像処理部、 ４，２１２，３...符号化部、 １１...画像の複雑領域探索部、 １２，２４，３０２...画像縮小部、 １３...縮小画像領域分割部、 １４...画像領域分割部、 １５...縮小画像動き探索部、 １６...動き探索部、 １７...変換／量子化部、 １８...縮小画像変換／量子化部、 １９...動きベクトルモード選択部、 ２０...可変長符号化部、 ２１...逆変換／逆量子化部、 ２２...再構成画像生成部、 ２３，３８...フレームメモリ、 ２５...画像拡大部、 ３１...可変長復号化部、 ３２...画像サイズ判定部、 ３３...逆変換／逆量子化部、 ３４...動きベクトルモード判定部、 ３５...動き補償部、 ３６...画像拡大部、 ３７...再構成画像拡大部、 ３９...参照画像拡大縮小部、
２０２...画像縮小部、 ２０３，２１８...複雑さ算出部、 ２０４...マルチプレクサ、 ２１１，３１１...制御部、 ２１５，３０４...デマルチプレクサ、 ２１６，３１６...復号化部、 ２１７，３１７...画像拡大部、 ２１９...複雑さ比較部、 ２２０，３２０...パラメータ算出部、 ３０３，３１９...複雑さテーブル処理部

Claims (4)

1. 入力された画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置であって、
   前記画像圧縮部が、入力された画像信号を、設定されたカットオフ周波数で帯域制限するローパスフィルタと、
   前記ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小部と、
   帯域制限され縮小された画像信号を符号化する符号化部と、
   前記入力された画像信号について画像の複雑さを示す第１のパラメータを算出する第１の複雑さ算出部と、
   前記第１のパラメータに基づいて、特定周波数以上の成分をカットして帯域を制限したカットオフ周波数を前記ローパスフィルタに設定すると共に、予め記憶されたカットオフ周波数に対応する縮小係数を前記画像縮小部に設定する制御部と、
   前記第１のパラメータを、前記符号化部から出力された符号化ストリームに多重化して出力するマルチプレクサとを備え、
   前記画像伸張部が、入力された信号から符号化ストリームと前記第１のパラメータとを抽出するデマルチプレクサと、
   前記符号化ストリームを復号化する復号化部と、
   前記復号化部からの出力信号を指定された拡大係数に従って拡大する画像拡大部と、
   前記拡大された画像について、指定された折り返し周波数を用いて超解像処理を施す超解像処理部と、
   前記拡大された画像について、画像の複雑さを示す第２のパラメータを算出する第２の複雑さ算出部と、
   前記第１のパラメータと前記第２のパラメータとの差又は比を算出する複雑さ比較部と、
   前記差又は比に基づいて、予め記憶された第２のパラメータに対応する拡大係数を前記画像拡大部に設定すると共に、前記算出した第２のパラメータから設定された折返し成分を除去した折り返し周波数を前記超解像処理部に設定するパラメータ算出部とを備えたことを特徴とする画像処理装置。
2. 入力された画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置であって、
   前記画像圧縮部が、入力された画像信号を、設定されたカットオフ周波数で帯域制限するローパスフィルタと、
   前記ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小部と、
   帯域制限され縮小された画像信号を符号化する符号化部と、
   前記符号化部から出力された信号から、情報損失の程度を示す量子化パラメータを抽出するデマルチプレクサと、
   複雑さを示すパラメータと前記量子化パラメータとの組み合わせに対応するフィードバック値を記憶するテーブルを備え、前記入力された画像信号について画像の複雑さを示す第１のパラメータを算出し、
   前記テーブルに基づいて前記第１のパラメータと前記抽出された量子化パラメータとに対応するフィードバック値を出力する第１の複雑さテーブル処理部と、
   前記フィードバック値に基づいて、特定周波数以上の成分をカットして帯域を制限したカットオフ周波数を前記ローパスフィルタに設定すると共に、予め記憶されたカットオフ周波数に対応する縮小係数を前記画像縮小部に設定する制御部とを備え、
   前記画像伸張部が、入力された信号から符号化ストリームと前記量子化パラメータとを抽出するデマルチプレクサと、
   前記符号化ストリームを復号化する復号化部と、
   前記復号化部からの出力信号を、設定された拡大係数に従って拡大する画像拡大部と、
   指定された折り返し周波数を用いて超解像処理を施す超解像処理部と、
   複雑さを示すパラメータと量子化パラメータとの組み合わせに対応する拡大係数を記憶するテーブルを備え、前記画像拡大部で拡大された画像について画像の複雑さを示す第２のパラメータを算出し、前記テーブルに基づいて前記第２のパラメータと前記抽出された量子化パラメータとに対応する拡大係数を出力する第２の複雑さテーブル処理部と、
   前記拡大係数を前記画像拡大部に設定すると共に、前記拡大係数に基づいて折り返し周波数を前記超解像処理部に設定するパラメータ算出部とを備えたことを特徴とする画像処理装置。
3. 入力された動画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置の動画像伝送方法であって、
   前記画像圧縮部が、入力された画像信号を、ローパスフィルタにより設定されたカットオフ周波数で帯域制限するステップと、
   前記ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小ステップと、
   帯域制限され縮小された画像信号を符号化する符号化ステップと、
   前記入力された画像信号について画像の複雑さを示す第１のパラメータを算出する第１の複雑さ算出ステップと、
   前記第１のパラメータに基づいて、特定周波数以上の成分をカットして帯域を制限したカットオフ周波数を前記ローパスフィルタに設定すると共に、予め記憶されたカットオフ周波数に対応する縮小係数を前記画像縮小ステップに基づき設定する制御ステップと、
   前記第１のパラメータを、前記符号化ステップから出力された符号化ストリームに多重化して出力するステップとを備え、
   前記画像伸張部が、入力された信号から符号化ストリームと前記第１のパラメータとを抽出するステップと、
   前記符号化ストリームを復号化する復号化ステップと、
   前記復号化ステップからの出力信号を指定された拡大係数に従って拡大する画像拡大ステップと、
   前記拡大された画像について、指定された折り返し周波数を用いて超解像処理を施す超解像処理ステップと、
   前記拡大された画像について、画像の複雑さを示す第２のパラメータを算出する第２の複雑さ算出ステップと、
   前記第１のパラメータと前記第２のパラメータとの差又は比を算出する複雑さ比較ステップと、
   前記差又は比に基づいて、予め記憶された第２のパラメータに対応する拡大係数を設定すると共に、前記算出した第２のパラメータから設定された折返し成分を除去した折り返し周波数を設定するパラメータ算出ステップとを備えたことを特徴とする動画像伝送方法。
4. 入力された画像を圧縮する画像圧縮部と、圧縮された画像を伸張して出力する画像伸張部とを備えた画像処理装置の動画像伝送方法であって、
   前記画像圧縮部が、入力された画像信号を、ローパスフィルタにより設定されたカットオフ周波数で帯域制限するステップと、
   前記ローパスフィルタからの出力信号を、設定された縮小係数に従って縮小する画像縮小ステップと、
   帯域制限され縮小された画像信号を符号化する符号化ステップと、
   前記符号化ステップから出力された信号から、情報損失の程度を示す量子化パラメータを抽出するステップと、
   複雑さを示すパラメータと前記量子化パラメータとの組み合わせに対応するフィードバック値を記憶テーブルに記憶するステップを備え、前記入力された画像信号について画像の複雑さを示す第１のパラメータを算出し、
   前記テーブルに基づいて前記第１のパラメータと前記抽出された量子化パラメータとに対応するフィードバック値を出力する第１の複雑さテーブル処理ステップと、
   前記フィードバック値に基づいて、特定周波数以上の成分をカットして帯域を制限したカットオフ周波数を前記ローパスフィルタに設定すると共に、予め記憶されたカットオフ周波数に対応する縮小係数を設定するステップとを備え、
   前記画像伸張部が、入力された信号から符号化ストリームと前記量子化パラメータとを抽出するステップと、
   前記符号化ストリームを復号化する復号化ステップと、
   前記復号化ステップからの出力信号を、設定された拡大係数に従って拡大する画像拡大ステップと、
   指定された折り返し周波数を用いて超解像処理を施す超解像処理ステップと、
   複雑さを示すパラメータと量子化パラメータとの組み合わせに対応する拡大係数を記憶するステップを備え、前記画像拡大ステップで拡大された画像について画像の複雑さを示す第２のパラメータを算出し、前記記憶した拡大係数に基づいて前記第２のパラメータと前記抽出された量子化パラメータとに対応する拡大係数を出力する第２の複雑さテーブル処理ステップと、
   前記拡大係数を設定すると共に、前記拡大係数に基づいて折り返し周波数を設定するパラメータ算出ステップとを備えたことを特徴とする動画像伝送方法。
   

Images