JP5094750B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

Description

本発明は動画像符号化装置及び動画像符号化方法に関し、特に、縮小画像を用いて簡単な探索を行う粗探索（一次探索）部と、より詳細な探索を行う二次探索部とを有する動画像符号化装置に用いて好適な技術に関する。

従来、例えば被写体を撮影して得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、ランダムアクセス性などの利便性が高いため、記録媒体が従来の磁気テープからディスク媒体や半導体メモリなどに移り変わってきている。

動画像の圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なMPEG２が一般的であり、さらに近年では、より高圧縮に圧縮可能なH.264なども用いられている。このような圧縮方式の符号化装置では、フレーム間の動きベクトルを探索する必要がある。従来は、フレーム画像を分割した、符号化単位であるマクロブロック単位にフレーム間の動きベクトルの探索を行っている。

動きベクトルの探索は、ある探索範囲を設定し、探索範囲内でのパターンマッチングによって実現するのが一般的であるが、膨大な演算が必要であることが問題であり、動きベクトルを探索する効率を向上させるのに限界があった。

そこで、効率よく動きベクトルを求めるために、例えば、特許文献１に記載されているような手法が提案されている。特許文献１では、まず、縮小画像を用いて粗い動きベクトルの探索を行い、粗い探索で求めた動きベクトルの周辺を、縮小していない元の画像を用いて詳細な探索を行っている。

特開平１１−２９８９０４号公報

しかしながら、上記従来の手法では、縮小画像を用いて粗い動きベクトルの探索を行い、その後に詳細な動きベクトルを探索することで動きベクトル探索のための演算量は減らしている。しかし、動きベクトルの検出に誤差が生じる場合があるので、精度の高い動きベクトルの探索を行うことが困難であるという課題があった。

本発明は前述の問題点に鑑み、動きベクトル探索のための演算量は減らしながら、精度の高い動きベクトルの探索を行うことができるようにすることを目的としている。

本発明の動画像符号化装置は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索手段と、より詳細な動き探索を行う二次探索手段と、前記入力された画像信号を符号化する符号化手段とを有する動画像符号化装置において、前記符号化手段で符号化済の画像を復号して第１の縮小画像を生成する第１の縮小画像生成手段と、前記第１の縮小画像生成により生成された第１の縮小画像を記憶する第１の縮小画像記憶手段と、前記入力された画像信号から、前記第１の縮小画像と同じ縮小率で第２の縮小画像を生成する第２の縮小画像生成手段と、前記第２の縮小画像生成手段により生成された第２の縮小画像を記憶する第２の縮小画像記憶手段と、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化手段の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索手段を制御する制御手段とを有し、前記制御手段は、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第１の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第２の縮小画像を用いて動きベクトルを探索するよう前記一次探索手段を制御することを特徴とする。
また、本発明の動画像符号化装置の他の特徴とするところは、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像とする予測符号化を行う動画像符号化装置において、入力画像を複数フレーム記憶するフレームメモリと、前記入力画像を縮小する入力画像縮小手段と、前記入力画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小フレームメモリと、前記入力画像を符号化した画像を復号した復号画像を参照画像として複数フレーム記憶する参照画像メモリと、前記復号画像を縮小する参照画像縮小手段と、前記参照画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小参照画像メモリと、前記縮小フレームメモリに記憶されている縮小された符号化ブロック毎に、前記縮小フレームメモリに記憶されている画像、及び、前記縮小参照画像メモリに記憶されている参照画像を選択して用いて動きベクトルを探索する縮小画動きベクトル探索手段と、前記縮小画動きベクトル探索手段が探索した動きベクトルを一時記憶する記憶手段と、前記フレームメモリに記憶されている符号化ブロック毎に、前記参照画像メモリに記憶されている、１つまたは複数の参照画像を使用して、前記記憶手段に記憶されている動きベクトルの近傍を探索する詳細動きベクトル探索手段と、前記縮小画動きベクトル探索手段、及び、前記詳細動きベクトル探索手段の動作を制御する制御手段とを有し、前記制御手段は、前記縮小画動きベクトル探索手段が動きベクトルを探索する際、前記縮小参照画像メモリに参照画像が記憶されている場合には、前記縮小参照画像メモリに記憶されている参照画像を使用し、前記縮小参照画像メモリに参照画像が記憶されていない場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御し、前記縮小画動きベクトル探索手段が、符号化対象画像のすべての符号化ブロックに対する動きベクトルの探索を終了した後に、前記詳細動きベクトル探索手段が前記符号化対象画像の動きベクトルを探索するよう制御することを特徴とする。

本発明の動画像符号化方法は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索工程と、より詳細な動き探索を行う二次探索工程と、前記入力された画像信号を符号化する符号化工程とを有する動画像符号化方法において、前記符号化工程で符号化済の画像を復号して第１の縮小画像を生成する第１の縮小画像生成工程と、前記第１の縮小画像生成において生成された第１の縮小画像を第１の縮小画像記憶部に記憶する工程と、前記入力された画像信号から、前記第１の縮小画像と同じ縮小率で第２の縮小画像を生成する第２の縮小画像生成工程と、前記第２の縮小画像生成において生成された第２の縮小画像を第２の縮小画像記憶部に記憶する工程と、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化工程の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索工程での動作を制御する制御工程とを有し、前記制御工程は、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第１の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第２の縮小画像を用いて動きベクトルを探索するよう前記一次探索工程での動作を制御することを特徴とする。

本発明によれば、動きベクトルの探索のための演算量を減らしながらも、精度の高い動きベクトルを探索することができる。

（第１の実施形態）
図１は、本発明の第１の実施の形態を示し、動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置１００は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像として動き補償による予測符号化を行う。

図１に示すように、撮像部１０１において撮像して得られた画像信号は、第１フィールド、第２フィールド、第３フィールド、・・・の順で符号化ブロックに分割され、符号化ブロック毎にフレームメモリ１０２に順次格納されていく。フレームメモリ１０２からは、例えば、第５フィールド、第６フィールド、第１フィールド、・・・などの、符号化を行う順序で画像データを取り出していく。

また、撮像部１０１で撮像された画像信号は、フレームメモリ１０２に格納されるとともに、縮小部１２０により所定の縮小率で入力画像縮小処理がなされる。本実施形態において、縮小部１２０は第２の縮小画像を生成する第２の縮小画像生成部として機能する。そして、縮小部１２０において縮小処理された縮小画像は、第２の縮小画像記憶部として設けられている縮小フレームメモリ１２１に順次格納されていく。縮小フレームメモリ１２１に複数フレーム記憶された縮小画像は、粗い動き探索である一次探索を行うために用いられる。

動画像符号化には、画像内のデータのみで符号化する"イントラ符号化"と、フレーム間予測も含めて符号化する"インター符号化"とがある。インター符号化は、動き補償の単位（ＭＣブロック）に対して１枚の参照画像との予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照画像との予測を行うＢピクチャとがある。なお、イントラ符号化を行うピクチャをIピクチャという。符号化するフィールドの順番が入力されたフィールドの順番と異なるのは、時間的に未来のフレームとの予測（後方予測）を可能にするためである。

以下の説明では、符号化はフィールド単位に行なわれ、図２（ａ）の順で入力された画像を、図２（ｄ）の順で符号化を行うものとする。また、Ｐピクチャは、過去に符号化したIピクチャ、またはＰピクチャのうち、最も近い２つのピクチャを参照画像として用い、Bピクチャは、過去に符号化したIピクチャ、またはＰピクチャのうち、最も近い４つのピクチャを参照画像として用いるものとする。

イントラ符号化がなされる場合、符号化単位となるブロックの画像データはフレームメモリ１０２から読み出されて、画面内予測部１２２へ入力される。画面内予測部１２２は、符号化対象ブロックと、後述する同一フレーム内の符号化対象ブロック近傍に位置する再構成画像から生成される複数の予測画像とのブロックマッチングをそれぞれに対して行う。そして、最も相関の高いイントラ予測画像を選択して予測画像生成部１０４へ選択結果を通知する。

予測画像生成部１０４は、画面内予測部１２２が選択した予測方法に従って予測画像を生成する。なお、予測画像生成部１０４が予測画像を生成せずに、画面内予測部１２２が予測方法を決定するために生成した予測画像を利用することもできる。

予測画像生成部１０４において生成された画面内予測画像と、フレームメモリ１０２から読み出される符号化対象ブロックの画像データとが減算器１０５へ入力される。減算器１０５は、符号化対象ブロックの画像と画面内予測画像との画素値の差分画像を減算して求めて整数変換部１０６へ出力する。整数変換部１０６は、減算器１０５から出力される画素値の差分画像に整数変換処理を施して量子化部１０７に出力する。量子化部１０７は、整数変換部１０６から出力される画素値の差分画像を量子化処理する。

量子化部１０７の出力である量子化された変換係数はエントロピー符号化部１０８においてエントロピー符号化がなされ、その後、ストリームとして出力される。量子化部１０７が量子化を行う際に用いる量子化係数はエントロピー符号化部１０８が発生した符号量のフィードバックや、システムコントローラ１３０から設定される目標の符号量などから符号量制御部１０９が算出する。

また、量子化部１０７の出力である量子化された変換係数は、逆量子化部１１０において逆量子化され、逆整数変換部１１１において逆整数変換処理が施される。加算器１１２へは逆整数変換されたデータと、予測画像が入力され、加算後のデータは復号された再構成画像となり、前述した画面内予測部１２２の入力となって画面内予測画像の生成に用いられる。

また、再構成画像は、デブロックフィルタ１１３によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像として参照画像メモリ１１４に記憶される。参照画像メモリ１１４に格納される画像信号は、参照画像縮小処理を行う縮小部１１５へも同時に入力され、撮像された画像信号を縮小する際の縮小率と同じ縮小率で縮小処理がなされる。本実施形態において、縮小部１１５は第１の縮小画像を生成する第１の縮小画像生成部として機能する。縮小部１１５により縮小された再構成画像は、第１の縮小画像記憶部として設けられている縮小参照画像メモリ１１６へ、参照画像として使用する対象画像として格納される。縮小参照画像メモリ１１６に格納された再構成画像は、一次探索を行うための符号化対象画像に用いられる。

一方、インター符号化がなされる場合、縮小画動き探索部１１８は、縮小フレームメモリ１２１から符号化単位となるブロックに対応するブロックの画像信号を読み出す。また、縮小画動き探索部１１８は、詳細な動作は後述する縮小参照画選択部１１７が出力する選択信号に応じて、縮小参照画像メモリ１１６または縮小フレームメモリ１２１から、動きベクトルの探索対象となる範囲の画像信号を読み出す。

本実施形態の縮小画動き探索部１１８は、探索範囲の中から、符号化対象ブロックと相関の高い座標を検出し、符号化対象ブロックの座標との差分を動きベクトルとして動きベクトルメモリ１１９へ一時記憶する。前述の縮小画動き探索部１１８の動作は、１フィールドに含まれる符号化ブロックの数分だけ繰り返される。

本実施形態の詳細動きベクトル探索部１０３は、前述の縮小画像を用いた粗い動き探索（一次探索）よりも詳細な動き探索（二次探索）を行う。詳細動きベクトル探索部１０３は、動きベクトルメモリ１１９に格納されている動きベクトルのうち、符号化対象ブロックに対応する縮小画動きベクトルを読み出す。また、詳細動きベクトル探索部１０３は、読み出した符号化対象ブロックに対応する縮小画動きベクトル近傍の探索範囲分の参照画像を参照画像メモリ１１４から読み出す。

また、詳細動きベクトル探索部１０３は、探索範囲の中から、符号化対象ブロックと相関の高い座標を検出し、符号化対象ブロックの座標との差分を動きベクトルとして、予測画像生成部１０４へ通知する。符号化画像と予測画像との差分は、減算器１０５によって計算されて差分画像が生成される。差分画像は整数変換部１０６に出力され、その他の処理は前述のイントラ符号化の場合と同様である。

次に、システムコントローラ１３０及び縮小参照画選択部１１７の動作について、図２を参照しながら詳細に説明する。
図２は、画像信号の流れと、画像信号が様々なメモリに格納されていく様子を模式的に図示したものである。

図２（ａ）は、前述の通り、撮像部１０１で撮像して得られた画像信号（フィールド）が入力される様子を表している。図２中の「Ｂ０」などの記号は、最初の文字はＩがＩピクチャ、ＰがＰピクチャ、Ｂがピクチャを表しておりそれぞれのフィールドが符号化されるピクチャタイプを示している。後の数字は入力された順番の通し番号である。

図２（ｂ）は、フレームメモリ１０２、または縮小フレームメモリ１２１に格納されているフィールドを示している。フレームメモリ１０２、縮小フレームメモリ１２１は、複数フィールドの画像を格納可能であり、ここでは＃１から＃８までの８フィールド分を格納できるようになっている例を示している。

図２（ｃ）は、縮小画動き探索の処理を行っているフィールドを示している。図２（ｄ）は、詳細動きベクトル探索及び符号化の処理を行っているフィールドを示している。図２（ｅ）は、参照画像メモリ１１４、または縮小参照画像メモリ１１６に格納されているフィールドを示しており、それぞれ、符号化処理によって生成された再構成画像、再構成画像を縮小した画像が格納される。再構成画像であることを区別するため、フィールドを表す文字に「ｄ」をつけている。なお、Ｂピクチャは参照画像として使用されることがないため、参照画像メモリには格納しない。

次に、「Ｐ１１」のフィールドを符号化する場合を例に説明する。
システムコントローラ１３０は、再構成画像から生成された縮小画像を用いて粗い動き探索を行うことが可能であるか否かを、イントラ符号化及びインター符号化に係る各部の符号化結果から判断する。そして、その判断結果に基づいて、縮小参照画選択部１１７によって、縮小画動き探索部１１８の動作を制御する。縮小参照画選択部１１７は、システムコントローラ１３０から必要な参照画像の情報を受け取る。例えば「Ｐ１１」を符号化する場合には、「Ｐ５ｄ」と「Ｐ１０ｄ」を参照画像として使用するための選択を行う。

具体的に、システムコントローラ１３０は、符号化済の所定のフィールドの縮小された再構成画像が既に存在するかどうかを判断する。この判断の結果、存在する場合には、縮小参照画選択部１１７が縮小参照画像メモリ１１６に格納されている縮小された再構成画像を使用するよう選択する。また、存在しない場合には、縮小参照画選択部１１７が縮小フレームメモリ１２１に格納されている縮小された入力画像を使用するように選択する。そして、縮小参照画選択部１１７は選択結果に基づき、縮小画動き探索部１１８に制御信号を出力する。

例えば、「Ｐ１１」の縮小画動きベクトル探索処理を行っているとき、「Ｐ５ｄ」は存在しているが、「Ｐ１０ｄ」は存在していないため、「Ｐ５ｄ」と「Ｐ１０」を使用するように制御信号を出力する。図２中では、矢印で縮小画動き探索部１１８が使用する参照画像を示している。

別の参照画像の選択例を示す。縮小画動きベクトル探索で使用する２つの参照画像の両方ともが、縮小フレームメモリ１２１または縮小参照画像メモリ１１６のどちらか一方からのみ読み出すようにしてもよい。例えば、「Ｐ１１」の縮小画動きベクトル探索処理の場合には「Ｐ５」と「Ｐ１０」を使用するように制御信号を出力する。図２中では、点線矢印（白抜き）で示している。

この場合、あえて再構成画像ではない「Ｐ５」を使用しているのは、複数の参照画像の性質（符号化劣化が含まれているか含まれていないか）を同一にすることで、動きベクトル探索の精度が向上する場合もあるためである。

同様に「Ｂ７」のフィールドを符号化する場合を説明する。「Ｂ７」を符号化する場合には、「Ｉ４ｄ」、「Ｐ５ｄ」、「Ｐ１０ｄ」、「Ｐ１１ｄ」を参照画像として使用する。「Ｂ７」の縮小画動きベクトル探索の処理を行うときに、すべての縮小参照画像が存在しているため、縮小参照画選択部１１７は、「Ｉ４ｄ」、「Ｐ５ｄ」、「Ｐ１０ｄ」、「Ｐ１１ｄ」を使用するように制御信号を出力する。

図２の例では、符号化の処理がすべて１フィールド期間内に終了しているが、一部のピクチャで符号化の処理が１フィールド期間に終わらない場合の例を、図３を用いて説明する。
図３において、「Ｐ１１」の符号化処理が終了するまでの期間が１フィールド期間より長くなっており、従って、「Ｐ１１」の再構成画像「Ｐ１１ｄ」が生成されるタイミングが図２で示した例よりも遅くなっている。

先に示した例と同じ「Ｂ７」のフィールドを符号化する場合を例に説明すると、「Ｂ７」の縮小画動きベクトル探索の処理を行うときに、「Ｐ１１」の再構成画像「Ｐ１１ｄ」を縮小処理した画像が存在していない。このため、縮小参照画選択部１１７は「Ｐ１１」については縮小フレームメモリ１２１に格納されている画像を使うように制御する。すなわち、「Ｉ４ｄ」、「Ｐ５ｄ」、「Ｐ１０ｄ」、「Ｐ１１」を使用するような制御信号を出力する。

なお、本実施形態では、撮像した画像をフレームメモリ１０２に格納するフィールド番号と、撮像した画像を縮小処理して縮小フレームメモリ１２１に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。

また、本実施形態では、復号した画像を参照画像メモリ１１４に格納するフィールド番号と、復号した画像を縮小処理して縮小参照画像メモリ１１６に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。また、フレームメモリ１０２に格納できるフィールド数、縮小フレームメモリ１２１に格納できるフィールド数は問わない。

前述のように制御することにより、縮小画動きベクトル探索で使用する参照画像を、実際に符号化で使用する再構成画像を元に生成した画像をできるだけ使用するようにしたので、縮小画動きベクトル探索の探索精度を向上させることができる。

（第２の実施形態）
以下、本発明の他の実施の例を説明する。
図４は、本発明の第２の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
図４の動画像符号化装置４００の場合は、図１に対して、図１中のフレームメモリ１０２、縮小フレームメモリ１２１、参照画像メモリ１１４、縮小参照画像メモリ１１６、動きベクトルメモリ１１９が共通メモリ２０１を共有するように構成されている点が異なる。また、共通メモリ２０１のバス使用率を取得するバス使用率取得部２０２が追加されている点が異なる。

バス使用率取得部２０２は、取得したバス使用率が予め設定されている閾値よりも大きいとき、再構成画像の縮小部１１５に対して停止信号を出力する。縮小部１１５は、停止信号を受信すると、符号化処理を行っている画像に対して縮小処理を停止し、共通メモリ２０１へ縮小した再構成画像の書き込みも行わない。

例えば、図５（ｆ）に示したように、「Ｐ５」の符号化処理期間に、バス使用率が大きい場合は、「Ｐ５」の再構成画像「Ｐ５ｄ」の縮小画像は生成されない。したがって、縮小画動き探索部１１８が該当するピクチャを参照する場合には、縮小参照画選択部１１７は、縮小フレームメモリ１２１に格納されている縮小された画像を使用するように、制御信号を出力する。

例えば、「Ｂ７」のフィールドを符号化する場合を例にとると、「Ｂ７」の縮小画動きベクトル探索の処理を行うときに、「Ｐ５」の再構成画像「Ｐ５ｄ」を縮小処理した画像が存在していない。このため、縮小参照画選択部１１７は「Ｐ５」については縮小フレームメモリ１２１に格納されている画像を使う。すなわち、「Ｉ４ｄ」、「Ｐ５」、「Ｐ１０ｄ」、「Ｐ１１ｄ」を使用するような制御信号を出力する。

縮小フレームメモリ１２１に格納されている縮小された画像は、参照画像として使用されなくなるまで保存しておく必要がある。このため、少なくとも対応する再構成画像、前述の例であれば、「Ｐ５ｄ」が参照画像メモリ１１４に格納されている間は保存しておく必要がある。

「Ｂ１３」が入力されたとき、通常であれば縮小フレームメモリ１２１の＃６に格納されている「Ｐ５」は符号化済みである。また、以降の符号化で使用されることはないため、「Ｂ６」の縮小画像を縮小フレームメモリ１２１の＃６に格納し、それまで格納されていた「Ｐ５」の縮小画像は消去するように制御される。しかし、前述のように、「Ｐ５」の再構成画像「Ｐ５ｄ」の縮小画像が生成されていない。このため、縮小フレームメモリ１２１の＃６に格納されている「Ｐ５」の縮小画像は消去せずに保持する。その代わりに、縮小フレームメモリ１２１の＃３に格納されている「Ｐ１０」は既に符号化されており、かつ、縮小参照画像メモリに「Ｐ１０」の再構成画像「Ｐ１０d」の縮小画像が格納されているため、縮小フレームメモリ１２１の「Ｐ１０」は消去する。

なお、「Ｂ１３」が入力されたとき、縮小フレームメモリ１２１の＃３に格納されている「Ｐ１０」は既に符号化されていて、かつ、縮小参照画像メモリに「Ｐ１０」の再構成画像「Ｐ１０ｄ」の縮小画像が格納されている。このため、縮小フレームメモリ１２１の「Ｐ１０」は消去可能である。その他の動作は、前述の実施形態１の動作と同様のため、説明は省略する。

なお、前述した実施形態では、撮像した画像をフレームメモリ１０２に格納するフィールド番号と、撮像した画像を縮小処理して縮小フレームメモリ１２１に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。

また、前述した実施形態では、復号した画像を参照画像メモリに格納するフィールド番号と、復号した画像を縮小処理して縮小参照画像メモリに格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。また、フレームメモリ１０２に格納できるフィールド数、縮小フレームメモリ１２１に格納できるフィールド数は問わない。

前述のような制御をすることにより、通常時は縮小画動きベクトル探索の探索精度を向上させながらも、バス使用率が大きくなった場合でも、符号化装置全体が破綻することなく動作を続けることが可能となる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像符号化装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたコンピュータプログラムが動作することによって実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した動画像符号化方法における各工程を実行するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態を示し、動画像符号化装置の構成例を示すブロック図である。 本発明の第１の実施形態を示し、動画像符号化装置の動作を説明するための図である。 本発明の第１の実施形態を示し、動画像符号化装置の動作を説明するための図である。 本発明の第２の実施形態を示し、動画像符号化装置の構成例を示すブロック図である。 本発明の第２の実施形態を示し、動画像符号化装置の動作を説明するための図である。

１００ 動画像符号化装置
１０１ 撮像部
１０２ フレームメモリ
１０３ 詳細動きベクトル探索部
１０４ 予測画像生成部
１０５ 減算器
１０６ 整数変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ 符号量制御部
１１０ 逆量子化部
１１１ 逆整数変換部
１１２ 加算器
１１３ デブロックフィルタ
１１４ 参照画像メモリ
１１５ 縮小部
１１６ 縮小参照画像メモリ
１１７ 縮小参照画選択部
１１８ 縮小画動き探索部
１１９ 動きベクトルメモリ
１２０ 縮小部
１２１ 縮小フレームメモリ
１２２ 画面内予測部
１３０ システムコントローラ
２０１ 共通メモリ
２０２ バス使用率取得部

Claims (6)

1. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索手段と、より詳細な動き探索を行う二次探索手段と、前記入力された画像信号を符号化する符号化手段とを有する動画像符号化装置において、
   前記符号化手段で符号化済の画像を復号して第１の縮小画像を生成する第１の縮小画像生成手段と、
   前記第１の縮小画像生成により生成された第１の縮小画像を記憶する第１の縮小画像記憶手段と、
   前記入力された画像信号から、前記第１の縮小画像と同じ縮小率で第２の縮小画像を生成する第２の縮小画像生成手段と、
   前記第２の縮小画像生成手段により生成された第２の縮小画像を記憶する第２の縮小画像記憶手段と、
   前記第１の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化手段の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索手段を制御する制御手段とを有し、
   前記制御手段は、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第１の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第２の縮小画像を用いて動きベクトルを探索するよう前記一次探索手段を制御することを特徴とする動画像符号化装置。
2. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像とする予測符号化を行う動画像符号化装置において、
   入力画像を複数フレーム記憶するフレームメモリと、
   前記入力画像を縮小する入力画像縮小手段と、
   前記入力画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小フレームメモリと、
   前記入力画像を符号化した画像を復号した復号画像を参照画像として複数フレーム記憶する参照画像メモリと、
   前記復号画像を縮小する参照画像縮小手段と、
   前記参照画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小参照画像メモリと、
   前記縮小フレームメモリに記憶されている縮小された符号化ブロック毎に、前記縮小フレームメモリに記憶されている画像、及び、前記縮小参照画像メモリに記憶されている参照画像を選択して用いて動きベクトルを探索する縮小画動きベクトル探索手段と、
   前記縮小画動きベクトル探索手段が探索した動きベクトルを一時記憶する記憶手段と、
   前記フレームメモリに記憶されている符号化ブロック毎に、前記参照画像メモリに記憶されている、１つまたは複数の参照画像を使用して、前記記憶手段に記憶されている動きベクトルの近傍を探索する詳細動きベクトル探索手段と、
   前記縮小画動きベクトル探索手段、及び、前記詳細動きベクトル探索手段の動作を制御する制御手段とを有し、
   前記制御手段は、前記縮小画動きベクトル探索手段が動きベクトルを探索する際、前記縮小参照画像メモリに参照画像が記憶されている場合には、前記縮小参照画像メモリに記憶されている参照画像を使用し、前記縮小参照画像メモリに参照画像が記憶されていない場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御し、
   前記縮小画動きベクトル探索手段が、符号化対象画像のすべての符号化ブロックに対する動きベクトルの探索を終了した後に、前記詳細動きベクトル探索手段が前記符号化対象画像の動きベクトルを探索するよう制御することを特徴とする動画像符号化装置。
3. 前記制御手段は、
   前記符号化対象画像で使用する複数の参照画像について、前記縮小参照画像メモリに記憶されていない参照画像が少なくとも１つある場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記フレームメモリと、前記縮小フレームメモリと、前記参照画像メモリと、前記縮小参照画像メモリとは、１つの共通メモリを共有し、
   前記共有しているメモリのバス使用率を取得するバス使用率取得手段を備え、
   前記参照画像縮小手段は、前記バス使用率取得手段が取得したバス使用率に応じて、あらかじめ設定された閾値よりもバス使用率が高い場合には、符号化処理を行っている画像に対して縮小処理を停止するとともに、前記縮小参照画像メモリへの書き込みを停止することを特徴とする請求項２または３に記載の動画像符号化装置。
5. 前記縮小フレームメモリは、前記縮小フレームメモリに記憶されている画像のうち、対応する復号画像が前記参照画像メモリに記憶されていて、かつ、対応する復号画像を縮小処理した参照画像が前記縮小参照画像メモリに記憶されていない画像を消去せずに保持することを特徴とする請求項２〜４の何れか１項に記載の動画像符号化装置。
6. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索工程と、より詳細な動き探索を行う二次探索工程と、前記入力された画像信号を符号化する符号化工程とを有する動画像符号化方法において、
   前記符号化工程で符号化済の画像を復号して第１の縮小画像を生成する第１の縮小画像生成工程と、
   前記第１の縮小画像生成において生成された第１の縮小画像を第１の縮小画像記憶部に記憶する工程と、
   前記入力された画像信号から、前記第１の縮小画像と同じ縮小率で第２の縮小画像を生成する第２の縮小画像生成工程と、
   前記第２の縮小画像生成において生成された第２の縮小画像を第２の縮小画像記憶部に記憶する工程と、
   前記第１の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化工程の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索工程での動作を制御する制御工程とを有し、
   前記制御工程は、前記第１の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第１の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第２の縮小画像を用いて動きベクトルを探索するよう前記一次探索工程での動作を制御することを特徴とする動画像符号化方法。

Images