JP5094750B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
JP5094750B2
JP5094750B2 JP2009009157A JP2009009157A JP5094750B2 JP 5094750 B2 JP5094750 B2 JP 5094750B2 JP 2009009157 A JP2009009157 A JP 2009009157A JP 2009009157 A JP2009009157 A JP 2009009157A JP 5094750 B2 JP5094750 B2 JP 5094750B2
Authority
JP
Japan
Prior art keywords
image
reduced
search
encoding
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009009157A
Other languages
English (en)
Other versions
JP2010166518A (ja
Inventor
寛朗 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009009157A priority Critical patent/JP5094750B2/ja
Publication of JP2010166518A publication Critical patent/JP2010166518A/ja
Application granted granted Critical
Publication of JP5094750B2 publication Critical patent/JP5094750B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は動画像符号化装置及び動画像符号化方法に関し、特に、縮小画像を用いて簡単な探索を行う粗探索(一次探索)部と、より詳細な探索を行う二次探索部とを有する動画像符号化装置に用いて好適な技術に関する。
従来、例えば被写体を撮影して得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、ランダムアクセス性などの利便性が高いため、記録媒体が従来の磁気テープからディスク媒体や半導体メモリなどに移り変わってきている。
動画像の圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なMPEG2が一般的であり、さらに近年では、より高圧縮に圧縮可能なH.264なども用いられている。このような圧縮方式の符号化装置では、フレーム間の動きベクトルを探索する必要がある。従来は、フレーム画像を分割した、符号化単位であるマクロブロック単位にフレーム間の動きベクトルの探索を行っている。
動きベクトルの探索は、ある探索範囲を設定し、探索範囲内でのパターンマッチングによって実現するのが一般的であるが、膨大な演算が必要であることが問題であり、動きベクトルを探索する効率を向上させるのに限界があった。
そこで、効率よく動きベクトルを求めるために、例えば、特許文献1に記載されているような手法が提案されている。特許文献1では、まず、縮小画像を用いて粗い動きベクトルの探索を行い、粗い探索で求めた動きベクトルの周辺を、縮小していない元の画像を用いて詳細な探索を行っている。
特開平11−298904号公報
しかしながら、上記従来の手法では、縮小画像を用いて粗い動きベクトルの探索を行い、その後に詳細な動きベクトルを探索することで動きベクトル探索のための演算量は減らしている。しかし、動きベクトルの検出に誤差が生じる場合があるので、精度の高い動きベクトルの探索を行うことが困難であるという課題があった。
本発明は前述の問題点に鑑み、動きベクトル探索のための演算量は減らしながら、精度の高い動きベクトルの探索を行うことができるようにすることを目的としている。
本発明の動画像符号化装置は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索手段と、より詳細な動き探索を行う二次探索手段と、前記入力された画像信号を符号化する符号化手段とを有する動画像符号化装置において、前記符号化手段で符号化済の画像を復号して第1の縮小画像を生成する第1の縮小画像生成手段と、前記第1の縮小画像生成により生成された第1の縮小画像を記憶する第1の縮小画像記憶手段と、前記入力された画像信号から、前記第1の縮小画像と同じ縮小率で第2の縮小画像を生成する第2の縮小画像生成手段と、前記第2の縮小画像生成手段により生成された第2の縮小画像を記憶する第2の縮小画像記憶手段と、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化手段の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索手段を制御する制御手段とを有し、前記制御手段は、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第1の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第2の縮小画像を用いて動きベクトルを探索するよう前記一次探索手段を制御することを特徴とする。
また、本発明の動画像符号化装置の他の特徴とするところは、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像とする予測符号化を行う動画像符号化装置において、入力画像を複数フレーム記憶するフレームメモリと、前記入力画像を縮小する入力画像縮小手段と、前記入力画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小フレームメモリと、前記入力画像を符号化した画像を復号した復号画像を参照画像として複数フレーム記憶する参照画像メモリと、前記復号画像を縮小する参照画像縮小手段と、前記参照画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小参照画像メモリと、前記縮小フレームメモリに記憶されている縮小された符号化ブロック毎に、前記縮小フレームメモリに記憶されている画像、及び、前記縮小参照画像メモリに記憶されている参照画像を選択して用いて動きベクトルを探索する縮小画動きベクトル探索手段と、前記縮小画動きベクトル探索手段が探索した動きベクトルを一時記憶する記憶手段と、前記フレームメモリに記憶されている符号化ブロック毎に、前記参照画像メモリに記憶されている、1つまたは複数の参照画像を使用して、前記記憶手段に記憶されている動きベクトルの近傍を探索する詳細動きベクトル探索手段と、前記縮小画動きベクトル探索手段、及び、前記詳細動きベクトル探索手段の動作を制御する制御手段とを有し、前記制御手段は、前記縮小画動きベクトル探索手段が動きベクトルを探索する際、前記縮小参照画像メモリに参照画像が記憶されている場合には、前記縮小参照画像メモリに記憶されている参照画像を使用し、前記縮小参照画像メモリに参照画像が記憶されていない場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御し、前記縮小画動きベクトル探索手段が、符号化対象画像のすべての符号化ブロックに対する動きベクトルの探索を終了した後に、前記詳細動きベクトル探索手段が前記符号化対象画像の動きベクトルを探索するよう制御することを特徴とする。
本発明の動画像符号化方法は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索工程と、より詳細な動き探索を行う二次探索工程と、前記入力された画像信号を符号化する符号化工程とを有する動画像符号化方法において、前記符号化工程で符号化済の画像を復号して第1の縮小画像を生成する第1の縮小画像生成工程と、前記第1の縮小画像生成において生成された第1の縮小画像を第1の縮小画像記憶部に記憶する工程と、前記入力された画像信号から、前記第1の縮小画像と同じ縮小率で第2の縮小画像を生成する第2の縮小画像生成工程と、前記第2の縮小画像生成において生成された第2の縮小画像を第2の縮小画像記憶部に記憶する工程と、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化工程の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索工程での動作を制御する制御工程とを有し、前記制御工程は、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第1の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第2の縮小画像を用いて動きベクトルを探索するよう前記一次探索工程での動作を制御することを特徴とする。
本発明によれば、動きベクトルの探索のための演算量を減らしながらも、精度の高い動きベクトルを探索することができる。
(第1の実施形態)
図1は、本発明の第1の実施の形態を示し、動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置100は、入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像として動き補償による予測符号化を行う。
図1に示すように、撮像部101において撮像して得られた画像信号は、第1フィールド、第2フィールド、第3フィールド、・・・の順で符号化ブロックに分割され、符号化ブロック毎にフレームメモリ102に順次格納されていく。フレームメモリ102からは、例えば、第5フィールド、第6フィールド、第1フィールド、・・・などの、符号化を行う順序で画像データを取り出していく。
また、撮像部101で撮像された画像信号は、フレームメモリ102に格納されるとともに、縮小部120により所定の縮小率で入力画像縮小処理がなされる。本実施形態において、縮小部120は第2の縮小画像を生成する第2の縮小画像生成部として機能する。そして、縮小部120において縮小処理された縮小画像は、第2の縮小画像記憶部として設けられている縮小フレームメモリ121に順次格納されていく。縮小フレームメモリ121に複数フレーム記憶された縮小画像は、粗い動き探索である一次探索を行うために用いられる。
動画像符号化には、画像内のデータのみで符号化する"イントラ符号化"と、フレーム間予測も含めて符号化する"インター符号化"とがある。インター符号化は、動き補償の単位(MCブロック)に対して1枚の参照画像との予測を行うPピクチャと、MCブロックに対して2枚までの参照画像との予測を行うBピクチャとがある。なお、イントラ符号化を行うピクチャをIピクチャという。符号化するフィールドの順番が入力されたフィールドの順番と異なるのは、時間的に未来のフレームとの予測(後方予測)を可能にするためである。
以下の説明では、符号化はフィールド単位に行なわれ、図2(a)の順で入力された画像を、図2(d)の順で符号化を行うものとする。また、Pピクチャは、過去に符号化したIピクチャ、またはPピクチャのうち、最も近い2つのピクチャを参照画像として用い、Bピクチャは、過去に符号化したIピクチャ、またはPピクチャのうち、最も近い4つのピクチャを参照画像として用いるものとする。
イントラ符号化がなされる場合、符号化単位となるブロックの画像データはフレームメモリ102から読み出されて、画面内予測部122へ入力される。画面内予測部122は、符号化対象ブロックと、後述する同一フレーム内の符号化対象ブロック近傍に位置する再構成画像から生成される複数の予測画像とのブロックマッチングをそれぞれに対して行う。そして、最も相関の高いイントラ予測画像を選択して予測画像生成部104へ選択結果を通知する。
予測画像生成部104は、画面内予測部122が選択した予測方法に従って予測画像を生成する。なお、予測画像生成部104が予測画像を生成せずに、画面内予測部122が予測方法を決定するために生成した予測画像を利用することもできる。
予測画像生成部104において生成された画面内予測画像と、フレームメモリ102から読み出される符号化対象ブロックの画像データとが減算器105へ入力される。減算器105は、符号化対象ブロックの画像と画面内予測画像との画素値の差分画像を減算して求めて整数変換部106へ出力する。整数変換部106は、減算器105から出力される画素値の差分画像に整数変換処理を施して量子化部107に出力する。量子化部107は、整数変換部106から出力される画素値の差分画像を量子化処理する。
量子化部107の出力である量子化された変換係数はエントロピー符号化部108においてエントロピー符号化がなされ、その後、ストリームとして出力される。量子化部107が量子化を行う際に用いる量子化係数はエントロピー符号化部108が発生した符号量のフィードバックや、システムコントローラ130から設定される目標の符号量などから符号量制御部109が算出する。
また、量子化部107の出力である量子化された変換係数は、逆量子化部110において逆量子化され、逆整数変換部111において逆整数変換処理が施される。加算器112へは逆整数変換されたデータと、予測画像が入力され、加算後のデータは復号された再構成画像となり、前述した画面内予測部122の入力となって画面内予測画像の生成に用いられる。
また、再構成画像は、デブロックフィルタ113によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像として参照画像メモリ114に記憶される。参照画像メモリ114に格納される画像信号は、参照画像縮小処理を行う縮小部115へも同時に入力され、撮像された画像信号を縮小する際の縮小率と同じ縮小率で縮小処理がなされる。本実施形態において、縮小部115は第1の縮小画像を生成する第1の縮小画像生成部として機能する。縮小部115により縮小された再構成画像は、第1の縮小画像記憶部として設けられている縮小参照画像メモリ116へ、参照画像として使用する対象画像として格納される。縮小参照画像メモリ116に格納された再構成画像は、一次探索を行うための符号化対象画像に用いられる。
一方、インター符号化がなされる場合、縮小画動き探索部118は、縮小フレームメモリ121から符号化単位となるブロックに対応するブロックの画像信号を読み出す。また、縮小画動き探索部118は、詳細な動作は後述する縮小参照画選択部117が出力する選択信号に応じて、縮小参照画像メモリ116または縮小フレームメモリ121から、動きベクトルの探索対象となる範囲の画像信号を読み出す。
本実施形態の縮小画動き探索部118は、探索範囲の中から、符号化対象ブロックと相関の高い座標を検出し、符号化対象ブロックの座標との差分を動きベクトルとして動きベクトルメモリ119へ一時記憶する。前述の縮小画動き探索部118の動作は、1フィールドに含まれる符号化ブロックの数分だけ繰り返される。
本実施形態の詳細動きベクトル探索部103は、前述の縮小画像を用いた粗い動き探索(一次探索)よりも詳細な動き探索(二次探索)を行う。詳細動きベクトル探索部103は、動きベクトルメモリ119に格納されている動きベクトルのうち、符号化対象ブロックに対応する縮小画動きベクトルを読み出す。また、詳細動きベクトル探索部103は、読み出した符号化対象ブロックに対応する縮小画動きベクトル近傍の探索範囲分の参照画像を参照画像メモリ114から読み出す。
また、詳細動きベクトル探索部103は、探索範囲の中から、符号化対象ブロックと相関の高い座標を検出し、符号化対象ブロックの座標との差分を動きベクトルとして、予測画像生成部104へ通知する。符号化画像と予測画像との差分は、減算器105によって計算されて差分画像が生成される。差分画像は整数変換部106に出力され、その他の処理は前述のイントラ符号化の場合と同様である。
次に、システムコントローラ130及び縮小参照画選択部117の動作について、図2を参照しながら詳細に説明する。
図2は、画像信号の流れと、画像信号が様々なメモリに格納されていく様子を模式的に図示したものである。
図2(a)は、前述の通り、撮像部101で撮像して得られた画像信号(フィールド)が入力される様子を表している。図2中の「B0」などの記号は、最初の文字はIがIピクチャ、PがPピクチャ、Bがピクチャを表しておりそれぞれのフィールドが符号化されるピクチャタイプを示している。後の数字は入力された順番の通し番号である。
図2(b)は、フレームメモリ102、または縮小フレームメモリ121に格納されているフィールドを示している。フレームメモリ102、縮小フレームメモリ121は、複数フィールドの画像を格納可能であり、ここでは#1から#8までの8フィールド分を格納できるようになっている例を示している。
図2(c)は、縮小画動き探索の処理を行っているフィールドを示している。図2(d)は、詳細動きベクトル探索及び符号化の処理を行っているフィールドを示している。図2(e)は、参照画像メモリ114、または縮小参照画像メモリ116に格納されているフィールドを示しており、それぞれ、符号化処理によって生成された再構成画像、再構成画像を縮小した画像が格納される。再構成画像であることを区別するため、フィールドを表す文字に「d」をつけている。なお、Bピクチャは参照画像として使用されることがないため、参照画像メモリには格納しない。
次に、「P11」のフィールドを符号化する場合を例に説明する。
システムコントローラ130は、再構成画像から生成された縮小画像を用いて粗い動き探索を行うことが可能であるか否かを、イントラ符号化及びインター符号化に係る各部の符号化結果から判断する。そして、その判断結果に基づいて、縮小参照画選択部117によって、縮小画動き探索部118の動作を制御する。縮小参照画選択部117は、システムコントローラ130から必要な参照画像の情報を受け取る。例えば「P11」を符号化する場合には、「P5d」と「P10d」を参照画像として使用するための選択を行う。
具体的に、システムコントローラ130は、符号化済の所定のフィールドの縮小された再構成画像が既に存在するかどうかを判断する。この判断の結果、存在する場合には、縮小参照画選択部117が縮小参照画像メモリ116に格納されている縮小された再構成画像を使用するよう選択する。また、存在しない場合には、縮小参照画選択部117が縮小フレームメモリ121に格納されている縮小された入力画像を使用するように選択する。そして、縮小参照画選択部117は選択結果に基づき、縮小画動き探索部118に制御信号を出力する。
例えば、「P11」の縮小画動きベクトル探索処理を行っているとき、「P5d」は存在しているが、「P10d」は存在していないため、「P5d」と「P10」を使用するように制御信号を出力する。図2中では、矢印で縮小画動き探索部118が使用する参照画像を示している。
別の参照画像の選択例を示す。縮小画動きベクトル探索で使用する2つの参照画像の両方ともが、縮小フレームメモリ121または縮小参照画像メモリ116のどちらか一方からのみ読み出すようにしてもよい。例えば、「P11」の縮小画動きベクトル探索処理の場合には「P5」と「P10」を使用するように制御信号を出力する。図2中では、点線矢印(白抜き)で示している。
この場合、あえて再構成画像ではない「P5」を使用しているのは、複数の参照画像の性質(符号化劣化が含まれているか含まれていないか)を同一にすることで、動きベクトル探索の精度が向上する場合もあるためである。
同様に「B7」のフィールドを符号化する場合を説明する。「B7」を符号化する場合には、「I4d」、「P5d」、「P10d」、「P11d」を参照画像として使用する。「B7」の縮小画動きベクトル探索の処理を行うときに、すべての縮小参照画像が存在しているため、縮小参照画選択部117は、「I4d」、「P5d」、「P10d」、「P11d」を使用するように制御信号を出力する。
図2の例では、符号化の処理がすべて1フィールド期間内に終了しているが、一部のピクチャで符号化の処理が1フィールド期間に終わらない場合の例を、図3を用いて説明する。
図3において、「P11」の符号化処理が終了するまでの期間が1フィールド期間より長くなっており、従って、「P11」の再構成画像「P11d」が生成されるタイミングが図2で示した例よりも遅くなっている。
先に示した例と同じ「B7」のフィールドを符号化する場合を例に説明すると、「B7」の縮小画動きベクトル探索の処理を行うときに、「P11」の再構成画像「P11d」を縮小処理した画像が存在していない。このため、縮小参照画選択部117は「P11」については縮小フレームメモリ121に格納されている画像を使うように制御する。すなわち、「I4d」、「P5d」、「P10d」、「P11」を使用するような制御信号を出力する。
なお、本実施形態では、撮像した画像をフレームメモリ102に格納するフィールド番号と、撮像した画像を縮小処理して縮小フレームメモリ121に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。
また、本実施形態では、復号した画像を参照画像メモリ114に格納するフィールド番号と、復号した画像を縮小処理して縮小参照画像メモリ116に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。また、フレームメモリ102に格納できるフィールド数、縮小フレームメモリ121に格納できるフィールド数は問わない。
前述のように制御することにより、縮小画動きベクトル探索で使用する参照画像を、実際に符号化で使用する再構成画像を元に生成した画像をできるだけ使用するようにしたので、縮小画動きベクトル探索の探索精度を向上させることができる。
(第2の実施形態)
以下、本発明の他の実施の例を説明する。
図4は、本発明の第2の実施の形態に係る動画像符号化装置の構成例を示すブロック図である。
図4の動画像符号化装置400の場合は、図1に対して、図1中のフレームメモリ102、縮小フレームメモリ121、参照画像メモリ114、縮小参照画像メモリ116、動きベクトルメモリ119が共通メモリ201を共有するように構成されている点が異なる。また、共通メモリ201のバス使用率を取得するバス使用率取得部202が追加されている点が異なる。
バス使用率取得部202は、取得したバス使用率が予め設定されている閾値よりも大きいとき、再構成画像の縮小部115に対して停止信号を出力する。縮小部115は、停止信号を受信すると、符号化処理を行っている画像に対して縮小処理を停止し、共通メモリ201へ縮小した再構成画像の書き込みも行わない。
例えば、図5(f)に示したように、「P5」の符号化処理期間に、バス使用率が大きい場合は、「P5」の再構成画像「P5d」の縮小画像は生成されない。したがって、縮小画動き探索部118が該当するピクチャを参照する場合には、縮小参照画選択部117は、縮小フレームメモリ121に格納されている縮小された画像を使用するように、制御信号を出力する。
例えば、「B7」のフィールドを符号化する場合を例にとると、「B7」の縮小画動きベクトル探索の処理を行うときに、「P5」の再構成画像「P5d」を縮小処理した画像が存在していない。このため、縮小参照画選択部117は「P5」については縮小フレームメモリ121に格納されている画像を使う。すなわち、「I4d」、「P5」、「P10d」、「P11d」を使用するような制御信号を出力する。
縮小フレームメモリ121に格納されている縮小された画像は、参照画像として使用されなくなるまで保存しておく必要がある。このため、少なくとも対応する再構成画像、前述の例であれば、「P5d」が参照画像メモリ114に格納されている間は保存しておく必要がある。
「B13」が入力されたとき、通常であれば縮小フレームメモリ121の#6に格納されている「P5」は符号化済みである。また、以降の符号化で使用されることはないため、「B6」の縮小画像を縮小フレームメモリ121の#6に格納し、それまで格納されていた「P5」の縮小画像は消去するように制御される。しかし、前述のように、「P5」の再構成画像「P5d」の縮小画像が生成されていない。このため、縮小フレームメモリ121の#6に格納されている「P5」の縮小画像は消去せずに保持する。その代わりに、縮小フレームメモリ121の#3に格納されている「P10」は既に符号化されており、かつ、縮小参照画像メモリに「P10」の再構成画像「P10d」の縮小画像が格納されているため、縮小フレームメモリ121の「P10」は消去する。
なお、「B13」が入力されたとき、縮小フレームメモリ121の#3に格納されている「P10」は既に符号化されていて、かつ、縮小参照画像メモリに「P10」の再構成画像「P10d」の縮小画像が格納されている。このため、縮小フレームメモリ121の「P10」は消去可能である。その他の動作は、前述の実施形態1の動作と同様のため、説明は省略する。
なお、前述した実施形態では、撮像した画像をフレームメモリ102に格納するフィールド番号と、撮像した画像を縮小処理して縮小フレームメモリ121に格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。
また、前述した実施形態では、復号した画像を参照画像メモリに格納するフィールド番号と、復号した画像を縮小処理して縮小参照画像メモリに格納するフィールド番号を同じにしている。しかし、必ずしも同じにする必要はなく、それぞれ独立に格納するフィールド番号を設定してもよい。また、フレームメモリ102に格納できるフィールド数、縮小フレームメモリ121に格納できるフィールド数は問わない。
前述のような制御をすることにより、通常時は縮小画動きベクトル探索の探索精度を向上させながらも、バス使用率が大きくなった場合でも、符号化装置全体が破綻することなく動作を続けることが可能となる。
(本発明に係る他の実施形態)
前述した本発明の実施形態における動画像符号化装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたコンピュータプログラムが動作することによって実現できる。このプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した動画像符号化方法における各工程を実行するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
本発明の第1の実施形態を示し、動画像符号化装置の構成例を示すブロック図である。 本発明の第1の実施形態を示し、動画像符号化装置の動作を説明するための図である。 本発明の第1の実施形態を示し、動画像符号化装置の動作を説明するための図である。 本発明の第2の実施形態を示し、動画像符号化装置の構成例を示すブロック図である。 本発明の第2の実施形態を示し、動画像符号化装置の動作を説明するための図である。
100 動画像符号化装置
101 撮像部
102 フレームメモリ
103 詳細動きベクトル探索部
104 予測画像生成部
105 減算器
106 整数変換部
107 量子化部
108 エントロピー符号化部
109 符号量制御部
110 逆量子化部
111 逆整数変換部
112 加算器
113 デブロックフィルタ
114 参照画像メモリ
115 縮小部
116 縮小参照画像メモリ
117 縮小参照画選択部
118 縮小画動き探索部
119 動きベクトルメモリ
120 縮小部
121 縮小フレームメモリ
122 画面内予測部
130 システムコントローラ
201 共通メモリ
202 バス使用率取得部

Claims (6)

  1. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索手段と、より詳細な動き探索を行う二次探索手段と、前記入力された画像信号を符号化する符号化手段とを有する動画像符号化装置において、
    前記符号化手段で符号化済の画像を復号して第1の縮小画像を生成する第1の縮小画像生成手段と、
    前記第1の縮小画像生成により生成された第1の縮小画像を記憶する第1の縮小画像記憶手段と、
    前記入力された画像信号から、前記第1の縮小画像と同じ縮小率で第2の縮小画像を生成する第2の縮小画像生成手段と、
    前記第2の縮小画像生成手段により生成された第2の縮小画像を記憶する第2の縮小画像記憶手段と、
    前記第1の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化手段の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索手段を制御する制御手段とを有し、
    前記制御手段は、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第1の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第2の縮小画像を用いて動きベクトルを探索するよう前記一次探索手段を制御することを特徴とする動画像符号化装置。
  2. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した復号画像信号を参照画像とする予測符号化を行う動画像符号化装置において、
    入力画像を複数フレーム記憶するフレームメモリと、
    前記入力画像を縮小する入力画像縮小手段と、
    前記入力画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小フレームメモリと、
    前記入力画像を符号化した画像を復号した復号画像を参照画像として複数フレーム記憶する参照画像メモリと、
    前記復号画像を縮小する参照画像縮小手段と、
    前記参照画像縮小手段により縮小した縮小画像を複数フレーム記憶する縮小参照画像メモリと、
    前記縮小フレームメモリに記憶されている縮小された符号化ブロック毎に、前記縮小フレームメモリに記憶されている画像、及び、前記縮小参照画像メモリに記憶されている参照画像を選択して用いて動きベクトルを探索する縮小画動きベクトル探索手段と、
    前記縮小画動きベクトル探索手段が探索した動きベクトルを一時記憶する記憶手段と、
    前記フレームメモリに記憶されている符号化ブロック毎に、前記参照画像メモリに記憶されている、1つまたは複数の参照画像を使用して、前記記憶手段に記憶されている動きベクトルの近傍を探索する詳細動きベクトル探索手段と、
    前記縮小画動きベクトル探索手段、及び、前記詳細動きベクトル探索手段の動作を制御する制御手段とを有し、
    前記制御手段は、前記縮小画動きベクトル探索手段が動きベクトルを探索する際、前記縮小参照画像メモリに参照画像が記憶されている場合には、前記縮小参照画像メモリに記憶されている参照画像を使用し、前記縮小参照画像メモリに参照画像が記憶されていない場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御し、
    前記縮小画動きベクトル探索手段が、符号化対象画像のすべての符号化ブロックに対する動きベクトルの探索を終了した後に、前記詳細動きベクトル探索手段が前記符号化対象画像の動きベクトルを探索するよう制御することを特徴とする動画像符号化装置。
  3. 前記制御手段は、
    前記符号化対象画像で使用する複数の参照画像について、前記縮小参照画像メモリに記憶されていない参照画像が少なくとも1つある場合には、前記縮小フレームメモリに記憶されている画像を使用して動きベクトルを探索するよう前記縮小画動きベクトル探索手段を制御することを特徴とする請求項2に記載の動画像符号化装置。
  4. 前記フレームメモリと、前記縮小フレームメモリと、前記参照画像メモリと、前記縮小参照画像メモリとは、1つの共通メモリを共有し、
    前記共有しているメモリのバス使用率を取得するバス使用率取得手段を備え、
    前記参照画像縮小手段は、前記バス使用率取得手段が取得したバス使用率に応じて、あらかじめ設定された閾値よりもバス使用率が高い場合には、符号化処理を行っている画像に対して縮小処理を停止するとともに、前記縮小参照画像メモリへの書き込みを停止することを特徴とする請求項2または3に記載の動画像符号化装置。
  5. 前記縮小フレームメモリは、前記縮小フレームメモリに記憶されている画像のうち、対応する復号画像が前記参照画像メモリに記憶されていて、かつ、対応する復号画像を縮小処理した参照画像が前記縮小参照画像メモリに記憶されていない画像を消去せずに保持することを特徴とする請求項2〜4の何れか1項に記載の動画像符号化装置。
  6. 入力された画像信号を符号化の単位となる符号化ブロックに分割し、前記符号化ブロック毎に、既に符号化済の画像を復号した縮小画像を用いて粗い動き探索を行う一次探索工程と、より詳細な動き探索を行う二次探索工程と、前記入力された画像信号を符号化する符号化工程とを有する動画像符号化方法において、
    前記符号化工程で符号化済の画像を復号して第1の縮小画像を生成する第1の縮小画像生成工程と、
    前記第1の縮小画像生成において生成された第1の縮小画像を第1の縮小画像記憶部に記憶する工程と、
    前記入力された画像信号から、前記第1の縮小画像と同じ縮小率で第2の縮小画像を生成する第2の縮小画像生成工程と、
    前記第2の縮小画像生成において生成された第2の縮小画像を第2の縮小画像記憶部に記憶する工程と、
    前記第1の縮小画像を用いて粗い動き探索を行うことが可能であるか否かを前記符号化工程の符号化結果から判断し、判断結果に基づいて少なくとも前記一次探索工程での動作を制御する制御工程とを有し、
    前記制御工程は、前記第1の縮小画像を用いて粗い動き探索を行うことが可能であると判断した場合には前記第1の縮小画像を用いて動きベクトルを探索し、可能でないと判断した場合には前記第2の縮小画像を用いて動きベクトルを探索するよう前記一次探索工程での動作を制御することを特徴とする動画像符号化方法。
JP2009009157A 2009-01-19 2009-01-19 動画像符号化装置及び動画像符号化方法 Expired - Fee Related JP5094750B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009009157A JP5094750B2 (ja) 2009-01-19 2009-01-19 動画像符号化装置及び動画像符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009009157A JP5094750B2 (ja) 2009-01-19 2009-01-19 動画像符号化装置及び動画像符号化方法

Publications (2)

Publication Number Publication Date
JP2010166518A JP2010166518A (ja) 2010-07-29
JP5094750B2 true JP5094750B2 (ja) 2012-12-12

Family

ID=42582307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009009157A Expired - Fee Related JP5094750B2 (ja) 2009-01-19 2009-01-19 動画像符号化装置及び動画像符号化方法

Country Status (1)

Country Link
JP (1) JP5094750B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6066583B2 (ja) * 2012-05-01 2017-01-25 キヤノン株式会社 動画像符号化装置及び動画像符号化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001298740A (ja) * 2000-04-17 2001-10-26 Victor Co Of Japan Ltd 映像信号符号化装置及びその方法
JP4383367B2 (ja) * 2005-02-24 2009-12-16 三洋電機株式会社 動きベクトル検出装置

Also Published As

Publication number Publication date
JP2010166518A (ja) 2010-07-29

Similar Documents

Publication Publication Date Title
JP5111127B2 (ja) 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム
US8488678B2 (en) Moving image encoding apparatus and moving image encoding method
US20120044994A1 (en) Image predictive encoding and decoding device
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
JP2008283560A (ja) 画像処理装置およびその方法
JP4280353B2 (ja) 符号化装置、画像処理装置、符号化方法、及び記録媒体
US8675979B2 (en) Transcoder, method of transcoding, and digital recorder
US9113170B2 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
CN116866605A (zh) 视频处理方法和装置
US8462851B2 (en) Video encoding method and apparatus and video decoding method and apparatus
JP2010161740A (ja) 画像符号化装置及び画像符号化方法
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
WO2006126694A2 (en) Video coding using an alternative reference frame for motion compensated prediction
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5294688B2 (ja) 動画像圧縮符号化装置
JP4822940B2 (ja) 画像処理装置及び画像処理方法
US20070127571A1 (en) Image processing apparatus and method
JP5094750B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5247210B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5355234B2 (ja) 符号化装置及び符号化方法
JP2007228101A (ja) 動画像符号化装置
JP4590337B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2009049513A (ja) 動画像符号化装置及び動画像符号化方法
JP5349904B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2009021786A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120918

R151 Written notification of patent or utility model registration

Ref document number: 5094750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees