JP3242362B2 - 映像符号化装置、および映像符号化プログラムを記録した記録媒体 - Google Patents
映像符号化装置、および映像符号化プログラムを記録した記録媒体Info
- Publication number
- JP3242362B2 JP3242362B2 JP10116198A JP10116198A JP3242362B2 JP 3242362 B2 JP3242362 B2 JP 3242362B2 JP 10116198 A JP10116198 A JP 10116198A JP 10116198 A JP10116198 A JP 10116198A JP 3242362 B2 JP3242362 B2 JP 3242362B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- motion
- picture
- reduced
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、符号化対象ブロッ
クの動きを、前段階の粗い探索と、その結果に基づいて
行う後段階の詳細な探索によって検出する映像符号化方
法および装置に関する。
クの動きを、前段階の粗い探索と、その結果に基づいて
行う後段階の詳細な探索によって検出する映像符号化方
法および装置に関する。
【０００２】
【従来の技術】図３は従来の典型的な階層探索方式の１
パスの映像符号化装置の構成図である。
パスの映像符号化装置の構成図である。
【０００３】映像信号は、映像信号入力端子１から入力
され、縮小ピクチャ動き検出部１０Ａと原ピクチャ動き
検出＆動き補償部２０Ａに導かれる。
され、縮小ピクチャ動き検出部１０Ａと原ピクチャ動き
検出＆動き補償部２０Ａに導かれる。
【０００４】縮小ピクチャ動き検出部１０Ａは、粗い動
き探索を行う階層探索の前段階の探索部であり、符号化
の単位であるブロック（符号化対象ピクチャから切り出
される）に対応する縮小ブロック（縮小ピクチャから切
り出される符号化対象ブロックに対応するブロック）に
対して、そのブロックが縮小参照ピクチャのどこから来
たかを示す動きベクトルを求めて、階層探索の後段階の
探索機能を有する原ピクチャ動き検出＆補償部２０Ａに
出力する。ここで、縮小参照ピクチャは、符号化対象ピ
クチャの時間的に前あるいは後に位置する原ピクチャを
縮小したもので、映像信号入力端子１から入力される映
像を縮小して内蔵のメモリにストアすることで生成す
る。探索方式としては、前段階も後段階も、符号化対象
ブロックと参照ピクチャとの間で網羅的に整合度を調べ
るブロックマッチング法が用いられる場合が多い。もち
ろん、整合度をサンプリングで調べるツリー探索法も用
いられる場合がある。この場合には、前段階の探索を縮
小ピクチャで行うとは限らない。ここで、縮小ピクチャ
とは、原画像から画素密度変換を行うことで縮小して生
成されるピクチャである。
き探索を行う階層探索の前段階の探索部であり、符号化
の単位であるブロック（符号化対象ピクチャから切り出
される）に対応する縮小ブロック（縮小ピクチャから切
り出される符号化対象ブロックに対応するブロック）に
対して、そのブロックが縮小参照ピクチャのどこから来
たかを示す動きベクトルを求めて、階層探索の後段階の
探索機能を有する原ピクチャ動き検出＆補償部２０Ａに
出力する。ここで、縮小参照ピクチャは、符号化対象ピ
クチャの時間的に前あるいは後に位置する原ピクチャを
縮小したもので、映像信号入力端子１から入力される映
像を縮小して内蔵のメモリにストアすることで生成す
る。探索方式としては、前段階も後段階も、符号化対象
ブロックと参照ピクチャとの間で網羅的に整合度を調べ
るブロックマッチング法が用いられる場合が多い。もち
ろん、整合度をサンプリングで調べるツリー探索法も用
いられる場合がある。この場合には、前段階の探索を縮
小ピクチャで行うとは限らない。ここで、縮小ピクチャ
とは、原画像から画素密度変換を行うことで縮小して生
成されるピクチャである。
【０００５】原ピクチャ動き検出＆動き補償部２０Ａで
は、映像信号入力端子１から入力された映像の原ピクチ
ャから符号化の単位であるブロックを切り出して、それ
について、縮小ピクチャ動き検出部１０Ａで求められた
動きベクトルをもとにして、単画素精度、半画素精度の
動きベクトル探索の両方またはいずれか一方を参照ピク
チャ（入力の原ピクチャとは時間的に前後に位置する原
ピクチャあるいは再生ピクチャ）に対して行い、より精
度の高い動きベクトルを求める。ついで、この得られた
動きベクトルで指定される参照ピクチャの参照ブロック
と符号化単位ブロックとの差分を予測誤差画像として符
号化部３０Ａに送出する。また、符号化部３０Ａから送
られてくる復号誤差画像と前記参照ブロックとを加え合
わせて再生ブロックを生成し、そのブロックを内蔵のメ
モリに順次ストアして、以降の動き検出の参照ピクチャ
として用いる再生ピクチャを生成する。
は、映像信号入力端子１から入力された映像の原ピクチ
ャから符号化の単位であるブロックを切り出して、それ
について、縮小ピクチャ動き検出部１０Ａで求められた
動きベクトルをもとにして、単画素精度、半画素精度の
動きベクトル探索の両方またはいずれか一方を参照ピク
チャ（入力の原ピクチャとは時間的に前後に位置する原
ピクチャあるいは再生ピクチャ）に対して行い、より精
度の高い動きベクトルを求める。ついで、この得られた
動きベクトルで指定される参照ピクチャの参照ブロック
と符号化単位ブロックとの差分を予測誤差画像として符
号化部３０Ａに送出する。また、符号化部３０Ａから送
られてくる復号誤差画像と前記参照ブロックとを加え合
わせて再生ブロックを生成し、そのブロックを内蔵のメ
モリに順次ストアして、以降の動き検出の参照ピクチャ
として用いる再生ピクチャを生成する。
【０００６】符号化部３０Ａでは、差分誤差画像をＤＣ
Ｔ、量子化、ラン長符号化、ベクトル量子化、可変長符
号化等の技術を適当に組み合わせることにより圧縮し、
ビットストリームに変換して出力する。通常、各ブロッ
ク、各ピクチャへの符号量の割り当ての制御は、量子化
時の刻み幅を調節することで行う。
Ｔ、量子化、ラン長符号化、ベクトル量子化、可変長符
号化等の技術を適当に組み合わせることにより圧縮し、
ビットストリームに変換して出力する。通常、各ブロッ
ク、各ピクチャへの符号量の割り当ての制御は、量子化
時の刻み幅を調節することで行う。
【０００７】この映像符号化装置は、１パスの映像符号
化装置であり、将来符号化するブロックあるいはピクチ
ャの符号発生量を知ることができないので、符号量の割
り当て制御を適切に行うことが困難であるという欠点が
ある。また、原ピクチャ動き検出＆動き補償部２０Ｂが
主に関わる動き予測モードの選択についても、ピクチャ
については、動き探索が完了する前に決定する必要があ
るため、適切に行うことが難しい。
化装置であり、将来符号化するブロックあるいはピクチ
ャの符号発生量を知ることができないので、符号量の割
り当て制御を適切に行うことが困難であるという欠点が
ある。また、原ピクチャ動き検出＆動き補償部２０Ｂが
主に関わる動き予測モードの選択についても、ピクチャ
については、動き探索が完了する前に決定する必要があ
るため、適切に行うことが難しい。
【０００８】この１パスの映像符号化方法の問題点を解
決するためにｎパス（ｎ≧２）の映像符号化方法が知ら
れている。これは、符号化処理を（ｎ−１）回行い、そ
れらの符号化処理により得られる符号発生量や動きベク
トル等のデータに基づいて、ｎ回目の符号化処理におい
て符号化対象の映像を構成する各ピクチャ（フィールド
またはフレーム）あるいはその各ピクチャを構成する符
号化の単位のブロックに対する符号量あるいは動き予測
モードを最終的に決定するものである。この結果、符号
量割り当て、動き予測モード選択の最適化の品質が上が
るので、画質の劣化なく圧縮率を向上させることができ
る。ここで、動き予測モード選択とは、動き予測を、符
号化の単位を前方向予測（Ｐ）、双方向予測（Ｂ）、動
き補償無し（Ｉ）のいずれで行うかを選ぶことである。
この選択の結果として、符号化されるピクチャは、Ｐピ
クチャ、Ｂピクチャ、Ｉピクチャの３種類に、符号化さ
れるブロックはＰブロック、Ｂブロック、Ｉブロックの
３種類に別れる。
決するためにｎパス（ｎ≧２）の映像符号化方法が知ら
れている。これは、符号化処理を（ｎ−１）回行い、そ
れらの符号化処理により得られる符号発生量や動きベク
トル等のデータに基づいて、ｎ回目の符号化処理におい
て符号化対象の映像を構成する各ピクチャ（フィールド
またはフレーム）あるいはその各ピクチャを構成する符
号化の単位のブロックに対する符号量あるいは動き予測
モードを最終的に決定するものである。この結果、符号
量割り当て、動き予測モード選択の最適化の品質が上が
るので、画質の劣化なく圧縮率を向上させることができ
る。ここで、動き予測モード選択とは、動き予測を、符
号化の単位を前方向予測（Ｐ）、双方向予測（Ｂ）、動
き補償無し（Ｉ）のいずれで行うかを選ぶことである。
この選択の結果として、符号化されるピクチャは、Ｐピ
クチャ、Ｂピクチャ、Ｉピクチャの３種類に、符号化さ
れるブロックはＰブロック、Ｂブロック、Ｉブロックの
３種類に別れる。
【０００９】しかし、このｎパスの符号化を実現するに
は、従来、 （１）１台の符号化装置でｎ回の符号化を逐次的に行
う。
は、従来、 （１）１台の符号化装置でｎ回の符号化を逐次的に行
う。
【００１０】（２）ｎ台の符号化装置でｎ回分の符号化
を並列に行う。のいずれかの方法をとる必要があった。
を並列に行う。のいずれかの方法をとる必要があった。
【００１１】図５は従来の２パスの映像符号化装置の構
成図である。この映像符号化装置は映像信号入力端子１
と符号化ビットストリーム出力端子２と遅延用バッファ
５と映像符号化装置６Ａ，６Ｂで構成されている。
成図である。この映像符号化装置は映像信号入力端子１
と符号化ビットストリーム出力端子２と遅延用バッファ
５と映像符号化装置６Ａ，６Ｂで構成されている。
【００１２】
【発明が解決しようとする課題】（１）の方法では、も
ともと１台の符号化装置では、１パスの符号化を実時間
で実行するのが精一杯であるために、ｎパスの実時間の
符号化が実現できなくなる欠点があった。
ともと１台の符号化装置では、１パスの符号化を実時間
で実行するのが精一杯であるために、ｎパスの実時間の
符号化が実現できなくなる欠点があった。
【００１３】一方、（２）の方法では、図４に示す２パ
スの符号化装置の構成例から明らかなように、実時間の
符号化が可能になるものの２台（ｎパスの場合にはｎ
台）の符号化装置が必要となる欠点がある。
スの符号化装置の構成例から明らかなように、実時間の
符号化が可能になるものの２台（ｎパスの場合にはｎ
台）の符号化装置が必要となる欠点がある。
【００１４】このように、従来の方法では、ハードウェ
ア規模の低減と実時間処理を両立させることは困難であ
った。
ア規模の低減と実時間処理を両立させることは困難であ
った。
【００１５】本発明の目的は、１パスの映像符号化装置
と同等のハードウェア規模で実時間の２パス映像符号化
を実現できる映像符号化装置および映像符号化プログラ
ムを記録した記録媒体を提供することにある。
と同等のハードウェア規模で実時間の２パス映像符号化
を実現できる映像符号化装置および映像符号化プログラ
ムを記録した記録媒体を提供することにある。
【００１６】
【課題を解決するための手段】本発明の映像符号化装置
は、映像信号を入力し、符号化の単位であるブロックに
対応する縮小ブロックに対する粗い探索を後段の詳細な
探索よりもＮピクチャまたはＮスライス（Ｎは１以上の
整数）分先行して行い、そのブロックが縮小参照ピクチ
ャのどこから来たかを示す動きベクトルを求める縮小ピ
クチャ動き検出部と、映像信号を入力し、該映像信号の
ピクチャから符号化の単位であるブロックを切り出し
て、それに対して前記縮小ピクチャ動き検出部から出力
された動きベクトルをもとにして動きベクトル探索を行
い、より精度の高い動きベクトルを求め、該動きベクト
ルで指定された参照ピクチャの参照ブロックと符号化単
位ブロックとの差分を予測誤差画像として出力し、また
復号誤差画像と前記参照ブロックとを加え合わせて再生
ブロックを生成し、メモリにストアし、以後の動き検出
の参照ピクチャとする原ピクチャ動き検出＆動き補償部
と、前記予測誤差画像を圧縮し、ビットストリームに変
換して出力し、また前記予測誤差画像を復号し、前記原
ピクチャ動き検出＆動き補償部に出力する符号化部と、
前記縮小ピクチャ動き検出部の出力である動きベクトル
で指定される縮小予測ブロックと符号化対象ブロックに
対応する縮小ブロックとの間の整合度を統計解析し、解
析結果を、動き予測モード選択の最適化を行うのであれ
ば前記原ピクチャ動き検出＆動き補償部に与え、符号量
の最適化を行うのであれば前記符号化部に与える統計解
析部を有する。
は、映像信号を入力し、符号化の単位であるブロックに
対応する縮小ブロックに対する粗い探索を後段の詳細な
探索よりもＮピクチャまたはＮスライス（Ｎは１以上の
整数）分先行して行い、そのブロックが縮小参照ピクチ
ャのどこから来たかを示す動きベクトルを求める縮小ピ
クチャ動き検出部と、映像信号を入力し、該映像信号の
ピクチャから符号化の単位であるブロックを切り出し
て、それに対して前記縮小ピクチャ動き検出部から出力
された動きベクトルをもとにして動きベクトル探索を行
い、より精度の高い動きベクトルを求め、該動きベクト
ルで指定された参照ピクチャの参照ブロックと符号化単
位ブロックとの差分を予測誤差画像として出力し、また
復号誤差画像と前記参照ブロックとを加え合わせて再生
ブロックを生成し、メモリにストアし、以後の動き検出
の参照ピクチャとする原ピクチャ動き検出＆動き補償部
と、前記予測誤差画像を圧縮し、ビットストリームに変
換して出力し、また前記予測誤差画像を復号し、前記原
ピクチャ動き検出＆動き補償部に出力する符号化部と、
前記縮小ピクチャ動き検出部の出力である動きベクトル
で指定される縮小予測ブロックと符号化対象ブロックに
対応する縮小ブロックとの間の整合度を統計解析し、解
析結果を、動き予測モード選択の最適化を行うのであれ
ば前記原ピクチャ動き検出＆動き補償部に与え、符号量
の最適化を行うのであれば前記符号化部に与える統計解
析部を有する。
【００１７】また、本発明の映像符号化プログラムを記
録した記録媒体は、映像信号を入力し、符号化の単位で
あるブロックに対応する縮小ブロックに対する粗い探索
を後段の詳細な探索よりもＮピクチャまたはＮスライス
（Ｎは１以上の整数）分先行して行い、そのブロックが
縮小参照ピクチャのどこから来たかを示す動きベクトル
を求める縮小ピクチャ動き検出処理と、映像信号を入力
し、該映像信号の原ピクチャから符号化の単位であるブ
ロックを切り出して、それに対して前記縮小ピクチャ動
き検出処理から出力された動きベクトルをもとにして動
きベクトル探索を行い、より精度の高い動きベクトルを
求め、該動きベクトルで指定された参照ピクチャの参照
ブロックと符号化単位ブロックとの差分を予測誤差画像
として出力し、また復号誤差画像と前記参照ブロックと
を加え合わせて再生ブロックを生成し、メモリにストア
し、以後の動き検出の参照ピクチャとする原ピクチャ動
き検出＆動き補償処理と、前記予測誤差画像を圧縮し、
ビットストリームに変換して出力し、また前記予測誤差
画像を復号し、前記原ピクチャ動き検出＆動き補償処理
に出力する符号化処理と、前記縮小ピクチャ動き検出処
理の出力である動きベクトルで指定される縮小予測ブロ
ックと符号化対象ブロックに対応する縮小ブロックとの
間の整合度を統計解析し、解析結果を、動き予測モード
選択の最適化を行うのであれば前記原ピクチャ動き検出
＆動き補償処理に与え、符号量の最適化を行うのであれ
ば前記符号化処理に出力する統計解析処理をコンピュー
タに実行させる。
録した記録媒体は、映像信号を入力し、符号化の単位で
あるブロックに対応する縮小ブロックに対する粗い探索
を後段の詳細な探索よりもＮピクチャまたはＮスライス
（Ｎは１以上の整数）分先行して行い、そのブロックが
縮小参照ピクチャのどこから来たかを示す動きベクトル
を求める縮小ピクチャ動き検出処理と、映像信号を入力
し、該映像信号の原ピクチャから符号化の単位であるブ
ロックを切り出して、それに対して前記縮小ピクチャ動
き検出処理から出力された動きベクトルをもとにして動
きベクトル探索を行い、より精度の高い動きベクトルを
求め、該動きベクトルで指定された参照ピクチャの参照
ブロックと符号化単位ブロックとの差分を予測誤差画像
として出力し、また復号誤差画像と前記参照ブロックと
を加え合わせて再生ブロックを生成し、メモリにストア
し、以後の動き検出の参照ピクチャとする原ピクチャ動
き検出＆動き補償処理と、前記予測誤差画像を圧縮し、
ビットストリームに変換して出力し、また前記予測誤差
画像を復号し、前記原ピクチャ動き検出＆動き補償処理
に出力する符号化処理と、前記縮小ピクチャ動き検出処
理の出力である動きベクトルで指定される縮小予測ブロ
ックと符号化対象ブロックに対応する縮小ブロックとの
間の整合度を統計解析し、解析結果を、動き予測モード
選択の最適化を行うのであれば前記原ピクチャ動き検出
＆動き補償処理に与え、符号量の最適化を行うのであれ
ば前記符号化処理に出力する統計解析処理をコンピュー
タに実行させる。
【００１８】本発明では、１パス目の符号発生量解析に
階層探索を構成する前段階の粗い探索結果を利用するこ
とによって、ハードウェア規模の低減を図る。すなわ
ち、１パス目の符号化処理を前段階の粗い探索のみと
し、それによって得られる符号化対象ブロックの動きベ
クトルで指定される縮小予測ブロックと符号化ブロック
に対応する縮小ブロックとの間の整合度または縮小ピク
チャの動き分布の統計量を、２パス目の符号量制御、動
き予測モード選択に反映させる構成とする。この結果、
１パス目の符号化処理のために余分にハードウェアを付
加することがほとんど不要になり、１パスの符号化装置
と同等のハードウェア規模で、実質的に実時間の２パス
符号化装置が実現される。
階層探索を構成する前段階の粗い探索結果を利用するこ
とによって、ハードウェア規模の低減を図る。すなわ
ち、１パス目の符号化処理を前段階の粗い探索のみと
し、それによって得られる符号化対象ブロックの動きベ
クトルで指定される縮小予測ブロックと符号化ブロック
に対応する縮小ブロックとの間の整合度または縮小ピク
チャの動き分布の統計量を、２パス目の符号量制御、動
き予測モード選択に反映させる構成とする。この結果、
１パス目の符号化処理のために余分にハードウェアを付
加することがほとんど不要になり、１パスの符号化装置
と同等のハードウェア規模で、実質的に実時間の２パス
符号化装置が実現される。
【００１９】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２０】図１を参照すると、本発明の第１の実施形
態は、図４の従来の１パス映像符号化装置に、遅延用バ
ッファ５０，５１と統計解析部４０Ａを追加して、縮小
ピクチャ動き検出部１０Ａの出力の動きベクトルで指定
される縮小予測ブロックと符号化対象ブロックに対応す
る縮小ブロックとの間の整合度または縮小ピクチャの動
きベクトルの分布を統計解析部４０Ａで統計解析し、そ
の結果をピクチャ動き検出＆動き補償部２０Ａと符号化
部３０Ａに与えられるようにして、符号量割り当てと予
測モードの選択の制御がより適切に行えるようにしてい
る。前段階の動き探索結果を統計解析することによっ
て、符号化対象ブロックの割り当て符号量の計算に用い
る符号化対象の符号発生量、１ブロックの発生割合等を
実際の符号化に入る前に精度良く求めることができる。
統計解析結果を符号化単位ブロックの符号化に反映させ
るには、すなわち符号化単位ブロックに割り当てる符号
量を統計解析結果を用いて適切に設定するには、統計解
析に用いる縮小ピクチャの動き検出を先行させる必要が
ある。そのために遅延用バッファ５０を設けて、原ピク
チャを原ピクチャ動き検出＆動き補償部２０Ａに渡すの
を遅らせると共に、遅延用バッファ５１を設けて、先行
して検出される縮小ブロックの動きベクトルを遅らせ
て、原ピクチャの符号化ブロックに対する単画素、ある
いは半画素あるいは両方の動き検出に利用できるように
している。遅延量は、先行してｎピクチャ将来まで統計
解析する必要があるならばｎピクチャ、統計解析の量が
ｎスライス分でよいのならばｎスライスとなる。例え
ば、あるピクチャの符号化開始前に、そのピクチャの発
生符号量を予測したいならば、少なくともほぼ１ピクチ
ャ分の統計解析が必要で、そのために、遅延用バッファ
５０，５１の遅延量は共に統計解析の時間と同じほぼ１
ピクチャ分必要になる。ここで、ｎは正の整数、スライ
スはピクチャを水平に分割した領域の一つである。
態は、図４の従来の１パス映像符号化装置に、遅延用バ
ッファ５０，５１と統計解析部４０Ａを追加して、縮小
ピクチャ動き検出部１０Ａの出力の動きベクトルで指定
される縮小予測ブロックと符号化対象ブロックに対応す
る縮小ブロックとの間の整合度または縮小ピクチャの動
きベクトルの分布を統計解析部４０Ａで統計解析し、そ
の結果をピクチャ動き検出＆動き補償部２０Ａと符号化
部３０Ａに与えられるようにして、符号量割り当てと予
測モードの選択の制御がより適切に行えるようにしてい
る。前段階の動き探索結果を統計解析することによっ
て、符号化対象ブロックの割り当て符号量の計算に用い
る符号化対象の符号発生量、１ブロックの発生割合等を
実際の符号化に入る前に精度良く求めることができる。
統計解析結果を符号化単位ブロックの符号化に反映させ
るには、すなわち符号化単位ブロックに割り当てる符号
量を統計解析結果を用いて適切に設定するには、統計解
析に用いる縮小ピクチャの動き検出を先行させる必要が
ある。そのために遅延用バッファ５０を設けて、原ピク
チャを原ピクチャ動き検出＆動き補償部２０Ａに渡すの
を遅らせると共に、遅延用バッファ５１を設けて、先行
して検出される縮小ブロックの動きベクトルを遅らせ
て、原ピクチャの符号化ブロックに対する単画素、ある
いは半画素あるいは両方の動き検出に利用できるように
している。遅延量は、先行してｎピクチャ将来まで統計
解析する必要があるならばｎピクチャ、統計解析の量が
ｎスライス分でよいのならばｎスライスとなる。例え
ば、あるピクチャの符号化開始前に、そのピクチャの発
生符号量を予測したいならば、少なくともほぼ１ピクチ
ャ分の統計解析が必要で、そのために、遅延用バッファ
５０，５１の遅延量は共に統計解析の時間と同じほぼ１
ピクチャ分必要になる。ここで、ｎは正の整数、スライ
スはピクチャを水平に分割した領域の一つである。
【００２１】統計解析の内容として、整合度について
は、例えば、各ブロックの整合度の総和、隣接ブロック
間の動きベクトルの差分絶対値の総和などがあり、縮小
ピクチャの動きベクトルの分布については、例えば、動
きベクトルのヒストグラム解析、同一の動きベクトルが
続く長さ等がある。なお、本実施形態は、従来の典型例
にならって、前段階の粗い探索を縮小ピクチャに対して
行っているが、ツリー探索のように非縮小のピクチャに
対して行う構成も可能である。また、本実施形態では、
統計解析の結果を原ピクチャ動き検出＆動き補償部２０
Ａと符号化部３０Ａの両方に与える構成としているが、
動き予測モード選択の最適化のみを行うのであれば、原
ピクチャ動き検出＆動き補償部２０Ａだけに、符号量の
最適化のみを行うのであれば、符号化部３０Ａだけに与
える構成となる。
は、例えば、各ブロックの整合度の総和、隣接ブロック
間の動きベクトルの差分絶対値の総和などがあり、縮小
ピクチャの動きベクトルの分布については、例えば、動
きベクトルのヒストグラム解析、同一の動きベクトルが
続く長さ等がある。なお、本実施形態は、従来の典型例
にならって、前段階の粗い探索を縮小ピクチャに対して
行っているが、ツリー探索のように非縮小のピクチャに
対して行う構成も可能である。また、本実施形態では、
統計解析の結果を原ピクチャ動き検出＆動き補償部２０
Ａと符号化部３０Ａの両方に与える構成としているが、
動き予測モード選択の最適化のみを行うのであれば、原
ピクチャ動き検出＆動き補償部２０Ａだけに、符号量の
最適化のみを行うのであれば、符号化部３０Ａだけに与
える構成となる。
【００２２】第１の実施形態は、図４の従来例と比べた
場合、遅延用バッファ５０，５１がハードウェア規模を
大きく増加させるようにみえる。実際、これらのバッフ
ァ５０，５１をそれぞれ独立のメモリユニットとして装
置に実装するとハードウェア規模増は避けられない。し
かし、このハードウェア規模増の問題は、最近では、比
較的容易に回避できる。シンクロナスＤＲＡＭのような
大容量、かつ高速なメモリのおかげで、これらのメモリ
ユニットを、動き検出、動き補償用の画像メモリと一体
化できるからである。
場合、遅延用バッファ５０，５１がハードウェア規模を
大きく増加させるようにみえる。実際、これらのバッフ
ァ５０，５１をそれぞれ独立のメモリユニットとして装
置に実装するとハードウェア規模増は避けられない。し
かし、このハードウェア規模増の問題は、最近では、比
較的容易に回避できる。シンクロナスＤＲＡＭのような
大容量、かつ高速なメモリのおかげで、これらのメモリ
ユニットを、動き検出、動き補償用の画像メモリと一体
化できるからである。
【００２３】図２はこの大容量かつ高速なメモリを使用
してハードウェア規模の低減を図った本発明の第２の実
施形態の構成図である。
してハードウェア規模の低減を図った本発明の第２の実
施形態の構成図である。
【００２４】第１の実施形態との違いは、縮小ピクチャ
動き検出部１０Ｂ、原ピクチャ動き検出＆動き補償部２
０Ｂからピクチャの格納用メモリをメモリユニット８０
として切り出すと共に、遅延用バッファ５０，５１と一
体化して、メモリユニット８０を１つだけ設ける構成と
していることである。ピクチャ格納用メモリを外部のメ
モリユニット８０に切り出した点を除くと、縮小ピクチ
ャ動き検出部１０Ｂ、原ピクチャ動き検出＆動き補償部
２０Ｂ、統計解析部４０Ｂ、符号化部３０Ｂの機能は変
わらない。ただし、縮小ピクチャ動き検出部１０Ｂにつ
いては、ピクチャ格納用メモリを切り出すのと一緒に、
縮小ピクチャ生成部も切り出して、映像入力インタフェ
−ス部６０に移している。なお、統計解析部４０Ｂ、符
号化部３０Ｂの一部機能（例えば、符号発生量制御機
能）等は、処理量が比較的少ないので、マイクロプロセ
ッサ上のソフトウェアとして実現することができる。こ
の場合のハードウェア構成は、統計解析部４０Ｂと符号
化部３０Ｂの一部機能は、マイクロプロセッサとして切
り出される。
動き検出部１０Ｂ、原ピクチャ動き検出＆動き補償部２
０Ｂからピクチャの格納用メモリをメモリユニット８０
として切り出すと共に、遅延用バッファ５０，５１と一
体化して、メモリユニット８０を１つだけ設ける構成と
していることである。ピクチャ格納用メモリを外部のメ
モリユニット８０に切り出した点を除くと、縮小ピクチ
ャ動き検出部１０Ｂ、原ピクチャ動き検出＆動き補償部
２０Ｂ、統計解析部４０Ｂ、符号化部３０Ｂの機能は変
わらない。ただし、縮小ピクチャ動き検出部１０Ｂにつ
いては、ピクチャ格納用メモリを切り出すのと一緒に、
縮小ピクチャ生成部も切り出して、映像入力インタフェ
−ス部６０に移している。なお、統計解析部４０Ｂ、符
号化部３０Ｂの一部機能（例えば、符号発生量制御機
能）等は、処理量が比較的少ないので、マイクロプロセ
ッサ上のソフトウェアとして実現することができる。こ
の場合のハードウェア構成は、統計解析部４０Ｂと符号
化部３０Ｂの一部機能は、マイクロプロセッサとして切
り出される。
【００２５】第１の実施形態における統計解析は、縮小
ピクチャに対する動き検出結果で行っている。符号発生
量を直接見ているわけではないので、その分精度が低下
する。
ピクチャに対する動き検出結果で行っている。符号発生
量を直接見ているわけではないので、その分精度が低下
する。
【００２６】
【００２７】
【００２８】なお、図１、図２に示した映像符号化装置
は、各部の処理からなる映像符号化プログラムとして、
ＦＤ，ＣＤ−ＲＯＭ，半導体メモリ等の記録媒体に記録
しておき、これをデータ処理装置で読み出して実行する
ことによっても実現できる。
は、各部の処理からなる映像符号化プログラムとして、
ＦＤ，ＣＤ−ＲＯＭ，半導体メモリ等の記録媒体に記録
しておき、これをデータ処理装置で読み出して実行する
ことによっても実現できる。
【００２９】
【発明の効果】以上、説明したように、本発明では、階
層探索方式の１パス映像符号化装置と同等のハードウェ
ア規模で、２パスの実時間映像符号化装置の実現が可能
である。したがって、実時間性と経済性の要求されるテ
レビ電話、テレビ会議システム、経済性の要求の強い携
帯用ビデオカセットレコーダ、録画機能付きＤＶＤプレ
ーヤ等に組み込む映像符号化装置の符号化効率改善技術
（符号量を削減する必要のない場合には、画質改善技
術）として極めて有用である。
層探索方式の１パス映像符号化装置と同等のハードウェ
ア規模で、２パスの実時間映像符号化装置の実現が可能
である。したがって、実時間性と経済性の要求されるテ
レビ電話、テレビ会議システム、経済性の要求の強い携
帯用ビデオカセットレコーダ、録画機能付きＤＶＤプレ
ーヤ等に組み込む映像符号化装置の符号化効率改善技術
（符号量を削減する必要のない場合には、画質改善技
術）として極めて有用である。
【図１】本発明の第１の実施形態の映像符号化装置の構
成図である。
成図である。
【図２】本発明の第２の実施形態の映像符号化装置の構
成図である。
成図である。
【図３】従来の階層探索方式の典型的な映像符号化装置
の構成図である。
の構成図である。
【図４】従来の２パス映像符号化装置の構成図である。
１ 映像信号入力端子 ２ 符号化ビットストリーム出力端子 ５ 遅延用バッファ ６Ａ，６Ｂ 映像符号化装置 １０Ａ，１０Ｂ 縮小ピクチャ動き検出部 ２０Ａ，２０Ｂ ピクチャ動き検出＆動き補償部 ３０Ａ，３０Ｂ 符号化部 ４０Ａ，４０Ｂ 統計解析部 ５０，５１ 遅延用バッファ ６０ 映像入力インタフェ−ス部 ７０ メモリインタフェ−ス ８０ メモリユニット
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 充郎 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 大久保 恒夫 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平４−264889（ＪＰ，Ａ) 特開 平４−151989（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68
Claims (4)
- 【請求項１】 映像信号を入力し、符号化の単位である
ブロックに対応する縮小ブロックに対する粗い探索を後
段の詳細な探索よりもＮピクチャまたはＮスライス（Ｎ
は１以上の整数）分先行して行い、そのブロックが縮小
参照ピクチャのどこから来たかを示す動きベクトルを求
める縮小ピクチャ動き検出部と、 映像信号を入力し、該映像信号のピクチャから符号化の
単位であるブロックを切り出して、それに対して前記縮
小ピクチャ動き検出部から出力された動きベクトルをも
とにして動きベクトル探索を行い、より精度の高い動き
ベクトルを求め、該動きベクトルで指定された参照ピク
チャの参照ブロックと符号化単位ブロックとの差分を予
測誤差画像として出力し、また復号誤差画像と前記参照
ブロックとを加え合わせて再生ブロックを生成し、メモ
リにストアし、以後の動き検出の参照ピクチャとする原
ピクチャ動き検出＆動き補償部と、 前記予測誤差画像を圧縮し、ビットストリームに変換し
て出力し、また前記予測誤差画像を復号し、前記原ピク
チャ動き検出＆動き補償部に出力する符号化部と、 前記縮小ピクチャ動き検出部の出力である動きベクトル
で指定される縮小予測ブロックと符号化対象ブロックに
対応する縮小ブロックとの間の整合度を統計解析し、解
析結果を、動き予測モード選択の最適化を行うのであれ
ば前記原ピクチャ動き検出＆動き補償部に与え、符号量
の最適化を行うのであれば前記符号化部に与える統計解
析部を有する映像符号化装置。 - 【請求項２】 映像信号を入力し、符号化の単位である
ブロックに対応する縮小ブロックに対する粗い探索を後
段の詳細な探索よりもＮピクチャまたはＮスライス（Ｎ
は１以上の整数）分先行して行い、そのブロックが縮小
参照ピクチャのどこから来たかを示す動きベクトルを求
める縮小ピクチャ動き検出部と、 映像信号を入力し、該映像信号のピクチャから符号化の
単位であるブロックを切り出して、それに対して前記縮
小ピクチャ動き検出部から出力された動きベクトルをも
とにして動きベクトル探索を行い、より精度の高い動き
ベクトルを求め、該動きベクトルで指定された参照ピク
チャの参照ブロックと符号化単位ブロックとの差分を予
測誤差画像として出力し、また復号誤差画像と前記参照
ブロックとを加え合わせて再生ブロックを生成し、メモ
リにストアし、以後の動き検出の参照ピクチャとする原
ピクチャ動き検出＆動き補償部と、 前記予測誤差画像を圧縮し、ビットストリームに変換し
て出力し、また前記予測誤差画像を復号し、前記原ピク
チャ動き検出＆動き補償部に出力する符号化部と、 前記縮小ピクチャの動きベクトルの分布を統計解析し、
解析結果を、動き予測モード選択の最適化を行うのであ
れば前記原ピクチャ動き検出＆動き補償部に与え、符号
量の最適化を行うのであれば前記符号化部に与える統計
解析部を有する映像符号化装置。 - 【請求項３】 映像信号を入力し、符号化の単位である
ブロックに対応する縮小ブロックに対する粗い探索を後
段の詳細な探索よりもＮピクチャまたはＮスライス（Ｎ
は１以上の整数）分先行して行い、そのブロックが縮小
参照ピクチャのどこから来たかを示す動きベクトルを求
める縮小ピクチャ動き検出処理と、 映像信号を入力し、該映像信号の原ピクチャから符号化
の単位であるブロックを切り出して、それに対して前記
縮小ピクチャ動き検出処理から出力された動きベクトル
をもとにして動きベクトル探索を行い、より精度の高い
動きベクトルを求め、該動きベクトルで指定された参照
ピクチャの参照ブロックと符号化単位ブロックとの差分
を予測誤差画像として出力し、また復号誤差画像と前記
参照ブロックとを加え合わせて再生ブロックを生成し、
メモリにストアし、以後の動き検出の参照ピクチャとす
る原ピクチャ動き検出＆動き補償処理と、 前記予測誤差画像を圧縮し、ビットストリームに変換し
て出力し、また前記予測誤差画像を復号し、前記原ピク
チャ動き検出＆動き補償処理に出力する符号化処理と、
前記縮小ピクチャ動き検出処理の出力である動きベクト
ルで指定される縮小予測ブロックと符号化対象ブロック
に対応する縮小ブロックとの間の整合度を統計解析し、
解析結果を、動き予測モード選択の最適化を行うのであ
れば前記原ピクチャ動き検出＆動き補償処理に与え、符
号量の最適化を行うのであれば前記符号化処理に出力す
る統計解析処理をコンピュータに実行させるための映像
符号化プログラムを記録した記録媒体。 - 【請求項４】 映像信号を入力し、符号化の単位である
ブロックに対応する縮小ブロックに対する粗い探索を後
段の詳細な探索よりもＮピクチャまたはＮスライス（Ｎ
は１以上の整数）分先行して行い、そのブロックが縮小
参照ピクチャのどこから来たかを示す動きベクトルを求
める縮小ピクチャ動き検出処理と、 映像信号を入力し、該映像信号の原ピクチャから符号化
の単位であるブロックを切り出して、それに対して前記
縮小ピクチャ動き検出処理から出力された動きベクトル
をもとにして動きベクトル探索を行い、より精度の高い
動きベクトルを求め、該動きベクトルで指定された参照
ピクチャの参照ブロックと符号化単位ブロックとの差分
を予測誤差画像として出力し、また復号誤差画像と前記
参照ブロックとを加え合わせて再生ブロックを生成し、
メモリにストアし、以後の動き検出の参照ピクチャとす
る原ピクチャ動き検出＆動き補償処理と、 前記予測誤差画像を圧縮し、ビットストリームに変換し
て出力し、また前記予測誤差画像を復号し、前記原ピク
チャ動き検出＆動き補償処理に出力する符号化処理と、
前記縮小ピクチャの動き分布を統計解析し、解析結果
を、動き予測モード選択の最適化を行うのであれば前記
原ピクチャ動き検出＆動き補償処理に与え、符号量の最
適化を行うのであれば前記符号化処理に出力する統計解
析処理をコンピュータに実行させるための映像符号化プ
ログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10116198A JP3242362B2 (ja) | 1998-04-13 | 1998-04-13 | 映像符号化装置、および映像符号化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10116198A JP3242362B2 (ja) | 1998-04-13 | 1998-04-13 | 映像符号化装置、および映像符号化プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11298904A JPH11298904A (ja) | 1999-10-29 |
| JP3242362B2 true JP3242362B2 (ja) | 2001-12-25 |
Family
ID=14293332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10116198A Expired - Fee Related JP3242362B2 (ja) | 1998-04-13 | 1998-04-13 | 映像符号化装置、および映像符号化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3242362B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4203707B2 (ja) * | 2001-01-31 | 2009-01-07 | 日本電気株式会社 | 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。 |
| JP4616765B2 (ja) | 2005-12-15 | 2011-01-19 | 富士通株式会社 | 動画像符号化装置 |
| JP2009065283A (ja) * | 2007-09-04 | 2009-03-26 | For-A Co Ltd | 画像ぶれ補正装置 |
| US8811486B2 (en) | 2008-04-08 | 2014-08-19 | Nippon Telegraph And Telephone Corporation | Video encoding method, video encoding apparatus, video encoding program and storage medium of the same |
| JP5171658B2 (ja) * | 2009-01-15 | 2013-03-27 | キヤノン株式会社 | 画像符号化装置 |
| JP2011097572A (ja) | 2009-09-29 | 2011-05-12 | Canon Inc | 動画像符号化装置 |
| JP5598199B2 (ja) * | 2010-09-16 | 2014-10-01 | 富士通株式会社 | 動画像符号化装置 |
| JP5305548B2 (ja) * | 2011-09-08 | 2013-10-02 | 富士通セミコンダクター株式会社 | 移動体識別方法及び装置 |
| JP5763578B2 (ja) * | 2012-04-17 | 2015-08-12 | 三菱電機ビルテクノサービス株式会社 | 画像符号化装置、画像符号化方法及びプログラム |
| JP6135220B2 (ja) | 2013-03-18 | 2017-05-31 | 富士通株式会社 | 動画処理装置、動画処理方法および動画処理プログラム |
| JP2014230031A (ja) * | 2013-05-21 | 2014-12-08 | 日本放送協会 | 画像符号化装置、及び画像符号化プログラム |
| US20160301941A1 (en) * | 2013-09-09 | 2016-10-13 | Nec Corporation | Video-encoding device, video-encoding method, and program |
-
1998
- 1998-04-13 JP JP10116198A patent/JP3242362B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11298904A (ja) | 1999-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4002396B2 (ja) | 動きベクトル決定方法及び装置 | |
| US6430224B1 (en) | Stereo video data coding apparatus | |
| US6671319B1 (en) | Methods and apparatus for motion estimation using neighboring macroblocks | |
| US6934334B2 (en) | Method of transcoding encoded video data and apparatus which transcodes encoded video data | |
| US6195389B1 (en) | Motion estimation system and methods | |
| EP0759678B1 (en) | Method and device for encoding picture signal | |
| JP3242362B2 (ja) | 映像符号化装置、および映像符号化プログラムを記録した記録媒体 | |
| US8098729B2 (en) | Implementing B-picture scene changes | |
| JP2003333602A (ja) | 動画コーディング方法 | |
| US20140177727A1 (en) | Video encoding apparatus and video decoding apparatus | |
| US20050243931A1 (en) | Video encoding/decoding method and apparatus | |
| US6690728B1 (en) | Methods and apparatus for motion estimation in compressed domain | |
| US6925121B1 (en) | Motion vector detecting method and system and devices incorporating the same | |
| US5481310A (en) | Image encoding apparatus | |
| US7916788B2 (en) | Motion picture encoding method and device | |
| US6853378B2 (en) | Moving image editing apparatus and moving image editing method using intraframe encoding | |
| KR20010009273A (ko) | 움직임 정도 기술방법을 이용한 동영상 색인 및 검색방법 | |
| US7391810B2 (en) | High-speed motion estimator and method with variable search window | |
| JP3496907B2 (ja) | 音声・動画像符号化データ検索方法及び検索装置 | |
| US6445875B1 (en) | Apparatus and method for detecting edition point of audio/video data stream | |
| JP3063380B2 (ja) | 高能率符号化装置 | |
| EP1244291A2 (en) | Moving image compression and cut detection | |
| US6788741B1 (en) | Device and method of retrieving high-speed motion | |
| JP3150627B2 (ja) | 復号信号の再符号化方法 | |
| KR100337723B1 (ko) | 화상데이터의확대율또는축소율을검출하기위한장치및방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071019 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |