JP3743220B2 - 符号化動画像編集方法およびその装置 - Google Patents
符号化動画像編集方法およびその装置 Download PDFInfo
- Publication number
- JP3743220B2 JP3743220B2 JP25859099A JP25859099A JP3743220B2 JP 3743220 B2 JP3743220 B2 JP 3743220B2 JP 25859099 A JP25859099 A JP 25859099A JP 25859099 A JP25859099 A JP 25859099A JP 3743220 B2 JP3743220 B2 JP 3743220B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- encoded
- type
- editing
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化動画像の編集を行う符号化動画像編集方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、ISO/IEC１３３１８-２（以下MPEG２ Videoによる符号化と略す。）によって既に符号化が行なわれている符号化動画像をフレーム単位で編集を行う場合には、たとえば、P. Brightwell らによる"Flexible switching and editing of MPEG-2 video bitstreams" Proceedings of IBC'97, Amsterdam, p.547に述べられているような、復号化装置からＭＢ毎に、符号化モード、動きベクトル、量子化係数、ＤＣＴモードを伝達し、符号化装置でマクロブロック（ＭＢ）毎に符号化モード、動きベクトル、量子化係数、ＤＣＴモードをエンコーダに伝達し、ＭＢ毎に伝達される符号化モード、動きベクトル、量子化係数、ＤＣＴモードを用いて符号化を行っていた。
【０００３】
【発明が解決しようとする課題】
しかし、このような方法で再符号化を行う場合、ＭＢ毎に復号化装置から符号化装置へ転送する情報量が多いため、実時間で編集装置を構成することが困難であった。
【０００４】
本発明は、同一の符号化動画像を含む複数の符号化動画像の編集を行う際に、編集前の符号化動画像の画質を保つために、編集前の符号化動画像に含まれている、動きベクトル、符号化モード、量子化係数等の符号化情報のうち一部を利用し、その他の情報は符号化装置において外部情報に依らずに決定することにより、復号化装置から符号化装置へ渡す情報量を少なくし、かつ画質を維持する符号化動画像編集方法および装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この課題を解決するために本発明は、符号化動画像内に符号化されている各種符号化情報のうち、編集前の符号化動画像のピクチャータイプ、量子化マトリックスを含む量子化係数およびＤＣＴをフィールド構造で行うかあるいはフレーム構造で行うかを指定するＤＣＴモードの情報を復号器より出力し、動きベクトルおよび符号化モードは符号器によって決定するようにしたものである。
【０００６】
【発明の実施の形態】
本発明の請求項１に記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集方法において、復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定し、前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行うものであり、符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、編集後の符号化フレームの符号化情報が編集前の当該符号化フレームの符号化情報と同一となるように編集を行うことで再符号化を行った際の画質を劣化させない作用がある。
【０００８】
請求項２に記載の発明は、再符号化を行う際に、符号量制御が必要ない場合には、動きベクトルを探索し探索した動きベクトルを用いて動き補償を行い、直交変換種は前記復号化時に得られた直交変換情報を利用して直交変換を行い、前記量子化情報をそのまま利用して量子化を行うもので、復号化時の符号化パラメータの有効性の判定を行い、復号化時の符号化パラメータを利用して再符号化を行うことにより、画質を劣化させない作用がある。
【０００９】
請求項３記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集装置において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定するパラメータ有効性判定部、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行う符号化部とを有するもので、
符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１０】
請求項５に記載の発明は、請求項１乃至３のいずれかに記載の符号化動画像編集方法において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１１】
請求項６に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の任意の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムとからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【００１２】
請求項７に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムと、符号化された動画像を入出力する記憶装置とからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【００１３】
請求項８に記載の発明は、請求項６乃至７のいずれかに記載の符号化動画像編集装置において、符号化情報は、符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１４】
請求項９に記載の発明は、請求項６乃至７のいずれかに記載の符号化動画像編集装置において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１５】
請求項１０に記載の発明は、請求項７記載の符号化動画像編集装置において、符号化された動画像を入出力する記憶装置は、ＤＶＤ、メモリチップ及びメモリカードとしたもので、各種の映像再生装置に適用できる。
【００１６】
以下、本発明の実施の形態について図を参照して説明する。
【００１７】
（実施の形態１）
本発明の実施の形態１について図を用いて説明する。ただし、本実施の形態の符号化方法として、MPEG２によって符号化された動画像の編集を例として説明する。
【００１８】
図１は、本発明の実施の形態における符号化動画像編集装置をコンピュータシステムで構築した１例である。図１において、ＣＰＵ１００は、符号化動画像編集装置の各処理を実行するものである。記憶装置１０１は符号化された動画像を一時的あるいは永続的に保存する記憶装置であり、符号化動画像を編集する際の編集対象である複数の符号化動画像や編集結果の符号化動画像あるいは、その他の情報を一時的あるいは永続的に保存するものである。符号化動画像１０２は、上記編集対象である複数の符号化動画像や編集結果の符号化動画像である。
【００１９】
入出力制御部１０３は、入力装置１０４、符号化動画像入出力装置１０５および表示装置１０６とＣＰＵ１００とのインターフェースとなる装置であり、入力装置１０４および符号化動画像入出力装置１０５からの情報をＣＰＵ１００へ伝達し、ＣＰＵ１００からの情報を表示装置１０６へ伝達する働きをする。入力装置１０４は、キーボード、マウス、その他の符号化動画像編集装置を操作する操作者からの入力を行う装置である。符号化動画像入出力装置１０５は、符号化動画像編集装置に符号化された動画像を入出力するための装置で、ＤＶＤ、メモリチップ及びメモリカード等がある。表示装置１０６は、符号化動画像編集装置の状態を操作者に提示する装置である。メモリ１０７は、ＣＰＵ１００によって一時的に使われる記憶装置である。
【００２０】
上記のように構成された符号化動画像編集装置は、機能別に３つのサブシステムで構成されており、図２に機能ブロックとデータの流れを示し、以下に説明する。
【００２１】
２００は、符号化動画像編集装置を操作する操作者によって編集対象となる符号化動画像の指定と編集位置を入力する編集サブシステム、２０１は編集対象である符号化動画像の復号化と符号化動画像内に符号化されている符号化情報の一部を出力する復号化サブシステム、２０２は復号化サブシステム２０１によって復号化された復号化画像を復号化サブシステム２０１によって出力される符号化情報をもとに、再符号化する符号化サブシステム、２０３は符号化動画像を一時的に保存する符号化動画像ファイル、２０４は復号化サブシステム２０１で符号化された符号化情報を一時的に保存する符号化情報ファイル、２０５は符号化サブシステム２０１で再生された復号化画像を一時的に保存する復号化画像ファイルである。
【００２２】
以下に各サブシステム毎に詳細に説明する。
【００２３】
図３に、本発明の符号化動画像編集装置における編集対象である符号化動画像を復号化し、本発明の方法を用いて編集を行う際に必要な符号化情報を出力する復号化サブシステム２０１の動作フローチャートを示し、以下に説明する。
【００２４】
Ｓ２００は、符号化動画像を記憶装置１００または符号化動画像入出力装置１０５より読み出し、メモリ１０７に読み出す。Ｓ２０１は、メモリ１０７に符号化動画像の全フレームの復号化が終了したか否かを判定し、判定結果が終了した場合には復号化サブシステム２０１の動作を終了する。
【００２５】
ヘッダーの読み出しＳ２０２は、当該符号化動画像のヘッダー部を読み出だす。
【００２６】
符号化タイプの出力Ｓ２０３は、当該ヘッダーに書き込まれている符号化フレームの符号化タイプが内部符号化であるか、片方向予測符号化であるかあるいは双方向符号化であるかを、ヘッダー部と共に符号化情報としてメモリ１０７の符号化情報ファイル２０４に保存する。
【００２７】
Ｓ２０４は、符号化フレームの全データを復号化し終えたか否かを判定し、フレームの全データの復号化を終了した場合にはＳ２００へ動作を進める。フレームの全データの復号化が終了していない場合には、Ｓ２０５へ動作を進める。
【００２８】
Ｓ２０５は、符号化フレームを構成するマクロブロック（ＭＢ）のデータを読み出し、復号化し、符号化情報である当該ＭＢの符号化モード、動きベクトル値、量子化係数値、ＤＣＴタイプ（フィールド構造としてＭＢのＤＣＴを行うかあるいはフレーム構造としてＭＢのＤＣＴを行うかを示す）、量子化されたＤＣＴ係数値を読み出し復号化して、必要な情報を符号化情報としてメモリ１０７の符号化情報ファイル２０４に記憶する。
【００２９】
Ｓ２０６は、前記ステップＳ２０５によって復号化された、符号化情報である符号化モード、動きベクトル値、量子化係数、ＤＣＴタイプ、量子化されたＤＣＴ係数値を用いて、必要であれば参照画像を動きベクトル値に基づいて参照画像を作成し、ＤＣＴ係数を当該量子化係数によって逆量子化し、逆量子化された係数をＤＣＴタイプに基づいて逆ＤＣＴを行い、必要な場合当該参照画像と当該逆ＤＣＴを行った結果を加えることによってＭＢの復号化画像を作成し、メモリ１０７の復号化画像ファイルに２０５に記憶する。
【００３０】
ステップＳ２０４に戻り、全ての符号化フレームについて、Ｓ２０４〜Ｓ２０６の処理を繰り返す。
【００３１】
次に、図４を用いて、本発明の符号化動画像編集装置において、復号化サブシステム２０１によって得られる復号化された復号化画像と符号化情報、及び編集サブシステム２００からの編集情報に基づいて、再符号化する符号化サブシステムの動作説明を行う。
【００３２】
Ｓ３００は、符号化サブシステム２０２が符号化を終了する条件を満たしている場合には符号化サブシステム２０２の動作を停止し、符号化サブシステム２０２が終了する条件を満たしていない場合にはステップＳ３０１に実行の制御を移す。
【００３３】
Ｓ３０１は、メモリ１７の復号化画像ファイル２０５から符号化サブシステムが符号化を行う符号化フレームの入力を行う。Ｓ３０２は、前記復号化サブシステム２０１によって出力される符号化タイプをメモリ１７の符号化情報ファイル２０４から読み出し、符号化サブシステム２０２に入力する。Ｓ３０３は、符号化サブシステム２０２によって符号化を行う符号化フレームの画像サイズ等のMPEG2 Videoの復号化を行うために必要なパラメータを符号化情報ファイル２０４から読み出し、編集しヘッダーとしてメモリ１７の符号化動画像ファイル２０３に出力する。
【００３４】
Ｓ３０４は、符号化サブシステム２０２が符号化フレームの全画像の符号化を終了した場合には、ステップＳ３００に進み、符号化フレームの全画像の符号化が終了していない場合にはステップＳ３０５に進む。
【００３５】
Ｓ３０５は、符号化フレームのＭＢの各符号化モードに応じた動きベクトルを、例えば水平方向１６画素垂直方向１６画素の範囲の任意の動きベクトルを用いた場合の、符号化を行うＭＢの画素と動きベクトルを用いて動き補償を行った場合での輝度成分の誤差の総和のもっとも小さくなるものを、ＭＢの符号化を行う際に用いる動きベクトルの候補として決定する。
【００３６】
Ｓ３０６は、Ｓ３０５によって算出した、各符号化モード毎に動きベクトルを用いて符号化した場合の、差分画像の絶対値の誤差等の統計量を用い、その統計量がもっとも小さくなるようなものを符号化モードとして決定する。ただし、符号化モードには、動きベクトルを用いるフレーム間符号化およびフレーム内符号化が含まれる。
【００３７】
Ｓ３０７は、ＭＢの量子化係数を入力する。Ｓ３０８は、ＭＢの直交変換の種類（本実施例においては、ＤＣＴモード）を入力する。Ｓ３０９は、編集サブシステム２００の編集情報の出力をＳ３０７において入力された外部直交変換種が有効であるかの情報によって、外部直交変換種が有効である場合にはステップＳ３１１に進み、外部直交変換種が有効でない場合にはステップＳ３１０に進む。
【００３８】
Ｓ３１０は、Ｓ３０６によって決定した符号化モードで動き補償を行った結果の差分画像または原画像を、フレーム構造によってＤＣＴを行うか、フィールド構造によってＤＣＴを行うかを決定し、当該ＤＣＴモードによってＤＣＴを行う。Ｓ３１１は、外部より入力された直交変換種、すなわちＤＣＴＲモードによってＤＣＴを行う。
【００３９】
Ｓ３１２は、編集サブシステム２００の出力をＳ３０７において入力された外部入力量子化係数が有効であるかどうかの情報によって、外部入力量子化係数が有効である場合には制御をステップＳ３１３に進み、外部入力量子化係数が有効でない場合には制御をステップＳ３１４に進む。
【００４０】
Ｓ３１３は、Ｓ３１０あるいはＳ３１１によって動き補償済みのＭＢあるいは原画像を直交変換を行った結果に対して外部入力量子化係数によって量子化を行う。Ｓ３１４は、符号化サブシステム２０２内に存在する符号量積算サブシステムによって決定された積算符号量に応じて量子化係数を決定し、当該量子化係数によって動き補償済みのＭＢあるいは原画像を直交変換を行った結果を量子化する。
【００４１】
Ｓ３１５は、Ｓ３１３あるいはＳ３１４によって決定された量子化係数を符号として出力する。Ｓ３１６は、Ｓ３１０あるいはＳ３１１によって決定された直交変換種を符号として出力する。Ｓ３０１７は、Ｓ３１３あるいはＳ３１４によって量子化された値を符号として出力する。
【００４２】
Ｓ３１８は、Ｓ３１３あるいはＳ３１４によって量子化された結果を逆量子化する。Ｓ３２０は、Ｓ３１０或はＳ３１１によって直交変換された結果を逆直交変換する。Ｓ３２１は、Ｓ３２０によって再生された画像によって参照画像の更新を行い、ステップＳ３０４に戻る。
【００４３】
図５は、本発明の符号化動画像編集装置における編集サブシステム２００の動作フローチャートを示したものである。
【００４４】
Ｓ４００は、編集装置を操作する操作者が編集対象となる符号化動画像を指定する。Ｓ４０１は、Ｓ４００によって入力された符号化動画像内の編集位置を操作者が指定する値を入力する。この場合、復号化サブシステム２０１により再生された再生画像を表示装置２０７に表示しながら編集位置を指定することが出来る。
【００４５】
Ｓ４０２は、Ｓ４０１によって入力された符号化動画像内の編集位置がＳ４００によって指定された符号化動画像内に含まれているか否かを判定し、入力された編集位置が符号化動画像内に含まれている場合にはステップＳ４０３に進み、入力された編集位置が符号化動画像内に含まれている場合にはステップＳ４０４に進む。
【００４６】
Ｓ４０４は、復号化サブシステム２０１によって出力された符号化タイプを入力する。Ｓ４０５は、Ｓ４０４によって符号化サブシステム２０２より出力された符号化タイプが有効であるかどうかを判定する。符号化タイプが有効であるのは、復号化サブシステム２０１より出力された符号化タイプが内部符号化されているか、或は、片方向予測符号化によって符号化されておりかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているか、或は、当該符号化フレームが両方向予測符号化がされていてかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているかどうかで判定する。
【００４７】
Ｓ４０６は、Ｓ４０５による判定に基づき、符号化タイプが有効である場合には、符号化タイプが有効であること示す判定情報と符号化タイプを出力し、符号化タイプが有効でない場合には符号化タイプが有効でないことを示す判定情報のみを出力する。
【００４８】
Ｓ４０７は、編集対象である符号化フレームに含まれるＭＢの処理が全て終了したかどうかを判定し、全てのＭＢの処理が終了した場合にはステップＳ４０３に戻り、全てのＭＢの処理が終了していない場合にはステップＳ４０８に進む。
【００４９】
Ｓ４０８は、復号化サブシステム２０１によって出力される量子化係数値を入力する。Ｓ４０９は、復号化サブシステム２０１によって出力される直交変換種を入力する。Ｓ４１０は、Ｓ４０５によって符号化タイプが有効であると判定された場合にはＳ４０８によって入力された量子化係数が有効であると判定し、Ｓ４０５によって符号化タイプが有効であると判定され無かった場合にはＳ４０８によって入力された量子化係数が有効でないと判定する。
【００５０】
Ｓ４１１は、Ｓ４０５によって符号化タイプが有効であると判定された場合にはＳ４０９によって入力された直交変換種が有効であると判定し、Ｓ４０５によって符号化タイプが有効であると判定され無かった場合にはＳ４０９によって入力された直交変換種が有効でないと判定する。
【００５１】
Ｓ４１２は、Ｓ４１０の判定結果により、入力された量子化係数が有効である場合には当該量子化係数とその量子化係数が有効であることを示す判定情報を出力し、入力された量子化係数が有効でない場合には、量子化係数が有効でないことを示す判定情報を出力する。
【００５２】
Ｓ４１３は、Ｓ４１１の判定結果により、入力された直交変換種が有効である場合には当該直交変換種とその直交変換種が有効であることを示す判定情報を出力し、入力された直交変換種が有効でない場合には、直交変換種が有効でないことを示す判定情報を出力する。
【００５３】
次に、図４のステップＳ３１４の符号量積算処理について詳細に説明する。図６は、本発明の符号化サブシステムにおける符号量積算処理の動作フローチャートを示したものである。符号量積算処理は、符号化サブシステム一部であり、符号化サブシステムによって生成された符号量をフレームごとに積算する働きをする。積算された符号量は、符号化サブシステムが内部量子化係数を用いて符号化する際に利用される。
【００５４】
Ｓ５００は、符号量の積算値を”０”にセットする。Ｓ５０１は、符号化サブシステムでの符号化が終了したか否かを判定し符号化が終了した場合には符号量積算サブシステムは動作を停止し、符号化が終了していない場合にはＳ５０２に制御を移す。
【００５５】
Ｓ５０２は、符号化サブシステムにおいて符号化フレームの符号化が終了した場合にはＳ５０１に制御を移し、符号化サブシステムにおいて符号化フレームの符号化が終了していない場合にはＳ５０３に制御を移す。
【００５６】
Ｓ５０３は、符号化サブシステムにおいてＭＢの符号化が終了したか否かを判定し、ＭＢの符号化が終了した場合にはＳ５０４に制御を移し、ＭＢの符号化が行われている場合にはＳ５０３に制御を移す。Ｓ５００４は、符号化を終えたＭＢの発生符号量を符号量の積算値に加える。
【００５７】
（実施の形態２）
図７に本発明の実施の形態２における符号化動画像編集装置のブロック図を示し説明する。
【００５８】
図７において、９００は符号化動画像を入力し、当該符号化動画像を復号化した復号化画像と符号化情報である符号化タイプと量子化係数と直交変換種とを出力する復号化処理を行う復号化サブシステム、９０１は復号化サブシステム９００によって出力された復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を基に符号化処理を行う符号化サブシステム、９０２は編集を行う当該編集装置の操作者が符号化動画像を指定し符号化動画像の編集位置を指定する編集位置指定手段、９０３は復号化サブシステム９００からの符号化タイプと直交変換種及び量子化係数がそれぞれ有効であるかどうかの判定情報と復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を出力する出力判定手段から構成される。
【００５９】
上記のように構成された符号化動画像編集装置について、各サブブロック毎に詳細に説明する。
【００６０】
図８に復号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによって符号化された動画像の復号化を例に説明する。
【００６１】
符号化動画像入力手段７００は、符号化された動画像を入力し、入力された符号化動画像を符号分配手段７０１に出力する。符号分配手段７０１は、入力された符号を復号化し、符号の意味を判別して、入力された符号が符号化タイプである場合には、符号化タイプを判定するために必要な符号を符号化タイプ判定手段７０２に出力し、入力された符号が直交変換種である場合には、直交変換種を判定するために必要な符号を、直交変換種判定手段７０３に出力し、入力された符号が量子化係数である場合には量子化係数を判定するために必要な符号を量子化係数判定手段７０４に出力し、入力された符号が符号化モードである場合には符号化モードを判定するために必要な符号を符号化モード判定手段７０５に出力し、入力された符号が動きベクトルを表す場合に動きベクトルを判定する多面に必要な符号を動きベクトル判定手段７０６に出力し、入力された符号が量子化された係数値を表す場合には、量子化された計数値を判定するために必要な符号を係数読み出し手段７０７に出力する。
【００６２】
符号化タイプ判定手段７０２は、符号分配手段７０１より入力された符号の符号化タイプを判定し、当該符号化タイプを出力する。直交変換種判定手段７０３は、入力された符号の直交変換種を判定し当該直交変換種を出力する。量子化係数判定手段７０４は、入力された量子化係数を判定し当該量子化係数を出力する。符号化モード判定手段７０５は、符号分配手段７０１より入力された符号の符号化モードを判定する。
【００６３】
動きベクトル判定手段７０６は、入力された符号の動きベクトル値を判定する。係数読み出し手段７０７は、入力された符号の符号化モードと動きベクトルによって動き補償された画像を直交変換し、さらに量子化された係数値を判定する。
【００６４】
逆量子化手段７０９は、係数読み出し手段７０７によって得られた値を、量子化係数判定手段７０４によって出力された量子化係数によって逆量子化する。逆直交変換手段７１０は、逆量子化手段７０９によって得られた値を、直交変換種判定手段７０３によって判定された直交変換種に応じた逆直交変換を行う。
【００６５】
動き補償手段７０８は、符号化タイプ判定手段７０２によって判定された符号化タイプに応じて参照画像を選択し、符号化モード判定手段７０５によって判定された符号化モードに応じて動きベクトル判定手段７０６によって判定された動きベクトルを用いた動き補償を行い復号化画像を作成する。フレームバッファ７１１は、動き補償手段７０８によって出力された復号化画像を保存し、復号化画像を出力する。
【００６６】
次に、図９に符号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによる符号化を例に説明する。
【００６７】
符号化タイプ決定手段８００は、あらかじめ決められたＧＯＰの構造によって符号化フレームの符号化タイプを決定する。符号化タイプ入力手段８０１は、符号化タイプを外部から入力する。入力手段８０２は、符号化タイプ入力手段８０１より入力される符号化タイプと、直交変換種入力手段８０４より入力される直交変換種と、量子化係数入力手段８０４より入力される量子化係数がそれぞれ有効であるかどうかを示す情報を入力する。
【００６８】
スイッチ８１７は、入力手段８０２より入力された情報のうち符号化タイプに関する情報を用い、符号化タイプ入力手段８０１より入力された情報が有効である場合には符号化タイプ入力手段８０１より入力された符号化タイプを出力し、符号化タイプ入力手段８０１より入力された情報が有効でない場合には符号化タイプ決定手段８００によって決定された符号化タイプを出力する。
【００６９】
直交変換種入力手段８０３は、ＭＢを直交変換する際に用いる直交変換の種類を外部より入力する。量子化係数入力手段８０４は、ＭＢを量子化する際に用いる量子化係数を入力する。符号量制御手段８０５は、発生符号量の積算を行い、また、符号化開始時点からの平均発生符号量をもとに符号化開始時点からの発生符号量の目標値を計算し、当該発生符号量と当該発生符号量の目標値との差分が大きい場合には量子化係数を大きくし、当該発生符号量と当該発生符号量の目標値との差分が小さい場合には量子化係数を小さくすすることで、発生符号量に応じて量子化係数を出力する。
【００７０】
スイッチ８１８は、入力手段８０２によって入力された情報のうち直交変換種入力手段８０３によって入力された直交変換種が有効であることを示す場合には直交変換種入力手段８０３によって入力された直交変換種を出力し、入力手段８０２によって入力された情報のうち直交変換種入力手段８０３によって入力された直交変換種が有効でないことを示す場合には直交変換種決定手段８１４によって決定された直交変換種を出力する。
【００７１】
スイッチ８１９は、入力手段８０２によって入力された情報のうち量子化係数入力手段８０４によって入力された量子化係数値が有効であることを示す場合には、量子化係数入力手段８０４によって入力された量子化係数を出力し、入力手段８０２によって入力された情報のうち量子化係数入力手段８０４によって入力された量子化係数値が有効でないことを示す場合には、符号量制御手段８０５によって決定された量子化係数を出力する。
【００７２】
動画像入力手段８０６は、当該符号化装置によって符号化を行う符号化フレームを入力する。動きベクトル探索手段８０７は、スイッチ８１７より出力される符号化タイプの情報に基づきフレームバッファ８１６に格納されている参照画像を参照し動画像入力手段８０６より入力される原画像の情報をもとに動きベクトルを探索し、動きベクトルを出力する。
【００７３】
符号化モード決定手段８０８は、動きベクトル探索手段８０７からの動きベクトルの値と動画像入力手段８０６より入力される原画像の値とスイッチ８１７より出力される符号化タイプに基づいてフレームバッファ８１６に格納されている参照画像を用い、動きベクトルによって動き補償を行った画像と原画像との差分画像の輝度成分の絶対値の和を求め、その和がもっとも小さいものを符号化モードの候補とする。同候補の差分画像の輝度成分の画素値の２乗和と原画像の２乗和を求め、差分画像の輝度成分の画素値の２乗和が原画像の２乗和より小さい場合には当該動きベクトルを用いた動き補償を行う符号化モードを出力し、差分画像の輝度成分の画素値の２乗和が原画像の２乗和より小さく無い場合には、内部符号化を符号化モードを出力する。
【００７４】
動き補償手段８０９は、符号化モード決定手段８０８より出力される符号化モードに応じて、当該符号化モードがフレーム間符号化である場合には、フレームバッファ８１６の参照画像を参照し原画像と参照画像との差分画像を生成し当該差分画像を出力する。また、符号化モード決定手段８０８より出力される符号化モードが、フレーム内符号化である場合には、原画像を出力する。
【００７５】
直交変換手段８１０は、動き補償手段８０９によって出力されたＭＢのデータをスイッチ８１８より入力される直交変換種によって直交変換する。量子化手段８１１は、直交変換手段８１０より出力される直交変換結果をスイッチ８１９より入力される量子化係数によって量子化する。
【００７６】
逆量子化手段８１２は、量子化手段８１１によって量子化された結果を逆量子化する。直交変換手段８１３は、逆量子化手段８１３によって逆量子化された結果を逆直交変換し参照画像を生成する。
【００７７】
フレームバッファ８１６は、逆直交変換手段８１３によって出力された参照画像を保存し、動きベクトル探索手段８０７、符号化モード決定手段８０８、動き補償手段８０９および直交変換種決定手段８１４に出力する。
【００７８】
符号生成手段８１５は、符号化モード決定手段８０８によって決定された符号化モードと当該符号化モードに応じた動きベクトルと直交変換種と量子化係数とを符号化し出力する。
【００７９】
【発明の効果】
以上のように本発明によれば、複数の符号化動画像を任意の位置で編集する際に、編集後の符号化タイプと量子化係数と直交変換種を編集前の当該符号化フレームの符号化タイプと量子化係数と直交変換種とを同一にすることで、編集後の画像の画質を劣化させずに高画質な再符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における符号化動画像編集装置のブロック図
【図２】本発明の実施の形態１における符号化動画像編集装置の各サブシステムのデータの流れを説明するブロック図
【図３】本発明の実施の形態１における復号化サブシステムの動作フローチャート
【図４】本発明の実施の形態１における符号化サブシステムの動作フローチャート
【図５】本発明の実施の形態１における編集サブシステムの動作フローチャート
【図６】本発明の実施の形態１における符号量積算サブシステムの動作フローチャート
【図７】本発明の実施の形態２における符号化動画像編集システムのブロック図
【図８】本発明の実施の形態２における復号化サブシステムのブロック図
【図９】本発明の実施の形態２における符号化サブシステムのブロック図
【符号の説明】
１００ ＣＰＵ
１０１ 記憶装置
１０２ 符号化動画像
１０３ 入出力制御部
１０４ 入力装置
１０５ 符号化動画像入出力装置
１０６ 表示装置
１０７ メモリ
７００ 符号化動画像入力手段
７０１ 符号分配手段
７０２ 符号化タイプ判定手段
７０３ 直交変換種判定手段
７０４ 量子化係数判定手段
７０５ 符号化モード判定手段
７０６ 動きベクトル判定手段
７０７ 係数読み出し手段
７０８ 動き補償手段
７０９ 逆量子化手段
７１０ 逆直交変換手段
７１１ フレームバッファ
８００ 符号化タイプ決定手段
８０１ 符号化タイプ入力手段
８０２ 入力手段
８０３ 直交変換種入力手段
８０４ 量子化係数入力手段
８０５ 符号量制御手段
８０６ 動画像入力手段
８０７ 動きベクトル探索手段
８０８ 符号化モード決定手段
８０９ 動き補償手段
８１０ 直交変換手段
８１１ 量子化手段
８１２ 逆量子化手段
８１３ 逆直交変換手段
８１４ 直交変換種決定手段
８１５ 符号生成手段
８１６ フレームバッファ
８１７ スイッチ
８１８ スイッチ
８１９ スイッチ
９００ 復号化サブシステム
９０１ 符号化サブシステム
９０２ 編集位置指定手段
９０３ 出力判定手段
【発明の属する技術分野】
本発明は、符号化動画像の編集を行う符号化動画像編集方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、ISO/IEC１３３１８-２（以下MPEG２ Videoによる符号化と略す。）によって既に符号化が行なわれている符号化動画像をフレーム単位で編集を行う場合には、たとえば、P. Brightwell らによる"Flexible switching and editing of MPEG-2 video bitstreams" Proceedings of IBC'97, Amsterdam, p.547に述べられているような、復号化装置からＭＢ毎に、符号化モード、動きベクトル、量子化係数、ＤＣＴモードを伝達し、符号化装置でマクロブロック（ＭＢ）毎に符号化モード、動きベクトル、量子化係数、ＤＣＴモードをエンコーダに伝達し、ＭＢ毎に伝達される符号化モード、動きベクトル、量子化係数、ＤＣＴモードを用いて符号化を行っていた。
【０００３】
【発明が解決しようとする課題】
しかし、このような方法で再符号化を行う場合、ＭＢ毎に復号化装置から符号化装置へ転送する情報量が多いため、実時間で編集装置を構成することが困難であった。
【０００４】
本発明は、同一の符号化動画像を含む複数の符号化動画像の編集を行う際に、編集前の符号化動画像の画質を保つために、編集前の符号化動画像に含まれている、動きベクトル、符号化モード、量子化係数等の符号化情報のうち一部を利用し、その他の情報は符号化装置において外部情報に依らずに決定することにより、復号化装置から符号化装置へ渡す情報量を少なくし、かつ画質を維持する符号化動画像編集方法および装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この課題を解決するために本発明は、符号化動画像内に符号化されている各種符号化情報のうち、編集前の符号化動画像のピクチャータイプ、量子化マトリックスを含む量子化係数およびＤＣＴをフィールド構造で行うかあるいはフレーム構造で行うかを指定するＤＣＴモードの情報を復号器より出力し、動きベクトルおよび符号化モードは符号器によって決定するようにしたものである。
【０００６】
【発明の実施の形態】
本発明の請求項１に記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集方法において、復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定し、前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行うものであり、符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、編集後の符号化フレームの符号化情報が編集前の当該符号化フレームの符号化情報と同一となるように編集を行うことで再符号化を行った際の画質を劣化させない作用がある。
【０００８】
請求項２に記載の発明は、再符号化を行う際に、符号量制御が必要ない場合には、動きベクトルを探索し探索した動きベクトルを用いて動き補償を行い、直交変換種は前記復号化時に得られた直交変換情報を利用して直交変換を行い、前記量子化情報をそのまま利用して量子化を行うもので、復号化時の符号化パラメータの有効性の判定を行い、復号化時の符号化パラメータを利用して再符号化を行うことにより、画質を劣化させない作用がある。
【０００９】
請求項３記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集装置において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定するパラメータ有効性判定部、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行う符号化部とを有するもので、
符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１０】
請求項５に記載の発明は、請求項１乃至３のいずれかに記載の符号化動画像編集方法において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１１】
請求項６に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の任意の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムとからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【００１２】
請求項７に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムと、符号化された動画像を入出力する記憶装置とからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【００１３】
請求項８に記載の発明は、請求項６乃至７のいずれかに記載の符号化動画像編集装置において、符号化情報は、符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１４】
請求項９に記載の発明は、請求項６乃至７のいずれかに記載の符号化動画像編集装置において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びＤＣＴモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【００１５】
請求項１０に記載の発明は、請求項７記載の符号化動画像編集装置において、符号化された動画像を入出力する記憶装置は、ＤＶＤ、メモリチップ及びメモリカードとしたもので、各種の映像再生装置に適用できる。
【００１６】
以下、本発明の実施の形態について図を参照して説明する。
【００１７】
（実施の形態１）
本発明の実施の形態１について図を用いて説明する。ただし、本実施の形態の符号化方法として、MPEG２によって符号化された動画像の編集を例として説明する。
【００１８】
図１は、本発明の実施の形態における符号化動画像編集装置をコンピュータシステムで構築した１例である。図１において、ＣＰＵ１００は、符号化動画像編集装置の各処理を実行するものである。記憶装置１０１は符号化された動画像を一時的あるいは永続的に保存する記憶装置であり、符号化動画像を編集する際の編集対象である複数の符号化動画像や編集結果の符号化動画像あるいは、その他の情報を一時的あるいは永続的に保存するものである。符号化動画像１０２は、上記編集対象である複数の符号化動画像や編集結果の符号化動画像である。
【００１９】
入出力制御部１０３は、入力装置１０４、符号化動画像入出力装置１０５および表示装置１０６とＣＰＵ１００とのインターフェースとなる装置であり、入力装置１０４および符号化動画像入出力装置１０５からの情報をＣＰＵ１００へ伝達し、ＣＰＵ１００からの情報を表示装置１０６へ伝達する働きをする。入力装置１０４は、キーボード、マウス、その他の符号化動画像編集装置を操作する操作者からの入力を行う装置である。符号化動画像入出力装置１０５は、符号化動画像編集装置に符号化された動画像を入出力するための装置で、ＤＶＤ、メモリチップ及びメモリカード等がある。表示装置１０６は、符号化動画像編集装置の状態を操作者に提示する装置である。メモリ１０７は、ＣＰＵ１００によって一時的に使われる記憶装置である。
【００２０】
上記のように構成された符号化動画像編集装置は、機能別に３つのサブシステムで構成されており、図２に機能ブロックとデータの流れを示し、以下に説明する。
【００２１】
２００は、符号化動画像編集装置を操作する操作者によって編集対象となる符号化動画像の指定と編集位置を入力する編集サブシステム、２０１は編集対象である符号化動画像の復号化と符号化動画像内に符号化されている符号化情報の一部を出力する復号化サブシステム、２０２は復号化サブシステム２０１によって復号化された復号化画像を復号化サブシステム２０１によって出力される符号化情報をもとに、再符号化する符号化サブシステム、２０３は符号化動画像を一時的に保存する符号化動画像ファイル、２０４は復号化サブシステム２０１で符号化された符号化情報を一時的に保存する符号化情報ファイル、２０５は符号化サブシステム２０１で再生された復号化画像を一時的に保存する復号化画像ファイルである。
【００２２】
以下に各サブシステム毎に詳細に説明する。
【００２３】
図３に、本発明の符号化動画像編集装置における編集対象である符号化動画像を復号化し、本発明の方法を用いて編集を行う際に必要な符号化情報を出力する復号化サブシステム２０１の動作フローチャートを示し、以下に説明する。
【００２４】
Ｓ２００は、符号化動画像を記憶装置１００または符号化動画像入出力装置１０５より読み出し、メモリ１０７に読み出す。Ｓ２０１は、メモリ１０７に符号化動画像の全フレームの復号化が終了したか否かを判定し、判定結果が終了した場合には復号化サブシステム２０１の動作を終了する。
【００２５】
ヘッダーの読み出しＳ２０２は、当該符号化動画像のヘッダー部を読み出だす。
【００２６】
符号化タイプの出力Ｓ２０３は、当該ヘッダーに書き込まれている符号化フレームの符号化タイプが内部符号化であるか、片方向予測符号化であるかあるいは双方向符号化であるかを、ヘッダー部と共に符号化情報としてメモリ１０７の符号化情報ファイル２０４に保存する。
【００２７】
Ｓ２０４は、符号化フレームの全データを復号化し終えたか否かを判定し、フレームの全データの復号化を終了した場合にはＳ２００へ動作を進める。フレームの全データの復号化が終了していない場合には、Ｓ２０５へ動作を進める。
【００２８】
Ｓ２０５は、符号化フレームを構成するマクロブロック（ＭＢ）のデータを読み出し、復号化し、符号化情報である当該ＭＢの符号化モード、動きベクトル値、量子化係数値、ＤＣＴタイプ（フィールド構造としてＭＢのＤＣＴを行うかあるいはフレーム構造としてＭＢのＤＣＴを行うかを示す）、量子化されたＤＣＴ係数値を読み出し復号化して、必要な情報を符号化情報としてメモリ１０７の符号化情報ファイル２０４に記憶する。
【００２９】
Ｓ２０６は、前記ステップＳ２０５によって復号化された、符号化情報である符号化モード、動きベクトル値、量子化係数、ＤＣＴタイプ、量子化されたＤＣＴ係数値を用いて、必要であれば参照画像を動きベクトル値に基づいて参照画像を作成し、ＤＣＴ係数を当該量子化係数によって逆量子化し、逆量子化された係数をＤＣＴタイプに基づいて逆ＤＣＴを行い、必要な場合当該参照画像と当該逆ＤＣＴを行った結果を加えることによってＭＢの復号化画像を作成し、メモリ１０７の復号化画像ファイルに２０５に記憶する。
【００３０】
ステップＳ２０４に戻り、全ての符号化フレームについて、Ｓ２０４〜Ｓ２０６の処理を繰り返す。
【００３１】
次に、図４を用いて、本発明の符号化動画像編集装置において、復号化サブシステム２０１によって得られる復号化された復号化画像と符号化情報、及び編集サブシステム２００からの編集情報に基づいて、再符号化する符号化サブシステムの動作説明を行う。
【００３２】
Ｓ３００は、符号化サブシステム２０２が符号化を終了する条件を満たしている場合には符号化サブシステム２０２の動作を停止し、符号化サブシステム２０２が終了する条件を満たしていない場合にはステップＳ３０１に実行の制御を移す。
【００３３】
Ｓ３０１は、メモリ１７の復号化画像ファイル２０５から符号化サブシステムが符号化を行う符号化フレームの入力を行う。Ｓ３０２は、前記復号化サブシステム２０１によって出力される符号化タイプをメモリ１７の符号化情報ファイル２０４から読み出し、符号化サブシステム２０２に入力する。Ｓ３０３は、符号化サブシステム２０２によって符号化を行う符号化フレームの画像サイズ等のMPEG2 Videoの復号化を行うために必要なパラメータを符号化情報ファイル２０４から読み出し、編集しヘッダーとしてメモリ１７の符号化動画像ファイル２０３に出力する。
【００３４】
Ｓ３０４は、符号化サブシステム２０２が符号化フレームの全画像の符号化を終了した場合には、ステップＳ３００に進み、符号化フレームの全画像の符号化が終了していない場合にはステップＳ３０５に進む。
【００３５】
Ｓ３０５は、符号化フレームのＭＢの各符号化モードに応じた動きベクトルを、例えば水平方向１６画素垂直方向１６画素の範囲の任意の動きベクトルを用いた場合の、符号化を行うＭＢの画素と動きベクトルを用いて動き補償を行った場合での輝度成分の誤差の総和のもっとも小さくなるものを、ＭＢの符号化を行う際に用いる動きベクトルの候補として決定する。
【００３６】
Ｓ３０６は、Ｓ３０５によって算出した、各符号化モード毎に動きベクトルを用いて符号化した場合の、差分画像の絶対値の誤差等の統計量を用い、その統計量がもっとも小さくなるようなものを符号化モードとして決定する。ただし、符号化モードには、動きベクトルを用いるフレーム間符号化およびフレーム内符号化が含まれる。
【００３７】
Ｓ３０７は、ＭＢの量子化係数を入力する。Ｓ３０８は、ＭＢの直交変換の種類（本実施例においては、ＤＣＴモード）を入力する。Ｓ３０９は、編集サブシステム２００の編集情報の出力をＳ３０７において入力された外部直交変換種が有効であるかの情報によって、外部直交変換種が有効である場合にはステップＳ３１１に進み、外部直交変換種が有効でない場合にはステップＳ３１０に進む。
【００３８】
Ｓ３１０は、Ｓ３０６によって決定した符号化モードで動き補償を行った結果の差分画像または原画像を、フレーム構造によってＤＣＴを行うか、フィールド構造によってＤＣＴを行うかを決定し、当該ＤＣＴモードによってＤＣＴを行う。Ｓ３１１は、外部より入力された直交変換種、すなわちＤＣＴＲモードによってＤＣＴを行う。
【００３９】
Ｓ３１２は、編集サブシステム２００の出力をＳ３０７において入力された外部入力量子化係数が有効であるかどうかの情報によって、外部入力量子化係数が有効である場合には制御をステップＳ３１３に進み、外部入力量子化係数が有効でない場合には制御をステップＳ３１４に進む。
【００４０】
Ｓ３１３は、Ｓ３１０あるいはＳ３１１によって動き補償済みのＭＢあるいは原画像を直交変換を行った結果に対して外部入力量子化係数によって量子化を行う。Ｓ３１４は、符号化サブシステム２０２内に存在する符号量積算サブシステムによって決定された積算符号量に応じて量子化係数を決定し、当該量子化係数によって動き補償済みのＭＢあるいは原画像を直交変換を行った結果を量子化する。
【００４１】
Ｓ３１５は、Ｓ３１３あるいはＳ３１４によって決定された量子化係数を符号として出力する。Ｓ３１６は、Ｓ３１０あるいはＳ３１１によって決定された直交変換種を符号として出力する。Ｓ３０１７は、Ｓ３１３あるいはＳ３１４によって量子化された値を符号として出力する。
【００４２】
Ｓ３１８は、Ｓ３１３あるいはＳ３１４によって量子化された結果を逆量子化する。Ｓ３２０は、Ｓ３１０或はＳ３１１によって直交変換された結果を逆直交変換する。Ｓ３２１は、Ｓ３２０によって再生された画像によって参照画像の更新を行い、ステップＳ３０４に戻る。
【００４３】
図５は、本発明の符号化動画像編集装置における編集サブシステム２００の動作フローチャートを示したものである。
【００４４】
Ｓ４００は、編集装置を操作する操作者が編集対象となる符号化動画像を指定する。Ｓ４０１は、Ｓ４００によって入力された符号化動画像内の編集位置を操作者が指定する値を入力する。この場合、復号化サブシステム２０１により再生された再生画像を表示装置２０７に表示しながら編集位置を指定することが出来る。
【００４５】
Ｓ４０２は、Ｓ４０１によって入力された符号化動画像内の編集位置がＳ４００によって指定された符号化動画像内に含まれているか否かを判定し、入力された編集位置が符号化動画像内に含まれている場合にはステップＳ４０３に進み、入力された編集位置が符号化動画像内に含まれている場合にはステップＳ４０４に進む。
【００４６】
Ｓ４０４は、復号化サブシステム２０１によって出力された符号化タイプを入力する。Ｓ４０５は、Ｓ４０４によって符号化サブシステム２０２より出力された符号化タイプが有効であるかどうかを判定する。符号化タイプが有効であるのは、復号化サブシステム２０１より出力された符号化タイプが内部符号化されているか、或は、片方向予測符号化によって符号化されておりかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているか、或は、当該符号化フレームが両方向予測符号化がされていてかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているかどうかで判定する。
【００４７】
Ｓ４０６は、Ｓ４０５による判定に基づき、符号化タイプが有効である場合には、符号化タイプが有効であること示す判定情報と符号化タイプを出力し、符号化タイプが有効でない場合には符号化タイプが有効でないことを示す判定情報のみを出力する。
【００４８】
Ｓ４０７は、編集対象である符号化フレームに含まれるＭＢの処理が全て終了したかどうかを判定し、全てのＭＢの処理が終了した場合にはステップＳ４０３に戻り、全てのＭＢの処理が終了していない場合にはステップＳ４０８に進む。
【００４９】
Ｓ４０８は、復号化サブシステム２０１によって出力される量子化係数値を入力する。Ｓ４０９は、復号化サブシステム２０１によって出力される直交変換種を入力する。Ｓ４１０は、Ｓ４０５によって符号化タイプが有効であると判定された場合にはＳ４０８によって入力された量子化係数が有効であると判定し、Ｓ４０５によって符号化タイプが有効であると判定され無かった場合にはＳ４０８によって入力された量子化係数が有効でないと判定する。
【００５０】
Ｓ４１１は、Ｓ４０５によって符号化タイプが有効であると判定された場合にはＳ４０９によって入力された直交変換種が有効であると判定し、Ｓ４０５によって符号化タイプが有効であると判定され無かった場合にはＳ４０９によって入力された直交変換種が有効でないと判定する。
【００５１】
Ｓ４１２は、Ｓ４１０の判定結果により、入力された量子化係数が有効である場合には当該量子化係数とその量子化係数が有効であることを示す判定情報を出力し、入力された量子化係数が有効でない場合には、量子化係数が有効でないことを示す判定情報を出力する。
【００５２】
Ｓ４１３は、Ｓ４１１の判定結果により、入力された直交変換種が有効である場合には当該直交変換種とその直交変換種が有効であることを示す判定情報を出力し、入力された直交変換種が有効でない場合には、直交変換種が有効でないことを示す判定情報を出力する。
【００５３】
次に、図４のステップＳ３１４の符号量積算処理について詳細に説明する。図６は、本発明の符号化サブシステムにおける符号量積算処理の動作フローチャートを示したものである。符号量積算処理は、符号化サブシステム一部であり、符号化サブシステムによって生成された符号量をフレームごとに積算する働きをする。積算された符号量は、符号化サブシステムが内部量子化係数を用いて符号化する際に利用される。
【００５４】
Ｓ５００は、符号量の積算値を”０”にセットする。Ｓ５０１は、符号化サブシステムでの符号化が終了したか否かを判定し符号化が終了した場合には符号量積算サブシステムは動作を停止し、符号化が終了していない場合にはＳ５０２に制御を移す。
【００５５】
Ｓ５０２は、符号化サブシステムにおいて符号化フレームの符号化が終了した場合にはＳ５０１に制御を移し、符号化サブシステムにおいて符号化フレームの符号化が終了していない場合にはＳ５０３に制御を移す。
【００５６】
Ｓ５０３は、符号化サブシステムにおいてＭＢの符号化が終了したか否かを判定し、ＭＢの符号化が終了した場合にはＳ５０４に制御を移し、ＭＢの符号化が行われている場合にはＳ５０３に制御を移す。Ｓ５００４は、符号化を終えたＭＢの発生符号量を符号量の積算値に加える。
【００５７】
（実施の形態２）
図７に本発明の実施の形態２における符号化動画像編集装置のブロック図を示し説明する。
【００５８】
図７において、９００は符号化動画像を入力し、当該符号化動画像を復号化した復号化画像と符号化情報である符号化タイプと量子化係数と直交変換種とを出力する復号化処理を行う復号化サブシステム、９０１は復号化サブシステム９００によって出力された復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を基に符号化処理を行う符号化サブシステム、９０２は編集を行う当該編集装置の操作者が符号化動画像を指定し符号化動画像の編集位置を指定する編集位置指定手段、９０３は復号化サブシステム９００からの符号化タイプと直交変換種及び量子化係数がそれぞれ有効であるかどうかの判定情報と復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を出力する出力判定手段から構成される。
【００５９】
上記のように構成された符号化動画像編集装置について、各サブブロック毎に詳細に説明する。
【００６０】
図８に復号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによって符号化された動画像の復号化を例に説明する。
【００６１】
符号化動画像入力手段７００は、符号化された動画像を入力し、入力された符号化動画像を符号分配手段７０１に出力する。符号分配手段７０１は、入力された符号を復号化し、符号の意味を判別して、入力された符号が符号化タイプである場合には、符号化タイプを判定するために必要な符号を符号化タイプ判定手段７０２に出力し、入力された符号が直交変換種である場合には、直交変換種を判定するために必要な符号を、直交変換種判定手段７０３に出力し、入力された符号が量子化係数である場合には量子化係数を判定するために必要な符号を量子化係数判定手段７０４に出力し、入力された符号が符号化モードである場合には符号化モードを判定するために必要な符号を符号化モード判定手段７０５に出力し、入力された符号が動きベクトルを表す場合に動きベクトルを判定する多面に必要な符号を動きベクトル判定手段７０６に出力し、入力された符号が量子化された係数値を表す場合には、量子化された計数値を判定するために必要な符号を係数読み出し手段７０７に出力する。
【００６２】
符号化タイプ判定手段７０２は、符号分配手段７０１より入力された符号の符号化タイプを判定し、当該符号化タイプを出力する。直交変換種判定手段７０３は、入力された符号の直交変換種を判定し当該直交変換種を出力する。量子化係数判定手段７０４は、入力された量子化係数を判定し当該量子化係数を出力する。符号化モード判定手段７０５は、符号分配手段７０１より入力された符号の符号化モードを判定する。
【００６３】
動きベクトル判定手段７０６は、入力された符号の動きベクトル値を判定する。係数読み出し手段７０７は、入力された符号の符号化モードと動きベクトルによって動き補償された画像を直交変換し、さらに量子化された係数値を判定する。
【００６４】
逆量子化手段７０９は、係数読み出し手段７０７によって得られた値を、量子化係数判定手段７０４によって出力された量子化係数によって逆量子化する。逆直交変換手段７１０は、逆量子化手段７０９によって得られた値を、直交変換種判定手段７０３によって判定された直交変換種に応じた逆直交変換を行う。
【００６５】
動き補償手段７０８は、符号化タイプ判定手段７０２によって判定された符号化タイプに応じて参照画像を選択し、符号化モード判定手段７０５によって判定された符号化モードに応じて動きベクトル判定手段７０６によって判定された動きベクトルを用いた動き補償を行い復号化画像を作成する。フレームバッファ７１１は、動き補償手段７０８によって出力された復号化画像を保存し、復号化画像を出力する。
【００６６】
次に、図９に符号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによる符号化を例に説明する。
【００６７】
符号化タイプ決定手段８００は、あらかじめ決められたＧＯＰの構造によって符号化フレームの符号化タイプを決定する。符号化タイプ入力手段８０１は、符号化タイプを外部から入力する。入力手段８０２は、符号化タイプ入力手段８０１より入力される符号化タイプと、直交変換種入力手段８０４より入力される直交変換種と、量子化係数入力手段８０４より入力される量子化係数がそれぞれ有効であるかどうかを示す情報を入力する。
【００６８】
スイッチ８１７は、入力手段８０２より入力された情報のうち符号化タイプに関する情報を用い、符号化タイプ入力手段８０１より入力された情報が有効である場合には符号化タイプ入力手段８０１より入力された符号化タイプを出力し、符号化タイプ入力手段８０１より入力された情報が有効でない場合には符号化タイプ決定手段８００によって決定された符号化タイプを出力する。
【００６９】
直交変換種入力手段８０３は、ＭＢを直交変換する際に用いる直交変換の種類を外部より入力する。量子化係数入力手段８０４は、ＭＢを量子化する際に用いる量子化係数を入力する。符号量制御手段８０５は、発生符号量の積算を行い、また、符号化開始時点からの平均発生符号量をもとに符号化開始時点からの発生符号量の目標値を計算し、当該発生符号量と当該発生符号量の目標値との差分が大きい場合には量子化係数を大きくし、当該発生符号量と当該発生符号量の目標値との差分が小さい場合には量子化係数を小さくすすることで、発生符号量に応じて量子化係数を出力する。
【００７０】
スイッチ８１８は、入力手段８０２によって入力された情報のうち直交変換種入力手段８０３によって入力された直交変換種が有効であることを示す場合には直交変換種入力手段８０３によって入力された直交変換種を出力し、入力手段８０２によって入力された情報のうち直交変換種入力手段８０３によって入力された直交変換種が有効でないことを示す場合には直交変換種決定手段８１４によって決定された直交変換種を出力する。
【００７１】
スイッチ８１９は、入力手段８０２によって入力された情報のうち量子化係数入力手段８０４によって入力された量子化係数値が有効であることを示す場合には、量子化係数入力手段８０４によって入力された量子化係数を出力し、入力手段８０２によって入力された情報のうち量子化係数入力手段８０４によって入力された量子化係数値が有効でないことを示す場合には、符号量制御手段８０５によって決定された量子化係数を出力する。
【００７２】
動画像入力手段８０６は、当該符号化装置によって符号化を行う符号化フレームを入力する。動きベクトル探索手段８０７は、スイッチ８１７より出力される符号化タイプの情報に基づきフレームバッファ８１６に格納されている参照画像を参照し動画像入力手段８０６より入力される原画像の情報をもとに動きベクトルを探索し、動きベクトルを出力する。
【００７３】
符号化モード決定手段８０８は、動きベクトル探索手段８０７からの動きベクトルの値と動画像入力手段８０６より入力される原画像の値とスイッチ８１７より出力される符号化タイプに基づいてフレームバッファ８１６に格納されている参照画像を用い、動きベクトルによって動き補償を行った画像と原画像との差分画像の輝度成分の絶対値の和を求め、その和がもっとも小さいものを符号化モードの候補とする。同候補の差分画像の輝度成分の画素値の２乗和と原画像の２乗和を求め、差分画像の輝度成分の画素値の２乗和が原画像の２乗和より小さい場合には当該動きベクトルを用いた動き補償を行う符号化モードを出力し、差分画像の輝度成分の画素値の２乗和が原画像の２乗和より小さく無い場合には、内部符号化を符号化モードを出力する。
【００７４】
動き補償手段８０９は、符号化モード決定手段８０８より出力される符号化モードに応じて、当該符号化モードがフレーム間符号化である場合には、フレームバッファ８１６の参照画像を参照し原画像と参照画像との差分画像を生成し当該差分画像を出力する。また、符号化モード決定手段８０８より出力される符号化モードが、フレーム内符号化である場合には、原画像を出力する。
【００７５】
直交変換手段８１０は、動き補償手段８０９によって出力されたＭＢのデータをスイッチ８１８より入力される直交変換種によって直交変換する。量子化手段８１１は、直交変換手段８１０より出力される直交変換結果をスイッチ８１９より入力される量子化係数によって量子化する。
【００７６】
逆量子化手段８１２は、量子化手段８１１によって量子化された結果を逆量子化する。直交変換手段８１３は、逆量子化手段８１３によって逆量子化された結果を逆直交変換し参照画像を生成する。
【００７７】
フレームバッファ８１６は、逆直交変換手段８１３によって出力された参照画像を保存し、動きベクトル探索手段８０７、符号化モード決定手段８０８、動き補償手段８０９および直交変換種決定手段８１４に出力する。
【００７８】
符号生成手段８１５は、符号化モード決定手段８０８によって決定された符号化モードと当該符号化モードに応じた動きベクトルと直交変換種と量子化係数とを符号化し出力する。
【００７９】
【発明の効果】
以上のように本発明によれば、複数の符号化動画像を任意の位置で編集する際に、編集後の符号化タイプと量子化係数と直交変換種を編集前の当該符号化フレームの符号化タイプと量子化係数と直交変換種とを同一にすることで、編集後の画像の画質を劣化させずに高画質な再符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における符号化動画像編集装置のブロック図
【図２】本発明の実施の形態１における符号化動画像編集装置の各サブシステムのデータの流れを説明するブロック図
【図３】本発明の実施の形態１における復号化サブシステムの動作フローチャート
【図４】本発明の実施の形態１における符号化サブシステムの動作フローチャート
【図５】本発明の実施の形態１における編集サブシステムの動作フローチャート
【図６】本発明の実施の形態１における符号量積算サブシステムの動作フローチャート
【図７】本発明の実施の形態２における符号化動画像編集システムのブロック図
【図８】本発明の実施の形態２における復号化サブシステムのブロック図
【図９】本発明の実施の形態２における符号化サブシステムのブロック図
【符号の説明】
１００ ＣＰＵ
１０１ 記憶装置
１０２ 符号化動画像
１０３ 入出力制御部
１０４ 入力装置
１０５ 符号化動画像入出力装置
１０６ 表示装置
１０７ メモリ
７００ 符号化動画像入力手段
７０１ 符号分配手段
７０２ 符号化タイプ判定手段
７０３ 直交変換種判定手段
７０４ 量子化係数判定手段
７０５ 符号化モード判定手段
７０６ 動きベクトル判定手段
７０７ 係数読み出し手段
７０８ 動き補償手段
７０９ 逆量子化手段
７１０ 逆直交変換手段
７１１ フレームバッファ
８００ 符号化タイプ決定手段
８０１ 符号化タイプ入力手段
８０２ 入力手段
８０３ 直交変換種入力手段
８０４ 量子化係数入力手段
８０５ 符号量制御手段
８０６ 動画像入力手段
８０７ 動きベクトル探索手段
８０８ 符号化モード決定手段
８０９ 動き補償手段
８１０ 直交変換手段
８１１ 量子化手段
８１２ 逆量子化手段
８１３ 逆直交変換手段
８１４ 直交変換種決定手段
８１５ 符号生成手段
８１６ フレームバッファ
８１７ スイッチ
８１８ スイッチ
８１９ スイッチ
９００ 復号化サブシステム
９０１ 符号化サブシステム
９０２ 編集位置指定手段
９０３ 出力判定手段
Claims (3)
- 任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集方法において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定し、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行うことを特徴とする符号化動画像編集方法。 - 再符号化を行う際に、符号量制御が必要ない場合には、動きベクトルを探索し探索した動きベクトルを用いて動き補償を行い、直交変換種は前記復号化時に得られた直交変換情報を利用して直交変換を行い、前記量子化情報をそのまま利用して量子化を行うことを特徴とする請求項１記載の符号化動画像編集方法。
- 任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集装置において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定するパラメータ有効性判定部と、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行う符号化部とを有することを特徴とする符号化動画像編集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25859099A JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25859099A JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001086459A JP2001086459A (ja) | 2001-03-30 |
| JP3743220B2 true JP3743220B2 (ja) | 2006-02-08 |
Family
ID=17322384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25859099A Expired - Fee Related JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3743220B2 (ja) |
-
1999
- 1999-09-13 JP JP25859099A patent/JP3743220B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001086459A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101690234B (zh) | 视频图像编码方法及解码方法、其装置 | |
| US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
| CN100544444C (zh) | 用于全景图像的运动估计和补偿的方法和设备 | |
| KR100977255B1 (ko) | 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 | |
| CN1960495B (zh) | 图像编码装置、图像编码方法和集成电路装置 | |
| US20080137734A1 (en) | Video encoding method, video decoding method, video encoding program, video decoding program, video encoding apparatus, and video decoding apparatus | |
| US20100020879A1 (en) | Method for decoding a block of a video image | |
| CN102369730B (zh) | 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法 | |
| JP2004096757A (ja) | 動き補償のための補間方法及びその装置 | |
| US11310524B2 (en) | Method and apparatus for determining motion vector of affine code block | |
| JPH11168731A (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
| TW525391B (en) | Method and apparatus for performing motion compensation in a texture mapping engine | |
| US20090279801A1 (en) | Decoding device, decoding method, decoding program, and integrated circuit | |
| JP4898415B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2006246277A (ja) | 再符号化装置、再符号化方法、および再符号化用プログラム | |
| JP2007067526A (ja) | 画像処理装置 | |
| JP3743220B2 (ja) | 符号化動画像編集方法およびその装置 | |
| JP4514666B2 (ja) | 動画像符号化装置 | |
| JP2009021786A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4118180B2 (ja) | 符号化復号化システム | |
| JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4574019B2 (ja) | 画像処理装置及び画像処理方法及びメモリ媒体、並びに画像符号化装置及び画像復号装置 | |
| JP4478480B2 (ja) | 動画像符号化装置及びその方法 | |
| JP2020108017A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP5207693B2 (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |