JP4875008B2 - 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置 - Google Patents

Description

本発明は、動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置に関し、特に間引き表示及び連続表示の再生が可能な動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置に関する。

動画像における圧縮符号化技術において、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がある。近年、普及している主なＭＰＥＧの規格としてＭＰＥＧ２、ＭＰＥＧ４及びＭＰＥＧ４ＡＶＣなどがある。その圧縮技術の主な特徴は、符号化対象のピクチャ（以下、符号化対象ピクチャと呼ぶ）と、既に符号化され再構成されたピクチャ（以下、参照ピクチャと呼ぶ）との差分に対してＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）と量子化とを行った後に可変長符号化を行うことである（以下、ＭＰＥＧにおける圧縮技術に関しては非特許文献１参照。）。

図１は、従来のＭＰＥＧ符号化装置での符号化方法を説明するための図である。

図１では、例えば、期間Ｔに２ピクチャが符号化される場合の例を示している。図１において、横軸は時間を示しており、１〜４の番号はピクチャ番号を示している。ピクチャ番号が１〜４で示されるピクチャは、このピクチャ番号順に符号化される。

また、図１において、ピクチャ番号が１〜４で示されるピクチャには、符号化対象ピクチャと参照ピクチャとの関係として、図１の矢印で示される参照関係がある。ここでは、ピクチャ番号が１と２、２と３ならびに３と４との間に参照関係がある例を示している。

図１では、この参照関係で示される参照ピクチャから符号化対象ピクチャの符号化が行われる。

図２及び図３は、従来のＭＰＥＧ復号化装置での復号化方法を説明するための図である。

図２では、上述の図１で示す条件（期間Ｔに２ピクチャが符号化される条件）で、符号化されたデータをＭＰＥＧ復号化装置によって連続表示する場合の例を示している。

図３では、上述の図１で示す条件（期間Ｔに２ピクチャが符号化される条件）で、符号化されたデータをＭＰＥＧ復号化装置によって間引き表示する場合の例を示している。

図２及び図３において、図１と同様に、横軸は時間を示しており、１、２及び３の番号はピクチャ番号を示している。ここで、ピクチャ番号が図１と、図２及び図３とで同一の場合には、図１で符号化されたピクチャが、図２又は図３で復号化すなわち再生されることを示している。ここで、図２及び図３におけるＭＰＥＧ復号化装置は、期間Ｔの時間に１ピクチャのみを復号できる復号化装置である。

図２に示すように、連続表示する場合は、ピクチャ番号１のピクチャから順番に復号して表示する。例えば、ＭＰＥＧ復号化装置において期間Ｔを１秒間とした場合には、連続表示はスロー再生となる。

一方、図３に示すように、間引き表示する場合は、最初の期間Ｔでピクチャ番号１のピクチャを表示し、続く期間Ｔでピクチャ番号３のピクチャを表示する。すなわち、ピクチャ番号２のピクチャの表示をスキップし、ピクチャ番号１とピクチャ番号３とのピクチャを表示する。例えば、ＭＰＥＧ復号化装置において期間Ｔを１秒間とした場合には、間引き表示は等速再生となる。

しかしながら、図３において間引き表示する場合でも、ピクチャ番号２のピクチャ（以下、ピクチャ２と呼ぶ。他のピクチャ番号の場合も同様である。）の復号をスキップできない。それは、図１で示す参照関係から分かるように、ピクチャ３は、ピクチャ２と参照関係がある。そのため、ピクチャ３を表示するためにはピクチャ２も復号する必要がある。つまり、表示の必要がないピクチャにおいても参照関係があるピクチャの復号は行わなければならない。

そのため、期間Ｔに含まれる複数枚のピクチャに参照関係が存在する符号化データを期間Ｔ当りに１ピクチャを復号する能力しかない装置においては、間引き表示は困難である。

そこで、表示の必要がない画像ピクチャを復号化せずに間引き表示する方法が提案されている（例えば特許文献１参照。）。

図４は、特許文献１における復号化装置において再生の必要がないピクチャを復号化せずに間引き表示できる符号化方法を説明するための図である。

図４において、図４の矢印で示される参照関係がある。ここでは、ピクチャ番号が１と２、１と３ならびに３と４との間に局所化された参照関係がある例を示している。

特許文献１では、図４の矢印で示される参照関係で符号化を行うことで、ピクチャ２の復号をスキップさせて、ピクチャ１及びピクチャ３のみを復号し間引き表示することを可能としている。

ところで、間引き表示及び連続表示を必要とするデバイスに、例えば、高速撮影が可能なムービーカメラがある。このムービーカメラの高速撮影後の等速再生及びスロー再生を例に取り、上述した内容を詳細に説明する。

図５は、高速撮影可能なムービーカメラの撮影時の１例を示す図である。

図５では、通常撮影モードで１秒間に２枚の画像が撮影され、高速撮影モードで１秒間に６枚の画像が撮影される例を示している。すなわち、通常撮影モードで１秒間に２枚のピクチャが符号化され、高速撮影モードで１秒間に６枚のピクチャが符号化される。また、図５に示す番号は、ピクチャ番号を示しており、このムービーカメラで撮影された順番、すなわち、符号化されるピクチャ順を示している。

図６及び図７は、図５でムービーカメラにより撮影された画像を再生する場合の例を示す図である。ここで、図６及び図７におけるＭＰＥＧ復号化装置は、１秒の間で２ピクチャのみを復号できる復号化装置である。

図６は、再生モードが連続の場合に、連続表示によりスロー再生される場合を示している。図６に示すように、ムービーカメラで高速撮影された期間では、連続表示すると、ピクチャ２から順番に復号して再生するため、表示（見え方）としてはスロー（低速）再生となる。一方、図７は、再生モードが間引きである場合に、間引き表示により等速再生される場合を示している。図７におけるＭＰＥＧ復号化装置は、１秒の間で２ピクチャのみを復号できる復号化装置であるので、図７で示す通り、１秒の間でピクチャ２とピクチャ５との２ピクチャを復号し間引き表示すると等速再生となる。

次に、ムービーカメラで撮影されたピクチャの符号化方法及び復号化方法について説明する。

図８は、ムービーカメラの従来の符号化方法を説明するための図である。図８は、上述した図１の場合に対応する。図９は、ムービーカメラの復号化方法を説明するための図である。図９は、上述した図７の間引き表示の場合に対応している。

図８では、通常撮影モードで１秒間に２枚のピクチャが符号化され、高速撮影モードで１秒間に６枚のピクチャが符号化されている。ここでは、図８の矢印で示される参照関係がある。すなわち、図８では、ピクチャ０とピクチャ１、ピクチャ１とピクチャ２、ピクチャ２とピクチャ３、ピクチャ３とピクチャ４及びピクチャ４とピクチャ５などの参照関係で示される参照ピクチャから符号化対象ピクチャの符号化が行われる。

しかしながら、図９において間引き表示をする場合でも、間引き表示時の表示に必要のないピクチャ３及びピクチャ４やピクチャ６及びピクチャ７の復号化をスキップできない。すなわち、図２と同様、図８で示す参照関係から、表示の必要がないピクチャにおいても参照関係があるピクチャの復号は行わなければならない。

図１０は、特許文献１におけるムービーカメラの符号化方法を説明するための図である。図１０は、上述した図４の場合に対応する。図１１は、下記特許文献１におけるムービーカメラの復号化方法を説明するための図である。図１１は、上述した図７の間引き表示の場合に対応している。

図１０では、通常撮影モードで１秒間に２枚のピクチャが符号化され、高速撮影モードで１秒間に６枚のピクチャが符号化されている。ここでは、図１０の矢印で示される局所化された参照関係がある。すなわち、図１０では、ピクチャ０とピクチャ１、ピクチャ１とピクチャ２、ピクチャ２とピクチャ５、ピクチャ３とピクチャ６及びピクチャ４とピクチャ８などの局所化された参照関係で示される参照ピクチャから符号化対象ピクチャの符号化が行われる。

それにより、図１１において、間引き表示に必要のないピクチャ３及びピクチャ４やピクチャ６及びピクチャ７の復号化をスキップすることができ、ピクチャ２及びピクチャ５を間引き表示である等速再生を可能とする。例えば、１秒間に２ピクチャといった所定の期間当りに決まったピクチャを復号する能力しかない処理性能が十分でない復号化装置において、等速再生の間引き表示を可能とする。
「Ｈ．２６４／ＡＶＣ教科書」、インプレス発行、大久保榮監修、２００４年 特開２００３−２９９１０３号公報

しかしながら、特許文献１において局所化された参照関係で符号化する方法では、符号化データ量が増加してしまう課題がある。

以下、ＭＰＥＧ４ＡＶＣにおいての場合を例にとりその理由を説明する。

ＭＰＥＧ４ＡＶＣにおいて、符号化対象ピクチャ内のマクロブロック単位毎に参照ピクチャが指定できる。

図１２は、符号化対象ピクチャの参照範囲となる最大参照ピクチャ番号が２以上である場合の例を示した図である。図１３は、図１２の場合における符号化対象ピクチャの符号化データを示した図である。ここで、参照ピクチャ番号とは、マクロブロック単位又はブロック単位で、画面間予測で参照する参照ピクチャを特定するために使用する番号である。例えばＰピクチャの復号で使用する参照ピクチャ番号なら、一般に復号順序が遅いほうに小さい番号が割り当てられ、復号順序が早いほうに大きい番号が割り当てられる。最大参照ピクチャ番号とは、参照ピクチャ番号として割り当てられる番号のうち最大の数を示す番号である。最大参照ピクチャ番号が大きいと、符号化対象ピクチャから参照ピクチャまでの参照距離が長いことを示す。

図１２に示すように、最大参照ピクチャ番号が２以上の場合における符号化データは図１３に示すようなマクロブロックタイプと参照ピクチャ番号と動きベクトルとなどを可変長符号化したデータで構成される。

また、図１４は、符号化対象ピクチャの参照範囲となる最大参照ピクチャ番号が１である場合の例を示した図である。図１５は、図１４の場合における符号化対象ピクチャの符号化データを示した図である。

図１４に示すように、最大参照ピクチャ数が１の場合における符号化データは図１５のようなマクロブロックタイプと動きベクトルなどを可変長符号化したデータで構成される。

図１３の符号化データと図１４の符号化データとを比べると分かるように、最大参照ピクチャ数が１の場合の方は、最大参照ピクチャ数が２以上の場合と比べて符号化データ量が少なくなる傾向にある。

したがって、図４や図１０のように局所化された参照関係がある場合には、符号化対象ピクチャにおける最大参照ピクチャ番号は２以上となるため、符号化データは最大参照ピクチャ番号が１の場合と比べるとデータが増加してしまう。

本発明は、上述の課題を鑑みてなされたものであり、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置を提供することを目的とする。

上記の課題を解決するために、本発明に係る動画像符号化方法は、動画像ストリームを符号化する動画像符号化方法であって、前記動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、当該１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成する結合ステップと、前記複数の結合ピクチャを符号化する符号化ステップと、前記各結合ピクチャの領域間にスライス境界を設けるスライス境界設定ステップとを含み、前記符号化ステップでは、前記複数の結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合、前記表示対象の領域を前記表示対象の他の領域のみを参照して符号化することを特徴とする。また、好ましくは、前記符号化ステップでは、前記表示対象の領域を符号化するときには、当該領域を有する結合ピクチャの直近の他の結合ピクチャに含まれる前記表示対象の他の領域を参照する。

ストリームの中で複数の符号化対象ピクチャであるＮピクチャをスライスの領域として１ｘＮサイズのピクチャに結合し、間引き表示する場合に参照関係があるスライスの領域間に対してのみ局所化された参照関係が成立するよう動き補償を行う。複数の符号化対象ピクチャを結合し、例えば、最大参照ピクチャ番号を１とすると、結合されたピクチャの符号化データにおける参照ピクチャ番号の情報を省略することが可能となる。また、結合されたピクチャにおいてピクチャサイズ毎にスライスの境界を設け、さらにピクチャサイズの情報（１ｘＮ）と最大参照ピクチャ番号を示すヘッダ情報を付加して符号化した符号化データを出力する。

それにより、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像符号化方法を実現することができる。

また、上記の課題を解決するために、本発明に係る動画像復号化方法は、符号化動画像ストリームを復号化する動画像復号化方法であって、符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定ステップと、前記判定ステップで、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化ステップとを含むことを特徴とする。

動画像符号化装置で１ｘＮのピクチャサイズに結合されたピクチャの符号化データを復号する。間引き表示する場合、間引き再生する場合に参照関係のある前記復号化対象ピクチャのスライス領域であれば、最大参照ピクチャ番号などを含む１スライス分の復号を行い、それを表示することで間引き表示できる。間引き再生する場合に参照関係のないスライスの領域であれば、そのスライス分の復号化をスキップする。その場合、復号化対象ピクチャ内のスライス領域間には依存関係がなく、スキップ処理はスライスの先頭を示すビットパターンをサーチする処理であるので、通常の復号処理と比べると軽微な処理負荷である。この処理をＮ回繰り返すと、１ｘＮサイズの１ピクチャ分の再生処理を完了する。

それにより、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像復号化方法を実現することができる。

また、上記の課題を解決するために、映像と音声とが入力される入力インターフェースと動画像符号化及び動画像復号化と音声符号化及び音声復号化とを行う信号処理部と、映像と音声を出力する出力インターフェースと、映像と音声をデータとして記録するための記録インターフェースと、前記信号処理部と前記入力インターフェースと前記出力インターフェースと記録インターフェースとを制御するカメラ信号処理部とを備えたビデオカメラシステムであって、前記信号処理部は、動画像を符号化する動画像符号化部と、符号化された動画像を復号化する動画像復号化部とを備え、前記動画像符号化部は、動画像ストリームを符号化する動画像符号化装置であって、前記動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、当該１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成する結合手段と、前記複数の結合ピクチャを符号化する符号化手段と、前記各結合ピクチャの領域間にスライス境界を設けるスライス境界設定手段とを備え、前記符号化手段では、前記複数の結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合、前記表示対象の領域を前記表示対象の他の領域のみを参照して符号化すること特徴とする動画像符号化装置で構成され、前記動画像動画像復号化部は、符号化動画像ストリームを復号化する動画像復号化装置であって、符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定手段と、前記判定手段で、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化手段とを備えることを特徴とする動画像復号化装置で構成されるビデオカメラシステムとして実現してもよい。

また、上記の課題を解決するために、チューナからの信号をディジタル変復調する変復調部と、デスクランブルとトランスポートストリームとの復号化を行う復号化部と、動画像復号化と音声復号化を行う信号処理部と、映像と音声を出力する出力部を備えたディジタルテレビシステムであって、前記信号処理部は、動画像を復号化する動画像復号化部とを備え、前記動画像動画像復号化部は、符号化動画像ストリームを復号化する動画像復号化装置であって、符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定手段と、前記判定手段で、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化手段とを備えることを特徴とする動画像復号化装置で構成されるディジタルテレビシステムとして実現してもよい。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成するシステムとして実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報として実現したりすることもできる。そして、それらプログラム、情報は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置を提供することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施の形態例は本発明を具体化した１例であって、本発明の技術範囲を限定するものではない。

（実施の形態１）
図１６は、本発明の実施の形態１における動画像符号化装置１０の構成を示す図である。図１７は、本発明の実施の形態１における動画像復号化装置２０の構成を示す図である。

また、図１８は、本発明の実施の形態１における符号化対象ピクチャの符号化時間順序を説明するための図である。

以下、次のように簡単化して説明する。記録系である本発明の実施の形態１における動画像符号化装置１０では、符号化対象ピクチャは、図１８に示すように期間Ｔに２ピクチャまで可能であるとする。すなわち、期間Ｔに２ピクチャまで符号化されるとする。この場合、通常時は期間Ｔに１ピクチャの符号化を行うとすれば、２倍速の記録（以下、高速撮影と呼ぶ）をしていることになる。

一方、再生系である本発明の実施の形態１における動画像復号化装置２０では、表示対象ピクチャは期間Ｔに１ピクチャまで復号可能であるとする。すなわち、期間Ｔに１ピクチャまで復号化されるとする。この場合、動画像符号化装置１０において２倍速で記録された符号化データを、図２で示したようにそのまま復号して表示（連続表示）すると、スロー再生されることになる。図３に示したように１ピクチャ毎に間引き表示すると、等速速度（１倍速）されることになる。

まず、記録系である本発明の実施の形態１における動画像符号化装置１０について図１６を用いて説明する。

動画像符号化装置１０は、符号化制御部１０１と、結合部１０２と、動き補償部１０３と、ＤＣＴ量子化部１０４と、可変長符号化部１０５と、逆ＤＣＴ逆量子化部１０６と、メモリ１０７とを備える。

符号化制御部１０１は、例えばユーザの指示などにより高速撮影モード信号１１０が入力される。

符号化制御部１０１は、高速撮影モード信号１１０が入力されている場合には（以下、高速撮影モードと呼ぶ）、入力された符号化対象ピクチャのデータ信号である符号化対象ピクチャ信号１１２から２ピクチャ分を、１ｘ２サイズのピクチャとして、すなわち２つのピクチャを縦積みしたサイズのピクチャとして結合して記憶するよう結合部１０２に指示する。

ここで、符号化制御部１０１は、１ｘ２サイズのピクチャに結合される符号化対象ピクチャそれぞれを、１ｘ２サイズの符号化対象ピクチャにおけるスライスとして扱うよう指定する。また、符号化制御部１０１において、１ｘ２のサイズのピクチャに結合される符号化対象ピクチャそれぞれの境界は、すなわち元々の１ピクチャサイズ毎であり、スライス境界として指定される。符号化制御部１０１は、高速撮影モードであれば、局所化された参照関係となるように符号化対象ピクチャとその参照ピクチャとを指定する指示信号１１１を動き補償部１０３に出力する。

符号化制御部１０１は、高速撮影モードでない場合、符号化対象ピクチャ信号１１２から１ピクチャの符号化対象ピクチャをそのまま結合することなく記憶するよう結合部１０２に指示する。

また、符号化制御部１０１は、符号化対象ピクチャにおける１ピクチャ内の全てのスライスに対して符号化を完了する毎に、すなわち符号化対象ピクチャにおける１ピクチャの符号化を完了する毎に、その一つ前に符号化完了したピクチャのサイズから変更がないかどうかを判定する。符号化制御部１０１は、ピクチャサイズの変更の判定結果を示す指示信号１１３を可変長符号化部１０５に出力する。

結合部１０２は、符号化対象ピクチャ信号１１２を、符号化制御部１０１の指示に従う方法で記憶する。

結合部１０２は、高速撮影モードである場合、符号化制御部１０１より指示を受けて、符号化対象ピクチャ信号１１２から２ピクチャ分を、１ｘ２サイズのピクチャとして結合して記憶する。また、結合部１０２は、高速撮影モードでない場合、符号化制御部１０１より指示を受けて、符号化対象ピクチャ信号１１２から１ピクチャの符号化対象ピクチャを記憶する。

なお、結合部１０２は、符号化制御部１０１より指示がない場合に符号化対象ピクチャ信号１１２から１ピクチャの符号化対象ピクチャを記憶するとしてもよい。

動き補償部１０３は、メモリ１０７に記憶された参照ピクチャのデータ信号である参照ピクチャ信号１１４と、入力された符号化対象ピクチャ信号１１２とから動きベクトルを検出し、検出した動きベクトルに基づいて動き補償を行う。動き補償部１０３は、動き補償を行い、符号化対象ピクチャの予測参照ピクチャを生成する。動き補償部１０３は、検出した動きベクトルの信号である動きベクトル信号１１５と、生成した予測参照ピクチャのデータ信号である予測参照ピクチャ信号１１６とを出力する。

ここで、参照ピクチャ信号１１４は、逆ＤＣＴ逆量子化部１０６の結果と予測参照ピクチャ信号１１６との加算によって生成される（以下、この処理を動き補償ピクチャ間予測符号化と呼ぶ）。

また、動き補償部１０３は、符号化制御部１０１からの指示信号１１１に基づいて、局所化された参照関係と指定された領域を参照して動き補償ピクチャ間予測符号化を行う。

ここで、動き補償部１０３は、符号化制御部１０１からの指示信号１１１に基づいて、高速撮影モードにおいて結合部１０２で記憶される１ｘ２サイズのピクチャに対して、局所化された参照関係に指定された領域を参照して動き補償ピクチャ間予測符号化を行う。

なお、ピクチャ内予測符号化を行う場合には、動き補償部１０３での処理が省略される。

ＤＣＴ量子化部１０４は、動き補償部１０３より出力された予測参照ピクチャ信号１１６と符号化対象ピクチャ信号１１２との差分（予測誤差ピクチャ信号）に対して、ＤＣＴ及び量子化を行う。

可変長符号化部１０５は、ＤＣＴ量子化部１０４から出力されたＤＣＴ及び量子化された予測誤差ピクチャ信号を可変長符号化し、符号化データ信号１１７を出力する。

可変長符号化部１０５では、結合部１０２で結合され、ＤＣＴ量子化部１０４でＤＣＴ及び量子化された符号化対象ピクチャを、ラスタ順にスライス境界７００を設けたスライスに分割して元々の１ピクチャサイズ毎に符号化する。

可変長符号化部１０５は、可変長符号化対象となる予測誤差ピクチャ信号において符号化対象となるピクチャにサイズ変更があれば、符号化制御部１０１からの指示信号１１３に基づいてピクチャサイズと最大参照ピクチャ番号が１である情報とを示すヘッダ情報を符号化する。

また、可変長符号化部１０５では、動き補償部１０３から得られる動きベクトル信号１１５などのサイド情報も含めて、可変長符号化する。

逆ＤＣＴ逆量子化部１０６は、ＤＣＴ量子化部１０４から出力されたＤＣＴ及び量子化された予測誤差ピクチャ信号を逆ＤＣＴ及び逆量子化し、予測誤差ピクチャ信号を出力する。

メモリ１０７は、逆ＤＣＴ逆量子化部１０６から出力された予測誤差ピクチャ信号と動き補償部１０３から出力された予測参照ピクチャ信号１１６とが加算され生成された参照ピクチャを記憶する。

以上のように、動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成し、各結合ピクチャの領域間にスライス境界を設ける。そして、複数の結合ピクチャごとに、結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合（これを間引き表示と呼んでいる）、表示対象の領域を表示対象の他の領域のみを参照して符号化する。

それにより、局所化された参照関係を有しつつ符号化対象ピクチャにおける最大参照ピクチャ番号を１となるように動画像ストリームを符号化する動画像符号化装置１０とその方法を実現する。

次に、動画像符号化装置１０で結合後の符号化対象ピクチャについて説明する。

図１９は、１ｘ２サイズのピクチャに結合後の符号化対象ピクチャにおける局所化された参照関係を説明するための図である。

図１９では、符号化対象ピクチャ１及び符号化対象ピクチャ２と、符号化対象ピクチャ３及び符号化対象ピクチャ４とが、１ｘ２サイズのピクチャに結合部１０２で結合されている例を示している。

図１９に示すように、符号化対象ピクチャ１及び符号化対象ピクチャ３と、符号化対象ピクチャ２及び符号化対象ピクチャ４との間にはそれぞれ、指定される参照領域の対応関係がある。動き補償部１０３は、指定される参照領域の対応関係を参照して動き補償ピクチャ間予測符号化を行う。

また、結合された符号化対象ピクチャは、元々の１ピクチャのサイズ毎にスライス境界７００を設けてラスタ順にスライス分割されて符号化される。ここでは例えば、スライス１（元々の符号化ピクチャ１）、スライス２（元々の符号化ピクチャ２）というような２つのスライスにスライス分割されて結合された符号化対象ピクチャが符号化される。

次に、再生系である本発明の実施の形態１における動画像復号化装置２０について図１７を用いて説明する。なお、ここでは説明の簡単化のために動き補償ピクチャ間予測符号化された符号データの復号化を前提に説明する。

動画像復号化装置２０は、復号化制御部２０１と、可変長符号復号化部２０４と、逆ＤＣＴ逆量子化部２０５と、動き補償部２０６と、メモリ２０７とを備える。

復号化制御部２０１は、可変長符号復号化部２０４で復号されたヘッダ情報から、復号化対象ピクチャのピクチャサイズを判定する。復号化制御部２０１は、例えば、復号化対象ピクチャが１ｘ２のように２つのピクチャが結合されたピクチャサイズであるかどうかを判定する。

復号化制御部２０１は、例えば、復号化対象ピクチャが１ピクチャサイズであるようにピクチャサイズが結合されていないピクチャサイズである場合には、１ピクチャ分を復号化し復号した１ピクチャ分を表示する指示を、信号２０２を介して可変長符号復号化部２０４と、逆ＤＣＴ逆量子化部２０５と、動き補償部２０６と、メモリ２０７とに指示する。

復号化制御部２０１は、例えば、復号化対象ピクチャが１ｘ２のピクチャサイズのようにピクチャサイズが結合されたピクチャサイズである場合には、再生モードを指示する再生モード指示信号２００が示す内容を確認する。

復号化制御部２０１は、再生モード指示信号２００が入力され、例えば再生モードとして等速モードが指示されている場合、再生モード指示信号２００に基づいて、復号化対象ピクチャにおける１スライス分を復号化し、復号した１スライス分を１ピクチャとして表示する指示を、信号２０２を介して行う。そして、復号化制御部２０１は、その復号化対象ピクチャにおける次の１スライス分をスキップする指示を、信号２０２を介して行う。

可変長符号復号化部２０４は、例えば、符号化データ信号２０３を復号することによりピクチャサイズを示すヘッダ情報や最大参照ピクチャ番号を復号化する。

また、可変長符号復号化部２０４は、例えば、符号化データ信号２０３を復号することにより動きベクトル情報を復号し、動きベクトル情報の信号である動きベクトル情報信号２０９を動き補償部２０６へ出力する。

可変長符号復号化部２０４は、復号化制御部２０１の指示に基づいて、入力された符号化データ信号２０３を可変長復号化する。可変長符号復号化部２０４は、復号化制御部２０１により等速モード、１／２スローモード、スローモード及び１／Ｎモードなどの再生モードが指示される。指示された再生モードに従って、入力された符号化データ信号２０３を、例えばスライス毎あるいはピクチャ毎などで可変長復号化する。可変長符号復号化部２０４は、復号化制御部２０１の指示に基づいて、復号した復号データ信号２０８を逆ＤＣＴ逆量子化部２０５に出力する。

逆ＤＣＴ逆量子化部２０５は、可変長符号復号化部２０４より入力される復号データ信号２０８を逆ＤＣＴ及び逆量子化し出力する。

動き補償部２０６は、復号化制御部２０１からの指示に基づいて、可変長符号復号化部２０４から出力される動きベクトル情報信号２０９と、メモリ２０７から得られる参照ピクチャのデータ信号である参照ピクチャ信号とから、動き補償を行う。動き補償部２０６は、動き補償を行うことにより得られた予測参照ピクチャ信号２１０を出力する。

メモリ２０７は、動き補償部２０６から得られる予測参照ピクチャ信号２１０と逆ＤＣＴ逆量子化部２０５で逆ＤＣＴ及び逆量子化された復号データ信号２０８とが加算され生成された参照ピクチャ信号を記憶する。

復号化制御部２０１は、信号２０２を介して可変長符号復号化部２０４と、逆ＤＣＴ逆量子化部２０５と、動き補償部２０６と、メモリ２０７とに上述の復号化方法を指示する。

以上のように、動き補償ピクチャ間予測符号化された符号化データを復号化する。なお、ピクチャ内予測符号化された符号化データを復号する場合には、動き補償部２０６の処理が省略される。

なお、例えば再生モードとして等速モードが指示されている場合を、図１９で符号化された符号化対象ピクチャを復号して表示する場合を例に取り説明する。例えば再生モードとして等速モードが指示されている場合、復号され表示されるのは、局所化された参照関係を持つスライス１及びスライス３が順に復号化され１ピクチャとして表示されることになる。

ところで、間引き表示及び連続表示の再生を必要とするデバイスとして、例えば、高速撮影が可能なムービーカメラがある。このムービーカメラの高速撮影や等速再生及びスロー再生を例に取り、上述した内容を説明する。

図２０は、高速撮影可能なムービーカメラの撮影時の１例を、本発明の実施の形態１における符号化方法で符号化する場合を説明するための図である。

図２０では、通常撮影モードで１秒の間に２枚の画像が撮影され、高速撮影モードで１秒間に６枚の画像が撮影される例を示している。すなわち、高速撮影モードでない通常撮影モードで１秒の間に２枚のピクチャが符号化され、高速撮影モードで１秒間に６枚のピクチャが符号化される。また、図５に示す符号及び番号は、図５〜図１１で示した符号及び番号と同一内容を意味する。

図２１は、図２０で符号化されたピクチャを等速再生する場合の例を示す図である。ここで、図２１における動画像復号化装置２０は、１秒の間で２ピクチャのみを復号できる復号化装置である。

図２０において、再生系である動画像復号化装置２０の復号能力が１秒の間で２ピクチャであるので、記録系である動画像符号化装置１０で結合されるピクチャは３つである。すなわち、１秒の間で６ピクチャが撮影される高速撮影モードにおいて、縦方向に３つのピクチャを結合することで、動画像復号化装置２０での等速再生の間引き表示を可能にする。

図２０で示す例では、高速撮影モードにおいてピクチャ２、ピクチャ３及びピクチャ４と、ピクチャ５、ピクチャ６及びピクチャ７とをそれぞれこの順番に３つのスライスをもつ１つの符号化対象ピクチャに結合される。図２０では、例えばスライス２、スライス３及びスライス４を有するピクチャ２３４とスライス５、スライス６及びスライス７を有するピクチャ５６７とに結合されている。

そうすることで、参照関係は局所化しつつ符号化対象ピクチャの最大参照ピクチャ番号を１として符号化できる。

図２１で示す例では、図２０で示す動画像復号化装置２０で、参照関係は局所化しつつ符号化対象ピクチャの最大参照ピクチャ番号を１として符号化された符号化データを復号して表示する。

図２１では、等速再生モードの間引き表示が行われている。記録系である動画像符号化装置１０において通常撮影モードで撮影された期間は、再生系である動画像復号化装置２０において符号化データをそのまま復号化された再構成ピクチャを構成した後に表示される。記録系である動画像符号化装置１０にて高速撮影モードで撮影された期間は、参照関係が局所化されている。再生系である動画像復号化装置２０において、復号化対象ピクチャ２３４のスライス２の領域と復号化対象ピクチャ５６７のスライス５の領域とのみをピクチャとして復号された再構成ピクチャであるピクチャ２及びピクチャ５が構成された後に表示されることで、等速再生の間引き表示することができる。

ここで、復号化時にスライスをスキップするスキップ処理はスライスの先頭を示すビットパターンをサーチする処理であり、ピクチャの復号処理と比べると軽微な処理負荷である。したがって、この動画像復号化装置２０において１秒の間で２ピクチャの再生能力を阻害しない。

なお、図２１では、等速再生する場合の例について説明したが、１／２スローモード、スローモード及び１／Ｎモードなどの再生モードも同様なため説明を割愛する。図２２で示す表に従い、動画像復号化装置２０が復号化対象ピクチャのスライスの領域を再構成ピクチャとして復号し、復号した再構成ピクチャを表示すればよい。ここで、図２２は、本発明の実施の形態１における再生モードを示す図であり、復号化対象ピクチャにおけるスライス番号をどのようにピクチャとして復号化するかを示している。

次に、本発明の実施の形態１における符号化処理及び復号化処理の流れについて説明する。

図２３は、本発明の実施の形態１における符号化処理の流れを説明するためのフローチャートである。ただし、説明の簡単化のため動き補償ピクチャ間予測符号化を前提に説明する。

まず、符号化制御部１０１は、高速撮影モードであるかどうかを判定する（Ｓ３１）。

高速撮影モードであれば（Ｓ３１のＹｅｓの場合）、結合部１０２は、符号化制御部１０１からの指示に基づいて、符号化対象ピクチャ信号１１２から２ピクチャ分を、符号化対象ピクチャとして１ｘ２サイズのピクチャに結合し（Ｓ３２）、記憶する。

次に、符号化制御部１０１は、局所化された参照関係となるように符号化対象ピクチャとその参照ピクチャとを指定する指示信号１１１を動き補償部１０３に出力する。

動き補償部１０３は、符号化制御部１０１からの指示に基づいて、高速撮影モードにおいて結合部１０２で記憶されている１ｘ２サイズの符号化対象ピクチャに対して、局所化された参照関係として指定された領域を参照して動き補償ピクチャ間予測符号化を行う（Ｓ３３）。例えば、図１９に示すように符号化対象ピクチャ１及び３と２及び４とがそれぞれ指定される参照領域の対応関係となる。

次に、可変長符号化部１０５は、符号化制御部１０１からの指示に基づいて、結合部１０２で結合されＤＣＴ量子化部１０４でＤＣＴ及び量子化された符号化対象ピクチャを元々の１ピクチャサイズ毎にスライス境界７００を設けてラスタ順にスライスに分割して符号化する（Ｓ３４）。図１９の例のように、１ピクチャ毎に２つのスライスに分割されたり、図２０の例のように、１ピクチャ毎に３つのスライスに分割されたりする。

次に、符号化制御部１０１では、１ピクチャ内の全てのスライスに対して符号化を完了すると、すなわち１ピクチャの符号化を完了すると、その一つ前に符号化完了したピクチャのピクチャサイズから変更がないかどうかを判定する（Ｓ３５）。

次に、可変長符号化部１０５は、サイズ変更があれば（Ｓ３５のＹｅｓの場合）、符号化制御部１０１からの指示に基づいて、ピクチャサイズと最大参照ピクチャ番号が１である情報とを示すヘッダ情報を符号化する（Ｓ３６）。

次に、可変長符号化部１０５は、符号化制御部１０１からの指示に基づいて、可変長符号化した符号化データ信号１１７を出力する（Ｓ３７）。

なお、Ｓ３５において、可変長符号化部１０５は、サイズ変更がなければ（Ｓ３５のＮｏの場合）、Ｓ３６をスキップして、Ｓ３７に進み、可変長符号化した符号化データ信号１１７を出力する。

また、Ｓ３１において、高速撮影モードでなければ（Ｓ３１のＮｏの場合）、結合部１０２は、符号化制御部１０１からの指示に基づいて、符号化対象ピクチャ信号１１２から１ピクチャ分の符号化対象ピクチャを記憶する（Ｓ３８）。そして、通常の動き補償ピクチャ間予測符号化を行う（Ｓ３９）。

以上のようにして、動画像符号化装置１０は、符号化処理を行う。

次に、復号化処理の流れについて説明する。

図２４は、本発明の実施の形態１における復号化処理の流れを説明するためのフローチャートである。

まず、可変長符号復号化部２０４では、入力された符号化データ信号２０３から、復号化対象ピクチャのピクチャサイズ、最大参照ピクチャ番号を示すヘッダ情報を可変長復号化する（Ｓ４０）。

次に、復号化制御部２０１は、可変長符号復号化部２０４で復号された符号化データのヘッダ情報から、復号化対象ピクチャが結合されたピクチャサイズ（１ｘＮ）かどうかを判定する（Ｓ４１）。復号化制御部２０１は、例えば、１ｘ２のように２つのピクチャが結合されたピクチャサイズであるかどうかを判定する。

次に、復号化制御部２０１は、復号化対象ピクチャが、１ｘＮのように結合されたピクチャサイズであれば（Ｓ４１のＹｅｓの場合）、再生モードを指示する再生モード指示信号２００の内容を確認する（Ｓ４２）。

復号化制御部２０１は、図２２の再生モードを示す表に基づき、指示された再生モードで再生を行う。すなわち、復号化制御部２０１は、図２２の再生モードを示す表に基づき、復号化対象ピクチャにおいて復号化対象スライスとなる１スライス分の復号化が必要であるかを判定する（Ｓ４３）。

その１スライス分の復号化が必要である場合（Ｓ４３のＹｅｓ）、復号化制御部２０１は、１スライス分を復号化し、１スライス分を１ピクチャとして表示するように、可変長符号復号化部２０４、動き補償部２０６及び逆ＤＣＴ逆量子化部２０５に指示をする。可変長符号復号化部２０４、動き補償部２０６及び逆ＤＣＴ逆量子化部２０５は、復号化制御部２０１の指示に基づいて、入力された符号化データ信号２０３を、１スライス分復号化し（Ｓ４４）、復号した１スライス分を１ピクチャとして表示する（Ｓ４５）。

なお、図２２の再生モードを示す表に基づき、１スライス分の復号化が必要でない場合（Ｓ４３のＮｏ）、１スライス分の符号化データの復号化処理をスキップする（Ｓ４６）。

次に、復号化対象ピクチャの１ピクチャにおいて、全スライス分の処理が完了していれば（Ｓ４７のＹｅｓの場合）、結合された１ｘＮサイズのピクチャ処理を完了する。

復号化対象ピクチャの１ピクチャにおける全スライス分の処理が完了していなければ（Ｓ４７のＮｏの場合）、ステップ４１の処理からＳ４６までの処理を繰り返す。

なお、Ｓ４１において、復号化制御部２０１は、復号化対象ピクチャが、結合されたピクチャサイズでなければ（Ｓ４１のＮｏの場合）、復号化制御部２０１は、１ピクチャ分をそのまま復号化し、１ピクチャ分を１ピクチャとして表示するように、可変長符号復号化部２０４、動き補償部２０６及び逆ＤＣＴ逆量子化部２０５に指示をする。可変長符号復号化部２０４、動き補償部２０６及び逆ＤＣＴ逆量子化部２０５は、復号化制御部２０１の指示に基づいて、入力された符号化データ信号２０３を１ピクチャ分復号化し（Ｓ４８）、１ピクチャとして表示する（Ｓ４９）。

以上のようにして、動画像復号化装置２０は、復号化処理を行う。

以上のように、例えば符号化対象ピクチャの２ピクチャを１ｘ２サイズのピクチャに結合し、間引き表示において表示対象ピクチャ間に対してのみ参照関係が成立するような領域を参照させながら動き補償ピクチャ間予測符号化を行うことで最大参照ピクチャを１にする。それにより、マクロブロックの符号化データにおける参照ピクチャ番号の情報を省略することが可能となり、符号化データ量の増加を抑止することができる動画像符号化装置１０が実現できる。

加えて、間引き表示時においては、表示対象ピクチャでなければスライス間には依存関係はないというのを利用している。すなわち、符号化時に複数のピクチャを複数のスライスとして１ピクチャに結合された符号化データにおいて、表示対象ピクチャで表示対象でないスライス分の符号化データをスキップすることで、処理性能が十分でない復号化装置においても間引き表示を可能とする動画像復号化装置が実現できる。

したがって、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像符号化装置及び動画像復号化装置が実現できる。

なお、本実施の形態においては、簡単化するために符号化対象ピクチャを１ｘ２サイズ及び１ｘ３サイズに結合した例について説明したが、１ｘＮ又はＮｘ１（Ｎは自然数）の場合においても適用可能である。また、参照関係については、間引き表示の表示対象ピクチャとなるスライス間で参照関係が成立しておけばよく、表示対象ピクチャ以外のスライス間の参照関係は任意でよい。また、ＭＰＥＧ４ＡＶＣにおいては、ＭｘＮ（Ｍは自然数）の場合においても適用可能である。

（実施の形態２）
図２５は、本発明の実施の形態２における動画像符号化装置１０００の構成を示す図である。

記録系である動画像符号化装置１０００は、２つの動画像符号化装置１０と、符号化装置制御部１００１と、第１の選択部１００２と第２の選択部１００３と、メモリ１００４とを備える。ここで、図１６と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図２５に示すように、動画像符号化装置１０００では、実施の形態１で示した動画像符号化装置１０を２つ搭載（以下、動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０と呼ぶ。）している。符号化対象ピクチャのデータ１００５を第１の選択部１００２で振り分けながら符号化対象ピクチャ信号１１２として動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とに入力する。入力された符号化対象ピクチャ信号１１２は、動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とで並列に、上述したように動画像符号化処理が行われる。そして、動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とのそれぞれから出力される符号化データ信号１１７を第２の選択部１００３で切り替えながら１つの符号化データに構成してメモリ１００４に格納する。

動画像符号化装置Ａ１０及び動画像符号化装置Ｂ１０に対する動画像符号化処理の指示と第１の選択部１００２及び第２の選択部１００３の制御とは、符号化装置制御部１００１が行う。例えば、動画像符号化装置Ａ１０に対しては、図１９に示すような参照関係がある場合に、符号化対象ピクチャ１と符号化対象ピクチャ２とが入力され、動画像符号化装置Ｂ１０に対しては、符号化対象ピクチャ３と符号化対象ピクチャ４とが入力される。それにより、動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とを並列に動作させることが可能となり、動画像符号化処理能力を向上させることが可能となる。

また、動画像符号化装置１０００の並列化の数としては、１ｘＮサイズに結合したピクチャが符号化対象ピクチャであれば、最高Ｎ個までの並列化が可能であり、それに伴い動画像符号化処理能力の向上が可能となる。ただし、複数の動画像符号化装置１０それぞれに入力する符号化対象ピクチャにおいて、参照関係が分断されないように符号化対象ピクチャを入力する必要がある。

（実施の形態３）
図２６は、本発明の実施の形態３における動画像復号化装置２０００の構成を示す図である。

再生系である動画像復号化装置２０００は、２つの動画像復号化装置２０と、復号化装置制御部２００１と、第３の選択部２００２と第４の選択部２００３と、メモリ２００４とを備える。ここで、図１７と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図２６に示すように、動画像復号化装置２０００では、実施の形態１で示した動画像復号化装置２０（以下、動画像復号化装置Ａ２０と動画像復号化装置Ｂ２０と呼ぶ。）を２つ搭載している。

動画像復号化装置２０００では、符号化データを格納したメモリ２００４からスライス単位に符号化データが読み出される。第３の選択部２００２で読み出されたスライス単位の符号化データが振り分けられ、符号化データ信号２０３として動画像復号化装置Ａ２０と動画像復号化装置Ｂ２０とのそれぞれに入力される。入力された符号化データ信号２０３は、動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とで並列に、上述したように動画像復号化処理が行われる。動画像符号化装置Ａ１０と動画像符号化装置Ｂ１０とのそれぞれから出力される表示対象ピクチャ信号２１１は、第４の選択部２００３で切り替えられながら、表示対象ピクチャ信号２１１として出力される。それにより、動画像復号化装置２０００では、動画像復号化処理能力を向上させることが可能となる。

また、動画像復号化装置２０００の並列化の数としては、１ｘＮサイズに結合したピクチャから得られた符号化データであれば、最高Ｎ個までの並列化が可能であり、それに伴い動画像復号化処理能力の向上が可能となる。

（実施の形態４）
図２７は、本発明の実施の形態４におけるビデオシステム３０００の構成の１例を示す図である。

図２７において、ビデオシステム３０００は、例えば、ＣＣＤ周辺部とＡＦ（オートフォーカス）部とマイクと、システム制御・信号処理部と表示部と音声出力部と記録部とを備える。ここで、ＣＣＤ周辺部とマイクとは、映像と音声の入力インターフェースであり、表示部と音声出力部と記録部とは映像と音声の出力インターフェースである。

図２７に示すビデオシステム３０００は本発明における動画像符号化装置と動画像復号化装置とが適用される動画記録再生機器の１例である。図２７の例では、システム制御・信号処理部は、システム制御部と、本発明における動画像符号化装置に相当するビデオエンコーダ１２００と、本発明における動画像復号化装置に相当するビデオデコーダ１２０１と、オーディオエンコーダと、オーディオデコーダとカメラ信号処理部とを備える。

図２８は、本発明の実施の形態４におけるディジタルテレビシステム４０００の構成の１例を示す図である。

図２８において、ディジタルテレビシステム４０００は、例えば、チューナとディジタル変復調部とＴＤ／ＤＳ部と、システム制御・信号処理部と表示部と音声出力部とを備える。

ＴＤ／ＤＳ部は、デスクランブルとトランスポートストリームの復号化を行う。

ディジタル変復調部は、チューナからの信号をディジタル変復調する。

表示部と音声出力部とは、復号化された映像と音声とを出力する。

図２８に示すディジタルテレビシステム４０００は本発明における動画像復号化装置が適用された動画像再生機器の１例である。図２８の例では、システム制御・信号処理部に、システム制御部と、本発明における動画像復号化装置に相当するビデオデコーダ１３００と、オーディオデコーダとを備える。

以上、本発明によれば、処理性能が十分でない動画像復号化装置においても間引き表示を可能とし、符号化データ量の増加を抑止する動画像符号化装置及び動画像復号化装置が実現できる。

動画像符号化装置及びその方法においては、符号化データ量の増加を抑止できるため、高速度撮影を行うムービーなどにおいて記録時間の長時間化に有用である。また、動画像復号化装置及びその方法においては、処理性能が十分でない復号化装置においても間引き表示を容易に行うことができるため、動画再生装置における低消費電力化やコストダウンに有用である。

なお、本発明における動画像符号化装置又は動画像復号化装置を利用した動画記録再生機器において、複数の符号化対象ピクチャが、それぞれスライスとして１ｘＮサイズに１つの符号化対象ピクチャに結合される。その結合された符号化対象ピクチャから得られる符号化データに対して、複数のピクチャをスライスとして結合化された１ピクチャから参照関係のある１つのスライスだけを抽出し、さらにそのスライスヘッダをピクチャヘッダに変換するようなコード変換装置を設けてもよい。その場合には、既にピクチャが間引きされた符号化データの生成が可能となる。それにより、処理性能が十分でない復号化装置においても間引き表示を可能とする符号化データの提供が可能となる。

また、上述において、１つのスライスだけでなく全てのスライスヘッダをピクチャヘッダに変換するようなコード変換装置を設けてもよい。その場合には、本発明における動画像復号化装置がなくても動画再生を可能とする符号化データの提供が可能となる。具体的には、コード変換装置の処理内容として、復号対象ピクチャのサイズ情報と、表示対象ピクチャの順番を決める情報と、スライス中の最初のマクロブロックアドレスの変更の情報に伴う符号化データのアライン調整であっても、ＭＰＥＧ４ＡＶＣであれば、マクロブロック層以下の符号化データへの影響がなく、容易にコード変換が可能である。

以上、本発明の動画像符号化装置及びその方法と動画像復号化装置及びその方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における処理内容を組み合わせて構築される形態も、本発明の範囲内に含まれる。

また、本発明は、上述したような装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成するシステムとして実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報として実現したりすることもできる。そして、それらプログラム、情報は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明は、動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置に利用でき、特に図２９で示すような高速撮影を行うムービーカメラやその撮影画像を再生する機器に利用できる。

従来のＭＰＥＧ符号化装置での符号化方法を説明するための図である。 従来のＭＰＥＧ復号化装置での復号化方法を説明するための図である。 従来のＭＰＥＧ復号化装置での復号化方法を説明するための図である。 従来の復号化装置において表示の必要がないピクチャを復号化せずに間引き表示できる符号化方法を説明するための図である。 高速撮影可能なムービーカメラの撮影時の１例を示す図である。 ムービーカメラにより撮影された画像を再生する場合の例を示す図である。 ムービーカメラにより撮影された画像を再生する場合の例を示す図である。 ムービーカメラの従来の符号化方法を説明するための図である。 ムービーカメラの復号化方法を説明するための図である。 ムービーカメラの符号化方法を説明するための図である。 ムービーカメラの復号化方法を説明するための図である。 符号化対象ピクチャの参照範囲となる最大参照ピクチャ番号が２以上である場合の例を示した図である。 図１２の場合における符号化対象ピクチャの符号化データを示した図である。 符号化対象ピクチャの参照範囲となる最大参照ピクチャ番号が１である場合の例を示した図である。 図１４の場合における符号化対象ピクチャの符号化データを示した図である。 本発明の実施の形態１における動画像復号化装置の構成を示す図である。 本発明の実施の形態１における動画像復号化装置２０の構成を示す図である。 本発明の実施の形態１における符号化対象ピクチャの符号化時間順序を説明するための図である。 １ｘ２サイズのピクチャに結合後の符号化対象ピクチャにおける局所化された参照関係を説明するための図である。 ムービーカメラの撮影時の１例を、本発明の実施の形態１における符号化方法で符号化する場合を説明するための図である。 図２０で符号化されたピクチャを等速再生する場合の例を示す図である。 本発明の実施の形態１における再生モードを示す図である。 本発明の実施の形態１における符号化処理の流れを説明するためのフローチャートである。 本発明の実施の形態１における復号化処理の流れを説明するためのフローチャートである。 本発明の実施の形態２における動画像符号化装置１０００の構成を示す図である。 本発明の実施の形態３における動画像復号化装置２０００の構成を示す図である。 本発明の実施の形態４におけるビデオシステムの構成の１例を示す図である。 本発明の実施の形態４におけるディジタルテレビシステム４０００の構成の１例を示す図である。 高速撮影を行うムービーカメラの１例の外観図である。

符号の説明

１０、１０００ 動画像符号化装置
２０、２０００ 動画像復号化装置
１０１ 符号化制御部
１０７、２０７、１００４、２００４ メモリ
１０３、２０６ 動き補償部
１０４ ＤＣＴ量子化部
１０６、２０５ 逆ＤＣＴ逆量子化部
１０５ 可変長符号化部
１１０ 高速撮影モード信号
１１２ 符号化対象ピクチャ信号
１１３ 指示信号
１１７ 符号化データ信号
１１６、２１０ 予測参照ピクチャ信号
１１４ 参照ピクチャ信号
１１５ 動きベクトル信号
１１１ 指示信号
２００ 再生モード指示信号
２０１ 復号化制御部
２０２ 信号
２０３ 符号化データ信号
２０４ 可変長符号復号化部
２０８ 復号データ信号
２０９ 動きベクトル情報信号
２１１ 表示対象ピクチャ信号
７００ スライス境界
１００１ 符号化装置制御部
１００２ 第１の選択部
１００３ 第２の選択部
１２００ ビデオエンコーダ
１２０１、１３００ ビデオデコーダ
２００１ 復号化装置制御部
２００２ 第３の選択部
２００３ 第４の選択部
３０００ ビデオシステム
４０００ ディジタルテレビシステム

Claims (11)

1. 動画像ストリームを符号化する動画像符号化方法であって、
   前記動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、当該１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成する結合ステップと、
   前記複数の結合ピクチャを符号化する符号化ステップと、
   前記各結合ピクチャの領域間にスライス境界を設けるスライス境界設定ステップとを含み、
   前記符号化ステップでは、前記複数の結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合、前記表示対象の領域を前記表示対象の他の領域のみを参照して符号化する
   ことを特徴とする動画像符号化方法。
2. 前記符号化ステップでは、前記表示対象の領域を符号化するときには、当該領域を有する結合ピクチャの直近の他の結合ピクチャに含まれる前記表示対象の他の領域を参照する
   ことを特徴とする請求項１に記載の動画像符号化方法。
3. 前記符号化ステップでは、前記結合ピクチャに結合されるピクチャ数を示すピクチャサイズを含めて符号化する
   ことを特徴とする請求項１に記載の動画像符号化方法。
4. 符号化動画像ストリームを復号化する動画像復号化方法であって、
   符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定ステップと、
   前記判定ステップで、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化ステップとを含む
   ことを特徴とする動画像復号化方法。
5. 前記復号化ステップでは、
   複数の前記結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つのスライスを除く１つ又は複数のスライスが表示対象とされる間引き再生を行う場合、前記表示対象のスライスを前記表示対象の他のスライスのみを参照して復号化し、復号化した前記スライスをピクチャとして再構成し、
   前記表示対象のスライス以外のスライスの復号化をスキップする
   ことを特徴とする請求項４に記載の動画像復号化方法。
6. 前記復号化ステップでは、
   前記判定ステップで前記復号化対象のピクチャが結合ピクチャでないと判定される場合に、
   前記復号化対象のピクチャを復号化する
   ことを特徴とする請求項４に記載の動画像復号化方法。
7. 前記復号化ステップでは、
   複数の前記復号化対象のピクチャごとに、少なくとも１つのピクチャを除く１つ又は複数のピクチャが表示対象とされる間引き再生を行う場合、
   前記復号化対象ピクチャの中で表示対象とされるピクチャを復号化する
   ことを特徴とする請求項６に記載の動画像復号化方法。
8. 動画像ストリームを符号化する動画像符号化装置であって、
   前記動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、当該１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成する結合手段と、
   前記複数の結合ピクチャを符号化する符号化手段と、
   前記各結合ピクチャの領域間にスライス境界を設けるスライス境界設定手段とを備え、
   前記符号化手段では、前記複数の結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合、前記表示対象の領域を前記表示対象の他の領域のみを参照して符号化する
   ことを特徴とする動画像符号化装置。
9. 符号化動画像ストリームを復号化する動画像復号化装置であって、
   符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定手段と、
   前記判定手段で、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化手段とを備える
   ことを特徴とする動画像復号化装置。
10. 動画像ストリームを符号化する集積回路であって、
    前記動画像ストリームに含まれる複数のピクチャの中の１部の複数のピクチャごとに、当該１部の複数のピクチャをそれぞれの領域として結合することにより、複数の結合ピクチャを生成する結合手段と、
    前記複数の結合ピクチャを符号化する符号化手段と、
    前記各結合ピクチャの領域間にスライス境界を設けるスライス境界設定手段とを備え、
    前記符号化手段では、前記複数の結合ピクチャごとに、当該結合ピクチャに含まれる少なくとも１つの領域を除く１つ又は複数の領域が間引き再生の表示対象とされる場合、前記表示対象の領域を前記表示対象の他の領域のみを参照して符号化する
    ことを特徴とする集積回路。
11. 符号化動画像ストリームを復号化する集積回路であって、
    符号化動画像ストリームに含まれる復号化対象のピクチャのピクチャサイズを特定し、特定した前記ピクチャサイズに基づいて、前記復号化対象のピクチャが、複数のピクチャをそれぞれスライスとして結合することにより生成される結合ピクチャであるかどうかを判定する判定手段と、
    前記判定手段で、前記復号化対象のピクチャが結合ピクチャであると判定される場合、前記ピクチャに含まれるスライスを復号化し、復号化した前記スライスをピクチャとして再構成する復号化手段とを備える
    ことを特徴とする集積回路。

Images