JP4337187B2

JP4337187B2 - 符号化装置及び方法

Info

Publication number: JP4337187B2
Application number: JP30986599A
Authority: JP
Inventors: 武文名雲; 陽一矢ケ崎; 邦明高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-10-29
Filing date: 1999-10-29
Publication date: 2009-09-30
Anticipated expiration: 2019-10-29
Also published as: JP2001128170A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力信号を符号化する符号化装置及び方法に関する。
【０００２】
【従来の技術】
従来、画像信号を符号化する符号化装置が提供されている。符号化装置は、例えば電荷結合素子（charge-coupled device; CCD）を用いて対象物を撮影する撮影装置や、例えばチューナーのように画像信号を選択して受信する画像受信装置から出力された画像信号に対して符号化を施すものである。
【０００３】
図９に示すように、従来の符号化装置においては、その主要部を構成する画像符号化部１０３に、ＣＣＤ等を用いた画像撮影装置１０１やチューナー等の画像受信装置１０２から画像信号が入力される。
【０００４】
画像符号化部１０３においては、例えばいわゆるＭＰＥＧ２（moving picture coding experts group phase 2 ）のような画像情報圧縮技術により、入力された画像信号に符号化を施す。画像符号化部１０３は、符号化により圧縮された画像符号化情報をビットストリームとして出力する。
【０００５】
記録部１０４は、画像符号化部１０３から出力されたビットストリームを記録する。なお、画像符号化部１０３から出力されたビットストリームは、図示しない画像表示部や再送信部に送られることもある。
【０００６】
【発明が解決しようとする課題】
ところで、従来の符号化装置においては、入力された画像信号に対して、画像符号化部１０３において一つの画像符号化方式により画像符号化を施す。
【０００７】
しかし、一つの画像符号化方式により符号化されたビットストリームを、他の符号化方式に変換する必要が生じることがある。これは、例えばビットストリームの出力先が、他の符号化方式を採用している場合に必要となる。
【０００８】
このような場合には、図１０に示すように、画像符号化部１０３にて得られた一の画像符号化方式によるビットストリームを、画像符号化方式変換部１１１にて他の画像符号化方式のビットストリームに変換することになる。
【０００９】
画像符号化方式変換部１１１には、画像符号化部１０３にて得られた一の画像符号化方式による第１のフォーマットによるビットストリームが入力される。第１のフォーマットによるビットストリームは、画像符号化部１０３から直接に、又は一旦第１の記録部１０４に記録されてから読み出されて入力される。
【００１０】
画像符号化方式変換部１１１は、入力された一の画像符号化方式の第１のフォーマットによるビットストリームを、他の画像符号化方式の第２のフォーマットによるビットストリームに変換する。
【００１１】
画像符号化方式変換部１１１から出力された他の画像符号化方式による第２のフォーマットのビットストリームは、画像表示部１１２、記録部１１３及び再送信部１１４に送られる。これら画像表示部１１２、記録部１１３及び再送信部１４は、他の画像符号化方式による第２のフォーマットに対応するものである。
【００１２】
このように、従来の符号化装置においては、画像表示、記録、再送信等の出力先が、画像符号化部の画像符号化方式と異なる画像符号化方式を採用している場合には、画像符号化部にて得られた第１の画像符号化方式によるビットストリームを第２の画像符号化方式によるビットストリームに変換していた。
【００１３】
このため、画像符号化方式を変換するために装置の構成が複雑になっていた。また、画像符号化により得られたビットストリームに対して画像符号化方式の変換を施すために、画像の品質が劣化したり、画像方式の変換のために時間遅延が生じていた。
【００１４】
本発明は、上述の実情に鑑みて提案されるものであって、簡易な構成であり、画像の品質を劣化や遅延時間の発生を低減するような符号化装置及び方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る符号化装置は、入力された画像信号に対して符号化を施す符号化装置において、上記画像信号に対して動き補償を行う動き補償手段と、上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第１の低解像度画像に変換する第１の画像変換手段と、上記動き補償による動きベクトルを、上記第１の画像変換手段により変換された第１の低解像度画像にあわせて変換する第１の動きベクトル変換手段と、上記第１の動きベクトル変換手段により変換された動きベクトルを用いて、上記第１の画像変換手段により切り出された第１の低解像度画像を符号化する第１の符号化手段と、上記画像信号に対して、上記第１の変換手段での変換とは異なる変換を施す第２の画像変換手段と、上記動き補償による動きベクトルを、上記第２の画像変換手段により変換された第２の画像にあわせて変換する第２の動きベクトル変換手段と、上記第２の動きベクトル変換手段により変換された動きベクトルを用いて、上記第２の画像変換手段により変換された画像を符号化する第２の符号化手段とを備える。
【００１６】
本発明に係る符号化方法は、入力された画像信号に対して符号化を施す符号化方法において、上記画像信号に対して動き補償を行う動き補償工程と、上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第１の低解像度画像に変換する第１の画像変換工程と、上記動き補償による動きベクトルを、上記第１の画像変換工程により変換された第１の低解像度画像にあわせて変換する第１の動きベクトル変換工程と、上記第１の動きベクトル変換手段により変換された動きベクトルを用いて、上記第１の画像変換工程により切り出された第１の低解像度画像を符号化する第１の符号化工程と、上記画像信号に対して、上記第１の変換工程での変換とは異なる変換を施す第２の画像変換工程と、上記動き補償による動きベクトルを、上記第２の画像変換工程により変換された第２の画像にあわせて変換する第２の動きベクトル変換工程と、上記第２の動きベクトル変換工程により変換された動きベクトルを用いて、上記第２の画像変換工程により変換された画像を符号化する第２の符号化工程とを備える。
【００１９】
このように、本発明では、入力された画像信号を符号化する際に、複数の画像符号化方式により符号化を行うことを特徴とする。
【００２０】
すなわち、画像符号化方式を変換するために要する時間遅延及び画質劣化を回避するため、入力された画像信号を異なる符号化装置へ入力し、それぞれ目的の画像符号化ビットストリームを出力する。
【００２１】
このような符号化を行うことにより少ない時間遅延において、目的とする複数の画像符号化ビットストリームを得ることができ、また画像符号化方式による画質の劣化を防ぐことができる。
【００２２】
【発明の実施の形態】
以下、本発明に係る第１の符号化方法及び装置の実施の形態について、図面を参照して説明する。
【００２３】
まず、第１の実施の形態について、図１を参照して説明する。この第１の実施の形態は、画像撮影装置１０１や画像再生装置等１０２から入力された画像信号を、異なる符号化方式、解像度、フレームレート及び／又はビットレートにより、複数のビットストリームに符号化する符号化装置である。
【００２４】
この符号化装置には、例えばＣＣＤカメラのような画像撮影装置１０１や例えばチューナーのような画像受信装置１０２から画像信号が入力される。符号化装置に入力された画像信号は、第１の解像度／フレームレート変換部１１及び第２の解像度／フレームレート変換部１６に送られる。
【００２５】
第１の解像度／フレームレート変換部１１は、入力された画像信号を所定のフレームレート及び／又は解像度に変換する。
【００２６】
ここで、第１の解像度／フレームレート変換部１１は、必要がない場合には、画像信号の解像度及び／又はフレームレートの変換は行わない。すなわち、第１の解像度／フレームレート変換部１１は、入力された画像信号の解像度及び／又はフレームレートと等しい解像度及び／又はフレームレートの画像信号を出力することもできる。
【００２７】
第１の画像符号化部１２では、第１の解像度／フレームレート変換部１１からの出力を受け取り、それを予め指定された画像符号化方式により第１のフォーマットのビットストリームに変換する。
【００２８】
第１の画像符号化部１２は、符号化により作成したビットストリームを第１の記録部１３、第１の画像表示部１４、第１の伝送部１５に対して出力する。
【００２９】
ここで、第１の解像度／フレームレート変換部１１における解像度の変換の処理について、図２を用いて説明する。
【００３０】
第１の解像度／フレームレート変換部１１では、入力された画像２０１に対しアップサンプリング（Up-sampling），ダウンサンプリング（Down-sampling）等の処理を行い、入力画像を指定の解像度に変換する。このとき画像の解像度変換を行わず、等倍の解像度の画像を出力しても良い。
【００３１】
例えば、入力された画像２０１を、ダウンサンプリングにより縮小した画像２０３にしたり、アップサンプリングにより拡大した画像２０４にしたりする。また、解像度変換を行わず、等倍の画像２０２を出力することもできる。
【００３２】
また、画像の解像度を落とす場合には、画像全体をダウンサンプリングせず、必要な部分の画像信号、例えば中心部分もしくは人物が移っている部分のみを切り出し、低解像度用の画像として用いても良い。例えば、入力画像２０１に対して、斜線部を切りとった画像２０５とすることもできる。
【００３３】
なお、第２の解像度／フレームレート変換部１６においても、同様の処理が行われる。
【００３４】
図１に示した第１の実施の形態において、第１の画像記録部１３では、第１の画像符号化部１２から出力されたビットストリームを記録する。第１の画像記録部１３は、例えばハードディスク、光磁気ディスク、磁気テープ、半導体メモリ等により構成することができる。
【００３５】
第１の画像表示部１４は、第１の画像符号化部１２から出力されたビットストリームを復号し、画像信号として表示する。第１の画像表示部１４は、例えばＣＲＴのようなモニターにより構成することができる。
【００３６】
第１の伝送部１５は、第１の画像符号化部１２から出力されたビットストリームの多重化等を行い、伝送信号として出力する。第１の伝送部１５は、例えばネットワークに対して所定のプロトコルに従ってビットストリームを送出する。
【００３７】
第２の解像度／フレームレート変換部１６は、第１の解像度／フレームレート変換部１１と同様に、入力された画像信号のフレームレート及び／又は解像度を所定の解像度及び／又はフレームレートへ変換する。
【００３８】
ここで、第２の解像度／フレームレート変換部１６は、第１の解像度／フレームレート変換部１１と同じ解像度及び／又はフレームレートで出力することも可能である。
【００３９】
また、解像度及び／又はフレームレートの変換を行わず、入力された画像信号の解像度及び／又はフレームレートと等しい解像度及び／又はフレームレートの画像信号を出力することも可能である。
【００４０】
第２の画像符号化部１７では、第１の画像符号化部１２と同様に、第２の解像度／フレームレート変換部１６から出力された画像信号を指定された符号化方法に従って第２のフォーマットのビットストリームに変換して出力する。
【００４１】
第２の画像符号化部１７から出力されたビットストリームは、第２の画像記録部１８、第２の画像表示部１９、第２の伝送部２０へ送られる。
【００４２】
第２の画像記録部１８、第２の画像表示部１９、第２の伝送部２０は、それぞれ第１の記録部１３、第１の画像表示部１４、第１の伝送部１５と同様の処理を行う。
【００４３】
また、第２の画像符号化部１７で行われる符号化方法は、第１の画像符号化部１２で用いられた符号化方法と同様の符号化方法を行うことも可能である。しかし、第２の画像符号化部１７で用いられる符号化方法は、第１の画像符号化部１２で用いられた符号化方法に限定されるものではない。
【００４４】
例えば、第１の解像度／フレームレート変換部１１、第２の解像度／フレームレート変換部１６で等しい解像度及び／又はフレームレートの画像信号に変換し、第１の画像符号化部１２と第２の画像符号化部１７で同じ符号化方法を採用するが、ビットレートのみを変更することにより、同じ符号化方法でかつビットレートのみ異なる画像符号化ビットストリームを作成することも可能である。
【００４５】
次に、本発明の第２の実施の形態の符号化装置について、図３を参照して説明する。この第２の実施の形態は、上述の第１の形態に動き補償を追加した符号化装置である。
【００４６】
画像撮影装置１０１や画像受信装置１０２は、第１の実施の形態と同様の構成である。符号化装置には、画像撮影装置１０１や画像受信装置１０２から画像信号が入力される。符号化装置に入力された画像信号は、画像前処理フィルタ２１に送られる。
【００４７】
画像前処理フィルタ２１は、画像信号に対してノイズ除去等の前処理を施すものである。画像前処理フィルタ２１は、必要に応じ設置されるべきであり、不要な場合には省略することも可能である。
【００４８】
画像前処理フィルタ２１にて前処理が施された画像信号は、第１の解像度／フレームレート変換部２２、動き補償部２５、第２の解像度／フレームレート変換部２７へ送られる。
【００４９】
画像前処理フィルタ２１を設置しない場合には、符号化装置に入力された画像信号は、直接、第１の解像度／フレームレート変換部２２、動き補償部２５、第２の解像度／フレームレート変換部２７へ送られる。
【００５０】
動き補償部２５は、画像前処理フィルタ２１より入力された画像信号の各フレームに対し、動きベクトルの検出を行う。動き補償部２５にて検出された動きベクトルは、第１の動きベクトル変換部２３及び第２の動きベクトル変換部２６へ送られる。
【００５１】
第１の解像度／フレームレート変換部２２は、画像前処理フィルタ２１にて前処理が施された画像信号に対して、外部から入力された第１のフレームレート及び／又は解像度によってフレームレート及び／又は解像度の変換を行う。
【００５２】
この第１の解像度／フレームレート変換部２２は、第１の実施の形態の第１の解像度／フレーム変換部１１と同様の処理を行う。第１の解像度／フレームレート変換部２２にて解像度及び／又はフレームレートの変換が施された画像信号は、第１の画像符号化部２４に送られる。
【００５３】
第１の動きベクトル変換部２３は、動き補償部２５から動きベクトルが、第１の解像度／フレームレート変換部２２から第１のフレームレート及び／又は解像度の画像信号がそれぞれ入力される。
【００５４】
第１の動きベクトル変換部２３は、入力された動きベクトルを第１の解像度／フレームレート変換部２２より出力される画像信号の解像度及び／又はフレームレートにあわせて変換し、第１の画像符号化部２４へ出力する。
【００５５】
このとき、第１の解像度／フレームレート変換部２２では、第１の実施の形態の第１の解像度／フレームレート変換部１１と同様に、画像の切り出しにより低解像度への変換が可能である。
【００５６】
ここで、画像切り出しの位置を以下の手順で決めることにより、第１の動きベクトル変換部２３の処理を簡略化することができる。この手順を図４を用いて説明する。
【００５７】
いわゆるＭＰＥＧ２等の符号化方法においては、各フレーム毎にフレーム間の動きベクトルの検出を行う。このとき、いわゆるＭＰＥＧ２では、画像の動きベクトルはマクロブロックと呼ばれる１６×１６画素の正方形毎に検出が行われる。
【００５８】
マクロブロックは図４のＡに示すように、画像の左上より１６×１６画素毎に区切られ、その各正方ブロックが一つのマクロブロックとして、動きベクトルの検出が行われる。
【００５９】
そのため、画像の切り出し位置をこのマクロブロックの格子にあわせて設定することにより第１の動きベクトル変換部２３での処理を低減することができる。
【００６０】
動きベクトルの検出に用いたマクロブロックの正方格子にあわせ、画像の切り出し位置を設定した例を図４のＢに示す。ここで、切り出し部分及び切り出し後のマクロブロックの位置を太線で示す。
【００６１】
このように、動き補償のマクロブロック位置と画像の切り出し位置を等しく設定することにより、動き補償及び切り出し後のマクロブロックの位置が一致する。これにより切り出し後の画像のマクロブロックでは、そのまま動き補償により求められた動きベクトルを使用することが可能である。
【００６２】
すなわち、動き補償を行ったマクロブロック単位に切り出しを行った場合、動き補償を行ったマクロブロックと符号化を行うマクロブロックの位置が一致するため、動きベクトル変換等の処理が軽減される。
【００６３】
一方、図４のＣは、動きベクトルを求めたマクロブロックの位置と切り出し位置との相関を持たなかった場合の例である。
【００６４】
このように、動き補償のマクロブロック位置と画像の切り出し位置が異なる場合、切り出し後のマクロブロックは、動き補償で使用されたマクロブロック４つにまたがることとなり、切り出し後の動きベクトルは重み付け平均等の処理により決定されるため、第１の動きベクトル変換部２３の処理は煩雑となる。
【００６５】
すなわち、動き補償を行ったマクロブロックと異なるブロックで符号化を行った場合、動き補償を行ったマクロブロックと符号化を行うマクロブロックが一致せず、動きベクトル変換等の処理量が多くなる可能性がある。
【００６６】
なお、このような画像の切り出し位置の設定は、第２の動きベクトル変換部２６における処理を簡略化するためにも同様に行うことができる。
【００６７】
図３に示した第２の実施の形態において、第１の画像符号化部２４には、第１の解像度／フレームレート変換部２２から出力された画像信号及び第１の動きベクトル変換部２３より出力された動きベクトルが入力される。
【００６８】
第１の画像符号化部２４では、指定された符号化方法及びビットレートにより画像の符号化が行われる。符号化されたビットストリームは多重化部２９に出力される。
【００６９】
第２の解像度／フレームレート変換部２７は、画像前処理フィルタ２１から出力された画像信号及び、外部より入力された第２のフレームレート及び／又は解像度を元に解像度及び／又はフレームレートの変換を行う。
【００７０】
第２の解像度フレームレート変換部２７は、第１の解像度／フレームレート変換部２２と同様の動作をする。
【００７１】
第２の動きベクトル変換部２６は、動き補償部２５及び外部より入力された第２のフレームレート及び／又は解像度を入力とされる。第２の動きベクトル変換部２６は、第２のフレームレート及び／又は解像度にあわせて動きベクトルを変換し、第２の画像符号化部２８に出力する。第２の動きベクトル変換部２６は、第１の動きベクトル変換部２３と同様の動作を行う。
【００７２】
第２の画像符号化部２８は、第１の画像符号化部２４と同様の動作をし、動きベクトル変換部２６にて得られた動きベクトル及び第２の解像度／フレームレート変換部２７にて得られた画像信号を入力され、指定された画像符号化方式及びビットレートで画像の符号化を行う。
【００７３】
多重化部２９は、第１の画像符号化部２４及び第２の画像符号化部２８にて得られたビットストリームがそれぞれ入力される。多重化部２９は、入力されたビットストリームを多重化し、画像記録部３０及び伝送部３１に出力する。
【００７４】
画像記録部３０は、上述した第１の実施の形態の第１の記録部１３と同様に多重化されたデータの記録を行う。
【００７５】
伝送部３１は、第１の実施の形態の第１の伝送部１５と同様に、多重化されたデータの伝送を行う。
【００７６】
なお、この第２の実施の形態においては、第１の画像符号化部２４及び第２の画像符号化部２８より出力された画像信号を多重化部２９で多重化を行い記録もしくは伝送を行う例を紹介したが、これは多重化及び一つの記録装置による記録、もしくは伝送に限定したものではない。第１の実施の形態に示したように、各符号化装置からの出力を多重化せず、各々の記録、表示もしくは伝送を行っても良い。
【００７７】
またこれは、上述した第１の実施の形態の場合にも同様であり、この第２の実施の形態に示すように、画像符号化部からの出力を多重化後一つの記録装置もしくは伝送路で伝送しても良い。
【００７８】
次に、本発明の第３の実施の形態について、図５を用いて説明する。この第３の実施の形態は、第２の画像符号化部１７の後段にビットストリーム出力部４０が配置されている以外、図１に示した第１の実施の形態と同様の構成である。
【００７９】
なお、第３の実施の形態において、第１の実施の形態と共通する部分については、同一の符号を付して説明を省略することにする。
【００８０】
第１の解像度／フレームレート変換部１１及び第２の解像度／フレームレート変換部１６には、画像撮影装置１０１や画像受信装置１０２から画像信号がそれぞれ入力される。
【００８１】
第１の解像度／フレームレート変換部１１は、入力された画像信号に対して解像度及び／又はフレームレートの変換を施し、第１の画像符号化部１２に出力する。
【００８２】
第２の解像度／フレームレート変換部１６は、入力された画像信号に対して解像度及び／又はフレームレートの変換を施し、第２の画像符号化部１７に出力する。
【００８３】
第１の画像符号化部１２は、第１の解像度／フレームレート変換部１１から入力された画像信号に対して符号化を施して出力する。
【００８４】
第１の画像符号化部１２から出力された第１のフォーマットによるビットストリームは、第１の記録部１３、第１の画像表示部１４又は第１の伝送部１５に出力される。
【００８５】
第２の画像符号化部１７は、第２の解像度／フレームレート変換部１６から入力された画像信号に対して符号化を施して、ビットストリーム出力部４０に出力する。
【００８６】
このビットストリーム出力部４０の動作について、ビットストリーム出力部４０の構成を示す図６を参照して説明する。
【００８７】
以後、ビットストリーム出力部４０の動作の説明を便宜上ＭＰＦＧ４ビデオ（video ）（ISO/IEC 14496-2 ）の構文（syntax）を用いて説明を行うが、これは本発明をＭＰＥＧ４ビデオの使用したものに限定するものではない。
【００８８】
第２の画像符号化部１７より出力されたビットストリームは、ビットストリーム振り分け部４１に入力される。ビットストリーム振り分け部４１は、入力されたビットストリームを、ビットストリームの先頭に位置しビットストリームの初期化情報を示す部分と、それ以外の部分とに分割する。
【００８９】
ビットストリームの先頭に位置し、ビットストリームの初期化情報を示す部分とは、例えばいわゆるＭＰＥＧ４の場合Video_Object_Layer_header （以後ＶＯＬヘッダという。）である。
【００９０】
ビットストリーム振り分け部４１は、分割したビットストリームのＶＯＬヘッダをＶＯＬヘッダバッファ４３へ出力する。
【００９１】
またビットストリーム振り分け部４１により出力された、ＶＯＬヘッダ以外のビットストリームはＧＯＶ（Group of Video Object Plane ）バッファ４４へ出力される。
【００９２】
ここで、ＧＯＶとは、ビデオを構成するフレーム単位を表すＶＯＰ（Video Object Plane）単数もしくは複数個より構成される。このＧＯＶは、いわゆるＭＰＥＧ２（Moving Pictures Expert Group Phase ２）のＧＯＰ（Group of Pictures）に対応するものである。
【００９３】
ＶＯＬヘッダバッファ４３ではビットストリーム振り分け部４１より出力されたＶＯＬヘッダのビットストリームを保存する。またタイミング調整部４２よりバッファ出力フラグが入力された場合、バッファ内に蓄えられたＶＯＬヘッダの情報をビットストリーム合成部４５へ出力する。
【００９４】
このとき、ＶＯＬヘッダバッファ４３はビットストリーム合成部４５への出力を行うが、ビットストリームのＶＯＬ部分の情報は保持される。この情報は新たにビットストリーム振り分け部４１よりビットストリームのＶＯＬヘッダが入力されるまで保持され、新たにビットストリームのＶＯＬヘッダが入力された場合、新たに入力されたＶＯＬヘッダの情報を用いて上書きされる。
【００９５】
ＧＯＶバッファ４４はビットストリーム振り分け部４１より出力されたビットストリームのＶＯＬヘッダ以外の部分を入力とし、これを保持する。このとき、ビットストリームは例えばＧＯＶ単位等の再生が可能な最小単位毎に分割され保存される。
【００９６】
ここで、ＧＯＶは、本実施の形態を説明する上で便宜上用いたものであり、再構成可能であれば、ＶＯＰ等のさらに小さな構成単位もしくは２つのＧＯＶ等大きい構成単位でも問題ない。
【００９７】
ＧＯＶバッファ４４の容量がいっぱいになった場合には、古い順にビットストリームが消去される。このときビットストリームの消去は再生が可能な最小単位毎に行われ、新たにビットストリームを保存するのに使用される。
【００９８】
ＧＯＶバッファ４４はタイミング調整部４２からのバッファ出力フラグを受けるとそのバッファ内に蓄積したビットストリームの一部もしくは全部をビットストリーム合成部４５へ出力する。
【００９９】
タイミング調節部４２では、外部より出力フラグを受け、これを必要に応じ所定の遅延時間にわたって遅延させてバッファ出力フラグを出力する。
【０１００】
例えば、ＧＯＶバッファ４４が３０秒分のビットストリームを保持するバッファ容量を有している場合でかつ出力フラグを入力された１０秒後にバッファ出力フラグを出力したとすると、ＧＯＶバッファ４４より出力されるビットストリームは、出力フラグが入力される２０秒前より、出力フラグが出力された１０秒後までのビットストリームがＧＯＶバッファ４４よりビットストリーム合成部４５に出力されることとなる。
【０１０１】
同様にタイミング調節部４２の遅延時間を０秒にした場合には、出力フラグが入力される３０秒前より出力フラグが入力された時点までに保存されているビットストリームデータが出力される。
【０１０２】
このようにタイミング調整部４２での遅延時間の大きさを調整することで、後段に出力するビットストリームの範囲を調整することが可能となる。
【０１０３】
ビットストリーム合成部４５では、ＶＯＬヘッダバッファ４３及びＧＯＶバッファ４４から出力されるビットストリームを入力とし、この二つのビットストリームを合成し、出力を行う。
【０１０４】
ビットストリーム合成部４５では、ＶＯＬヘッダのビットストリームの直後にＧＯＶバッファ４４からのデータを追加し、再生可能なビットストリームを作成する。
【０１０５】
ここで、ビットストリーム出力部４０におけるビットストリームに対する処理について、図７を用いて説明する。図中には、入力されたビットストリーム２１０と、出力されるビットストリーム２２０との関係が示されている。
【０１０６】
例えばＧＯＶ₅ の蓄積時に出力フラグが入力されたとし、ＧＯＶバッファ４４は４個のＧＯＶのビット量に相当するバッファが可能であるとする。
【０１０７】
このとき、実際にビットストリーム出力部から出力が行われるタイミングは時刻Ｔ_e に相当し、この時刻はタイミング調整部４２の遅延時間及び出力フラグが入力された時刻Ｔ_o から求められる。
【０１０８】
この例では、ＧＯＶバッファ４４が４個のＧＯＶのビット量に相当するバッファを保持しているものとした。時刻Ｔｅにおいて、ＧＯＶバッファ４４に蓄積されている再構成可能なＧＯＶビットストリームは、ＧＯＶ₄ ，ＧＯＶ₅ ，ＧＯＶ₆ となる。
【０１０９】
そのため、ＧＯＶバッファ４４から出力されるビットストリームはＧＯＶ₄ ，ＧＯＶ₅ ，ＧＯＶ₆ となり、このビットストリームの先頭にＶＯＬヘッダバッファ４３に蓄積されたデータを添付することで再生可能なビットストリームの合成が可能となる。
【０１１０】
図５に示した第３の実施の形態において、ビットストリーム出力部４０から出力されたビットストリームは、第２の記録部１８、第２の画像表示部１９及び第２の伝送部２０に出力される。
【０１１１】
この第３の実施の形態の符号化装置を利用することにより、第２の画像符号化部１７により符号化されたビットストリームの一部のみを切り出し、蓄積、伝送表示することが可能である。
【０１１２】
この動作と同時に、第１の符号化装置より出力された画像ビットストリームを蓄積、伝送、表示することが可能である。
【０１１３】
また、第３の実施の形態においては、一部を切り出すビットストリーム及びシーケンス全体を保存するビットストリームの符号化方式が同じでも問題ない場合、第２の解像度／フレームレート変換部１６及び第２の画像符号化部１７を省略することが可能である。
【０１１４】
次に、第３の実施の形態の変形例について、図８を用いて説明する。この変形例は、上述の第３の実施の形態において、第２の解像度／フレームレート変換部１６及び第２の画像符号化部１７を省略し、第１の画像符号化部１２の出力をビットストリーム出力部４０に入力したものである。
【０１１５】
この変形例は、一部を切り出すビットストリーム及びシーケンス全体を保存するビットストリームの符号化方式が同じでも問題がない場合に、第３の実施の形態おいて、第２の解像度／フレームレート変換部１６及び第２の画像符号化部１７を省略したものである。
【０１１６】
なお、図５に示した第３の実施の形態及び図１０に示した第３の実施の形態の変形例においては、第１の符号化装置１２の出力は第１の記録部１３、第１の画像表示部１４及び第１の伝送部１５に送られ、ビットストリーム出力部４０の出力は第２の記録部１８、第２の画像表示部１９及び第２の伝送部２０に送られる。しかし、図３に示した第２の実施の形態のように、多重化を行った後で、単一の記録部３０及び伝送部３１に出力することもできる。
【０１１７】
また、図５に示した第３の実施の形態においては、画像シーケンスの全体及び一部のビットストリームを符号化する例を示したが、画像の一部のビットストリームのみが必要な場合には、第１の解像度／フレームレート変換部１１、第１の画像符号化部１２、第１の記録部１３、第１の画像表示部１４及び第１の伝送部１５を省略することもできる。
【０１１８】
以上説明した実施の形態は、例えば、光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に記録し、これを再生してディスプレイ等に表示したり、テレビ会議システムやテレビ電話システム、インターネットやテレビ放送機器など、伝送路を介して送信側から受信側に伝送し、受信側において、これを受信して表示する場合などに用いて好適である。
【０１１９】
なお、上述の第１の実施の形態においては、第１の画像符号化部１２から出力されるビットストリームは第１の記録部１３、第１の画像表示部１４及び第１の伝送部１５に、第２の画像符号化部１７から出力されるビットストリームは第２の記録部１８、第２の画像表示部１９及び第２の伝送部２０に入力されるものとしたが、これに限定されない。
【０１２０】
例えば、第１の画像符号化部１２から出力されるビットストリームは第１の記録部１３に、第２の画像符号化部１７から出力されるビットストリームは第２の記録部に入力されるように、出力先を選択することができる。
【０１２１】
上述の第２の実施の形態、第３の実施の形態、及び第３の実施の形態の変形例においても、同様にして出力先を選択できるのはいうまでもない。
【０１２２】
【発明の効果】
本発明により、一つの入力画像信号に対し、複数の符号化方法、ビットレート、解像度等に応じた画像符号化ビットストリームを作成すること可能となる。従って、本発明によると、従来の作成したビットストリームを目的のものに変更する場合におこる画質劣化を抑制することができる。
【０１２３】
また、本発明によると、ビットストリーム全体からビットストリームの一部を切り出し、再生可能なビットストリームとして蓄積、伝送等を行うことが可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態の符号化装置の構成を示すブロック図である。
【図２】解像度／フレームレート変換部における解像度変換を説明する図である。
【図３】第２の実施の形態の符号化装置の構成を示すブロック図である。
【図４】画像の切り出し位置を説明する図である。
【図５】第３の実施の形態の符号化装置の構成を示すブロック図である。
【図６】ビットストリーム出力部の構成を示すブロック図である。
【図７】ビットストリーム出力部におけるビットストリームの処理を示す図である。
【図８】第３の実施の形態の符号化装置の変形例の構成を示すブロック図である。
【図９】従来の符号化装置を説明する図である。
【図１０】従来の符号化装置にて得られたビットストリームの画像変換方式の変換を説明する図である。
【符号の説明】
１１第１の解像度／フレームレート変換部、１２第１の画像符号化部、１３第１の画像記録部、１４第１の画像表示部、１５第１の伝送部、１６第２の解像度／フレームレート変換部、１７第２の画像符号化部、１８第２の画像記録部、１９第２の画像表示部、２０第２の伝送部

Claims

入力された画像信号に対して符号化を施す符号化装置において、
上記画像信号に対して動き補償を行う動き補償手段と、
上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第１の低解像度画像に変換する第１の画像変換手段と、
上記動き補償による動きベクトルを、上記第１の画像変換手段により変換された第１の低解像度画像にあわせて変換する第１の動きベクトル変換手段と、
上記第１の動きベクトル変換手段により変換された動きベクトルを用いて、上記第１の画像変換手段により切り出された第１の低解像度画像を符号化する第１の符号化手段と、
上記画像信号に対して、上記第１の変換手段での変換とは異なる変換を施す第２の画像変換手段と、
上記動き補償による動きベクトルを、上記第２の画像変換手段により変換された第２の画像にあわせて変換する第２の動きベクトル変換手段と、
上記第２の動きベクトル変換手段により変換された動きベクトルを用いて、上記第２の画像変換手段により変換された画像を符号化する第２の符号化手段と
を備える符号化装置。
上記第２の画像変換手段は、上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第２の低解像度画像に変換し、
上記第２の動きベクトル変換手段は、上記動き補償による動きベクトルを、上記第２の画像変換手段により変換された第２の低解像度画像にあわせて変換し、
上記第２の符号化手段は、上記動きベクトル変換手段により変換された動きベクトルを用いて、上記画像変換手段により切り出された第２の低解像度画像を符号化する請求項１記載の符号化装置。
上記第１の符号化手段により生成された第１のビットストリームと上記第２の符号化手段により生成された第２のビットストリームとを記録媒体に記録する記録手段を更に備える請求項１記載の符号化装置。
上記第１の符号化手段により生成された第１のビットストリームと上記第２の符号化手段により生成された第２のビットストリームとを多重化する多重化手段を更に備え、
上記記録手段は、上記多重化手段により多重化されたビットストリームを前記記録媒体に記録する請求項３記載の符号化装置。
上記第１の符号化手段により生成された第１のビットストリームと上記第２の符号化手段により生成された第２のビットストリームとを伝送する伝送手段を更に備える請求項１記載の符号化装置。
タイミング調整フラグを利用して、第２のビットストリームの一部を伝送する請求項５記載の符号化装置。
上記第１の符号化手段により生成された第１のビットストリームと上記第２の符号化手段により生成された第２のビットストリームとを多重化する多重化手段を更に備え、
上記伝送手段は、上記多重化手段により多重化されたビットストリームを伝送する請求項５記載の符号化装置。
上記第１の符号化手段と上記第２の符号化手段とは、同じ符号化方式に従って符号化する請求項１記載の符号化装置。
上記第１の符号化手段と上記第２の符号化手段とは、異なるビットレートで符号化する請求項１記載の符号化装置。
上記第１の符号化手段と上記第２の符号化手段とは、ＭＰＥＧ−２規格又はＭＰＥＧ−４規格に従って符号化する請求項１記載の符号化装置。
入力された画像信号に対して符号化を施す符号化方法において、
上記画像信号に対して動き補償を行う動き補償工程と、
上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第１の低解像度画像に変換する第１の画像変換工程と、
上記動き補償による動きベクトルを、上記第１の画像変換工程により変換された第１の低解像度画像にあわせて変換する第１の動きベクトル変換工程と、
上記第１の動きベクトル変換手段により変換された動きベクトルを用いて、上記第１の画像変換工程により切り出された第１の低解像度画像を符号化する第１の符号化工程と、
上記画像信号に対して、上記第１の変換工程での変換とは異なる変換を施す第２の画像変換工程と、
上記動き補償による動きベクトルを、上記第２の画像変換工程により変換された第２の画像にあわせて変換する第２の動きベクトル変換工程と、
上記第２の動きベクトル変換工程により変換された動きベクトルを用いて、上記第２の画像変換工程により変換された画像を符号化する第２の符号化工程と
を備える符号化方法。
上記第２の画像変換工程では、上記動き補償のマクロブロック位置と一致するように、上記画像信号の画像を切り出す際の切り出し位置を設定し、設定した切り出し位置に対応する画像を切り出すことにより第２の低解像度画像に変換し、
上記第２の動きベクトル変換工程では、上記動き補償による動きベクトルを、上記第２の画像変換工程により変換された第２の低解像度画像にあわせて変換し、
上記第２の符号化工程では、上記動きベクトル変換工程により変換された動きベクトルを用いて、上記画像変換工程により切り出された第２の低解像度画像を符号化する請求項１１記載の符号化方法。