JPWO2012114774A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
JPWO2012114774A1
JPWO2012114774A1 JP2012532183A JP2012532183A JPWO2012114774A1 JP WO2012114774 A1 JPWO2012114774 A1 JP WO2012114774A1 JP 2012532183 A JP2012532183 A JP 2012532183A JP 2012532183 A JP2012532183 A JP 2012532183A JP WO2012114774 A1 JPWO2012114774 A1 JP WO2012114774A1
Authority
JP
Japan
Prior art keywords
frame
encoding
reception signal
encoded
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012532183A
Other languages
English (en)
Inventor
角野　眞也
眞也 角野
俊明 渡辺
俊明 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2012114774A1 publication Critical patent/JPWO2012114774A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

小さいメモリ容量で圧縮効率が高いストリームを生成する動画像符号化装置であって、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することにより、符号化対象フレームの符号化データを生成する符号化部（１０５）と、生成された符号化データを動画像復号装置に送信する送信部（１０６）と、所定数の連続するフレームすべての符号化データを正しく受信できたことを示す信号である正常受信信号、またはいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、受信側装置から取得し、正常受信信号を取得した場合には、取得部が正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をキーフレームとしてメモリ（１０１）に格納し、異常受信信号を取得した場合には、メモリに格納されているいずれかのキーフレームを参照して符号化対象フレームを符号化部に符号化させる制御部（１０８）とを備える。

Description

本発明は動画像符号化装置および動画像復号装置に関し、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４方式、または、ＩＴＵ−Ｔ Ｈ．２６４方式を用いて動画像データを符号化する動画像符号化装置および動画像復号装置に関する。
近年、ＡＤＳＬまたは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数十Ｍｂｉｔ／ｓを越えるビットレートでのデータ通信が可能となっている。そこで、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣおよびＨ．２６４等の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質またはＨＤＴＶ放送品質のＴＶ電話システム・ＴＶ会議システムの導入が進むと予想される。
ところで、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際には、ネットワーク輻輳などでストリームの一部が消失する可能性がある。ストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できないので、画質劣化が発生する。
さらに、たとえフレーム単位で復号処理がされたとしても、復号処理された画素を正しく復号できるとは限らない。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣおよびＨ．２６４等では、消失したストリームの次のフレームを復号する際に、次のフレームがすべて画面内符号化されている場合（Ｉフレーム）では、画面内符号化されているスライスのストリームのみで画素を正しく復号できる。しかし、消失したストリームの次のフレームを復号する際に、次のフレームが画面間符号化されている場合（Ｐフレーム）には、次のフレームは直前に復号したフレーム、すなわちストリーム消失で画質劣化があるフレームとの相関を利用して（直前に復号したフレームを参照して）復号を行うので、正しく画素を復号できない。
このように、ストリームが消失した場合に、消失したストリームの次のフレームが画面間符号化されていると正しく復号できず、さらに再帰的に後続のフレームも正しく復号できなくなるという課題がある。
そこで、画面が正しく復号できない場合に、正しく画素を復号できない状態が後続フレームに伝播することを防止する方法として、例えば、図１６、図１７、および図１８に示す技術が知られている。
図１６は従来のＡＣＫ／ＮＡＣＫと画面内符号化を用いた動画像符号化方法の説明図である。送信側では動画像データをフレーム単位で符号化して圧縮されたストリームを生成する。送信側が受信側にストリームを送信し、受信側がストリームを復号する。これにより、受信側で動画像が復元され、復元された動画像が再生される。
動画像の最初のフレームは、Ｉフレーム符号化し、以後のフレームは直前に符号化したフレームを参照したＰフレームとして符号化する（左側のフレームに向かう破線で示す矢印は、符号化で参照するフレームを示す）。図１６の横軸は時間経過を示し、右に行くほど時間が経過する。Ｐ０、Ｐ１、Ｐ２、Ｐ３はフレームの番号である０番目、１番目、２番目、３番目をそれぞれ表している。送信側の各フレームから受信側の各フレームに向かう矢印は、送信側のフレームとそれに対応する受信側のフレームとの対応関係を示す。矢印の向きが右下や右上となっているのは、送信側から受信側にストリームを送信する場合に経過する時間（送受信間の伝送路遅延）だけ時刻が右に移動することを意味している。また、「×」印は、通信エラーによるパケットロスが生じたことを示す。
受信側では、受信したフレームが正しく復号できた場合に、ＡＣＫを送信側に送信する。例えば、フレームＰ０、フレームＰ１、およびフレームＰ２が正しく受信できた場合に、受信側はそれぞれＡＣＫを送信側に送信する。送信側では、ＡＣＫを受信することで、フレーム番号に対応するフレームが正しく受信側で復号できたことがわかる。
さて、フレームＰ１７が伝送路でのエラーにより、受信側で正しく復号できなかったとする。その場合、フレームＰ１７だけでなく、フレームＰ１７を参照して逐次復号を行うフレームＰ１８、Ｐ１９、Ｐ２０、およびＰ２１も正しく復号することができない。受信側ではフレームＰ１７を正しく復号できないため、ＡＣＫではなく、ＮＡＣＫを送信側に送信する。
送信側ではＮＡＣＫを受信することで、受信側で当該フレーム（Ｐ１７）を正しく復号できていないことを知ることができる。その結果、ＮＡＣＫを受信した直後において符号化が完了していないフレームＰ２２をＰフレーム（画面間予測）ではなくＩフレーム（画面内予測）で符号化して伝送する。
受信側ではＩフレームであるフレームＩ２２を受信し、受信したフレームＩ２２を復号する。これにより、正しく復号できなかったフレームを参照することによるエラー伝播を停止できるので、フレームＰ２３以降のＰフレームも正しく復号可能になる。
図１７は従来のＡＣＫと画面間符号化を用いた動画像符号化方法の説明図であり、図１６を改良したものである。受信側では、受信したフレームが正しく復号できた場合は、正しく復号できたフレームを特定する番号を付与したＡＣＫを送信側に送信する。例えば、フレームＰ０、フレームＰ１、フレームＰ２が正しく受信できた場合に、受信側はそれぞれＡＣＫ０、ＡＣＫ１、およびＡＣＫ２を送信側に送信する。
送信側では、ＡＣＫとフレーム番号とを受信することで、フレーム番号に対応するフレームが正しく受信側で復号できたことがわかる。
さて、フレームＰ１７が伝送路でのエラーにより、受信側で正しく復号できなかったとする。その場合、フレームＰ１７だけでなく、フレームＰ１７を参照して逐次復号を行うフレームＰ１８、Ｐ１９、Ｐ２０、およびＰ２１も正しく復号することができない。受信側ではフレームＰ１７を正しく復号できないため、ＡＣＫを送信側に送信しない。
送信側ではフレームＰ１７に対応するＡＣＫを受信しないことで、受信側で正しく復号できていないことを知ることができる。一方、ＡＣＫ１６を受信しているので、フレームＰ１６を正しく復号できていることは確認できる。従って、フレームＰ２２をＩフレームではなく、フレームＰ１６を参照したＰフレームとして符号化して伝送する。
受信側では正しく復号できたフレームＰ１６を参照したフレームＰ２２を受信し、受信したフレームＰ２２を復号する。これにより、正しく復号できなかったフレームを参照することによるエラー伝播を停止できるので、フレームＰ２３以降のＰフレームも正しく復号可能になる。
このように、図１７の動画像符号化方法では、圧縮効率の悪いＩフレームではなく、圧縮効率の高いＰフレームでエラー伝播を停止できるので、図１６よりも圧縮効率が高いストリームを生成し送信することができる。なお、図１７ではＡＣＫを用いて受信側から送信側に正しく復号できなかったことを通知したが、ＮＡＣＫを用いて通知することも可能である。
図１８は従来のＮＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図ある。図１８では、ＡＣＫの代わりに、受信側では、受信したフレームが正しく復号できなかった場合に、正しく復号できないフレームを特定する番号を付与したＮＡＣＫを送信側に送信する。例えば、フレームＰ１７が正しく受信できなかった場合、受信側はＮＡＣＫ１７を送信側に送信する。
送信側ではフレームＰ１７に対応するＮＡＣＫを受信することで、受信側で正しく復号できていないことを知ることができる。その結果、ＮＡＣＫを受信していない最新のフレームであるＰ１６を参照して、フレームＰ２２をＰフレームとして符号化して伝送する。これにより、図１７と同様に、圧縮効率の悪いＩフレームではなく、圧縮効率の高いＰフレームでエラー伝播を停止できるので、図１６よりも圧縮効率が高いストリームを生成し、送信することができる（特許文献１参照）。
特許第３０６８００２号公報
しかしながら、上記図１７および図１８の動画像符号化方法では、ＡＣＫ／ＮＡＣＫが通知されたときに参照する参照フレームを格納するために多くのメモリを必要とする。例えば、図１７の送信側でフレームＰ２２を参照可能とするためには、フレームＰ１６が参照フレームとしてメモリに格納されている必要がある。すなわち、この例では、まだＡＣＫを受信していない送信済みのフレームである、フレームＰ１６、Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０、およびＰ２１の６フレーム分をすべてメモリに格納しておく必要がある。これは、ＡＣＫ／ＮＡＣＫをフレーム単位で受信し、ＮＡＣＫを受信した後に、最後に受信したＡＣＫに対応するフレームを参照可能とするためである。このメモリに格納が必要なフレーム数は、伝送遅延に比例して大きくなるため、伝送遅延が大きいとフレームを格納するために必要なメモリ容量も大きくなる。
また、受信側では、送信側でＮＡＣＫ受信時に参照する可能性のある参照フレームをすべてメモリに格納しておくことが必要である。従って、受信側でも送信側と同じく、フレームＰ１６、Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０、およびＰ２１の６フレーム分を格納するメモリ容量が必要となる。
さらに、図１７のように各フレームでＡＣＫを返す場合には、ＡＣＫを送信する頻度が多く、低ビットレート通信においてはＡＣＫの送信ビットレートが動画像データの送受信可能ビットレートに対して無視できない。すなわち、ＡＣＫを送受信するビットレートの分だけ、動画像データの送受信ビットレートを低くしなければならないという問題も発生する。
そこで、本発明は、上記問題点に鑑みてなされたものであり、参照フレームを格納するメモリ容量をほとんど増やさずに、Ｐフレーム（画面間予測）でエラーの伝播を停止できる仕組みを提供し、小さいメモリ容量で圧縮効率が高いストリームを送信することを目的とする。
上記の課題を解決するために、本発明の一形態に係る動画像符号化装置は、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、生成された前記符号化データを動画像復号装置に送信する送信部と、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、前記所定数の連続するフレームのうちのいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、前記取得部が前記正常受信信号を取得した場合には、前記取得部が前記正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、前記取得部が前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部とを備える。
これによれば、動画像符号化装置は、取得部が正常受信信号の１つを受信した時点において、当該時点と、過去の最も新しい正常受信信号を受信した時点との間に符号化された複数のフレームを動画像復号装置が正しく受信したことを知ることができる。また、動画像復号装置が当該複数のフレームのうちの一部を通信エラーによるパケットロスにより受信できなかった場合に、新たに符号化するフレームの参照先がエラー復帰用フレームに限られる。そのため、動画像符号化装置は、通信エラーによるパケットロスに備えてすべてのフレームを格納する必要がなく、メモリ容量を小さく抑えることができる。よって、動画像符号化装置は、小さいメモリ容量で圧縮効率が高いストリームを送信することができる。
また、本発明の一形態に係る動画像復号装置は、動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置であって、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部とを備える。
これによれば、動画像復号装置は、所定数の連続するフレームを正しく受信できたことを１つの正常受信信号を動画像符号化装置に送信することにより通知することができる。また、動画像復号装置が当該所定数の連続するフレームを受信できなかった場合に、動画像符号化装置において新たに符号化されるフレームの参照先がエラー復帰用フレームに限られる。そのため、動画像復号装置は、通信エラーによるパケットロスに備えてすべてのフレームを格納する必要がなく、メモリ容量を小さく抑えることができる。よって、動画像復号装置は、小さいメモリ容量で圧縮効率が高いストリームを受信することができる。
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の通信媒体を介して配信してもよい。
以上のように、本発明によれば、前記正常受信信号を取得した場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常検知信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照して、符号化対象フレームを符号化するので、参照フレームを格納するメモリ容量を増やさずに、Ｐフレーム（画面間予測）でエラーの伝播を停止できる。その結果、小さいメモリ容量で圧縮効率が高いストリームを生成することができる。
図１は、本発明の各実施の形態のＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を説明する図である。 図２Ａは、本発明の実施の形態１における動画像符号化装置の構成の一例を示すブロック図である。 図２Ｂは、本発明の実施の形態１における動画像符号化装置の構成の別の一例を示すブロック図である。 図３は、本発明の実施の形態１における動画像符号化装置のフレームごとの処理手順を示すフローチャートである。 図４Ａは、本発明の実施の形態１における動画像符号化装置のフレームメモリにおけるメモリ領域の区分を示す図である。 図４Ｂは、本発明の動画転送システムの一例の機能概要図である。 図５Ａは、本発明の実施の形態２における動画像復号装置の構成の一例を示すブロック図である。 図５Ｂは、本発明の実施の形態２における動画像復号装置の構成の別の一例を示すブロック図である。 図６は、本発明の実施の形態２における動画像復号装置のフレームごとの処理手順を示すフローチャートである。 図７は、本発明の実施の形態３における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図８は、本発明の実施の形態４における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図９は、制御用パケットフィールドの一例を示す図である。 図１０は、本発明の実施の形態４における動画像復号装置の構成の一例を示すブロック図である。 図１１は、本発明の実施の形態４における動画像復号装置の構成の別の一例を示すブロック図である。 図１２は、本発明の動画転送システムの別の一例の機能概要図である。 図１３は、本発明の実施の形態４における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図１４Ａは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫ受信時）である。 図１４Ｂは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＮＡＣＫ受信時）である。 図１４Ｃは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫおよびＮＡＣＫ受信時）である。 図１４Ｄは、ＡＣＫ／ＮＡＣＫの受信の説明図（タイムアウト時）である。 図１５は、本発明の各実施の形態の画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納する記録媒体についての説明図である。 図１６は、従来のＡＣＫ／ＮＡＣＫと画面内符号化を用いた動画像符号化方法の説明図である。 図１７は、従来のＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図である。 図１８は、従来のＮＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図である。
なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
以下、本発明の各実施の形態について、図面を用いて説明する。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。
図１は本発明の各実施の形態に用いられるＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を説明するための図である。以下、図１の動作について説明する。
本発明の各実施の形態では、フレームの集合としてＧＯＫＰ（Ｇｒｏｕｐ Ｏｆ ｐｉｃｔｕｒｅｓ ｂｅｔｗｅｅｎ Ｋｅｙ Ｐｉｃｔｕｒｅｓ）を定義する。ＧＯＫＰは、動画像を構成するフレームの集合である。各ＧＯＫＰ内の最後にはキーフレームが設定される。キーフレームとは、伝送路上でエラーが生じたときに画面間予測フレームのエラーの伝搬を断ち切るために、参照フレームとして保存されるエラー復帰用参照フレームのことである。
ＧＯＫＰには、ＩフレームまたはＰフレームが含まれる。Ｉフレームは、画面内予測フレームであって符号化ストリームの先頭で１フレームだけ送信され、符号化ストリームの最初のキーフレームとして単独でＧＯＫＰを構成する。Ｐフレームは、符号化済みのフレームを参照する画面間予測フレームである。
受信側では、現在復号対象のフレーム（以下、復号対象フレーム）の直前に復号されたフレームが、参照フレームとしてフレームメモリに格納される。その際に、正しく復号できたキーフレームとそれ以外の参照フレームとが別の領域に格納され、正しく復号された最新のキーフレームと最新の参照フレームとが常にメモリに格納される。
また、受信側は、受信したＧＯＫＰのすべてのフレームが正しく復号できた場合には、当該フレームの属するＧＯＫＰの識別番号を添付して、ＡＣＫ（正常受信信号）を送信側に送信する。一方、フレームを正しく復号できなかった場合には、ＮＡＣＫ（異常受信信号）を送信する。このＡＣＫあるいはＮＡＣＫにはＧＯＫＰを識別する番号を付与する。
送信側では、ＡＣＫを受信した場合に、ＡＣＫを受信したときに符号化が完了していないフレームを新たなキーフレームとして符号化し、当該フレームを含むＧＯＫＰを完結して、新しいＧＯＫＰを構成する。
ＮＡＣＫを受信しない場合には、ＡＣＫを受信した場合を含め、送信側は、フレーム間の相関が大きい、最新の参照フレームを参照することにより符号化対象フレーム（Ｐフレーム）の符号化を行う。
一方、ＮＡＣＫを受信した場合には、送信側は、現在符号化中のフレームの符号化を完了した後、この現在符号化中フレームが属するＧＯＫＰを完結する。そして、送信側は、次の符号化対象のフレームをキーフレームとして単独フレームで新たなＧＯＫＰを構成し、それまでに受信したＡＣＫの中で最新のＡＣＫに対応するＧＯＫＰのキーフレームを参照することにより、符号化する。
具体的には、図１の場合、送信側は、ＮＡＣＫを受信したときには、フレームＰ２１の符号化中である。そこで、送信側は、フレームＰ２１の符号化を完了した後、フレームＰ２１が属するＧＯＫＰ５を完結する。そして、送信側は、次のフレームＰ２２をキーフレームとして単独で新たなＧＯＫＰ６を構成する。ここで、ＮＡＣＫ４を受信するまでに、送信側は、最新のＡＣＫとしてＡＣＫ３を受信している。従って、送信側は、受信したＡＣＫ３に対応するキーフレーム、すなわち、ＧＯＫＰ３のキーフレームであるフレームＰ１５を参照することによりフレームＰ２２を符号化する。
なお、送信側では、参照フレームについて、受信側と同様に、キーフレームとそれ以外のフレームとで、フレームメモリへの格納領域が区別されている。
このようにして、フレームＰ１７が伝送エラーによって正しく復号できなかったとしても、フレームＰ２２では正しく復号できたフレームＰ１５を参照したＰフレームとして復号できるので、エラーの伝播を停止することができる。
以下、図１で示した本発明のＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を実現する動画像符号化装置および動画像復号装置の具体的な構成および動作について、各実施の形態で説明する。
（実施の形態１）
図２Ａは、本発明の実施の形態１における動画像符号化装置１の構成の一例を示すブロック図である。図２Ａに示されるように、動画像符号化装置１は、符号化部１ａと、メモリ１ｂと、送信部１ｃと、取得部１ｄと、制御部１ｅとを備える。
符号化部１ａは、動画像データを圧縮符号化し、圧縮符号化された動画像データを送信部１ｃへ出力する。
メモリ１ｂは、参照フレームを格納するための領域を備えたメモリである。
送信部１ｃは、符号化部１ａが出力した圧縮符号化された動画像データに対し、伝送用のヘッダ情報（ＲＴＰヘッダ、ＩＰヘッダ等）などを付加し、符号化データを生成して、動画像復号装置に送信する。
取得部１ｄは、動画像復号装置から正常受信信号（ＡＣＫ）または異常受信信号（ＮＡＣＫ）を受信し、制御部１ｅに通知する。
制御部１ｅは、取得部１ｄが正常受信信号（ＡＣＫ）を取得した場合には、取得部１ｄが正常受信信号を取得したタイミングの符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納する。また、取得部１ｄが異常受信信号（ＮＡＣＫ）を取得した場合には、メモリに格納されているいずれかのエラー復帰用フレームを参照することにより符号化対象フレームを符号化部１ａに符号化させる。
なお、符号化部１ａと、メモリ１ｂと、制御部１ｅとを含むエンコーダ部１１ａを備えてもよい。また、送信部１ｃを含むパケット化部１１ｂを備えてもよい。
図２Ｂは、本発明の実施の形態１における動画像符号化装置１１の構成の一例を示すブロック図である。図３は、本発明の実施の形態１における動画像符号化装置１１の処理手順を示すフローチャートである。以下、図２Ｂに示した動画像符号化装置１１の動作を、図３を用いて説明する。
図２Ｂに示すように、実施の形態１の動画像符号化装置１１は、画面間予測部１００、フレームメモリ１０１、イントラ／インター判定部１０２、予測画像選択部１０３、予測画像減算部１０４、画像符号化部１０５、多重化送信部１０６、画像復号部１０７、制御部１０８、ＧＯＫＰ更新部１１０、付加情報符号化部１１１および予測画像加算部１１２を備える。ここで、画面間予測部１００、フレームメモリ１０１、イントラ／インター判定部１０２、予測画像選択部１０３、予測画像減算部１０４、画像符号化部１０５、画像復号部１０７、制御部１０８、ＧＯＫＰ更新部１１０、付加情報符号化部１１１および予測画像加算部１１２は、エンコーダ部１１ａに相当する。また、多重化送信部１０６は、パケット化部１１ｂに相当する。以下で各ブロックについて詳細に説明する。
動画像入力データとして入力端子に入力された動画像は、画面間予測部１００と予測画像減算部１０４とに入力される。
フレームメモリ１０１は、２つのキーフレームを含む参照フレームを格納するための領域を備えたメモリである。
画面間予測部１００は、フレームメモリ１０１の参照フレーム領域に格納された参照フレームデータを参照することにより、予測画像データを生成する。また、画面間予測部１００は、符号化対象フレームをＰフレームとして符号化する際に必要な、動きベクトル等の動き情報を画面間符号化の付加情報として生成する。そして、画面間予測部１００は、生成した付加情報を付加情報符号化部１１１に通知する。
イントラ／インター判定部１０２は、最初のフレームをＩフレーム、その他のフレームはＰフレームとして符号化するよう、予測画像選択部１０３にイントラ／インター判定信号を用いて通知する。
予測画像選択部１０３は、イントラ／インター判定信号が示す指示に従い、符号化対象フレームがＰフレームの場合は、画面間予測部１００によってフレームメモリ１０１から読み出された予測画像データを予測画像減算部１０４に入力する。また、符号化対象フレームがＩフレームの場合は、入力なし（値０）を選択して予測画像減算部１０４に入力する。予測画像減算部１０４は、入力端子から入力された動画像データと予測画像選択部１０３によって選択された予測画像データとの差分値を計算して、予測誤差画像データを生成する。画像符号化部１０５は、生成された予測誤差画像データを圧縮符号化し、圧縮符号化によって得られた符号化データを多重化送信部１０６に出力する。画像復号部１０７は符号化データを伸張復号して復号予測誤差画像データを生成する。予測画像加算部１１２は、画像復号部１０７で生成された復号予測誤差画像データと予測画像選択部１０３で選択された予測画像データとを加算して得られる復号画像データを、フレームメモリ１０１に出力する。
制御部１０８は、予測画像加算部１１２からフレームメモリ１０１に入力された復号画像データを、復号された復号対象フレームがキーフレームであるかまたはキーフレーム以外のフレームであるかに応じて、あらかじめ定められた参照フレーム領域に格納するとともに、各フレームの復号画像データが格納された参照フレーム領域を示す情報を参照フレーム指定情報の一部として画面間予測部１００に出力する。
制御部１０８は、動画像符号化装置の内部または外部の図示しない受信部で受信されたＡＣＫ／ＮＡＣＫ通知ストリームにより、ＡＣＫまたはＮＡＣＫを取得する（Ｓ１００）。制御部１０８は、ＡＣＫを受信した場合は（Ｓ１０１でＹＥＳ）、ＧＯＫＰ更新部１１０で現在の符号化対象フレームをキーフレームとして符号化し、次のフレームから更新した新たなＧＯＫＰで符号化するようにＧＯＫＰ識別情報を付加情報符号化部１１１に通知する。また、制御部１０８は、直前のフレームを参照画像とすることを示す参照フレーム指定情報を、フレームメモリ１０１、画面間予測部１００、および付加情報符号化部１１１に送信する（Ｓ１０２）。なお、キーフレームとして符号化するフレームは、ＧＯＫＰ更新部１１０で現在符号化しているフレームの直後のフレームとしてもよい。
画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化における付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１のキーフレームを格納する領域のうち、受信したＡＣＫに対応するフレームの領域とは異なる領域、すなわち、ＡＣＫ未受信のキーフレームもしくは過去に受信したＡＣＫに対応するキーフレーム格納領域に当該キーフレームを格納する（Ｓ１０３）。
制御部１０８は、ＮＡＣＫを受信した場合には（Ｓ１０４でＹＥＳ）、ＧＯＫＰ更新部１１０で、現在符号化を完了している最新のフレームまでからなる最新のＧＯＫＰを完結させる。次いで、制御部１０８は、現在のフレームをキーフレームとして符号化するとともに、当該キーフレームだけからなるＧＯＫＰを生成させる。さらに、制御部１０８は、キーフレームの次のフレームから、新たなＧＯＫＰで符号化するように、それぞれのＧＯＫＰに対するＧＯＫＰ識別情報を算出して、付加情報符号化部１１１に通知する。
また、制御部１０８は、ＡＣＫを受信した最新のキーフレームを参照画像データとするように、参照フレーム指定情報でフレームメモリ１０１に通知する（Ｓ１０５）。
画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化の付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１のキーフレームを格納する領域のうち、最新のＡＣＫに対応するフレーム領域とは異なる領域、すなわち、ＡＣＫ未受信キーフレームもしくは２回以上前のＡＣＫに対応するキーフレーム格納領域に当該キーフレームを格納する（Ｓ１０６）。
ＡＣＫもＮＡＣＫも受信しない場合には（Ｓ１０４でＮＯ）、ＧＯＫＰ更新部１１０はＧＯＫＰ識別情報を更新せず、付加情報符号化部１１１に通知すると共に、制御部１０８に通知する。
制御部１０８は、フレームメモリ１０１に格納されている最新の参照フレーム（キーフレームもしくはキーフレームではないフレームのうちで最新のフレーム）を参照画像データとするように参照フレーム指定情報でフレームメモリ１０１に通知する（Ｓ１０７）。
画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化の付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１の格納領域のうち、キーフレーム以外の参照フレームを格納する領域に当該フレームを格納する（Ｓ１０８）。
付加情報符号化部１１１は、(i)Ｉフレーム／Ｐフレームの識別を示すイントラ／インター判定信号、(ii)画面間予測部１００の動き情報を示す画面間符号化の付加情報、(iii)参照フレームを指示する参照フレーム指定情報、(iv)ＧＯＫＰ番号を示す。そして、付加情報符号化部１１１は、現在のフレームをキーフレームとして符号化するか否かを示すＧＯＫＰ識別情報、および(v)符号化された符号化対象フレームの復号画像データの格納領域を示す情報を符号化し、付加情報として多重化送信部１０６に通知する。
多重化送信部１０６は、符号化データと付加情報とを多重化して符号化ストリームを構成し、受信側の動画像復号装置に送信する（Ｓ１０９）。
図４Ａは、本実施の形態１に係る動画像符号化装置が備えるフレームメモリにおけるメモリ領域の区分を示す図である。フレームメモリ１０１は図４Ａに示すように、キーフレームとキーフレーム以外のフレームとを区別して格納するために、メモリでの格納領域が区別されている。
メモリ容量は、現在符号化／復号中のフレームが１フレーム分、キーフレームのための格納領域が２フレーム分、その他のフレームのための格納領域が１フレーム分の合計４フレーム分が最低必要である。現在符号化／復号中のフレームは、１フレーム分の符号化／復号が完了したときに、キーフレーム以外のフレームの格納領域、またはキーフレームの格納領域のいずれかにコピーされる。
その後、現在符号化／復号中のフレームの格納領域は、次のフレームの符号化／復号で利用される。図４Ａに示すように、フレームメモリ１０１にはキーフレーム格納領域が２フレーム分あるので、最新のＡＣＫに対応したキーフレームと、それ以外のキーフレームとを格納できる。
なお、１フレーム分の符号化／復号が完了したときに、現在符号化／復号中のフレーム画像を、キーフレーム以外のフレームの格納領域、またはキーフレームの格納領域にコピーする代わりに、現在符号化／復号中のフレームメモリ１０１内の格納位置を示す格納アドレスを、コピー元とコピー先とで交換することにより、コピーと同等の動作となる処理を行ってもよい。
なお、従来の動画像符号化方法および従来の動画像復号方法でも現在符号化／復号中のフレームの格納が必要であることから、本発明によってフレームメモリ１０１のメモリ容量が大幅に削減できていることが明確である。
以上のように、実施の形態１によれば、フレームメモリ１０１として現在符号化／復号中の１フレームを格納する領域に加え、キーフレームを格納する領域が２フレーム、その他（キーフレーム以外）のフレームのための格納領域が１フレーム分あれば、Ｐフレームで画面間予測符号化することにより符号化ストリームのデータ量を低減しつつ、エラーの伝播を停止できる。これにより、小さいメモリ容量で圧縮効率が高いストリームを送信することが可能である。
なお、図３のフローチャートでは記載を省略したが、動画像符号化装置において、符号化ストリームの送信を開始する際の最初のフレームは面内予測符号化され、Ｉフレームとして送信される。具体的には、符号化ストリームの最初のフレームに対し、予測画像選択部１０３はイントラ／インター判定信号に従って値０を選択する。このため、予測画像減算部１０４では、最初のフレームの画像データと予測画像データとの予測誤差画像データを算出しない。画像符号化部１０５では、予測画像減算部１０４から入力される画像データをＩフレームとして面内予測符号化し、多重化送信部１０６に出力する。
また、Ｉフレームの送信は、必ずしも１回に制限される必要はなく、符号化ストリームの途中の任意のタイミングでＩフレームが挿入されるとしてもよい。さらに、最初に送信されたＩフレームが、受信側で正しく復号されなかった場合、すなわち、最初のフレームに対してＮＡＣＫを受信した場合には、ＮＡＣＫを受信した際に符号化が完了していないフレームを、再度、面内予測符号化によりＩフレームとして送信するとしてもよい。
さらに、制御部１０８は、受信側の動画像復号装置からＡＣＫもＮＡＣＫも受信しないまま、一定のタイムアウト時間を経過した場合には、ＮＡＣＫを受信したときと同じ処理を行うとしてもよい。このタイムアウト時間は、好ましくは、動画像符号化装置と動画像復号装置との間の伝送路における伝送遅延の２倍程度に定める。この場合、例えば、制御部１０８は定期的に伝送遅延時間を計測し、計測された遅延時間をもとにタイムアウト時間を定めるとしてもよい。制御部１０８は、最初に符号化ストリームの送信を開始する際に１回だけ遅延時間を計測し、計測した遅延時間に基づいてタイムアウト時間を定めるとしてもよい。また、最初から、統計値などに基づいて、一定の時間をタイムアウト時間と定めておいてもよい。
さらに、上記実施の形態１では、送信側から受信側にキーフレームを示す情報として、符号化対象フレームを含むＧＯＫＰのＧＯＫＰ識別情報を、ストリーム中の符号化対象フレームの付加情報の中に符号化するとしたが、本発明はこれに限定されない。例えば、符号化対象フレームがキーフレームであることを示す情報を、符号化ストリームとは別に、受信側に送信するとしてもよい。
また、上記実施の形態では、ＡＣＫまたはＮＡＣＫを受信した直後のフレームをキーフレームとしたが、キーフレームは、必ずしもＡＣＫまたはＮＡＣＫの直後のフレームでなくてもよい。例えば、一定枚数のフレームごとに、キーフレームとするよう定めておいてもよい。さらに、ＡＣＫまたはＮＡＣＫを受信してから、１フレーム後、または２フレーム後などの任意のフレームをキーフレームとしてもよい。
さらに、一定枚数のフレームごと、または一定期間ごとに１枚のフレームをキーフレームとする定めをしておく場合には、送信側の動画像符号化装置から受信側の動画像復号装置に対して、どのフレームがキーフレームであるかを示す情報を送信する必要はない。
図４Ｂは、本発明の動画像符号化装置を含む動画転送システムの一例の機能概要図である。本発明の実施の形態１における動画像符号化装置１１は、図４Ｂの（ａ）に示される。動画像符号化装置１１は、エンコーダ部１１ａ、パケット化部１１ｂおよび通信部１１ｃを備える。
通信部１１ｃは、ネットワークに接続しており、動画像復号装置と論理的に接続されている。通信部１１ｃは、パケット化部１１ｂが出力したパケットに対し通信に必要な情報を付加し、動画像復号装置を宛先としてネットワークへパケットを送信する。また、通信部１１ｃは、動画像復号装置からのパケットロスに関する情報（ＡＣＫ／ＮＡＣＫ）を受信し、エンコーダ部１１ａへ通知する。なお、通信部１ｃは、複数の動画像符号化装置と同時に論理的に接続されてもよい。
（実施の形態２）
図５Ａは、本発明の実施の形態２における動画像復号装置２の構成の一例を示すブロック図である。図５Ａに示されるように、動画像復号装置２は、復号部２ａと、第２の制御部２ｃとを備える。なお、さらに、メモリ２ｂを備えてもよい。
復号部２ａは、動画像復号装置が受信した符号化ストリームを画面間予測復号する。
メモリ２ｂは、参照フレームを格納するための領域を備えたメモリである。
第２の制御部２ｃは、キーフレームまで符号化データを正しく受信した場合には正常受信信号（ＡＣＫ）を送信側に通知し、一部でも正しく受信できなかった場合は異常受信信号（ＮＡＣＫ）を送信側に通知する。また、符号化データに含まれる画面間予測符号化で参照するフレームを示す情報を取得し、その情報が示す復号画像データをメモリに格納されているフレームから読み出すことで参照画像データとする。復号対象フレームは、復号部２ａで、前記参照画像データを参照して復号する。
なお、復号部２ａと、メモリ２ｂと、第２の制御部２ｃとを含むデコーダ部１２ａを備えてもよい。
図５Ｂは本発明の実施の形態２における動画像復号装置１２の構成を示すブロック図である。図６は本実施の形態２における動画像復号方法のフレームごとの処理手順を示すフローチャートである。以下、図５Ｂに示した動画像復号装置１２の動作を、図６を参照しながら説明する。
図５Ｂに示すように、本実施の形態の動画像復号装置１２は、受信分離部２００、画像復号部２０１、予測画像加算部２０２、付加情報復号部２０３、フレームメモリ２０５、予測画像選択部２０７および制御部２０８を備える。
入力端子から入力された符号化されたストリームは、受信分離部２００で予測誤差画像データの符号化データと付加情報の符号化データとに分離される。
付加情報復号部２０３は画面間予測符号化の付加情報の符号化データから、参照フレーム指定情報の符号化データ、復号画像データを格納するメモリ領域を指定する符号化データ、イントラ／インター判定信号の符号化データ、およびＧＯＫＰ識別情報の符号化データを分離する。
制御部２０８は、フレームメモリ２０５から、参照フレーム指定情報で指定された参照フレームを読み出して、参照画像データとし、参照画像データを参照し、動き情報等を含む画面間符号化の付加情報に基づいて、予測画像データを生成する。予測画像選択部２０７は、イントラ／インター判定信号に従い、Ｐフレームの場合は予測画像データを予測画像加算部２０２に入力し、Ｉフレームの場合は入力なし（値０）を選択して予測画像加算部２０２に入力する。
画像復号部２０１は、受信分離部２００によって分離された予測誤差画像データの符号化を復号して、復号予測誤差画像データを予測画像加算部２０２に出力する。予測画像加算部２０２は、画像復号部２０１で得られた復号予測誤差画像データと、予測画像選択部２０７から入力された予測画像データとの和を復号画像データとして出力する（Ｓ２００）。画像復号部２０１は受信分離部２００から入力された予測誤差画像データの符号化データを復号するときに、伝送エラー等により正しく復号できないフレームがあった場合は、復号エラーが発生したことを示すエラー通知信号により復号エラーの発生を制御部２０８に通知する。
エラー通知信号が、現在フレームの復号エラーを示している場合は（Ｓ２０１でＹＥＳ）、制御部２０８でＮＡＣＫのＡＣＫ／ＮＡＣＫ通知ストリームを送信側の動画像符号化装置に送信し（Ｓ２０２）、復号対象フレームの処理を終了する。
エラー通知信号が、復号対象フレームを正常に復号できたことを示している場合は（Ｓ２０１でＮＯ）、制御部２０８は、さらに、復号対象フレームを含むＧＯＫＰのすべてのフレームが正しく復号できたか否かを判定する（Ｓ２０３）。ステップＳ２０３において、ＧＯＫＰ内のすべてのフレームが正しく復号できている場合（Ｓ２０３でＹＥＳ）、制御部２０８はさらに、復号された復号対象フレームがキーフレーム（ＧＯＫＰの最後のフレーム）であるか否かを判定する（Ｓ２０４）。復号対象フレームがキーフレームであれば（Ｓ２０４でＹＥＳ）、制御部２０８は復号対象フレームのＧＯＫＰ識別情報を付与したＡＣＫを、送信側に送信する（Ｓ２０５）。 なお、以下のようにしてもよい。復号エラーがない場合は（Ｓ２０１でＮＯ）、ＧＯＫＰ正常受信判定部２０８でキーフレームであるか（ＧＯＫＰの最後のフレームであるか）を判定し（Ｓ２０３のＹＥＳ）する。キーフレームであればＧＯＫＰのすべてのフレームでエラーなく復号できた場合に（Ｓ２０４でＹＥＳ）、ＧＯＫＰ番号情報Ｓ２１１を付与したＡＣＫのＡＣＫ／ＮＡＣＫ通知ストリームＳ２１４を、ＡＣＫ／ＮＡＣＫ送信部Ｕ２０９で送信側に通知する。
一方、ステップＳ２０３において、復号対象フレームが含まれるＧＯＫＰにおいて復号エラーがなく（Ｓ２０３でＹＥＳ）、復号対象フレームがキーフレームでない場合は（Ｓ２０４でＮＯ）、制御部２０８は何も送信しない。次いで、制御部２０８は、予測画像加算部２０２から出力された復号対象フレームの復号画像データを、後続の復号で参照画像データとして参照するため、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
また、復号対象フレームが含まれるＧＯＫＰ内のいずれかのフレームでエラーが発生したときは、復号画像データをフレームメモリ２０５内に格納せず、復号対象フレームの処理を終了する。この結果、復号エラーが発生したフレームの復号画像データがフレームメモリ２０５に格納されないことにより、エラー発生前のフレームの復号画像データがフレームメモリ２０５内に保持され続け、表示もまた、エラー発生前のフレームの復号画像が表示され続けることになる。
以上のように実施の形態２の動画像復号装置によれば、実施の形態１の動画像符号化装置と同じフレームを参照する。これにより、フレームメモリ２０５内に現在復号中のフレームを格納するための１フレームの格納領域に加え、キーフレームを格納するための領域が２フレーム、その他のキーフレーム以外のフレームを格納するための領域が１フレーム分あれば、Ｐフレーム（画面間予測）でありながらエラーの伝播を停止できる。その結果、小さいメモリ容量で圧縮効率が高いストリームを受信することが可能となる。
なお、上記実施の形態２では、ＧＯＫＰ内のすべてのフレームを正常に復号できた場合に制御部２０８がＡＣＫを送信するとしたが、これに限らず、ＧＯＫＰ内のすべてのフレームを受信できたときにＡＣＫを送信するとしてもよい。例えば、符号化ストリームを伝送するパケットには、符号化ストリーム内のフレーム順にパケット番号が付与されている。このパケット番号を利用して、受信側の動画像復号装置において、一定時間内に受信したパケットをバッファ内に蓄積し、蓄積したパケットをパケット番号順に並べ替え、抜けているパケット番号がないかを調べることにより、すべてのフレームを受信できたかを確認することができる。これにより、ＧＯＫＰのうちで受信できないパケットがある場合には、符号化されたストリームを復号する前の段階でＮＡＣＫを送信することができ、伝送エラーからのより早い復旧を図ることができる。
本発明の実施の形態２における動画像復号装置１２は、図４Ｂの（ｂ）に示される。動画像復号装置１２は、デコーダ部１２ａ、デパケット化部１２ｂおよび通信部１２ｃを備える。
通信部１２ｃは、ネットワークに接続しており、動画像符号化装置と論理的に接続されている。通信部１２ｃは、圧縮符号化された動画像データを含むパケットをネットワークから受信し、通信に必要な情報を削除し、圧縮符号化された動画像データをデパケット化部１２ｂへ出力する。また、デコーダ部１２ａからパケットロスに関する情報（ＡＣＫ／ＮＡＣＫ）を受信したら、動画像符号化装置へ当該情報を送信する。
（実施の形態３）
実施の形態２の動画像復号装置では、正しく復号できなかったフレームは、フレームメモリ２０５に格納しなかった。これは、正しく復号できないフレームは復号しても表示しない場合には、表示のために復号した画像データをフレームメモリ２０５に格納することは無意味であるからである。
しかしながら、動画像復号装置の構成上、正しく復号できなかった画像データも表示したい場合は、常にフレームをフレームメモリに格納する方が好ましい場合は、図７のフローチャートに示すように正しく復号できないフレームもフレームメモリに格納してもよい。この場合は、復号した画像を表示すると正しく復号できなかった部分が正しく表示されないものの、その他の部分の画像は正しく表示される可能性があるので、部分的にでもより多くの復号画像を確認したい場合に有効である。
図７は本実施の形態３における動画像復号方法のフレームごとの処理手順を示すフローチャートである。図７において、図６に示したステップと同じ処理については、既に説明しているので説明を省略する。
図７のステップＳ２０１の処理において、エラー通知信号が、復号対象フレームを正常に復号できたことを示している場合は（Ｓ２０１でＮＯ）、制御部２０８はさらに、復号された復号対象フレームがキーフレーム（ＧＯＫＰの最後のフレーム）であるか否かを判定する（Ｓ３０１）。復号対象フレームがキーフレームであれば（Ｓ３０１でＹＥＳ）、制御部２０８は、さらに、復号対象フレームを含むＧＯＫＰのすべてのフレームが正しく復号できたか否かを判定する（Ｓ３０２）。
ＧＯＫＰ内のすべてのフレームが正しく復号できている場合（Ｓ３０２でＹＥＳ）、制御部２０８は、復号対象フレームのＧＯＫＰ識別情報を付与したＡＣＫを、ＡＣＫ／ＮＡＣＫ通知ストリームを用いて送信側に送信した後（Ｓ３０３）、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
ＧＯＫＰ内のいずれかのフレームでエラーがあった場合には（Ｓ３０２でＮＯ）、ステップＳ３０３における処理をスキップして、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
また、ステップＳ２０１でエラー通知信号が復号対象フレームの復号エラーを示している場合、ステップＳ２０２で、ＡＣＫ／ＮＡＣＫ通知ストリームを用いてＮＡＣＫを送信した後、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
（実施の形態４）
本発明の実施の形態４において、動画像復号装置の通信部がパケットロスを検出したときに、動画像符号化装置にＡＣＫ／ＮＡＣＫを送信する動作形態の例を示す。パケットロスの検出、ＡＣＫ／ＮＡＣＫの送信、および、ＡＣＫ／ＮＡＣＫに含まれる情報について説明する。
図８は、本発明の実施の形態４における動画像符号化装置１５の処理手順を示すフローチャートである。動画像符号化装置１５の動作について、動画像符号化装置１１と異なる部分について説明する。動画像符号化装置１５が動画像符号化装置１１と異なるのは、符号化対象フレームがＩフレームであるか否かを判定し、符号化対象フレームがＩフレームである場合に所定の処理を行う点である。以下で詳細に説明する。
制御部１０８は、ＡＣＫまたはＮＡＣＫを受信したか否かの判定（Ｓ１０１およびＳ１０４）を行った後に、符号化対象フレームがＩフレームであるか否かを判定する（Ｓ１０４ａ）。
符号化対象フレームがＩフレームである場合には（Ｓ１０４ａでＹＥＳ）、制御部１０８は、ＧＯＫＰを更新し、Ｉフレームをキーフレームとして符号化する。そして、その後もう一度ＧＯＫＰを更新する（Ｓ１０４ｂ）。
次に、キーフレームの格納領域に符号化した画像を格納する（Ｓ１０４ｃ）。その後、動画像符号化装置１１における場合と同様、ステップＳ１０９の処理を行う。
一方、符号化対象フレームがＩフレームでない場合には（Ｓ１０４ａでＮＯ）、動画像符号化装置１１における場合と同様、ステップＳ１０７およびステップＳ１０８の処理を行う。
以上のように、符号化対象フレームがＩフレームである場合、当該Ｉフレームの直前のフレームにおいてＧＯＫＰを完結させ、次に当該Ｉフレームだけを含むＧＯＫＰを構成し、その後、新たなＧＯＫＰを構成する。
以上より、ＧＯＫＰが更新されるのは、Ｉフレームを符号化するとき、ＮＡＣＫ受信時、および、ＡＣＫ受信時である。上記の内容は、表１のようにまとめられる。
Figure 2012114774
図９は、動画像符号化装置１５の通信部１５ｃが送信する、圧縮符号化された動画像データに記載される制御用パケットフィールドの一例を示す図である。表２は、図９に示されるパケットフィールドの説明である。表２の説明において、「フレーム単位」とは、パケット化により１フレームが複数のパケットに分割される場合に、当該フレームを構成する複数のパケットのそれぞれに当該フィールドが記述されることを意味する。
なお、このパケットフィールドは、通信パケットの任意の箇所に記述される。例えば、ＲＴＰパケットの拡張フィールドに記述される。
Figure 2012114774
以下で、本発明の実施の形態４における動画像復号装置３について説明する。
図１０は、本発明の実施の形態４における動画像復号装置３の構成の一例を示すブロック図である。図１０に示されるように、動画像復号装置３は、復号部２ａと、メモリ２ｂと、第２の制御部２ｃと、受信部３ｄとを備える。
復号部２ａと、メモリ２ｂと、第２の制御部２ｃとのそれぞれは、動画像復号装置２において対応するブロックと同一である。
受信部３ｄは、動画像符号化装置が送信した符号化データを受信する。
なお、復号部２ａと、メモリ２ｂと、第２の制御部２ｃとを含むデコーダ部１２ａを備えてもよい。また、受信部３ｄを含む通信部１６ｃを備えてもよい。
図１１は、本発明の実施の形態４における動画像復号装置３の構成の一例を示すブロック図である。図１１に示されるように、動画像復号装置３は、受信分離部２００、画像復号部２０１、予測画像加算部２０２、付加情報復号部２０３、フレームメモリ２０５および予測画像選択部２０７を備える。実施の形態２の動画像復号装置２の構成と異なる点は、動画像復号装置３は、制御部を含まない点である。
図１２に示されるように、本実施の形態の動画像復号装置１６は、受信分離部２００、画像復号部２０１ａ、予測画像加算部２０２、付加情報復号部２０３ａ、フレームメモリ２０５、および予測画像選択部２０７を備える。
画像復号部２０１ａは、受信分離部２００によって分離された予測誤差画像データの符号化を復号して、復号予測誤差画像データを予測画像加算部２０２に出力する。
付加情報復号部２０３ａは、画面間予測符号化の付加情報の符号化データから、参照フレーム指定情報の符号化データ、復号画像データを格納するメモリ領域を指定する符号化データ、イントラ／インター判定信号の符号化データ、およびＧＯＫＰ識別情報の符号化データを分離する。
図１３は、本発明の実施の形態４における動画像復号装置３のフレームごとの処理手順を示すフローチャートである。
まず、受信部３ｄは、符号化データを受信する（Ｓ４００）。
次に、受信部３ｄは、受信した符号化データにパケットロスによる受信エラーがあるか否かを判定する（Ｓ４０１）。
ステップＳ４０１において受信エラーがなかった場合（Ｓ４０１でＮＯ）、ＧＯＫＰのすべてのフレームでエラーがなかったか否かを判定する（Ｓ４０２）。ステップＳ４０２でエラーがなかった場合（Ｓ４０２でＹＥＳ）、受信した中で最も新しい符号化データの制御用パケットフィールドを参照し、Ａ＝１（ACK enable）であるか否かを判定する（Ｓ４０３）。Ａ＝１である場合（Ｓ４０３でＹＥＳ）には、動画像符号化装置にＡＣＫを送信する（Ｓ４０４）。その後、符号化データに対し復号処理を行う（Ｓ４０７）。復号処理の詳細は実施の形態２の動画像復号装置１２の対応する処理と同一であるため説明を省略する。
一方、ステップＳ４０１において受信エラーがあった場合（Ｓ４０１でＹＥＳ）、受信エラーが発生した符号化データを含むフレームの他の符号化データの制御用パケットフィールドを参照し、Ｎ＝１であるか否かを判定する（Ｓ４０５）。Ｎ＝１（NACK enable）である場合（Ｓ４０５でＹＥＳ）には、動画像符号化装置にＮＡＣＫを送信する（Ｓ４０６）。
なお、ＡＣＫ／ＮＡＣＫのパケットフィールドの一例を表３に示す。ＡＣＫ／ＮＡＣＫパケットは、少なくとも、ＡＣＫまたはＮＡＣＫのいずれかを示すビットとＧＯＫＰＮＵＭとを含む。
Figure 2012114774
図１２は、本実施形態の動画像符号化装置および動画像復号装置を含む動画転送システムの一例の機能概要図である。図１２の（ａ）に示される動画像符号化装置１５は、実施の形態１の動画像符号化装置１１と同一である。図１２の（ｂ）に示される動画像復号装置１６は、デコーダ部１６ｄ、デパケット化部１６ｂおよび通信部１６ｅを備える。
通信部１６ｃは、圧縮符号化された動画像データを含むパケットをネットワークから受信し、通信制御に用いられる情報と圧縮符号化された動画像データとを分離し、圧縮符号化された動画像データをデパケット化部１６ｂへ出力する。さらに、通信部１６ｃは、パケットの受信エラーの有無を検出し、動画像符号化装置に対してパケットの受信可否に関する情報（ＡＣＫまたはＮＡＣＫ）を送信する。
デパケット化部１６ｂは、動画像復号装置１２のデパケット化部１２ｂと同じである。
デコーダ部１６ｄは、デパケット化部１６ｂが出力した圧縮符号化された動画像データを復号し、動画像データを復元する。
以上で、実施の形態４に係る動画像符号化装置および動画像復号装置の動作の詳細について説明した。さらに、動画像符号化装置および動画像復号装置が以下の動作をすることも本発明の内容に含まれる。
動画像符号化装置は、ＡＣＫを受信した後、所定時間経過後にＡＣＫを返すことを要求するフレームを送信するようにしてもよい。これによれば、動画像符号化装置と動画像復号装置との間の往復通信時間が短いときにＡＣＫが大量に送信されるのを防ぐことができる。動画像符号化装置と動画像復号装置との間の往復通信時間が短いときに、動画像符号化装置がＡＣＫを受信後すぐにＡＣＫを返すことを要求するフレームを送信すると、その後すぐにＡＣＫが送信される。これにより、ＡＣＫとＡＣＫを返すことを要求するフレームとが大量に送信されることになる。
動画像符号化装置は、キーフレーム送信後の所定時間にＡＣＫまたはＮＡＣＫのいずれも受信しないときには、ＮＡＣＫを受信したと判定してその後の処理を行うようにしてもよい。ＡＣＫが受信できないことは、動画像復号装置が所定数の連続するフレームを受信できていないこと、または所定数の連続するフレームを受信した後に送信したＡＣＫがパケットロスにより失われたことを意味する。このように、いずれもパケットロスがあったことを意味するため、ＮＡＣＫを受信したと判定することが妥当であるためである。
動画像符号化装置が、ネットワークを介して複数の動画像復号装置と論理的に接続する構成における、ＡＣＫおよびＮＡＣＫの受信と判定方法について以下のようにしてもよい。
複数の動画像符号化装置と接続する場合、以下のようにしてＡＣＫまたはＮＡＣＫを受信したとみなす。
（１）すべての動画像符号化装置からＡＣＫを受信したら、ＡＣＫを受信したとみなす。
（２）少なくとも１つの動画像符号化装置からＮＡＣＫを受信したら、ＮＡＣＫを受信したとみなす。
（３）一部の動画像符号化装置からＡＣＫを受信し、残りの動画像符号化装置から何も受信しない場合（タイムアウト）、ＮＡＣＫを受信したとみなす。
図１４Ａは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫ受信時）である。図１４Ａに示される構成は、１つの動画像符号化装置（図１４Ａの「送信側」）と、２つの動画像復号装置（図１４Ａの「受信側１」および「受信側２」）とを含む。図１４Ａに、送信側がフレームＰ０を受信側１および受信側２のそれぞれに送信し、それに対して受信側１および受信側２が応答するシーケンスが示される。
図１４Ａに示されるように、受信側１および受信側２のそれぞれがフレームＰ０を受信した後にＡＣＫを送信し、送信側がこれらのＡＣＫを受信したら、ＡＣＫを受信したとみなす（上記（１）に該当）。
図１４Ｂは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＮＡＣＫ受信時）である。図１４Ｂに示されるように、受信側１および受信側２のそれぞれがフレームＰ０を受信せず、ＮＡＣＫを送信し、送信側がこれらのＮＡＣＫを受信したら、ＮＡＣＫを受信したとみなす（上記（２）に該当）。
図１４Ｃは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫおよびＮＡＣＫ受信時）である。図１４Ｃに示されるように、受信側１がフレームＰ０を受信しＡＣＫを送信し、受信側２が受信せずにＮＡＣＫを送信したら、送信側はＮＡＣＫを受信した時点でＮＡＣＫを受信したとみなす（上記（２）に該当）。
図１４Ｄは、ＡＣＫ／ＮＡＣＫの受信の説明図（タイムアウト時）である。図１４Ｄに示されるように、受信側１がフレームＰ０を受信した後にＡＣＫを送信し、受信側２がフレームＰ０を受信せず、さらに何らかの原因で送信側がＡＣＫまたはＮＡＣＫのいずれも受信しない場合は、送信側はＡＣＫを受信してから所定時間経過後にＮＡＣＫを受信したとみなす（上記（３）に該当）。
なお、上記の複数の動画像復号装置との通信は、複数の１対１通信、および、１対多通信（通信相手の動画像復号装置が特定されている場合）に適用できる。これにより、複数の動画像符号化装置との通信においても、実施の形態１〜４の動作を実現することができる。
（実施の形態５）
以下、実施の形態５について説明する。
ここでは、上記各実施の形態で示した動画像符号化方法および動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにする。それにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１５は、上記各実施の形態の動画像符号化方法および動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化装置および動画像復号装置を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化装置および動画像復号装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
なお、動画像符号化装置および動画像復号装置の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、動画像符号化装置および動画像復号装置の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。
以上、本発明の動画像符号化装置および動画像復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
本発明は、動画像符号化装置および動画像復号装置に利用でき、特に、ネットワークを利用した動画像双方向通信に有用である。また、本発明は、動画像配信、監視カメラなど、動画像を符号化して送受信する通信機器およびセット機器等にも有用である。
１、１１、１５ 動画像符号化装置
１ａ 符号化部
１ｂ メモリ
１ｃ 送信部
１ｄ 取得部
１ｅ 制御部
２、３、１２、１６ 動画像復号装置
２ａ 復号部
２ｂ メモリ
２ｃ 第２の制御部
１１ａ エンコーダ部
１１ｂ パケット化部
１１ｃ、１２ｃ、１６ｃ 通信部
１２ａ、１６ａ デコーダ部
１２ｂ、１６ｂ デパケット化部
１３ ネットワーク
１００ 画面間予測部
１０１、２０５ フレームメモリ
１０２ イントラ／インター判定部
１０３、２０７ 予測画像選択部
１０４ 予測画像減算部
１０５ 画像符号化部
１０６ 多重化送信部
１０７、２０１、２０１ａ 画像復号部
１０８、２０８ 制御部
１１０ ＧＯＫＰ更新部
１１１ 付加情報符号化部
１１２、２０２ 予測画像加算部
２００ 受信分離部
２０３、２０３ａ 付加情報復号部

Claims (26)

  1. 符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、
    前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、
    生成された前記符号化データを動画像復号装置に送信する送信部と、
    所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、前記所定数の連続するフレームのうちのいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、
    前記取得部が前記正常受信信号を取得した場合には、前記取得部が前記正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、前記取得部が前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部と
    を備える動画像符号化装置。
  2. 前記制御部は、前記符号化部の符号化対象フレームがＩフレームである場合に、前記Ｉフレームの復号画像をエラー復帰用フレームとして前記メモリに格納する
    請求項１記載の動画像符号化装置。
  3. 前記符号化部は、フレームごとに前記メモリに格納されている符号化済みのフレームの復号画像を参照することにより、前記符号化対象のフレームを画面間予測符号化し、
    前記制御部は、
    (i)前記取得部が正常受信信号を取得した場合に、（ａ）前記メモリに格納されている前記復号画像を参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｂ）前記所定数の連続するフレームの集合をグループとし、前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて符号化ストリームに格納するとともに、（ｃ）グループとその識別情報とを更新し、
    (ii)前記取得部が前記異常受信信号を取得した場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）前記メモリに格納されているエラー復帰用フレームのうち、既に取得した正常受信信号の中で最新のものに対応するエラー復帰用フレームを参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    (iii)正常受信信号も異常受信信号も取得しない場合には、（ａ）前記メモリに格納されている復号画像を参照して前記符号化対象フレームを画面間予測符号化し、（ｂ）符号化した前記符号化対象フレームの復号画像を前記メモリに格納する
    請求項１記載の動画像符号化装置。
  4. 前記制御部は、前記送信部が前記メモリにエラー復帰用フレームの復号画像を格納してから、前記エラー復帰用フレームに対する前記動画像復号装置からの応答を受信するまでに符号化されたフレームの集合を前記グループとし、前記グループの識別情報を符号化ストリームに格納する
    請求項３記載の動画像符号化装置。
  5. 前記メモリは、２つのエラー復帰用フレームを格納するための２つの専用の領域を備え、
    前記制御部は、前記取得部が前記正常受信信号を取得した場合には、前記２つの専用領域のうち、古い方のエラー復帰用フレームが格納されている専用領域を、前記新たなエラー復帰用フレームで上書きすることによって更新する
    請求項１記載の動画像符号化装置。
  6. 前記制御部は、前記取得部が前記異常受信信号および前記正常受信信号のいずれをも取得しない場合には、前記符号化部に、前記符号化対象フレームの直前の符号化済みフレームの復号画像を参照することにより前記符号化対象フレームを符号化させるとともに、
    前記符号化対象フレームの復号画像を、前記メモリ内の前記専用の領域とは異なる領域に格納する
    請求項５記載の動画像符号化装置。
  7. 前記制御部は、エラー復帰用フレームとなる符号化対象フレームの符号化データに対し、前記符号化対象フレームがエラー復帰用フレームとなることを示す情報を付加する
    請求項１記載の動画像符号化装置。
  8. 前記制御部は、エラー復帰用フレームとなる符号化対象フレームの符号化データに対し、前記符号化対象フレームがエラー復帰用フレームとなることを示す情報として、前記符号化対象フレームが属する前記グループを特定するためのグループ識別情報を付加する
    請求項３記載の動画像符号化装置。
  9. 前記制御部は、前記取得部が前記正常受信信号を受信した場合に、前記動画像復号装置に新たな正常受信信号を送信させるための信号である正常受信要求信号を含む符号化データを送信する
    請求項１記載の動画像符号化装置。
  10. 前記制御部は、前記所定数の連続するフレームに対応する符号化データのいずれかを前記動画像復号装置が受信できなかった場合に、前記動画像復号装置に異常受信信号を送信させるための信号である異常受信要求信号を含む符号化データを送信する
    請求項１記載の動画像符号化装置。
  11. 前記制御部は、前記信号をＲＴＰ（Real-time Transport Protocol）拡張ヘッダに格納し、前記ＲＴＰ拡張ヘッダを含む符号化データを前記動画像復号装置に送信する
    請求項９または請求項１０記載の動画像符号化装置。
  12. 前記動画像符号化装置は、前記符号化データを動画像の送信先である複数の動画像復号装置に送信し、
    前記制御部は、
    前記取得部が前記複数の動画像復号装置のすべてから正常受信信号を取得したときに、前記動画像の送信先が前記所定数の連続するフレームの前記符号化データの取得を行ったと判定し、当該取得のタイミングの前記符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、
    前記取得部が前記複数の動画像復号装置の少なくとも１つから異常受信信号を受信したときに、前記動画像の送信先が前記所定数の連続するフレームの前記符号化データを正しく受信しなかったと判定し、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる
    請求項１記載の動画像符号化装置。
  13. 前記制御部は、前記符号化部に対し、前記符号化ストリームの最初のフレームを面内予測符号化させ、面内予測符号化された前記フレームの復号画像を最初のエラー復帰用フレームとして前記メモリに格納する
    請求項１〜８のいずれか１項に記載の動画像符号化装置。
  14. 前記制御部は、前記取得部が前記最初のエラー復帰用フレームに対する異常受信信号を取得した場合には、前記符号化部に前記符号化対象フレームを面内予測符号化させ、新たなエラー復帰用フレームとして前記メモリに格納する
    請求項１３記載の動画像符号化装置。
  15. 前記符号化部は、フレームごとに前記メモリに格納されている符号化済みのフレームの復号画像を参照することにより、前記符号化対象のフレームを画面間予測符号化し、
    前記制御部は、
    (i)前記取得部が正常受信信号を取得した場合に、（ａ）前記メモリに格納されている前記復号画像を参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｂ）前記所定数の連続するフレームの集合をグループとし、前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて符号化ストリームに格納するとともに、（ｃ）グループとその識別情報とを更新し、
    (ii)前記取得部が前記異常受信信号を取得した場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）前記メモリに格納されているエラー復帰用フレームのうち、既に取得した最新の正常受信信号に対応するエラー復帰用フレームを参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    (iii)前記符号化部の符号化対象フレームがＩフレームである場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）Ｉフレームを新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    (iv)正常受信信号の異常受信信号いずれも取得せず、かつ、前記符号化部の符号化対象フレームがＩフレームでない場合には、（ａ）前記メモリに格納されている復号画像を参照して前記符号化対象フレームを画面間予測符号化し、（ｂ）符号化した前記符号化対象フレームの復号画像を前記メモリに格納する
    請求項１記載の動画像符号化装置。
  16. 動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置であって、
    受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、
    受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部と
    を備える動画像復号装置。
  17. 前記第２の制御部は、前記所定数の連続するフレームをすべて正しく復号できた後に前記正常受信信号を送信する
    請求項１６記載の動画像復号装置。
  18. 前記第２の制御部は、前記異常受信信号を送信すると、正しく取得されなかったフレームより前に復号された、前記メモリに格納されている最新のエラー復帰用フレームを参照することにより前記異常受信信号を送信した後の復号対象フレームを前記復号部に復号させる
    請求項１６または請求項１７記載の動画像復号装置。
  19. 前記動画像復号装置は、さらに、
    動画像符号化装置が送信した符号化データを受信する受信部を備え、
    前記第２の制御部は、
    前記受信部が前記符号化ストリームに含まれる所定数の連続するフレームの符号化データを正しく受信し、かつ、前記受信部が受信した符号化データに新たな正常受信信号を送信させるための信号である正常受信要求信号が含まれ、かつ、当該所定数の連続するフレームより過去のフレームに対して第２の制御部が異常受信信号を送信済みでない場合に、前記動画像符号化装置に正常受信信号を送信する
    請求項１６記載の動画像復号装置。
  20. 前記第２の制御部は、
    前記受信部が前記符号化ストリームに含まれるいずれかのフレームの符号化データを受信できず、かつ、前記受信部が受信した符号化データに異常受信信号を送信させるための信号である異常受信要求信号が含まれる場合に、前記動画像符号化装置に異常受信信号を送信する
    請求項１９記載の動画像復号装置。
  21. 符号化部が、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成し、
    送信部が、生成された前記符号化データを前記動画像復号装置に送信し、
    取得部が、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得し、
    制御部が、前記取得部において前記正常受信信号が取得された場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記取得部において前記異常受信信号が取得された場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる
    動画像符号化方法。
  22. 動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号方法であって、
    復号部が、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号し、
    第２の制御部が、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    第２の制御部が、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる
    動画像復号方法。
  23. 動画像符号化装置のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、
    符号化部が、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成し、
    送信部が、生成された前記符号化データを前記動画像復号装置に送信し、
    取得部が、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得し、
    制御部が、前記取得部において前記正常受信信号が取得された場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記取得部において前記異常受信信号が取得された場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させるようコンピュータを動作させる
    記録媒体。
  24. 動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、
    復号部が、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号し、
    第２の制御部が、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    第２の制御部が、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させるようコンピュータを動作させる
    記録媒体。
  25. 動画像符号化装置を実装する集積回路であって、
    符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、
    前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、
    生成された前記符号化データを前記動画像復号装置に送信する送信部と、
    所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、
    前記取得部が前記正常受信信号を取得した場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部と、
    を備える集積回路。
  26. 動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置を実装する集積回路であって、
    受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、
    受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部と、
    を備える集積回路。
JP2012532183A 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置 Pending JPWO2012114774A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011040630 2011-02-25
JP2011040630 2011-02-25
PCT/JP2012/001300 WO2012114774A1 (ja) 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置

Publications (1)

Publication Number Publication Date
JPWO2012114774A1 true JPWO2012114774A1 (ja) 2014-07-07

Family

ID=46720564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532183A Pending JPWO2012114774A1 (ja) 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置

Country Status (5)

Country Link
US (1) US20130058409A1 (ja)
EP (1) EP2680587A4 (ja)
JP (1) JPWO2012114774A1 (ja)
CN (1) CN102870416A (ja)
WO (1) WO2012114774A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9774869B2 (en) * 2013-03-25 2017-09-26 Blackberry Limited Resilient signal encoding
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
CN103929682B (zh) * 2014-03-27 2017-03-22 广州华多网络科技有限公司 一种在视频直播系统中设置关键帧的方法及装置
CN106303693B (zh) * 2015-05-25 2019-02-05 视联动力信息技术股份有限公司 一种视频数据解码的方法及装置
CN106713940B (zh) 2015-08-04 2019-12-20 杭州海康威视数字技术股份有限公司 视频流的存储方法、读取方法及装置
CN112559422A (zh) * 2020-12-24 2021-03-26 深圳劲芯微电子有限公司 基于usb差分信号线的编解码实现方法、装置及设备
JP7264517B2 (ja) * 2021-03-12 2023-04-25 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5855406A (ja) 1981-09-28 1983-04-01 Mitsui Toatsu Chem Inc 殺虫殺ダニ用組成物
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
JP3323057B2 (ja) * 1996-04-10 2002-09-09 沖電気工業株式会社 符号化装置、復号化装置及び伝送システム
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
JP3157123B2 (ja) * 1996-07-05 2001-04-16 日本電信電話株式会社 画像通信システム及び方法
CN1126374C (zh) * 1996-07-05 2003-10-29 日本电信电话株式会社 图象通信系统及方法
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
WO2006072265A1 (en) * 2005-01-10 2006-07-13 Ntt Docomo, Inc. Apparatus for predictively encoding a sequence of frames
US20100125768A1 (en) * 2008-11-17 2010-05-20 Cisco Technology, Inc. Error resilience in video communication by retransmission of packets of designated reference frames

Also Published As

Publication number Publication date
US20130058409A1 (en) 2013-03-07
CN102870416A (zh) 2013-01-09
EP2680587A4 (en) 2016-12-14
EP2680587A1 (en) 2014-01-01
WO2012114774A1 (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
WO2012114774A1 (ja) 動画像符号化装置および動画像復号装置
US8494049B2 (en) Long term reference frame management with error video feedback for compressed video communication
WO2012153450A1 (ja) 動画像送信装置および動画像送信方法
US9445107B2 (en) Low latency rate control system and method
JP5731672B2 (ja) 暗黙基準フレームを用いる動画像符号化システム
US7663665B2 (en) Communication device and method for transferring video-stream data to a display device and a storage device
JP5084362B2 (ja) データ送信装置、及びデータ送受信システム
JP2007235588A (ja) 動画像復号装置及び動画像符号化装置
JP2008252739A (ja) 情報処理装置および方法、並びにプログラム
US9264737B2 (en) Error resilient transmission of random access frames and global coding parameters
WO2009123997A1 (en) Video swithching without instantaneous decoder refresh-frames
JP5553663B2 (ja) 映像送信装置、映像受信装置、映像伝送システム
US8340180B2 (en) Camera coupled reference frame
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
KR100374245B1 (ko) 화상부호화장치,화상복호화장치및화상전송시스템
JP5588244B2 (ja) 映像伝送システム
JP2015095733A (ja) 画像伝送装置、画像伝送方法、及びプログラム
US11265583B2 (en) Long-term reference for error recovery in video conferencing system
CN114827669B (zh) 一种视频数据的传输方法、装置、介质及设备
JP2006279436A (ja) マルチメディア通信システムおよび再送用データ削除方法
TWI528793B (zh) 用以提供數位視訊內容錯誤復原的方法
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JP7264517B2 (ja) 送信装置、受信装置、制御方法、およびプログラム
KR101429398B1 (ko) 스케일러블 코딩 기반의 데이터 처리 방법
US9578327B2 (en) Encoding apparatus, encoding method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006