JP5149375B2 - 多視点符号化および復号の方法ならびに装置 - Google Patents

多視点符号化および復号の方法ならびに装置 Download PDF

Info

Publication number
JP5149375B2
JP5149375B2 JP2010503342A JP2010503342A JP5149375B2 JP 5149375 B2 JP5149375 B2 JP 5149375B2 JP 2010503342 A JP2010503342 A JP 2010503342A JP 2010503342 A JP2010503342 A JP 2010503342A JP 5149375 B2 JP5149375 B2 JP 5149375B2
Authority
JP
Japan
Prior art keywords
information
image
frame
auxiliary reference
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010503342A
Other languages
English (en)
Other versions
JP2010525637A (ja
Inventor
四新 林
山 高
盈嘉 ▲リュウ▼
建同 周
昌▲キ▼ 胡
▲リアン▼▲ファン▼ 熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2010525637A publication Critical patent/JP2010525637A/ja
Application granted granted Critical
Publication of JP5149375B2 publication Critical patent/JP5149375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化および復号の技術に関し、具体的には多視点符号化および復号の技術に関する。
マルチメディア通信技術の急速な開発に伴い人々は、従来の固定視点映像および2次元(2D)映像にもはや満足しない。娯楽、教育、観光および外科医学などの多くの応用分野では人々は、多視点ビデオ、自由視点ビデオ、および3次元(3D)ビデオを必要とする。
この種の要求を満たすために複数のカメラが、様々な観点および様々な位置から同一の場面の1群のビデオ信号を同時に取得することができる。このビデオ信号群は「多視点ビデオ」と呼ばれる。その後、取得されたビデオ信号は符号化され送信される。この種の1群のビデオ信号を符号化するプロセスは「多視点ビデオ符号化」と呼ばれる。
本発明を実現するプロセスでは発明者は、多視点ビデオ符号化および符号化された信号を復号器に送信するプロセスでいくつかのデータが、チャネルの混雑および帯域幅の変化により消失または破損されうることを見出す。その結果、復号器は符号化されたデータを受信した後にこの種のデータをリストアすることができず、データを正しく復号することができない。
多視点符号化および復号の方法ならびに装置が、符号化および復号の性能を効果的に向上するために本発明の一実施形態で開示される。
多視点符号化方法が、多視点ビデオ画像を符号化するために本明細書で開示される。多視点ビデオ画像情報を符号化するプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報がコードストリーム内に書き込まれ、コードストリームは復号器に送信される。
多視点符号化装置が本明細書で提供される。多視点符号化装置は、多視点ビデオ画像を符号化するように構成されている多視点画像符号化ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
多視点復号方法が多視点ビデオ画像を復号するために本明細書で提供される。多視点ビデオ画像情報を復号するプロセスは、
多視点ビデオコードストリームを受信すること、および
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号すること
をさらに含む。
多視点復号装置が本明細書で提供される。多視点復号装置は、多視点ビデオ画像を復号するように構成されている多視点画像復号ユニットを含み、下記のユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
上述の本発明に基づく技術的解決策により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべての画像の視点識別子情報を取得する、すなわち各画像が来る視点を決定できることが理解されうる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報が、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
本発明の一実施形態による多視点復号のフローチャートを示す第1の概略図である。 本発明の一実施形態による多視点復号のフローチャートを示す第2の概略図である。 本発明の一実施形態による装置の構造を示す概略図である。
本発明の実施形態での多視点ビデオ画像を符号化するプロセスでは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報が、補助の強化情報としてコードストリーム内に書き込まれ、復号器に送信される。したがって、多視点ビデオ画像情報を復号するプロセスでは受信した多視点ビデオコードストリームは、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために復号されうる。復号器が補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得した後、現在適用された補助参照情報は、この種の補助参照情報を使用する画像のフレーム番号および視点識別子情報により決定されうる。さらに、規定された画像(すなわち、フレーム番号および視点識別子情報によって規定された画像)の誤りが補助参照情報により隠匿されうる。
一実施形態では補助参照情報は、反復参照フレーム指標情報、または参照フレーム、または誤りを隠匿するのに役立つ他の情報を含んで復号し表示するのに役立つ情報を意味する。多視点ビデオ符号化技術により符号化されるデータの場合に復号器は、復号器の復号効果を向上し、符号化および復号の性能を強化するためにフレーム間情報を効果的に使用することによって誤りを隠匿することができる。例えば、規定された画像の誤りが、決定された反復参照フレーム指標情報により隠匿されうるか、または規定された画像の誤りが、規定された復号された参照画像により隠匿されうるか、または前述の2つの隠匿方法が同時に適用されうるか、または規定された画像の誤りが他の隠匿方法により隠匿されうる。
本発明の実施形態をより明瞭にするために本発明の実施形態の実現プロセスが、添付図面を参照することによって下記で詳述される。
本発明の一実施形態では、下記の表で説明される符号化プロセスで反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
前述の表の視点識別子情報「view_id」およびフレーム番号「temporal_id」は、補助参照情報「sei_message()」の適用範囲を規定する、すなわち、補助参照情報が適用される画像を規定することができる。この実施形態では、対応する補助参照情報が、視点識別子「view_id」およびフレーム番号「temporal_id」によって規定された画像に適用されうる場合、対応する誤りは隠匿されうる。
本発明の実施形態が、反復参照フレーム指標情報および参照フレームがそれぞれ補助参照情報として働くものと仮定してより詳細に説明される。
(I)反復参照フレーム指標情報に基づいた誤り隠匿
多視点符号化および復号のプロセスでは参照フレーム指標情報の機能は、長期間の参照フレーム、または短期間の参照フレーム、または非参照フレームとして画像に印をつけることであり、それによって復号器は、参照フレーム指標情報により参照フレームを効果的に使用して符号化および復号の効率を向上することができる。参照フレーム指標情報がコードストリームにより復号器に送信される場合、コードストリームを送信するプロセスで参照フレーム指標情報の損失によって起因されるビデオ復号誤りを防止するために反復参照フレームマスク情報が適用されうる。つまり、フレームの参照フレームマスク情報が、復号器の誤り耐性能力を向上し、多視点ビデオ伝送性能を強化するために後続のコードストリーム内で繰り返し送信される。
多視点符号化に対応する復号器では、反復参照フレーム指標情報を正しく使用するために反復参照フレームが来る画像を把握することが必要である。つまり、時間方向の情報(すなわち、フレーム番号)だけでなく対応する視点識別子(フラグが来る視点を示す)も把握することが必要である。したがって符号化プロセスでは、表1および表2に示される反復参照フレーム指標情報の視点識別子およびフレーム番号を設定することが必要である。
前述の表は、多視点符号化が適用される場合、コードストリーム内の反復参照フレーム指標情報の視点識別子「original_view_id」を符号化することが必要であることを示す。
表２および表３での主なパラメータが下記で説明される。
original_idr_flag:反復参照フレーム指標情報を有する画像がIDRフレームであるかどうかを示す。
original_view_id:参照フレームマスク情報が来る視点を示すための参照フレームマスクの視点識別子
original_frame_num:反復参照フレームマスク情報を有する画像のフレーム番号を示す。
original_field_pic_flag、original_bottom_field_flag:反復参照フレーム指標情報を有する画像のフィールド情報を示す。
dec_ref_pic_marking():反復参照フレーム指標情報の構文構造を示す。このパラメータは特定のフラグ情報を搬送する。
したがって、符号器は表４の情報を復号器に送信することができる。
表４の情報を受信した後に復号器は、この種の情報内のフレーム番号および視点識別子により反復参照フレームマスク情報を決定し、参照フレーム指標情報を使用することによって誤りを隠匿し、したがって多視点ビデオ符号化および復号の性能を向上することができる。
反復参照フレームマスク情報に基づいた誤り隠匿についての前述の実施形態では、フレームのデータが消失される場合、フレームに対応する参照フレームマスク情報は、後で繰り返し送信される他のフレームの参照フレームマスク情報を使用することによって対応する参照フレームを決定することができる。このようにして、消失したまたは破損したデータによって起因される誤りが効果的に隠匿されうる。図1に示されるように、反復参照フレーム指標情報を有する元の画像の視点1のフレーム2が誤っているとき、隣接の視点のフレーム2のフラグ情報が誤りを隠匿するために使用されうる。
(II)参照フレームに基づいた誤り隠匿
この実施形態では、復号のための現在の画像(すなわち、対象画像)が正しく復号されない場合、現在復号されているフレームが、誤りをマスクし、復号性能を向上するために1つまたは複数の復号された参照画像(すなわち、参照フレーム)を使用することによって修正される。例えば、現在復号されている画像は、参照フレームの相当する位置のスライス群を使用して画像のフレーム内の相当する位置で正しく復号されないスライス群を修正し、したがって誤りを隠匿することができる。
多視点ビデオ符号化プロセスでは、スタンバイ画像(すなわち、参照フレーム)が来る画像を復号器が把握できるようにするために参照フレームの時間方向の情報(すなわち、フレーム番号)および視点識別子(参照フレームが来る視点を示す)を復号器に送信することが必要である。表５は解決策の詳細を示す。
表５は、多視点符号化が適用される場合、コードストリーム内の対象画像の視点ならびにスタンバイ画像の視点と対象画像の視点の差を符号化することが必要であり、それによって復号器は、視点間の参照フレームを正しく使用することによって対象画像の誤りを隠匿することができる。
表５の主なパラメータが下記で説明される。
target_frame_num:対象画像を復号するためのフレーム番号
target_view_id:対象画像の視点識別子
delta_spare_view_id[i]:参照フレーム内のiのスタンバイスライス群(iは序数である)のview_idを決定し、ここで参照フレーム内のview_idの値は0から1023(0と1023を含む)の範囲である。
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、iの参照フレーム(iは序数である)のview_id、すなわちspareViewId[i]は、下記で示されるiの参照フレームの視点識別子である。
num_spare_pics_minus1+1の参照フレーム中では各参照フレームの視点識別子は、対象画像の視点識別子の値「target_view_id」と参照画像の視点識別子の差により取得されてよく、ここで差はdelta_spare_view_id[i]である。すなわち、
spareViewId[i]=target_view_id-delta_spare_view_id[i]
spare_field_flag:対象画像(現在復号されているフレーム)および参照フレームの復号モードが「フィールド復号」であるか、それとも「フレーム復号」であるかを示す。
target_bottom_field_flag:対象画像が下位のフィールドに属するのか、それとも上位のフィールドに属するのかを示す。
num_spare_pics_minus1:対象画像に利用できる参照フレームの量を示す。
delta_spare_frame_num[i]:参照フレーム内に含まれるiのスタンバイスライス群ユニット(iは序数である)を決定する。
iの値が0からnum_spare_pics_minus1(0とnum_spare_pics_minus1を含む)の範囲であるとすると、[i]の参照フレームの復号のためのフレーム番号、すなわちspareFrameNum[i]を決定するプロセスは下記の通りである。
まず、候補のスタンバイ画像のフレーム番号が対象画像のフレーム番号および復号モードフラグにより決定され、
その後、復号のためのフレーム番号が、候補のスタンバイ画像のフレーム番号(すなわち、candidateSpareFrameNum)ならびにスタンバイ画像のフレーム番号と対象画像のフレーム番号の差(すなわち、delta_spare_frame_num[i])により決定される。すなわち、
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
参照フレームのフレーム番号(すなわち、spareFrameNum[i])を推定するためのプロセスの疑似符号は下記の通りである。
candidateSpareFrameNum=target_frame_num-!spare_field_flag
for(i=0;i<=num_spare_pics_minus1;i++){
if(candidateSpareFrameNum<0)
candidateSpareFrameNum=MaxFrameNum-1
spareFrameNum[i]=candidateSpareFrameNum-delta_spare_frame_num[i]
if(spareFrameNum[i]<0)
spareFrameNum[i]=MaxFrameNum+spareFrameNum[i]
candidateSpareFrameNum=spareFrameNum[i]-!spare_field_flag
};
spare_bottom_field_flag[i]:[i]の参照フレームが下位フィールドに属するのか、それとも上位フィールドに属するのかを示す。
spare_area_idc[i]:[i]の参照フレーム内のスタンバイスライス群ユニットを決定するモードを示す。例えば、モードは、[i]の画像内の任意のスライス群が参照ユニット(すなわち、誤りを隠匿するために参照フレームによって使用される参照情報)であることを示すこと、または構文要素「spare_unit_flag[i][j]」の値が参照フレームスライス群ユニットを決定するために使用されることを示すこと、または構文要素「zero_run_length[i][j]」がspareUnitFlagInBoxOutOrder[i][j]の値を決定するために使用されることを示すことでありうる。
zero_run_length[i][j]:spare_area_idc[i]の値によりspareUnitFlagInBoxOutOrder[i][j]の値を推定し、ここでspareUnitFlagInBoxOutOrder[i][j]は、iの参照フレーム内の反時計回りのBox-out(boxの中心から外側に)スキャンシーケンスでのjのスライス群(iおよびjは序数である)が参照ユニットであるかどうかを示す。
spare_unit_flag[i][j]:iの参照フレーム内のラスタスキャンシーケンスでのjのスライス群が参照ユニットであるかどうかを示す。
したがって、符号器は下記の表６の情報を復号器に送信することができる。
このようにして復号器は、参照フレームが来る視点を識別することができ、フレーム番号を識別することができる。したがって誤りが、対応する参照フレームを使用することによって復号器で隠匿されうる。
この実施形態では誤りは、多視点ビデオ復号の性能を向上するために多視点ビデオ復号のプロセスで参照フレームを使用することによって効果的に隠匿されうる。図2に示されるように、復号されるべき画像内の視点1のフレーム2の位置のスライス群が正しく復号されないとき、誤りは、隣接の視点の復号されたフレーム2内の相当する位置のスライス群を使用することによって隠匿されうる。
多視点符号化装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットと、
復号器に送信される必要がある補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニット(ここで補助参照情報は、例えば、反復参照フレーム指標情報、または参照フレームを復号し表示するのに役立つ情報を意味する)と、
多視点画像符号化ユニットおよび補助参照情報符号化ユニットの符号化動作により取得されたコードストリームを復号器に送信するように構成された送信ユニットと
を含む。
多視点符号化装置に対応して多視点復号装置も本発明の一実施形態で開示される。図3に示されるように、装置は下記の処理ユニット、すなわち
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
各視点のビデオ画像情報を取得するために受信したコードストリーム内の多視点ビデオ画像を復号するように構成された多視点画像復号ユニットと、
補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するためにコードストリーム受信ユニットによって受信されたコードストリームを復号するように構成された補助参照情報復号ユニットと
を含む。
復号プロセスでは画像の誤りは、復号効果を向上するために補助参照情報復号ユニットによって取得された補助参照情報を使用することによって、ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を使用することによって隠匿されうる。したがって、装置は下記の処理ユニット、すなわち
この種の補助参照情報を使用する画像のフレーム番号および視点識別子により規定されたフレームに適用される補助参照情報を決定するように構成された補助参照情報決定ユニット(ここで、フレーム番号および視点識別子情報は補助参照情報復号ユニットによって取得される)と、
補助参照情報決定ユニットによって決定された補助参照情報によりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された誤り隠匿ユニットと
をさらに含むことができる。
任意選択で、誤りを隠匿するモードに応じて(すなわち、反復参照フレーム指標情報および参照フレームなどの補助参照情報に応じて)、誤り隠匿ユニットは下記のユニット、すなわち
補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により規定されたフレームの誤りを隠匿するように構成された反復参照フレーム指標情報に基づいた誤り隠匿ユニットと、
補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定されたフレームの誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニットと
のいずれかまたは両方を含むことができる。
上述の符号化および復号の装置により、多視点ビデオ符号化および復号のプロセスでは復号器は、すべてのフレームの視点識別子情報を取得する、すなわち各フレームが来る視点を決定することができる。したがって、誤りを隠匿するプロセスに効果的に使用できるフレーム間情報は、視点識別子情報により決定され、したがって多視点ビデオ符号化および復号の性能を向上することができる。
本発明はいくつかの例示の実施形態により説明されているが、本発明はこの種の実施形態に限定されない。当業者が、本発明の精神および範囲を逸脱することなく本発明に対する様々な変更形態および変形形態を作成することができることは明らかである。本発明は、変更形態および変形形態が下記の「特許請求の範囲」またはそれらの均等物によって定義される保護の範囲内に入ることを条件として、変更形態および変形形態を包含するものである。

Claims (7)

  1. 多視点ビデオ画像を符号化するように構成された多視点符号化の方法であって、
    多視点画像情報を符号化するとき、補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むステップと、
    復号器が、前記フレーム番号および前記視点識別子によって規定された前記画像に適用される前記補助参照情報により前記フレーム番号および前記視点識別子によって規定された前記画像の誤りを隠匿できるように、前記コードストリームを前記復号器に送信するステップとを備え、
    前記補助参照情報は、前記規定された画像を復号し表示するために使用される情報を備え、
    前記補助参照情報は、反復参照フレーム指標情報または参照フレームを備え、
    前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、方法。
  2. 多視点符号化の装置であって、多視点ビデオ画像を符号化するように構成された多視点画像符号化ユニットを備え、
    補助参照情報ならびにこの種の参照情報を使用する画像のフレーム番号および視点識別子情報をコードストリーム内に書き込むように構成された補助参照情報符号化ユニットと、
    復号器が、前記フレーム番号および前記視点識別子によって規定された前記画像に適用される前記補助参照情報により前記フレーム番号および前記視点識別子によって規定された前記画像の誤りを隠匿できるように、前記多視点画像符号化ユニットおよび前記補助参照情報符号化ユニットの前記符号化動作により取得された前記コードストリームを前記復号器に送信するように構成された送信ユニットとをさらに備え、
    前記補助参照情報は、復号し表示するために使用される情報を備え、
    前記補助参照情報は、反復参照フレーム指標情報または参照フレームを備え、
    前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、装置。
  3. 多視点復号の方法であって、
    多視点ビデオコードストリームを受信するステップと、
    補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を取得するために受信した多視点ビデオコードストリームを復号するステップとを備え、
    前記補助参照情報は、復号し表示するために使用される情報を備え、
    前記補助参照情報は、反復参照フレーム指標情報または参照フレームを備え、
    前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示し、前記方法は、
    前記取得されたフレーム番号および視点識別子情報により前記フレーム番号および前記視点識別子によって規定された前記画像に適用される前記補助参照情報を決定するステップと、
    前記決定された補助参照情報により前記規定された画像の誤りを隠匿するステップと
    をさらに備える、方法。
  4. 前記決定された補助参照情報により前記規定された画像の前記誤りを隠匿するステップは、下記の方法、すなわち
    決定された反復参照フレーム指標情報により前記規定された画像の前記誤りを隠匿するステップであって、前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示す、隠匿するステップ、または
    規定された復号された参照フレームにより前記規定された画像の前記誤りを隠匿するステップ
    のうちの少なくとも1つを備える、請求項３に記載の方法。
  5. 多視点復号の装置であって、多視点ビデオ画像を復号するように構成された多視点画像復号ユニットを備え、
    補助参照情報ならびにこの種の補助参照情報を使用する画像のフレーム番号および視点識別子情報を搬送するコードストリームを受信するように構成されたコードストリーム受信ユニットと、
    補助参照情報ならびにこの種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報を取得するために前記コードストリーム受信ユニットによって受信された前記コードストリームを復号するように構成された補助参照情報復号ユニットと
    をさらに備え、
    前記補助参照情報は、復号し表示するために使用される情報を備え、
    前記補助参照情報は、反復参照フレーム指標情報または参照フレームを備え、
    前記反復参照フレーム指標情報は、フレームの参照フレーム指標情報が繰り返し送信されることを示し、前記装置は、
    この種の補助参照情報を使用する画像の前記フレーム番号および前記視点識別子情報により前記規定された画像に適用される前記補助参照情報を決定するように構成された補助参照情報決定ユニットであって、前記フレーム番号および前記視点識別子情報は前記補助参照情報復号ユニットによって取得される、補助参照情報決定ユニットと、
    前記補助参照情報決定ユニットによって決定された前記補助参照情報により前記補助参照情報を使用する前記規定された画像の誤りを隠匿するように構成された誤り隠匿ユニットと
    をさらに備える、装置。
  6. 前記誤り隠匿ユニットは、
    前記補助参照情報決定ユニットによって決定された反復参照フレーム指標情報により前記規定されたフレームの前記誤りを隠匿するように構成された前記反復参照フレーム指標情報に基づいた誤り隠匿ユニットを備える、請求項５に記載の装置。
  7. 前記誤り隠匿ユニットは、
    前記補助参照情報決定ユニットによって決定された復号された参照フレームによりフレーム番号および視点識別子によって規定された前記フレームの前記誤りを隠匿するように構成された参照フレームに基づいた誤り隠匿ユニットを備える、請求項５に記載の装置。
JP2010503342A 2007-04-17 2008-04-17 多視点符号化および復号の方法ならびに装置 Active JP5149375B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNA2007101004936A CN101291434A (zh) 2007-04-17 2007-04-17 多视编解码方法及装置
CN200710100493.6 2007-04-17
PCT/CN2008/070744 WO2008125066A1 (en) 2007-04-17 2008-04-17 An encoding and decoding method and means of multiple viewpoint

Publications (2)

Publication Number Publication Date
JP2010525637A JP2010525637A (ja) 2010-07-22
JP5149375B2 true JP5149375B2 (ja) 2013-02-20

Family

ID=39863282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010503342A Active JP5149375B2 (ja) 2007-04-17 2008-04-17 多視点符号化および復号の方法ならびに装置

Country Status (5)

Country Link
US (1) US20100034293A1 (ja)
EP (1) EP2136559A4 (ja)
JP (1) JP5149375B2 (ja)
CN (1) CN101291434A (ja)
WO (1) WO2008125066A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103428504B (zh) * 2007-08-15 2017-04-12 汤姆森许可贸易公司 在多视图编码的视频中进行错误隐藏的方法和装置
CN101478684B (zh) * 2008-12-31 2011-10-26 杭州华三通信技术有限公司 检测存储视频数据完整性的方法和系统
KR101440184B1 (ko) * 2009-01-19 2014-09-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 프로그램, 및 집적 회로
US8693539B2 (en) * 2009-03-26 2014-04-08 Panasonic Corporation Coding method, error detecting method, decoding method, coding apparatus, error detecting apparatus, and decoding apparatus
CN101568038B (zh) * 2009-06-04 2010-12-29 西南交通大学 基于视差/运动联合估计的多视点容错编码框架
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
TR201002451A2 (tr) 2010-03-30 2011-10-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Süper çözünürlük tabanlı N-bakışlı + N-derinlikli çok bakışlı video kodlama.
CN101969565B (zh) * 2010-10-29 2012-08-22 清华大学 一种符合多视点视频标准的视频解码方法
CN101977320B (zh) * 2010-10-29 2012-11-14 清华大学 一种符合多视点视频标准的视频编码方法
CN102209243B (zh) * 2011-05-27 2012-10-24 山东大学 基于线性模型的深度图帧内预测方法
JP5058362B1 (ja) * 2011-06-23 2012-10-24 株式会社東芝 動画像復号装置及び動画像復号方法
CN102413353B (zh) * 2011-12-28 2014-02-19 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
CN103369314B (zh) * 2012-04-01 2018-02-16 中兴通讯股份有限公司 帧场信息的编码方法及解码方法、编码器和解码器
CN108495137B (zh) 2012-04-16 2021-11-09 三星电子株式会社 用于确定图像的参考画面集的方法和设备
JP6167906B2 (ja) 2012-07-19 2017-07-26 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN105052148B (zh) * 2013-04-12 2018-07-10 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及其记录介质
US10560710B2 (en) 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
CN104980763B (zh) * 2014-04-05 2020-01-17 浙江大学 一种视频码流、视频编解码方法及装置
CN110996122B (zh) * 2019-12-12 2022-11-15 腾讯云计算（北京）有限责任公司 视频帧传输方法、装置、计算机设备及存储介质
CN112487976B (zh) * 2020-11-30 2023-10-24 中科院计算所西部高等技术研究院 基于图像识别的监测方法、装置和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978521A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
JP3992533B2 (ja) * 2002-04-25 2007-10-17 シャープ株式会社 立体視を可能とする立体動画像用のデータ復号装置
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US8369406B2 (en) * 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN100415002C (zh) * 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
KR101120648B1 (ko) * 2006-10-16 2012-03-23 노키아 코포레이션 멀티뷰 비디오 코딩에서 효율적인 디코딩된 버퍼 관리를 구현하기 위한 시스템 및 방법
WO2008088497A2 (en) * 2006-12-21 2008-07-24 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
US20090296826A1 (en) * 2007-01-04 2009-12-03 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication

Also Published As

Publication number Publication date
CN101291434A (zh) 2008-10-22
JP2010525637A (ja) 2010-07-22
EP2136559A1 (en) 2009-12-23
WO2008125066A1 (en) 2008-10-23
US20100034293A1 (en) 2010-02-11
EP2136559A4 (en) 2010-04-14

Similar Documents

Publication Publication Date Title
JP5149375B2 (ja) 多視点符号化および復号の方法ならびに装置
CN111837397B (zh) 基于子图像码流的视角相关视频编码中的错误消除的码流指示
US10827170B2 (en) Method and device for coding POC, method and device for decoding POC, and electronic equipment
JP5873041B2 (ja) ハイレベル・シンタックスで伝送されるマルチビュー情報のための方法および装置
AU2012205813B2 (en) High layer syntax for temporal scalability
JP5475855B2 (ja) マルチビュー・ビデオ符号化のための仮想参照デコーダ
KR20180137592A (ko) 네트워크 장치 및 오류 처리
ES2588314T3 (es) Gestión de memoria intermedia de imágenes decodificadas de múltiple resolución para codificación de vídeo multi-capa
CN110035331B (zh) 一种媒体信息的处理方法及装置
BRPI1013339B1 (pt) Método e aparelho para codificar vídeo, método e aparelho para decodificar vídeo, sinal de vídeo formatado para incluir informações e mídia legível por processador
US20130195201A1 (en) Techniques for layered video encoding and decoding
KR20090093747A (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
WO2009002088A1 (en) Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
KR20110033240A (ko) 스케일러블 비디오 코딩（ｓｖｃ）디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법
KR20110115087A (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
KR20160114717A (ko) 비디오 데이터 인코딩 및 디코딩 방법 및 장치
WO2013159702A1 (zh) 三维视频序列辅助信息的解码方法、编码方法及装置
US8767840B2 (en) Method for detecting errors and recovering video data
KR20070111880A (ko) 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR102232250B1 (ko) 깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
US20140119445A1 (en) Method of concealing picture header errors in digital video decoding
KR101420894B1 (ko) 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치
US10659813B2 (en) Method, system and device for coding and decoding depth information
ES2772028T3 (es) Disposiciones y métodos de las mismas para procesamiento de video
US20140233653A1 (en) Decoder and encoder for picture outputting and methods thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121129

R150 Certificate of patent or registration of utility model

Ref document number: 5149375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250