JP2023543048A - マルチビュー映像を符号化及び復号する方法 - Google Patents

マルチビュー映像を符号化及び復号する方法 Download PDF

Info

Publication number
JP2023543048A
JP2023543048A JP2023519376A JP2023519376A JP2023543048A JP 2023543048 A JP2023543048 A JP 2023543048A JP 2023519376 A JP2023519376 A JP 2023519376A JP 2023519376 A JP2023519376 A JP 2023519376A JP 2023543048 A JP2023543048 A JP 2023543048A
Authority
JP
Japan
Prior art keywords
depth
block
view
depth estimation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023519376A
Other languages
English (en)
Inventor
フェリックス・アンリ
パトリック・ガルス
ゴルドン・クレール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2023543048A publication Critical patent/JP2023543048A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、符号化デバイスによって実装される、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを符号化する方法であって、少なくとも１つのビューの奥行き成分について、奥行き成分を少なくとも１つのブロックに分割すること（Ｃ２）、ビューの少なくとも１つのテクスチャ成分のテクスチャデータから、少なくとも１つのブロックに関する奥行き情報を得ること（Ｃ４）、この情報から少なくとも１つの奥行き推定パラメータを得ること（Ｃ５）、少なくとも１つのブロックの奥行き情報が符号化されないため、少なくとも１つの奥行き推定パラメータを符号化すること（Ｃ６）を含む方法に関する。

Description

本発明は、概して、特にマルチビュー映像など、没入型映像の分野に関する。より詳細には、本発明は、捕捉される複数のビューを符号化及び復号して、そのような没入型映像を生成すること並びに捕捉されない中間視点を合成することに関する。本発明は、特に、但し排他的ではなく、現在のＡＶＣ及びＨＥＶＣ映像コーダ並びにそれらの拡張（ＭＶＣ、３Ｄ－ＡＶＣ、ＭＶ－ＨＥＶＣ、３Ｄ－ＨＥＶＣ等）において実装される映像符号化及び対応する映像復号に適用され得る。
全方位映像、例えば３６０°映像などを生成するために、３６０°カメラを使用することは、日常的なことである。このような３６０°カメラは、球形プラットフォームに設置された数個の２Ｄ（二次元）カメラで構成される。各２Ｄカメラは、同じ視点から見た特定の角度の３Ｄ（三次元）シーンを捕捉し、カメラによって捕捉されたビューのセットにより、１つの視点からの３６０°×１８０°視野に従って３Ｄシーンを表す映像を生成することが可能になる。単一の３６０°カメラを使用して、３６０°×１８０°視野に従って３Ｄシーンを捕捉することも可能である。当然のことながら、このような視野は、小さく、例えば２７０°×１３５°になる可能性がある。
次いで、このような３６０°映像により、ユーザは、あたかもユーザがその中心に位置しているかのようにシーンを見て、周囲全体を３６０°見渡すことができ、これにより新たな映像の見方が提供される。このような映像は、概して、「頭部装着型デバイス」の略語であるＨＭＤとしても知られるバーチャルリアリティヘッドセットで再生される。しかし、それらの映像は、適切なユーザ対話手段が装備された２Ｄスクリーン上に表示することも可能である。３６０°シーンを捕捉するための２Ｄカメラの数は、使用されるプラットフォームに従って変わる。
しかしながら、見る人は、単一の視点のみからシーンを見ることができるため、上述の３６０°の手法は、制限される。
見る人が視点を変更できるようにするために、マルチビュー捕捉システムがあり、このシステムでは、各カメラが特定の角度のシーンを捕捉する２Ｄタイプのカメラのセットによって３Ｄシーンが捕捉される。シーンにおける没入感覚を強化するために、１つ又は複数の欠落ビュー、すなわちカメラによって捕捉されない視点を表すビューが既存のビューから合成される。
これらの欠落ビュー又は中間ビューの演算処理は、いわゆる「ビュー合成」アルゴリズムによって実行される。例えば、ＶＳＲＳ（「ビュー合成参照」）ソフトウェアは、ビュー合成アルゴリズムとして使用することが可能である。
従来、このような合成アルゴリズムは、各カメラによって異なる時点で捕捉されたビューのテクスチャ成分に基づくだけでなく、「奥行きマップ」と呼ばれるこれらのビューの奥行き成分にも基づく。奥行きマップは、ビューの各画素と、このビューを捕捉したカメラとの間の距離を表す。したがって、各カメラは、それぞれの視点から見て、テクスチャ成分の形態で３Ｄシーンのビューを捕捉するが、テクスチャ成分には、カメラのそれぞれの視点から見たような３Ｄシーンの奥行きマップが関連付けられる。奥行きマップを構築するためのいくつかの手段があり、それらは、レーダ、レーザ、現在のビュー及び隣接するビューの画素を使用する演算処理方法である。
テクスチャ成分のセットから奥行きを推定するための既知の技法がある。したがって、文献「（非特許文献１）」に記載されているＤＥＲＳ方法は、少なくとも２つのテクスチャ成分を使用して、２つのビュー間の視差、すなわちピクセルの数において測定される、２つのビュー間の１つの画素の変位を最初に推定する。これを行うために、現在のビューで現在の画素を取り囲むブロックに対して、ＤＥＲＳは、「ブロックマッチング」ステップを連続的に適用して、別のビューにおいて、現在のビューのブロックに対する誤差を最小化するブロックを識別するようにする。この検索は、ビューが較正済みと見なされるため、水平方向に実行される。検索は、所定の視差間隔内で実行される。すなわち、最小視差Ｄｍｉｎと最大視差Ｄｍａｘとの間にあるすべてのブロックに対してブロックマッチングが行われることになる。シーンの視差「ｄ」と奥行き「Ｚ」との間は、直接リンクしており、視差「ｄ」の画素の奥行き「Ｚ」は、
Ｚ＝（ｂ＊ｆ）／ｄ
に等しく、式中、「ｂ」は、ビューを捕らえたカメラの光学的中心間の距離であり、「ｆ」は、カメラの焦点距離である。したがって、最小視差Ｄｍｉｎは、シーンで想定される最大奥行きＺｍａｘに対応し、最大視差Ｄｍａｘは、シーンで想定される最小奥行きＺｍｉｎに対応する。具体的な事例では、シーンの捕捉は、所定の値、例えば０．３ｍのＺｍｉｎ及び例えば５ｍのＺｍａｘを特定することによって行われる。これにより、評価される視差仮説の数を決定する値Ｄｍｉｎ及びＤｍａｘが直接生成される。例えば、Ｄｍｉｎ＝２画素及びＤｍａｘ＝１９２画素であると判定された場合、これは、ブロックマッチング技法がすべての視差仮説Ｄ＝２，３，４，．．．，１９１，１９２画素のブロックマッチングコストを評価すること、すなわち１９１個の計算が格納され、互いに比較されることを意味する。このように、ＤＥＲＳアルゴリズムは、各視差と関連付けられたコストの関数として、可能な１９１個の中から選択する視差と、パラメータＳｃ（「平滑化係数」の略語）を含む１つ又は複数の正則化パラメータとを決める。この係数は、生成された奥行きマップの規則性を決める。したがって、この係数が低ければ、奥行きマップは、より正確になるが、雑音を含むリスクがある一方、この係数が高ければ、奥行きマップは、均一な奥行きのゾーンを有する非常に規則的なものになるが、小さい局所的変動を不十分にのみ表すリスクを伴う。
例えば、ＩＶＤＥ（「没入型映像の奥行き推定」の略語）方法などの他の奥行き推定方法は、「（非特許文献２）」に提示されており、これは、一連のビューの奥行きマップを並行して共同で決定するものである。
従来の没入型映像コーダでは、テクスチャ成分及びそのそれぞれの奥行きマップは、符号化され、例えばユーザのディスプレイデバイスに設置されたデコーダに送られる。デコーダ側では、各ビューが復号され、そのビューのテクスチャ成分の復号を含むビューを復号し、そのビューのテクスチャ成分と関連付けられた奥行きマップを復号する。次いで、合成アルゴリズムは、１つ又は複数の復号済みの奥行きマップから及び１つ又は複数の復号済みのテクスチャ成分から、ユーザによって要求された視点に対応する中間ビューを構築する。
「（非特許文献３）」は、奥行きマップが符号化されない没入型映像コーダについて記載している。ビューのテクスチャ成分のみが符号化され、デコーダに送信される。デコーダ側では、テクスチャ成分が復号され、次いで例えばＤＥＲＳなどの奥行き推定方法が復号済みのテクスチャ成分に適用されて、推定済みの奥行きマップを生成する。次いで、ＶＳＲＳ（「ビュー合成参照ソフトウェア」の略語）合成アルゴリズムは、これらの推定済みの奥行きマップを使用してビュー合成を実行する。
この技法により、奥行きマップを符号化し、送信する必要がないため、全方位映像の符号化ビットレートが短縮される。さらに、合成されたビューを得るために復号される画素の数は、従来の没入型映像デコーダで使用される数よりも少なくなる。
しかしながら、この技法で使用される復号方法は、デコーダで奥行き推定ステップの実装が必要であるため、計算の点で負荷が高い。さらに、デコーダで推定された奥行きは、オリジナルのテクスチャ成分に比べて品質が劣った復号済みのテクスチャ成分に基づくため、推定された奥行き自体は、それほど品質が良好でない。したがって、この技法で実装されるビュー合成は、ユーザにレンダリングされる画像の品質の点でも、演算処理リソースの消費の点でも最適でないという結果になる。
Ｏ．Ｓｔａｎｋｉｅｗｉｃｚ，Ｋ．Ｗｅｇｎｅｒ，Ｍ．Ｔａｎｉｍｏｔｏ ａｎｄ Ｍ．Ｄｏｍａｎｓｋｉ，"Ｅｎｈａｎｃｅｄ Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＤＥＲＳ）ｆｏｒ Ｆｒｅｅ－ｖｉｅｗｐｏｉｎｔ Ｔｅｌｅｖｉｓｉｏｎ"，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｄｏｃ．ＭＰＥＧ Ｍ３１５１８，Ｇｅｎｅｖａ，２０１３ Ｄａｗｉｄ Ｍｉｅｌｏｃｈ，Ａｄｒｉａｎ Ｄｚｉｅｍｂｏｗｓｋｉ，Ｊａｋｕｂ Ｓｔａｎｋｏｗｓｋｉ，Ｏｌｇｉｅｒｄ Ｓｔａｎｋｉｅｗｉｃｚ，Ｍａｒｅｋ Ｄｏｍａｎｓｋｉ，Ｇｗａｎｇｓｏｏｎ Ｌｅｅ，Ｙｕｎ Ｙｏｕｎｇ Ｊｅｏｎｇ［ＭＰＥＧ－Ｉ Ｖｉｓｕａｌ］Ｉｍｍｅｒｓｉｖｅ ｖｉｄｅｏ ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｎ，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０２０ ｍ５３４０７ Ｐａｔｒｉｃｋ Ｇａｒｕｓ，Ｊｕｎｇ Ｊｏｅｌ，Ｔｈｏｍａｓ Ｍａｕｇｅｙ，Ｃｈｒｉｓｔｉｎｅ Ｇｕｉｌｌｅｍｏｔ．Ｂｙｐａｓｓｉｎｇ Ｄｅｐｔｈ Ｍａｐｓ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｆｏｒ Ｉｍｍｅｒｓｉｖｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ．ＰＣＳ ２０１９－Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，Ｎｏｖ ２０１９，Ｎｉｎｇｂｏ，Ｃｈｉｎａ．ｐｐ．１－５．ｈａｌ－０２３９７８００
本発明の目的の１つは、上述の従来技術の欠点を改善することである。
この目的のために、本発明の１つの目的は、符号化デバイスによって実装される、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを符号化する方法であって、少なくとも１つのビューの奥行き成分について、
－ 前記奥行き成分を少なくとも１つのブロックに分割すること、
－ 前記ビューの少なくとも１つのテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること、
－ この奥行き情報から少なくとも１つの奥行き推定パラメータを得ること、
－ 前記少なくとも１つの奥行き推定パラメータを符号化することであって、前記少なくとも１つのブロックの奥行き情報は、符号化されない、符号化すること
を含む方法に関する。
本発明によるこのような符号化方法により、ビューを符号化するとき、このビューと関連付けられた成分又は奥行きマップの奥行きブロックを符号化することを回避し、これによりコーダによって実装される計算を軽減する一方、メモリリソース上に保存することが可能になり、奥行きブロックの符号化されたデータを格納する必要がなくなる。この奥行きブロックは、符号化されないため、この奥行きブロックに関する符号化されたデータは、デコーダに送信されず、これによりコーダとデコーダとの間で送信される情報の信号伝達のコストが低減される。奥行きブロックに関する符号化されたデータの欠如を補い、奥行きブロックの復号を可能にするために、本発明による符号化方法は、奥行きブロックと関連付けられた少なくとも１つの奥行き推定パラメータの符号化を実装し、これにより奥行き推定パラメータをデコーダで使用して、先にこの奥行きブロックを復号することを必要とすることなく、奥行きブロックを再構築することになる。
特定の実施形態によれば、前記少なくとも１つの奥行き推定パラメータは、前記少なくとも１つのブロックの奥行き値のそれぞれよりも大きい、前記少なくとも１つのブロックの奥行き値又は前記少なくとも１つのブロックの奥行き値のそれぞれよりも小さい、前記少なくとも１つのブロックの奥行き値のいずれかである。
この特定の実施形態によれば、デコーダの奥行き推定器は、奥行きブロックを再構築するために、１つ又は複数のビューの再構築されたテクスチャブロックの各画素を用いて、このブロックのそれぞれの可能な対応する奥行きの尤度を評価する必要がなくなる。実際、この実施形態によれば、奥行き推定器は、単に、再構築される奥行きブロックに対して、このブロックの最小奥行き値と最大奥行き値との間にある間隔内でのみ、このブロックの奥行きを推定する。このような奥行き推定は、従来技術の複雑な側面である奥行き推定ステップを大幅に高速化する。
別の特定の実施形態によれば、前記少なくとも１つの奥行き推定パラメータは、奥行き推定方法によって使用されるパラメータである。
この特定の実施形態によれば、既知の奥行き推定方法によって使用される前記奥行き推定パラメータは、オリジナルの奥行きブロックに可能な限り最も近い推定済みの奥行きブロックをもたらすように有利に最適化される。このようなパラメータは、例えば、奥行き推定アルゴリズムに、雑音がほとんどない奥行きマップを見つけさせることを可能にする正則化パラメータであるか、又はそうでなければその信頼度が低すぎる場合、奥行き推定アルゴリズムが奥行き値を改良し続けることを可能にする信頼度パラメータである。
別の特定の実施形態によれば、奥行き推定方法を表す情報は、符号化される。
この特定の実施形態によれば、コーダは、それぞれ所与の内容又はブロックに多かれ少なかれ良好な結果をもたらす可能性のある異なる利用可能な奥行き推定方法を試験すること、現在のブロックで最良の奥行き推定をもたらす奥行き推定方法を選択すること、及びそれをデコーダに送信して、選択された奥行き推定を現在のブロックに適用するために、この選択を符号化することが可能である。
様々な上述の実施形態又は特徴は、個々に又は互いに組み合わせて、上記で定義された符号化方法に追加することができる。
本発明は、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを符号化するためのデバイスであって、少なくとも１つのビューの奥行き成分について、
－ 奥行き成分を少なくとも１つのブロックに分割すること、
－ 前記ビューの少なくとも１つのテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること、
－ この奥行き情報から少なくとも１つの奥行き推定パラメータを得ること、
－ 前記少なくとも１つの奥行き推定パラメータを符号化することであって、前記少なくとも１つのブロックの奥行き情報は、符号化されない、符号化すること
を実装するように構成されるプロセッサを含むデバイスにも関する。
このような符号化デバイスは、特に、上述の符号化方法を実装することができる。
本発明は、復号デバイスによって実装される、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを復号する方法であって、少なくとも１つのブロックに分割される、少なくとも１つのビューの奥行き成分について、
－ データ信号において、前記少なくとも１つのブロックと関連付けられた少なくとも１つの奥行き推定パラメータを読み取ること、
－ 前記少なくとも１つの奥行き推定パラメータを復号すること、
－ 前記少なくとも１つの奥行き推定パラメータから及び前記ビューの少なくとも１つの再構築されたテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること
を含む方法にも関する。
本発明によるこのような復号方法は、演算処理複雑度が低く、有利にはメモリリソース上に保存することが可能になる。実際に、ブロックの奥行き情報が符号化されず、したがってデコーダに送信されないため、デコーダは、この情報を復号する必要もそれを格納する必要もない。復号時、デコーダが受信したデータ信号において送信された少なくとも１つの奥行き推定パラメータを復号して、ブロックの奥行き情報を再構築しさえすればよく、前記少なくとも１つの奥行き推定パラメータは、奥行き情報よりも送信にコストがかからない。
特定の実施形態によれば、前記少なくとも１つの奥行き推定パラメータは、前記少なくとも１つのブロックの奥行き値のそれぞれよりも大きい、前記少なくとも１つのブロックの奥行き値又は前記少なくとも１つのブロックの奥行き値のそれぞれよりも小さい、前記少なくとも１つのブロックの奥行き値のいずれかである。
特定の実施形態によれば、前記少なくとも１つの奥行き推定パラメータは、奥行き推定方法によって使用されるパラメータである。
別の特定の実施形態によれば、奥行き推定方法を表す情報は、復号される。
様々な上述の実施形態又は特徴は、個々に又は互いに組み合わせて、上記で定義された復号方法に追加することができる。
本発明は、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを復号するためのデバイスであって、少なくとも１つのブロックに分割される、少なくとも１つのビューの奥行き成分について、
－ データ信号において、前記少なくとも１つのブロックと関連付けられた少なくとも１つの奥行き推定パラメータを読み取ること、
－ 前記少なくとも１つの奥行き推定パラメータを復号すること、
－ 前記少なくとも１つの奥行き推定パラメータから及び前記ビューの少なくとも１つの再構築されたテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること
を実装するように構成されるプロセッサを含むデバイスにも関する。
このような復号デバイスは、特に、上述の復号方法を実装することができる。
本発明は、復号デバイス又はビュー合成デバイスによって実装されるビュー合成方法であって、
－ 上記で言及した本発明による復号方法に従ってビューを再構築すること、
－ 再構築されたビューから及び前記少なくとも１つのブロックの奥行きを表す、得られた情報から、ビューの少なくとも一部を合成すること
を含むビュー合成方法にも関する。
本発明は、コンピュータプログラムであって、前記プログラムがプロセッサによって実行されると、先に説明した特定の実施形態のいずれか１つに従い、本発明による符号化方法、復号方法又は合成方法を実装するための命令を含むコンピュータプログラムにも関する。
このような命令は、上述の符号化方法を実装する符号化デバイス、上述の復号方法を実装する復号デバイス又は上述の合成方法を実装する合成デバイスの非一時的メモリ媒体に永続的に格納することができる。
このプログラムは、任意のプログラミング言語を使用することができ、ソースコード、オブジェクトコード又はソースコードとオブジェクトコードとの間の中間コードの形態、部分的にコンパイルされた形態若しくは任意の他の望ましい形態などであり得る。
本発明は、上記で言及したようなコンピュータプログラムの命令を含むコンピュータ可読記憶媒体又は情報媒体も対象とする。
記憶媒体は、プログラムを格納することが可能な任意のエンティティ又はデバイスであり得る。例えば、媒体は、ＲＯＭなどの記憶手段、例えばＣＤ ＲＯＭ若しくは超小型電子回路ＲＯＭ又はさらに磁気記憶手段、例えばＵＳＢキー若しくはハードディスクを含むことができる。
同様に、記憶媒体は、電気ケーブル又は光ケーブルを介して伝達することが可能な電気信号又は光信号など、ワイヤレスで又は他の手段によって伝送可能な媒体であり得る。本発明によるプログラムは、特にインターネットタイプのネットワーク上にダウンロードすることができる。
代わりに、記憶媒体は、プログラムが組み込まれた集積回路であって、上述の符号化方法、上述の復号方法又はさらに上述の合成方法を実行するように適合された集積回路又はそれらの実行時に使用される集積回路であり得る。
他の特徴及び利点は、例示的及び非限定的な例並びに添付の図面として提供される本発明の特定の実施形態を読むことで明らかになるであろう。
本発明の特定の実施形態における、ビューを符号化する方法の進行を表す。 図１の符号化方法で実装される奥行き推定パラメータを得るステップの第１の実施形態を表す。 図１の符号化方法で実装される奥行き推定パラメータを得るステップの第２の実施形態を表す。 図１の符号化方法によって符号化された情報の信号伝達の第１の実施形態を表す。 図１の符号化方法によって符号化された情報の信号伝達の第２の実施形態を表す。 図１の符号化方法を実装する映像符号化デバイスを表す。 本発明の特定の実施形態における、ビューを復号する方法の進行を表す。 図５の復号方法を実装する映像復号デバイスを表す。 本発明の特定の実施形態における、欠落ビュー合成方法の進行を表す。 本発明の特定の実施形態における、図７の合成方法を実装する合成デバイスを表す。 本発明の別の特定の実施形態における、図７の合成方法を実装する合成デバイスを表す。
マルチビュー映像符号化方法の実装形態の例
マルチビュー映像を符号化する方法を以下で説明し、これは、任意のタイプのマルチビュー映像コーダ、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は他の規格に準拠するものを使用することができる。
図１を参照すると、このような符号化方法は、複数のビューＶ１，．．．，ＶＮの一部を形成する現在のビューに適用され、この複数のビューは、それぞれシーンを捕捉するカメラの複数の視野角又は複数の位置／向きからの３Ｄシーンを表す。
本発明による符号化方法は、現在の時点において、
－ ビューＶ１、
－ ビューＶ２、
－ ．．．、
－ ビューＶｉ、
－ ．．．、
－ ビューＶＮ
を符号化するものである。
Ｎ個の中から考慮した１つのビューは、等しくテクスチャ成分若しくは奥行き成分又はこのビューと関連付けられたマップであり得る。例えば、現在のビューＶｉ（１≦ｉ≦Ｎ）は、従来、Ｑ（Ｑ≧１）個の画素のテクスチャ成分Ｔｉ及び例えばテクスチャ成分Ｔｉのような少なくとも１つのテクスチャ成分のＱ個の画素と関連付けられたＱ個の奥行き値を有する奥行き成分Ｐｉと関連付けられるか、又はＮ個のうち、ビューＶｉ以外のビューのテクスチャ成分と関連付けられる。知られているように、奥行き成分Ｐｉは、テクスチャ画像Ｔｉから又はそうでなければ例えばＬＩＤＡＲ（「光検知測距」の略語）などのデバイスを使用して３Ｄシーンの容積測定データを捕捉することによって直接生成することができる。
Ｃ１において、現在のビューＶｉが現在の時点において選択され、Ｎ個のビューのそれぞれが所定の順序で次々に選択される。
Ｃ２において、前記少なくとも１つのビューＶｉの奥行き成分Ｐｉが複数のブロックＢ１，Ｂ２，．．．，Ｂｊ，．．．，ＢＭ（１≦ｊ≦Ｍ）に分割される。可能な一実施形態では、単一の奥行きブロックが分割されていない奥行き成分Ｐｉに対応すると見なされる。奥行き成分のブロックは、事前定義されたサイズ（例えば、６４×６４画素）であり、パラメータ化可能な（そして、その後、使用されるサイズが符号化された形態で送信される）もの又はそうでなければＨＥＶＣ規格で実装さるものと類似した、使用されるサイズの信号伝達を用いる適応可能なものであり得る。後者の場合、奥行き成分Ｐｉはまず、最大サイズ（例えば、６４×６４画素）のブロックに分けられて、次いで、ブロックをより小さいブロックに細分化しなければならないかどうかを表示する２値情報が、事前定義された最小ブロックサイズ（例えば、４×４画素）に達するまで、ブロックごとに繰り返して送信され、この最小ブロックサイズに対して情報は送信されない。これにより、奥行き成分Ｐｉのブロックへの細分化を定義することが可能になる。
Ｃ３において、奥行き成分Ｐｉの現在のブロックＢｊが選択され、奥行き成分Ｐｉのブロックがそれぞれ、所定の順序で次々に選択される。
Ｃ４において、前記少なくとも１つの現在のブロックＢｊに対して、奥行き情報ＩＰｊが得られる。それ自体知られているように、テクスチャ成分Ｔｉの画素のブロックＢＴの画素の全部又は一部及び／又はＮ個のうち、ビューＶｉ以外のビューのテクスチャ成分の全部又は一部に対して、これらの画素に対応する奥行き値Ｚ１～ＺＲが得られ、画素のブロックＢＴに対応する奥行きブロックＢＰｊを形成する。
Ｃ５において、少なくとも１つの奥行き推定パラメータＰＥが前記奥行き情報ＩＰｉから得られる。
図２Ａに表されている第１の取得実施形態によれば、Ｃ５１ａにおいて、Ｒ個の奥行き値Ｚ１～ＺＲの中から最大奥行き値Ｚｍａｘ及び／又は最小奥行き値Ｚｍｉｎが決定される。
Ｃ５２ａにおいて、Ｚｍｉｎ若しくはＺｍａｘ又は間隔［Ｚｍｉｎ，Ｚｍａｘ］が奥行き推定パラメータＰＥに割り当てられる。
図２Ｂに表されている第２の取得実施形態によれば、Ｃ５１ｂにおいて、奥行き推定方法の少なくとも１つの奥行き推定パラメータＰＭＥが選択される。これは、例えば、上記で言及した奥行き推定アルゴリズムＤＥＲＳのパラメータである。別の例によれば、例えば、ＩＶＤＥアルゴリズムなど、別の奥行き推定アルゴリズムのパラメータとすることも可能であろう。ＤＥＲＳアルゴリズムに関して、選択されるパラメータは、例えば、奥行き推定アルゴリズムＤＥＲＳに、画素のブロックＢＴに対応する雑音のない奥行きブロックを見つけさせることを可能にする正則化パラメータ又は「平滑化係数」Ｓｃである。奥行き推定アルゴリズムのパラメータの他の例、例えば、
－ その信頼度が低すぎる場合、ＤＥＲＳアルゴリズムが奥行き値を改良し続けることを可能にするＤＥＲＳアルゴリズムのパラメータλなどの信頼度パラメータ、
－ 例えば、ＩＶＤＥアルゴリズムにおいて使用され、また、上述の文献「Ｄａｗｉｄ Ｍｉｅｌｏｃｈ，Ａｄｒｉａｎ Ｄｚｉｅｍｂｏｗｓｋｉ，Ｊａｋｕｂ Ｓｔａｎｋｏｗｓｋｉ，Ｏｌｇｉｅｒｄ Ｓｔａｎｋｉｅｗｉｃｚ，Ｍａｒｅｋ Ｄｏｍａｎｓｋｉ，Ｇｗａｎｇｓｏｏｎ Ｌｅｅ，Ｙｕｎ Ｙｏｕｎｇ Ｊｅｏｎｇ［ＭＰＥＧ－Ｉ Ｖｉｓｕａｌ］Ｉｍｍｅｒｓｉｖｅ ｖｉｄｅｏ ｄｅｐｔｈ ｅｓｔｉｍａｔｉｏｎ，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０２０ ｍ５３４０７」に記載されている初期平滑化パラメータβ０のような平滑化パラメータ
などを使用することも可能であろう。
Ｃ５２ｂにおいて、選択された奥行き推定方法の奥行き推定パラメータＰＭＥのＸ（Ｘ≧１）個の可能な値Ｖａｌ１，．．．，Ｖａｌｋ，．．．，ＶａｌＸ（１≦ｋ≦Ｘ）からなる有限集合に対して、Ｘ個の推定済みの奥行きブロックＢＰＥ１，．．．，ＢＰＥｋ，．．．，ＢＰＥＸがそれぞれ得られる。パラメータＳｃに対して、可能な値の有限集合は、例えば、｛０．０１，０．０２，０．０４，０．０８，０．１６｝である。言うまでもなく、現在の映像コンテキストに従って他の値も可能である。
Ｃ５３ｂにおいて、奥行きが推定されたＸ個のブロックＢＰＥ１，．．．，ＢＰＥｋ，．．．，ＢＰＥＸの中から、画素のブロックＢＴから得られた推定済みの奥行きがオリジナルの奥行きブロックＢＰｊに最も近いブロックが選択される。このような選択は、例えば、ＰＳＮＲ（「ピーク信号対雑音比」の略語）、平均２乗誤差、差の絶対値合計又は任意の他の同様の測定などの歪み測定を使用して実装される。表されている例では、それは、例えば、選択されている推定済みの奥行きブロックＢＰＥｋである。
Ｃ５４ｂにおいて、Ｃ５３ｂにおいて選択された推定済みの奥行きブロックＢＰＥｋに対して選択された奥行き推定方法の奥行き推定パラメータＰＭＥの値Ｖａｌｋは、次いで、奥行き推定パラメータＰＥの値として選択される。
図１をもう一度参照すると、Ｃ６において、奥行き推定パラメータＰＥは、例えば、ＣＡＢＡＣ（「コンテキスト適応型２値算術符号化」の略語）などのようなロスレス符号化方法を使用して又はさらにハフマン符号化（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）若しくはラムペル－ジフ符号化（Ｌｅｍｐｅｌ－Ｚｉｖ ｃｏｄｉｎｇ）によって符号化される。図２Ａの例では、それは、値Ｚｍｉｎ若しくはＺｍａｘ又はさらに間隔［Ｚｍｉｎ，Ｚｍａｘ］でもあり、それらは、Ｃ６において符号化される。図２Ｂの例では、それは、Ｃ６において符号化される正則化パラメータＳｃの値Ｖａｌｋであるか、又はさらに他の実施形態では、上述の信頼度パラメータ若しくは平滑化パラメータでもある。この値Ｖａｌｋに加えて、別のパラメータの値、例えばステップＣ５４ｂの終了時に取得することができた上述の信頼度パラメータ又は平滑化パラメータなどを符号化することができる。ステップＣ６の終了時、符号化された奥行き推定パラメータＰＥＣが得られる。
任意選択的に且つこの理由のために図１で点線によって表されているように、Ｃ５において使用される奥行き推定方法を表す情報ＩＭＥＰ、例えばＤＥＲＳ又はＩＶＤＥは、例えば、ＣＡＢＡＣなどのロスレス符号化方法を使用してＣ７において符号化される。このようなＩＭＥＰ情報は、ビューＶｉ又は異なる時点に位置するビューＶｉのシーケンスにおいて符号化することができる。ステップＣ７の終了時、符号化された情報ＩＭＥＰＣが得られる。
Ｃ８において、テクスチャ成分Ｔｉは、例えば、ＨＥＶＣなどの従来の映像コーダを使用して符号化される。ステップＣ８の終了時、符号化されたテクスチャ成分Ｔｉ Ｃが得られる。
図３Ａに表されている第１の実施形態によれば、符号化された奥行き推定パラメータＰＥＣ、符号化された情報ＩＭＥＰＣ及び符号化されたテクスチャ成分Ｔｉ Ｃのデータは、本明細書で後述するデコーダに送信されることが意図された同じデータ信号Ｆに含まれている。
図３Ｂに表されている第２の実施形態によれば、符号化された奥行き推定パラメータＰＥＣ及び符号化された情報ＩＭＥＰＣは、同じデータ信号Ｆに含まれる一方、符号化されたテクスチャ成分Ｔｉ Ｃのデータは、別のデータ信号Ｆ’に含まれ、信号Ｆ及びＦ’は、上述のデコーダに送信されることが意図される。
有利には、本発明に従い、符号化方法は、符号化された奥行きブロックＢＰｊ Ｃを生成しない。その結果、図３Ａ及び図３Ｂの例では、信号Ｆは、符号化された奥行きブロックＢＰｊ Ｃを含んでいない。
たった今上記で説明した符号化方法は、次いで、奥行き成分ＰｉのそれぞれのブロックＢ１～ＢＭごとに、次いで、ビューＶ１～ＶＮのそれぞれに対して実装することができる。
映像符号化デバイスの実装形態の例
図４は、本発明の特定の実施形態のいずれか１つによる符号化方法を実装するのに適した符号化デバイスＣＯＤの単純化された構造を提示する。
本発明の特定の実施形態によれば、符号化方法によって実行されるアクションは、コンピュータプログラム命令によって実装される。そのために、符号化デバイスＣＯＤは、従来のコンピュータのアーキテクチャを有し、特にメモリＭＥＭ＿Ｃと、例えばプロセッサＰＲＯＣ＿Ｃが装備された処理ユニットＵＴ＿Ｃとを含み、メモリＭＥＭ＿Ｃに格納されたコンピュータプログラムＰＧ＿Ｃによって駆動される。コンピュータプログラムＰＧ＿Ｃは、プログラムがプロセッサＰＲＯＣ＿Ｃによって実行されると、上記で説明したような符号化方法のアクションを実装するための命令を含む。
初期化に際して、コンピュータプログラムＰＧ＿Ｃのコード命令は、プロセッサＰＲＯＣ＿Ｃによって実行される前に、例えば、ＲＡＭメモリ（表示せず）にロードされる。処理ユニットＵＴ＿ＣのプロセッサＰＲＯＣ＿Ｃは、特に、コンピュータプログラムＰＧ＿Ｃの命令に従い、上記で説明した符号化方法のアクションを実装する。
マルチビュー映像復号方法の実装形態の例
任意のタイプの、例えば、３Ｄ－ＨＥＶＣ若しくはＭＶ－ＨＥＶＣ規格又は他の規格に準拠するマルチビュー映像デコーダを使用することが可能なマルチビュー映像を復号する方法について以下で説明する。
図５を参照すると、このような復号方法は、上述の符号化方法に従って符号化された現在のビューを表すデータ信号に適用され、前記現在のビューは、複数のビューＶ１，．．．，ＶＮの一部を形成している。
本発明による復号方法は、
－ 符号化されたビューＶ１を表すデータ信号、
－ 符号化されたビューＶ２を表すデータ信号、
－ ．．．，
－ 符号化されたビューＶｉを表すデータ信号、
－ ．．．，
－ 符号化されたビューＶＮを表すデータ信号
を復号するものである。
復号方法は、再構築される符号化された現在のビューＶｉを表すデータ信号Ｆ（図３Ａ）又はデータ信号Ｆ及びＦ’（図３Ｂ）に対して以下を含む。
Ｄ１において、符号化された現在のビューＶｉが現在の時点で選択され、Ｎ個のビューのそれぞれが所定の順序で次々に選択される。
Ｄ２において、前記少なくとも１つのビューＶｉの再構築される奥行き成分Ｐｉが複数のブロックＢ１，Ｂ２，．．．，Ｂｊ，．．．，ＢＭ（１≦ｊ≦Ｍ）に分割される。可能な一実施形態では、単一の奥行きブロックが分割されていない奥行き成分Ｐｉに対応すると見なされる。奥行きブロックは、事前定義されたサイズ（例えば、６４×６４画素）であり、パラメータ化可能な（そして、その後、符号化された形態で送信された、使用されるサイズが復号される）もの又はそうでなければＨＥＶＣ規格で実装され、信号Ｆにおいて読み取られるものと類似した、使用されるサイズの信号伝達を用いる適応可能なものであり得る。後者の場合、奥行き成分Ｐｉはまず、最大サイズ（例えば、６４×６４画素）のブロックに分けられて、次いで、例えば、信号Ｆ又は別の信号において、ブロックをより小さいブロックに細分化しなければならないかどうかを表示する２値情報が、事前定義された最小ブロックサイズ（例えば、４×４画素）に達するまで、ブロックごとに繰り返して読み取られ、この最小ブロックサイズに対して情報は読み取られない。これにより、奥行き成分Ｐｉのブロックへの細分化を定義することが可能になる。
Ｄ３において、奥行き成分Ｐｉの現在のブロックＢｊが選択され、奥行き成分Ｐｉのブロックがそれぞれ、所定の順序で次々に選択される。
Ｄ４において、任意選択的に且つこの理由のために図５で点線によって表されているように、Ｃ５（図１）において使用された奥行き推定方法を表す符号化された情報ＩＭＥＰＣがデータ信号Ｆにおいて読み取られる（図３Ａ又は図３Ｂ）。
Ｄ５において、符号化された情報ＩＭＥＰＣは、例えば、ＣＡＢＡＣなどのロスレス復号方法を使用して又はさらにハフマン復号若しくはラムペル－ジフ復号によっても復号される。このような符号化された情報ＩＭＥＰＣは、現在のビューＶｉ又は異なる時点に位置するビューＶｉのシーケンスにおいて復号することができる。ステップＤ５の終了時、情報ＩＭＥＰが得られる。
任意選択的なステップＤ４及びＤ５に代えて、Ｃ５において使用された奥行き推定方法をデコーダで事前定義することも可能である。この場合、奥行き推定方法を表すＩＭＥＰ情報が直接利用可能である。
Ｄ６において、奥行き成分Ｐｉの、再構築される現在のブロックＢｊと関連付けられた少なくとも１つの符号化された奥行き推定パラメータＰＥＣが図３Ａ又は図３Ｂのデータ信号Ｆにおいて読み取られる。
Ｄ７において、前記少なくとも１つの符号化された奥行き推定パラメータＰＥＣは、例えば、ＣＡＢＡＣなどのロスレス復号方法を使用して又はそうでなければハフマン復号若しくはラムペル－ジフ復号によっても復号される。Ｃ６において符号化されたのが奥行き値Ｚｍｉｎ又はＺｍａｘであった場合又はそうでなければ間隔［Ｚｍｉｎ，Ｚｍａｘ］であった場合、
－ 奥行き値ＺｍｉｎがＤ７において復号され、奥行き推定パラメータＰＥに割り当てられるか、
－ 若しくは奥行き値ＺｍａｘがＤ７において復号され、奥行き推定パラメータＰＥに割り当てられるか、又は
－ 奥行き値の間隔［Ｚｍｉｎ，Ｚｍａｘ］がＤ７において復号され、奥行き推定パラメータＰＥに割り当てられるか
のいずれかである。
Ｃ６において符号化されたものが正則化パラメータＳｃの値Ｖａｌｋである場合及び／又は他の実施形態による上述の信頼度パラメータ又は平滑化パラメータの値Ｖａｌｋである場合にも、Ｄ７において復号され、奥行き推定パラメータＰＥに割り当てられるのは、値Ｖａｌｋである。この値Ｖａｌｋに加えて、別のパラメータの値、例えば、ステップＣ５４ｂの終了時に得られた上述の信頼度パラメータ又は平滑化パラメータなどを復号することができる。
Ｄ８において、前記少なくとも１つのビューＶｉのテクスチャ成分Ｔｉは、例えば、従来の映像デコーダ、例えば、ＨＥＶＣなどを用いて再構築される。再構築されたテクスチャ成分Ｔｉ Ｒは、ステップＤ８の終了時に得られる。言うまでもなく、ステップＤ８は、データ信号Ｆ（図３Ａ）又はＦ’（図３Ｂ）を受信すると、ステップＤ１～Ｄ７前又は任意の時点で実装することができる。この目的のために、符号化されたテクスチャ成分Ｔｉ Ｃのデータは、信号Ｆ（図３Ａ）又はＦ’（図３Ｂ）において読み取られ、次いで、再構築され、再構築されたテクスチャ成分Ｔｉ Ｒを生成する。
Ｄ９において、前記現在のブロックＢｊの奥行き情報ＩＰｊは、Ｄ７において復号された前記少なくとも１つの奥行き推定パラメータＰＥ及び前記再構築されたテクスチャ成分Ｔｉ Ｒ又はＮ個のうち、ビューＶｉ以外のビューの再構築されたテクスチャ成分のテクスチャデータ（画素）から得られる。
ステップＤ９の第１の実施形態によれば、事前定義された奥行き推定方法又はＤ５において得られたＩＭＥＰパラメータに対応するものを使用することにより、奥行き検索は、再構築される奥行き成分Ｐｉの現在のブロックＢｊに関する奥行き値Ｚｍｉｎ若しくは奥行き値Ｚｍａｘ又はさらに奥行き値の間隔［Ｚｍｉｎ，Ｚｍａｘ］を使用して、再構築されたテクスチャ成分Ｔｉ Ｒのブロックのそれぞれの画素ごとに実装される。このような動作の利点は、理論上可能な最大奥行きと、最小の奥行きとの間（概して、０メートル～無限大）ではなく、最大でも［Ｚｍｉｎ，Ｚｍａｘ］との間で現在のブロックＢｊの奥行きを決定する際にある。これにより、試験される奥行きの数を大幅に減らすことで、奥行き推定アルゴリズムの複雑性を低減することが可能になる。ステップＤ９の第１の実施形態の終了時、現在のブロックＢｊに対応する再構築された奥行きブロックＢＰｊ Ｒが得られる。
ステップＤ９の第２の実施形態によれば、事前定義された奥行き推定方法又はＤ５において得られたＩＭＥＰパラメータに対応するものを、Ｄ７において復号された正則化パラメータＳｃの値（又は例えば信頼度パラメータ若しくは平滑化パラメータの値）Ｖａｌｋを使用することにより、現在のブロックＢｊに適用させて、再構築されたテクスチャ成分Ｔｉ Ｒのブロックのそれぞれの画素ごとに奥行き捜索を行う。ステップＤ９の第２の実施形態の終了時、現在のブロックＢｊに対応する再構築された奥行きブロックＢＰｊ Ｒが得られる。この第２の実施形態により、再構築された奥行きブロックＢＰｊ Ｒは、図１の符号化方法中にＣ４で得られた奥行きブロックＢＰｊに限りなく近づき、有利には、本発明によれば、この奥行きブロックＢＰｊは、信号Ｆ又はＦ’において符号化も送信もされていない。
Ｄ１０において、再構築された奥行きブロックＢＰｊ Ｒは、次いで、再構築されたテクスチャ成分Ｔｉ Ｒに対応する、現在は再構築されたＰｉ Ｒである奥行き成分に含まれる。
たった今上記で説明した復号方法は、次いで、再構築されるそれぞれの画素のブロックＢ１～ＢＭごとに、次いで、再構築されるそれぞれのビューＶ１～ＶＮごとに実装される。
映像復号デバイスの実装形態の例
図６は、本発明の特定の実施形態のいずれか１つによる復号方法を実装するのに適した復号デバイスＤＥＣの単純化された構造を提示する。
本発明の特定の実施形態によれば、上述の復号方法によって実行されるアクションは、コンピュータプログラム命令によって実装される。そのために、復号デバイスＤＥＣは、コンピュータの従来のアーキテクチャを有し、特にメモリＭＥＭ＿Ｄと、処理ユニットＵＴ＿Ｄとを含み、処理ユニットＵＴ＿Ｄは、例えば、プロセッサＰＲＯＣ＿Ｄが装備され、メモリＭＥＭ＿Ｄに格納されたコンピュータプログラムＰＧ＿Ｄによって駆動される。コンピュータプログラムＰＧ＿Ｄは、プログラムがプロセッサＰＲＯＣ＿Ｄによって実行されると、上記で説明したような復号方法のアクションを実装するための命令を含む。
初期化に際して、コンピュータプログラムＰＧ＿Ｄのコード命令は、プロセッサＰＲＯＣ＿Ｄによって実行される前に、例えば、ＲＡＭメモリ（表示せず）にロードされる。処理ユニットＵＴ＿ＤのプロセッサＰＲＯＣ＿Ｄは、コンピュータプログラムＰＧ＿Ｄの命令に従い、特に上記で説明した復号方法のアクションを実装する。
ビュー合成方法の実装形態の例
図５の復号方法に従って再構築されたビューを使用するビュー合成方法について、ここで、図７を参照しながら説明する。
図７に図示されているように、本発明による合成方法は、図５の復号方法の終了時に得られたＮ個の再構築されたビューＶ１ Ｒ，．．．，ＶＮ Ｒの中から、少なくとも１つの再構築されたビューを使用する。
Ｓ１において、少なくとも１つの再構築されたビューＶｑ Ｒ（１≦ｑ≦Ｎ）がＮ個の再構築されたビューの中から選択される。再構築されたビューＶｑ Ｒは、再構築されたテクスチャ成分Ｔｑ Ｒと、それに関連付けられた再構築された奥行き成分Ｐｑ Ｒとを含む。
Ｓ２において、ユーザが例えばユーザのコンピュータ又はユーザの電話のスクリーン上に表示することを要求したビューなど、欠落ビュー又は中間ビューの少なくとも１つの合成された部分ＰＶｓｙは、再構築されたテクスチャ成分Ｔｑ Ｒから、及びこの再構築されたテクスチャ成分Ｔｑ Ｒの画素の再構築されたブロックＢｙ Ｒと関連付けられた少なくとも１つの再構築された奥行きブロックＢＰｙ Ｒから計算される。なお、１≦ｙ≦Ｍであるとする。欠落ビュー又は中間ビューの合成された部分ＰＶｓｙは、例えば、ＶＳＲＳアルゴリズム、ＲＶＳ（「参照ビューシンセサイザ」）アルゴリズム、ＶＶＳ（「汎用的ビューシンセサイザ」）アルゴリズム等、従来の合成アルゴリズムを使用して計算される。
合成デバイスの実装形態の例
図８Ａ又は図８Ｂは、本発明の特定の実施形態のいずれか１つによる、図７の合成方法を実装するのに適した合成デバイスＳＹＮＴの単純化された構造を提示する。
本発明の特定の実施形態によれば、図７の合成方法によって実行されるアクションは、コンピュータプログラム命令によって実装される。そのために、合成デバイスＳＹＮＴは、コンピュータの従来のアーキテクチャを有し、特にメモリＭＥＭ＿Ｓと、処理ユニットＵＴ＿Ｓとを含み、処理ユニットＵＴ＿Ｓは、例えば、プロセッサＰＲＯＣ＿Ｓが装備され、メモリＭＥＭ＿Ｓに格納されたコンピュータプログラムＰＧ＿Ｓによって駆動される。コンピュータプログラムＰＧ＿Ｓは、プログラムがプロセッサＰＲＯＣ＿Ｓによって実行されると、上記で説明したような合成方法のアクションを実装するための命令を含む。
初期化に際して、コンピュータプログラムＰＧ＿Ｓのコード命令は、プロセッサＰＲＯＣ＿Ｓによって実行される前に、例えば、ＲＡＭメモリ（表示せず）にロードされる。処理ユニットＵＴ＿ＳのプロセッサＰＲＯＣ＿Ｓは、コンピュータプログラムＰＧ＿Ｓの命令に従い、特に上記で説明した合成方法のアクションを実装する。
図８Ａに表されている実施形態によれば、合成デバイスＳＹＮＴは、図８Ａに図示されているように、デコーダＤＥＣの出力に配置されている。
図８Ｂに表されている実施形態によれば、合成デバイスＳＹＮＴは、図８Ｂに図示されているように、デコーダＤＥＣの不可分の部分を形成している。
Ｃ１ ステップ
Ｃ２ ステップ
Ｃ３ ステップ
Ｃ４ ステップ
Ｃ５ ステップ
Ｃ６ ステップ
Ｃ７ ステップ
Ｃ８ ステップ

Claims (15)

  1. 符号化デバイスによって実装される、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを符号化する方法であって、少なくとも１つのビューの奥行き成分について、
    － 前記奥行き成分を少なくとも１つのブロックに分割すること（Ｃ２）、
    － 前記ビューの少なくとも１つのテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること（Ｃ４）、
    － 前記情報から少なくとも１つの奥行き推定パラメータを得ること（Ｃ５）、
    － 前記少なくとも１つの奥行き推定パラメータを符号化すること（Ｃ６）であって、前記少なくとも１つのブロックの前記奥行き情報は、符号化されない、符号化すること（Ｃ６）
    を含む方法。
  2. 前記少なくとも１つの奥行き推定パラメータは、前記少なくとも１つのブロックの奥行き値のそれぞれよりも大きい、前記少なくとも１つのブロックの奥行き値（Ｚｍａｘ）又は前記少なくとも１つのブロックの前記奥行き値のそれぞれよりも小さい、前記少なくとも１つのブロックの奥行き値（Ｚｍｉｎ）のいずれかである、請求項１に記載の符号化方法。
  3. 前記少なくとも１つの奥行き推定パラメータは、奥行き推定方法によって使用されるパラメータ（Ｓｃ；λ；β０）である、請求項１に記載の符号化方法。
  4. 奥行き推定方法を表す情報は、符号化される、請求項１～３のいずれか一項に記載の符号化方法。
  5. 異なる位置又は異なる視野角に従って３Ｄシーンを同時に表すビューを符号化するためのデバイスであって、少なくとも１つのビューの奥行き成分について、
    － 前記奥行き成分を少なくとも１つのブロックに分割すること、
    － 前記ビューの少なくとも１つのテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること、
    － 前記情報から少なくとも１つの奥行き推定パラメータを得ること、
    － 前記少なくとも１つの奥行き推定パラメータを符号化することであって、前記少なくとも１つのブロックの前記奥行き情報は、符号化されない、符号化すること
    を実装するように構成されるプロセッサ（ＵＴ＿Ｃ）を含むデバイス。
  6. コンピュータプログラムであって、それがコンピュータ上で実行されると、請求項１～４のいずれか一項に記載の符号化方法を実装するためのプログラムコード命令を含むコンピュータプログラム。
  7. 請求項６に記載のコンピュータプログラムの命令を含むコンピュータ可読情報媒体。
  8. 復号デバイスによって実装される、異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを復号する方法であって、少なくとも１つのブロックに分割される、少なくとも１つのビューの奥行き成分について、
    － データ信号において、前記少なくとも１つのブロックと関連付けられた少なくとも１つの奥行き推定パラメータを読み取ること（Ｄ６）、
    － 前記少なくとも１つの奥行き推定パラメータを復号すること（Ｄ７）、
    － 前記少なくとも１つの奥行き推定パラメータから及び前記ビューの少なくとも１つの再構築されたテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること（Ｄ９）
    を含む方法。
  9. 前記少なくとも１つの奥行き推定パラメータは、前記少なくとも１つのブロックの奥行き値のそれぞれよりも大きい、前記少なくとも１つのブロックの奥行き値（Ｚｍａｘ）又は前記少なくとも１つのブロックの前記奥行き値のそれぞれよりも小さい、前記少なくとも１つのブロックの奥行き値（Ｚｍｉｎ）のいずれかである、請求項８に記載の復号方法。
  10. 前記少なくとも１つの奥行き推定パラメータは、奥行き推定方法によって使用されるパラメータ（Ｓｃ）である、請求項８に記載の復号方法。
  11. 奥行き推定方法を表す情報は、復号される、請求項８～１０のいずれか一項に記載の復号方法。
  12. 異なる位置又は異なる視野角からの３Ｄシーンを同時に表すビューを復号するためのデバイスであって、少なくとも１つのブロックに分割される、少なくとも１つのビューの奥行き成分について、
    － データ信号において、前記少なくとも１つのブロックと関連付けられた少なくとも１つの奥行き推定パラメータを読み取ること、
    － 前記少なくとも１つの奥行き推定パラメータを復号すること、
    － 前記少なくとも１つの奥行き推定パラメータから及び前記ビューの少なくとも１つの再構築されたテクスチャ成分のテクスチャデータから、前記少なくとも１つのブロックの奥行き情報を得ること
    を実装するように構成されるプロセッサ（ＵＴ＿Ｄ）を含むデバイス。
  13. 復号デバイス又はビュー合成デバイスによって実装されるビュー合成方法であって、
    － 請求項８～１１のいずれか一項に記載の復号方法に従ってビューを再構築すること、
    － 前記再構築されたビューから及び前記少なくとも１つのブロックの奥行きを表す、得られた前記情報から、ビューの少なくとも一部を合成すること
    を含むビュー合成方法。
  14. コンピュータプログラムであって、それがコンピュータ上で実行されると、請求項８～１１のいずれか一項に記載の復号方法又は請求項１３に記載の合成方法を実装するためのプログラムコード命令を含むコンピュータプログラム。
  15. 請求項１４に記載のコンピュータプログラムの命令を含むコンピュータ可読情報媒体。
JP2023519376A 2020-09-29 2021-09-08 マルチビュー映像を符号化及び復号する方法 Pending JP2023543048A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2009913A FR3114716A1 (fr) 2020-09-29 2020-09-29 Codage et décodage d’une vidéo multi-vues
FR2009913 2020-09-29
PCT/FR2021/051540 WO2022069809A1 (fr) 2020-09-29 2021-09-08 Codage et decodage d'une video multi-vues

Publications (1)

Publication Number Publication Date
JP2023543048A true JP2023543048A (ja) 2023-10-12

Family

ID=74553905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023519376A Pending JP2023543048A (ja) 2020-09-29 2021-09-08 マルチビュー映像を符号化及び復号する方法

Country Status (8)

Country Link
US (1) US20230412831A1 (ja)
EP (1) EP4222950A1 (ja)
JP (1) JP2023543048A (ja)
KR (1) KR20230078669A (ja)
CN (1) CN116325721A (ja)
BR (1) BR112023005339A2 (ja)
FR (1) FR3114716A1 (ja)
WO (1) WO2022069809A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
WO2013068547A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate and update

Also Published As

Publication number Publication date
FR3114716A1 (fr) 2022-04-01
US20230412831A1 (en) 2023-12-21
EP4222950A1 (fr) 2023-08-09
WO2022069809A1 (fr) 2022-04-07
BR112023005339A2 (pt) 2023-04-25
KR20230078669A (ko) 2023-06-02
CN116325721A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN113615204B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11412233B2 (en) Methods for MR-DIBR disparity map merging and disparity threshold determination
US20190222821A1 (en) Methods for Full Parallax Compressed Light Field 3D Imaging Systems
US10389994B2 (en) Decoder-centric UV codec for free-viewpoint video streaming
US11159824B1 (en) Methods for full parallax light field compression
US20210352323A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR101340911B1 (ko) 다중 뷰들의 효율적인 인코딩 방법
Mieloch et al. Overview and efficiency of decoder-side depth estimation in MPEG immersive video
Graziosi et al. Depth assisted compression of full parallax light fields
US20230290006A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2019211541A2 (fr) Procédé et dispositif de décodage d'une vidéo multi-vue, et procédé et dispositif de traitement d'images
WO2018127629A1 (en) Method and apparatus for video depth map coding and decoding
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2024525583A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法
JP2023543048A (ja) マルチビュー映像を符号化及び復号する方法
KR20210135322A (ko) 멀티-뷰 비디오 시퀀스를 코딩 및 디코딩하기 위한 방법들 및 디바이스들
WO2011122168A1 (ja) 画像符号化装置、画像復号装置、画像符号化装置の制御方法、画像復号装置の制御方法、制御プログラムおよび記録媒体
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
US20230419519A1 (en) Depth estimation method in an immersive video context
US20230065861A1 (en) Method and device for processing multi-view video data
Müller et al. 3D video compression
JP2024510315A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2013126006A (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240722