JPWO2019107180A1 - 符号化装置、符号化方法、復号装置、および復号方法 - Google Patents

符号化装置、符号化方法、復号装置、および復号方法 Download PDF

Info

Publication number
JPWO2019107180A1
JPWO2019107180A1 JP2019557148A JP2019557148A JPWO2019107180A1 JP WO2019107180 A1 JPWO2019107180 A1 JP WO2019107180A1 JP 2019557148 A JP2019557148 A JP 2019557148A JP 2019557148 A JP2019557148 A JP 2019557148A JP WO2019107180 A1 JPWO2019107180 A1 JP WO2019107180A1
Authority
JP
Japan
Prior art keywords
subject
dimensional
depth information
dimensional model
silhouette
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019557148A
Other languages
English (en)
Other versions
JP7184050B2 (ja
Inventor
尚子 菅野
尚子 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019107180A1 publication Critical patent/JPWO2019107180A1/ja
Application granted granted Critical
Publication of JP7184050B2 publication Critical patent/JP7184050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本開示は、より高精度な３次元モデルを生成することができるようにする符号化装置、符号化方法、復号装置、および復号方法に関する。３次元モデル生成部は、複数の撮像画像、および、アクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報を生成し、変換処理部は、３次元モデル情報により表される３次元モデルを、複数の方向から投影することにより複数枚の２次元画像に変換し、複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する。そして、複数の２次元画像、デプス情報、および、アクティブデプス情報を含む伝送データが復号装置へ伝送される。本技術は、例えば、自由視点映像伝送システム適用できる。

Description

本開示は、符号化装置、符号化方法、復号装置、および復号方法に関し、特に、より高精度な３次元モデルを生成することができるようにした符号化装置、符号化方法、復号装置、および復号方法に関する。
従来、前景画像と背景画像との差分を利用してシルエット画像を生成し、多視点のシルエット画像に視体積交差法を適用してVisual Hull（交差領域）を復元することによって、３次元モデルを生成する手法が用いられている。
例えば、特許文献１には、多視点の被写体シルエット画像から視体積交差法により復元されるVisual Hullの整形が収束するまで、Visual Hullの整形を繰り返す３次元モデルの復元方法が開示されている。
特開２０１２−２０８７５９号公報
ところで、上述したように、前景画像と背景画像との差分を利用してシルエット画像を生成する際に、前景色と背景色とが似ている場合には色の差分が小さくなることより、正確なシルエット画像の生成が困難となることがあった。そのため、そのようなシルエット画像に視体積交差法を適用しても、精度の低い３次元モデルが生成されることになっていた。
本開示は、このような状況に鑑みてなされたものであり、より高精度な３次元モデルを生成することができるようにするものである。
本開示の第１の側面の符号化装置は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部とを備える。
本開示の第１の側面の符号化方法は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することとを含む。
本開示の第１の側面においては、複数視点から被写体が撮像された複数の撮像画像、および、複数の撮像画像とは異なる視点から被写体までの距離を示す複数個のアクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報が生成され、３次元モデル情報により表される３次元モデルが、複数の方向から投影されることにより複数枚の２次元画像に変換され、複数の２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報が生成され、複数の２次元画像およびデプス情報を含む伝送データが復号装置へ伝送される。
本開示の第２の側面の復号装置は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部とを備える。
本開示の第２の側面の復号方法は、複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換することとを含む。
本開示の第２の側面においては、複数視点から被写体が撮像された複数の撮像画像、および、複数の撮像画像とは異なる視点から被写体までの距離を示す複数個のアクティブデプス情報に基づいて、被写体の３次元モデルを表す３次元モデル情報が生成され、３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより変換され、複数の２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される複数枚の２次元画像およびデプス情報を含む伝送データが受信され、複数枚の２次元画像およびデプス情報から被写体の３次元モデルを表す３次元モデル情報へ変換される。
本開示の第１および第２の側面によれば、より高精度な３次元モデルを生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した自由視点映像伝送システムの一実施の形態の構成例を示すブロック図である。 ＲＧＢカメラおよびアクティブセンサの配置例を示す図である。 ３次元モデル生成部の構成例を示すブロック図である。 ２次元画像変換処理部の構成例を示すブロック図である。 ３次元データ変換処理部の構成例を示すブロック図である。 アクティブデプス情報を投影することによる改善例を示す図である。 アクティブデプス情報を投影することによる改善例を示す図である。 被写体の影の除去について説明する図である。 グリーンバックのマスク情報として利用する例について説明する図である。 符号化処理を説明するフローチャートである。 ３次元データ取得処理および２次元画像変換処理を説明するフローチャートである。 復号処理を説明するフローチャートである。 ３次元モデル生成部の第１の変形例について説明する図である。 ３次元モデル生成部の第２の変形例について説明する図である。 ３次元モデル生成部の第３の変形例について説明する図である。 補正量テーブルの第１のデータフォーマット例を示す図である。 補正量を利用して生成されるシルエット画像について説明する図である。 補正量テーブルの第２のデータフォーマット例を示す図である。 セグメント情報の例について説明する図である。 補正量テーブルの第３のデータフォーマット例を示す図である。 補正量カーブについて説明する図である。 第１の変形例の伝送データの伝送側を示す図である。 第１の変形例の伝送データの受信側を示す図である。 第２の変形例の伝送データの伝送側を示す図である。 第２の変形例の伝送データの受信側を示す図である。 第３の変形例の伝送データの受信側を示す図である。 第４の変形例の伝送データの受信側を示す図である。 シルエット画像に被写体の影が現れないようにする手法について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜自由視点映像伝送システムの第１の構成例＞
図１は、本技術を適用した自由視点映像伝送システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、自由視点映像伝送システム１１は、符号化システム１２および復号システム１３が、ネットワークを介して接続されて構成され、符号化システム１２から復号システム１３へ符号化された伝送データが伝送される。また、符号化システム１２は、３次元データ取得部２１、２次元画像変換処理部２２、符号化部２３、および伝送部２４を備えて構成され、復号システム１３は、受信部３１、復号部３２、３次元データ変換処理部３３、および３次元データ表示部３４を備えて構成される。
３次元データ取得部２１は、画像取得部４４および３次元モデル生成部４３を有して構成される。画像取得部４４は、ある複数箇所の視点から被写体が撮像された複数枚のカメラ画像を取得するとともに、他の複数箇所の視点から被写体までの距離を示す複数個のアクティブデプス情報を取得する。そして、３次元モデル生成部４３は、複数枚のカメラ画像と複数個のアクティブデプス情報とに基づいて、被写体の３次元モデルを表す３次元モデル情報を生成し、２次元画像変換処理部２２に供給する。なお、３次元データ取得部２１は、少なくとも１ヵ所の視点から被写体までの距離を示す１つのアクティブデプス情報を取得し、そのアクティブデプス情報に基づいて３次元モデル情報を生成するようにしてもよい。
２次元画像変換処理部２２は、例えば、３次元データ取得部２１から供給される３次元モデル情報により表される３次元モデルを複数の方向から透視投影することにより複数枚の２次元画像に変換する２次元画像変換処理を行う。また、２次元画像変換処理部２２は、２枚の視差のある２次元画像から特徴点をマッチングさせることで、三角測量によって奥行を推定することにより生成されるデプス情報（Image Based Depth）を、複数枚の２次元画像それぞれに付加することができる。例えば、デプス情報は、任意の視点から３次元モデルまでの奥行きを表し、例えば、２次元画像と同一の視点から被写体の奥行き方向の位置を画素ごとに示すものであってもよいし、２次元画像とは異なる視点から被写体の奥行き方向の位置を画素ごとに示すものであってもよい。また、２次元画像の視点の数と、デプス情報の視点の数とは、同一であってもよいし、異なっていてもよい。なお、２次元画像変換処理部２２の構成例については、図４を参照して後述する。
符号化部２３は、符号化システム１２から復号システム１３へ伝送する伝送データを符号化する。例えば、伝送データには、３次元データ取得部２１により取得された複数個のアクティブデプス情報や、２次元画像変換処理部２２により変換された複数枚の２次元画像およびデプス情報などが含まれる。符号化部２３は、伝送データに含まれている２次元画像を、例えば、3D MVC(Multiview Video Coding) / MVC / AVC(Advanced Video Coding)などの２次元圧縮技術を用いて符号化することができる。
伝送部２４は、符号化部２３から供給される伝送データを、ネットワークを介して復号システム１３へ伝送する。
受信部３１は、伝送部２４によりネットワークを介して伝送されてくる伝送データ、例えば、複数枚の２次元画像や複数個のアクティブデプス情報などが含まれる伝送データを受信して、復号部３２に供給する。
復号部３２は、受信部３１から供給される伝送データを復号して、複数枚の２次元画像およびデプス情報や複数個のアクティブデプス情報などを３次元データ変換処理部３３に供給する。例えば、復号部３２は、伝送データに含まれている２次元画像を、符号化部２３による符号化と同じ２次元圧縮技術を用いることにより復号することができる。
３次元データ変換処理部３３は、復号部３２から供給される複数枚の２次元画像を、被写体の３次元モデルを表す３次元モデル情報へ変換する変換処理を行って、その３次元モデル情報を３次元データ表示部３４に供給する。例えば、３次元データ変換処理部３３は、複数枚の２次元画像を用いて３次元モデルを復元する際に、２次元画像に付加されているデプス情報や、複数個のアクティブデプス情報などを利用することで、３次元モデルを高精度に復元することができる。なお、３次元データ変換処理部３３の構成例については、図５を参照して後述する。
３次元データ表示部３４には、例えば、ヘッドマウントディスプレイや２次元モニタ、３次元モニタなどを利用することができ、それらの表示デバイスに、３次元データ変換処理部３３から供給される３次元モデル情報により表される３次元モデルが表示される。なお、受信部３１から３次元データ表示部３４までの機能を１台のヘッドマウントディスプレイが備えるような構成や、受信部３１から３次元データ変換処理部３３までの機能を備えた情報処理端末に、ヘッドマウントディスプレイからなる３次元データ表示部３４が接続されるような構成としてもよい。
このように構成される自由視点映像伝送システム１１では、３次元データ取得部２１が、複数枚のカメラ画像から３次元モデル情報を生成する際に、複数個のアクティブデプス情報を利用することで、３次元モデルを高精度に生成することができる。これにより、符号化システム１２は、高精度な３次元モデルを生成するのに用いられる伝送データを符号化して伝送することができる。そして、自由視点映像伝送システム１１では、３次元データ変換処理部３３が、複数枚の２次元画像とともに伝送されてくる複数個のアクティブデプス情報を利用することで、複数枚の２次元画像から３次元モデルを高精度に生成することができる。
図２を参照して、３次元データ取得部２１にカメラ画像およびアクティブデプス情報を供給するＲＧＢカメラ４１およびアクティブセンサ４２について説明する。
図２に示すように、３次元データ取得部２１には、Ｎ台のＲＧＢカメラ４１−１乃至４１−Ｎ、および、Ｍ台のアクティブセンサ４２−１乃至４２−Ｍが接続される。
ＲＧＢカメラ４１−１乃至４１−Ｎおよびアクティブセンサ４２−１乃至４２−Ｍは、被写体Ａの周囲を取り囲むような位置に配置され、それぞれの位置から被写体Ａに向かうように設置される。また、ＲＧＢカメラ４１−１乃至４１−Ｎおよびアクティブセンサ４２−１乃至４２−Ｍに対してカメラキャリブレーションが予め実施されており、それらの位置関係がカメラパラメータとして用いられる。
ＲＧＢカメラ４１−１乃至４１−Ｎは、それぞれの位置から被写体Ａを撮像し、Ｎ枚のカメラ画像（ＲＧＢ画像）を取得して３次元データ取得部２１に供給する。なお、以下適宜、ＲＧＢカメラ４１−１乃至４１−Ｎそれぞれを区別する必要がない場合、単に、ＲＧＢカメラ４１と称する。
アクティブセンサ４２−１乃至４２−Ｍは、それぞれの位置から被写体Ａまでの距離を求め、それぞれの距離を示すＭ個のアクティブデプス情報を３次元データ取得部２１に供給する。例えば、アクティブセンサ４２−１乃至４２−Ｍには、被写体Ａに向かって光が照射されてから、その光が被写体Ａで反射した反射光を受光するまでの飛行時間を計測することで距離画像を取得するTOFセンサを利用することがでる。さらに、TOFセンサの他、LIDAR（Light Detection and Ranging）やStructured Lightなどの測距センサをアクティブセンサ４２−１乃至４２−Ｍに利用してもよい。なお、以下適宜、アクティブセンサ４２−１乃至４２−Ｍそれぞれを区別する必要がない場合、単に、アクティブセンサ４２と称する。なお、アクティブセンサ４２は、少なくとも１台以上備えていればよい。
３次元データ取得部２１の３次元モデル生成部４３は、Ｎ枚のカメラ画像およびＭ個のアクティブデプス情報に基づいて、被写体Ａの３次元モデルを表す３次元モデル情報を生成する。
図３を参照して、３次元モデル生成部４３の詳細な構成例について説明する。
図３に示すように、３次元モデル生成部４３は、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ（Visual Hull）処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備えて構成される。また、上述したように、３次元モデル生成部４３には、画像取得部４４を介して、複数台のＲＧＢカメラ４１から複数枚のカメラ画像が供給されるとともに、複数台のアクティブセンサ４２から複数個のアクティブデプス情報が供給される。
キャリブレーション部５１は、内部パラメータを用いて補正した、キャリブレーション後のカメラ画像と、各ＲＧＢカメラ４１間の関係性を表す外部パラメータとをフレーム同期部５２に供給する。同様に、キャリブレーション部５１は、アクティブセンサ４２から供給されるアクティブデプス情報に対してもキャリブレーションを行うことができる。
例えば、キャリブレーションの手法としては、チェスボードを用いるZhangの手法、３次元物体を撮像して、パラメータを求める手法、プロジェクタで投影画像を使ってパラメータを求める手法などがある。カメラパラメータは、例えば、内部パラメータと外部パラメータで構成される。内部パラメータは、カメラ固有のパラメータであり、カメラレンズの歪みやイメージセンサとレンズの傾き（歪収差係数）、画像中心、画像（画素）サイズである。外部パラメータは、複数台のカメラがあったときに、複数台のカメラの位置関係を示したり、また、世界座標系におけるレンズの中心座標(Translation)とレンズ光軸の方向(Rotation)を示すものである。
フレーム同期部５２は、複数台のＲＧＢカメラ４１のうちの１つを基準カメラとし、残りを参照カメラとする。そして、フレーム同期部５２は、参照カメラのカメラ画像のフレームを、基準カメラのカメラ画像のフレームに同期させる。フレーム同期部５２は、フレーム同期後のカメラ画像を背景差分生成部５３に供給する。
背景差分生成部５３は、複数枚のカメラ画像に対して背景差分処理を行って、被写体（前景）を抽出するためのマスクである複数枚のシルエット画像を生成し、シルエット加工部５４に供給する。例えば、シルエット画像は、カメラ画像に被写体が映されている範囲を示すシルエットを２値化することにより表される。
シルエット加工部５４は、背景差分生成部５３から供給される複数枚のシルエット画像に対して、複数個のアクティブデプス情報を投影することによって、それぞれのシルエット画像のシルエットに生じている破綻に対する加工を施す。例えば、シルエット加工部５４は、シルエット画像のシルエットに生じた穴に対する穴埋め（後述する図６参照）や、シルエット画像にシルエットとして表れている被写体の影の除去（後述する図７参照）などの加工を行う。そして、シルエット加工部５４は、加工が施された複数枚のシルエット画像をＶＨ処理部５５に供給する。また、シルエット加工部５４は、穴埋めや影の除去などのようにシルエットに対して加工を施した領域を示すシルエット加工領域情報を出力する。なお、シルエット加工部５４は、シルエット画像にシルエットとして表れている床や壁などを除去する加工を施すことができる。
ＶＨ処理部５５は、シルエット加工部５４による加工後の複数枚のシルエット画像、および、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。ＶＨ処理部５５は、各シルエット画像を、もとの３次元空間に逆投影して、それぞれの視体積の交差部分（Visual Hull）を求める。
メッシュ作成部５６は、ＶＨ処理部５５により求められたVisual Hullに対して、メッシュを作成する。
テクスチャマッピング部５７は、メッシュ作成部５６により作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュのカメラ画像とを被写体のテクスチャマッピング後の３次元モデルとして生成する。そして、テクスチャマッピング部５７は、生成した３次元モデルを表す３次元モデル情報を２次元画像変換処理部２２に供給する。
以上のように３次元モデル生成部４３は構成されており、アクティブデプス情報を利用して、シルエットの破綻を改善することによって、より高精度な３次元モデルを生成することができる。また、アクティブデプス情報を利用することで、例えば、手作業による処理でシルエットの破綻を改善したり、尤度を用いた処理でシルエットの破綻を改善したりする手法と比較して、それらの処理を行う必要がなく、シルエットの改善を自動化することができる。
さらに、３次元モデル生成部４３は、シルエットに対して加工を行った領域を示すシルエット加工領域情報を出力することができる。例えば、シルエットに対して加工を行った領域は、複数枚のカメラ画像から求められるデプス情報の信頼性が低い可能性があり、シルエット加工領域情報を伝送することで、受信側で、３次元モデルを生成する際に有効に使用することができる。
図４は、２次元画像変換処理部２２の構成例を示すブロック図である。
図４に示すように、２次元画像変換処理部２２は、カメラ位置決定部７１および透視投影部７２を備えて構成される。また、上述したように、２次元画像変換処理部２２には、３次元データ取得部２１から３次元モデル情報が供給される。
カメラ位置決定部７１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定し、カメラ位置とカメラパラメータを表す情報を透視投影部７２に供給する。
透視投影部７２は、カメラ位置決定部７１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデル情報により表される３次元モデルの透視投影を行う。これにより、透視投影部７２は、それぞれの視点から３次元モデルが透視投影された複数枚の２次元画像を取得する。また、透視投影部７２は、それらの２次元画像から生成されるデプス情報を、それぞれの２次元画像に付加して出力する。
そして、符号化システム１２から復号システム１３へ、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを含む伝送データが伝送される。なお、オプションとして、３次元モデル情報そのものを伝送してもよい。
図５は、３次元データ変換処理部３３の構成例を示すブロック図である。
３次元データ変換処理部３３は、ＶＨ処理部８１を備えて構成される。３次元データ変換処理部３３には、符号化システム１２から伝送されてくる伝送データに含まれている複数個のアクティブデプス情報、複数個のシルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータが供給される。
ＶＨ処理部８１は、図３のＶＨ処理部５５と同様に、複数個のアクティブデプス情報、複数個のシルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。このとき、ＶＨ処理部８１は、アクティブデプス情報およびシルエット加工領域情報を参照することで、高精度なモデリングを行うことができる。即ち、シルエットに対して加工（穴埋めや、影の除去など）を行った領域は、２次元画像から求められるデプス情報の信頼度の低い領域である可能性が高い。従って、ＶＨ処理部８１は、アクティブデプス情報およびシルエット加工領域情報を使用して３次元モデルを再構成することで、より高精度な３次元モデルを生成することができる。
図６および図７を参照して、アクティブデプス情報を投影することによる改善例について説明する。
例えば、図６の上側に示すように、背景差分を用いて生成されるシルエット画像は、前景色と背景色との差分が小さい領域では、被写体に穴が開いているような領域が設けられてしまう。そのため、このようなシルエット画像を用いて復元される３次元モデルでは、被写体の形状に破綻が生じてしまう。
これに対し、図６の下側に示すように、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、被写体に穴が開いているような領域を穴埋めることができる。つまり、被写体のシルエットを正確に再現したシルエット画像を生成することができ、このようなシルエット画像を用いることで、破綻のない被写体の形状を高精度に復元した３次元モデルを生成することができる。
また、図７の上側に示すように、背景差分を用いて生成されるシルエット画像は、被写体の影で前景色と背景色との差分が大きい領域が生じるため、その影の領域がシルエット画像に表れてしまう。即ち、被写体の影の領域もシルエットとして表れるようなシルエット画像が生成されてしまうため、このようなシルエット画像を用いて復元される３次元モデルでは、被写体の影の領域に、実際には存在しない形状が形成されてしまうことになる。
これに対し、図７の下側に示すように、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、シルエット画像から被写体の影を除去することができる。これにより、被写体のシルエットを正確に再現したシルエット画像を生成することができ、このようなシルエット画像を用いることで、影の領域に実際には存在しない形状が形成されることがなく、被写体の形状を高精度に復元した３次元モデルを生成することができる。
また、シルエット画像から被写体の影を除去することで、複数の被写体を分離させる精度の向上を図ることができる。
即ち、図８に示すように、被写体Ｂおよび被写体Ｃが近くに配置されていて、カメラ画像では被写体Ｂが被写体Ｃの影に重なっている場合、背景差分を用いて生成されるシルエット画像は、被写体Ｂおよび被写体Ｃが一体となるようなシルエットとなってしまう。このように、複数の被写体で影が重なっていると、１つの被写体と誤認識されてしまう。
これに対し、背景差分を用いて生成されるシルエット画像に、アクティブデプス情報を投影することによって、シルエット画像から被写体Ｂおよび被写体Ｃの影を除去することができる。従って、被写体Ｂが被写体Ｃの影に重なっていても、被写体Ｂおよび被写体Ｃそれぞれを正確に分離したシルエット画像を生成することができる。これによって、被写体Ｂおよび被写体Ｃの３次元モデルを高精度に生成することができる。
また、例えば、クロマキー合成で使用されるグリーンバックのマスク情報として、アクティブデプス情報を活用することができる。
即ち、図９に示すように、緑色の被写体Ｄが、グリーンバックに重なっている場合、カメラ画像からシルエット画像を生成しても、被写体Ｄを正確にマスクするマスク情報を生成することができなかった。
これに対し、アクティブデプス情報は、被写体Ｄを立体的に認識することができるので、前景色と背景色とが同一であっても、被写体Ｄを正確にマスクするマスク情報を生成することができる。このように、アクティブデプス情報を用いることで、背景色と同色の被写体Ｄを高精度のモデリングすることができる。
＜符号化処理および復号処理の処理例＞
図１０乃至図１２を参照して、自由視点映像伝送システム１１において行われる符号化処理および復号処理の処理例について説明する。
図１０は、符号化システム１２において行われる符号化処理を説明するフローチャートである。
ステップＳ１１において、３次元データ取得部２１は、図２に示したように、複数台のＲＧＢカメラ４１により被写体を撮像して複数枚のカメラ画像を取得し、複数台のアクティブセンサ４２により被写体までの距離を示す複数個のアクティブデプス情報を取得する。そして、３次元モデル生成部４３は、被写体の３次元モデルを表す３次元モデル情報を生成する３次元データ取得処理（図１１参照）を行う。
ステップＳ１２において、２次元画像変換処理部２２は、ステップＳ１１で３次元データ取得部２１により生成された３次元モデル情報から複数枚の２次元画像へ変換する２次元画像変換処理（図１１参照）を行う。
ステップＳ１３において、符号化部２３は、ステップＳ１２で２次元画像変換処理部２２から供給される複数枚の２次元画像を含む伝送データを符号化して、伝送部２４に供給する。また、伝送データには、上述したように、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータが含まれる。
ステップＳ１４において、伝送部２４は、ステップＳ１３で符号化部２３から供給される伝送データを、ネットワークを介して復号システム１３へ伝送した後、符号化処理は終了される。
図１１は、図１０のステップＳ１１の３次元データ取得処理、および、ステップＳ１２の２次元画像変換処理を説明するフローチャートである。
ステップＳ２１において、キャリブレーション部５１は、内部パラメータを用いて補正した、キャリブレーション後のカメラ画像と、各ＲＧＢカメラ４１間の関係性を表す外部パラメータとをフレーム同期部５２に供給する。
ステップＳ２２において、フレーム同期部５２は、ステップＳ２１でキャリブレーション部５１から供給される複数枚のカメラ画像のフレームを同期させて、背景差分生成部５３に供給する。
ステップＳ２３において、背景差分生成部５３は、ステップＳ２２でフレーム同期部５２から供給される複数枚のカメラ画像から、背景差分を求めることによって複数枚のシルエット画像を生成して、シルエット加工部５４に供給する。
ステップＳ２４において、シルエット加工部５４は、ステップＳ２３で背景差分生成部５３から供給される複数枚のシルエット画像に対して、適切にアクティブデプス情報を投影し、複数枚のシルエット画像のシルエットを加工する。例えば、シルエット加工部５４は、シルエット画像のシルエットに生じた穴に対する穴埋めや、シルエット画像にシルエットとして表れている被写体の影の除去などの加工を行って、ＶＨ処理部５５に供給する。このとき、シルエット加工部５４は、穴埋めや影の除去などのようにシルエットに対して加工を行った領域を示すシルエット加工領域情報を出力する。
ステップＳ２５において、ＶＨ処理部５５は、ステップＳ２４でシルエット加工部５４による加工後の複数枚のシルエット画像、および、カメラパラメータを用いて、Visual Hullを復元するＶＨ処理を行って、Visual Hullをメッシュ作成部５６に供給する。
ステップＳ２６において、メッシュ作成部５６は、ステップＳ２５でＶＨ処理部５５から供給されるVisual Hullに対してメッシュを作成し、テクスチャマッピング部５７に供給する。
ステップＳ２７において、テクスチャマッピング部５７は、ステップＳ２６でメッシュ作成部５６から供給されるメッシュに対して、カメラ画像に基づいてテクスチャマッピングを行うことで、３次元モデルを生成する。そして、テクスチャマッピング部５７は、生成した３次元モデルを表す３次元モデル情報を、２次元画像変換処理部２２のカメラ位置決定部７１に供給する。
ステップＳ２８において、カメラ位置決定部７１は、ステップＳ２７でテクスチャマッピング部５７から供給される３次元モデル情報で表される３次元モデルに対して透視投影を行う視点となる複数のカメラ位置を決定する。そして、カメラ位置決定部７１は、３次元モデル情報と、複数のカメラ位置を示すカメラパラメータを透視投影部７２に供給する。
ステップＳ２９において、透視投影部７２は、ステップＳ２８でカメラ位置決定部７１から供給される３次元モデル情報で表される３次元モデルを、複数のカメラ位置を視点として透視投影する。これにより、透視投影部７２は、それぞれの視点から３次元モデルが透視投影された複数枚の２次元画像を取得し、それらの２次元画像を用いて任意の視点から３次元モデルまでの奥行きを表すデプス情報を生成し、２次元画像およびデプス情報を符号化部２３に供給して処理は終了される。
図１２は、復号システム１３において行われる復号処理を説明するフローチャートである。
ステップＳ３１において、受信部３１は、図１０のステップＳ１４で伝送されてくる伝送データを受信して、復号部３２に供給する。
ステップＳ３２において、復号部３２は、ステップＳ３１で受信部３１から供給される伝送データを復号して、アクティブデプス情報、シルエット加工領域情報、複数枚の２次元画像およびデプス情報、並びに、カメラパラメータを３次元データ変換処理部３３に供給する。
ステップＳ３３において、３次元データ変換処理部３３は、アクティブデプス情報、シルエット加工領域情報、デプス情報、並びに、カメラパラメータを利用して、複数枚の２次元画像から３次元モデル情報へ変換する変換処理を行う。そして、３次元データ変換処理部３３は、３次元モデル情報を３次元データ表示部３４に供給する。
ステップＳ３４において、３次元データ表示部３４は、ヘッドマウントディスプレイや２次元モニタ、３次元モニタなどの表示部に、ステップＳ３３で３次元データ変換処理部３３から供給される３次元モデル情報により表される３次元モデルを表示する。その後、復号処理は終了される。
＜３次元モデル生成部の変形例＞
図１３乃至図１５を参照して、３次元モデル生成部４３の変形例について説明する。なお、以下で説明する各変形例において、図３の３次元モデル生成部４３と共通するブロックについては、同一の符号を付し、その詳細な説明は省略する。
図１３には、第１の変形例である３次元モデル生成部４３Ａのブロック図が示されている。
図１３に示すように、３次元モデル生成部４３Ａは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。さらに、３次元モデル生成部４３Ａは、暗所・白飛び領域検出部５８を備えて構成される。
暗所・白飛び領域検出部５８は、フレーム同期部５２から供給されるカメラ画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する。そして、暗所・白飛び領域検出部５８は、暗所領域または白飛び領域を示す暗所・白飛び領域情報をシルエット加工部５４に供給する。
従って、３次元モデル生成部４３Ａでは、シルエット加工部５４は、暗所・白飛び領域情報を参照して、暗所領域または白飛び領域に対してアクティブデプス情報を投影してシルエット画像を加工することができる。
例えば、図２のＲＧＢカメラ４１により撮像されるカメラ画像を用いてシルエット画像を生成するとき、暗所領域または白飛び領域では、シルエットが破綻したり、ノイズの多いシルエットとなってしまう。これに対し、図２のアクティブセンサ４２は、赤外線の波長領域の光を利用してアクティブデプス情報を取得するため、所定の輝度値以下または以上となるような環境であってもアクティブデプス情報を取得することができる。
従って、３次元モデル生成部４３Ａでは、暗所領域または白飛び領域に対してアクティブデプス情報を投影してシルエット画像を加工することで、シルエットが破綻している領域に対する穴埋めを行ったり、ノイズによって不要な領域が発生してしまうことを回避したりすることができる。これにより、３次元モデル生成部４３Ａは、より高精度な３次元モデルとなる３次元モデル情報を生成することができる。
図１４には、第２の変形例である３次元モデル生成部４３Ｂが示されている。
図１４に示すように、３次元モデル生成部４３Ｂは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。
即ち、３次元モデル生成部４３Ｂは、図３の３次元モデル生成部４３と同じブロックを有して構成されているが、シルエット加工部５４が、シルエット加工領域情報を出力しないような構成となっている。即ち、シルエット加工領域情報は、補助的な情報であるため、復号システム１３へ伝送する伝送データに含めなくてもよい。
このように構成される３次元モデル生成部４３Ｂでも、図３の３次元モデル生成部４３と同様に、シルエット加工部５４が、シルエット画像を生成する際に、アクティブデプス情報を投影してシルエット画像を加工することができる。従って、３次元モデル生成部４３Ｂは、より高精度な３次元モデルとなる３次元モデル情報を生成することができる。
図１５には、第３の変形例である３次元モデル生成部４３Ｃが示されている。
図１５に示すように、３次元モデル生成部４３Ｃは、キャリブレーション部５１、フレーム同期部５２、背景差分生成部５３、シルエット加工部５４、ＶＨ処理部５５、メッシュ作成部５６、およびテクスチャマッピング部５７を備える点で、図３の３次元モデル生成部４３と共通の構成となっている。さらに、３次元モデル生成部４３Ａは、物質・物体検出部５９およびデプス補正値算出部６０を備えて構成される。
物質・物体検出部５９は、ＲＧＢカメラ４１が被写体を撮像して得られるカメラ画像、および、アクティブセンサ４２が被写体までの距離を求めて得られるアクティブデプス情報に基づいて、被写体の物質または物体を検出する。そして、物質・物体検出部５９は、被写体の物質または物体を示す物質・物体情報をデプス補正値算出部６０に供給する。
例えば、物質・物体検出部５９は、カメラ画像の画素単位で、被写体の物質または物体を認識することができる。また、物質・物体検出部５９は、カメラ画像に対してセグメンテーション処理を施すことにより、カメラ画像に写されている被写体ごとのセグメントにカメラ画像を分割して、それらのセグメント単位で、被写体の物質または物体を認識することができる。なお、物質・物体検出部５９は、光の反射率とその信頼度から、その物質を推定してもよい。
例えば、セグメンテーション処理には、いわゆるディープラーニングを用いた物体認識を用いてもよいし、SLIC（Simple Linear Iterative Clustering）などのSuper Pixel分割や、顔認識・肌色識別などのように、画像ベースで求めてもよい。さらに、温度センサなどの他のセンサを追加して、そのセンサの出力を利用してもよい。
デプス補正値算出部６０は、物質・物体検出部５９から供給される物質・物体情報に応じて、カメラ画像の画素単位、または、カメラ画像を分割したセグメント単位で、アクティブデプス情報を補正するデプス補正量を算出する。
例えば、アクティブセンサ４２のように赤外線を利用してアクティブデプス情報を取得する場合、被写体の物質または物体の特性（例えば、表面の光の反射特性）によって、アクティブデプス情報の精度に違いが生じることになる。例えば、髪の毛や、皮、黒い物体、肌などは、アクティブデプス情報を正確に取得することが困難である。従って、デプス補正値算出部６０が、物質・物体情報で示される物質または物体ごとに、アクティブデプス情報を補正することで、形状の破綻することのない３次元モデルを生成することができる。
このように、符号化システム１２側でアクティブデプス情報を補正することで、３次元モデルの形状を改善することができる。そして、補正したアクティブデプス情報を、例えば、２次元画像およびデプス情報とともに、復号システム１３側へ伝送してもよい。
なお、デプス補正値算出部６０は、補正したアクティブデプス情報からデプスマップを生成してもよいし、補正値をＶＨ処理部５５に入力し、ＶＨ処理部５５が３次元モデルを復元する際に補正値を参照して、削り度合いを調整するようにしてもよい。
図１６乃至図２１を参照して、物質・物体に応じて別々のデプス補正量を伝送する際の補正量テーブルのデータフォーマットについて説明する。
図１６には、画素単位で、デプスマスクの存在する領域のみ補正量を伝送するような補正量テーブルの第１のデータフォーマット例が示されている。図１６に示すように、補正量テーブルには、画素位置情報ごとに、物質情報、色情報、補正量、信頼度、および、時間方向の信頼度が対応付けられて登録される。
このような補正量を利用することで、図１７に示すように、画素単位でアクティブデプス情報を補正して、より高精度なシルエット画像を生成することができる。
図１８には、セグメント単位で、固定の補正量を伝送するような補正量テーブルの第２のデータフォーマット例が示されている。図１８に示すように、補正量テーブルには、セグメント情報ごとに、物質情報、色情報、補正量、信頼度、および、時間方向の信頼度が対応付けられて登録される。
このような補正量を利用することで、図１９に示すように、セグメント単位でアクティブデプス情報を補正して、より高精度なシルエット画像を生成することができる。
図２０には、アクティブデプス情報を補正する補正カーブを伝送するような補正量テーブルの第３のデータフォーマット例が示されている。図２０に示すように、補正量テーブルには、画素位置情報ごとに、物質情報、色情報、補正カーブ、信頼度、および、時間方向の信頼度が対応付けられて登録される。
即ち、図２１に示すように、アクティブデプス情報は、距離に応じて約１％の誤差が生じることが実験より求められており、使用しているアクティブセンサ４２の特性に応じて補正（１％や２％など）するような補正カーブを伝送する。例えば、アクティブセンサ４２の特性がOver estimationであれば、デプス検出距離から２％手前となるように補正する補正カーブを伝送する。また、補正カーブは、物質によって振幅（補正量）を調整したものを伝送する。
そして、図１６、図１８、および図１９に示したようなデータフォーマットで補正値および信頼度が伝送され、３次元データ変換処理部３３において、補正値および信頼度に基づいて補正されたアクティブデプス情報を参照して３次元モデルを復元する処理が行われる。
＜伝送データの変形例＞
図２２乃至図２７を参照して、伝送データの変形例について説明する。
図２２には、第１の変形例の伝送データの伝送側となる２次元画像変換処理部２２Ａの構成例を示すブロック図が示されており、図２３には、第１の変形例の伝送データの受信側となる３次元データ変換処理部３３Ａの構成例を示すブロック図が示されている。
例えば、図１５を参照して上述したように、物質・物体検出部５９およびデプス補正値算出部６０を備える３次元モデル生成部４３Ｃが用いられ、アクティブデプス情報が正しく補正できない場合に、第１の変形例の伝送データが伝送される。図２２に示すように、第１の変形例の伝送データには、アクティブデプス補正値および補正領域情報（即ち、上述した補正量テーブル）が含まれる。
そして、図２３に示すように、３次元データ変換処理部３３Ａでは、ＶＨ処理部８１が、アクティブデプス情報を参照して、２次元画像から３次元モデルへ変換する変換処理を行う。
例えば、アクティブデプス補正値および補正領域情報を含む伝送データは、図１５の物質・物体検出部５９が物体・物質検出を行って、アクティブデプス情報を補正しても、送信側では完全に補正できない場合に使用されることが想定される。例えば、受信側では、アクティブデプス補正値および補正領域情報を、信頼度として使用することができる。これにより、ＶＨ処理部８１は、信頼度に応じて、アクティブデプス情報とデプス情報（Stereo Depth）とを適応的に領域ごとに切り替えながら、３次元モデルを削る手段を選択することができる。
図２４には、第２の変形例の伝送データの伝送側となる２次元画像変換処理部２２Ｂのブロック図が示されており、図２５には、第２の変形例の伝送データの受信側となる３次元データ変換処理部３３Ｂのブロック図が示されている。
例えば、図１５を参照して上述したように、物質・物体検出部５９およびデプス補正値算出部６０を備える３次元モデル生成部４３Ｃが用いられ、アクティブデプス情報が正しく補正できる場合に、第２の変形例の伝送データが伝送される。図２４に示すように、第１の変形例の伝送データには、補正したアクティブデプス情報が含まれる。
そして、図２５に示すように、３次元データ変換処理部３３Ｂでは、ＶＨ処理部８１が、補正したアクティブデプス情報を参照して、２次元画像から３次元モデルへ変換する変換処理を行う。
図２６には、第３の変形例の伝送データの受信側となる２次元画像変換処理部３３Ｃのブロック図が示されており、図２７には、第４の変形例の伝送データの受信側となる３次元データ変換処理部３３Ｄのブロック図が示されている。
図２６に示すように、第３の変形例の伝送データには、アクティブデプス情報、アクティブデプス補正値および補正領域情報、２次元画像、並びにカメラパラメータが含まれている。また、図２７に示すように、第３の変形例の伝送データには、補正したアクティブデプス情報、２次元画像、およびカメラパラメータが含まれている。
即ち、第３および第４の変形例の伝送データでは、デプス情報が伝送されず、これにより伝送データを圧縮することができる。例えば、デプス情報は、２次元画像と同じ画像サイズとなっており、ビット数が大きい。そこで、デプス情報が伝送できない環境で、デプス情報よりもデータサイズが小さなアクティブデプス情報（約1/10サイズ）のみを伝送することで、伝送コストの削減を図ることができる。なお、この場合、受信側でモデリングする必要がある。
＜シルエット画像に影が現れないようにする手法＞
図２８を参照して、シルエット画像に影が現れないようにする手法について説明する。
例えば、従来、Visual Hullを生成する際にはカメラ画像（カラー画像）しか使用していなかったのに対し、ＶＨ処理部５５は、アクティブデプス情報のシルエット画像を使用してVisual Hullを生成することができる。なお、アクティブデプス情報のシルエット画像は、不安定なため、床のみを検出したシルエット画像として生成する。
そして、ＶＨ処理部５５は、シルエットの白（On, 1）の領域を残し、黒（Off, 0）の領域を削る。従って、図２８に示すマスクの例では、黒い部分である床を削ることになり、影を除去することができる。
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUまたはGPU（Graphics Processing Unit）によって分散処理されるものであっても良い。
また、上述した一連の処理（符号化方法および復号方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部と
を備える符号化装置。
（２）
前記伝送部は、前記アクティブデプス情報を前記伝送データにさらに含めて伝送する
上記（１）に記載の符号化装置。
（３）
前記３次元モデル生成部は、
前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成する背景差分生成部と、
前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工を施すシルエット加工部と
を有する
上記（１）または（２）に記載の符号化装置。
（４）
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに対して加工を施した領域を示す加工領域情報を出力し、
前記伝送部は、前記加工領域情報を前記伝送データにさらに含めて伝送する
上記（３）に記載の符号化装置。
（５）
前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに生じている穴を埋める加工を施す
上記（３）または（４）に記載の符号化装置。
（６）
前記シルエット加工部は、前記シルエット画像にシルエットとして表れている前記被写体の影を除去する加工を施す
上記（３）または（４）に記載の符号化装置。
（７）
前記複数の撮像画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する暗所・白飛び領域検出部をさらに備え、
前記シルエット加工部は、前記シルエット画像上の前記暗所領域または前記白飛び領域における前記被写体のシルエットに対する加工を施す
上記（１）から（６）までのいずれかに記載の符号化装置。
（８）
前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質を検出する物体・物質検出部と、
前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値を算出する補正値算出部と
をさらに備え、
前記被写体の３次元モデルを表す３次元モデル情報を生成するのに、前記補正値に基づいて補正された前記アクティブデプス情報が用いられる
上記（１）から（６）までのいずれかに記載の符号化装置。
（９）
前記伝送部は、前記補正値、および、前記補正値に対する信頼度を前記伝送データにさらに含めて伝送する
上記（８）に記載の符号化装置。
（１０）
前記物体・物質検出部は、前記撮像画像に写されている被写体ごとのセグメントに前記撮像画像を分割して、それらのセグメント単位で、前記被写体の物体または物質を検出する
上記（８）または（９）に記載の符号化装置。
（１１）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、
前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、
前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することと
を含む符号化方法。
（１２）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、
前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部と
を備える復号装置。
（１３）
前記受信部は、前記複数の２次元画像、前記デプス情報、および前記アクティブデプス情報を含む伝送データを受信し、
前記３次元データ変換処理部は、前記アクティブデプス情報を参照して、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する
上記（１２）に記載の復号装置。
（１４）
前記受信部は、前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成し、前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工が施された領域を示す加工領域情報をさらに含む伝送データを受信し、
前記３次元データ変換処理部は、前記加工領域情報により示される領域に対して前記アクティブデプス情報を投影する
上記（１２）または（１３）に記載の復号装置。
（１５）
前記受信部は、前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質が検出され、前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値と、前記補正値に対する信頼度を含む前記伝送データを受信し、
前記３次元データ変換処理部は、前記補正値および前記信頼度に基づいて補正された前記アクティブデプス情報を参照する
上記（１２）から（１４）までのいずれかに記載の復号装置。
（１６）
複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、
前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換することと
を含む復号方法。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ 自由視点映像伝送システム， １２ 符号化システム， １３ 復号システム， ２１ ３次元データ取得部， ２２ ２次元画像変換処理部， ２３ 符号化部， ２４ 伝送部， ３１ 受信部， ３２ 復号部， ３３ ３次元データ変換処理部， ３４ ３次元データ表示部， ４１ ＲＧＢカメラ， ４２ アクティブセンサ， ４３ ３次元モデル生成部， ４４ 画像取得部， ５１ キャリブレーション部， ５２ フレーム同期部， ５３ 背景差分生成部， ５４ シルエット加工部， ５５ ＶＨ処理部， ５６ メッシュ作成部， ５７ テクスチャマッピング部， ５８ 暗所・白飛び領域検出部， ５９ 物質・物体検出部， ６０ デプス補正値算出部， ７１ カメラ位置決定部， ７２ 透視投影部， ８１ ＶＨ処理部

Claims (16)

  1. 複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成する３次元モデル生成部と、
    前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成する変換処理部と、
    前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送する伝送部と
    を備える符号化装置。
  2. 前記伝送部は、前記アクティブデプス情報を前記伝送データにさらに含めて伝送する
    請求項１に記載の符号化装置。
  3. 前記３次元モデル生成部は、
    前記複数の撮像画像から背景差分を求めて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像を生成する背景差分生成部と、
    前記複数のシルエット画像に対して前記アクティブデプス情報を投影して、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工を施すシルエット加工部と
    を有する
    請求項１に記載の符号化装置。
  4. 前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに対して加工を施した領域を示す加工領域情報を出力し、
    前記伝送部は、前記加工領域情報を前記伝送データにさらに含めて伝送する
    請求項３に記載の符号化装置。
  5. 前記シルエット加工部は、前記シルエット画像上の前記被写体のシルエットに生じている穴を埋める加工を施す
    請求項３に記載の符号化装置。
  6. 前記シルエット加工部は、前記シルエット画像にシルエットとして表れている前記被写体の影を除去する加工を施す
    請求項３に記載の符号化装置。
  7. 前記複数の撮像画像において、所定の輝度値以下となるような暗所領域、および、所定の輝度値以上となるような白飛び領域を検出する暗所・白飛び領域検出部をさらに備え、
    前記シルエット加工部は、前記シルエット画像上の前記暗所領域または前記白飛び領域における前記被写体のシルエットに対する加工を施す
    請求項３に記載の符号化装置。
  8. 前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質を検出する物体・物質検出部と、
    前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値を算出する補正値算出部と
    をさらに備え、
    前記被写体の前記３次元モデルを表す３次元モデル情報を生成するのに、前記補正値に基づいて補正された前記アクティブデプス情報が用いられる
    請求項１に記載の符号化装置。
  9. 前記伝送部は、前記補正値、および、前記補正値に対する信頼度を前記伝送データにさらに含めて伝送する
    請求項８に記載の符号化装置。
  10. 前記物体・物質検出部は、前記撮像画像に写されている被写体ごとのセグメントに前記撮像画像を分割して、それらのセグメント単位で、前記被写体の物体または物質を検出する
    請求項８に記載の符号化装置。
  11. 複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報を生成することと、
    前記３次元モデル情報により表される前記３次元モデルを、複数の方向から投影することにより複数の２次元画像に変換し、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報を生成することと、
    前記複数の２次元画像および前記デプス情報を含む伝送データを復号装置へ伝送することと
    を含む符号化方法。
  12. 複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信する受信部と、
    前記複数の２次元画像および前記デプス情報から前記被写体の前記３次元モデルを表す３次元モデル情報へ変換する３次元データ変換処理部と
    を備える復号装置。
  13. 前記受信部は、前記複数の２次元画像、前記デプス情報、および前記アクティブデプス情報を含む伝送データを受信し、
    前記３次元データ変換処理部は、前記アクティブデプス情報を参照して、前記複数の２次元画像および前記デプス情報から前記被写体の３次元モデルを表す３次元モデル情報へ変換する
    請求項１２に記載の復号装置。
  14. 前記受信部は、前記複数の撮像画像から背景差分が求められて、それぞれの前記撮像画像に前記被写体が映されている範囲を示すシルエットを２値化により表したシルエット画像が生成され、前記複数のシルエット画像に対して前記アクティブデプス情報が投影されて、前記シルエット画像上の前記被写体のシルエットに生じている破綻に対する加工が施された領域を示す加工領域情報をさらに含む伝送データを受信し、
    前記３次元データ変換処理部は、前記加工領域情報により示される領域に対して前記アクティブデプス情報を投影する
    請求項１２に記載の復号装置。
  15. 前記受信部は、前記複数の撮像画像、および、前記アクティブデプス情報に基づいて、前記被写体の物体または物質が検出され、前記被写体の物体または物質に応じて前記アクティブデプス情報を補正するための補正値と、前記補正値に対する信頼度を含む前記伝送データを受信し、
    前記３次元データ変換処理部は、前記補正値および前記信頼度に基づいて補正された前記アクティブデプス情報を参照する
    請求項１２に記載の復号装置。
  16. 複数視点から被写体が撮像された複数の撮像画像、および、前記複数の撮像画像とは異なる視点から前記被写体までの距離を示すアクティブデプス情報に基づいて、前記被写体の３次元モデルを表す３次元モデル情報が生成され、前記３次元モデル情報により表される前記３次元モデルが、複数の方向から投影されることにより複数の２次元画像に変換され、前記複数の２次元画像を用いて任意の視点から前記３次元モデルまでの奥行きを表すデプス情報が生成されて伝送される前記複数の２次元画像および前記デプス情報を含む伝送データを受信することと、
    前記複数の２次元画像および前記デプス情報から前記被写体の前記３次元モデルを表す３次元モデル情報へ変換することと
    を含む復号方法。
JP2019557148A 2017-12-01 2018-11-16 符号化装置、符号化方法、復号装置、および復号方法 Active JP7184050B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017231794 2017-12-01
JP2017231794 2017-12-01
PCT/JP2018/042426 WO2019107180A1 (ja) 2017-12-01 2018-11-16 符号化装置、符号化方法、復号装置、および復号方法

Publications (2)

Publication Number Publication Date
JPWO2019107180A1 true JPWO2019107180A1 (ja) 2020-11-26
JP7184050B2 JP7184050B2 (ja) 2022-12-06

Family

ID=66664502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557148A Active JP7184050B2 (ja) 2017-12-01 2018-11-16 符号化装置、符号化方法、復号装置、および復号方法

Country Status (5)

Country Link
US (1) US11653023B2 (ja)
JP (1) JP7184050B2 (ja)
CN (1) CN111480342B (ja)
DE (1) DE112018006130T5 (ja)
WO (1) WO2019107180A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998669B (zh) * 2017-08-08 2023-12-08 索尼公司 图像处理装置和方法
US10510178B2 (en) * 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
JPWO2022209130A1 (ja) 2021-03-31 2022-10-06
CN113884022A (zh) * 2021-09-28 2022-01-04 天津朗硕机器人科技有限公司 一种基于结构光的三维检测装置
CN114240788B (zh) * 2021-12-21 2023-09-08 西南石油大学 一种面向复杂场景的鲁棒性及自适应性背景复原方法
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161505A (ja) * 1994-11-30 1996-06-21 Sony Corp 動画像処理装置、動画像符号化装置および動画像復号装置
JP2008017386A (ja) * 2006-07-10 2008-01-24 Nippon Hoso Kyokai <Nhk> キー画像生成装置
JP2014096701A (ja) * 2012-11-09 2014-05-22 Sharp Corp テレコミュニケーション装置及びテレコミュニケーション方法
JP2015114722A (ja) * 2013-12-09 2015-06-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
JP2016218594A (ja) * 2015-05-18 2016-12-22 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
WO2017094543A1 (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
WO2017098999A1 (ja) * 2015-12-07 2017-06-15 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
WO2019082958A1 (ja) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635729B2 (ja) * 1995-08-31 2005-04-06 株式会社セガ 画像処理方法、画像処理装置および疑似体験装置
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2008146587A (ja) * 2006-12-13 2008-06-26 Sony Corp 表示装置、表示プログラム、表示方法、画像提供装置、画像提供プログラム、画像提供方法及び記録媒体
US8548228B2 (en) * 2009-02-23 2013-10-01 Nippon Telegraph And Telephone Corporation Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
JP5561786B2 (ja) 2011-03-30 2014-07-30 Ｋｄｄｉ株式会社 ３次元形状モデル高精度化方法およびプログラム
CN102609974B (zh) * 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
JP6452324B2 (ja) * 2014-06-02 2019-01-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
WO2016079960A1 (en) * 2014-11-18 2016-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program
US9635339B2 (en) * 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN106254854B (zh) * 2016-08-19 2018-12-25 深圳奥比中光科技有限公司 三维图像的获得方法、装置及系统
US11405643B2 (en) * 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161505A (ja) * 1994-11-30 1996-06-21 Sony Corp 動画像処理装置、動画像符号化装置および動画像復号装置
JP2008017386A (ja) * 2006-07-10 2008-01-24 Nippon Hoso Kyokai <Nhk> キー画像生成装置
JP2014096701A (ja) * 2012-11-09 2014-05-22 Sharp Corp テレコミュニケーション装置及びテレコミュニケーション方法
JP2015114722A (ja) * 2013-12-09 2015-06-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
JP2016218594A (ja) * 2015-05-18 2016-12-22 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
WO2017094543A1 (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
WO2017098999A1 (ja) * 2015-12-07 2017-06-15 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
WO2019082958A1 (ja) * 2017-10-27 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SUNG SOO HWANG, ET AL.: ""Visual Hull-based Prediction Framework for 3D Object Coding"", PROCEEDINGS OF 2012 PICTURE CODING SYMPOSIUM (PCS 2012), JPN6018052034, 9 May 2012 (2012-05-09), pages 225 - 228, XP032449875, ISSN: 0004904187, DOI: 10.1109/PCS.2012.6213333 *
三功 浩嗣（外３名）: "「被写体３次元モデルの各撮影視点へのフィードバック処理に基づく背景分離方式」", 電子情報通信学会２００９年総合大会講演論文集, vol. 分冊：情報・システム２, JPN6022044266, 4 March 2009 (2009-03-04), JP, pages 85, ISSN: 0004904189 *
三功 浩嗣（外３名）: "「視点間の整合性を考慮した３次元モデルフィードバック型背景分離方式の不要部除去拡張」", 映像情報メディア学会技術報告, vol. 33, no. 37, JPN6022044264, 24 September 2009 (2009-09-24), JP, pages 75 - 80, ISSN: 0004904188 *
久富 健介（外３名）: "「多視点映像からの３次元モデルの生成」", ＮＨＫ技研Ｒ＆Ｄ, JPN6022044265, 15 November 2009 (2009-11-15), JP, pages 30 - 41, ISSN: 0004904190 *

Also Published As

Publication number Publication date
CN111480342B (zh) 2024-04-23
DE112018006130T5 (de) 2020-08-20
US20210368206A1 (en) 2021-11-25
WO2019107180A1 (ja) 2019-06-06
US11653023B2 (en) 2023-05-16
CN111480342A (zh) 2020-07-31
JP7184050B2 (ja) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7184050B2 (ja) 符号化装置、符号化方法、復号装置、および復号方法
JP7003994B2 (ja) 画像処理装置および方法
KR102402494B1 (ko) 지오메트리 정보의 모션 보상
US11902577B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
US9973694B1 (en) Image stitching to form a three dimensional panoramic image
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
US11488354B2 (en) Information processing apparatus and information processing method
JP2010152521A (ja) 画像立体化処理装置及び方法
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
JP7156624B2 (ja) デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム
Kim et al. Depth video enhancement for haptic interaction using a smooth surface reconstruction
JP7269515B2 (ja) 映像生成装置、映像生成方法、及び映像生成プログラム
De Sorbier et al. Augmented reality for 3D TV using depth camera input
Zhao et al. Inpainting algorithm for Kinect depth map based on foreground segmentation
Ryu et al. Synthesis quality prediction model based on distortion intolerance
KR101904170B1 (ko) 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치
KR102267442B1 (ko) 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법
KR101904128B1 (ko) 구면 모델링을 통한 깊이 영상의 부호화 방법 및 부호화 장치
Fickel et al. Multiview image and video interpolation using weighted vector median filters
CN104767986A (zh) 景深图校正方法及系统
KR101589670B1 (ko) 깊이맵을 이용하여 2차원 동영상으로부터 3차원 동영상을 생성하는 방법
JP6280422B2 (ja) 被写体領域検出装置、被写体領域検出方法及び被写体領域検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7184050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151