JPWO2019031259A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JPWO2019031259A1
JPWO2019031259A1 JP2019535096A JP2019535096A JPWO2019031259A1 JP WO2019031259 A1 JPWO2019031259 A1 JP WO2019031259A1 JP 2019535096 A JP2019535096 A JP 2019535096A JP 2019535096 A JP2019535096 A JP 2019535096A JP WO2019031259 A1 JPWO2019031259 A1 JP WO2019031259A1
Authority
JP
Japan
Prior art keywords
shadow
image
dimensional
data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019535096A
Other languages
English (en)
Other versions
JP7003994B2 (ja
Inventor
尚子 菅野
尚子 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019031259A1 publication Critical patent/JPWO2019031259A1/ja
Application granted granted Critical
Publication of JP7003994B2 publication Critical patent/JP7003994B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Abstract

本技術は、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにする画像処理装置および方法に関する。符号化システムの生成部は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて２次元画像データおよびデプスデータを生成する。符号化システムの伝送部は、２次元画像データ、デプスデータ、および前記被写体の影の情報を復号システムに伝送する。本技術は、自由視点映像伝送システムに適用することができる。

Description

本技術は、画像処理装置および方法に関し、特に、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにした画像処理装置および方法に関する。
特許文献１においては、複数のカメラの視点画像から生成された３次元モデルを２次元画像データとデプスデータに変換し、符号化して送信することが提案されている。この提案では、表示側において、２次元画像データとデプスデータが３次元モデルに復元（変換）され、復元された３次元モデルが投影されて、表示される。
国際公開第２０１７／０８２０７６号
しかしながら、特許文献１の提案では、撮像時の被写体と影とが３次元モデルに含まれている。したがって、表示側で、撮像が行われた３次元空間とは異なる３次元空間に、２次元画像データおよびデプスデータに基づいて、被写体の３次元モデルを復元したときに、撮像時の影も一緒に投影されることになる。すなわち、撮像が行われた３次元空間とは異なる３次元空間に、３次元モデルと撮像時の影とが投影されてしまうので、投影により生成された表示画像において、表示が不自然になってしまっていた。
本技術はこのような状況に鑑みてなされたものであり、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにするものである。
本技術の一側面の画像処理装置は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部とを備える。
本技術の一側面の画像処理方法は、画像処理装置が、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する。
本技術の一側面においては、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータが生成され、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報が伝送される。
本技術の他の側面の画像処理装置は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部とを備える。
本技術の他の側面の画像処理方法は、画像処理装置が、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する。
本技術の他の側面においては、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報が受信される。そして、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像が生成される。
本技術によれば、被写体の３次元モデルと被写体の影の情報とを別々に送ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る自由視点映像伝送システムの構成例を示すブロック図である。 影の処理について説明する図である。 テクスチャマッピング後の３次元モデルを撮像時とは異なる背景の投影空間に投影した例を示す図である。 符号化システムと復号システムの構成例を示すブロック図である。 符号化システムを構成する３次元データ撮像装置、変換装置、および符号化装置の構成例を示すブロック図である。 ３次元データ撮像装置を構成する画像処理部の構成例を示すブロック図である。 背景差分処理に用いられる画像の例を示す図である。 影除去処理に用いられる画像の例を示す図である。 変換装置を構成する変換部の構成例を示すブロック図である。 仮想視点のカメラ位置の例を示す図である。 復号システムを構成する復号装置、変換装置、３次元データ表示装置の構成例を示すブロック図である。 変換装置を構成する変換部の構成例を示すブロック図である。 投影空間の３次元モデル生成処理について説明する図である。 符号化システムの処理について説明するフローチャートである。 図１４のステップＳ１１の撮像処理について説明するフローチャートである。 図１５のステップＳ５６の影除去処理について説明するフローチャートである。 図１５のステップＳ５６の影除去処理の他の例について説明するフローチャートである。 図１４のステップＳ１２の変換処理について説明するフローチャートである。 図１４のステップＳ１３の符号化処理について説明するフローチャートである。 復号システムの処理について説明するフローチャートである。 図２０のステップＳ２０１の復号処理について説明するフローチャートである。 図２０のステップＳ２０２の変換処理について説明するフローチャートである。 復号システムを構成する変換装置の変換部の他の構成例を示すブロック図である。 図２３の変換部により行われる変換処理について説明するフローチャートである。 ２種類の影の例を示す図である。 影または陰の有無による効果例を示す図である。 符号化システムおよび復号システムの他の構成例を示すブロック図である。 符号化システムおよび復号システムのさらに他の構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（自由視点映像伝送システムの構成例）
２．符号化システムの各装置の構成例
３．復号システムの各装置の構成例
４．符号化システムの動作例
５．復号システムの動作例
６．復号システムの変形例
７．第２の実施の形態（符号化システムおよび復号システムの他の構成例）
８．第３の実施の形態（符号化システムおよび復号システムの他の構成例）
９．コンピュータの例
＜＜１．自由視点映像伝送システムの構成例＞＞
図１は、本技術の一実施形態に係る自由視点映像伝送システムの構成例を示すブロック図である。
図１の自由視点映像伝送システム１は、カメラ１０−１乃至１０−Ｎを含む符号化システム１１と、復号システム１２から構成される。
カメラ１０−１乃至１０−Ｎは、それぞれ、撮像部および距離測定器により構成され、所定の物体が被写体２として置かれた撮影空間に設けられる。以下、適宜、カメラ１０−１乃至１０−Ｎをそれぞれ区別する必要がない場合、まとめてカメラ１０という。
カメラ１０を構成する撮像部は、被写体の動画像の２次元画像データを撮像する。撮像部では、被写体の静止画像が撮像されてもよい。距離測定器は、ToFカメラやアクティブセンサなどで構成される。距離測定器は、撮像部の視点と同一の視点における、被写体２までの距離を表すデプス画像データ（以下、デプスデータと称する）を生成する。カメラ１０により、各視点における被写体２の状態を表す複数の２次元画像データと、各視点における複数のデプスデータが得られる。
なお、デプスデータは、カメラパラメータから演算することが可能なため、同一視点である必要はない。また、現行のカメラで、同一視点のカラー画像データとデプスデータが同時に撮影できるものはない。
符号化システム１１は、撮像された各視点の２次元画像データに対して、被写体２の影を除去する処理である影除去処理を施し、影を除去した各視点の２次元画像データと、デプスデータに基づいて被写体の３次元モデル生成する。ここで生成される３次元モデルは、撮影空間にある被写体２の３次元モデルである。
また、符号化システム１１は、３次元モデルを２次元画像データおよびデプスデータに変換し、影除去処理により得られた被写体２の影の情報とともに符号化することによって符号化ストリームを生成する。符号化ストリームには、例えば、複数の視点分の２次元画像データとデプスデータが含まれる。
なお、符号化ストリームには、仮想視点位置情報のカメラパラメータも含まれ、その仮想視点位置情報のカメラパラメータには、カメラ１０の設置位置に相当する、２次元画像データの撮像等が実際に行われている視点の他に、適宜、３次元モデルの空間上に仮想的に設定された視点も含まれる。
符号化システム１１により生成された符号化ストリームは、ネットワーク、または記録媒体などの所定の伝送路を介して、復号システム１２に送信される。
復号システム１２は、符号化システム１１から供給された符号化ストリームを復号し、２次元画像データ、デプスデータ、および被写体２の影の情報を得る。復号システム１２は、２次元画像データおよびデプスデータに基づいて被写体２の３次元モデルを生成し（復元し）、３次元モデルに基づいて表示画像を生成する。
復号システム１２においては、符号化ストリームに基づいて生成した３次元モデルが、仮想空間である投影空間の３次元モデルと投影されて、表示画像が生成される。
投影空間の情報は、符号化システム１１から送られてもよい。また、投影空間の３次元モデルは、必要に応じて、被写体の影の情報が付加されて生成され、被写体の３次元モデルと投影される。
なお、図１の自由視点映像伝送システム１においては、距離測定器がカメラに設けられている例を説明した。しかしながら、RGB画像を用いた三角測量によりデプス情報を取得できるため、距離測定器が無くても被写体の３次元モデリングは可能である。複数台のカメラのみで構成される撮影機器、もしくは複数台のカメラと距離測定器の両方で構成される撮影機器、もしくは複数台の距離測定器のみでも３次元モデリングが可能である。距離測定器がToFカメラの場合だとIR画像の取得が可能であるためであり、距離測定器がPoint cloud のみで３次元モデリングも可能である。
図２は、影の処理について説明する図である。
図２のＡは、ある視点のカメラで撮像された画像を示す図である。図２のＡのカメラ画像２１には、被写体（図２のＡの例では、バスケットボール）２１ａとその影２１ｂが写っている。なお、ここで説明する画像処理は、図１の自由視点映像伝送システム１において行われる処理とは異なる処理である。
図２のＢは、カメラ画像２１から生成された３次元モデル２２を示す図である。図２のＢの３次元モデル２２は、被写体２１ａの形状を表す３次元モデル２２ａとその影２２ｂとで構成されている。
図２のＣは、テクスチャマッピング後の３次元モデル２３を示す図である。３次元モデル２３は、３次元モデル２２ａにテクスチャをマッピングして得られた３次元モデル２３ａとその影２３ｂとで構成されている。
ここで、本技術で適用される影とは、カメラ画像２１から生成された３次元モデル２２にできる影２２ｂまたはテクスチャマッピング後の３次元モデルにできる影２３ｂのことを意味する。
これまでの３次元モデリングは、イメージベースで行っていることから、影も一緒にモデリングおよびテクスチャマッピングが行われてしまい、３次元モデルと影とを分離することが困難であった。
テクスチャマッピング後の３次元モデル２３の場合、影２３ｂがあるほうが自然にみえることが多い。しかしながら、カメラ画像２１から生成された３次元モデル２２の場合、影２２ｂがあると不自然に見えることがあり、影２２ｂを除きたいという要求があった。
図３は、テクスチャマッピング後の３次元モデル２３を撮像時とは異なる背景の投影空間２６に投影した例を示す図である。
図３に示されるように、投影空間２６において、照明２５が撮像時とは異なる位置に配置されている場合、テクスチャマッピング後の３次元モデル２３の影２３ｂの位置が、照明２５からの光の方向と矛盾してしまうことがあり、不自然になる。
そこで、本技術の自由視点映像伝送システム１においては、カメラ画像に対して影除去処理を行い、３次元モデルと影とが別々に伝送するようになされている。これにより、表示側である復号システム１２において、３次元モデルの影の付加、除去が選択可能になり、ユーザにとって利便性のよいシステムとなる。
図４は、符号化システムと復号システムの構成例を示すブロック図である。
符号化システム１１は、３次元データ撮像装置３１、変換装置３２、および符号化装置３３から構成される。
３次元データ撮像装置３１は、カメラ１０を制御して被写体の撮像を行う。３次元データ撮像装置３１は、各視点の２次元画像データに影除去処理を施し、影除去処理を施した２次元画像データとデプスデータに基づいて、３次元モデルを生成する。３次元モデルの生成には、各カメラ１０のカメラパラメータも用いられる。
３次元データ撮像装置３１は、生成した３次元モデルを、撮像時のカメラ位置における影の情報であるシャドウマップ、およびカメラパラメータとともに変換装置３２に供給する。
変換装置３２は、３次元データ撮像装置３１から供給された３次元モデルから、カメラ位置を決定し、決定されたカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータを生成する。変換装置３２においては、撮像時のカメラ位置以外のカメラ位置である仮想視点のカメラ位置に応じたシャドウマップが生成される。変換装置３２は、カメラパラメータ、２次元画像データ、デプスデータ、およびシャドウマップを符号化装置３３に供給する。
符号化装置３３は、変換装置３２から供給されたカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。符号化装置３３は、生成した符号化ストリームを伝送する。
一方、復号システム１２は、復号装置４１、変換装置４２、および３次元データ表示装置４３から構成される。
復号装置４１は、符号化装置３３から伝送された符号化ストリームを受信し、符号化装置３３における符号化方式に対応する方式で復号する。復号装置４１は、復号して得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。
変換装置４２は、変換処理として、以下の処理を行う。すなわち、変換装置４２は、復号装置４１から供給されるメタデータと復号システム１２の表示画像生成方式に基づいて、所定の視点の２次元画像データとデプスデータを選択する。変換装置４２は、選択した所定の視点の２次元画像データとデプスデータに基づいて３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。生成された表示画像データは、３次元データ表示装置４３に供給される。
３次元データ表示装置４３は、２次元または３次元のヘッドマウントディスプレイやモニタ、プロジェクタなどにより構成される。３次元データ表示装置４３は、変換装置４２から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
＜＜２．符号化システムの各装置の構成例＞＞
ここで、符号化システム１１の各装置の構成について説明する。
図５は、符号化システム１１を構成する、３次元データ撮像装置３１、変換装置３２、および符号化装置３３の構成例を示すブロック図である。
３次元データ撮像装置３１は、カメラ１０と画像処理部５１により構成される。
画像処理部５１は、各カメラ１０により得られた各視点の２次元画像データに影除去処理を施す。画像処理部５１は、影除去処理を施した各視点の２次元画像データ、デプスデータ、および、各カメラ１０のカメラパラメータを用いてモデリングを行い、メッシュまたはPoint Cloudを作成する。
画像処理部５１は、作成したメッシュに関する情報とメッシュの２次元画像（テクスチャ）データとを、被写体の３次元モデルとして生成し、変換装置３２に供給する。除去された影の情報であるシャドウマップも、変換装置３２に供給される。
変換装置３２は、変換部６１により構成される。
変換部６１は、変換装置３２として上述したように、各カメラ１０のカメラパラメータ、被写体の３次元モデルに基づいて、カメラ位置を決定し、決定したカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータを生成する。このとき、決定されたカメラ位置に応じて、影の情報であるシャドウマップも生成される。生成された情報は、符号化装置３３に供給される。
符号化装置３３は、符号化部７１および伝送部７２により構成される。
符号化部７１は、変換部６１から供給されるカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。カメラパラメータおよびシャドウマップは、メタデータとして符号化される。
投影空間データがある場合も、メタデータとして、コンピュータなど、外部の装置から、符号化部７１に供給され、符号化部７１で符号化される。投影空間データは、部屋などの投影空間の３次元モデルと、そのテクスチャデータである。テクスチャデータは、部屋の画像データ、撮像時に用いられた背景画像データ、または３次元モデルとセットのテクスチャデータからなる。
符号化方式としては、MVCD（Multiview and depth video coding）方式、AVC方式、HEVC方式等を採用することができる。符号化方式がMVCD方式である場合も、符号化方式がAVC方式やHEVC方式である場合も、シャドウマップは、２次元画像データとデプスデータと符号化されてもよいし、メタデータとして、符号化されてもよい。
符号化方式がMVCD方式である場合、全ての視点の２次元画像データとデプスデータは、まとめて符号化される。その結果、２次元画像データとデプスデータの符号化データとメタデータを含む１つの符号化ストリームが生成される。この場合、メタデータのうちのカメラパラメータは、符号化ストリームのreference displays information SEIに配置される。また、メタデータのうちのデプスデータは、depth representation information SEIに配置される。
一方、符号化方式がAVC方式やHEVC方式である場合、各視点のデプスデータと２次元画像データは別々に符号化される。その結果、各視点の２次元画像データとメタデータを含む各視点の符号化ストリームと、各視点のデプスデータの符号化データとメタデータとを含む各視点の符号化ストリームが生成される。この場合、メタデータは、例えば、各符号化ストリームのUser unregistered SEIに配置される。また、メタデータには、符号化ストリームとカメラパラメータなどとを対応付ける情報が含まれる。
なお、符号化ストリームとカメラパラメータ等とを対応付ける情報をメタデータに含めず、符号化ストリームに、その符号化ストリームに対応するメタデータのみを含めるようにしてもよい。符号化部７１は、このような各方式で符号化して得られた符号化ストリームを伝送部７２に供給する。
伝送部７２は、符号化部７１から供給される符号化ストリームを復号システム１２に伝送する。なお、本明細書では、メタデータが符号化ストリーム内に配置されて伝送されるものとするが、符号化ストリームとは別に伝送されるようにしてもよい。
図６は、３次元データ撮像装置３１の画像処理部５１の構成例を示すブロック図である。
画像処理部５１は、カメラキャリブレーション部１０１、フレーム同期部１０２、背景差分処理部１０３、影除去処理部１０４、モデリング処理部１０５、メッシュ作成部１０６、およびテクスチャマッピング部１０７により構成される。
カメラキャリブレーション部１０１は、各カメラ１０から供給される２次元画像データ（カメラ画像）に対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーションの手法としては、チェスボードを用いるZhangの手法、３次元物体を撮像して、パラメータを求める手法、プロジェクタで投影画像を使ってパラメータを求める手法などがある。
カメラパラメータは、例えば、内部パラメータと外部パラメータで構成される。内部パラメータは、カメラ固有のパラメータであり、カメラレンズの歪みやイメージセンサとレンズの傾き（歪収差係数）、画像中心、画像（画素）サイズである。外部パラメータは、複数台のカメラがあったときに、複数台のカメラの位置関係を示したり、また、世界座標系におけるレンズの中心座標(Translation)とレンズ光軸の方向(Rotation)を示すものである。
カメラキャリブレーション部１０１は、キャリブレーション後の２次元画像データをフレーム同期部１０２に供給する。カメラパラメータは、図示せぬ経路を介して変換部６１に供給される。
フレーム同期部１０２は、カメラ１０−１乃至１０−Ｎのうちの１つを基準カメラとし、残りを参照カメラとする。フレーム同期部１０２は、参照カメラの２次元画像データのフレームを、基準カメラの２次元画像データのフレームに同期させる。フレーム同期部１０２は、フレーム同期後の２次元画像データを背景差分処理部１０３に供給する。
背景差分処理部１０３は、２次元画像データに対して背景差分処理を行い、被写体（前景）を抽出するためのマスクであるシルエット画像を生成する。
図７は、背景差分処理に用いられる画像の例を示す図である。
背景差分処理部１０３は、図７に示されるように、事前に取得された背景のみからなる背景画像１５１と、処理対象であり、前景領域と背景領域の両方を含むカメラ画像１５２との差分を取ることで、差分がある領域（前景領域）を１とした２値のシルエット画像１５３を取得する。通常、画素値は、撮像したカメラに応じたノイズによる影響を受けるため、背景画像１５１とカメラ画像１５２の画素値が完全に一致することは殆どない。そのため、閾値θを用いて、画素値の相違度が閾値θ以下なら、背景、それ以外は前景と判定することで、２値化のシルエット画像１５３が生成される。シルエット画像１５３は、影除去処理部１０４に供給される。
背景差分処理として、最近はConvolutional Neural Network(CNN)を使ったDeep learning（https://arxiv.org/pdf/1702.01731.pdf）による背景抽出方法等も提案されている。また、Deep learning、機械学習を用いた背景差分処理も一般的に知られている。
影除去処理部１０４は、シャドウマップ生成部１２１および背景差分リファイメント処理部１２２により構成される。
カメラ画像１５２をシルエット画像１５３でマスキングしても、被写体の画像には影の画像も付加されている。
そこで、シャドウマップ生成部１２１は、被写体の画像に対して影除去処理を行うために、シャドウマップを生成する。シャドウマップ生成部１２１は、生成したシャドウマップを背景差分リファイメント処理部１２２に供給する。
背景差分リファイメント処理部１２２は、背景差分処理部１０３で得られたシルエット画像にシャドウマップを適用し、影除去処理を施したシルエット画像を生成する。
影除去処理の手法としては、Shadow Optimization from Structured Deep Edge Detectionを代表としてCVPR2015で発表されており、その中の所定の手法が用いられる。また、影除去処理にSLIC(Simple Linear Iterative Clustering)を用いるようにしてもよいし、アクティブセンサのデプス画像を用いることで、影がない２次元画像を生成してもよい。
図８は、影除去処理に用いられる画像の例を示す図である。図８を参照して、画像をSuper Pixelに分割して領域を定めるSLIC処理を用いた場合の影除去処理について説明する。適宜、図７も参照する。
シャドウマップ生成部１２１は、カメラ画像１５２（図７）をSuper Pixelに分割する。シャドウマップ生成部１２１は、Super Pixelのうち、背景差分時に弾かれたSuper Pixel（シルエット画像１５３の黒の部分に対応するSuper Pixel）と、影として残ったSuper Pixel（シルエット画像１５３の白の部分に対応するSuper Pixel）の類似性を確認する。
例えば、Super PixelＡは、背景差分時に0(黒)と判定され、それが正しいとする。Super PixelＢは、背景差分時に1(白)と判定され、それが間違いとする。Super PixelＣは、背景差分時に1(白)と判定され、それが正しいとする。Super PixelＢの判定ミスを訂正すべく、類似性の確認が再度行われる。その結果、Super PixelＢとSuper PixelＣの類似性よりも、Super PixelＡとSuper PixelＢの類似性の方が高いため、誤判定であることがわかる。この判定を元に、シルエット画像１５３の訂正が行われる。
シャドウマップ生成部１２１は、シルエット画像１５３で残った領域（被写体または影）、かつ、SLIC処理により床と判定された（Super Pixelの）領域を影の領域として、図８に示すようなシャドウマップ１６１を生成する。
シャドウマップ１６１の種類としては、0,1（２値）のシャドウマップと、カラーシャドウマップとがあり得る。
0,1シャドウマップは、影の領域を１で表現し、影でない背景領域を０で表現するものである。
カラーシャドウマップは、上記の0,1シャドウマップに加えて、シャドウマップをRGBAの４チャンネルで表現するものである。RGBは影の色を表す。Alphaチャンネルで透過度を表してもよい。Alphaチャンネルに0,1シャドウマップを追加してもよい。RGBの３チャンネルのみでもよい。
また、シャドウマップ１６１の解像度は、影の領域をぼんやりと表現できればよいことから、低いものでもよい。
背景差分リファイメント処理部１２２は、背景差分リファイメントを行う。すなわち、背景差分リファイメント処理部１２２は、シルエット画像１５３に、シャドウマップ１６１を適用することで、シルエット画像１５３を整形し、影除去処理後のシルエット画像１６２を生成する。
また、ToFカメラや、LIDAR、レーザなどのアクティブセンサを導入し、アクティブセンサによって得られるデプス画像を用いることによっても、影除去処理を行うことが可能である。なお、この手法では、影は撮像されないため、シャドウマップは生成されない。
影除去処理部１０４は、カメラ位置から、背景への距離を表す背景デプス画像と、前景への距離と、背景への距離を表す前景背景デプス画像を用いて、デプス差分によるデプス差分のシルエット画像を生成する。また、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、デプス画像から得られる前景までへの奥行き距離の画素を１とし、それ以外の距離の画素を０とし、有効距離を示す有効距離マスクを生成する。
影除去処理部１０４は、デプス差分のシルエット画像を、有効距離マスクでマスキングすることで、影がないシルエット画像を生成する。すなわち、影除去処理後のシルエット画像１６２と同等のシルエット画像が生成される。
図６の説明に戻り、モデリング処理部１０５は、各視点の２次元画像データおよびデプスデータ、影除去処理後のシルエット画像、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。モデリング処理部１０５は、各シルエット画像を、もとの３次元空間に逆投影して、それぞれの視体積の交差部分（Visual Hull）を求める。
メッシュ作成部１０６は、モデリング処理部１０５により求められたVisual Hullに対して、メッシュを作成する。
テクスチャマッピング部１０７は、作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュの２次元画像データとを被写体のテクスチャマッピング後の３次元モデルとして生成し、変換部６１に供給する。
図９は、変換装置３２の変換部６１の構成例を示すブロック図である。
変換部６１は、カメラ位置決定部１８１、２次元データ生成部１８２、およびシャドウマップ決定部１８３により構成される。画像処理部５１から供給された３次元モデルは、カメラ位置決定部１８１に入力される。
カメラ位置決定部１８１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定し、カメラ位置とカメラパラメータを表す情報を２次元データ生成部１８２とシャドウマップ決定部１８３に供給する。
２次元データ生成部１８２は、カメラ位置決定部１８１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデルに対応する３次元物体の透視投影を行う。
具体的には、各画素の２次元位置に対応する行列m’とワールド座標系の３次元座標に対応する行列Mの関係は、カメラの内部パラメータAと外部パラメータR|tを用いて、以下の式（１）により表現される。
Figure 2019031259
式（１）は、より詳細には式（２）で表現される。
Figure 2019031259
式（２）において、（u,v）は画像上の２次元座標であり、fx,fyは、焦点距離である。また、Cx,Cyは、主点であり、r１１乃至r１３,r２１乃至r２３,r３１乃至r３３、およびｔ１乃至ｔ３は、パラメータであり、（X,Y,Z）は、ワールド座標系の３次元座標である。
したがって、２次元データ生成部１８２は、上述した式（１）や（２）により、カメラパラメータを用いて、各画素の２次元座標に対応する３次元座標を求める。
そして、２次元データ生成部１８２は、視点ごとに、３次元モデルの各画素の２次元座標に対応する３次元座標の２次元画像データを、各画素の２次元画像データにする。すなわち、２次元データ生成部１８２は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
また、２次元データ生成部１８２は、視点ごとに、３次元モデルの各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、各画素の２次元座標とデプスを対応付けるデプスデータを生成する。すなわち、２次元データ生成部１８２は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付けるデプスデータを生成する。デプスは、例えば、被写体の奥行き方向の位置ｚの逆数1/zとして表される。２次元データ生成部１８２は、各視点の２次元画像データとデプスデータを符号化部７１に供給する。
２次元データ生成部１８２は、カメラ位置決定部１８１から供給されるカメラパラメータに基づいて、画像処理部５１から供給される３次元モデルからオクルージョン３次元データを抽出し、オプションの３次元モデルとして符号化部７１に供給する。
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置のシャドウマップを決定する。
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置が撮像時のカメラ位置と同じ位置である場合、撮像時のカメラ位置のシャドウマップを、撮像時のシャドウマップとして符号化部７１に供給する。
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置が撮像時のカメラ位置と同じ位置ではない場合、補間シャドウマップ生成部として機能し、仮想視点のカメラ位置のシャドウマップを生成する。すなわち、シャドウマップ決定部１８３は、仮想視点のカメラ位置を視点補間により推定し、仮想視点のカメラ位置に応じた影を設定することによってシャドウマップを生成する。
図１０は、仮想視点のカメラ位置の例を示す図である。
図１０には、３次元モデル１７０の位置を中心として、撮像時のカメラを表すカメラ１０−１乃至１０−４の位置が示されている。また、カメラ１０−１の位置とカメラ１０−２の位置との間に、仮想視点のカメラ位置１７１−１乃至１７１−４が示されている。カメラ位置決定部１８１においては、このような仮想視点のカメラ位置１７１−１乃至１７１−４が適宜決定される。
３次元モデル１７０の位置が既知であれば、カメラ位置１７１−１乃至１７１−４を定義し、視点補間により、仮想視点のカメラ位置の画像である仮想視点画像を生成することができる。このとき、仮想視点のカメラ位置１７１−１乃至１７１−４は、実在するカメラ１０の位置の間を理想とし（それ以外の位置でも可能であるが、オクルージョンが発生する可能性がある）、実在するカメラ１０で撮像された情報を元に、視点補間により、仮想視点画像が生成される。
図１０においては、カメラ１０−１とカメラ１０−２の位置の間にしか仮想視点のカメラ位置１７１−１乃至１７１−４が示されていないが、カメラ位置１７１の個数、位置ともに自由である。例えば、カメラ１０−２とカメラ１０−３との間、カメラ１０−３とカメラ１０−４との間、カメラ１０−４とカメラ１０−１との間に仮想視点のカメラ位置１７１−Ｎを設定することができる。
シャドウマップ決定部１８３は、このようにして設定した仮想視点における仮想視点画像に基づいて上述したようにしてシャドウマップを生成し、符号化部７１に供給する。
＜＜３．復号システムの各装置の構成例＞＞
ここで、復号システム１２の各装置の構成について説明する。
図１１は、復号システム１２を構成する、復号装置４１、変換装置４２、および３次元データ表示装置４３の構成例を示すブロック図である。
復号装置４１は、受信部２０１および復号部２０２により構成される。
受信部２０１は、符号化システム１１から伝送されてくる符号化ストリームを受信し、復号部２０２に供給する。
復号部２０２は、受信部２０１により受信された符号化ストリームを、符号化装置３３における符号化方式に対応する方式で復号する。復号部２０２は、復号することによって得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。上述したように、投影空間データも符号化されている場合、復号される。
変換装置４２は、変換部２０３により構成される。変換部２０３は、変換装置４２として上述したように、選択した所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプスデータに基づいて、３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。生成された表示画像データは、３次元データ表示装置４３に供給される。
３次元データ表示装置４３は、表示部２０４により構成される。表示部２０４は、３次元データ表示装置４３として上述したように、２次元ヘッドマウントディスプレイや２次元モニタ、３次元ヘッドマウントディスプレイや３次元モニタ、プロジェクタなどにより構成される。表示部２０４は、変換部２０３から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
図１２は、変換装置４２の変換部２０３の構成例を示すブロック図である。図１２では、３次元モデルを投影する投影空間が撮像時と同じ場合、すなわち、符号化システム１１側から送られてきた投影空間データを用いる場合の構成例が示されている。
変換部２０３は、モデリング処理部２２１、投影空間モデル生成部２２２、および投影部２２３により構成される。モデリング処理部２２１に対しては、復号部２０２から供給された、複数視点のカメラパラメータ、２次元画像データ、デプスデータが入力される。また、投影空間モデル生成部２２２に対しては、復号部２０２から供給された、投影空間データとシャドウマップが入力される。
モデリング処理部２２１は、復号部２０２からの複数視点のカメラパラメータ、２次元画像データ、デプスデータから、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを選択する。モデリング処理部２２１は、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを用いてVisual Hull等によるモデリングを行い、被写体の３次元モデルを生成（復元）する。生成された被写体の３次元モデルは、投影部２２３に供給される。
投影空間モデル生成部２２２は、符号化側でも説明したように、復号部２０２から供給された投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、投影部２２３に供給する。
投影空間データは、部屋などの投影空間の３次元モデルと、そのテクスチャデータである。テクスチャデータは、部屋の画像データ、撮像時に用いられた背景画像データ、または３次元モデルとセットのテクスチャデータからなる。
投影空間データは、符号化システム１１からの投影空間データでなくても、宇宙、街、ゲーム空間など、復号システム１２側で設定された、任意の空間の３次元モデルとテクスチャデータからなるデータであってもよい。
図１３は、投影空間の３次元モデル生成処理について説明する図である。
投影空間モデル生成部２２２は、投影空間データを用いて、所望の投影空間の３次元モデルにテクスチャマッピングを行うことによって、図１３の中央に示すような３次元モデル２４２を生成する。また、投影空間モデル生成部２２２は、３次元モデル２４２に対して、図１３の左端に示すようなシャドウマップ２４１に基づいて生成した影の画像を付加することにより、図１３の右端に示すような、影２４３ａが付加された投影空間の３次元モデル２４３を生成する。
投影空間の３次元モデルが、ユーザにより手動で生成されるようにしてもよいし、ダウンロードされるようにしてもよい。また、設計図などから自動生成されるようにしてもよい。
また、テクスチャマッピングについても、手動で行われるようにしてもよいし、３次元モデルを元にテクスチャが自動的に貼りつけられるようにしてもよい。３次元モデルとテクスチャが一体化しているものについては、そのまま使用されるようにしてもよい。
撮像時の背景画像データは、少ない台数のカメラで撮像した場合、３次元モデル空間に対応するデータがなく、テクスチャマッピングは一部しかできない。撮像時のカメラの台数が多い場合、３次元モデル空間をカバーしていることが多く、三角測量を用いた奥行き推定に基づくテクスチャマッピングが可能である。したがって、撮像時の背景画像データが十分にある場合には、その背景画像データを用いてテクスチャマッピングが行われるようにしてもよい。このとき、シャドウマップからテクスチャデータに影情報を付加してからテクスチャマッピングが行われるようにしてもよい。
投影部２２３は、投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。投影部２２３は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
生成された２次元画像データは、表示画像データとして、表示部２０４に供給される。表示部２０４においては、表示画像データに対応する表示画像の表示が行われる。
＜＜４．符号化システムの動作例＞＞
ここで、以上のような構成を有する各装置の動作について説明する。
まず、図１４のフローチャートを参照して、符号化システム１１の処理について説明する。
ステップＳ１１において、３次元データ撮像装置３１は、内蔵するカメラ１０で被写体の撮像処理を行う。この撮像処理については、図１５のフローチャートを参照して後述される。
ステップＳ１１では、撮像されたカメラ１０の視点の２次元画像データに影除去処理が施され、影除去処理が施されたカメラ１０の視点の２次元画像データと、デプスデータから被写体の３次元モデルが生成される。生成された３次元モデルは、変換装置３２に供給される。
ステップＳ１２において、変換装置３２は、変換処理を行う。この変換処理については、図１８のフローチャートを参照して後述される。
ステップＳ１２では、被写体の３次元モデルに基づいて、カメラ位置が決定され、決定されたカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータが生成される。すなわち、変換処理においては、被写体の３次元モデルが、２次元画像データおよびデプスデータに変換される。
ステップＳ１３において、符号化装置３３は、符号化処理を行う。この符号化処理については、図１９のフローチャートを参照して後述される。
ステップＳ１３では、変換装置３２からのカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップが符号化されて、復号システム１２に伝送される。
次に、図１５のフローチャートを参照して、図１４のステップＳ１１の撮像処理について説明する。
ステップＳ５１において、カメラ１０は、被写体の撮像を行う。カメラ１０の撮像部は、被写体の動画像の２次元画像データを撮像する。カメラ１０の距離測定器は、カメラ１０と同一の視点のデプスデータを生成する。これらの２次元画像データおよびデプスデータは、カメラキャリブレーション部１０１に供給される。
ステップＳ５２において、カメラキャリブレーション部１０１は、各カメラ１０から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション後の２次元画像データは、フレーム同期部１０２に供給される。
ステップＳ５３において、カメラキャリブレーション部１０１は、カメラパラメータを、変換装置３２の変換部６１に供給する。
ステップＳ５４において、フレーム同期部１０２は、カメラ１０−１乃至１０−Ｎのうちの１つを基準カメラとし、残りを参照カメラとして、参照カメラの２次元画像データのフレームを、基準カメラの２次元画像データのフレームに同期させる。同期後の２次元画像のフレームは、背景差分処理部１０３に供給される。
ステップＳ５５において、背景差分処理部１０３は、２次元画像データに対して、背景差分処理を行い、前景＋背景画像であるカメラ画像から、背景画像を引くことで、被写体（前景）を抽出するためのシルエット画像を生成する。
ステップＳ５６において、影除去処理部１０４は、影除去処理を行う。この影除去処理については、図１６のフローチャートを参照して後述される。
ステップＳ５６では、シャドウマップが生成され、シルエット画像に、生成されたシャドウマップを適用することで、影除去処理が施されたシルエット画像が生成される。
ステップＳ５７において、モデリング処理部１０５およびメッシュ作成部１０６は、メッシュ作成を行う。モデリング処理部１０５は、各カメラ１０の視点の２次元画像データおよびデプスデータ、影除去処理後のシルエット画像、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行い、Visual Hullを求める。メッシュ作成部１０６は、モデリング処理部１０５からのVisual Hullに対して、メッシュを作成する。
ステップＳ５８において、テクスチャマッピング部１０７は、作成されたメッシュを構成する各点の３次元位置と各点のつながりを示す幾何情報と、そのメッシュの２次元画像データとを被写体のテクスチャマッピング後の３次元モデルとして生成し、変換部６１に供給する。
次に、図１６のフローチャートを参照して、図１５のステップＳ５６の影除去処理を説明する。
ステップＳ７１において、影除去処理部１０４のシャドウマップ生成部１２１は、カメラ画像１５２（図７）をSuper Pixelに分割する。
ステップＳ７２において、シャドウマップ生成部１２１は、分割されたSuper Pixelのうち、背景差分時に弾かれたSuper Pixelと、影として残ったSuper Pixelの類似性を確認する。
ステップＳ７３において、シャドウマップ生成部１２１は、シルエット画像１５３に残った領域、かつ、SLIC処理により床と判定された領域を、影として、シャドウマップ１６１（図８）を生成する。
ステップＳ７４において、背景差分リファイメント処理部１２２は、背景差分リファイメントを行い、シルエット画像１５３に、シャドウマップ１６１を適応する。これにより、シルエット画像１５３が整形され、影除去処理後のシルエット画像１６２が生成される。
背景差分リファイメント処理部１２２は、カメラ画像１５２を、影除去処理後のシルエット画像１６２でマスキングする。これにより、影除去処理後の被写体の画像が生成される。
図１６を参照して上述した影除去処理の手法は、一例であり、他の手法が用いられてもよい。例えば、次に説明する影除去処理を用いるようにしてもよい。
次に、図１７のフローチャートを参照して、図１５のステップＳ５６の影除去処理の他の例を説明する。なお、この処理は、ToFカメラや、LIDAR、レーザなどのアクティブセンサを導入し、影除去処理に、アクティブセンサのデプス画像を用いる場合の例である。
ステップＳ８１において、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、デプス差分のシルエット画像を生成する。
ステップＳ８２において、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、有効距離マスクを生成する。
ステップＳ８３において、影除去処理部１０４は、デプス差分のシルエット画像を、有効距離マスクでマスキングすることで、影がないシルエット画像を生成する。すなわち、影除去処理後のシルエット画像１６２が生成される。
次に、図１８のフローチャートを参照して、図１４のステップＳ１２の変換処理について説明する。カメラ位置決定部１８１には、画像処理部５１から３次元モデルが供給される。
ステップＳ１０１において、カメラ位置決定部１８１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定する。カメラパラメータは、２次元データ生成部１８２およびシャドウマップ決定部１８３に供給される。
ステップＳ１０２において、シャドウマップ決定部１８３は、カメラ位置が、撮像時と同じカメラ位置であるか否かを判定する。ステップＳ１０２において、撮像時と同じカメラ位置であると判定された場合、処理は、ステップＳ１０３に進む。
ステップＳ１０３において、シャドウマップ決定部１８３は、撮像時のカメラ位置のシャドウマップとして、撮像時のシャドウマップを、符号化装置３３に供給する。
ステップＳ１０２において、撮像時と同じカメラ位置ではないと判定された場合、処理は、ステップＳ１０４に進む。
ステップＳ１０４において、シャドウマップ決定部１８３は、仮想視点のカメラ位置を、視点補間により推定し、仮想視点のカメラ位置の影を生成する。
ステップＳ１０５において、シャドウマップ決定部１８３は、仮想視点のカメラ位置の影により得られる仮想視点のカメラ位置のシャドウマップを、符号化装置３３に供給する。
ステップＳ１０６において、２次元データ生成部１８２は、カメラ位置決定部１８１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデルに対応する３次元物体の透視投影を行い、上述したように、２次元データ（２次元画像データおよびデプスデータ）を生成する。
以上のようにして、生成された２次元画像データおよびデプスデータは、符号化部７１に供給され、カメラパラメータも、シャドウマップも、符号化部７１に供給される。
次に、図１９のフローチャートを参照して、図１４のステップＳ１３の符号化処理を説明する。
ステップＳ１２１において、符号化部７１は、変換部６１から供給されるカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。カメラパラメータおよびシャドウマップは、メタデータとして符号化される。
オクルージョンなどの３次元データがある場合、２次元画像データ、デプスデータと符号化される。投影空間データがある場合も、メタデータとして、コンピュータなど、外部の装置などから、符号化部７１に供給され、符号化部７１で符号化される。
符号化部７１は、符号化ストリームを伝送部７２に供給する。
ステップＳ１２２において、伝送部７２は、符号化部７１から供給される符号化ストリームを復号システム１２に伝送する。
＜＜５．復号システムの動作例＞＞
次に、図２０のフローチャートを参照して、復号システム１２の処理について説明する。
ステップＳ２０１において、復号装置４１は、符号化ストリームを受信し、符号化装置３３における符号化方式に対応する方式で復号する。復号処理の詳細については、図２１のフローチャートを参照して後述される。
復号装置４１は、その結果得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。
ステップＳ２０２において、変換装置４２は、変換処理を行う。すなわち、変換装置４２は、復号装置４１から供給されるメタデータと復号システム１２の表示画像生成方式に基づいて、所定の視点の２次元画像データとデプスデータに基づいて、３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。変換処理の詳細については、図２２のフローチャートを参照して後述される。
変換装置４２により生成された表示画像データは、３次元データ表示装置４３に供給される。
ステップＳ２０３において、３次元データ表示装置４３は、変換装置４２から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
次に、図２１のフローチャートを参照して、図２０のステップＳ２０１の復号処理について説明する。
ステップＳ２２１において、受信部２０１は、伝送部７２から伝送されてくる符号化ストリームを受信し、復号部２０２に供給する。
ステップＳ２２２において、復号部２０２は、受信部２０１により受信された符号化ストリームを、符号化部７１における符号化方式に対応する方式で復号する。復号部２０２は、その結果得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換部２０３に供給する。
次に、図２２のフローチャートを参照して、図２１のステップＳ２０２の変換処理について説明する。
ステップＳ２４１において、変換部２０３のモデリング処理部２２１は、選択された所定の視点の２次元画像データ、デプスデータ、カメラパラメータを用いて、被写体の３次元モデルを生成（復元）する。被写体の３次元モデルは、投影部２２３に供給される。
ステップＳ２４２において、投影空間モデル生成部２２２は、復号部２０２からの投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、投影部２２３に供給する。
ステップＳ２４３において、投影部２２３は、投影空間の３次元モデルと被写体の３次元モデル対応する３次元物体の透視投影を行う。投影部２２３は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
上記説明においては、投影空間が撮像時と同じ場合、すなわち、符号化システム１１側から送られてきた投影空間データを用いる場合について説明してきたが、次に、復号システム１２側で生成する例について説明する。
＜＜６．復号システムの変形例＞＞
図２３は、復号システム１２の変換装置４２の変換部２０３の他の構成例を示すブロック図である。
図２３の変換部２０３は、モデリング処理部２６１、投影空間モデル生成部２６２、影生成部２６３、および投影部２６４により構成される。
モデリング処理部２６１は、図１２のモデリング処理部２２１と基本的に同様に構成される。モデリング処理部２６１は、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを用いて、Visual Hull等によるモデリングを行い、被写体の３次元モデルを生成する。生成された被写体の３次元モデルは、影生成部２６３に供給される。
投影空間モデル生成部２６２には、例えば、ユーザにより選択された投影空間のデータが入力される。投影空間モデル生成部２６２は、入力された投影空間データを用いて、投影空間の３次元モデルを生成し、投影空間の３次元モデルとして、影生成部２６３に供給する。
影生成部２６３は、モデリング処理部２６１からの被写体の３次元モデルと、投影空間モデル生成部２６２からの投影空間の３次元モデルとを用いて、投影空間における光源の位置から影を生成する。一般的なCG(Computer Graphics)における影の生成方法は、UnityやUnreal Engineなどのゲームエンジンにおけるライティング手法などでよく知られている。
影が生成された投影空間の３次元モデルおよび被写体の３次元モデルは、投影部２６４に供給される。
投影部２６４は、影が生成された投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。
次に、図２４のフローチャートを参照して、図２３の変換部２０３の場合の図２０のステップＳ２０２における変換処理について説明する。
ステップＳ２６１において、モデリング処理部２６１は、選択された所定の視点の２次元画像データ、デプスデータ、カメラパラメータを用いて、被写体の３次元モデルを生成する。被写体の３次元モデルは、影生成部２６３に供給される。
ステップＳ２６２において、投影空間モデル生成部２６２は、復号部２０２からの投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、影生成部２６３に供給する。
ステップＳ２６３において、影生成部２６３は、モデリング処理部２６１からの被写体の３次元モデルと、投影空間モデル生成部２６２からの投影空間の３次元モデルとを用いて、投影空間における光源の位置から影を生成する。
ステップＳ２６４において、投影部２６４は、投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。
以上のように、本技術においては、３次元モデルと影とを分離し、別々に伝送するようにしたので、表示側において、影の除去、付加を選択することができる。
３次元モデルを撮像時とは別の３次元空間に投影したときに、撮像時の影が用いられないことで、影を自然に表示することができる。
３次元モデルを撮像時と同じ３次元空間に投影したときに、自然な影を表示することができる。このとき、伝送されているので、光源から影を生成する手間を省くことができる。
影は、ぼけていてもよく、低解像度でもよいので、２次元画像データと比較して非常に小さい容量で伝送することが可能である。
図２５は、２種類の影の例を示す図である。
「かげ」には、影(shadow)と陰(shade)の２種類ある。
環境光３０１がオブジェクト３０２を照射することで、影３０３と陰３０４ができる。
影３０３は、オブジェクト３０２に付属するものであり、オブジェクト３０２が環境光３０１により照射されるとき、オブジェクト３０２が環境光３０１を遮ることで発生するものである。陰３０４は、オブジェクト３０２が環境光３０１により照射されるとき、オブジェクト３０２において、環境光３０１により光源と反対側にできるものである。
本技術は、影にも陰にも適用することができる。したがって、本明細書で、影と陰とを区別しない場合、影と称し、陰を含むようにする。
図２６は、影または陰を付けた場合、影または陰を付けない場合の効果例を示す図である。Onは、影および影の少なくともどちらか一方を付けた場合の効果を示し、陰のoffは、陰を付けない場合の効果を示し、影のoffは、影を付けない場合の効果を示している。
影および影の少なくともどちらか一方を付けた場合、実写再現やリアリスティックな表現などに効果がある。
陰を付けない場合、顔やオブジェクトに落書きするとき、陰影を変えるとき、実写撮像したものをCGで表現するときに効果がある。
すなわち、顔の陰、腕や洋服、人物が物を持ったときの陰など、陰と３次元モデルが共存している状態において、３次元モデル表示時に影の情報をオフにする。これにより、落書きや陰影を変えることがやりやすくなるので、３次元モデルのテクスチャを容易に編集することができる。
例えば、顔の茶色の陰を消したいが、撮像時にハイライト撮像など避けたい場合、陰を強調させてから除去することで、顔から、陰を消すことができる。
一方、影を付けない場合、スポーツ解析、AR表現、物体重畳時に効果がある。
すなわち、影と３次元モデルを別々に送ることで、スポーツ解析時などの選手のテクスチャが付加された３次元モデル表示時、または選手のAR表示時に、影の情報をオフにすることができる。なお、すでに市販されているスポーツ解析ソフトウエアでも２次元の選手と選手に関する情報を出力可能であるが、この場合、選手の足元には、影が存在する。
本技術のように、影の情報をオフにした状態で、選手に関する情報や軌跡などを描画したほうが、スポーツ解析時には、見やすくて有効である。サッカーやバスケットボールの試合の場合、複数選手（オブジェクト）が前提であり、影除去により他のオブジェクトの邪魔にならない。
一方、実写で映像を視聴する際には、影があったほうが自然でリアルである。
以上より、本技術によれば、影の有無を選択できるので、ユーザにとって利便性がよい。
＜＜７．符号化システムおよび復号システムの他の構成例＞＞
図２７は、符号化システムおよび復号システムの他の構成例を示すブロック図である。図２７に示す構成のうち、図５または図１１を参照して説明した構成と同じ構成については同じ符号を付してある。重複する説明については適宜省略する。
図２７の符号化システム１１は、３次元データ撮像装置３１および符号化装置４０１から構成される。符号化装置４０１は、変換部６１、符号化部７１、および伝送部７２から構成される。すなわち、図２７の符号化装置４０１の構成は、図５の符号化装置３３の構成に、図５の変換装置３２の構成を加えた構成となっている。
図２７の復号システム１２は、復号装置４０２、および３次元データ表示装置４３から構成される。復号装置４０２は、受信部２０１、復号部２０２、および変換部２０３から構成される。すなわち、図２７の復号装置４０２は、図１１の復号装置４１の構成に、図１１の変換装置４２の構成を加えた構成となっている。
＜＜８．符号化システムおよび復号システムの他の構成例＞＞
図２８は、符号化システムおよび復号システムのさらに他の構成例を示すブロック図である。図２８に示す構成のうち、図５または図１１を参照して説明した構成と同じ構成については同じ符号を付してある。重複する説明については適宜省略する。
図２８の符号化システム１１は、３次元データ撮像装置４５１および符号化装置４５２から構成される。３次元データ撮像装置４５１は、カメラ１０で構成される。符号化装置４０１は、画像処理部５１、変換部６１、符号化部７１、および伝送部７２から構成される。すなわち、図２８の符号化装置４５２の構成は、図２７の符号化装置４０１の構成に、図５の３次元データ撮像装置３１の画像処理部５１を加えた構成となっている。
図２８の復号システム１２は、図２７の構成と同様に、復号装置４０２、および３次元データ表示装置４３から構成される。
以上のように、符号化システム１１および復号システム１２において、各部は、どの装置に含まれていてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
＜＜９．コンピュータの例＞＞
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ６００において、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、およびドライブ６１０が接続されている。
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６１１を駆動する。
以上のように構成されるコンピュータ６００では、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５およびバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ６００（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ６００では、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
本技術は、以下のような構成をとることもできる。
（１） 複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部と
を備える画像処理装置。
（２） 前記各視点画像に対して前記影除去処理を施す影除去処理部をさらに備え、
前記伝送部は、前記影除去処理により除去された影の情報を、各視点における前記影情報として伝送する
前記（１）に記載の画像処理装置。
（３） 撮像時のカメラ位置以外の位置を仮想視点として、前記仮想視点における前記影情報を生成する影情報生成部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４） 撮像時の前記カメラ位置に基づいて視点補間を行うことによって前記仮想視点を推定し、前記仮想視点における前記影情報を生成する
前記（３）に記載の画像処理装置。
（５） 前記生成部は、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける前記２次元画像データを生成し、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付ける前記デプスデータを生成する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記被写体が写る表示画像の生成側においては、前記２次元画像データと前記デプスデータに基づいて前記３次元モデルを復元し、仮想的な空間である投影空間に前記３次元モデルを投影することによって前記表示画像の生成が行われ、
前記伝送部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを伝送する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する
画像処理方法。
（８） 複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部と
を備える画像処理装置。
（９） 前記表示画像生成部は、仮想的な空間である投影空間に前記被写体の前記３次元モデルを投影することによって、前記所定の視点の前記表示画像を生成する
前記（８）に記載の画像処理装置。
（１０） 前記表示画像生成部は、前記所定の視点における前記被写体の影を前記影情報に基づいて付加し、前記表示画像を生成する
前記（９）に記載の画像処理装置。
（１１） 前記影情報は、前記影除去処理により除去された、各視点における前記被写体の影の情報、または、撮像時のカメラ位置以外の位置を仮想視点として生成された、前記仮想視点における前記被写体の影の情報である
前記（９）または（１０）に記載の画像処理装置。
（１２） 前記受信部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを受信し、
前記表示画像生成部は、前記投影空間データにより表される前記投影空間に前記被写体の前記３次元モデルを投影することによって、前記表示画像を生成する
前記（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記投影空間における光源の情報に基づいて、前記被写体の影の情報を生成する影情報生成部をさらに備え、
前記表示画像生成部は、生成された前記被写体の影を前記投影空間の３次元モデルに付加して、前記表示画像を生成する
前記（９）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記表示画像生成部は、３次元画像の表示、または、２次元画像の表示に用いられる前記表示画像を生成する
前記（８）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する
画像処理方法。
１ 自由視点映像伝送システム， １０−１乃至１０−Ｎ カメラ， １１ 符号化システム， １２ 復号システム， ３１ ２次元データ撮像装置， ３２ 変換装置， ３３ 符号化装置， ４１ 復号装置， ４２ 変換装置， ４３ ３次元データ表示装置， ５１ 画像処理部， １６ 変換部， ７１ 符号化部， ７２ 伝送部， １０１ カメラキャリブレーション部， １０２ フレーム同期部， １０３ 背景差分処理部， １０４ 影除去処理部， １０５ モデリング処理部， １０６ メッシュ作成部， １０７ テクスチャマッピング部， １２１ シャドウマップ生成部， １２２ 背景差分リファイメント処理部， １８１ カメラ位置決定部， １８２ ２次元データ生成部， １８３ シャドウマップ決定部， １７０ ３次元モデル， １７１−１乃至１７１−Ｎ 仮想カメラ位置， ２０１ 受信部， ２０２ 復号部， ２０３ 変換部， ２０４ 表示部， ２２１ モデリング処理部， ２２２ 投影空間モデル生成部， ２２３ 投影部， ２６１ モデリング処理部， ２６２ 投影空間モデル生成部， ２６３ 影生成部， ２６４ 投影部， ４０１ 符号化装置， ４０２ 復号装置， ４５１ ３次元データ撮像装置， ４５２ 符号化装置

Claims (15)

  1. 複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、
    前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部と
    を備える画像処理装置。
  2. 前記各視点画像に対して前記影除去処理を施す影除去処理部をさらに備え、
    前記伝送部は、前記影除去処理により除去された影の情報を、各視点における前記影情報として伝送する
    請求項１に記載の画像処理装置。
  3. 撮像時のカメラ位置以外の位置を仮想視点として、前記仮想視点における前記影情報を生成する影情報生成部をさらに備える
    請求項１に記載の画像処理装置。
  4. 前記影情報生成部は、撮像時の前記カメラ位置に基づいて視点補間を行うことによって前記仮想視点を推定し、前記仮想視点における前記影情報を生成する
    請求項３に記載の画像処理装置。
  5. 前記生成部は、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける前記２次元画像データを生成し、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付ける前記デプスデータを生成する
    請求項１に記載の画像処理装置。
  6. 前記被写体が写る表示画像の生成側においては、前記２次元画像データと前記デプスデータに基づいて前記３次元モデルを復元し、仮想的な空間である投影空間に前記３次元モデルを投影することによって前記表示画像の生成が行われ、
    前記伝送部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを伝送する
    請求項１に記載の画像処理装置。
  7. 画像処理装置が、
    複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、
    前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する
    画像処理方法。
  8. 複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、
    前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部と
    を備える画像処理装置。
  9. 前記表示画像生成部は、仮想的な空間である投影空間に前記被写体の前記３次元モデルを投影することによって、前記所定の視点の前記表示画像を生成する
    請求項８に記載の画像処理装置。
  10. 前記表示画像生成部は、前記所定の視点における前記被写体の影を前記影情報に基づいて付加し、前記表示画像を生成する
    請求項９に記載の画像処理装置。
  11. 前記影情報は、前記影除去処理により除去された、各視点における前記被写体の影の情報、または、撮像時のカメラ位置以外の位置を仮想視点として生成された、前記仮想視点における前記被写体の影の情報である
    請求項９に記載の画像処理装置。
  12. 前記受信部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを受信し、
    前記表示画像生成部は、前記投影空間データにより表される前記投影空間に前記被写体の前記３次元モデルを投影することによって、前記表示画像を生成する
    請求項９に記載の画像処理装置。
  13. 前記投影空間における光源の情報に基づいて、前記被写体の影の情報を生成する影情報生成部をさらに備え、
    前記表示画像生成部は、生成された前記被写体の影を前記投影空間の３次元モデルに付加して、前記表示画像を生成する
    請求項９に記載の画像処理装置。
  14. 前記表示画像生成部は、３次元画像の表示、または、２次元画像の表示に用いられる前記表示画像を生成する
    請求項８に記載の画像処理装置。
  15. 画像処理装置が、
    複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、
    前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する
    画像処理方法。
JP2019535096A 2017-08-08 2018-07-26 画像処理装置および方法 Active JP7003994B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017153129 2017-08-08
JP2017153129 2017-08-08
PCT/JP2018/028033 WO2019031259A1 (ja) 2017-08-08 2018-07-26 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2019031259A1 true JPWO2019031259A1 (ja) 2020-09-10
JP7003994B2 JP7003994B2 (ja) 2022-01-21

Family

ID=65271035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535096A Active JP7003994B2 (ja) 2017-08-08 2018-07-26 画像処理装置および方法

Country Status (4)

Country Link
US (1) US20210134049A1 (ja)
JP (1) JP7003994B2 (ja)
CN (1) CN110998669B (ja)
WO (1) WO2019031259A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7322460B2 (ja) * 2019-03-29 2023-08-08 凸版印刷株式会社 情報処理装置、三次元モデルの生成方法、及びプログラム
JP7352374B2 (ja) * 2019-04-12 2023-09-28 日本放送協会 仮想視点変換装置及びプログラム
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
CN112541972A (zh) * 2019-09-23 2021-03-23 华为技术有限公司 一种视点图像处理方法及相关设备
US20230063215A1 (en) * 2020-01-23 2023-03-02 Sony Group Corporation Information processing apparatus, information processing method, and program
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN111612882B (zh) 2020-06-10 2023-04-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及电子设备
CN111815750A (zh) * 2020-06-30 2020-10-23 深圳市商汤科技有限公司 对图像打光的方法及装置、电子设备和存储介质
JP2022067171A (ja) * 2020-10-20 2022-05-06 キヤノン株式会社 生成装置、生成方法、及び、プログラム
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质
US11922542B2 (en) * 2022-01-18 2024-03-05 Microsoft Technology Licensing, Llc Masking and compositing visual effects in user interfaces
JP2023153534A (ja) 2022-04-05 2023-10-18 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN117252789B (zh) * 2023-11-10 2024-02-02 中国科学院空天信息创新研究院 高分辨率遥感影像阴影重建方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324249A (ja) * 2001-02-26 2002-11-08 Nabura:Kk 画像表示システム及び方法
WO2017082076A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4468694A (en) * 1980-12-30 1984-08-28 International Business Machines Corporation Apparatus and method for remote displaying and sensing of information using shadow parallax
GB2223384B (en) * 1988-07-14 1992-05-06 Daikin Ind Ltd Method and apparatus for applying shadowing operation to figures to be drawn for displaying on crt-display
US5359704A (en) * 1991-10-30 1994-10-25 International Business Machines Corporation Method for selecting silhouette and visible edges in wire frame images in a computer graphics display system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6016150A (en) * 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
JP3635359B2 (ja) * 1995-11-09 2005-04-06 株式会社ルネサステクノロジ 透視投影計算装置および透視投影計算方法
WO1997018667A1 (fr) * 1995-11-14 1997-05-22 Sony Corporation Dispositif pour effets speciaux, procede de traitement d'images et procede de generation d'ombres
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
JP3467725B2 (ja) * 1998-06-02 2003-11-17 富士通株式会社 画像の影除去方法、画像処理装置及び記録媒体
JP3417883B2 (ja) * 1999-07-26 2003-06-16 コナミ株式会社 画像作成装置、画像作成方法、画像作成プログラムが記録されたコンピュータ読み取り可能な記録媒体およびビデオゲーム装置
JP3369159B2 (ja) * 2000-02-17 2003-01-20 株式会社ソニー・コンピュータエンタテインメント 画像描画方法、画像描画装置、記録媒体及びプログラム
US6760024B1 (en) * 2000-07-19 2004-07-06 Pixar Method and apparatus for rendering shadows
JP4443012B2 (ja) * 2000-07-27 2010-03-31 株式会社バンダイナムコゲームス 画像生成装置、方法および記録媒体
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7439975B2 (en) * 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7133083B2 (en) * 2001-12-07 2006-11-07 University Of Kentucky Research Foundation Dynamic shadow removal from front projection displays
WO2003054797A2 (en) * 2001-12-19 2003-07-03 Actuality Systems, Inc. A radiation conditioning system
JP4079410B2 (ja) * 2002-02-15 2008-04-23 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP3992629B2 (ja) * 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20080079737A1 (en) * 2003-11-19 2008-04-03 Reuven Bakalash Multi-mode parallel graphics rendering and display system supporting real-time detection of mode control commands (MCCS) programmed within pre-profiled scenes of the graphics-based application
US7961194B2 (en) * 2003-11-19 2011-06-14 Lucid Information Technology, Ltd. Method of controlling in real time the switching of modes of parallel operation of a multi-mode parallel graphics processing subsystem embodied within a host computing system
US8497865B2 (en) * 2006-12-31 2013-07-30 Lucid Information Technology, Ltd. Parallel graphics system employing multiple graphics processing pipelines with multiple graphics processing units (GPUS) and supporting an object division mode of parallel graphics processing using programmable pixel or vertex processing resources provided with the GPUS
JP4321287B2 (ja) * 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
US7508390B1 (en) * 2004-08-17 2009-03-24 Nvidia Corporation Method and system for implementing real time soft shadows using penumbra maps and occluder maps
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
CN101681438A (zh) * 2007-03-02 2010-03-24 有机运动公司 跟踪三维对象的系统和方法
JP4948218B2 (ja) * 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20080303748A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Remote viewing and multi-user participation for projections
US8619131B2 (en) * 2007-09-21 2013-12-31 Koninklijke Philips N.V. Method of illuminating a 3D object with a modified 2D image of the 3D object by means of a projector, and projector suitable for performing such a method
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
JP2010033296A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
IL196161A (en) * 2008-12-24 2015-03-31 Rafael Advanced Defense Sys Download shadows from images within a video signal
EP2234069A1 (en) * 2009-03-27 2010-09-29 Thomson Licensing Method for generating shadows in an image
JP2011087128A (ja) * 2009-10-15 2011-04-28 Fujifilm Corp 複眼カメラ及び被写体判別方法
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
KR101643612B1 (ko) * 2010-01-29 2016-07-29 삼성전자주식회사 촬영 방법 및 장치와 그 기록 매체
US8872824B1 (en) * 2010-03-03 2014-10-28 Nvidia Corporation System, method, and computer program product for performing shadowing utilizing shadow maps and ray tracing
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9013552B2 (en) * 2010-08-27 2015-04-21 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for scaling 3D images based on Z-depth information
ES2384732B1 (es) * 2010-10-01 2013-05-27 Telefónica, S.A. Método y sistema para segmentación de primer plano de imágenes en tiempo real.
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US20120146904A1 (en) * 2010-12-13 2012-06-14 Electronics And Telecommunications Research Institute Apparatus and method for controlling projection image
US9332156B2 (en) * 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
JP2012256214A (ja) * 2011-06-09 2012-12-27 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US20120313945A1 (en) * 2011-06-13 2012-12-13 Disney Enterprises, Inc. A Delaware Corporation System and method for adding a creative element to media
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
WO2013116347A1 (en) * 2012-01-31 2013-08-08 Google Inc. Method for improving speed and visual fidelity of multi-pose 3d renderings
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130329073A1 (en) * 2012-06-08 2013-12-12 Peter Majewicz Creating Adjusted Digital Images with Selected Pixel Values
US9600927B1 (en) * 2012-10-21 2017-03-21 Google Inc. Systems and methods for capturing aspects of objects using images and shadowing
US9025022B2 (en) * 2012-10-25 2015-05-05 Sony Corporation Method and apparatus for gesture recognition using a two dimensional imaging device
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9007372B2 (en) * 2012-12-26 2015-04-14 Adshir Ltd. System for primary ray shooting having geometrical stencils
US9041714B2 (en) * 2013-01-31 2015-05-26 Samsung Electronics Co., Ltd. Apparatus and method for compass intelligent lighting for user interfaces
US10074211B2 (en) * 2013-02-12 2018-09-11 Thomson Licensing Method and device for establishing the frontier between objects of a scene in a depth map
US9454845B2 (en) * 2013-03-14 2016-09-27 Dreamworks Animation Llc Shadow contouring process for integrating 2D shadow characters into 3D scenes
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) * 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
GB2520312A (en) * 2013-11-15 2015-05-20 Sony Corp A method, apparatus and system for image processing
GB2520311A (en) * 2013-11-15 2015-05-20 Sony Corp A method, device and computer software
US9519999B1 (en) * 2013-12-10 2016-12-13 Google Inc. Methods and systems for providing a preloader animation for image viewers
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
US9465361B2 (en) * 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
JP6493395B2 (ja) * 2014-04-30 2019-04-03 ソニー株式会社 画像処理装置と画像処理方法
US9547918B2 (en) * 2014-05-30 2017-01-17 Intel Corporation Techniques for deferred decoupled shading
US9576393B1 (en) * 2014-06-18 2017-02-21 Amazon Technologies, Inc. Dynamic rendering of soft shadows for interface elements
JP2016050972A (ja) * 2014-08-29 2016-04-11 ソニー株式会社 制御装置、制御方法、及びプログラム
US9639976B2 (en) * 2014-10-31 2017-05-02 Google Inc. Efficient computation of shadows for circular light sources
US10068369B2 (en) * 2014-11-04 2018-09-04 Atheer, Inc. Method and apparatus for selectively integrating sensory content
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
GB2533581B (en) * 2014-12-22 2016-12-07 Ibm Image processing
JP6625801B2 (ja) * 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6520406B2 (ja) * 2015-05-29 2019-05-29 セイコーエプソン株式会社 表示装置及び画質設定方法
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9710934B1 (en) * 2015-12-29 2017-07-18 Sony Corporation Apparatus and method for shadow generation of embedded objects
GB2546811B (en) * 2016-02-01 2020-04-15 Imagination Tech Ltd Frustum rendering
WO2017145788A1 (ja) * 2016-02-26 2017-08-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
US9846924B2 (en) * 2016-03-28 2017-12-19 Dell Products L.P. Systems and methods for detection and removal of shadows in an image
US10531064B2 (en) * 2016-04-15 2020-01-07 Canon Kabushiki Kaisha Shape reconstruction using electronic light diffusing layers (E-Glass)
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US10134174B2 (en) * 2016-06-13 2018-11-20 Microsoft Technology Licensing, Llc Texture mapping with render-baked animation
US10438370B2 (en) * 2016-06-14 2019-10-08 Disney Enterprises, Inc. Apparatus, systems and methods for shadow assisted object recognition and tracking
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
ES2756677T3 (es) * 2016-09-26 2020-04-27 Canon Kk Aparato de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa
WO2018059985A1 (en) * 2016-09-29 2018-04-05 Philips Lighting Holding B.V. Depth queue by thermal sensing
US10521664B2 (en) * 2016-11-04 2019-12-31 Loveland Innovations, LLC Systems and methods for autonomous perpendicular imaging of test squares
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10158939B2 (en) * 2017-01-17 2018-12-18 Seiko Epson Corporation Sound Source association
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
EP3352137A1 (en) * 2017-01-24 2018-07-25 Thomson Licensing Method and apparatus for processing a 3d scene
JP6812271B2 (ja) * 2017-02-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US10210664B1 (en) * 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US10417810B2 (en) * 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN114777681A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
JP7109907B2 (ja) * 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7184050B2 (ja) * 2017-12-01 2022-12-06 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、および復号方法
US10885701B1 (en) * 2017-12-08 2021-01-05 Amazon Technologies, Inc. Light simulation for augmented reality applications
JP7051457B2 (ja) * 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
TWI711966B (zh) * 2018-01-19 2020-12-01 宏達國際電子股份有限公司 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體
US10643336B2 (en) * 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
US10504282B2 (en) * 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US10699477B2 (en) * 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
WO2019210087A1 (en) * 2018-04-25 2019-10-31 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for testing visual function using virtual mobility tests
CN110533707B (zh) * 2018-05-24 2023-04-14 微软技术许可有限责任公司 照明估计
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理系统及影像处理方法
US10638151B2 (en) * 2018-05-31 2020-04-28 Verizon Patent And Licensing Inc. Video encoding methods and systems for color and depth data representative of a virtual reality scene
US10573067B1 (en) * 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
US10715784B2 (en) * 2018-08-24 2020-07-14 Verizon Patent And Licensing Inc. Methods and systems for preserving precision in compressed depth data representative of a scene
US10867404B2 (en) * 2018-08-29 2020-12-15 Toyota Jidosha Kabushiki Kaisha Distance estimation using machine learning
TWI699731B (zh) * 2018-09-11 2020-07-21 財團法人資訊工業策進會 影像處理方法與影像處理裝置
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10909713B2 (en) * 2018-10-25 2021-02-02 Datalogic Usa, Inc. System and method for item location, delineation, and measurement
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera
US10949978B2 (en) * 2019-01-22 2021-03-16 Fyusion, Inc. Automatic background replacement for single-image and multi-view captures
US10846920B2 (en) * 2019-02-20 2020-11-24 Lucasfilm Entertainment Company Ltd. LLC Creating shadows in mixed reality
US10762695B1 (en) * 2019-02-21 2020-09-01 Electronic Arts Inc. Systems and methods for ray-traced shadows of transparent objects
JP7391542B2 (ja) * 2019-06-04 2023-12-05 キヤノン株式会社 画像処理システム、画像処理方法、およびプログラム
GB2586157B (en) * 2019-08-08 2022-01-12 Toshiba Kk System and method for performing 3D imaging of an object
KR102625458B1 (ko) * 2019-08-27 2024-01-16 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
JP7451291B2 (ja) * 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20210407174A1 (en) * 2020-06-30 2021-12-30 Lucasfilm Entertainment Company Ltd. Rendering images for non-standard display devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324249A (ja) * 2001-02-26 2002-11-08 Nabura:Kk 画像表示システム及び方法
WO2017082076A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
山田健太郎，外２名: ""屋外大空間における自由視点映像生成を目的とした複数被写体の追跡に基づく分離"", 電子情報通信学会技術研究報告, vol. 112, no. 20, JPN6021047706, 2012, pages 63 - 68, ISSN: 0004649976 *
間瀬雄大，外４名: ""Ｌｏｗ−Ｒａｎｋ Ｓｐａｒｓｅ分解を用いたサッカー自由視点映像のための選手領域抽出"", ＩＭＰＳ ＩＭＡＧＥ ＭＥＤＩＡ ＰＲＯＣＥＳＳＩＮＧ ＳＹＭＰＯＳＩＵＭ ２０１５, JPN6021047707, 2015, pages 78 - 79, ISSN: 0004649975 *

Also Published As

Publication number Publication date
CN110998669A (zh) 2020-04-10
JP7003994B2 (ja) 2022-01-21
US20210134049A1 (en) 2021-05-06
CN110998669B (zh) 2023-12-08
WO2019031259A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
JP7003994B2 (ja) 画像処理装置および方法
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP7184050B2 (ja) 符号化装置、符号化方法、復号装置、および復号方法
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
JP2016537901A (ja) ライトフィールド処理方法
US11227428B2 (en) Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region
KR101458986B1 (ko) 키넥트 기반 실시간 다시점 영상 생성 방법
US10902554B2 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
KR20060021566A (ko) 전경체 사영영상과 가상외피에 기반한 가상시점 3차원 장면 재구성 방법 및 시스템
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
KR102292064B1 (ko) 얼굴의 스테레오 복원에서 에러 영역 마스킹을 위한 딥러닝 트레이닝 방법
US11627297B1 (en) Method for image processing of image data for a two-dimensional display wall with three-dimensional objects
WO2020209108A1 (ja) 画像処理装置、３ｄモデル生成方法、およびプログラム
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP2010152770A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213