JP7318698B2 - 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP7318698B2
JP7318698B2 JP2021188207A JP2021188207A JP7318698B2 JP 7318698 B2 JP7318698 B2 JP 7318698B2 JP 2021188207 A JP2021188207 A JP 2021188207A JP 2021188207 A JP2021188207 A JP 2021188207A JP 7318698 B2 JP7318698 B2 JP 7318698B2
Authority
JP
Japan
Prior art keywords
dimensional
voxel
model
coordinates
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021188207A
Other languages
English (en)
Other versions
JP2022082455A (ja
Inventor
イ ホォン
ジィア ハイジン
リィウ リイェヌ
ワン ウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2022082455A publication Critical patent/JP2022082455A/ja
Application granted granted Critical
Publication of JP7318698B2 publication Critical patent/JP7318698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は画像処理技術分野に係り、具体的には三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
表示技術や画像処理技術の急速な発展に伴い、表示装置を用いてシーン(三次元空間)を表示する三次元空間画像に対する需要がますます高まっている。三次元空間の三次元モデルを使用可能な構築方法は、三次元空間の二次元パノラマ画像に基づいて三次元空間の三次元モデルを取得し、表示段階において、取得された三次元空間の三次元モデルに基づいてシーンの三次元空間画像をレンダリングすることができる。
従来技術では、一枚のパノラマ画像から一つの三次元モデルを復元する時に、パノラマカメラに近いボクセルはより高い画質（視覚品質）を有する傾向があり、逆に、カメラから遠いボクセルは品質が悪い。
本発明の実施例が解決しようとする技術的問題は三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体に係り、構築された三次元モデルの品質を向上させることができる。
本発明の実施例の一態様は三次元モデルの構築方法に係り、パノラマカメラによりN個の異なる位置でそれぞれ同一空間を撮影して、1より大きい整数であるN枚のパノラマ画像を取得するステップと、各パノラマ画像によって一つの三次元モデルを生成して、N個の三次元モデルを取得するステップと、前記空間内の目標対象によって前記N個の三次元モデルにアライメントを行うステップと、アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出するステップと、前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行うステップと、を含む。
また、本発明の少なくとも一つの実施例によると、各パノラマ画像によって一つの三次元モデルを生成する前記ステップは、前記パノラマ画像において三面交点の二次元座標を検出し、前記二次元座標によって前記三面交点の三次元座標を計算することと、前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定し、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点であることと、前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定することと、を含む。
また、本発明の少なくとも一つの実施例によると、前記空間内の目標対象によって前記N個の三次元モデルにアライメントを行う前記ステップは、前記N枚のパノラマ画像において同一の目標対象を検出することと、各パノラマ画像において前記目標対象の二次元座標を計算することと、前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算することと、前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせることと、を含む。
また、本発明の少なくとも一つの実施例によると、アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する前記ステップは、アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点であることと、前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属することと、を含む。
また、本発明の少なくとも一つの実施例によると、いくつかの実施例では、前記所定閾値が5個のボクセルである。
また、本発明の少なくとも一つの実施例によると、前記参照モデルの少なくとも一部の第一ボクセルと前記基準三次元モデルの座標原点との間の三次元距離が、対応する第二ボクセルと前記基準三次元モデルの座標原点との間の三次元距離より小さい。
また、本発明の少なくとも一つの実施例によると、前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う前記ステップは、前記第一ボクセルが異質ボクセルに属する第一異質ボクセルを含み、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換することと、前記第一ボクセルが同質ボクセルに属する第一同質ボクセルを含み、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定することと、を含む。
また、本発明の少なくとも一つの実施例によると、N=2、前記N枚のパノラマ画像がそれぞれパノラマカメラA及びパノラマカメラBによって撮影され、パノラマカメラAが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、前記参照モデルにおける第一同質ボクセルの色値Cは下式によって決定される。
Figure 0007318698000001
ここで、dAは第一同質ボクセルとパノラマカメラAとの間の三次元距離であり、dBは第一同質ボクセルとパノラマカメラBとの間の三次元距離であり、αは予めに設定された重み付け係数であり、CAは第一同質ボクセルのオリジナル色値であり、CBはパノラマカメラBに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である。
本発明の実施例に係る別の態様によると、パノラマカメラによりN個の異なる位置でそれぞれ同一空間を撮影して、1より大きい整数であるN枚のパノラマ画像を取得する取得モジュールと、各パノラマ画像によって一つの三次元モデルを生成して、N個の三次元モデルを取得する三次元モデル生成モジュールと、前記空間内の目標対象によって前記N個の三次元モデルにアライメントを行うアライメントモジュールと、アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する検知モジュールと、前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う処理モジュールと、を含む。
また、本発明の少なくとも一つの実施例によると、前記三次元モデル生成モジュールは具体的に、前記パノラマ画像において三面交点の二次元座標を検出して、前記二次元座標によって前記三面交点の三次元座標を計算し、前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定して、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点であり、前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定する。
また、本発明の少なくとも一つの実施例によって、前記アライメントモジュールは具体的に、前記N枚のパノラマ画像において同一の目標対象を検出し、各パノラマ画像において前記目標対象の二次元座標を計算し、前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算し、前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる。
また、本発明の少なくとも一つの実施例によると、前記検知モジュールは具体的に、アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点であり、前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属する。
また、本発明の少なくとも一つの実施例によると、前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、前記第一ボクセルは同質ボクセルに属する第一同質ボクセルを含み、前記処理モジュールは具体的に、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換し、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
本発明の実施例はさらに三次元モデル構築装置に係り、メモリ、プロセッサーおよびメモリに格納されかつプロセッサーで実行可能なコンピュータプログラムを含み、前記コンピュータプログラムは前記プロセッサーに実行された場合、上記の三次元モデルの構築方法のステップを実現する。
本発明の実施例はさらに、コンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体にコンピュータプログラムが格納されて、前記コンピュータプログラムはプロセッサーに実行された場合、上記の３次元モデル構築方法のステップを実現する。
従来技術に比べて、本発明の実施例に係る三次元モデルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体は、同一空間の複数枚のパノラマ画像を取得して、複数枚のパノラマ画像によって三次元モデルを生成し、複数の三次元モデルにアライメントを行って、アライメントされた三次元モデルによって同質ボクセル及び異質ボクセルを検出し、異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、同質ボクセルに対して色値の強化を行うことで、高い画質の三次元モデルを得ることができる。
本発明の実施例の技術方案をより明確に説明するために、以下、本発明の実施例の説明に必要とされる添付図を簡単に紹介するが、明らかに、下記の図は本発明のいくつかの実施例のみであり、当業者にとって、高度な技術を必要としない前提において、これらの添付図によって他の添付図を得ることができる。
パノラマ画像により三次元モデルを回復する模式図である。 本発明の実施例に係る三次元モデル構築方法のフローチャートである。 本発明の実施例に係る異なる二箇所に設置されたパノラマカメラによって同一空間を撮影した二枚のパノラマ画像である。 本発明の実施例に係るパノラマ画像を利用して三次元モデルを生成するフローチャート図である。 本発明の実施例に係る図3に示す二つのパノラマ画像を三次元モデルに復元する模式図である。 本発明の実施例に係り三次元モデルをアライメントするフローチャート図である。 本発明の実施例に係る目標対象を決定する模式図である。 本発明の実施例に係り二つの三次元モデルをアライメントした後の模式図である。 本発明の実施例に係り同質ボクセル及び異質ボクセルを検出するフローチャート図である。 本発明の実施例に係り異質ボクセルに対してボクセルの三次元座標及び色値を補正した効果図である。 本発明の実施例に係り異質ボクセルと同質ボクセルに対してボクセルの三次元座標及び色値を補正した効果図である。 本発明の実施例に係る三次元モデル構築装置の構造図である。 本発明の実施例に係る三次元モデル構築装置のさらなる構造図である。
本発明が解決しようとする技術課題、技術方案および優れた点をより明確させるために、付図および具体的な実施例を組み合わせて詳細な説明を行う。以下、詳細な配置とユニットなどの特定な細部の記載は本発明の実施例を理解するために提供されたもののみである。このため、当業者にとって、本発明の趣旨の範囲内において、記載された実施例に対して種々の変更と補正が可能であることが自明である。また、明確および簡潔のために、公知の機能と構造に関する説明を省略した。
いうまでもなく、明細書に記載された「ひとつの実施例」あるいは「一実施例」は、実施例と関係する特定な特徴、構造または特性が本発明のすくなくとも一つの実施例に含まれていることを意味する。このため、明細書に記載された「ひとつの実施例において」あるいは「一実施例において」は、必ずしも同じ実施例を指すものではない。この他、これらの特定な特徴、構造または特性は任意の適宜な方式でひとつまたは複数の実施例に組み合わせることも可能である。
本発明の各実施例において、下記各プロセスの番号は実行する順序を意味するではなく、各プロセスの実行順はその機能と固有論理とによって確定されるべきであり、本発明の実施例の実行プロセスに対していかなる限定をするべきではない。
一枚のパノラマ画像により一つの三次元モデルを復元する場合、当該パノラマ画像を撮影するパノラマカメラに近いボクセルにはより高い画質を有する傾向がある。逆に、パノラマカメラから離れるほど、ボクセルの画質が悪くなる。主に二つの理由がある:第一に、図1における右図を例として、右図はパノラマカメラBによって撮影されたものであって、K2領域とパノラマカメラBとの距離が遠く、K2領域のボクセルの画質が低いのは、K2領域のボクセルが補間により生成されることが多いためである。第二に、図1における左図を例として、左図はパノラマカメラAによって撮影されたものであって、パノラマカメラAから遠く離れた三面交点が遮蔽されるため、パノラマカメラAで撮影されたパノラマ画像が一部の三次元モデルのみを復元できることで、遮蔽されたK1領域のボクセルの画質が悪くなる。上記によって、三次元モデルの画質が悪くなる。
本発明の実施例に係る三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体は、構築された三次元モデルの品質を向上させることができる。
本発明の実施例に係る三次元モデル構築方法は、図2に示すように、パノラマカメラでN個の異なる位置でそれぞれ同一空間を撮影してN枚のパノラマ画像を取得するステップ101を含み、ここで、Nは1より大きい整数である。
本実施例において、一つ又は二つ以上のパノラマカメラを設置することが可能であり、一つのパノラマカメラが設置される場合、当該パノラマカメラが異なる時刻及び異なる位置で同一空間を撮影して複数枚のパノラマ画像を取得することができ、二つ以上のパノラマカメラが設置される場合、当該二つ以上のパノラマカメラが同一空間の異なる位置において、当該二つ以上のパノラマカメラで当該空間の複数枚のパノラマ画像を撮影して取得でき、当該複数枚のパノラマ画像によって生成された当該空間に関する三次元モデルの画質を向上させることができる。設置されたパノラマカメラの数が多いほど、最終的に生成される三次元モデルの画質が高くなるが、同時にコストや計算の複雑度を増加させ、一部の実施例では、Nの値が2であることが可能で、二つの異なる位置に設置されたパノラマカメラによって図3に示されるような同一空間に対応している二枚のパノラマ画像を撮影して得ることができ、又は、一つのパノラマカメラによって異なる位置で図3に示されるような同一空間に対応している二枚のパノラマ画像を撮影して得ることもできる。
また、各パノラマ画像によって一つの三次元モデルを生成することで、N個の三次元モデルを取得するステップ102を含む。
図4に示すように、ステップ102は、前記パノラマ画像において三面交点の二次元座標を検出して、前記三面交点の三次元座標を計算するステップ1021を含む。
具体的には、ディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出することができるが、本実施例はディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出するに限定されなく、他のディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出することもできる。その後、三面交点の二次元座標を利用して三面交点の三次元座標を計算する。図5に示すように、三面交点は空間において隣接する三面の壁の交点であって、三面交点の座標によって空間内の各物理点の三次元座標を決定することができる。
また、前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定するステップ1022を含み、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点である。
図5に示すように、前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標、即ち図中O点の三次元座標を決定し、O点は該パノラマ画像により復元された三次元モデルの三次元座標系の座標原点でもあり、該三次元座標系において、Oの座標は(0，0，0)であって、該三次元座標系はX軸、Y軸及びZ軸を含み、三次元モデルにおける任意のボクセルの三次元座標が(x，y，z)である。
さらに、前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定するステップ1023を含む。
ここで、ボクセルはボリュームピクセル(Volume Pixel)の略称であり、ボクセルを含む立体は、立体レンダリング又は所定の閾値輪郭の多角形等値面を抽出することによって表現することができる。ボクセルはデジタルデータが三次元空間において分割における最小単位であって、三次元イメージング、科学データ及び医用画像処理などの分野に用いられる。
上記ステップ1021-1023によって、パノラマ画像に対応する三次元モデルを取得することができ、各パノラマ画像は一つの三次元モデル及びパノラマカメラの三次元座標に対応し、三次元モデルにおいて、三次元座標系の原点が対応するパノラマカメラの三次元座標である。
図3に示す二つのパノラマ画像を三次元モデルに復元して、図5に示す二つの三次元モデルを得ることができ、ここで、図3における左側のパノラマ画像が図5における左側の三次元モデルに対応し、図3における右側のパノラマ画像が図5における右側の三次元モデルに対応して、図5に示される二つの三次元モデルは同一空間に対応する。
また、前記空間における目標対象によって前記N個の三次元モデルにアライメントを行うステップ103を含む。
図6に示すように、ステップ103は、前記N枚のパノラマ画像において同一の目標対象を検出するステップ1031を含み、空間内に顕著な特徴を有する物体、例えば、空間内のドアを目標対象とすることができる。
また、各パノラマ画像において前記目標対象の二次元座標を計算するステップ1032を含む。
具体的な例では、図3に示された二枚のパノラマ画像において、それぞれ目標対象の二次元座標を計算することができる。
さらに、前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算するステップ1033を含む。
図7に示すように、そのうちの一つのドアの中心点を目標対象として、該目標対象の左側の三次元モデルにおける三次元座標が(X1，Y1，Z1)であり、該目標対象の右側の三次元モデルにおける三次元座標が(X1'，Y1'，Z1')であって、例えば右側の三次元モデルを基準三次元モデルとして、三次元座標(X1，Y1，Z1)及び(X1'，Y1'，Z1')によって該目標対象の左側の三次元モデルが該目標対象の右側の三次元モデルに対する三次元変位d1を計算することができる。或いは、もう一つのドアの中心点を目標対象として、該目標対象の左側の三次元モデルにおける三次元座標が(X2，Y2，Z2)であり、該目標対象の右側の三次元モデルにおける三次元座標が(X2’，Y2’，Z2’)であって、例えば右側の三次元モデルを基準三次元モデルとして、三次元座標(X2，Y2，Z2)及び(X2’，Y2’，Z2’)によって該目標対象の左側の三次元モデルが該目標対象の右側の三次元モデルに対する三次元変位d2を計算することができる。
また、前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせるステップ1034を含む。
アライメントされたN個の三次元モデルは、同一の三次元座標系にアライメントされ、三次元モデルにおける任意のボクセルの当該三次元座標系における三次元座標は(Xa，Ya，Za)又は(Xb、Yb、Zb)である。具体的な一例では、図7に示す二つの三次元モデルをアライメントして図8に示すように、該二つの三次元モデルの座標原点はいずれも基準三次元モデルの座標原点である。
また、アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出するステップ104を含む。
図9に示すように、ステップ104は、アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点であるステップ1041を含む。
ここで、参照モデルと基準三次元モデルとが同じ三次元モデルであってもよく、異なる三次元モデルであってもよく、区別しやすいように、参照モデルにおけるボクセルを第一ボクセルとして定義して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデル(即ち参照モデル以外の三次元モデル)において前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと対応する第二ボクセルとが前記空間において同一の物理点であり、即ち、それらは物理世界における同一点である。
参照モデルを選択する時には、以下の基準に従うことが可能である。即ち、前記参照モデルの少なくとも一部の第一ボクセルと前記基準三次元モデルの座標原点との間の三次元距離が、対応する第二ボクセルと前記基準三次元モデルの座標原点との間の三次元距離より小さい。上記基準を満たす三次元モデルを参照モデルとして選択すれば、参照モデルに比べて他の三次元モデルの空間立体感をより強くでき、その後も他の三次元モデルのボクセルによって参照モデルのボクセルを補正して、最終的な三次元モデルを得ることができる。
また、前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属するステップ1042を含む。
いくつかの実施例では、前記所定閾値が5個のボクセルである。勿論、所定閾値の値は5個のボクセルに限定されるものではなく、必要に応じて他の値に設置することもできる。
さらに、前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行うステップ105を含む。
本実施例では、異質ボクセルと同質ボクセルに対して異なる操作を行い、異質ボクセルが所在する領域は他の三次元モデルと参照モデルとの区別が比較的大きい領域であり、画質が比較的悪い領域でもあるので、ボクセルの三次元座標の補正と色値の補正とを同時に行う必要があり、同質ボクセルが所在する領域は他の三次元モデルと参照モデルとの区別が比較的小さい領域であり、画質が比較的良い領域でもあるので、色値の強化のみが必要である。
一部の実施例では、前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。二つの三次元モデルのみが存在する場合、参照モデル以外の三次元モデルの第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換し、三個以上の三次元モデルが存在する場合、参照モデル以外の他の三次元モデルの前記三次元距離をそれぞれ計算して、そのうちの最大の三次元距離を選択し、該最大の三次元距離に対応する第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。図10に示すように、異質ボクセルに対してボクセルの三次元座標及び色値を補正した後、図10の左側に示される部分三次元モデルを図10の右側に示される三次元モデルに変換することができ、明らかに分かるように、三次元モデルの画質が大幅に向上される。
第一異質ボクセルに対して、対応する第二ボクセルと参照モデルに対応するパノラマカメラとの三次元距離はより大きく、即ち第二ボクセルが属する三次元モデルの該領域(即ち第一異質ボクセルが所在する領域)における空間立体感はより強くて、参照モデルに比べて該領域空間の凹凸変化をより表現することができるので、第二ボクセルの三次元座標及び色値によって第一異質ボクセルの三次元座標及び色値を置換することで、三次元モデルの該領域における画質を向上させることができる。
一部の実施例では、前記第一ボクセルが同質ボクセルに属する第一同質ボクセルを含み、前記第一同質ボクセルとすべてのパノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全てのパノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
一具体例では、前記N枚のパノラマ画像がそれぞれパノラマカメラA及びパノラマカメラBによって撮影して得られ、パノラマカメラAが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、前記参照モデルにおける第一同質ボクセルの色値Cは下式によって決定される。
Figure 0007318698000002
ここで、d Aは第一同質ボクセルとパノラマカメラAとの間の三次元距離であり、d Bは第一同質ボクセルとパノラマカメラBとの間の三次元距離であり、αは予めに設定された重み付け係数であり、C Aは第一同質ボクセルのオリジナル色値であり、C BはパノラマカメラBに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である。
図11に示すように、異質ボクセル及び同質ボクセルに対してボクセルの三次元座標および色値を補正した後、図11の左側に示す二つの三次元モデルを図11の右側に示す三次元モデルに変換することができる。図11に示すように、左上の三次元モデルの画質が悪い領域に対して、左下の三次元モデルの対応領域のボクセルによって置換して、図11の右側に示される三次元モデルを得ることができ、図11の左側に示される二つの三次元モデルに比べて、図11の右側に示される三次元モデルの画質が大幅に向上されることが分かる。
本実施例では、同一空間の複数枚のパノラマ画像を取得して、複数枚のパノラマ画像によって三次元モデルを生成し、複数の三次元モデルにアライメントを行って、アライメントされた三次元モデルによって同質ボクセル及び異質ボクセルを検出し、異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、同質ボクセルに対して色値の強化を行うことで、高い画質の三次元モデルを得ることができる。
本発明の実施例はさらに三次元モデル構築装置を提供して、図12に示すように、パノラマカメラでN個の異なる位置でそれぞれ同一空間を撮影してN枚のパノラマ画像を取得する取得モジュール21を含み、ここで、Nは1より大きい整数である。
本実施例において、一つ又は二つ以上のパノラマカメラを設置することが可能であり、一つのパノラマカメラが設置される場合、当該パノラマカメラが異なる時刻及び異なる位置で同一空間を撮影して複数枚のパノラマ画像を取得することができ、二つ以上のパノラマカメラが設置される場合、当該二つ以上のパノラマカメラが同一空間の異なる位置において、当該二つ以上のパノラマカメラで当該空間の複数枚のパノラマ画像を撮影して取得でき、当該複数枚のパノラマ画像によって生成された当該空間に関する三次元モデルの画質を向上させることができる。設置されたパノラマカメラの数が多いほど、最終的に生成される三次元モデルの画質が高くなるが、同時にコストや計算の複雑度を増加させ、一部の実施例では、Nの値が2であることが可能で、二つの異なる位置に設置されたパノラマカメラによって図3に示されるような同一空間に対応している二枚のパノラマ画像を撮影して得ることができ、又は、一つのパノラマカメラによって異なる位置で図3に示されるような同一空間に対応している二枚のパノラマ画像を撮影して得ることもできる。
また、各パノラマ画像によって一つの三次元モデルを生成することで、N個の三次元モデルを取得する三次元モデル生成モジュール22を含む。
前記三次元モデル生成モジュール22は具体的に、前記パノラマ画像において三面交点の二次元座標を検出して、前記三面交点の三次元座標を計算する。前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定し、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点である。前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定する。
具体的には、ディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出することができるが、本実施例はディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出するに限定されなく、他のディープラーニングアルゴリズムによりパノラマ画像において三面交点の二次元座標を検出することもできる。その後、三面交点の二次元座標を利用して三面交点の三次元座標を計算する。図5に示すように、三面交点は空間において隣接される三面の壁の交点であって、三面交点の座標によって空間内の各物理点の三次元座標を決定することができる。図5に示すように、前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標、即ち図中O点の三次元座標を決定し、O点は該パノラマ画像により復元された三次元モデルの三次元座標系の座標原点でもあり、該三次元座標系において、Oの座標は(0，0，0)であって、該三次元座標系はX軸、Y軸及びZ軸を含み、三次元モデルにおける任意のボクセルの三次元座標が(x，y，z)である。
三次元モデル生成モジュール22により三次元モデルが生成された後、各パノラマ画像は一つの三次元モデル及びパノラマカメラの三次元座標に対応し、三次元モデルにおいて、三次元座標系の原点が対応するパノラマカメラの三次元座標である。
また、前記空間における目標対象によって前記N個の三次元モデルにアライメントを行うアライメントモジュール23を含む。
前記アライメントモジュール23は具体的に、前記N枚のパノラマ画像において同一の目標対象を検出する。各パノラマ画像において前記目標対象の二次元座標を計算する。前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算する。前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる。
具体的には、空間内に顕著な特徴を有する物体、例えば、空間内のドアを目標対象とすることができる。図7に示すように、そのうちの一つのドアの中心点を目標対象として、該目標対象の左側の三次元モデルにおける三次元座標が(X1，Y1，Z1)であり、該目標対象の右側の三次元モデルにおける三次元座標が(X1'，Y1'，Z1')であって、例えば右側の三次元モデルを基準三次元モデルとして、三次元座標(X1，Y1，Z1)及び(X1'，Y1'，Z1')によって該目標対象の左側の三次元モデルが該目標対象の右側の三次元モデルに対する三次元変位d1を計算することができる。或いは、もう一つのドアの中心点を目標対象として、該目標対象の左側の三次元モデルにおける三次元座標が(X2，Y2，Z2)であり、該目標対象の右側の三次元モデルにおける三次元座標が(X2’，Y2’，Z2’)であって、例えば右側の三次元モデルを基準三次元モデルとして、三次元座標(X2，Y2，Z2)及び(X2’，Y2’，Z2’)によって該目標対象の左側の三次元モデルが該目標対象の右側の三次元モデルに対する三次元変位d2を計算することができる。前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる。アライメントされたN個の三次元モデルは、同一の三次元座標系にアライメントされ、三次元モデルにおける任意のボクセルの当該三次元座標系における三次元座標は(Xa，Ya，Za)である。具体的な一例では、図7に示す二つの三次元モデルをアライメントして図8に示すように、該二つの三次元モデルの座標原点はいずれも基準三次元モデルの座標原点である。
また、アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する検知モジュール24を含む。
検知モジュール24は具体的に、アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点である。前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属する。
具体的には、参照モデルと基準三次元モデルとが同じ三次元モデルであってもよく、異なる三次元モデルであってもよく、区別しやすいために、参照モデルにおけるボクセルを第一ボクセルとして定義して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデル(即ち参照モデル以外の三次元モデル)において前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと対応する第二ボクセルとが前記空間において同一の物理点であり、即ち、それらは物理世界における同一点である。
参照モデルを選択する時には、以下の基準に従うことが可能である。即ち、前記参照モデルの少なくとも一部の第一ボクセルと前記基準三次元モデルの座標原点との間の三次元距離が、対応する第二ボクセルと前記基準三次元モデルの座標原点との間の三次元距離より小さい。上記基準を満たす三次元モデルを参照モデルとして選択すれば、参照モデルに比べて他の三次元モデルの空間立体感をより強くでき、その後も他の三次元モデルのボクセルによって参照モデルのボクセルを補正して、最終的な三次元モデルを得ることができる。
いくつかの実施例では、前記所定閾値が5個のボクセルである。勿論、所定閾値の値は5個のボクセルに限定されるものではなく、必要に応じて他の値に設置することもできる。
前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う処理モジュール25を含む。
処理モジュール25は具体的に、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。前記第一同質ボクセルとすべてのパノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全てのパノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
本実施例では、処理モジュール25が異質ボクセルと同質ボクセルに対して異なる操作を行い、異質ボクセルが所在する領域は他の三次元モデルと参照モデルとの区別が比較的大きい領域であり、画質が比較的悪い領域でもあるので、ボクセルの三次元座標の補正と色値の補正とを同時に行う必要があり、同質ボクセルが所在する領域は他の三次元モデルと参照モデルとの区別が比較的小さい領域であり、画質が比較的良い領域でもあるので、色値の強化のみが必要である。
一部の実施例では、前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、処理モジュール25が前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。二つの三次元モデルのみが存在する場合、参照モデル以外の三次元モデルの第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換し、三個以上の三次元モデルが存在する場合、参照モデル以外の他の三次元モデルの前記三次元距離をそれぞれ計算して、そのうちの最大の三次元距離を選択し、該最大の三次元距離に対応する第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。図10に示すように、異質ボクセルに対してボクセルの三次元座標及び色値を補正した後、図10の左側に示される部分三次元モデルを図10の右側に示される三次元モデルに変換することができ、明らかに分かるように、三次元モデルの画質が大幅に向上される。
第一異質ボクセルに対して、対応する第二ボクセルと参照モデルに対応するパノラマカメラとの三次元距離はより大きく、即ち第二ボクセルが属する三次元モデルの該領域(即ち第一異質ボクセルが所在する領域)における空間立体感はより強くて、参照モデルに比べて該領域空間の凹凸変化をより表現することができるので、第二ボクセルの三次元座標及び色値によって第一異質ボクセルの三次元座標及び色値を置換することで、三次元モデルの該領域における画質を向上させることができる。
一部の実施例では、前記第一ボクセルが同質ボクセルに属する第一同質ボクセルを含み、処理モジュール25が前記第一同質ボクセルとすべてのパノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全てのパノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
一具体例では、前記N枚のパノラマ画像がそれぞれパノラマカメラA及びパノラマカメラBによって撮影して得られ、パノラマカメラAが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、前記参照モデルにおける第一同質ボクセルの色値Cは下式によって決定される。
Figure 0007318698000003
ここで、d Aは第一同質ボクセルとパノラマカメラAとの間の三次元距離であり、d Bは第一同質ボクセルとパノラマカメラBとの間の三次元距離であり、αは予めに設定された重み付け係数であり、C Aは第一同質ボクセルのオリジナル色値であり、C BはパノラマカメラBに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である。
図11に示すように、異質ボクセル及び同質ボクセルに対してボクセルの三次元座標および色値を補正した後、図11の左側に示す二つの三次元モデルを図11の右側に示す三次元モデルに変換することができる。図11に示すように、左上の三次元モデルの画質が悪い領域に対して、左下の三次元モデルの対応領域のボクセルによって置換して、図11の右側に示される三次元モデルを得ることができ、図11の左側に示される二つの三次元に比べて、図11の右側に示される三次元モデルの画質が大幅に向上されることが分かる。
本実施例では、同一空間の複数枚のパノラマ画像を取得して、複数枚のパノラマ画像によって三次元モデルを生成し、複数の三次元モデルにアライメントを行って、アライメントされた三次元モデルによって同質ボクセル及び異質ボクセルを検出し、異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、同質ボクセルに対して色値の強化を行うことで、高い画質の三次元モデルを得ることができる。
本発明の実施例はさらに三次元モデル構築装置30を提供して、図13に示すように、プロセッサー32と、コンピュータプログラム命令が記憶されるメモリ34と、を含み、ここで、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサー32に以下のステップを実行させる。
パノラマカメラでN個の異なる位置でそれぞれ同一空間を撮影してN枚のパノラマ画像を取得する。Nは1より大きい整数である。
各パノラマ画像によって一つの三次元モデルを生成することで、N個の三次元モデルを取得する。
前記空間における目標対象によって前記N個の三次元モデルにアライメントを行う。
アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する。
前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う。
さらに、図１５に示すように、三次元モデル構築装置30はさらにネットワークインターフェース31と、入力装置33と、ハードディスク35と、表示装置36と、を含む。
上記各インターフェースとデバイスとの間にはバスアーキテクチャーを介して連接し合う。バスアーキテクチャーは任意数のコンポーネントインターコネクトされるバスとブリッジとを含むことができる。具体的には、プロセッサー32が代表する一つまたは複数の中央プロセッサー（CPU）およびメモリ34が代表する一つまたは複数のメモリの各種回路が連接されている。バスアーキテクチャーは周辺デバイス、定電圧器と電源管理回路などの各種ほかの回路を一緒に連接させることができる。言うまでもなく、バスアーキテクチャーはこれらのユニットの間の連接通信を実現するために用いられる。バスアーキテクチャーはデータバスのほか、電源バスと、制御バスと、状態信号バスとを含むことは当分野において公知であり、詳細な説明を省略する。
前記ネットワークインターフェース31はネットワーク（例えばインターネット、ローカルエリアネットワークなど）に接続されて、ネットワークから例えばパノラマ画像などの関連データを取得し、かつハードディスク35に保存することができる。
前記入力装置33は作業員より入力された各種のコマンドを受け取り、かつプロセッサー32に発送して実行されることができる。前記入力装置33はキーボードまたはクリックデバイス（例えばマウス、トラックボール（trackball）、接触感知板またはタッチスクリーンなど）を含むことができる。
前記表示装置36はプロセッサー32がコマンドを実行して得た結果を表示できる。
前記メモリ34は、システム稼動時に必須なプログラムとデータ、およびプロセッサー32の計算過程における中間結果などのデータを記憶するように用いられる。
言うまでもなく、本発明の実施例におけるメモリ34は揮発性メモリまたは不揮発性メモリでもよく、あるいは揮発性メモリと不揮発性メモリとの両者を含むことが可能である。そこで、不揮発性メモリは読み出し専用メモリ（ROM）で、プログラマブル読み出し専用メモリ（PROM）で、消去可能なプログラマブル読み出し専用メモリ（EPROM）で、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）でもよい。揮発性メモリはランダムアクセスメモリ（RAM）でもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ34はこれらおよび任意のほかの適合類型のメモリを含むが、限られることではない。
いくつかの実施例において、メモリ34は以下の、実行可能なモジュールまたはデータ構造、あるいはそれらのサブ集合または拡張集合であるオペレーティングシステム341とアプリケーションプログラム342と、の要素を格納している。
ここで、オペレーティングシステム341は、各種のシステムプログラムを含み、例えばフレーム層、コアライブラリ層、ドライブ層等であり、各種のベースサービス及びハードウェアベースのタスクを処理することに用いられる。アプリケーションプログラム342は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム342に含まれることが可能である。
上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、パノラマカメラでN個の異なる位置でそれぞれ同一空間を撮影してN枚のパノラマ画像を取得する。Nは1より大きい整数である。各パノラマ画像によって一つの三次元モデルを生成することで、N個の三次元モデルを取得する。前記空間における目標対象によって前記N個の三次元モデルにアライメントを行う。アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する。前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う。
さらに、上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、前記パノラマ画像において三面交点の二次元座標を検出して、前記三面交点の三次元座標を計算する。前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定し、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点である。前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定する。
さらに、上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、前記N枚のパノラマ画像において同一の目標対象を検出する。各パノラマ画像において前記目標対象の二次元座標を計算する。前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算する。前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる。
さらに、上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点である。前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属する。
さらに、前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、前記第一ボクセルは同質ボクセルに属する第一同質ボクセルを含み、上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。前記第一同質ボクセルとすべてのパノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全てのパノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
さらに、N=2時に、前記N枚のパノラマ画像がそれぞれパノラマカメラA及びパノラマカメラBによって撮影して得られ、パノラマカメラAが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、下式によって参照モデルにおける第一同質ボクセルの色値Cを決定する。
Figure 0007318698000004
ここで、dAは第一同質ボクセルとパノラマカメラAとの間の三次元距離であり、dBは第一同質ボクセルとパノラマカメラBとの間の三次元距離であり、αは予めに設定された重み付け係数であり、CAは第一同質ボクセルのオリジナル色値であり、CBはパノラマカメラBに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である。
本発明の上述した実施例に開示された方法は、プロセッサー32に適用されてもよいし、プロセッサー32によって実現されてもよい。プロセッサー32は信号の処理能力を持つ集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサー32内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上述したプロセッサー32は、汎用プロセッサー、デジタル信号プロセッサー(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよく、本発明の実施例により開示された各方法、ステップおよび論理ブロック図を実現または実行することができる。汎用プロセッサーはマイクロプロセッサーまたはいかなる常用的なプロセッサーであっても良い。本発明の実施例より公開された方法のステップと結合して直接にできるのは、ハードウェアデコーダプロセッサーより実行して完成、またはデコーダプロセッサー内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成することである。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において知られた記録媒体に位置することが可能である。当該記録媒体はメモリ34にあり、プロセッサー32はメモリ34内の情報を読み取って、そのハードウェアと結合して上記方法のステップを完成する。
理解できるのは、本明細書に記載されたこれらの実施例に、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる。ハードウェア実装のために、処理ユニットは、一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサー(DSP)、デジタル信号処理装置(DSPD)、プログラマブル論理装置(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサー、本願に記載された機能を実行するための他の電子ユニットまたはそれらの組合せを実装することができる。
ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに格納、かつプロセッサーによって実行することが可能である。メモリはプロセッサー内またはプロセッサー外部において実現できる。
さらに、本発明の実施例よりコンピュータ読み取り可能な記録媒体が提供される。前記コンピュータ読み取り可能な記録媒体はコンピュータプログラムを格納し、前記コンピュータプログラムが前記プロセッサーにより実行される時に、前記プロセッサーに以下のステップを実行させる。
パノラマカメラでN個の異なる位置でそれぞれ同一空間を撮影してN枚のパノラマ画像を取得する。Nは1より大きい整数である。
各パノラマ画像によって一つの三次元モデルを生成することで、N個の三次元モデルを取得する。
前記空間における目標対象によって前記N個の三次元モデルにアライメントを行う。
アライメントされたN個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する。
前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う。
さらに、プロセッサーにより前記コンピュータプログラムを実行する時に、前記プロセッサーは以下のステップを実行する。
前記パノラマ画像において三面交点の二次元座標を検出して、前記三面交点の三次元座標を計算する。
前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定し、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点である。
前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定する。
さらに、プロセッサーにより前記コンピュータプログラムを実行する時に、前記プロセッサーは以下のステップを実行する。
前記N枚のパノラマ画像において同一の目標対象を検出する。
各パノラマ画像において前記目標対象の二次元座標を計算する。
前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記N個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算する。
前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる。
さらに、プロセッサーにより前記コンピュータプログラムを実行する時に、前記プロセッサーは以下のステップを実行する。
アライメントされたN個の三次元モデルにおいて一つの参照モデルを選択して、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点である。
前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算して、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属する。
さらに、前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、前記第一ボクセルは同質ボクセルに属する第一同質ボクセルを含み、プロセッサーにより前記コンピュータプログラムを実行する時に、前記プロセッサーは以下のステップを実行する。
前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換する。
前記第一同質ボクセルとすべてのパノラマカメラとの間の三次元距離を計算して、前記第一同質ボクセルと全てのパノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する。
さらに、N=2時に、前記N枚のパノラマ画像がそれぞれパノラマカメラA及びパノラマカメラBによって撮影して得られ、パノラマカメラAが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、プロセッサーにより前記コンピュータプログラムを実行する時に、前記プロセッサーは以下のステップを実行する。
下式によって前記参照モデルにおける第一同質ボクセルの色値Cを決定する。
Figure 0007318698000005
ここで、dAは第一同質ボクセルとパノラマカメラAとの間の三次元距離であり、dBは第一同質ボクセルとパノラマカメラBとの間の三次元距離であり、αは予めに設定された重み付け係数であり、CAは第一同質ボクセルのオリジナル色値であり、CBはパノラマカメラBに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である。
以上、本発明の最適な実施形態である。当業者にとって、本発明の前記技術思想から逸脱しない場合、若干の改良と修正を行うことが可能であり、これらの改良と修正も本発明の保護範囲内にあると見なすべきである。

Claims (11)

  1. パノラマカメラによりＮ個の異なる位置でそれぞれ同一空間を撮影して、１より大きい整数であるＮ枚のパノラマ画像を取得するステップと、
    各パノラマ画像によって一つの三次元モデルを生成して、Ｎ個の三次元モデルを取得するステップと、
    前記空間内の目標対象によって前記Ｎ個の三次元モデルにアライメントを行うステップと、
    アライメントされたＮ個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出するステップと、
    前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行うステップと、
    を含み、
    前記の、アライメントされたＮ個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出するステップは、
    アライメントされたＮ個の三次元モデルにおいて一つの参照モデルを選択し、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点であることと、
    前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算し、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合は、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属することと、
    を含み、
    前記の、異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行うステップは、
    前記第一ボクセルが異質ボクセルに属する第一異質ボクセルを含み、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換することと、
    前記第一ボクセルが同質ボクセルに属する第一同質ボクセルを含み、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離を計算し、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定することと、
    を含む、ことを特徴とする三次元モデルの構築方法。
  2. 前記の、各パノラマ画像によって一つの三次元モデルを生成するステップは、
    前記パノラマ画像において三面交点の二次元座標を検出し、前記二次元座標によって前記三面交点の三次元座標を計算することと、
    前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定し、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点であることと、
    前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定することと、
    を含む、ことを特徴とする請求項１に記載の三次元モデルの構築方法。
  3. 前記の、前記空間内の目標対象によって前記Ｎ個の三次元モデルにアライメントを行うステップは、
    前記Ｎ枚のパノラマ画像において同一の目標対象を検出することと、
    各パノラマ画像において前記目標対象の二次元座標を計算することと、
    前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記Ｎ個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算することと、
    前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせることと、
    を含む、ことを特徴とする請求項１に記載の三次元モデルの構築方法。
  4. 前記所定閾値が５個のボクセルである、ことを特徴とする請求項１に記載の三次元モデルの構築方法。
  5. 前記参照モデルの少なくとも一部の第一ボクセルと前記基準三次元モデルの座標原点との間の三次元距離が、対応する第二ボクセルと前記基準三次元モデルの座標原点との間の三次元距離より小さい、ことを特徴とする請求項３に記載の三次元モデルの構築方法。
  6. Ｎ＝２であり、前記Ｎ枚のパノラマ画像がそれぞれパノラマカメラＡ及びパノラマカメラＢによって撮影され、パノラマカメラＡが撮影したパノラマ画像により復元される三次元モデルを参照モデルとし、前記参照モデルにおける第一同質ボクセルの色値Ｃは下式によって決定され、
    Figure 0007318698000006
     ここで、ｄＡは第一同質ボクセルとパノラマカメラＡとの間の三次元距離であり、ｄＢは第一同質ボクセルとパノラマカメラＢとの間の三次元距離であり、αは予めに設定された重み付け係数であり、ＣＡは第一同質ボクセルのオリジナル色値であり、ＣＢはパノラマカメラＢに撮影されたパノラマ画像により復元される三次元モデルにおける第二ボクセルの色値である、
    ことを特徴とする請求項１に記載の三次元モデルの構築方法。
  7. パノラマカメラによりＮ個の異なる位置でそれぞれ同一空間を撮影して、１より大きい整数であるＮ枚のパノラマ画像を取得する取得モジュールと、
    各パノラマ画像によって一つの三次元モデルを生成して、Ｎ個の三次元モデルを取得する三次元モデル生成モジュールと、
    前記空間内の目標対象によって前記Ｎ個の三次元モデルにアライメントを行うアライメントモジュールと、
    アライメントされたＮ個の三次元モデルにおいて同質ボクセル及び異質ボクセルを検出する検知モジュールと、
    前記異質ボクセルに対してボクセルの三次元座標及び色値の補正を行い、前記同質ボクセルに対して色値の強化を行う処理モジュールと、
    を含み、
    前記検知モジュールは、
    アライメントされたＮ個の三次元モデルにおいて一つの参照モデルを選択し、前記参照モデルにおける各第一ボクセルに対して、他の三次元モデルにおいて前記第一ボクセルに対応する第二ボクセルを決定し、前記第一ボクセルと前記第二ボクセルとは前記空間において同一の物理点であり、
    前記第一ボクセルと各第二ボクセルとの間の三次元距離をそれぞれ計算し、いずれかの前記三次元距離が所定閾値より大きい場合は、前記第一ボクセルと対応する第二ボクセルとが異質ボクセルに属し、全ての前記三次元距離が所定閾値よりも大きくない場合は、前記第一ボクセルと対応する第二ボクセルとが同質ボクセルに属し、
    前記第一ボクセルは異質ボクセルに属する第一異質ボクセルを含み、前記第一ボクセルは同質ボクセルに属する第一同質ボクセルを含み、
    前記処理モジュールは、前記第一異質ボクセルに対応する第二ボクセルと前記参照モデルに対応するパノラマカメラとの三次元距離を計算し、三次元距離が最大である第二ボクセルの三次元座標及び色値によって前記第一異質ボクセルの三次元座標及び色値をそれぞれ置換し、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離を計算し、前記第一同質ボクセルと全パノラマカメラとの間の三次元距離によって前記第一同質ボクセルの色値を決定する、ことを特徴とする三次元モデル構築装置。
  8. 前記三次元モデル生成モジュールは、前記パノラマ画像において三面交点の二次元座標を検出して、前記二次元座標によって前記三面交点の三次元座標を計算し、
    前記三面交点の三次元座標によって前記パノラマ画像を撮影するパノラマカメラの三次元座標を決定して、前記パノラマカメラの三次元座標は前記三次元モデルの三次元座標系の座標原点であり、
    前記三面交点の三次元座標によって三次元モデル上の各ボクセルが前記三次元座標系における三次元座標を計算し、且つ前記パノラマ画像によって三次元モデル上の各ボクセルの色値を決定する、
    ことを特徴とする請求項７に記載の三次元モデル構築装置。
  9. 前記アライメントモジュールは、前記Ｎ枚のパノラマ画像において同一の目標対象を検出し、
    各パノラマ画像において前記目標対象の二次元座標を計算し、
    前記目標対象の二次元座標によって前記目標対象の三次元モデルにおける三次元座標を計算して、前記Ｎ個の三次元モデルにおける一つの三次元モデルを基準三次元モデルとして選択し、前記目標対象の前記基準三次元モデルにおける三次元座標が基準三次元座標であり、前記目標対象の他の三次元モデルにおける三次元座標が前記基準三次元座標に対する三次元変位を計算し、
    前記三次元変位及び前記基準三次元モデルの座標原点に基づいて前記他の三次元モデルのボクセルの三次元座標を計算して、前記他の三次元モデルを前記基準三次元モデルにアライメントさせる、
    ことを特徴とする請求項７に記載の三次元モデル構築装置。
  10. コンピュータに、請求項１乃至６のうちのいずれか１つに記載の三次元モデルの構築方法を実行させるためのプログラム。
  11. 請求項１０に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
JP2021188207A 2020-11-20 2021-11-18 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体 Active JP7318698B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011307919.7A CN114519764A (zh) 2020-11-20 2020-11-20 三维模型构建方法、装置及计算机可读存储介质
CN202011307919.7 2020-11-20

Publications (2)

Publication Number Publication Date
JP2022082455A JP2022082455A (ja) 2022-06-01
JP7318698B2 true JP7318698B2 (ja) 2023-08-01

Family

ID=81595317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021188207A Active JP7318698B2 (ja) 2020-11-20 2021-11-18 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体

Country Status (2)

Country Link
JP (1) JP7318698B2 (ja)
CN (1) CN114519764A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630550B (zh) * 2023-07-21 2023-10-20 方心科技股份有限公司 一种基于多图片的三维模型生成方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008816A (ja) 2010-08-23 2011-01-13 Konica Minolta Holdings Inc 標準モデルの変形方法およびモデリング装置
JP2016103263A (ja) 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
JP2019101563A (ja) 2017-11-29 2019-06-24 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008816A (ja) 2010-08-23 2011-01-13 Konica Minolta Holdings Inc 標準モデルの変形方法およびモデリング装置
JP2016103263A (ja) 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
JP2019101563A (ja) 2017-11-29 2019-06-24 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN114519764A (zh) 2022-05-20
JP2022082455A (ja) 2022-06-01

Similar Documents

Publication Publication Date Title
CN109040575B (zh) 全景视频的处理方法、装置、设备、计算机可读存储介质
CN111815755A (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN107851321B (zh) 图像处理方法和双摄像头系统
US20100142828A1 (en) Image matching apparatus and method
CN107451952B (zh) 一种全景视频的拼接融合方法、设备以及系统
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Zhong et al. High-resolution depth maps imaging via attention-based hierarchical multi-modal fusion
EP2688286A2 (en) Robust two dimensional panorama generation using light field camera capture
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
WO2012044217A1 (en) Method and apparatus for optimization and incremental improvement of a fundamental matrix
JP7318698B2 (ja) 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体
CN112396558A (zh) 图像处理方法、装置及计算机可读存储介质
Kanchana et al. Revealing disocclusions in temporal view synthesis through infilling vector prediction
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
US20210029283A1 (en) Method for correcting rolling shutter phenomenon, rolling shutter phenomenon correcting apparatus, and computer-readable recording medium
Takahashi et al. Super-resolved free-viewpoint image synthesis based on view-dependent depth estimation
CN117274514A (zh) 基于地空视角几何变换的遥感图像生成方法及装置
CN111369425B (zh) 图像处理方法、装置、电子设备和计算机可读介质
Chen et al. Bidirectional optical flow NeRF: high accuracy and high quality under fewer views
US20230326126A1 (en) Generation of a 3d point cloud of a scene
CN113538318A (zh) 图像处理方法、装置、终端设备以及可读存储介质
Manda et al. Image stitching using RANSAC and Bayesian refinement
JP7464154B2 (ja) ３次元チャネルの構築方法、装置及びコンピュータ読み取り可能な記憶媒体
CN114937085A (zh) 位姿标定方法、点云融合方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R151 Written notification of patent or utility model registration

Ref document number: 7318698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151