JP7660284B2 - 三次元モデル生成方法及び三次元モデル生成装置 - Google Patents

三次元モデル生成方法及び三次元モデル生成装置 Download PDF

Info

Publication number
JP7660284B2
JP7660284B2 JP2021558382A JP2021558382A JP7660284B2 JP 7660284 B2 JP7660284 B2 JP 7660284B2 JP 2021558382 A JP2021558382 A JP 2021558382A JP 2021558382 A JP2021558382 A JP 2021558382A JP 7660284 B2 JP7660284 B2 JP 7660284B2
Authority
JP
Japan
Prior art keywords
dimensional
image
point
points
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558382A
Other languages
English (en)
Other versions
JPWO2021100681A1 (ja
Inventor
研翔 寺西
哲史 吉川
徹 松延
将貴 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021100681A1 publication Critical patent/JPWO2021100681A1/ja
Application granted granted Critical
Publication of JP7660284B2 publication Critical patent/JP7660284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、三次元モデル生成方法及び三次元モデル生成装置に関する。
特許文献１には、被写体を複数の視点から撮影することにより得られる複数の画像を用いて、被写体の三次元モデルを生成する技術が開示されている。
特開２０１７－１３０１４６号公報
三次元モデルの生成処理には、三次元モデルの生成精度を向上させること、及び、処理時間を低下させることが望まれている。
本開示は、三次元モデルの生成精度を向上させることができ、かつ、三次元モデルの生成処理の処理時間を短縮できる三次元モデル生成方法等を提供する。
本開示の一態様に係る三次元モデル生成方法は、情報処理装置によって実行される三次元モデル生成方法であって、１台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得ステップと、第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得ステップと、前記マップ情報に含まれる前記複数の三次元点に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定ステップと、前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチングステップと、前記マッチングステップにおける探索結果を用いて三次元モデルを生成する生成ステップと、を含み、前記探索範囲は、前記マップ情報から推定される前記被写体上の三次元位置を含む。
また、本開示の一態様に係る三次元モデル生成装置は、１台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得部と、第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得部と、前記マップ情報に含まれる前記複数の三次元点に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定部と、前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチング部と、前記マッチング部における探索結果を用いて三次元モデルを生成する生成部と、を備え、前記探索範囲は、前記マップ情報から推定される前記被写体上の三次元位置を含む。
なお、本開示は、上記三次元モデル生成方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データ又は信号として実現されてもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信されてもよい。
本開示によれば、三次元モデルの生成精度を向上させることができ、かつ、三次元モデルの生成処理の処理時間を短縮できる三次元モデル生成方法等を提供できる。
図１は、実施の形態１に係る三次元モデル生成方法の概要を説明するための図である。 図２は、実施の形態１に係る三次元モデル生成装置の特徴的な構成を示すブロック図である。 図３は、推定装置によるマップ情報の生成方法について説明するための図である。 図４は、複数の三次元点の間の三次元位置を補間する第１の補間方法について説明するための図である。 図５は、図３で示したマップ情報が投影された投影フレームにおいて、マップ情報をメッシュ化する一例を示す図である。 図６は、複数の三次元点の間の三次元位置を補間する第２の補間方法について説明するための図である。 図７は、図３で示したマップ情報が投影された投影フレームを複数の領域に分割する一例を示す図である。 図８は、三次元モデル生成装置の動作の一例を示すフローチャートである。 図９は、探索範囲に制限がない場合のマッチング処理について説明するための図である。 図１０は、探索範囲に制限がある場合のマッチング処理について説明するための図である。
（本開示に至った経緯）
特許文献１に開示されている技術では、複数の画像間における類似点を探索することで三次元モデルを生成する。一般に、類似点の探索では、一の画像の一の画素の類似点を他の画像から探索する場合、カメラの幾何制約から他の画像上のエピポーラ線が算出され、エピポーラ線上の全ての画素の探索が行われる。このため、類似点の探索の処理速度を向上させる余地がある。また、エピポーラ線上に類似している被写体がある場合、誤った類似点を探索することがあり、この場合、探索の精度低下に繋がってしまうという課題がある。
そこで、本開示では、三次元モデルの生成精度を向上させることができ、かつ、三次元モデルの処理時間を短縮できる三次元モデル生成方法等を提供する。
本開示の一態様に係る三次元モデル生成方法は、情報処理装置によって実行される三次元モデル生成方法であって、１台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得ステップと、第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得ステップと、前記マップ情報に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定ステップと、前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチングステップと、前記マッチングステップにおける探索結果を用いて三次元モデルを生成する生成ステップと、を含む。
これによれば、マップ情報に基づいて探索範囲を決定し、探索範囲で制限された第２画像上の探索範囲に対応する範囲において、第１画像上の第１の点に類似する類似点を探索する。このように、マップ情報に基づいて、類似点が存在する可能性が高い範囲で類似点の探索を行うため、類似点の探索精度を向上することができ、かつ、探索処理に要する時間を短縮することができる。よって、三次元モデルの生成精度を向上させることができ、かつ、三次元モデルの生成処理の処理時間を短縮することができる。
また、例えば、前記探索範囲は、前記第１視点からの撮影方向における範囲であり、前記マッチングステップでは、前記第２画像における、前記第１の点に対応するエピポーラ線を前記探索範囲に応じた長さに制限し、前記第２画像の前記エピポーラ線上において、前記第１の点に類似する類似点を探索してもよい。
これによれば、探索範囲に応じた長さに制限されたエピポーラ線上において、第１の点に類似する類似点を探索するため、類似点の探索精度を向上することができ、かつ、探索処理に要する時間を短縮することができる。
また、例えば、前記決定ステップは、前記マップ情報に含まれる前記複数の三次元点を用いて、前記複数の三次元点に含まれる２点間において、前記被写体が存在すると推定される三次元点を補間する補間ステップを含み、前記決定ステップでは、前記補間ステップにおいて補間された前記複数の三次元点を用いて前記探索範囲を決定してもよい。
これによれば、複数の三次元点の２点間において、被写体が存在すると推定される三次元点を補間するため、精度よく探索範囲を決定することができる。
また、例えば、前記補間ステップは、前記複数の三次元点に含まれる３点で規定される領域において、前記被写体が存在すると推定される三次元点を補間してもよい。
これによれば、複数の三次元点の３点で規定される領域において、被写体が存在すると推定される三次元点を補間するため、精度よく探索範囲を決定することができる。
また、例えば、前記決定ステップでは、前記第１画像に前記複数の三次元点が投影された投影画像上の複数の領域毎に、前記第１視点を基準とした三次元位置であって、当該領域に対応する前記被写体上の三次元位置を推定することで、各領域が推定された前記三次元位置を含む距離画像を生成し、前記距離画像における各領域の前記三次元位置に基づいて、前記探索範囲を決定してもよい。
これによれば、投影画像上の複数の領域毎に三次元位置を算出するため、マッチングに必要な数だけ三次元位置を算出することができる。
また、例えば、前記決定ステップでは、前記距離画像における前記複数の領域毎に決定される前記探索範囲について、対応する領域の前記三次元位置の推定精度が低いほど前記探索範囲を広げてもよい。
これによれば、補間された三次元形状上の三次元位置の精度が低下するほど探索範囲を広げることで、精度に応じた探索範囲に決定することができる。
また、例えば、前記三次元位置の推定精度は、前記三次元位置の前記第１視点からの距離が小さいほど高いとしてもよい。
このため、三次元位置の第１視点からの距離に応じた探索範囲に決定することができる。
また、例えば、前記三次元位置の推定精度は、前記三次元位置が前記複数の三次元点のうちの少なくとも１つの三次元点に近いほど高いとしてもよい。
このため、三次元位置の複数の三次元点のうちの少なくとも１つからの距離に応じた探索範囲に決定することができる。
また、例えば、前記三次元位置の推定精度は、前記三次元位置が存在する領域における前記複数の三次元点の密度が大きいほど高いとしてもよい。
このため、三次元位置が存在する領域における複数の三次元点の密度に応じた探索範囲に決定することができる。
また、例えば、前記カメラ校正では、前記１台以上のカメラの位置及び姿勢が算出され、前記第１画像及び前記第２画像は、前記カメラ校正のために撮影された複数の画像に含まれるとしてもよい。
また、本開示の一態様に係る三次元モデル生成装置は、１台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得部と、第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得部と、前記マップ情報に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定部と、前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチング部と、前記マッチング部における探索結果を用いて三次元モデルを生成する生成部と、を備える。
これによれば、マップ情報に基づいて探索範囲を決定し、画像間で制限された第２画像上の探索範囲に対応する範囲において、第１画像上の第１の点に類似する類似点を探索する。このように、制限された探索範囲で類似点の探索を行うため、類似点の探索精度を向上することができ、かつ、探索処理に要する時間を短縮することができる。
以下では、本開示に係る三次元モデル生成方法等の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する場合がある。
（実施の形態１）
［概要］
まず、図１を参照しながら、実施の形態１に係る三次元モデル生成方法の概要について説明する。
図１は、実施の形態１に係る三次元モデル生成方法の概要を説明するための図である。図２は、実施の形態１に係る三次元モデル生成装置１００の特徴的な構成を示すブロック図である。
三次元モデル生成方法では、図１に示すように、複数のカメラ３０１を用いて異なる複数の視点において撮影された複数の画像から所定の領域の三次元モデルを生成する。ここで、所定の領域は、静止している静止物体或いは人物等の動いている動物体、又は、その両方を含む領域である。言い換えると、所定の領域は、例えば、静止している静止物体、及び、動いている動物体のうち少なくとも一方を被写体として含む領域である。
静止物体と動物体とを含む所定の領域の例として、バスケットボール等のスポーツの試合が行われている会場、又は、人物或いは車が存在する道路上の空間等がある。なお、所定の領域は、被写体となる特定の対象物だけではなく、風景等を含んでもよい。図１には、被写体５００が建屋である場合を例示している。また、以下では、被写体となる特定の対象物だけではなく、風景等を含む所定の領域を、単に被写体ともいう。
三次元モデル生成システム４００は、図２に示すように、複数のカメラ３０１を含むカメラ群３００と、推定装置２００と、三次元モデル生成装置１００とを備える。
（複数のカメラ）
複数のカメラ３０１は、所定の領域を撮影する複数の撮像装置である。複数のカメラ３０１は、それぞれ被写体を撮影し、撮影した複数のフレームをそれぞれ推定装置２００に出力する。本実施の形態１では、カメラ群３００には、２台以上のカメラ３０１が含まれる。また、複数のカメラ３０１は、互いに異なる視点から同一の被写体を撮影する。フレームは、言い換えると、画像である。
なお、三次元モデル生成システム４００は、カメラ群３００を備えるとしたが、これに限らずに、１台のカメラ３０１を備えてもよい。例えば、三次元モデル生成システム４００では、実空間上に存在する被写体を、１台のカメラ３０１を移動させながら１台のカメラ３０１に互いに視点の異なる複数のフレームからなる多視点画像を生成させるように撮影させてもよい。複数のフレームのそれぞれは、カメラ３０１の位置及び姿勢の少なくとも一方が互いに異なるカメラ３０１により撮影（生成）されたフレームである。
また、各カメラ３０１は、二次元画像を生成するカメラでもよいし、三次元モデルを生成する三次元計測センサを備えるカメラでもよい。本実施の形態１では、複数のカメラ３０１は、それぞれ二次元画像を生成するカメラである。
複数のカメラ３０１は、それぞれが撮影したフレームを推定装置２００に出力できるように、有線通信又は無線通信によって、推定装置２００に直接接続されてもよいし、又は、通信機器若しくはサーバ等の図示しないハブを介して推定装置２００に間接的に接続されてもよい。
なお、複数のカメラ３０１でそれぞれ撮影されたフレームは、リアルタイムに推定装置２００に出力されてもよい。また。フレームは、一度メモリ又はクラウドサーバ等の外部記憶装置に記録された後、それらの外部記憶装置から推定装置２００に出力されてもよい。
また、複数のカメラ３０１は、それぞれ監視カメラ等の固定カメラであってもよいし、ビデオカメラ、スマートフォン、又は、ウェアラブルカメラ等のモバイルカメラであってもよいし、撮影機能付きドローン等の移動カメラであってもよい。
（推定装置）
推定装置２００は、１台以上のカメラ３０１に複数の視点から被写体を撮影させることでカメラ校正を行う。推定装置２００は、例えば、複数のカメラ３０１でそれぞれ撮影された複数のフレームに基づいて複数のカメラ３０１の位置及び姿勢を推定するカメラ校正を行う。ここで、カメラ３０１の姿勢とは、カメラ３０１の撮影方向、及び、カメラ３０１の傾きの少なくとも一方を示す。カメラ３０１の撮影方向とは、カメラ３０１の光軸の方向である。カメラ３０１の傾きとは、基準姿勢からのカメラ３０１の光軸周りの回転角度である。
推定装置２００は、具体的には、複数のカメラ３０１から取得した複数のフレームに基づいて、複数のカメラ３０１のカメラパラメータを推定する。ここで、カメラパラメータとは、カメラ３０１の特性を示すパラメータであり、カメラ３０１の焦点距離及び画像中心等からなる内部パラメータと、カメラ３０１の位置（より具体的には、三次元位置）及び姿勢を示す外部パラメータとを含む複数のパラメータである。つまり、複数のカメラ３０１それぞれの位置及び姿勢は、複数のカメラ３０１それぞれのカメラパラメータを推定することで得られる。
なお、推定装置２００がカメラ３０１の位置及び姿勢を推定する推定方法は、特に限定されない。推定装置２００は、例えば、Ｖｉｓｕａｌ－ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術を用いて複数のカメラ３０１の位置及び姿勢を推定してもよい。或いは、推定装置２００は、例えば、Ｓｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ技術を用いて複数のカメラ３０１の位置及び姿勢を推定してもよい。
ここで、図３を用いて、推定装置２００によるマップ情報の生成方法について説明する。
推定装置２００は、図３に示すように、Ｖｉｓｕａｌ－ＳＬＡＭ技術またはＳｔｒｕｃｔｕｒｅ－Ｆｒｏｍ－Ｍｏｔｉｏｎ技術を用いて、複数のカメラ３０１で撮影された複数のフレーム５３１、５３２、５３３のそれぞれから特徴的な点を特徴点５４１、５４２、５４３として抽出し、抽出された複数の特徴点５４１、５４２、５４３のうち、複数のフレーム間で類似する類似点の組を抽出する、特徴点の探索を行う。推定装置２００は、特徴点の探索を行うことで、複数のフレーム５３１、５３２、５３３に共通して映る被写体５１０上の点を特定することができるため、抽出した類似点の組を用いて被写体５１０上の点の三次元座標を三角測量の原理で求めることができる。
このようにして、推定装置２００は、類似点の組を複数抽出し、複数の類似点の組を用いることで、各カメラ３０１の位置及び姿勢を推定することができる。推定装置２００は、各カメラ３０１の位置及び姿勢を推定する過程で、類似点の各組について三次元座標を算出し、算出した複数の三次元座標で示される複数の三次元点を含むマップ情報５２０を生成する。複数の三次元点のそれぞれは、三次元空間における被写体上の位置を示す。推定装置２００は、各カメラ３０１の位置及び姿勢と、マップ情報とを推定結果として得る。得られたマップ情報は、カメラパラメータとともに最適化処理されているため、所定の精度よりも精度が高い情報である。また、マップ情報は、複数の三次元点それぞれの三次元位置を含む。なお、マップ情報は、複数の三次元位置だけでなく、各三次元点の色、各三次元点の周辺の表面形状、各三次元点がどのフレームによって生成されたかを示す情報などを含んでいてもよい。
また、推定装置２００は、推定処理を高速化するために、類似点の組の数を所定の数に制限することで、疎な三次元点群を含むマップ情報を生成してもよい。推定装置２００は、所定の数の類似点の組であっても、十分な精度で各カメラ３０１の位置及び姿勢を推定することができるからである。なお、所定の数は、各カメラ３０１の位置及び姿勢を十分な精度で推定することができる数に決定されていてもよい。また、推定装置２００は、類似点の組のうち所定の類似度以上で類似している組を用いて、各カメラ３０１の位置及び姿勢を推定してもよい。この結果、推定装置２００は、推定処理に用いる類似点の組の数を、所定の類似度以上で類似している組の数に制限することができる。
また、推定装置２００は、例えば、上記技術を用いて推定したカメラ３０１の位置及び姿勢に基づいて、カメラ３０１と被写体との間の距離をカメラパラメータとして算出してもよい。なお、三次元モデル生成システム４００は、測距センサを備え、当該測距センサを用いてカメラ３０１と被写体との間の距離が測定されてもよい。
推定装置２００は、有線通信又は無線通信によって、三次元モデル生成装置１００に直接接続されてもよいし、又は、通信機器或いはサーバ等の図示しないハブを介して推定装置２００に間接的に接続されてもよい。これにより、推定装置２００は、複数のカメラ３０１から受信した複数のフレーム、及び、推定した複数のカメラ３０１の複数のカメラパラメータを三次元モデル生成装置１００に出力する。
なお、推定装置２００による推定結果は、リアルタイムに三次元モデル生成装置１００に出力されてもよい。また、推定結果は、一度メモリ又はクラウドサーバ等の外部記憶装置に記録された後、それらの外部記憶装置から三次元モデル生成装置１００に出力されてもよい。
推定装置２００は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。
（三次元モデル生成装置）
三次元モデル生成装置１００は、複数のカメラ３０１で撮影された複数のフレームと推定装置２００の推定結果とに基づいて、所定の領域の三次元モデルを生成する。具体的には、三次元モデル生成装置１００は、複数のカメラ３０１それぞれのカメラパラメータと、複数のフレームとに基づいて、被写体の三次元モデルを仮想的な三次元空間上に生成する三次元モデル生成処理を実行する装置である。
なお、被写体の三次元モデルは、被写体の実物が撮影されたフレームから、仮想的な三次元空間上に復元された、被写体の三次元形状及び被写体の色を含むデータである。被写体の三次元モデルは、多視点の、つまり、異なる複数の視点において複数のカメラ３０１で撮影された複数の二次元画像それぞれに写る被写体上の複数の点それぞれの三次元位置を示す点の集合である。
三次元位置は、例えば、互いに直交するＸ軸、Ｙ軸、及び、Ｚ軸のそれぞれの位置を示すＸ成分、Ｙ成分、及び、Ｚ成分からなる三値情報で表される。なお、三次元位置を示す複数の点が含む情報には、三次元位置（つまり、座標を示す情報）だけでなく、各点の色を示す情報、各点及びその周辺の表面形状を表す情報等が含まれてもよい。
三次元モデル生成装置１００は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。三次元モデル生成装置１００は、情報処理装置である。三次元モデル生成装置１００の各処理部による機能は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。
また、三次元モデル生成装置１００は、予めカメラパラメータを記憶していてもよい。この場合、三次元モデル生成システム４００は、推定装置２００を備えなくてもよい。また、複数のカメラ３０１は、三次元モデル生成装置１００と無線又は有線によって通信可能に接続されていてもよい。
また、カメラ３０１が撮影した複数のフレームは、三次元モデル生成装置１００に直接出力されてもよい。この場合、カメラ３０１は、例えば、有線通信又は無線通信によって、三次元モデル生成装置１００に直接接続されてもよいし、又は、通信機器若しくはサーバ等の図示しないハブを介して三次元モデル生成装置１００に間接的に接続されてもよい。
［三次元モデル生成装置の構成］
続いて、図２を参照しながら、三次元モデル生成装置１００の構成の詳細について説明する。
三次元モデル生成装置１００は、複数のフレームから三次元モデルを生成する装置である。三次元モデル生成装置１００は、受信部１１０と、記憶部１２０と、取得部１３０と、決定部１４０と、生成部１５０と、出力部１６０と、を備える。
受信部１１０は、推定装置２００から、複数のカメラ３０１が撮影した複数のフレームと、推定装置２００による推定結果と、を受信する。これにより、受信部１１０は、第１視点から撮影された被写体の第１フレーム（第１画像）と、第２視点から撮影された被写体の第２フレーム（第２画像）とを取得する。つまり、受信部１１０により受信された複数のフレームは、第１フレームおよび第２フレームを含む。受信部１１０は、受信した複数のフレームと、推定結果とを記憶部１２０に出力する。受信部１１０は、例えば、推定装置２００と通信するための通信インターフェースである。三次元モデル生成装置１００と推定装置２００とが無線通信する場合、受信部１１０は、例えば、アンテナと無線通信回路とを備える。或いは、三次元モデル生成装置１００と推定装置２００とが有線通信する場合、受信部１１０は、例えば、通信線に接続されるコネクタと有線通信回路とを備える。受信部１１０は、第１取得部及び第２取得部の一例である。このように、第１取得部及び第２取得部は、１つの処理部により実現されてもよいし、それぞれが独立した２つの処理部により実現されてもよい。なお、受信部１１０は、推定装置２００を介さずに、複数のフレームを複数のカメラ３０１から受信してもよい。
記憶部１２０は、受信部１１０により受信された、複数のフレーム及び推定結果を記憶する。また、記憶部１２０は、決定部１４０により算出された探索範囲を記憶する。なお、記憶部１２０は、三次元モデル生成装置１００が備える処理部の処理結果を記憶してもよい。記憶部１２０は、例えば、三次元モデル生成装置１００が備える各処理部が実行する制御プログラムを記憶する。記憶部１２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。
取得部１３０は、記憶部１２０に記憶されている、推定結果のうちのマップ情報を記憶部１２０から取得し、決定部１４０に出力する。また、取得部１３０は、記憶部１２０に記憶されている、複数のフレームと、推定結果のうちの各カメラ３０１のカメラパラメータとを記憶部１２０から取得し、生成部１５０に出力する。
なお、三次元モデル生成装置１００は、記憶部１２０及び取得部１３０を備えていなくてもよい。この場合、受信部１１０は、推定装置２００から受信した推定結果のうちのマップ情報を決定部１４０に出力してもよい。また、受信部１１０は、複数のカメラ３０１から受信した複数のフレームと、推定装置２００から受信した推定結果のうちの各カメラ３０１のカメラパラメータとを生成部１５０に出力してもよい。
決定部１４０は、取得部１３０により記憶部１２０から取得されたマップ情報に基づいて、複数のフレーム間の複数の類似点の探索に用いる探索範囲を決定する。探索範囲は、第１フレーム上の第１の点に対応する被写体上の第１三次元点を含む三次元空間上の範囲である。探索範囲は、第１三次元点が存在する可能性が高い三次元空間上の範囲とも言える。また、探索範囲は、第１フレームが撮影された第１視点からの撮影方向における範囲である。決定部１４０は、マップ情報に含まれる複数の三次元点を用いて、複数の三次元点の間における被写体が存在すると推定される三次元点を補間する。
マップ情報は、上述したように、被写体の三次元形状が疎な三次元点群で表されている。決定部１４０は、疎な三次元点群に含まれる複数の三次元点の間を、複数の平面で埋めることにより、被写体表面の大まかな三次元位置を推定し、推定結果を三次元情報として生成する。これにより、決定部１４０は、マップ情報に含まれる疎な三次元点群を密な三次元点群に高密度化する。
決定部１４０は、具体的には、第１フレームに複数の三次元点が投影された投影フレーム上の複数の画素毎に、第１フレームが撮影された第１視点を基準とした三次元位置であって、当該画素に対応する被写体上の三次元位置を推定する。これにより決定部１４０は、それぞれが推定された三次元位置を含む複数の画素を含む距離画像を生成する。
なお、カメラ校正に用いられる複数のフレームと、三次元モデルの生成に用いられる複数のフレームとは、同じであってもよいし、異なっていてもよい。つまり、第１フレームおよび第２フレームは、カメラ校正のために撮影された複数のフレームに含まれてもよい。
複数の三次元点を複数の平面で補間する補間方法には、２種類の方法が考えられる。まず、第１の補間方法について、図４を用いて説明する。図４は、複数の三次元点の間の三次元位置を補間する第１の補間方法について説明するための図である。
決定部１４０は、第１の補間方法では、マップ情報に含まれる複数の三次元点を用いて、複数の三次元点をメッシュ化することで、複数の三次元点の間における被写体上の三次元位置を補間する。決定部１４０は、例えば、図４の（ａ）に示すように、複数のフレームのうちの第１フレームに、マップ情報に含まれる複数の三次元点６０１が投影された投影フレーム６１０を取得する。決定部１４０は、第１フレームに複数の三次元点６０１を投影することで投影フレーム６１０を取得してもよいし、マップ情報に複数の三次元点６０１がどのフレームの特徴点に対応するかを示す情報を含む場合には、当該情報を用いて第１フレーム上の特徴点と複数の三次元点６０１を対応付けることで投影フレーム６１０を取得してもよい。
次に、決定部１４０は、図４の（ｂ）に示すように、マップ情報が投影された投影フレーム６１０上において、マップ情報をメッシュ化し、複数のメッシュ６１１を形成する。各メッシュは、複数の三次元点６０１を頂点とし、複数の三次元点の隣り合う２点を結んだ複数の辺６１２により囲まれる多角形である。
そして、決定部１４０は、図４の（ｃ）に示すように、メッシュ６１１毎に平面の方程式を算出し、各メッシュ６１１が平面６２２で補間された三次元形状６２１を生成する。その後、決定部１４０は、投影フレーム６１０における各画素について、第１フレームが撮影された第１視点を基準とした三次元位置であって、当該画素に対応する三次元形状６２１上の三次元位置を算出することで、画素毎に三次元位置が示される距離画像６２０を生成する。このように、決定部１４０は、マップ情報に含まれる複数の三次元点６０１のうちの３点で規定される領域であるメッシュ６１１毎に、平面６２２を補間する。これにより、決定部１４０は、被写体が存在すると推定される三次元点を補間する。
なお、平面の方程式は次のように算出される。決定部１４０は、メッシュ６１１の頂点、つまり、複数の三次元点６０１から平面の方程式を算出する。決定部１４０は、メッシュ６１１の頂点を点Ａ、点Ｂ及び点Ｃとしたとき、式１に示す外積から平面の法線ベクトル
Figure 0007660284000001
 を算出し、平面の方程式を求める。
Figure 0007660284000002
式１より平面の方程式は、式２で表される。
lX+mY+nZ=D （式２）
ここで、Ｄは、ｌ、ｍ、ｎの値及び平面内の三次元点の三次元座標から算出される値である。平面内の三次元点の三次元座標が（Ｘｄ，Ｙｄ，Ｚｄ）である場合、Ｄは式３で表される。
D=lXd+mYd+nZd （式３）
次に、式４及び式５を用いて三次元座標を、第１フレームの画像座標系に変換する。
x=X/Z （式４）
y=Y/Z （式５）
Ｚは、式３、式４及び式５を用いて、式６で表すことができる。
1/Z=lx/D+my/D+n/D （式６）
ここで、Ｘ、Ｙ、Ｚは、メッシュ６１１の平面６２２内における三次元位置を示し、ｘ、ｙは、第１フレームの当該メッシュ６１１の平面６２２内における画像座標、つまり、二次元位置を示す。なお、上記の決定部１４０による算出において、第１フレームを撮影するカメラは、ピンホールカメラであるものと仮定している。
平面６２２は、主に、三角形及び四角形である。決定部１４０は、生成したメッシュのうちの誤りのメッシュを除外してもよい。例えば、決定部１４０は、メッシュのエッジの三次元距離（つまりエッジの三次元空間上における長さ）が任意の値よりも大きい場合、三次元距離が任意の値よりも大きい三次元距離のエッジを有するメッシュを誤っているメッシュとして除外してもよい。
決定部１４０は、例えば図５に示すように、図３で示したマップ情報を用いて第１フレームにマップ情報が投影された投影フレーム５５１において、マップ情報５２０をメッシュ化し、各メッシュ５５２の平面の方程式を算出し、被写体５１０の三次元形状を推定する。そして、決定部１４０は、投影フレーム５５１の各画素について、第１視点から当該画素が対応する三次元形状上の点までの距離を算出し、算出した距離に基づいて探索範囲を決定する。
次に、第２の補間方法について、図６を用いて説明する。図６は、複数の三次元点の間の三次元位置を補間する第２の補間方法について説明するための図である。
決定部１４０は、第２の補間方法では、複数のフレームのうちの第１フレームの各画素の画素値を用いて第１フレームを複数の領域に分割し、分割した複数の領域毎に、第１フレームに投影された複数の三次元点を用いて、複数の三次元点の間における被写体上の三次元位置を補間する。決定部１４０は、例えば、図６の（ａ）に示すように、複数のフレームのうちの第１フレームに、マップ情報に含まれる複数の三次元点７０１が投影された投影フレーム７１０を取得する。決定部１４０は、第１フレームに複数の三次元点７０１を投影することで投影フレーム７１０を取得してもよいし、マップ情報に複数の三次元点７０１がどのフレームの特徴点に対応するかを示す情報を含む場合には、当該情報を用いて第１フレーム上の特徴点と複数の三次元点７０１を対応付けることで投影フレーム７１０を取得してもよい。
次に、決定部１４０は、図６の（ｂ）に示すように、マップ情報が投影された投影フレーム７１０上において、投影フレーム７１０の各画素の画素値を用いて投影フレーム７１０を複数の領域７１２に分割する。決定部１４０は、例えば、投影フレーム７１０の各画素の画素値から得られる輝度、色、及びエッジの少なくとも１つを用いて、類似する輝度、及び、類似する色を有する画素の一塊の集合を１つの領域として決定してもよいし、エッジによって区切られる領域を１つの領域として決定してもよい。類似する輝度とは、画素値として表現できる最小輝度から最大輝度までの輝度範囲よりも小さい所定の輝度範囲の幅に含まれる輝度群である。また、類似する色とは、所定の色差範囲の幅に含まれる色群である。
そして、決定部１４０は、図６の（ｃ）に示すように、分割された複数の領域７１２毎に当該領域７１２に含まれる１以上の三次元点７０１を用いて、投影フレーム７１０における各領域７１２に含まれる複数の画素のそれぞれの位置における被写体上の三次元位置を推定することで、画素毎に三次元位置が示される距離画像７２０を生成する。決定部１４０は、例えば、第１視点から、対応する領域７１２に含まれる１以上の三次元点７０１のそれぞれまでの距離の平均を、各領域７１２に含まれる複数の画素のそれぞれの位置における被写体上の三次元位置として推定する。
なお、距離の平均は次のように算出される。
各領域７１２内に位置する１つの三次元点７０１をＰｎ＝｛Ｘｎ，Ｙｎ，Ｚｎ｝とする。ここで、｛Ｘ，Ｙ，Ｚ｝はカメラ座標系における三次元座標であり、ｎ＝｛１，．．．，Ｎ｝である。Ｎは、マップ情報に含まれる三次元点の数である。
第１視点、つまり、カメラの位置から領域７１２内の複数の三次元点７０１のそれぞれまでの距離の平均を式７により算出する。
Figure 0007660284000003
次に、式８及び式９を用いて第１フレームの画像座標系から三次元座標に変換する。
X=Zmean×x （式８）
Y=Zmean×y （式９）
決定部１４０は、式７、式８及び式９を用いて、各領域７１２内の三次元位置を補間する。このため、決定部１４０は、各領域７１２が、第１視点から一定の距離の平面７２２で補間された三次元形状７２１を生成する。その後、決定部１４０は、投影フレーム７１０における各画素について、第１フレームが撮影された第１視点を基準とした三次元位置であって、当該画素に対応する三次元形状７２１上の三次元位置を算出することで、画素毎に三次元位置が示される距離画像７２０を生成する。
なお、上記の決定部１４０による算出において、第１フレームを撮影するカメラは、ピンホールカメラであるものと仮定している。
なお、決定部１４０は、領域７１２に複数の三次元点７０１が含まれており、そのうちの１つの三次元点が他の複数の三次元点の集合から任意の値以上離れている点である場合、任意の値以上離れている１つの三次元点を距離の平均の対象から除外してもよい。
決定部１４０は、例えば図７に示すように、図３で示したマップ情報を用いて第１フレームにマップ情報が投影された投影フレーム５６１を複数の領域５６２に分割し、分割した複数の領域５６２毎に、各領域に含まれる１以上の三次元点を用いて被写体５１０の三次元形状を推定する。そして、決定部１４０は、投影フレーム５６１の各画素について、第１視点から当該画素が対応する三次元形状上の点までの距離を算出し、算出した距離に基づいて探索範囲を決定する。
なお、決定部１４０は、第２の補間方法において、第１フレームを複数の領域に分割する場合、機械学習で学習された学習モデルを用いて第１フレームを複数の領域に分割してもよい。この場合に用いられる学習モデルは、例えば、予め複数の学習用フレームを人が被写体毎に複数の領域に分割して得られた正解データを用いた機械学習により生成されたモデルであってもよい。
また、決定部１４０は、上記の２つの補間方法のいずれにおいても、第１フレーム、つまり、二次元画像にマップ情報に含まれる複数の三次元点を投影することで得られた投影フレームにおいて、被写体上の三次元位置を補間するとしたが、これに限らない。決定部１４０は、三次元空間上において、被写体上の三次元位置を補間してもよい。なお、ここで補間される三次元位置は、点群で示されてもよいし、平面で示されてもよい。
また、決定部１４０は、上記の２つの補間方法のいずれにおいても、第１フレームにマップ情報に含まれる複数の三次元点を投影する場合、第１フレームに、第１フレームが撮影される第１視点から見える点群を投影し、第１視点から見えない点群を投影しなくてもよい。つまり、決定部１４０は、第１フレームに、被写体の第１視点側の表面における点群を投影し、被写体の第１視点とは反対側の表面における点群を投影しなくてもよい。
また、決定部１４０は、機械学習で学習された学習モデルを用いて被写体上の三次元位置を補間してもよい。学習モデルは、例えば、複数の学習用データを用いた機械学習により生成されたモデルであり、この場合の複数の学習用データのそれぞれは、取得された学習用の被写体の三次元点群データと、学習用の被写体を異なる複数の視点から撮影した複数の画像との組合せとを含むデータであってもよい。三次元点群データは、被写体毎に距離センサなどを用いて取得されたデータであってもよい。つまり、機械学習では、三次元点群データを正解データとして、複数の画像のそれぞれを用いて当該画像に写る被写体上の三次元点の位置を推定するための学習モデルが生成される。
また、決定部１４０は、平面で被写体が存在すると推定される三次元点を補間するとしたが、これに限らない。例えば、決定部１４０は、マップ情報に含まれる複数の三次元点のうちの２点間において、被写体が存在すると推定される三次元点を補間してもよい。つまり、決定部１４０は、２点を結ぶ線分で被写体が存在すると推定される三次元点を補間してもよい。
決定部１４０は、第１の補間方法または第２の補間方法で得られた距離画像の各画素が示す三次元位置に基づいて、第１視点と当該三次元位置とを結ぶ直線上において、当該三次元位置を含む探索範囲を決定する。決定部１４０は、具体的には、当該三次元位置を中点とする所定の大きさの範囲を探索範囲として決定する。また、決定部１４０は、具体的には、第１視点から被写体上の各画素の位置に対応する点までの距離を取得し、取得した距離に応じて探索範囲の大きさを決定する。探索範囲は、第１フレームとは異なるフレームから第１フレームの各画素の点に類似する点を探索するための探索範囲である。
決定部１４０は、距離画像における複数の画素毎に決定される探索範囲について、対応する画素の三次元位置の推定精度が低いほど探索範囲を広げる。
具体的には、決定部１４０は、対応する画素の三次元位置の推定精度を、推定対象の三次元位置の第１視点からの距離が小さいほど低いと判定してもよい。これは、１つの画素は、広がりを有する二次元上の領域であるため、当該１つの画素が対応する三次元位置は、第１視点に近いほど三次元空間上で小さい領域になるためである。つまり、第１視点に近づくほど、推定された三次元位置が存在する可能性がある領域が狭まるため、三次元位置の推定精度が高くなる。このように、決定部１４０は、第１視点からの距離が小さい三次元位置ほど小さくなるように探索範囲を決定する。
また、決定部１４０は、第１の補間方法において、対応する画素の三次元位置の推定精度を、推定対象の三次元位置が、マップ情報に含まれる複数の三次元点のうちの少なくとも１つの三次元点に近いほど高いと判定してもよい。これは、第１の補間方法において、複数の三次元点を頂点とするメッシュを生成することで被写体の三次元形状を推定するため、複数の三次元点に近いほど被写体の三次元形状の推定精度が高いからである。つまり、複数の三次元点のうちの少なくとも１つの三次元点に近いほど、推定された三次元位置は、被写体の実際の三次元位置に近い位置に存在する可能性が高い。このように、決定部１４０は、複数の三次元点のうちの少なくとも１つに近い三次元位置ほど小さくなるように探索範囲を決定する。
なお、この場合、決定部１４０は、メッシュ内の三次元位置において、当該三次元位置とメッシュの複数の頂点に位置する複数の三次元点のうちの１つの三次元点との間の距離を用いて、三次元位置の推定精度を判定してもよい。決定部１４０は、メッシュ内の三次元位置において、当該三次元位置とメッシュの複数の頂点に位置する複数の三次元点のそれぞれとの複数の距離の平均値を用いて、三次元位置の推定精度を判定してもよい。
例えば、決定部１４０は、メッシュの複数の頂点に位置する複数の三次元点のそれぞれについて、当該三次元点が位置する画素の重心を中心として距離画像上に広がる所定のガウス分布を配置する。所定のガウス分布は、所定のガウス分布の平均が上記の画素の重心に一致するように配置される。このため、所定のガウス分布の確率密度は、上記の画素の重心の位置において最も高く、当該画素の重心の位置から離れる画素ほど低くなる。決定部１４０は、対応する画素の三次元位置の推定精度を、距離画像に所定のガウス分布が配置されることで割り当てられた所定のガウス分布の確率密度が高いほど高いと判定してもよい。
なお、決定部１４０は、複数のメッシュのそれぞれについて、当該メッシュの重心を中心として距離画像上に広がる所定のガウス分布を配置してもよい。この場合、所定のガウス分布は、所定のガウス分布の平均がメッシュの重心に一致するように配置される。このため、所定のガウス分布の確率密度は、上記のメッシュの重心の位置において最も高く、当該画素の重心の位置から離れる画素ほど低くなる。決定部１４０は、対応する画素の三次元位置の推定精度を、距離画像に所定のガウス分布が配置されることで割り当てられた所定のガウス分布の確率密度が高いほど低いと判定してもよい。
また、決定部１４０は、対応する画素の三次元位置の推定精度を、推定対象の三次元位置が存在する領域における、マップ情報に含まれる複数の三次元点の密度が大きいほど高いと判定してもよい。これは、複数の三次元点の密度が大きい領域にある三次元位置ほど複数の三次元点のいずれか１つに近い位置に位置するからである。例えば、決定部１４０は、第１の補間方法において、推定対象の三次元位置が存在するメッシュのサイズに応じて複数の三次元点の密度を判定してもよい。つまり、決定部１４０は、メッシュのサイズが小さいほど密度が大きいと判定する。また、例えば、決定部１４０は、第２の補間方法において、推定対象の三次元位置が存在する領域に含まれる三次元点の数に応じて複数の三次元点の密度を判定してもよい。つまり、決定部１４０は、当該領域に含まれる三次元点の数が多いほど密度が大きいと判定する。このように、決定部１４０は、三次元位置が存在する領域における複数の三次元点の密度が大きいほど小さくなるように探索範囲を決定する。
以上のように、決定部１４０は、三次元位置の推定精度を複数の方法で判定するとしたが、これらの方法のうちの１つを採用してもよいし、複数を組み合わせて採用してもよい。
なお、画素毎に算出される三次元位置は、第１視点から当該画素に対応する三次元形状上の点までの距離で示されてもよいし、第１視点を原点とする座標系の三次元座標で示されてもよい。また、距離画像の画素のうち、第１フレームにおいて、生成された三次元形状が存在しない領域の画素は、三次元位置を示す情報を有していなくてもよいし、三次元位置を示す情報を有していないことを示す情報を有していてもよい。また、決定部１４０は、投影フレームに含まれる複数の画素毎に、当該画素に対応する三次元形状上の三次元位置を算出するとしたが、画素毎に算出することに限らずに、投影フレーム上の複数の領域毎に、当該領域に対応する三次元形状上の三次元位置を算出してもよい。つまり、決定部１４０は、画素単位で三次元形状上の三次元位置を算出する代わりに、領域単位で三次元形状上の三次元位置を算出してもよい。ここで、領域とは、所定数の画素の集合であり、例えば、縦の画素数及び横の画素数が予め定められたサイズのブロックである。
生成部１５０は、取得部１３０により記憶部１２０から取得された複数のフレームと、カメラパラメータと、探索範囲とに基づいて、被写体の三次元モデルを生成する。生成部１５０は、第１フレームとは異なる他のフレーム（例えば第２フレーム）上の探索範囲に対応する範囲において、第１フレーム上の第１の点に類似する類似点を探索する。生成部１５０は、第２フレームにおける、第１の点に対応するエピポーラ線を探索範囲に応じた長さに制限し、第２フレームのエピポーラ線上において、第１の点に類似する類似点を探索する。生成部１５０は、第１フレームに含まれる複数の第１画素のそれぞれについて第２フレームからの類似点の探索を行う。生成部１５０は、以下の式１０に示すように、第１フレームと第１フレームを除く他の複数のフレームとの間の組み合せにおいて、小領域間のＮｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ（ＮＣＣ）をＮ（Ｉ、Ｊ）として算出し、フレーム間のマッチングを行った結果を示すマッチング情報を生成する。
ここで、図９及び図１０を用いて探索範囲が制限されることのメリットについて具体的に説明する。図９は、探索範囲に制限がない場合のマッチング処理について説明するための図である。図１０は、探索範囲に制限がある場合のマッチング処理について説明するための図である。
図９に示すように、第１フレーム５７１のうちの１つの画素５７２について、制限のない探索範囲Ｒ１でフレーム５８１との間でマッチングが行われる場合、フレーム５８１において、第１視点Ｖ１と画素５７２とを結ぶ直線Ｌ１に対応するエピポーラ線５８２は、フレーム５８１の端から端の全てに亘って存在する。なお、第１フレーム５７１は、第１視点Ｖ１において得られた画像であり、フレーム５８１は、第２視点Ｖ２において得られた画像である。直線Ｌ１は、第１視点Ｖ１のカメラ３０１による撮影方向と一致する。画素５７２は、被写体５１０の点５１１に対応する。このため、画素５７２に類似する、フレーム５８１の画素の探索は、制限されていないエピポーラ線５８２において行われる。よって、エピポーラ線５８２上に画素５７２に類似する特徴を有する画素が２以上ある場合、被写体５１０の点５１１とは異なる点５１２にフレーム５８１上で対応する画素５８３を類似点として誤って選択する場合がある。これにより、三次元モデルの生成精度は低下する。
一方で、図１０に示すように、決定部１４０による処理により、探索範囲Ｒ２は、図９に示す探索範囲Ｒ１よりも短い探索範囲に決定される。このため、第１フレーム５７１のうちの１つの画素５７２について、制限のある探索範囲Ｒ２でフレーム５８１との間でマッチングが行われることとなり、フレーム５８１において、第１視点Ｖ１と画素５７２とを結ぶ直線Ｌ１に対応するエピポーラ線５８４は、探索範囲Ｒ２に合わせてエピポーラ線５８２よりも短くなる。このため、画素５７２に類似する、フレーム５８１の画素の探索は、エピポーラ線５８２よりも短いエピポーラ線５８４において行われる。よって、画素５７２に類似する特徴を有する画素が少なくすることができ、被写体５１０の点５１１にフレーム５８１上で対応する画素５８５を類似点として決定する可能性を高くすることができる。このため、三次元モデルの生成精度を向上することができる。また、探索範囲を狭めることができるため、探索に係る処理時間を短縮することができる。
生成部１５０は、各カメラ３０１の位置及び姿勢と、マッチング情報とを用いて、三角測量を実施することで三次元モデルを生成する。なお、マッチングは、複数のフレームのうちの２つのフレームの組み合わせの全てについて行われてもよい。
Figure 0007660284000004
なお、Ｉｘｙ及びＪｘｙは、フレームＩ及びフレームＪの小領域内の画素値である。また、
Figure 0007660284000005
 及び
Figure 0007660284000006
 は、それぞれフレームＩ及びフレームＪの小領域内の画素値の平均値である。
そして、生成部１５０は、マッチングにおける探索結果を用いて三次元モデルを生成する。これにより、生成部１５０は、マップ情報に含まれる複数の三次元点よりも数が多く、かつ、密度が大きい複数の三次元点を含む三次元モデルを生成する。
出力部１６０は、生成部１５０により生成された三次元モデルを出力する。出力部１６０は、例えば、図示しないディスプレイ等の表示装置と、有線又は無線によって、通信可能に接続するための、アンテナ、通信回路、コネクタ等とを備える。出力部１６０は、当該表示装置に、統合した三次元モデルを出力することで、当該表示装置に三次元モデルを表示させる。
［三次元モデル生成装置の動作］
次に、三次元モデル生成装置１００の動作について、図８を用いて説明する。図８は、三次元モデル生成装置１００の動作の一例を示すフローチャートである。
まず、三次元モデル生成装置１００では、受信部１１０が、推定装置２００から、複数のカメラ３０１が撮影した複数のフレームと、各カメラ３０１のカメラパラメータと、マップ情報とを受信する（Ｓ１０１）。ステップＳ１０１は、第１取得ステップ及び第２取得ステップの一例である。なお、受信部１１０は、複数のフレームと、カメラパラメータと、マップ情報とを１タイミングで受信しなくてもよく、それぞれを異なるタイミングで受信してもよい。つまり、第１取得ステップ及び第２取得ステップとは、同じタイミングで行われてもよいし、異なるタイミングで行われてもよい。
次に、記憶部１２０は、受信部１１０により受信された、複数のカメラ３０１が撮影した複数のフレームと、各カメラ３０１のカメラパラメータと、マップ情報とを記憶する（Ｓ１０２）。
次に、取得部１３０は、記憶部１２０に記憶されているマップ情報を取得し、取得したマップ情報を決定部１４０に出力する（Ｓ１０３）。
決定部１４０は、取得部１３０により取得されたマップ情報に基づいて、複数のフレーム間の複数の点のマッチングに用いる探索範囲を決定する（Ｓ１０４）。ステップＳ１０４は、決定ステップの一例である。ステップＳ１０４の詳細は、決定部１４０が行う処理の説明において説明したため省略する。
次に、生成部１５０は、第１フレーム上の第１の点に類似する類似点を、第２フレーム上の探索範囲に対応する範囲において、探索し（Ｓ１０５）、探索結果を用いて三次元モデルを生成する（Ｓ１０６）。ステップＳ１０５は、マッチングステップの一例である。ステップＳ１０６は、生成ステップの一例である。ステップＳ１０５及びステップＳ１０６の詳細は、生成部１５０が行う処理の説明において説明したため省略する。
そして、出力部１６０は、生成部１５０において生成された三次元モデルを出力する（Ｓ１０７）。
［効果等］
本実施の形態に係る三次元モデル生成方法は、１台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得ステップ（Ｓ１０１）と、第１視点における第１画像と、第２視点における第２画像とを取得する第２取得ステップ（Ｓ１０１）と、マップ情報に基づいて、第１画像の第１の点に対応する被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定ステップ（Ｓ１０４）と、第２画像上の探索範囲に対応する範囲において、第１の点に類似する類似点を探索するマッチングステップ（Ｓ１０５）と、マッチングステップにおける探索結果を用いて三次元モデルを生成する生成ステップ（Ｓ１０６）と、を含む。
三次元モデル生成方法によれば、マップ情報に基づいて探索範囲を決定し、探索範囲で制限された第２画像上の探索範囲に対応する範囲において、一の第１画像上の第１の点に類似する類似点を探索する。このように、三次元モデル生成方法では、マップ情報に基づいて、類似点が存在する可能性が高い範囲で類似点の探索を行うため、類似点の探索精度を向上することができ、かつ、探索処理に要する時間を短縮することができる。よって、三次元モデルの生成精度を向上させることができ、かつ、三次元モデルの生成処理の処理時間を短縮することができる。
また、例えば、探索範囲は、一の第１画像が撮影された第１視点からの撮影方向における範囲である。マッチングステップ（Ｓ１０５）では、第２画像における、第１の点に対応するエピポーラ線を探索範囲に応じた長さに制限し、第２画像のエピポーラ線上において、第１の点に類似する類似点を探索する。
これによれば、探索範囲に応じた長さに制限されたエピポーラ線上において、第１の点に類似する類似点を探索するため、類似点の探索精度を向上することができ、かつ、探索処理に要する時間を短縮することができる。
また、例えば、決定ステップ（Ｓ１０４）は、マップ情報に含まれる複数の三次元点を用いて、複数の三次元点に含まれる２点間において、被写体が存在すると推定される三次元点を補間する補間ステップを含む。決定ステップでは、補間ステップにおいて補間された複数の三次元点を用いて探索範囲を決定する。
これによれば、複数の三次元点の２点間において、被写体が存在すると推定される三次元点を補間するため、精度よく探索範囲を決定することができる。
また、例えば、補間ステップは、複数の三次元点に含まれる３点で規定される領域において、被写体が存在すると推定される三次元点を補間する。
これによれば、複数の三次元点の３点で規定される領域において、被写体が存在すると推定される三次元点を補間するため、精度よく探索範囲を決定することができる。
また、例えば、決定ステップ（Ｓ１０４）では、一の第１画像に複数の三次元点が投影された投影フレーム上の複数の領域毎に、第１画像が撮影された第１視点を基準とした三次元位置であって、当該領域に対応する被写体上の三次元位置を推定することで、各領域が推定された三次元位置を含む距離画像を生成し、距離画像における各領域の三次元位置に基づいて、探索範囲を決定する。
これによれば、投影フレーム上の複数の領域毎に三次元位置を算出するため、マッチングに必要な数だけ三次元位置を算出することができる。
また、例えば、決定ステップ（Ｓ１０４）では、距離画像における複数の領域毎に決定される探索範囲について、対応する領域の三次元位置の推定精度が低いほど探索範囲を広げる。
これによれば、補間された三次元形状上の三次元位置の精度が低下するほど探索範囲を広げることで、精度に応じた探索範囲に決定することができる。
また、例えば、三次元位置の推定精度は、三次元位置の第１視点からの距離が小さいほど高い。このため、三次元位置の第１視点からの距離に応じた探索範囲に決定することができる。
また、例えば、三次元位置の推定精度は、三次元位置が複数の三次元点のうちの少なくとも１つに近いほど高い。このため、三次元位置の複数の三次元点のうちの少なくとも１つからの距離に応じた探索範囲に決定することができる。
また、例えば、三次元位置の推定精度は、三次元位置が存在する領域における複数の三次元点の密度が大きいほど高い。このため、三次元位置が存在する領域における複数の三次元点の密度に応じた探索範囲に決定することができる。
［変形例］
上記実施の形態に係る三次元モデル生成方法では、マップ情報に含まれる複数の三次元点を用いて、複数の三次元点の間における被写体が存在すると推定される三次元点の補間を行うとしたが、補間は行われなくてもよい。また、マッチングでは、第１フレームの第１の点の類似点を、他のフレームにおけるエピポーラ線上から探索するとしたが、エピポーラ線を用いずに探索してもよい。
例えば、三次元モデル生成装置は、第１フレーム上の第１の点に対応する被写体上の第１三次元位置に近い第１三次元点を算出し、第１三次元点を他のフレームに投影し、投影された第１三次元点を含む所定の範囲から、第１の点の類似点を探索してもよい。なお、所定の範囲は、二次元的な広がりを有する範囲であってもよいし、一次元的な長さを有する範囲であってもよい。なお、所定の範囲は、一次元的な長さを有する範囲である場合、エピポーラ線上の範囲であってもよい。
（その他の実施の形態）
以上、本開示に係る三次元モデル生成方法等について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。
例えば、上記実施の形態では、三次元モデル生成装置等が備える各処理部は、ＣＰＵと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、又は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）も同じ目的で使うことができる。
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、又は、コンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、三次元モデル生成装置又は三次元モデル生成システムに適用でき、例えば、フィギュア作成、地形若しくは建物の構造認識、人物の行動認識、又は、自由視点映像の生成等に適用できる。
１００ 三次元モデル生成装置
１１０ 受信部
１２０ 記憶部
１３０ 取得部
１４０ 決定部
１５０ 生成部
１６０ 出力部
２００ 推定装置
３００ カメラ群
３０１ カメラ
４００ 三次元モデル生成システム
５００、５１０ 被写体
５１１、５１２ 点
５２０ マップ情報
５３１、５３２、５３３、５８１ フレーム
５４１、５４２、５４３ 特徴点
５５１、５６１、６１０、７１０ 投影フレーム
５５２、６１１ メッシュ
５６２、７１２ 領域
５７１ 第１フレーム
５７２、５８３、５８５ 画素
５８２、５８４ エピポーラ線
６０１ 三次元点
６１２ 辺
６２０、７２０ 距離画像
６２１、７２１ 三次元形状
６２２、７２２ 平面
７０１ 三次元点
Ｒ１、Ｒ２ 探索範囲
Ｖ１ 第１視点
Ｖ２ 第２視点

Claims (11)

  1. 情報処理装置によって実行される三次元モデル生成方法であって、
    １台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得ステップと、
    第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得ステップと、
    前記マップ情報に含まれる前記複数の三次元点に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定ステップと、
    前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチングステップと、
    前記マッチングステップにおける探索結果を用いて三次元モデルを生成する生成ステップと、を含み、
    前記探索範囲は、前記マップ情報から推定される前記被写体上の三次元位置を含む
    三次元モデル生成方法。
  2. 前記探索範囲は、前記第１視点からの撮影方向における範囲であり、
    前記マッチングステップでは、前記第２画像における、前記第１の点に対応するエピポーラ線を前記探索範囲に応じた長さに制限し、前記第２画像の前記エピポーラ線上において、前記第１の点に類似する類似点を探索する
    請求項１に記載の三次元モデル生成方法。
  3. 前記決定ステップは、前記マップ情報に含まれる前記複数の三次元点を用いて、前記複数の三次元点に含まれる２点間において、前記被写体が存在すると推定される三次元点を補間する補間ステップを含み、
    前記決定ステップでは、前記補間ステップにおいて補間された前記複数の三次元点を用いて前記探索範囲を決定する
    請求項１または２に記載の三次元モデル生成方法。
  4. 前記補間ステップは、前記複数の三次元点に含まれる３点で規定される領域において、前記被写体が存在すると推定される三次元点を補間する
    請求項３に記載の三次元モデル生成方法。
  5. 前記決定ステップでは、
    前記第１画像に前記複数の三次元点が投影された投影画像上の複数の領域毎に、前記第１視点を基準とした三次元位置であって、当該領域に対応する前記被写体上の三次元位置を推定することで、各領域が推定された前記三次元位置を含む距離画像を生成し、
    前記距離画像における各領域の前記三次元位置に基づいて、前記探索範囲を決定する
    請求項１から４のいずれか１項に記載の三次元モデル生成方法。
  6. 前記決定ステップでは、前記距離画像における前記複数の領域毎に決定される前記探索範囲について、対応する領域の前記三次元位置の推定精度が低いほど前記探索範囲を広げる
    請求項５に記載の三次元モデル生成方法。
  7. 前記三次元位置の推定精度は、前記三次元位置の前記第１視点からの距離が小さいほど高い
    請求項６に記載の三次元モデル生成方法。
  8. 前記三次元位置の推定精度は、前記三次元位置が前記複数の三次元点のうちの少なくとも１つの三次元点に近いほど高い
    請求項６または７に記載の三次元モデル生成方法。
  9. 前記三次元位置の推定精度は、前記三次元位置が存在する領域における前記複数の三次元点の密度が大きいほど高い
    請求項６から８のいずれか１項に記載の三次元モデル生成方法。
  10. 前記カメラ校正では、前記１台以上のカメラの位置及び姿勢が算出され、
    前記第１画像及び前記第２画像は、前記カメラ校正のために撮影された複数の画像に含まれる
    請求項１から９のいずれか１項に記載の三次元モデル生成方法。
  11. １台以上のカメラに複数の視点から被写体を撮影させることで実行されるカメラ校正で得られ、かつ、それぞれが三次元空間における前記被写体上の位置を示す複数の三次元点を含むマップ情報を取得する第１取得部と、
    第１視点から撮影された前記被写体の第１画像と、第２視点から撮影された前記被写体の第２画像とを取得する第２取得部と、
    前記マップ情報に含まれる前記複数の三次元点に基づいて、前記第１画像の第１の点に対応する前記被写体上の第１三次元点を含む三次元空間上の探索範囲を決定する決定部と、
    前記第２画像上の前記探索範囲に対応する範囲において、前記第１の点に類似する類似点を探索するマッチング部と、
    前記マッチング部における探索結果を用いて三次元モデルを生成する生成部と、を備え、
    前記探索範囲は、前記マップ情報から推定される前記被写体上の三次元位置を含む
    三次元モデル生成装置。
JP2021558382A 2019-11-20 2020-11-17 三次元モデル生成方法及び三次元モデル生成装置 Active JP7660284B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019210052 2019-11-20
JP2019210052 2019-11-20
PCT/JP2020/042715 WO2021100681A1 (ja) 2019-11-20 2020-11-17 三次元モデル生成方法及び三次元モデル生成装置

Publications (2)

Publication Number Publication Date
JPWO2021100681A1 JPWO2021100681A1 (ja) 2021-05-27
JP7660284B2 true JP7660284B2 (ja) 2025-04-11

Family

ID=75981622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558382A Active JP7660284B2 (ja) 2019-11-20 2020-11-17 三次元モデル生成方法及び三次元モデル生成装置

Country Status (5)

Country Link
US (1) US11869146B2 (ja)
EP (1) EP4064206A4 (ja)
JP (1) JP7660284B2 (ja)
CN (1) CN114746900B (ja)
WO (1) WO2021100681A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4261496A4 (en) * 2020-12-08 2024-05-29 Panasonic Intellectual Property Management Co., Ltd. METHOD FOR PRODUCING A THREE-DIMENSIONAL MODEL AND DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL
JP7639931B2 (ja) * 2021-10-13 2025-03-05 富士通株式会社 領域検出プログラム、装置、及び方法
JP7692175B2 (ja) * 2021-11-29 2025-06-13 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
JP2023104131A (ja) * 2022-01-17 2023-07-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2025248722A1 (ja) * 2024-05-30 2025-12-04 株式会社Ｎｔｔドコモ 画像処理装置及び画像処理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030462A (ja) 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体
JP2013069100A (ja) 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
US20140293016A1 (en) 2011-08-31 2014-10-02 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
JP2016152027A (ja) 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2017037426A (ja) 2015-08-07 2017-02-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017182564A (ja) 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2018022247A (ja) 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置およびその制御方法
WO2019065536A1 (ja) 2017-09-26 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
US20190243388A1 (en) 2018-02-07 2019-08-08 Hangzhou Zero Zero Technology Co., Ltd. Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2856548A1 (fr) * 2003-06-18 2004-12-24 France Telecom Procede de representation d'une sequence d'images par modeles 3d, signal et dispositifs correspondants
US20080018668A1 (en) * 2004-07-23 2008-01-24 Masaki Yamauchi Image Processing Device and Image Processing Method
US20090010507A1 (en) * 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US9542773B2 (en) * 2013-05-23 2017-01-10 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
US10360718B2 (en) * 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
JP6723748B2 (ja) 2016-01-22 2020-07-15 キヤノン株式会社 画像管理装置、画像管理方法及びプログラム
JP7002056B2 (ja) * 2016-09-12 2022-02-10 パナソニックＩｐマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
CN107909612B (zh) * 2017-12-01 2021-01-29 驭势科技（北京）有限公司 一种基于3d点云的视觉即时定位与建图的方法与系统
JP7164968B2 (ja) * 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
CN109919911B (zh) * 2019-01-26 2023-04-07 中国海洋大学 基于多视角光度立体的移动三维重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030462A (ja) 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体
US20140293016A1 (en) 2011-08-31 2014-10-02 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
JP2013069100A (ja) 2011-09-22 2013-04-18 Dainippon Screen Mfg Co Ltd 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
JP2016152027A (ja) 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2017037426A (ja) 2015-08-07 2017-02-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017182564A (ja) 2016-03-31 2017-10-05 株式会社デンソーアイティーラボラトリ 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2018022247A (ja) 2016-08-01 2018-02-08 キヤノン株式会社 情報処理装置およびその制御方法
WO2019065536A1 (ja) 2017-09-26 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
US20190243388A1 (en) 2018-02-07 2019-08-08 Hangzhou Zero Zero Technology Co., Ltd. Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same

Also Published As

Publication number Publication date
EP4064206A4 (en) 2023-02-01
EP4064206A1 (en) 2022-09-28
WO2021100681A1 (ja) 2021-05-27
CN114746900B (zh) 2025-10-28
JPWO2021100681A1 (ja) 2021-05-27
US20220284672A1 (en) 2022-09-08
US11869146B2 (en) 2024-01-09
CN114746900A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
JP7660284B2 (ja) 三次元モデル生成方法及び三次元モデル生成装置
US12548257B2 (en) Systems and methods for 3D facial modeling
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN108801209A (zh) 拍摄装置、图像处理方法以及程序
CN115035235B (zh) 三维重建方法及装置
JP7407428B2 (ja) 三次元モデル生成方法及び三次元モデル生成装置
JP7808763B2 (ja) 三次元点群高密度化装置、三次元点群高密度化方法、及び、プログラム
US12380637B2 (en) Three-dimensional model generation method and three-dimensional model generation device for calculating an accuracy of a similar point search
US20240296621A1 (en) Three-dimensional model generation method and three-dimensional model generation device
JP2020004219A (ja) ３次元形状データを生成する装置、方法、及びプログラム
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP6641313B2 (ja) 領域抽出装置及びプログラム
JP7504614B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2026009185A (ja) 三次元モデル生成方法及び三次元モデル生成装置
JP2022112168A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2003256845A (ja) ３次元運動測定方法及び装置、並びにこの方法の実行プログラム及びこの実行プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250317

R150 Certificate of patent or registration of utility model

Ref document number: 7660284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150