JP7170230B2 - 三次元再構成方法及び三次元再構成装置 - Google Patents

三次元再構成方法及び三次元再構成装置 Download PDF

Info

Publication number
JP7170230B2
JP7170230B2 JP2020517040A JP2020517040A JP7170230B2 JP 7170230 B2 JP7170230 B2 JP 7170230B2 JP 2020517040 A JP2020517040 A JP 2020517040A JP 2020517040 A JP2020517040 A JP 2020517040A JP 7170230 B2 JP7170230 B2 JP 7170230B2
Authority
JP
Japan
Prior art keywords
dimensional
camera
model
points
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020517040A
Other languages
English (en)
Other versions
JPWO2019211970A1 (ja
Inventor
徹 松延
敏康 杉尾
哲史 吉川
達也 小山
将貴 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019211970A1 publication Critical patent/JPWO2019211970A1/ja
Application granted granted Critical
Publication of JP7170230B2 publication Critical patent/JP7170230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Description

本開示は、多視点画像から三次元モデルを再構成する三次元再構成方法及び三次元再構成装置に関する。
コンピュータビジョンの分野における三次元再構成技術では、複数の二次元画像間で対応付けを行い、カメラの位置、向き、及び被写体の三次元位置を推定する。また、カメラキャリブレーション及び三次元点群再構成が行われる。例えば、このような三次元再構成技術は、次世代広域監視システム、又は自由視点映像生成システムで用いられる。
特許文献１に記載の装置は、３台以上の複数カメラ間でキャリブレーションを行い、取得したカメラパラメータにより各カメラ座標系を任意視点の仮想カメラ座標系へ変換する。当該装置は、その仮想カメラ座標系において、座標変換後の画像間のブロックマッチングによる対応付けを行い、距離情報を推定する。当該装置は、推定した距離情報を基に仮想カメラ視点の画像を合成する。
特開２０１０－２５０４５２号公報
このような、三次元再構成方法又は三次元再構成装置では、三次元モデルの精度を向上できることが望まれている。
そこで本開示は、三次元モデルの精度を向上できる三次元再構成方法又は三次元再構成装置を提供することを目的とする。
上記目的を達成するために、第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、前記複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、前記第１時刻と異なる第２時刻において前記複数のカメラで撮影された第２多視点画像から、前記被写体を示す複数の第２三次元点と、前記複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する再構成ステップと、前記第１時刻と前記第２時刻とで、（１）前記複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）前記複数の第１三次元点及び前記複数の第２三次元点のうち位置が変更されていない静止三次元点を検出する検出ステップと、検出された前記静止カメラの第１カメラパラメータ或いは第２カメラパラメータ、又は前記静止三次元点を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示は、三次元モデルの精度を向上できる三次元再構成方法又は三次元再構成装置を提供できる。
図１は、実施の形態に係る自由視点映像生成システムの概要を示す図である。 図２は、実施の形態に係る三次元再構成処理を説明するための図である。 図３は、実施の形態に係る同期撮影を説明するための図である。 図４は、実施の形態に係る同期撮影を説明するための図である。 図５は、実施の形態に係る三次元再構成システムのブロック図である。 図６は、実施の形態に係る三次元再構成装置による処理を示すフローチャートである。 図７は、実施の形態に係る多視点フレームセットの一例を示す図である。 図８は、実施の形態に係る三次元再構成部のブロック図である。 図９は、実施の形態に係る三次元再構成部による処理を示すフローチャートである。 図１０は、実施の形態に係るカメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。 図１１は、実施の形態に係る動き検出部のブロック図である。 図１２は、実施の形態に係る動き検出部による処理を示すフローチャートである。 図１３は、実施の形態に係る座標合せ部のブロック図である。 図１４は、実施の形態に係る座標合せ部による処理を示すフローチャートである。 図１５は、実施の形態に係る座標合せ方法１を説明するための図である。 図１６は、実施の形態に係る座標合せ方法２を説明するための図である。
（本開示の基礎となった知見）
時系列に同期撮影された多視点映像を用いて時系列に三次元モデルを再構成する場合、特許文献１の方法により各時刻で独立したキャリブレーション及び距離情報推定を行うと、三次元モデルの座標軸が時刻毎に異なり、時間方向の三次元情報の推移を利用できないという問題が生じる。具体的には、時刻間でカメラの位置又は向きが異なる場合、又は、被写体が動く場合には、三次元モデルの座標軸も時刻毎に異なることがある。これにより、例えば、仮想カメラ視点を固定している場合でも、シーン全体がぶれ続ける自由視点映像が生成される場合がある。
そこで本開示では、各時刻の三次元モデルの位置関係の精度を向上できる三次元再構成方法又は三次元再構成装置について説明する。
本開示の一態様に係る三次元再構成方法は、第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、前記複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、前記第１時刻と異なる第２時刻において前記複数のカメラで撮影された第２多視点画像から、前記被写体を示す複数の第２三次元点と、前記複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する再構成ステップと、前記第１時刻と前記第２時刻とで、（１）前記複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）前記複数の三次元点のうち位置が変更されていない静止三次元点を検出する検出ステップと、検出された前記静止カメラ又は前記静止三次元点を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む。
これによれば、当該三次元再構成方法は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上できる。また、当該三次元再構成方法は、静止カメラ又は静止三次元点を用いて座標合せを行う。これにより、座標合せの精度を向上できる。
例えば、前記検出ステップでは、前記第１多視点画像及び前記第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおけるグローバルベクトルを算出し、算出された前記グローバルベクトルを用いて、前記第１時刻と前記第２時刻とで、当該画像ペアを撮影したカメラの位置及び向きが変更されているかを判定してもよい。
例えば、前記検出ステップでは、前記第１多視点画像及び前記第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおける被写体の動きベクトルを算出し、算出された前記動きベクトルを用いて、前記第１時刻と前記第２時刻とで、当該被写体に対応する三次元点の位置が変更されているかを判定してもよい。
例えば、前記検出ステップでは、前記複数のカメラの各々に搭載された加速度センサのセンサ結果に基づき、前記複数のカメラの各々の位置及び向きが変更されているかを判定してもよい。
例えば、前記座標合せステップでは、１以上の前記静止三次元点と、１以上の前記静止カメラの三次元位置とのうち２点を選択し、前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記２点の距離に基づき、前記第１三次元モデルと前記第２三次元モデルとのスケールのずれを補正してもよい。
例えば、前記座標合せステップでは、１以上の前記静止カメラのうち一つを選択し、前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記静止カメラの三次元位置及び向きに基づき、前記第１三次元モデルと前記第２三次元モデルとの回転又は並進のずれを補正してもよい。
例えば、前記座標合せステップでは、前記第１三次元モデル内の前記複数の三次元点と前記複数のカメラの位置の相対関係、及び、前記第２三次元モデル内の前記複数の三次元点と前記複数のカメラの位置の相対関係を維持しつつ、前記第１三次元モデルと前記第２三次元モデルとにおける前記静止三次元点の位置、及び前記静止カメラの位置の誤差が低減されるように、前記第１三次元モデル又は前記第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正してもよい。
例えば、前記座標合せステップでは、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の第１信頼度と、前記第２三次元モデルに含まれる、前記静止カメラの第２カメラパラメータ及び前記静止三次元点の第２信頼度の少なくとも一方に基づく第３信頼度に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せてもよい。
これによれば、当該三次元再構成方法は、信頼度に応じた適切な座標合せ方法を用いることができる。
例えば、前記第１信頼度は、前記第１三次元モデルに含まれる前記静止三次元点を、前記第１三次元モデルに含まれる前記静止カメラの第１カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標とし、前記第２信頼度は、前記第２三次元モデルに含まれる前記静止三次元点を、前記第２三次元モデルに含まれる前記静止カメラの第２カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標としてもよい。
例えば、前記座標合せステップでは、前記第３信頼度が基準値より高い場合は、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の一部と、前記第２三次元モデルに含まれる、前記静止カメラの前記第２カメラパラメータ及び前記静止三次元点の一部との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第１座標合せ方法を選択し、前記第３信頼度が前記基準値より低い場合は、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の全体と、前記第２三次元モデルに含まれる、前記静止カメラの前記第２カメラパラメータ及び前記静止三次元点の全体との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第２座標合せ方法を選択してもよい。
これによれば、当該三次元再構成方法は、信頼度に応じた適切な座標合せ方法を用いることができる。
本開示の一態様に係る三次元再構成装置は、第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、前記複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、前記第１時刻と異なる第２時刻において前記複数のカメラで撮影された第２多視点画像から、前記被写体を示す複数の第２三次元点と、前記複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する再構成部と、前記第１時刻と前記第２時刻とで、（１）前記複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）前記複数の三次元点のうち位置が変更されていない静止三次元点を検出する検出部と、検出された前記静止カメラ又は前記静止三次元点を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せ部とを含む。
これによれば、当該三次元再構成方法は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上できる。また、当該三次元再構成方法は、静止カメラ又は静止三次元点を用いて座標合せを行う。これにより、座標合せの精度を向上できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
本実施の形態に係る三次元再構成装置は、時刻間で座標軸の一致した時系列三次元モデルを再構成できる。具体的には、まず、三次元再構成装置２００は、時刻毎に独立して三次元再構成を行うことで、各時刻の三次元モデルを取得する。次に、三次元再構成装置は、静止カメラ及び静止物体（静止三次元点）を検出し、検出した静止カメラ及び静止物体を用いて、時刻間で三次元モデルの座標合せを行い、座標軸の一致した時系列三次元モデルを生成する。
これにより、三次元再構成装置は、カメラの固定／非固定又は被写体の移動／静止に関わらず、各時刻の被写体及びカメラの相対位置関係が高精度であり、かつ時間方向の推移情報を利用可能な時系列三次元モデルを生成できる。
図１は、自由視点映像生成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ及び移動カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点映像生成システムを実現できる。
本開示における三次元再構成を定義する。実空間上に存在する被写体を複数のカメラにより異なる視点で撮影した映像又は画像を多視点映像又は多視点画像と呼ぶ。つまり、多視点画像は、同一の被写体を異なる視点から撮影した複数の二次元画像を含む。また、時系列に撮影された多視点画像を多視点映像と呼ぶ。この多視点画像を用いて被写体を三次元空間に再構成することを三次元再構成と呼ぶ。図２は、三次元再構成の仕組みを示す図である。
三次元再構成装置は、カメラパラメータを用いて、画像面の点を世界座標系に再構成する。三次元空間に再構成された被写体を三次元モデルと呼ぶ。被写体の三次元モデルは、多視点の二次元画像に映る被写体上の複数の点それぞれの三次元位置を示す。三次元位置は、例えば、ＸＹＺ軸からなる三次元座標空間のＸ成分、Ｙ成分、Ｘ成分からなる三値情報で表される。なお、三次元モデルは、三次元位置のみだけでなく、各点の色又は各点及びその周辺の表面形状を表す情報を含んでもよい。
この時、三次元再構成装置は、各カメラのカメラパラメータを、予め取得してもよいし、三次元モデルの作成と同時に推定してもよい。カメラパラメータは、カメラの焦点距離及び画像中心などからなる内部パラメータと、カメラの三次元位置及び向きを示す外部パラメータとを含む。
図２は、代表的なピンホールカメラモデルの例を示している。このモデルではカメラのレンズ歪みは考慮されていない。レンズ歪みを考慮する場合は、三次元再構成装置は、画像面座標における点の位置を歪みモデルにより正規化した補正位置を用いる。
次に、多視点映像の同期撮影について説明する。図３及び図４は同期撮影を説明するための図である。図３及び図４の横方向は時間を示し、矩形信号が立っている時間はカメラが露光していることを示す。カメラにより画像を取得する際、シャッタが開放されている時間を露光時間と呼ぶ。
露光時間中、レンズを通して撮像素子にさらされたシーンが画像として得られる。図３では、視点の異なる２台のカメラで撮影されたフレームでは、露光時間が重複している。これにより２台のカメラにより取得したフレームは、同一時刻のシーンを含んでいる同期フレームと判定される。
一方、図４では、２台のカメラで露光時間の重複が無いため、２台のカメラにより取得したフレームは、同一時刻のシーンを含まない非同期フレームと判定される。図３のように、同期フレームを複数のカメラで撮影することを同期撮影と呼ぶ。
次に、本実施の形態に係る三次元再構成システムの構成を説明する。図５は、本実施の形態に係る三次元再構成システムのブロック図である。図５に示す三次元再構成システムは、複数のカメラ１００－１～１００－ｎと、三次元再構成装置２００とを含む。
複数のカメラ１００－１～１００－ｎは被写体を撮影し、撮影された複数の映像である多視点映像を出力する。多視点映像の送信は、インターネットなどの公衆通信網、又は専用通信網のいずれを介してもよい。あるいは、多視点映像は、一度ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置に記憶され、必要な時に三次元再構成装置２００へ入力されてもよい。あるいは、多視点映像は、クラウドサーバ等の外部記憶装置に一旦ネットワークを介して送信され、記憶される。そして、必要な時に三次元再構成装置２００へ送信されてもよい。
また、複数のカメラ１００－１～１００－ｎの各々は、監視カメラなどの固定カメラであっても、ビデオカメラ、スマートフォンまたはウェアラブルカメラなどのモバイルカメラであっても、撮影機能付きドローンなどの移動カメラであってもよい。
また、多視点映像には、映像又はフレームのヘッダ情報として、撮影したカメラを特定するカメラＩＤなどのカメラ特定情報が付加されてもよい。
複数のカメラ１００－１～１００－ｎを用いて、毎フレームで同じ時刻の被写体を撮影する同期撮影が行われてもよい。あるいは、複数のカメラ１００－１～１００－ｎに内蔵された時計の時刻を合せ、同期撮影せずに、映像又はフレーム毎に撮影時刻情報が付加されてもよし、撮影順序を示すインデックス番号が付加されてもよい。
多視点映像の映像セット毎、映像毎、又はフレーム毎に、同期撮影されたか、非同期撮影されたかを示す情報がヘッダ情報として付加されてもよい。
また、三次元再構成装置２００は、受信部２１０と、記憶部２２０と、取得部２３０と、三次元再構成部２４０と、送信部２５０とを備える。
次に、三次元再構成装置２００の動作を説明する。図６は、本実施の形態に係る三次元再構成装置２００の動作を示すフローチャートである。
まず、受信部２１０は、複数のカメラ１００－１～１００－ｎで撮影された多視点映像を受信する（Ｓ１０１）。記憶部２２０は、受信された多視点映像を記憶する（Ｓ１０２）。
次に、取得部２３０は、多視点映像からフレームを選択し、多視点フレームセットとして三次元再構成部２４０へ出力する（Ｓ１０３）。
例えば、多視点フレームセットは、全ての視点の映像から１フレームずつ選択した複数フレームにより構成されてもよいし、全ての視点の映像から少なくとも１フレーム選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から１フレームずつ選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から少なくとも１フレーム選択した複数フレームにより構成されてもよい。
また、多視点フレームセットの各フレームにカメラ特定情報が付加されていない場合は、取得部２３０は、カメラ特定情報を、各フレームのヘッダ情報に個別に付加してもよいし、多視点フレームセットのヘッダ情報に一括して付加してもよい。
また、多視点フレームセットの各フレームに撮影時刻又は撮影順を示すインデックス番号が付加されていない場合は、取得部２３０は、撮影時刻又はインデックス番号を、各フレームのヘッダ情報に個別に付加してもよいし、フレームセットのヘッダ情報に一括して付加してもよい。
次に、三次元再構成部２４０は、多視点フレームセットを用いて、各カメラのカメラパラメータを推定し、各フレームに映る被写体の三次元モデルを再構成する（Ｓ１０４）。
また、ステップＳ１０３及びＳ１０４の処理は、多視点フレームセット毎に繰り返し行われる。
最後に、送信部２５０は、カメラパラメータ、及び被写体の三次元モデルの一方又は両方を外部へ送信する（Ｓ１０５）。
次に、多視点フレームセットの詳細について説明する。図７は、多視点フレームセットの一例を示す図である。ここでは、取得部２３０が、５台のカメラ１００－１～１００－５から１フレームずつを選択することで多視点フレームセットを決定する例を説明する。
また、複数のカメラが同期撮影することを仮定している。各フレームのヘッダ情報には、撮影されたカメラを特定するカメラＩＤがそれぞれ１００－１～１００－５として付与されている。また、各フレームのヘッダ情報には、各カメラ内での撮影順序を示すフレーム番号００１～Ｎが付与されており、カメラ間で同じフレーム番号を持つフレームは同時刻の被写体が撮影されたことを示す。
取得部２３０は、多視点フレームセット２００－１～２００－ｎを三次元再構成部２４０へ順次出力する。三次元再構成部２４０は、繰り返し処理により多視点フレームセット２００－１～２００－ｎを用いて、順次三次元再構成を行う。
多視点フレームセット２００－１は、カメラ１００－１のフレーム番号００１、カメラ１００－２のフレーム番号００１、カメラ１００－３のフレーム番号００１、カメラ１００－４のフレーム番号００１、カメラ１００－５のフレーム番号００１の５枚のフレームから構成される。三次元再構成部２４０は、この多視点フレームセット２００－１を、多視点映像の最初のフレームの集合として、繰り返し処理１で使用することにより、フレーム番号００１を撮影した時刻の三次元モデルを再構成する。
多視点フレームセット２００－２では、全てのカメラでフレーム番号が更新される。多視点フレームセット２００－２は、カメラ１００－１のフレーム番号００２、カメラ１００－２のフレーム番号００２、カメラ１００－３のフレーム番号００２、カメラ１００－４のフレーム番号００２、カメラ１００－５のフレーム番号００２の５枚のフレームから構成される。三次元再構成部２４０は、おの多視点フレームセット２００－２を繰り返し処理２で使用することにより、フレーム番号００２を撮影した時刻の三次元モデルを再構成する。
以下、繰り返し処理３以降でも同様に全てのカメラでフレーム番号が更新される。これにより、三次元再構成部２４０は、各時刻の三次元モデルを再構成できる。
ただし、各時刻で独立して三次元再構成を行うため、再構成された複数の三次元モデルの座標軸とスケールが一致しているとは限らない。つまり、動く被写体の三次元モデルを取得するためには、各時刻の座標軸及びスケールを合せる必要がある。
その場合、各フレームには撮影時刻が付与されており、その撮影時刻を基に取得部２３０は、同期フレームと非同期フレームを組み合わせた多視点フレームセットを作成する。以下、２台のカメラ間での撮影時刻を用いた同期フレームと非同期フレームの判定方法を説明する。
カメラ１００－１から選択したフレームの撮影時刻をＴ１とし、カメラ１００－２から選択したフレームの撮影時刻をＴ２とし、カメラ１００－１の露光時間をＴＥ１とし、カメラ１００－２の露光時間をＴＥ２とする。ここで、撮影時刻Ｔ１、Ｔ２は、図３及び図４の例で露光が開始された時刻、つまり矩形信号の立ち上がりの時刻を指している。
この場合、カメラ１００－１の露光終了時刻はＴ１＋ＴＥ１である。この時、（式１）又は（式２）が成立していれば、２台のカメラは、同じ時刻の被写体を撮影していることになり、２枚のフレームは同期フレームと判定される。
Ｔ１≦Ｔ２≦Ｔ１＋ＴＥ１ （式１）
Ｔ１≦Ｔ２＋ＴＥ２≦Ｔ１＋ＴＥ１ （式２）
次に、三次元再構成部２４０の詳細について説明する。図８は三次元再構成部２４０の構造を示すブロック図である。図８に示すように三次元再構成部２４０は、検出部３１０と、抽出部３１１と、対応部３１２と、選択部３１３と、推定部３１４と、復元部３１５と、最適化部３１６と、記憶部３１７と、座標合せ部３１８と、動き検出部３１９とを備える。
図９は、三次元再構成部２４０の動作を示すフローチャートである。なお、図９に示す処理は、例えば、多視点フレームセット毎に行われる。
まず、検出部３１０は、多視点フレームセットに含まれる全フレームの特徴点を検出する（Ｓ１１１）。特徴点は、フレームに含まれる物体の輪郭、物体或いは空間の角、又はフレーム平面における物体同士の交差点のような、点、エッジ、又は一定領域とその周囲との輝度又は色合いの差が大きい点、辺、又は一定領域のことを示す。
次に、抽出部３１１は、検出部３１０で検出された全ての特徴点の特徴ベクトルを算出する（Ｓ１１２）。特徴ベクトルは、特徴点を含む特定領域に含まれる画素の輝度又は色の勾配方向の分布をベクトルで表現したものである。なお、特徴点及び特徴ベクトルは、他の画像情報であってもよい。例えば、特徴点及び特徴ベクトルは、テクスチャ情報又は周波数変換後の情報を用いて検出されるものでも構わない。
次に、対応部３１２は、抽出部３１１が抽出した特徴ベクトルを用いてフレームペアの対応点を決定する（Ｓ１１３）。例えば、対応部３１２は、あるフレームに含まれる特徴点の特徴ベクトルに類似する特徴ベクトルを有する他のフレームの特徴点を探索し、この２つの特徴点を対応点に決定する。つまり、対応点は、異なるフレームに含まれる、同一の三次元点を示す２つの特徴点を示す。また、対応部３１２は、各フレームの各特徴点に対して同様の処理を行うことで複数の対応点を決定する。
次に、選択部３１３は、対応部３１２が決定した対応点、又は、後述する最適化部３１６が算出した三次元点を用いて、三次元再構成の対象である対象カメラを未推定カメラから選択する（Ｓ１１４）。ここで未推定カメラとは、複数のカメラのうち、後述するカメラパラメータの推定処理を行っていないカメラである。なお、ステップＳ１１４～Ｓ１１７の処理は、カメラ毎に繰り返し行われ、全てのカメラに対して処理が行われた場合、ステップＳ１１８に進む。
次に、推定部３１４は、対応部３１２が決定した対応点を用いて、対象カメラのカメラパラメータを推定する（Ｓ１１５）。
次に、復元部３１５は、推定部３１４が推定したカメラパラメータを用いてフレーム内の特徴点を三次元点として再構成する（Ｓ１１６）。具体的には、復元部３１５は、対象カメラで撮影されたフレーム内の各特徴点を三次元座標上に逆投影することにより、被写体の三次元モデルを再構成する。
次に、最適化部３１６は、推定部３１４が推定したカメラパラメータと、復元部３１５が復元した複数の三次元点を、三次元モデル全体が最適となるように補正し、補正した三次元モデルを記憶部３１７に格納する（Ｓ１１７）。また、記憶部３１７は、多視点フレームセットを記憶する。
ステップＳ１１４～Ｓ１１７の処理が全てのカメラに対して行われることで、ある時刻の多視点フレームセットに基づく三次元モデルが生成される。
次に、動き検出部３１９は、多視点フレームセットを撮影した複数のカメラのうち位置及び向きが変更されていない静止カメラと、三次元モデルに含まれる複数の三次元点のうち位置が変更されていない静止三次元点を検出する（Ｓ１１８）。
次に、座標合せ部３１８は、静止カメラ及び静止三次元点を用いて、得られた三次元モデルの座標を、再構成済みの他の時刻の三次元モデルの座標に合せる座標合せ処理を行う（Ｓ１１９）。
なお、上記説明では、動き検出部３１９は、静止カメラ及び静止三次元点の両方を検出しているがいずれか一方を検出してもよい。そして、座標合せ部３１８は、検出された静止カメラ又は静止三次元点を用いて座標合せ処理を行ってもよい。
このように、三次元再構成装置２００は、第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、第１時刻と異なる第２時刻において複数のカメラで撮影された第２多視点画像から、被写体を示す複数の第２三次元点と、複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する。次に、三次元再構成装置２００は、第１時刻と第２時刻とで、（１）複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）複数の三次元点のうち位置が変更されていない静止三次元点を検出する。次に、三次元再構成装置２００は、静止カメラ又は静止三次元点を用いて、第１三次元モデルと第２三次元モデルとの世界座標系を合せる。これにより、三次元再構成装置２００は、各時刻の三次元モデルの位置関係の精度を向上できるので、三次元モデルの精度を向上できる。
以下、対応点を用いたカメラパラメータの推定方法（Ｓ１１５）及び三次元モデルの再構成方法（Ｓ１１６）の一例を説明する。三次元再構成部２４０は、エピポーラ幾何を拘束条件として、世界座標系におけるカメラの座標及び姿勢を算出し、さらに、カメラにより撮影した画像上の点の世界座標系における三次元位置を算出する。
図１０は、カメラパラメータの推定方法及び三次元モデルの再構成方法を説明するための図である。カメラの内部パラメータは既知であり、３枚のフレーム（画像１、画像２、及び画像３）を用いて、カメラの外部パラメータを推定し、被写体の三次元モデルを再構成する例を説明する。
各カメラのカメラパラメータを取得するには、０を原点とする世界座標系におけるカメラの回転行列Ｒ１、Ｒ２、Ｒ３及び並進ベクトルＴ１、Ｔ２、Ｔ３を算出する必要がある。まず、画像１と画像２を撮影したカメラの回転行列及び並進ベクトルを算出する方法を述べる。画像１上の点ｍ１＝（ｕ１、ｖ１、１）と画像２上の点ｍ２が対応している時、両者には（式３）を満たすエピポーラ方程式が成り立つ。
Figure 0007170230000001
ここで、ＦをＦｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ（Ｆ行列）と呼ぶ。推定部３１４は、各カメラの内部パラメータＫを用いて、（式４）に示す変換式によりそれぞれの点を各カメラ座標系の点ｍ１＝（ｘ１、ｙ１、ｚ１）及びｍ２＝（ｘ２、ｙ２、ｚ２）として取得できる。エピポーラ方程式は（式５）のように書き換えられる。
Figure 0007170230000002
Figure 0007170230000003
ここで、ＥをＥｓｓｅｎｔｉａｌ ｍａｔｒｉｘ（Ｅ行列）と呼ぶ。推定部３１４は、複数の対応点を用いてＥ行列の各要素を算出できる。また、推定部３１４は、画像間の点ｍ１及びｍ２のような対応点を複数用いてＦ行列の各要素を算出した後、（式６）の変換式によりＥ行列を取得してもよい。
Ｅ＝Ｋ－１ＦＫ （式６）
推定部３１４は、このＥ行列を分解することにより、世界座標系において画像１から画像２への回転行列及び並進ベクトルを取得できる。世界座標系におけるカメラ１の位置及び世界座標系の各軸に対するカメラ１の傾きが既知の場合は、推定部３１４は、カメラ１とカメラ２との相対関係を用いて、世界座標系におけるカメラ１及びカメラ２の位置及び姿勢を取得できる。推定部３１４は、世界座標系におけるカメラ１の位置及び姿勢を、映像以外のカメラの情報（例えば、カメラが備えるジャイロセンサ又は加速度センサ等のセンサで得られた情報）を用いて算出してもよいし、予め計測しておいてもよい。また、カメラ１のカメラ座標系を世界座標系として、他のカメラの位置及び姿勢を算出してもよい。
なお、カメラのレンズ歪みを考慮する場合、推定部３１４は、歪みモデルを用いて、画像上の点の位置を補正し、補正された位置を用いてＦ行列又はＥ行列を取得する。推定部３１４は、一例として（式７）に示すレンズの半径方向の歪みモデルなどを使用する。
ｕｕｎｄｉｓｔｏｒｔｅｄ＝ｕ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｖｕｎｄｉｓｔｏｒｔｅｄ＝ｖ（１＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）
ｒ２＝ｕ２＋ｖ２ （式７）
また、復元部３１５は、画像１と画像２の回転行列及び並進ベクトルを用いて形成される三角形により、対応点の世界座標系上の対応点の三次元座標Ｍを取得できる。
また、上記の幾何学的関係は３視点に拡張できる。画像１と画像２に対し画像３を追加する場合、推定部３１４は、画像２と画像３、及び画像１と画像３についてもそれぞれＥ行列を算出し、各カメラ間の相対的な回転行列及び並進ベクトルを取得する。推定部３１４は、これらを統合することにより、画像３のカメラの世界座標系における回転行列及び並進ベクトルを算出できる。
また、画像３と画像１、画像３と画像２のそれぞれで対応点から画像３の回転行列及び並進ベクトルを算出してもよい。詳細には、画像１と画像３、及び画像２と画像３で対応点を求める。ここで、画像１上の点ｍ１、及び画像２上の点ｍ２に対応する画像３上の点ｍ３が得られたとすると、この対応点の三次元座標Ｍは取得できているため、画像３上の点と三次元空間内の座標の対応関係を取得できる。この時、（式８）が成り立つ。
Figure 0007170230000004
ここでＰをＰｅｒｓｐｅｃｔｉｖｅ ｍａｔｒｉｘ（Ｐ行列）と呼ぶ。Ｐ行列、Ｅ行列、及び内部行列には（式９）の関係が成り立つため、推定部３１４は、画像３のＥ行列を取得でき、これにより回転行列及び並進ベクトルを求めることができる。
Ｐ＝ＫＥ （式９）
なお、内部パラメータが未知の場合でも、推定部３１４は、Ｆ行列又はＰ行列を算出した後、内部行列は上三角行列であり、Ｅ行列は正定値対称行列であるという制約の下にＦ行列及びＰ行列を分割することで、内部行列及びＥ行列を求めることが可能である。
以下、動き検出部３１９の構成、及び、静止カメラ並びに静止三次元点の検出処理（Ｓ１１８）の詳細を説明する。図１１は、動き検出部３１９の構造を示すブロック図である。図１４は、静止カメラ及び静止三次元点の検出処理のフローチャートである。
動き検出部３１９は、図１４に示す処理を、処理対象の時刻の多視点フレームセットに含まれる複数の画像の各々に対して行う。また、以下では処理対象の画像を対象画像と呼ぶ。また、記憶部３１７に記憶されている、対象画像と同一のカメラで対象画像より前（例えば直前）に撮影された画像を参照画像と呼ぶ。動き検出部３１９は、動きベクトル算出部５１０と、静止判定部５１１とを備える。
まず、動きベクトル算出部５１０は、対象画像と、参照画像と、最適化部３１６で生成された対象時刻のカメラパラメータ及び三次元モデルとを用いて、対象画像全体の動きを示すグローバルベクトルと、画像領域毎の動きを示すローカルベクトルとを算出する（Ｓ１３１）。
具体的には、動きベクトル算出部５１０は、以下の方法でグローバルベクトルを算出する。動きベクトル算出部５１０は、対象画像内の複数の画像領域を、等間隔又はランダムにサンプリングし、参照画像に対する各画像領域の動きベクトルを算出する。そして、動きベクトル算出部５１０は、算出された複数の動きベクトルを、カメラの動きモデル（パン、チルト及び平行移動等）に当てはめることで、カメラの動きを示すグローバルベクトルを検出する。これにより、複数のカメラの各々の動きを示す複数のグローバルベクトルが検出される。
また、動きベクトル算出部５１０は、以下の方法でローカルベクトルを算出する。まず、動きベクトル算出部５１０は、最適化部３１６から取得した三次元モデルに含まれる複数の三次元点を対象画像の画像面へ再投影することで再投影画像を生成する。動きベクトル算出部５１０は、複数の三次元点に対応する、再投影画像内の複数の二次元点の各々について、参照画像に対する動きベクトルであるローカルベクトルを算出する。これにより、複数の被写体（三次元点）の各々の動きを示す動き複数のローカルベクトルが検出される。
なお、動きベクトル算出部５１０は、一つの画像面の一つの再投影画像及び一つの参照画像に基づきローカル動きベクトルを算出してもよいし、複数の画像面の複数の再投影画像及び複数の参照画像に基づきローカルベクトルを算出してもよい。
例えば、動きベクトル算出部５１０は、対象三次元点を、第１カメラの第１画像面に再投影することで第１再投影画像を生成する、動きベクトル算出部５１０は、生成した第１再投影画像と、第１カメラで撮影された第１参照画像とを用いて、対象三次元点の動きを示す第１動きベクトルを算出する。同様に、動きベクトル算出部５１０は、対象三次元点を、第１カメラとは異なる第２カメラの第２画像面に再投影することで第２再投影画像を生成し、生成した第２再投影画像と、第１カメラで撮影された第１参照画像とを用いて、対象三次元点の動きを示す第２動きベクトルを算出する。そして、動きベクトル算出部５１０は、第１動きベクトル及び第２動きベクトルの少なくとも一方により対象三次元点に動きがあることが示される場合に、対象三次元点に動きがあると判定する。また、動きベクトル算出部５１０は、第１動きベクトル及び第２動きベクトルの両方により対象三次元点に動きがないことが示される場合に、対象三次元点に動きがないと判定する。このように複数方向から見た動きを用いることで動きの有無をより正確に検出できる。
なお、グローバルベクトル及びローカルベクトルの算出方法は一例であり、上記に限定されない。例えば、ブロックマッチング等が用いられてもよい。
また、本実施の形態の手法では、カメラ及び各三次元点の動きの有り／無しが検出できればよいので、必ずしも動きベクトル（動きの大きさ及び方向）が検出される必要はない。
次に、静止判定部５１１は、グローバルベクトルを用いて静止カメラを判定する（Ｓ１３２）。具体的には、静止判定部５１１は、グローバルベクトルで示される動きの大きさが予め定められた閾値より小さいカメラを静止カメラと判定する。
また、静止判定部５１１は、ローカルベクトルを用いて静止三次元点を判定する（Ｓ１３３）。具体的には、静止判定部５１１は、ローカルベクトルで示される動きの大きさが予め定められた閾値より小さい三次元点を静止三次元点と判定する。
また、静止判定部５１１は、静止カメラ及び静止三次元を示す情報を座標合せ部３１８に出力する。例えば、静止判定部５１１は、カメラが静止カメラであるか否かを示す１ビットデータをカメラパラメータに付与し、三次元点が静止三次元点であるか否かを示す１ビットデータを三次元点のデータに付与する。なお、静止判定部５１１は、三次元モデルから、静止カメラ及び静止三次元点以外のカメラ及び三次元点を取り除き、静止カメラ及び静止三次元点からなる三次元モデルを生成してもよい。
このように、三次元再構成装置２００は、第１多視点画像及び第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおけるグローバルベクトルを算出する。三次元再構成装置２００は、算出されたグローバルベクトルを用いて、第１時刻と第２時刻とで、当該画像ペアを撮影したカメラの位置及び向きが変更されているかを判定する。
また、三次元再構成装置２００は、第１多視点画像及び第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおける被写体の動きベクトル（ローカルベクトル）を算出し、算出された動きベクトルを用いて、第１時刻と第２時刻とで、当該被写体に対応する三次元点の位置が変更されているかを判定する。
なお、上記以外の方法で、カメラの動きが検出されてもよい。例えば、三次元再構成装置２００は、複数のカメラの各々に搭載された加速度センサのセンサ結果に基づき、複数のカメラの各々の位置及び向きが変更されているかを判定してもよい。
以下、座標合せ部３１８の構成及び座標合せ処理（Ｓ１１９）の詳細を説明する。図１３は、座標合せ部３１８の構造を示すブロック図である。図１４は、座標合せ処理のフローチャートである。
座標合せ部３１８は、現時刻の三次元モデルの座標系を記憶部３１７に格納されている再構成済みの三次元モデルの座標系に合せる座標合せ処理を行う。前者を対象モデルと呼び、後者を参照モデルと呼ぶ。
座標合せ部３１８は、参照モデル選択部４１０と、座標合せ方法選択部４１１と、座標合せ処理部４１２とを備える。
まず、参照モデル選択部４１０は、最適化部３１６により出力された対象モデルの座標系を、再構成済みの三次元モデルの座標系に合せるために、記憶部３１７に格納されている再構成済みの三次元モデルのなかから参照モデルを選択する（Ｓ１２１）。具体的には、参照モデル選択部４１０は、信頼度の高いモデルを参照モデルとして選択する。例えば、参照モデル選択部４１０は、再投影誤差が少ないモデルを参照モデルとして選択する。再投影誤差とは、カメラパラメータを用いて三次元モデルを各カメラの画像面に再投影した点と、三次元モデルを算出する基となった画像上の特徴点との誤差である。言い換えると、再投影誤差は、多視点画像を撮影したカメラのカメラパラメータを用いて、三次元モデル内の三次元点を多視点画像の画像面へ再投影した再投影点と、当該三次元点に対応する多視点画像上の二次元点との誤差である。なお、信頼度は、静止カメラ及び静止三次元点の信頼度であってもよい。つまり、信頼度の高いモデルとは、静止三次元点を静止カメラの画像面に投影した際の再投影誤差が少ないモデルであってもよい。または、信頼度は、静止カメラ及び静止三次元点を含む全てのカメラ及び三次元点の信頼度であってもよい。
なお、参照モデル選択部４１０は、対象モデルに時刻が近いモデルを参照モデルとして選択してもよいし、時刻と信頼度とを組み合わせて参照モデルを選択してもよい。
次に、座標合せ方法選択部４１１は、対象モデルと参照モデルとの座標系を合せるための方法を選択する（Ｓ１２２）。具体的には、座標合せ方法選択部４１１は、静止カメラのカメラパラメータ及び静止三次元点のうちの一部の位置パラメータの誤差を最小化する方法１と、静止カメラ及び静止三次元点の全ての位置パラメータの誤差を最小化する方法２とから、一方を選択する。例えば、座標合せ方法選択部４１１は、カメラ及び三次元モデルの相対関係の信頼度が高い場合は、方法１を選択し、信頼度が低い場合は、方法２を選択する。なお、ここでの信頼度は、静止カメラ及び静止三次元点の信頼度であってもよいし、静止カメラ及び静止三次元点を含む全てのカメラ及び三次元点の信頼度であってもよい。
次に、座標合せ処理部４１２は、座標合せ方法選択部４１１により選択された方法を用いて、対象モデルと参照モデルとの座標系を合せる（Ｓ１２３）。座標合せ処理部４１２は、カメラ及び三次元モデルの相対関係は維持したまま、対象モデルの世界座標を回転、移動、及びスケーリング処理することで、対象モデルと参照モデルとの誤差を最小化する。
このように、三次元再構成装置２００は、第２三次元モデルを含み、同一の実空間を互いに異なる時刻に撮影した複数の多視点画像の各々から複数の三次元モデルを再構成する。三次元再構成装置２００は、複数の三次元モデルの信頼度に基づき、複数の三次元モデルから、第１三次元モデルのための参照モデルとして第２三次元モデルを選択する。例えば、三次元再構成装置２００は、信頼度が最も高い、又は信頼度が基準値より高い三次元モデルを選択する。または、三次元再構成装置２００は、第１三次元モデルの時刻と、複数の三次元モデルの各々の時刻との差に基づき、複数の三次元モデルから、第１三次元モデルのための参照モデルとして第２三次元モデルを選択する。例えば、三次元再構成装置２００は、上記時刻の差が最も小さい、又は上記時刻の差が基準値より小さい三次元モデルを選択する。そして、三次元再構成装置２００は、第１三次元モデルの世界座標を第２三次元モデルの世界座標に合せる。
これにより、三次元再構成装置２００は、信頼度の高い、又は第１三次元モデルに時刻が近い第２三次元モデルに第１三次元モデルの世界座標を合せることができるので、座標合せの精度を向上できる。
また、三次元再構成装置２００は、第１三次元モデルの第１信頼度、及び第２三次元モデルの第２信頼度の少なくとも一方に基づく第３信頼度に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、第１三次元モデルと第２三次元モデルとの世界座標系を合せる。例えば、信頼度は、再投影誤差を指標とする。なお、第１信頼度は、第１三次元モデルに含まれる、静止カメラの第１カメラパラメータ及び静止三次元点の第１信頼度であってもよい。第２信頼度は、第２三次元モデルに含まれる、静止カメラの第２カメラパラメータ及び静止三次元点の信頼度であってもよい。例えば、第１信頼度は、第１三次元モデルに含まれる静止三次元点を、第１三次元モデルに含まれる静止カメラの第１カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標とする。第２信頼度は、第２三次元モデルに含まれる静止三次元点を、第２三次元モデルに含まれる静止カメラの第２カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標とする。
例えば、三次元再構成装置２００は、第３信頼度が基準値より高い場合は、第１三次元モデルに含まれる、静止カメラの第１カメラパラメータ及び静止三次元点の一部と、第２三次元モデルに含まれる、静止カメラの第２カメラパラメータ及び静止三次元点の一部との誤差に基づき第１三次元モデルと第２三次元モデルとの世界座標系を合せる第１座標合せ方法（座標合せ方法１）を選択する。また、三次元再構成装置２００は、第３信頼度が基準値より低い場合は、第１三次元モデルに含まれる、静止カメラの第１カメラパラメータ及び静止三次元点の全体と、第２三次元モデルに含まれる、静止カメラの第２カメラパラメータ及び静止三次元点の全体との誤差に基づき第１三次元モデルと第２三次元モデルとの世界座標系を合せる第２座標合せ方法（座標合せ方法２）を選択する。
これにより、三次元再構成装置２００は、信頼度に応じた適切な座標合せ方法を用いることができるので、座標合せの精度を向上できる。
以下、座標合せ方法１及び方法２について説明する。まず、座標合せ方法１について説明する。図１５は、座標合せ方法１を説明するための図である。
座標合せ処理部４１２は、静止カメラ及び静止三次元点のうち２点を選択し、２点間距離を用いて対象モデルと参照モデルの世界座標系のスケールの比率を算出し、対象モデルのスケールが参照モデルのスケールに近づくように対象モデルを補正する。また、座標合せ処理部４１２は、静止カメラ１台を選択し、選択した静止カメラの外部パラメータを用いて対象モデルと参照モデルとの世界座標系の回転及び並進のずれを算出し、算出したずれが最小になるように対象モデルを補正する。ここで対象モデルは、静止カメラ、静止カメラ以外のカメラ、静止三次元点及び静止三次元点以外の三次元点を含む。
具体的には、座標合せ処理部４１２は、対象モデルと参照モデルとに含まれる複数の静止カメラ及び複数の静止三次元点から２点を選択する。例えば、座標合せ処理部４１２は、信頼度が高い（例えば再投影誤差が小さい）点を選択する。選択された２点の位置情報を対象モデルについてＰＴ１＝（ｘＴ１、ｙＴ１、ｚＴ１）、ＰＴ２＝（ｘＴ２、ｙＴ２、ｚＴ２）とし、参照モデルについてＰＲ１＝（ｘＲ１、ｙＲ１、ｚＲ１）、ＰＲ２＝（ｘＲ２、ｙＲ２、ｚＲ２）とする。点ＰＴ１と点ＰＴ２との距離は（式１０）で表され、点ＰＲ１と点ＰＲ２との距離は（式１１）で表される。
Figure 0007170230000005
このとき、２つのモデルのスケールの比率は（式１２）で表わされる。
Ｓ＝ＤＲ／ＤＴ （式１２）
座標合せ処理部４１２は、この比率Ｓを（式１３）に示すように対象モデルの全てのカメラ及び三次元点の位置情報ＰＴＫに乗算することでスケールを補正する。
Ｐ’ＴＫ＝ＳＰＴＫ （式１３）
また、座標合せ処理部４１２は、回転行列、並進ベクトル、及び三次元位置の関係式Ｔ＝－ＲＰより、（式１４）に示すように対象モデルの各カメラの並進ベクトルＴＴＣｎもスケール補正する。
Ｔ’ＴＣｎ＝ＳＴＴＣｎ （式１４）
次に、座標合せ処理部４１２は、対象モデルと参照モデルとで対応する静止カメラを１台選択する。対象モデルにおける選択された静止カメラを対象カメラＴＣ１とし、参照モデルにおける選択された静止カメラを参照カメラＲＣ１とする。また、対象カメラの回転行列をＲＴＣ１とし、並進ベクトルをＴＴＣ１とし、三次元位置をＰ’ＴＣ１とする。参照カメラの回転行列をＲＲＣ１とし、並進ベクトルをＴＲＣ１とし、三次元位置をＰＲＣ１とする。座標合せ処理部４１２は、対象カメラの回転行列ＲＴＣと参照カメラの回転行列ＲＲＣとの相対回転行列Ｒｄｉｆを（式１５）を用いて算出する。
Figure 0007170230000006
座標合せ処理部４１２は、算出された相対回転行列Ｒｄｉｆを（式１６）に示すように対象モデルの全てのカメラの回転行列ＲＴＣｎに乗算することで、座標系の傾きを補正する。
Figure 0007170230000007
次に、座標合せ処理部４１２は、対象カメラの三次元位置ＰＴＣ１と参照カメラの三次元位置ＰＲＣ１の相対三次元位置Ｐｄｉｆを（式１７）を用いて算出する。
Ｐｄｉｆ＝ＰＲＣ１－Ｐ’ＴＣ１ （式１７）
座標合せ処理部４１２は、算出された相対三次元位置Ｐｄｉｆを（式１８）に示すように対象モデルの全てのカメラ及び三次元点の位置情報Ｐ’ＴＣｋに加算することで、位置を補正する。また、座標合せ処理部４１２は、カメラについては（式１９）に示すように並進ベクトルＴ’ＴＣｎも補正する。
Ｐ’’ＴＫ＝Ｐ’ＴＫ＋Ｐｄｉｆ （式１８）
Ｔ’’ＴＣｎ＝－Ｒ’ＴＣｎ＋Ｐ’’ＴＣｎ （式１９）
なお、座標合せ処理部４１２は、回転行列、並進ベクトル、及びスケールの全ての座標合せを行う必要はなく、いずれか１つを行ってもよい。
このように、第１三次元モデル（対象モデル）は、第１多視点画像の被写体を示す複数の三次元点と、第１多視点画像を撮影した複数のカメラの位置及び向き（姿勢）を示す複数の第１カメラパラメータとを含む。同様に、第２三次元モデル（参照モデル）は、第２多視点画像の被写体を示す複数の三次元点と、第２多視点画像を撮影した複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む。三次元再構成装置２００は、静止カメラ及び静止三次元点を用いて、第１三次元モデルと第２三次元モデルとで、複数の被写体の三次元点及び複数のカメラの三次元位置及び向きの世界座標を合せる。なお、カメラの三次元位置及び向きは、三次元モデルに含まれてもよいし、カメラパラメータ又はその他の形式で出力されてもよい。
また、三次元再構成装置２００は、第１座標合せ方法が選択された場合、１以上の静止三次元点と１以上の静止カメラの三次元位置とのうち２点を選択し、第１三次元モデル及び第２三次元モデルの各々における、選択した２点の距離に基づき、第１三次元モデルと第２三次元モデルとのスケールのずれを補正する。また、三次元再構成装置２００は、１以上の静止カメラのうち一つを選択し、第１三次元モデル及び第２三次元モデルの各々における、選択した静止カメラの三次元位置及び向きに基づき、第１三次元モデルと第２三次元モデルとの回転又は並進のずれを補正する。
次に、座標合せ方法２について説明する。図１６は、座標合せ方法２を説明するための図である。
座標合せ方法２では、座標合せ処理部４１２は、対象モデルと参照モデルそれぞれの内部の相関関係を維持しつつ、全ての静止カメラ及び静止三次元点の位置情報の誤差が最小になるように、対象モデルの世界座標系の回転行列Ｒ、並進ベクトルＴ、及びスケールｓを調整する。ここで対象モデルは、静止カメラ、静止カメラ以外のカメラ、静止三次元点及び静止三次元点以外の三次元点を含む。
具体的には、座標合せ処理部４１２は、（式２０）を用いてＩｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔにより誤差最小化を行う。対象モデルの静止カメラ及び静止三次元点の位置情報をＰＴＫとし、参照モデルの静止カメラ及び静止三次元点の位置情報をＰＲＫとする。
Figure 0007170230000008
なお、座標合せ処理部４１２は、Ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔを行う時に、全ての静止カメラ及び静止三次元を使用するのではなく、一部の静止カメラ及び静止三次元点を使用してもよい。この時、座標合せ処理部４１２は、各静止三次元点の再投影誤差に基づき各静止三次元点の信頼度を算出し、信頼度が高い点のみを使用してもよい。
なお、座標合せ処理部４１２は、回転行列、並進ベクトル、及びスケールの全ての座標合せを行う必要はなく、いずれか１つを行ってもよい。
このように、三次元再構成装置２００は、第２座標合せ方法が選択された場合、第１三次元モデル内の複数の三次元点と複数のカメラの三次元位置の相対関係、及び、第２三次元モデル内の複数の三次元点と複数のカメラの三次元位置の相対関係を維持しつつ、第１三次元モデルと第２三次元モデルとにおける複数の静止三次元点の位置、及び複数の静止カメラの三次元位置の誤差が低減されるように、第１三次元モデル又は第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正する。
以下、本実施の形態の変形例について説明する。
例えば、上記説明では、１つの参照モデルが用いられる例を説明したが、複数の参照モデルが用いられてもよい。例えば、対象モデルの時刻をｔとすると、参照モデル選択部４１０は、時刻ｔ－１の三次元モデル及び時刻ｔ－２の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、対象モデルより時間的に前で、かつ対象モデルに時間的に最も近い２つの三次元モデルを選択してもよい。または、参照モデル選択部４１０は、時刻０の三次元モデル及び時刻ｔ－１の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、時間的に最初の三次元モデルと、対象モデルよりも時間的に前で、かつ対象モデルに時間的に最も近い１つの三次元モデルを選択してもよい。または、参照モデル選択部４１０は、時刻ｔ－１の三次元モデル及び時刻ｔ＋１の２つ三次元モデルを参照モデルとして選択してもよい。つまり、参照モデル選択部４１０は、対象モデルよりも時間的に前で、かつ対象モデルに時間的に最も近い１つの三次元モデルと、対象モデルよりも時間的に後で、かつ対象モデルに時間的に最も近い１つの三次元モデルとを選択してもよい。
また、参照モデル選択部４１０は、対象モデルの時間的に前又は後の三次元モデルから３つ以上の三次元モデルを参照モデルとして選択してもよい。
また、記憶部３１７には座標合せ後の対象モデルが格納され、当該座標合せ後の対象モデルが以降の座標合せの参照モデルとして使用されてもよい。
また、座標合せ部３１８は、カメラのパン及びチルトなどカメラの移動により、対象モデルの再構成に用いた多視点画像が以前の時刻の多視点画像と異なるシーンを含む場合、座標合せを行わなくてもよい。つまり、座標合せ部３１８は、シーンの切り替わりを判定し、シーンが切り替わった場合には、座標合せを行わなくてもよい。
以上、本開示の実施の形態に係る三次元再構成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る三次元再構成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、三次元再構成システムにより実行される各種方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る三次元再構成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、三次元再構成方法及び三次元再構成装置に適用でき、例えば、三次元空間認識システム、自由視点映像生成システム、及び次世代監視システム等に適用できる。
１００－１、１００－２、１００－ｎ カメラ
２００ 三次元再構成装置
２００－１、２００－２、２００－３、２００－４、２００－５、２００－６、２００－ｎ 多視点フレームセット
２１０ 受信部
２２０ 記憶部
２３０ 取得部
２４０ 三次元再構成部
２５０ 送信部
３１０ 検出部
３１１ 抽出部
３１２ 対応部
３１３ 選択部
３１４ 推定部
３１５ 復元部
３１６ 最適化部
３１７ 記憶部
３１８ 座標合せ部
３１９ 動き検出部
４１０ 参照モデル選択部
４１１ 座標合せ方法選択部
４１２ 座標合せ処理部
５１０ 動きベクトル算出部
５１１ 静止判定部

Claims (12)

  1. 第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、前記複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、前記第１時刻と異なる第２時刻において前記複数のカメラで撮影された第２多視点画像から、前記被写体を示す複数の第２三次元点と、前記複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する再構成ステップと、
    前記第１時刻と前記第２時刻とで、（１）前記複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）前記複数の第１三次元点及び前記複数の第２三次元点のうち位置が変更されていない静止三次元点を検出する検出ステップと、
    検出された前記静止カメラの第１カメラパラメータ或いは第２カメラパラメータ、又は前記静止三次元点を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せステップとを含む
    三次元再構成方法。
  2. 前記検出ステップでは、
    前記第１多視点画像及び前記第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおけるグローバルベクトルを算出し、
    算出された前記グローバルベクトルを用いて、前記第１時刻と前記第２時刻とで、当該画像ペアを撮影したカメラの位置及び向きが変更されているかを判定する
    請求項１記載の三次元再構成方法。
  3. 前記検出ステップでは、
    前記第１多視点画像及び前記第２多視点画像に含まれる同一のカメラで撮影された画像ペアにおける被写体の動きベクトルを算出し、
    算出された前記動きベクトルを用いて、前記第１時刻と前記第２時刻とで、当該被写体に対応する三次元点の位置が変更されているかを判定する
    請求項１又は２記載の三次元再構成方法。
  4. 前記検出ステップでは、
    前記複数のカメラの各々に搭載された加速度センサのセンサ結果に基づき、前記複数のカメラの各々の位置及び向きが変更されているかを判定する
    請求項１記載の三次元再構成方法。
  5. 前記座標合せステップでは、
    １以上の前記静止三次元点と、１以上の前記静止カメラの三次元位置とのうち２点を選択し、
    前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記２点の距離に基づき、前記第１三次元モデルと前記第２三次元モデルとのスケールのずれを補正する
    請求項１～４のいずれか１項に記載の三次元再構成方法。
  6. 前記座標合せステップでは、
    １以上の前記静止カメラのうち一つを選択し、
    前記第１三次元モデル及び前記第２三次元モデルの各々における、選択した前記静止カメラの三次元位置及び向きに基づき、前記第１三次元モデルと前記第２三次元モデルとの回転又は並進のずれを補正する
    請求項１～５のいずれか１項に記載の三次元再構成方法。
  7. 前記座標合せステップでは、
    前記第１三次元モデル内の前記複数の第１三次元点と前記複数のカメラの位置の相対関係、及び、前記第２三次元モデル内の前記複数の第２三次元点と前記複数のカメラの位置の相対関係を維持しつつ、前記第１三次元モデルと前記第２三次元モデルとにおける前記静止三次元点の位置、及び前記静止カメラの位置の誤差が低減されるように、前記第１三次元モデル又は前記第２三次元モデルの回転、並進及びスケールのうち少なくとも一つを補正する
    請求項１～４のいずれか１項に記載の三次元再構成方法。
  8. 前記座標合せステップでは、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の第１信頼度と、前記第２三次元モデルに含まれる、前記静止カメラの第２カメラパラメータ及び前記静止三次元点の第２信頼度の少なくとも一方に基づく第３信頼度に基づき座標合せ方法を選択し、選択した座標合せ方法を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる
    請求項１～４のいずれか１項に記載の三次元再構成方法。
  9. 前記第１信頼度は、前記第１三次元モデルに含まれる前記静止三次元点を、前記第１三次元モデルに含まれる前記静止カメラの第１カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標とし、
    前記第２信頼度は、前記第２三次元モデルに含まれる前記静止三次元点を、前記第２三次元モデルに含まれる前記静止カメラの第２カメラパラメータを用いて、当該静止カメラの画像面に投影した際の再投影誤差を指標とする
    請求項８記載の三次元再構成方法。
  10. 前記座標合せステップでは、
    前記第３信頼度が基準値より高い場合は、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の一部と、前記第２三次元モデルに含まれる、前記静止カメラの前記第２カメラパラメータ及び前記静止三次元点の一部との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第１座標合せ方法を選択し、
    前記第３信頼度が前記基準値より低い場合は、前記第１三次元モデルに含まれる、前記静止カメラの前記第１カメラパラメータ及び前記静止三次元点の全体と、前記第２三次元モデルに含まれる、前記静止カメラの前記第２カメラパラメータ及び前記静止三次元点の全体との誤差に基づき前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる第２座標合せ方法を選択する
    請求項８又は９記載の三次元再構成方法。
  11. 前記座標合せステップでは、検出された前記静止カメラの前記第１カメラパラメータ及び前記第２カメラパラメータを共に用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる
    請求項１～４のいずれか１項に記載の三次元再構成方法。
  12. 第１時刻において複数のカメラで撮影された第１多視点画像から、被写体を示す複数の第１三次元点と、前記複数のカメラの位置及び向きを示す複数の第１カメラパラメータとを含む第１三次元モデルを再構成し、前記第１時刻と異なる第２時刻において前記複数のカメラで撮影された第２多視点画像から、前記被写体を示す複数の第２三次元点と、前記複数のカメラの位置及び向きを示す複数の第２カメラパラメータとを含む第２三次元モデルを再構成する再構成部と、
    前記第１時刻と前記第２時刻とで、（１）前記複数のカメラのうち位置及び向きが変更されていない静止カメラ、又は（２）前記複数の第１三次元点及び前記複数の第２三次元点のうち位置が変更されていない静止三次元点を検出する検出部と、
    検出された前記静止カメラの第１カメラパラメータ或いは第２カメラパラメータ、又は前記静止三次元点を用いて、前記第１三次元モデルと前記第２三次元モデルとの世界座標系を合せる座標合せ部とを含む
    三次元再構成装置。
JP2020517040A 2018-05-02 2019-04-11 三次元再構成方法及び三次元再構成装置 Active JP7170230B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018088510 2018-05-02
JP2018088510 2018-05-02
PCT/JP2019/015789 WO2019211970A1 (ja) 2018-05-02 2019-04-11 三次元再構成方法及び三次元再構成装置

Publications (2)

Publication Number Publication Date
JPWO2019211970A1 JPWO2019211970A1 (ja) 2021-05-13
JP7170230B2 true JP7170230B2 (ja) 2022-11-14

Family

ID=68386363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517040A Active JP7170230B2 (ja) 2018-05-02 2019-04-11 三次元再構成方法及び三次元再構成装置

Country Status (3)

Country Link
US (1) US11210846B2 (ja)
JP (1) JP7170230B2 (ja)
WO (1) WO2019211970A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7241546B2 (ja) * 2019-01-16 2023-03-17 三菱電機株式会社 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム
CN110998671B (zh) * 2019-11-22 2024-04-02 驭势科技（浙江）有限公司 三维重建方法、装置、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252473A (ja) 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2009104363A (ja) 2007-10-23 2009-05-14 Tamagawa Gakuen 物体識別装置
WO2016158855A1 (ja) 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2460187C2 (ru) * 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
JP2010250452A (ja) 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
US20150172637A1 (en) * 2013-12-12 2015-06-18 Electronics And Telecommunications Research Institute Apparatus and method for generating three-dimensional output data
JP6306996B2 (ja) * 2014-10-01 2018-04-04 日本電信電話株式会社 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
US10356417B2 (en) * 2016-09-30 2019-07-16 Intel Corporation Method and system of video coding using projected motion vectors
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10521651B2 (en) * 2017-10-18 2019-12-31 Global Tel*Link Corporation High definition camera and image recognition system for criminal identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252473A (ja) 2005-03-14 2006-09-21 Toshiba Corp 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2009104363A (ja) 2007-10-23 2009-05-14 Tamagawa Gakuen 物体識別装置
WO2016158855A1 (ja) 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Also Published As

Publication number Publication date
US20210027529A1 (en) 2021-01-28
US11210846B2 (en) 2021-12-28
JPWO2019211970A1 (ja) 2021-05-13
WO2019211970A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
US10789765B2 (en) Three-dimensional reconstruction method
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
US12002152B2 (en) Three-dimensional model generation method and three-dimensional model generation device
JP7170224B2 (ja) 三次元生成方法および三次元生成装置
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
JP7170230B2 (ja) 三次元再構成方法及び三次元再構成装置
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6306996B2 (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
Bhowmick et al. Mobiscan3D: A low cost framework for real time dense 3D reconstruction on mobile devices
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
US11790606B2 (en) Determining camera rotations based on known translations
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
CN116129031A (zh) 用于三维重建的方法、系统和存储介质
WO2021100681A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
Safdarinezhad et al. A least-squares method for simultaneous synchronization and relative calibration of overlapped videos
JP2024021218A (ja) カメラ校正装置、カメラ校正方法及びプログラム
Murray Unmanned Aerial Vehicle Trajectory Reconstruction Using Un-synchronized, Multi-camera Networks
CN118511053A (zh) 计算方法及计算装置
CN115601438A (zh) 外参标定方法、装置以及自主移动设备
Audi et al. Implementation of a Real-Time Stacking Algorithm in a Photogrammetric Digital Camera for Uavs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R151 Written notification of patent or utility model registration

Ref document number: 7170230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151