JP7450166B2 - 変位検出方法及び変位検出装置 - Google Patents

変位検出方法及び変位検出装置 Download PDF

Info

Publication number
JP7450166B2
JP7450166B2 JP2021503527A JP2021503527A JP7450166B2 JP 7450166 B2 JP7450166 B2 JP 7450166B2 JP 2021503527 A JP2021503527 A JP 2021503527A JP 2021503527 A JP2021503527 A JP 2021503527A JP 7450166 B2 JP7450166 B2 JP 7450166B2
Authority
JP
Japan
Prior art keywords
dimensional model
displacement detection
objects
displacement
corresponding points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021503527A
Other languages
English (en)
Other versions
JPWO2020179439A1 (ja
Inventor
哲史 吉川
敏康 杉尾
徹 松延
将貴 福田
研翔 寺西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020179439A1 publication Critical patent/JPWO2020179439A1/ja
Priority to JP2024022529A priority Critical patent/JP2024061721A/ja
Application granted granted Critical
Publication of JP7450166B2 publication Critical patent/JP7450166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、変位検出方法、撮影指示方法、変位検出装置及び撮影指示装置に関する。
カメラで撮影した画像を用いて三次元モデルを生成することで、レーザー計測と比較して簡単に三次元地図等を生成できる。この手法は、例えば、工事現場での測量などで利用されている。また、カメラ画像による三次元モデル生成を用いれば、工事現場などの変化のある被写体の進捗管理などが可能となる。
特許文献１には、災害の前後の三次元モデルの差分から、災害発生時の被災量を求める手法が開示されている。
特開２００２－３２８０２１号公報
三次元モデル間の変位を検出において、変位検出の精度の向上が望まれている。本開示は、変位検出の精度を向上できる変位検出方法、撮影指示方法、変位検出装置又は撮影指示装置を提供することを目的とする。
本開示の一態様に係る変位検出方法は、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとの変位を検出する変位検出方法であって、前記第１三次元モデル及び前記第２三次元モデルに含まれる対応点を前記第１三次元モデルに含まれる複数の第１対象物及び前記第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出し、検出された前記対応点を用いて、前記第１三次元モデルと前記第２三次元モデルとの座標空間を合わせる位置合わせを行い、位置合わせ後の前記第１三次元モデル及び前記第２三次元モデルの変位を検出する。
本開示の一態様に係る三次元データ撮影指示方法は、三次元モデルの生成に用いる画像の撮影を指示する撮影指示方法であって、生成された三次元モデルのうちの点が疎である領域を特定し、特定された前記領域の画像を撮影するようにユーザに指示する。
本開示は、変位検出の精度を向上できる変位検出方法、撮影指示方法、変位検出装置又は撮影指示装置を提供できる。
図１は、本実施の形態に係る三次元モデル処理システムの構成を示す図である。 図２は、本実施の形態に係る端末装置のブロック図である。 図３は、本実施の形態に係る三次元モデル生成装置のブロック図である。 図４は、本実施の形態に係る変位検出装置のブロック図である。 図５は、本実施の形態に係る三次元モデル処理システムのシーケンス図である。 図６は、本実施の形態に係る再撮影提示の一例を示す図である。 図７は、本実施の形態に係る再撮影提示の一例を示す図である。 図８は、本実施の形態に係る再撮影提示の一例を示す図である。 図９は、本実施の形態に係る再撮影提示の一例を示す図である。 図１０は、本実施の形態に係る再撮影提示の一例を示す図である。 図１１は、本実施の形態に係る変位領域提示の一例を示す図である。 図１２は、本実施の形態に係る三次元モデル生成処理のフローチャートである。 図１３は、本実施の形態に係る変位検出処理のフローチャートである。 図１４は、本実施の形態に係る位置及びサイズ合わせ処理の一例を示す図である。 図１５は、本実施の形態に係るユーザインタフェースの表示例を示す図である。 図１６は、本実施の形態に係る変位検出処理のフローチャートである。 図１７は、本実施の形態に係る撮影指示処理のフローチャートである。
本開示の一態様に係る変位検出方法は、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとの変位を検出する変位検出方法であって、前記第１三次元モデル及び前記第２三次元モデルに含まれる対応点を前記第１三次元モデルに含まれる複数の第１対象物及び前記第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出し、検出された前記対応点を用いて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行い、位置合わせ後の前記第１三次元モデル及び前記第２三次元モデルの変位を検出する。
これによれば、当該変位検出方法は、属性情報を用いて対応点を検出することで変位検出の精度を向上できる。
例えば、前記対応点の検出では、前記属性情報に基づき前記複数の第１対象物及び前記複数の第２対象物のうち人工物を優先的に用いて、前記対応点を検出してもよい。
これによれば、当該変位検出方法は、自然物と比べて計時変化が少ない人工物に含まれる対応点を用いて位置合わせを行うことで、位置合わせの精度を向上できる。よって、当該変位検出方法は、変位検出の精度を向上できる。
例えば、前記対応点の検出では、ユーザの操作に基づき、前記複数の第１対象物から第１選択対象物を選択し、前記複数の第２対象物から、前記第１選択対象物と同一の属性情報を有する第２選択対象物を選択し、前記第１選択対象物と前記第２選択対象物とを用いて、前記対応点を検出してもよい。
これによれば、当該変位検出方法は、同一の属性情報を有する対象物から対応点を検出することで対応点検出の精度を向上できる。よって、当該変位検出方法は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
例えば、前記第２選択対象物の選択では、ユーザが、前記複数の第２対象物から前記第２選択対象物を選択するためのユーザインタフェースを表示し、前記ユーザインタフェースを介した前記ユーザの操作に基づき、前記複数の第２対象物から前記第２選択対象物を選択し、前記ユーザインタフェースでは、前記複数の第２対象物のうち、前記第１選択対象物と同一の属性情報を有する第２対象物のみが選択可能であってもよい。
これによれば、当該変位検出方法は、ユーザによる対応点の検出精度を向上できる。よって、当該変位検出方法は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
例えば、前記第２選択対象物の選択では、ユーザが、前記複数の第２対象物から前記第２選択対象物を選択するためのユーザインタフェースを表示し、前記ユーザインタフェースを介した前記ユーザの操作に基づき、前記複数の第２対象物から前記第２選択対象物を選択し、前記ユーザインタフェースでは、前記複数の第２対象物のうち、前記第１選択対象物と同一の属性情報を有する第２対象物が、前記第１選択対象物と異なる属性情報を有する第２対象物よりも強調表示されてもよい。
これによれば、当該変位検出方法は、ユーザによる対応点の検出精度を向上できる。よって、当該変位検出方法は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
本開示の一態様に係る撮影指示方法は、三次元モデルの生成に用いる画像の撮影を指示する撮影指示方法であって、生成された三次元モデルのうちの点が疎である領域を特定し、特定された前記領域の画像を撮影するようにユーザに指示する。
これによれば、当該撮影指示方法は、撮影された画像を用いて三次元モデルの精度を向上できる。よって、当該撮影指示方法は、変位検出の精度を向上できる。
例えば、前記指示では、特定された前記領域の画像を撮影する経路をユーザに指示してもよい。
これによれば、当該撮影指示方法は、例えば、三次元モデルの生成に用いる複数の静止画又は動画像の撮影を一括して指示できる。
例えば、前記指示では、前記三次元モデルの俯瞰図上に前記経路を表示してもよい。
これによれば、当該撮影指示方法は、ユーザに適切に指示を行える。
例えば、前記指示では、前記俯瞰図上に、前記経路内の撮影地点における撮影方向を表示してもよい。
これによれば、当該撮影指示方法は、ユーザに適切に指示を行える。
また、本開示の一態様に係る変位検出装置は、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとの変位を検出する変位検出方法であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、前記第１三次元モデル及び前記第２三次元モデルに含まれる対応点を前記第１三次元モデルに含まれる複数の第１対象物及び前記第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出し、検出された前記対応点を用いて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行い、位置合わせ後の前記第１三次元モデル及び前記第２三次元モデルの変位を検出する。
これによれば、当該変位検出装置は、属性情報を用いて対応点を検出することで変位検出の精度を向上できる。
また、本開示の一態様に係る撮影指示装置は、三次元モデルの生成に用いる画像の撮影を指示する撮影指示装置であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、生成された三次元モデルのうちの点が疎である領域を特定し、特定された前記領域の画像を撮影するようにユーザに指示する。
これによれば、当該撮影指示装置は、撮影された画像を用いて三次元モデルの精度を向上できる。よって、当該撮影指示装置は、変位検出の精度を向上できる。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
まず、本実施の形態に係る三次元モデル処理システムの構成を説明する。図１は、本実施の形態に係る三次元モデル処理システム１００の構成を示す図である。この三次元モデル処理システム１００は、複数の端末装置１０１と、三次元モデル処理装置１０２とを含む。
端末装置１０１は、画像（静止画又は動画像）を撮像する機能を有する。また、端末装置１０１は、三次元モデル処理装置１０２へ撮影した画像を送信する送信機能、及び、三次元モデル処理装置１０２から出力されるＵＩ情報を表示する表示機能の少なくとも一つを有する。三次元モデル処理装置１０２は、三次元モデル生成装置１１１と、モデル保存部１１２と、変位検出装置１１３と、ＵＩ部１１４とを備える。
三次元モデル生成装置１１１は、１つ以上の端末装置１０１から端末装置１０１で撮影された画像を取得し、取得した画像を用いた画像処理により三次元モデル（例えば点群データ）を生成する。具体的には、三次元モデル生成装置１１１は、ある時刻の画像群を用いて当該時刻の三次元モデルを生成する。また、三次元モデル生成装置１１１は、互いに異なる時刻の複数の画像群を用いて、互いに異なる時刻の複数の三次元モデルを生成する。また、三次元モデル生成装置１１１は、生成した複数の三次元モデルをモデル保存部１１２に保存する。
なお、端末装置１０１が複数ある場合は各装置のタイムスタンプを利用することで、同期撮影が実現されてもよい。これによると、各端末装置１０１で共通で撮影している被写体が動いている場合でも時刻毎の三次元モデルを生成できる。
変位検出装置１１３は、モデル保存部１１２から２つ以上の三次元モデルを取得し、それらの三次元モデルを比較することにより、三次元モデル間の変位（変化）を検出する。変位検出装置１１３は、変位の検出結果をＵＩ部１１４に受け渡す。
モデル保存部１１２は、三次元モデル生成装置１１１で生成された複数の三次元モデルを保存し、変位検出装置１１３の要求に応じて、格納している三次元モデルを変位検出装置１１３に提供する。なお、モデル保存部１１２は、三次元モデルをインターネットを介しＷｅｂ上にアーカイブし、アーカイブされた三次元モデルをＷｅｂから取得してもよい。
また、モデル保存部１１２が格納する複数の三次元モデルは、三次元モデル生成装置１１１で生成された三次元モデルである必要はなく、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等のレーザー測量で得られたデータ等から生成された三次元モデルを含んでもよい。
ＵＩ部１１４は、変位検出装置１１３で検出された三次元モデル上の変位箇所を視覚化してユーザに提示する。
これによると、例えば、ユーザは、土砂災害の前後において、どの領域に土砂が堆積したかなどを視覚的に判別できる。また、三次元モデルの情報を利用することで堆積した土砂量を概算することなどができる。
また、例えば、工事現場などで定期的に三次元モデルを生成することで、工事の進捗管理などを容易に行うことが可能となる。
図２は、端末装置１０１のブロック図である。この端末装置１０１は、撮像部１２１と、制御部１２２と、画像処理部１２３と、ＵＩ部１２４と、画像保存部１２５と、送信部１２６と、三次元情報保存部１２７と、受信部１２８とを備える。
撮像部１２１は、例えば、カメラなどの撮像装置であり、画像（静止画又は動画像）を取得し、取得した画像を画像保存部１２５に保存する。制御部１２２は、端末装置１０１の制御を行う。
画像処理部１２３は、画像保存部１２５に保存されている複数の画像を用いてカメラ位置及び姿勢を推定する。また、画像処理部１２３は、撮像範囲の三次元モデルを生成する。また、画像処理部１２３は、三次元情報保存部１２７にカメラ位置及び姿勢の情報、及び三次元モデルを保存する。例えば、画像処理部１２３は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の画像処理を行うことでカメラ位置及び姿勢の推定と、三次元モデルの生成とを同時に行ってもよい。または、画像処理部１２３は、端末装置１０１が各種センサ（ＧＰＳ及び加速度センサ等）を有する場合には、センサからの情報を用いてカメラ位置及び姿勢を算出し、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて三次元モデルを生成してもよい。前者では、カメラなどの撮像装置で撮影された画像を用いて処理を実現できる。後者では画像処理部１２３の処理量を低減できる。
ＵＩ部１２４は、三次元情報保存部１２７からカメラ位置及び姿勢の情報、並びに三次元モデルの情報を取得し、取得した情報をユーザに提示する。画像保存部１２５は、端末装置１０１で撮影された画像を保管する。
送信部１２６は、画像保存部１２５から画像を取得し、取得した画像を三次元モデル処理装置１０２に送信する。なお、送信部１２６は、撮像部１２１から直接画像を取得し、取得した画像を画像保存部１２５に保存すると同時にストリーミング送信を行ってもよい。
三次元情報保存部１２７は、カメラ（撮像部１２１）が画像を撮像したタイミングにおけるカメラの三次元位置及び姿勢の情報、及び生成された三次元モデルを格納する。受信部１２８は、三次元モデル処理装置１０２から送信された三次元モデル及びその他の情報を受信し、受信した三次元モデル及び情報をＵＩ部１２４に受け渡す。
なお、端末装置１０１は、図２に示す全ての機能を有する必要はない。例えば、端末装置１０１は、撮像部１２１、制御部１２２、画像保存部１２５、及び送信部１２６を備える、撮像機能を主体とするカメラ等の端末でもよい。また、端末装置１０１は、ＵＩ部１２４及び受信部１２８を備える表示専用のディスプレイ等の端末があってもよい。
図３は、三次元モデル生成装置１１１のブロック図である。この三次元モデル生成装置１１１は、画像受信部１３１と、カメラパラメータ推定部１３２と、三次元モデル生成部１３３と、三次元モデル送信部１３４と、画像保存部１３５と、カメラパラメータ保存部１３６と、三次元モデル保存部１３７とを備える。
画像受信部１３１は、端末装置１０１から送信された画像を受信し、受信した画像を画像保存部１３５に保存する。
カメラパラメータ推定部１３２は、画像保存部１３５に保存されている画像を用いて各画像におけるカメラの三次元位置及び姿勢を示すカメラパラメータを推定する。カメラパラメータ推定部１３２は、得られたカメラパラメータをカメラパラメータ保存部１３６に保存する。例えば、カメラパラメータ推定部１３２は、ＳＬＡＭ又はＳｆＭ等の画像処理を行うことでカメラパラメータを推定する。または、カメラパラメータ推定部１３２は、端末装置１０１が各種センサ（ＧＰＳ及び加速度センサ）を有し、当該センサで得られた情報を端末装置１０１から受信できる場合は、センサで得られた情報を用いてカメラの位置及び姿勢を算出してもよい。また、カメラパラメータ推定部１３２は、複数のセンサ（カメラ、ＧＰＳ及び加速度センサ等）で得られた情報を統合してカメラパラメータを推定してもよい。例えば、カメラパラメータ推定部１３２は、ＧＰＳで得たカメラ位置を初期値として用いて、ＳＬＡＭ等の画像処理を行うことで効率的に精度よくカメラパラメータを推定できる。
三次元モデル生成部１３３は、画像保存部１３５から取得した画像及びカメラパラメータ保存部１３６から取得したカメラパラメータを利用して、三次元モデルを生成する。三次元モデル生成部１３３は、生成した三次元モデルを三次元モデル保存部１３７に保存する。例えば、三次元モデル生成部１３３は、視体積交差法又はＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ）等の画像処理を用いて三次元モデルを生成する。なお、三次元モデル生成部１３３は、画像以外に深度センサの結果を取得できている場合、画像及び深度センサで得られた深度情報を用いて三次元モデルを生成してもよい。
三次元モデル送信部１３４は、モデル保存部１１２へ生成された三次元モデルを送信する。また、三次元モデル送信部１３４は、端末装置１０１に生成された三次元モデルを送信する。
画像保存部１３５は、１つ以上の端末装置１０１から取得した複数の画像を格納する。カメラパラメータ保存部１３６は、１つ以上の端末装置１０１から取得した複数の画像の各々のカメラパラメータを格納する。三次元モデル保存部１３７は、生成された三次元モデルを格納する。なお、三次元モデル処理装置１０２は、モデル保存部１１２を備えなくてもよい。この場合、三次元モデル生成装置１１１は、三次元モデル保存部１３７を備えなくてもよい。
図４は、変位検出装置１１３のブロック図である。この変位検出装置１１３は、三次元モデル取得部１４１と、変位領域検出部１４２と、領域情報送信部１４３と、三次元モデル保存部１４４と、変位情報保存部１４５とを備える。
三次元モデル取得部１４１は、モデル保存部１１２から三次元モデルを取得し、取得した三次元モデルを三次元モデル保存部１４４に保存する。
変位領域検出部１４２は、２つ以上の三次元モデルを三次元モデル保存部１４４から取得し、取得した三次元モデル間で異なる領域を変位領域として検出する。変位領域検出部１４２は、検出した変位領域を示す変位領域情報を変位情報保存部１４５に保存する。また、変位領域検出部１４２は、複数の三次元モデルの座標空間が異なる場合は位置合わせ又はサイズ合わせなどの処理を実施し、処理後の三次元モデルを用いて変位領域を検出する。
領域情報送信部１４３は、ＵＩ部１１４がユーザに情報を提示するために必要な情報を送信する。具体的には、この情報は、三次元モデルと、変位領域情報と、変位領域に付随する変位領域の体積などを示す付加情報とを含んでもよい。
三次元モデル保存部１４４は、取得した三次元モデルを格納する。なお、三次元モデル処理装置１０２は、モデル保存部１１２を備えなくてもよい。この場合、変位検出装置１１３は、三次元モデル保存部１４４を備えなくてもよい。変位情報保存部１４５は、生成された変位領域の三次元情報及びそれに付随する変位領域の体積などを示す付加情報を格納する。
図５は、三次元モデル処理システム１００における情報のやり取り等を表すシーケンス図である。なお、図５では、端末装置１０１が１つの例を示すが、端末装置１０１は複数存在してもよい。その場合、処理開始後の撮影開始信号は複数の端末装置に送信され、三次元モデル処理装置１０２は、複数の端末装置１０１から送信された画像情報を利用して処理を行う。
三次元モデル処理システム１００においては、三次元モデル処理装置１０２は、ユーザの指示が発生した時に処理を行う。具体的には、三次元モデル処理装置１０２のＵＩ部１１４は、ユーザの指示に基づき開始処理を行う（Ｓ１０１）。これにより、ＵＩ部１１４は、端末装置１０１へ撮影開始信号を送信する。例えば、ユーザが、ＰＣ（パーソナルコンピュータ）のディスプレイに表示されている「開始」ボタンをクリックすることで開始処理が行われる。
撮影開始信号を受け取った端末装置１０１の撮像部１２１は、撮影を実施することで画像を生成する。また、端末装置１０１は、生成された画像を、端末装置１０１内の画像処理部１２３及び三次元モデル生成装置１１１に送信する。例えば、端末装置１０１は、ストリーミング送信のように、撮影と同時に画像を送信してもよい。または、端末装置１０１は、端末装置１０１のユーザの操作により撮影が停止してから、撮影された画像を一括で送信してもよい。前者では、三次元モデル生成装置１１１において適宜三次元モデルを生成できるので三次元モデル生成の待機時間を減らすことができる。後者では、三次元モデル生成装置１１１は、撮影された全情報を活用できるので高精度な三次元モデルの生成できる。
次に、三次元モデル生成装置１１１は、端末装置１０１から送信された画像を用いて三次元モデルを生成する（Ｓ１０２）。また、三次元モデル生成装置１１１は、取得した画像が、後述する再撮影により生成された画像である場合、例えば、その前に撮影された画像と共に新たに取得した画像を利用して新たに三次元モデルを生成する。または、三次元モデル生成装置１１１は、再撮影された画像から新たな三次元モデルを生成し、生成された新たな三次元モデルを以前に撮影された画像から生成された三次元モデルと統合してもよい。また、三次元モデル生成装置１１１は、以前に撮影された画像から生成された三次元モデルを破棄し、再撮影された画像から新たに三次元モデルを生成してもよい。
次に、三次元モデル生成装置１１１は、Ｓ１０２で生成された三次元モデルに欠損又は疎な部分などがあるかを解析し、再撮影が必要か否かを判定する（Ｓ１０３）。例えば、三次元モデル生成装置１１１は、三次元モデル含まれる各対象物内において三次元点の密度の偏りが予め定められた閾値より大きいか否かを判定し、密度の偏りが閾値より大きい場合、再撮影が必要であると判定する。また、三次元モデル生成装置１１１は、ユーザに三次元モデルを提示し、ユーザの操作に基づき再撮影が必要かを判定してもよい。
続いて、端末装置１０１の画像処理部１２３は、端末装置１０１で撮影された画像を用いて三次元モデルを生成する（Ｓ１０４）。例えば、画像処理部１２３は、処理量を抑えるために、Ｓ１０２で生成される三次元モデルと比較して疎な三次元モデルを生成する。なお、端末装置１０１の処理性能が十分に高い場合には、画像処理部１２３は、Ｓ１０２で生成される三次元モデルと同程度の三次元モデルを生成してもよい。Ｓ１０４においても、Ｓ１０２と同様に再撮影された画像が取得された場合、画像処理部１２３は、以前に撮影された画像、及び、以前に生成された三次元モデルを活用してもしなくてもよい。
次に、画像処理部１２３は、Ｓ１０４で生成された三次元モデルに欠損又は疎な部分などがあるかを解析し、再撮影が必要か否かを判定する（Ｓ１０５）。例えば、画像処理部１２３は、Ｓ１０３と同様に三次元点の密度の偏りに基づき判定を行う。または、端末装置１０１は、ユーザに三次元モデルを提示し、ユーザの操作に基づき判定を行ってもよい。
Ｓ１０３又はＳ１０５において再撮影が必要と判定された場合（Ｓ１０３又はＳ１０５でＹｅｓ）、ＵＩ部１２４は、再撮影が必要なことをユーザに提示する（Ｓ１０６）。例えば、ＵＩ部１２４は、再撮影が必要という情報を提示する。または、ＵＩ部１２４は、疎な部分が解析で分かっている場合は、生成された三次元モデル上の疎な領域を示すとともに再撮影を提示してもよい。また、Ｓ１０３でユーザにより判定が行われた場合には、三次元モデル処理装置１０２は、再撮影位置を指定する情報を送信し、ＵＩ部１２４は、再撮影位置を端末装置１０１のユーザに提示してもよい。
Ｓ１０５又はＳ１０３において再撮影を実施すると判定された場合（Ｓ１０７でＹｅｓ）、ＵＩ部１２４は、撮像部１２１へ撮影開始指示を送る。そして、撮影開始指示を受けた撮像部１２１は撮影を実施する。なお、ステップＳ１０７において、端末装置１０１又は三次元モデル処理装置１０２のユーザにより再撮影を行うか否かの判定が行われてもよい。
一方、再撮影を行わない場合（Ｓ１０７でＮｏ）、三次元モデル処理装置１０２は、三次元モデル生成後の処理シーケンスに移行する。まず、変位検出装置１１３は、Ｓ１０２において生成された三次元モデルと、モデル保存部１１２に保存されているその他の時刻の同領域の三次元モデルとを取得し、取得した三次元モデル間で変位している領域である変位領域を推定する（Ｓ１０８）。
最後に、ＵＩ部１１４は、Ｓ１０８で推定された三次元モデルの変位領域及びその付随情報をユーザに提示する（Ｓ１０９）。なお、三次元モデル処理装置１０２は、変位領域及びその付随情報を、端末装置１０１に送信し、端末装置１０１は、受信した変位領域及びその付随情報を、ＵＩ部１２４を介してユーザに提示してもよい。
図６～図１０は、再撮影提示（Ｓ１０６）の一例を示す模式図である。図６に示す例では、生成された三次元モデルの俯瞰図が表示され、再撮影を指示する表示が行われている。図７に示す例では、生成された三次元モデルの俯瞰図において疎な領域が示されている。図８に示す例では、生成された三次元モデルの俯瞰図と推奨撮影方向が示されている。
また、図６～図１０では、再撮影を行うか否かをユーザが操作するための操作領域（Ｙｅｓ／Ｎｏの選択肢）が、表示部の下領域に表示される。なお、ユーザ操作のためのインタフェースは、これに限らず、ユーザが再撮影を行うか否かを指定できればよい。
また、ここでは、各端末装置１０１への表示により再撮影の提示を行ったが、表示専用の端末装置を用意してもよい。例えば、表示専用の端末装置は、電光掲示板のように大型のディスプレイを備え、当該ディスプレイに表示を行う。これにより、複数のユーザに一括で提示を行える。また、これにより、端末装置１０１が小型ディスプレイしか有さないカメラなどである場合においても、ユーザに推奨する撮影方向又は撮影箇所を通知できるので効率的な撮影を実施できる。
図９に示す例では、生成された三次元モデルの俯瞰図が表示され、三次元モデルを効率よく生成できると推定した推奨経路が提示されている。例えば、ユーザは、この推奨経路を移動しながら、端末装置１０１により動画像の撮影又は複数枚の静止画の撮影を行う。
図１０に示す例では、生成された三次元モデルの俯瞰図が表示され、三次元モデルを効率よく生成できると推定した推奨経路及び撮影方向が提示されている。なお、推奨経路上の複数の地点の各々における撮影方向が提示されてもよい。または、端末装置１０１の位置情報に基づき、端末装置１０１が存在する地点における撮影方向が提示されてもよい。
なお、端末装置１０１は、画像処理部１２３で逐次カメラ位置及び姿勢推定を行い、得られた結果が推奨撮影経路及び撮影方向と一定値以上ずれている場合にユーザにその旨を通知してもよい。これによると、ユーザの能力に関わらず適切な撮影を安定的に実現できる。
また、三次元モデル処理装置１０２は、端末装置１０１のカメラ位置及び姿勢推定を逐次的に行い、得られた結果が端末装置１０１の推奨撮影経路及び推奨撮影姿勢と一定値以上のずれている場合にその旨をユーザに通知を出してもよい。例えば、三次元モデル処理装置１０２は、この通知を端末装置１０１へメールなどの伝達手段で通知してもよいし、大型ディスプレイ等に１つ以上の端末装置１０１の位置を提示して複数人が同時に確認できるような方法を用いてもよい。
図１１は、変位領域提示（Ｓ１０８）の一例を示す模式図である。例えば、三次元モデル処理装置１０２のＵＩ部１１４はディスプレイを備える。当該ディスプレイは、生成された三次元モデルである生成三次元モデルと、生成三次元モデルにおいて基準となる三次元モデルである参照三次元モデルから増加又は減少した領域である増加領域及び減少領域と、増加領域及び減少領域の体積の推定値とを表示する。図１１では、土砂崩れの環境における土砂量の推定を想定した例を示している。
ここで参照三次元モデルは、予め同じ範囲を以前に撮影し、得られた画像等から生成された三次元モデルである。この例では、土砂崩れを起こした斜面は減少領域として表され、崩れた土砂が増加領域として表されている。
図１２は、三次元モデル生成装置１１１に含まれる三次元モデル生成部１３３よる三次元モデル生成処理（Ｓ１０２）のフローチャートである。まず、三次元モデル生成部１３３は、画像保存部１３５から複数の画像を取得する（Ｓ２０１）。
次に、三次元モデル生成部１３３は、複数の画像の、カメラの三次元位置、向き及びレンズ情報などを含むカメラパラメータを取得する（Ｓ２０２）。例えば、三次元モデル生成部１３３は、Ｓ２０１で取得した画像に対してＳＬＡＭ又はＳｆＭ等の画像処理を実施することでカメラパラメータを取得する。なお、例えば、カメラの位置が固定されている場合は、予めカメラパラメータがカメラパラメータ保存部１３６に格納され、三次元モデル生成部１３３は、カメラパラメータ保存部１３６に格納されているカメラパラメータを取得してもよい。
次に、三次元モデル生成部１３３は、Ｓ２０１で取得した画像とＳ２０２で取得したカメラパラメータとを利用して三次元モデルを生成する三次元再構成処理を行う（Ｓ２０３）。例えば、処理として視体積交差法又はＳｆＭが処理を用いることができる。
最後に、三次元モデル生成部１３３は、Ｓ２０３で生成された三次元モデルを三次元モデル保存部１３７に格納する（Ｓ２０４）。
なお、三次元モデル生成部１３３は、Ｓ２０１において画像シーケンスを全時刻分読み込み、全時刻分の画像に対して後段処理（Ｓ２０２～Ｓ２０４）を行ってもよい。または、三次元モデル生成部１３３は、Ｓ２０１においてストリーミングのように逐次画像を取得し、取得した画像に対して後段処理（Ｓ２０２～Ｓ２０４）を繰り返し実施してもよい。前者では、全時刻分の情報を利用することにより精度を向上できる。後者では、逐次の処理が可能なため固定長の入力遅延を担保でき、三次元モデルの生成にかかる待ち時間を削減できる。
また、三次元モデル生成部１３３は、三次元再構成処理（Ｓ２０３）を、カメラパラメータ取得処理（Ｓ２０２）を完了してから開始してもよいし、一部のカメラのカメラパラメータを取得した時点で、取得したカメラパラメータを用いる処理を開始することで並列に処理を行ってもよい。
これによると、前者では、カメラパラメータを画像処理で推定する場合、全体的な最適化を実施することでより精度の高いカメラパラメータを推定できる。後者では、逐次的に処理を施すことができるので三次元モデルの生成にかかる処理時間を短縮できる。
なお、端末装置１０１に含まれる画像処理部１２３による三次元モデル生成処理（Ｓ１０４）の処理フローも、Ｓ１０２と同様である。また、端末装置１０１と三次元モデル生成装置１１１とで完全に同じ処理を行う必要はない。例えば、端末装置１０１で行われる処理は、三次元モデル生成装置１１１で行われる処理よりも処理量の少ない処理であってもよい。また、三次元モデル生成装置１１１で行われる処理は、端末装置１０１で行われる処理よりも高精度な三次元モデルを生成可能な処理であってもよい。
図１３は、変位検出処理（Ｓ１０８）のフローチャートである。まず、変位検出装置１１３は、参照三次元モデルを取得する（Ｓ３０１）。次に、変位検出装置１１３は、生成三次元モデルを取得する（Ｓ３０２）。なお、Ｓ３０１とＳ３０２との順序は逆でもよい。
次に、変位検出装置１１３は、Ｓ３０１で取得した参照三次元モデルとＳ３０２で取得した生成三次元モデルとの座標空間を合わせる処理（位置及びサイズ合わせ）を行う（Ｓ３０３）。
次に、変位検出装置１１３は、Ｓ３０３によって座標空間を合わせた二つの三次元モデル間の差分を抽出することで、生成三次元モデルにおいて参照三次元モデルから増減又は減少した領域を抽出する（Ｓ３０４）。
次に、変位検出装置１１３は、Ｓ３０４で抽出した領域を示す情報及びその領域に関する情報を生成し、生成した情報（差分情報）を出力する（Ｓ３０５）。例えば、領域に関する情報は、領域の体積又は色情報などである。
なお、Ｓ３０３で行われる位置及びサイズ合わせにおいては、参照三次元モデルと生成三次元モデルとの少なくとも一方がサイズに関する正しいスケール値を有していればよい。例えば、参照三次元モデルと生成三次元モデルとは、異なる機器又は時間に生成されており、参照三次元モデルがスケールにおいて信頼度が低い場合は、変位検出装置１１３は、生成三次元モデルを基準として二つの三次元モデルのサイズを合わせることで正しいスケールを取得できる。
なお、両方とも正しいスケール値を保証できない場合は、変位検出装置１１３は、既知の大きさのオブジェクトを認識し、当該オブジェクトに二つの三次元モデルのスケールを合わせることで、スケール値を推定又は修正してもよい。例えば、変位検出装置１１３は、道路標識又は信号機などの規格が決まっている物体のサイズを基に三次元モデルのスケール値を修正してもよい。
図１４は、位置及びサイズ合わせ処理（Ｓ３０４）の一例を模式的に示す図である。変位検出装置１１３は、位置合わせ処理において、参照三次元モデルと生成三次元モデルとにおいて対応する三次元点である対応点の抽出と座標変換との２ステップを繰り返し行う。
変位検出装置１１３は、対応点抽出処理では、参照三次元モデルと生成三次元モデルとで同一の対象物を示す対応点を抽出する。例えば、図１４に示すように、標識の数字の点又は道路上の白線の角などの点が対応点として利用される。この時、変位検出装置１１３は、草木及び岩などの自然物ではなく、標識及び橋などの剛体の人工物から対応点を抽出する。これにより、時間による変位が少ない点を対応点として用いることができる。このように、変位検出装置１１３は、質が高い人工物に含まれる点を対応点として優先的に選択してもよい。
例えば、変位検出装置１１３は、三次元モデルに含まれる三次元点を用いて物体認識を行うことで標識及び橋などの属性情報を生成してもよい。または、変位検出装置１１３は、画像を用いて物体認識を行うことで属性情報を生成し、生成した属性情報をカメラ幾何を用いて三次元モルに投影することで三次元モデルに含まれる対象物の属性情報を生成してもよい。
また、変位検出装置１１３は、座標変換では、例えば、対応点抽出処理で抽出した複数の対応点間の距離が小さくなるように、生成三次元モデルの座標軸（ｘ’，ｙ’，ｚ’）を参照三次元モデルの座標軸（ｘ，ｙ，ｚ）に変換する変換行列を算出し、算出した変換行列を用いて座標変換を行う。なお、変位検出装置１１３は、対応点がＮ組ある場合に、Ｎ組の対応点からＭ組（Ｎ＞Ｍ）の対応点を抽出し、Ｍ組の対応点を用いて変換行列を算出し、残りのＮ－Ｍ組の対応点間の距離が最小となるように繰り返し処理を行ってもよい。これにより、変位検出装置１１３は、精度の高い変換行列を導出できる。
また、対応点抽出処理において、変位検出装置１１３は、対象物の属性情報を用いたユーザインタフェースをユーザに提示してもよい。図１５は、このユーザインタフェースの表示例を示す図である。
例えば、図１５に示すように、ユーザにより参照三次元モデル内の一つの木が選択される。この場合、変位検出装置１１３は、生成三次元モデル内の複数の木を選択候補として強調表示する。ユーザは、生成三次元モデル内の強調表示された複数の木の中から、参照三次元モデル内の選択された木に対応する木を選択する。
なお、図１５では強調表示の例として選択物（木）を強調する例を示したが、選択物以外の対象物をぼかして表示することで相対的に選択物を強調してもよい。例えば、選択物以外の対象物が半透明で表示されてもよい。
また、変位検出装置１１３は、選択物を強調表示するだけでなく、選択物を選択可能の状態にし、選択物以外の対象物を選択不可の状態にしてもよい。
また、ここでは対象物（一つの木）が選択される例を述べたが、対象物内の部分又は点（木の先端等）が選択されてもよい。また、ここでは参照三次元モデル内の対象物が選択され、選択された対象物に対応する生成三次元モデル内の対象物が選択される例を示したが、生成三次元モデル内の対象物が選択され、選択された対象物に対応する参照三次元モデル内の対象物が選択されてもよい。
なお、選択物は木に限らない。つまり、変位検出装置１１３は、選択物と同じ属性を有する対象物を強調表示してもよい。
また、ここでは、ユーザにより対応点の選択が行われる例を述べたが、これらの処理の一部が変位検出装置１１３により自動的に行われてもよい。例えば、変位検出装置１１３は、参照三次元モデル内の対象物を選択する処理、及び、選択物に対応する生成三次元モデル内の対象物を選択する処理の少なくとも一方を行ってもよい。変位検出装置１１３は、選択物に対応する生成三次元モデル内の対象物を選択する処理を行う場合、例えば、選択物と同じ属性を有する対象物に探索範囲を絞って対応物（対応点）の探索を行う。
また、属性情報は、階層構造を有してもよい。例えば、上位の分類として自然物と人工物とが存在し、自然物の下位の分類（細かい分類）として木、岩等が存在してもよい。なお、この分類は２階層以上であってもよい。この場合、変位検出装置１１３は、例えば、まず下位の属性を用いて、表示又は探索範囲の絞り込みを行い、その中に対応点が存在しない場合には、上位の分類で表示又は探索範囲の絞り込みを行う。
または、変位検出装置１１３は、階層に応じて強調表示の度合い及び選択の可否を変更してもよい。例えば、変位検出装置１１３は、選択物が木である場合に、木を強調表示し、木以外の自然物を通常表示し、それ以外の対象物をぼかして表示してもよい。また、変位検出装置１１３は、木、及び木以外の自然物を選択可能に設定し、それ以外の対象物を選択不可に設定してもよい。
このように、本開示の一形態に係る三次元モデル処理システムは、カメラ画像を利用した三次元モデル生成において、異なる時刻の同一被写体の差分情報を、移動体カメラで取得を可能とするシステムを提供できる。また、工事現場での進捗管理又は土砂災害の土砂量の推定などの三次元情報の変化箇所の抽出を固定カメラを設置できない環境においても実現できる。
以上のように、本実施の形態に係る変位検出装置は、図１６に示す処理を行う。変位検出装置は、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデル（例えば参照三次元モデル）と第２三次元モデル（例えば生成三次元モデル）との変位を検出する。まず、変位検出装置は、第１三次元モデル及び第２三次元モデルに含まれる対応点を第１三次元モデルに含まれる複数の第１対象物及び第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出する（Ｓ４０１）。
次に、変位検出装置は、検出された対応点を用いて、第１三次元モデルと第２三次元モデルとの位置合わせ（座標変換及びサイズ合せ）を行う（Ｓ４０２）。次に、変位検出装置は、位置合わせ後の第１三次元モデル及び第２三次元モデルの変位（差分）を検出する（Ｓ４０３）。
これによれば、変位検出装置は、属性情報を用いて対応点を検出することで変位検出の精度を向上できる。
例えば、変位検出装置は、対応点の検出（Ｓ４０１）では、属性情報に基づき複数の第１対象物及び複数の第２対象物のうち人工物を優先的に用いて、対応点を検出する。例えば、優先的に用いるとは、複数の対象物のうち人工物を用いることである。または、優先的に用いるとは、複数の対象物のうち人工物を用いて対応点を検出し、対応点を検出できない場合、又は検出された対応点の数が少ない場合には、人口物以外の対象物を用いて対応点を検出することである。
これによれば、変位検出装置は、自然物と比べて計時変化が少ない人工物に含まれる対応点を用いて位置合わせを行うことで、位置合わせの精度を向上できる。よって、変位検出装置は、変位検出の精度を向上できる。
例えば、変位検出装置は、対応点の検出（Ｓ４０１）では、ユーザの操作に基づき、複数の第１対象物から第１選択対象物を選択し、複数の第２対象物から、第１選択対象物と同一の属性情報を有する第２選択対象物を選択し、第１選択対象物と第２選択対象物とを用いて、対応点を検出する。
これによれば、変位検出装置は、同一の属性情報を有する対象物から対応点を検出することで対応点検出の精度を向上できる。よって、変位検出装置は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
例えば、変位検出装置は、図１５に示すように、第２選択対象物の選択では、ユーザが、複数の第２対象物から第２選択対象物を選択するためのユーザインタフェースを表示し、ユーザインタフェースを介したユーザの操作に基づき、複数の第２対象物から第２選択対象物を選択する。ユーザインタフェースでは、複数の第２対象物のうち、第１選択対象物と同一の属性情報を有する第２対象物のみが選択可能である。
これによれば、変位検出装置は、ユーザによる対応点の検出精度を向上できる。よって、変位検出装置は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
例えば、ユーザインタフェースでは、複数の第２対象物のうち、第１選択対象物と同一の属性情報を有する第２対象物が、第１選択対象物と異なる属性情報を有する第２対象物よりも強調表示される。
これによれば、変位検出装置は、ユーザによる対応点の検出精度を向上できる。よって、変位検出装置は、位置合わせの精度を向上でき、変位検出の精度を向上できる。
例えば、変位検出装置は、プロセッサと、メモリとを備え、プロセッサはメモリを用いて上記処理を行う。
また、本実施の形態に係る撮影指示装置は、図１７に示す処理を行う。ここで撮影指示装置は、例えば、端末装置１０１又は三次元モデル生成装置１１１である。
撮影指示装置は、三次元モデルの生成に用いる画像の撮影を指示する。まず、撮影指示装置は、生成された三次元モデルのうちの点が疎である領域を特定する（Ｓ４１１）。ここで、生成された三次元モデルとは、例えば、過去に撮影された複数の画像を用いて生成された三次元モデルである。
次に、撮影指示装置は、特定された領域の画像を撮影するようにユーザに指示する（Ｓ４１２）。例えば、ここで撮影された画像と、過去に撮影された画像とを用いて、新たな三次元モデルが生成される（又は、三次元モデルが更新される）。
これによれば、撮影指示装置は、撮影された画像を用いて三次元モデルの精度を向上できる。よって、撮影指示装置は、変位検出の精度を向上できる。
例えば、撮影指示装置は、図９に示すように、指示（Ｓ４１２）では、特定された領域の画像を撮影する経路をユーザに指示する。これによれば、撮影指示装置は、例えば、三次元モデルの生成に用いる複数の静止画又は動画像の撮影を一括して指示できる。
例えば、撮影指示装置は、図９に示すように、指示（Ｓ４１２）では、三次元モデルの俯瞰図上に経路を表示する。これによれば、撮影指示装置は、ユーザに適切に指示を行える。
例えば、撮影指示装置は、図１０に示すように、指示（Ｓ４１２）では、俯瞰図上に、経路内の撮影地点における撮影方向を表示する。これによれば、撮影指示装置は、ユーザに適切に指示を行える。
例えば、撮影指示装置は、プロセッサと、メモリとを備え、プロセッサはメモリを用いて上記処理を行う。
以上、本開示の実施の形態に係る変位検出装置、及び撮影指示装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る変位検出装置、及び撮影指示装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、変位検出装置、及び撮影指示装置等により実行される変位検出方法、及び撮影指示方法等として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る変位検出装置、及び撮影指示装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、変位検出装置、及び撮影指示装置に適用できる。
１００ 三次元モデル処理システム
１０１ 端末装置
１０２ 三次元モデル処理装置
１１１ 三次元モデル生成装置
１１２ モデル保存部
１１３ 変位検出装置
１１４ ＵＩ部
１２１ 撮像部
１２２ 制御部
１２３ 画像処理部
１２４ ＵＩ部
１２５ 画像保存部
１２６ 送信部
１２７ 三次元情報保存部
１２８ 受信部
１３１ 画像受信部
１３２ カメラパラメータ推定部
１３３ 三次元モデル生成部
１３４ 三次元モデル送信部
１３５ 画像保存部
１３６ カメラパラメータ保存部
１３７ 三次元モデル保存部
１４１ 三次元モデル取得部
１４２ 変位領域検出部
１４３ 領域情報送信部
１４４ 三次元モデル保存部
１４５ 変位情報保存部

Claims (9)

  1. 同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとの変位を検出する変位検出方法であって、
    前記第１三次元モデル及び前記第２三次元モデルに含まれる対応点を前記第１三次元モデルに含まれる複数の第１対象物及び前記第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出し、
    検出された前記対応点を用いて、前記第１三次元モデルと前記第２三次元モデルとの座標空間を合わせる位置合わせを行い、
    位置合わせ後の前記第１三次元モデル及び前記第２三次元モデルの変位を検出する
    変位検出方法。
  2. 前記対応点の検出では、前記属性情報に基づき前記複数の第１対象物及び前記複数の第２対象物のうち人工物を優先的に用いて、前記対応点を検出する
    請求項１記載の変位検出方法。
  3. 前記対応点の検出では、
    ユーザの操作に基づき、前記複数の第１対象物から第１選択対象物を選択し、
    前記複数の第２対象物から、前記第１選択対象物と同一の属性情報を有する第２選択対象物を選択し、
    前記第１選択対象物と前記第２選択対象物とを用いて、前記対応点を検出する
    請求項１記載の変位検出方法。
  4. 前記第２選択対象物の選択では、
    ユーザが、前記複数の第２対象物から前記第２選択対象物を選択するためのユーザインタフェースを表示し、
    前記ユーザインタフェースを介した前記ユーザの操作に基づき、前記複数の第２対象物から前記第２選択対象物を選択し、
    前記ユーザインタフェースでは、前記複数の第２対象物のうち、前記第１選択対象物と同一の属性情報を有する第２対象物のみが選択可能である
    請求項３記載の変位検出方法。
  5. 前記第２選択対象物の選択では、
    ユーザが、前記複数の第２対象物から前記第２選択対象物を選択するためのユーザインタフェースを表示し、
    前記ユーザインタフェースを介した前記ユーザの操作に基づき、前記複数の第２対象物から前記第２選択対象物を選択し、
    前記ユーザインタフェースでは、前記複数の第２対象物のうち、前記第１選択対象物と同一の属性情報を有する第２対象物が、前記第１選択対象物と異なる属性情報を有する第２対象物よりも強調表示される
    請求項３記載の変位検出方法。
  6. 前記位置合わせは、前記第１三次元モデルと前記第２三次元モデルとのサイズを合わせる処理を含む
    請求項１記載の変位検出方法。
  7. 前記第１三次元モデルは、撮影された複数の第１画像を用いて生成され、
    前記第２三次元モデルは、撮影された複数の第２画像を用いて生成され、
    前記複数の第１画像と前記複数の第２画像とは、異なる位置で撮影される
    請求項１記載の変位検出方法。
  8. 前記属性情報は、上位階層及び下位階層を含む階層構造を有し、
    前記対応点の検出では、前記下位階層の属性情報を用いて、前記対応点の探索範囲の絞り込みを行い、当該探索範囲に対応点が存在しない場合には、上位階層の属性情報を用いて前記探索範囲の絞り込みを行う
    請求項１記載の変位検出方法。
  9. 同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとの変位を検出する変位検出装置であって、
    プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    前記第１三次元モデル及び前記第２三次元モデルに含まれる対応点を前記第１三次元モデルに含まれる複数の第１対象物及び前記第２三次元モデルに含まれる複数の第２対象物の属性情報を用いて検出し、
    検出された前記対応点を用いて、前記第１三次元モデルと前記第２三次元モデルとの座標空間を合わせる位置合わせを行い、
    位置合わせ後の前記第１三次元モデル及び前記第２三次元モデルの変位を検出する
    変位検出装置。
JP2021503527A 2019-03-05 2020-02-19 変位検出方法及び変位検出装置 Active JP7450166B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024022529A JP2024061721A (ja) 2019-03-05 2024-02-19 撮影指示方法及び撮影指示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962814046P 2019-03-05 2019-03-05
US62/814,046 2019-03-05
PCT/JP2020/006393 WO2020179439A1 (ja) 2019-03-05 2020-02-19 変位検出方法、撮影指示方法、変位検出装置及び撮影指示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024022529A Division JP2024061721A (ja) 2019-03-05 2024-02-19 撮影指示方法及び撮影指示装置

Publications (2)

Publication Number Publication Date
JPWO2020179439A1 JPWO2020179439A1 (ja) 2020-09-10
JP7450166B2 true JP7450166B2 (ja) 2024-03-15

Family

ID=72337874

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021503527A Active JP7450166B2 (ja) 2019-03-05 2020-02-19 変位検出方法及び変位検出装置
JP2024022529A Pending JP2024061721A (ja) 2019-03-05 2024-02-19 撮影指示方法及び撮影指示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024022529A Pending JP2024061721A (ja) 2019-03-05 2024-02-19 撮影指示方法及び撮影指示装置

Country Status (5)

Country Link
US (2) US11956532B2 (ja)
EP (1) EP3936816A4 (ja)
JP (2) JP7450166B2 (ja)
CN (1) CN113518893A (ja)
WO (1) WO2020179439A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917096B1 (ja) * 2020-12-25 2021-08-11 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
US20230073587A1 (en) * 2021-09-09 2023-03-09 The Boeing Company Automated volumetric image capture of an object to support general visual inspection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114744A (ja) 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030098352A1 (en) * 2000-11-24 2003-05-29 Metrologic Instruments, Inc. Handheld imaging device employing planar light illumination and linear imaging with image-based velocity detection and aspect ratio compensation
US7164810B2 (en) * 2001-11-21 2007-01-16 Metrologic Instruments, Inc. Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation
JP2002328021A (ja) 2001-04-27 2002-11-15 Hayashi Katsuyoshi ヘリコプター撮影による災害の被災量計測方法
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
DE102006031009B4 (de) * 2006-07-05 2008-07-10 Airbus Deutschland Gmbh Verfahren und Vorrichtung zum Überwachen des Zustands von Strukturbauteilen
US9158441B2 (en) * 2009-06-10 2015-10-13 Intergraph Corporation Ontological filtering using spatial boundary of 3D objects
JP5705073B2 (ja) * 2011-09-16 2015-04-22 三菱電機株式会社 写真計測システムおよび写真計測用写真撮影条件決定方法
US9460520B2 (en) * 2014-02-24 2016-10-04 Vricon Systems Ab Method and arrangement for identifying a difference between a first 3D model of an environment and a second 3D model of the environment
CN105115442A (zh) * 2015-07-28 2015-12-02 中国神华能源股份有限公司 巷道的内部表面形态的检测方法、装置和系统
JP6358996B2 (ja) 2015-10-26 2018-07-18 セコム株式会社 警備シミュレーション装置
US9971956B2 (en) * 2016-03-21 2018-05-15 International Business Machines Corporation Detection and presentation of differences between 3D models
EP3509296B1 (en) 2016-09-01 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system
JP6916627B2 (ja) * 2017-02-08 2021-08-11 キヤノン株式会社 撮像装置およびその制御方法
CN107990841A (zh) * 2017-11-20 2018-05-04 中国科学院长春光学精密机械与物理研究所 一种用于三维扫描测量的辅助装置
JP6660622B2 (ja) 2019-03-15 2020-03-11 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114744A (ja) 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP2016103263A (ja) 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム

Also Published As

Publication number Publication date
JPWO2020179439A1 (ja) 2020-09-10
WO2020179439A1 (ja) 2020-09-10
EP3936816A4 (en) 2022-05-04
US20240155224A1 (en) 2024-05-09
CN113518893A (zh) 2021-10-19
US11956532B2 (en) 2024-04-09
EP3936816A1 (en) 2022-01-12
US20210400189A1 (en) 2021-12-23
JP2024061721A (ja) 2024-05-08

Similar Documents

Publication Publication Date Title
CN106871878B (zh) 手持测距装置及利用其创建空间模型的方法、存储介质
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
WO2022036980A1 (zh) 位姿确定方法、装置、电子设备、存储介质及程序
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
JP2024061721A (ja) 撮影指示方法及び撮影指示装置
EP2806645B1 (en) Image enhancement using a multi-dimensional model
JP7073850B2 (ja) 入力装置および入力装置の入力方法
KR102234461B1 (ko) ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
JP2016039390A (ja) 画像生成方法および装置
JP2017201261A (ja) 形状情報生成システム
KR20210094517A (ko) 3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법
JP2007188117A (ja) 崩壊地抽出方法、装置及びプログラム
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN116228974A (zh) 三维模型构建方法、装置、计算机设备以及存储介质
JP2016218626A (ja) 画像管理装置、画像管理方法およびプログラム
CN110617800A (zh) 基于民航客机的应急遥感监测方法、系统及存储介质
JP5297366B2 (ja) 撮影対象情報生成装置及び撮影対象情報生成プログラム
JP2006024161A (ja) モデル形成装置及びモデル形成方法
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
WO2023135891A1 (ja) 算出方法及び算出装置
JP7457971B2 (ja) 物量算出装置、および、物量算出方法
JP7467722B2 (ja) 地物管理システム
JP7444292B2 (ja) 検出システム、検出方法、及びプログラム
US12125240B2 (en) Camera calibration method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7450166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151