JP7045721B2 - 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム - Google Patents

写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム Download PDF

Info

Publication number
JP7045721B2
JP7045721B2 JP2019501810A JP2019501810A JP7045721B2 JP 7045721 B2 JP7045721 B2 JP 7045721B2 JP 2019501810 A JP2019501810 A JP 2019501810A JP 2019501810 A JP2019501810 A JP 2019501810A JP 7045721 B2 JP7045721 B2 JP 7045721B2
Authority
JP
Japan
Prior art keywords
wall surface
pixel
image
photographic images
search image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501810A
Other languages
English (en)
Other versions
JPWO2018155590A1 (ja
Inventor
克美 緑川
智之 和田
徳人 斎藤
究 加瀬
隆士 道川
祐一 小町
幸太郎 岡村
武晴 村上
亨男 坂下
繁 木暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN Institute of Physical and Chemical Research
Original Assignee
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research filed Critical RIKEN Institute of Physical and Chemical Research
Publication of JPWO2018155590A1 publication Critical patent/JPWO2018155590A1/ja
Application granted granted Critical
Publication of JP7045721B2 publication Critical patent/JP7045721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/06—Tracing profiles of cavities, e.g. tunnels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Generation (AREA)

Description

本発明は、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムに関する。
従来から、トンネルの壁面の状況を把握するための調査装置が提案されている。
たとえば、特許文献1には、
壁面と正対させた複数のビデオカメラを、壁面と略垂直な平面上に、壁面までの距離が各々等しく、かつ、隣り合うビデオカメラの視野の端部が重なり合うようにカメラ設置用架台に取り付け、計測車両を壁面と略一定の距離を保ちつつ移動させながら壁面を撮影することで、
ビデオカメラを壁面と正対させ、壁面までの距離を等しくし、かつ撮像視野の端部を重なり合うようにすることにより、縮尺が均一な壁面画像を撮影し、
画像のラップ率が低い場合や、撮像手段と辺面との距離が変化して画像の縮尺が変わるような場合には、INS(Inertial Navigation System)、走行距離計、レーザスキャナによる計測データを利用することで接合を可能とし、縮尺が均一な展開画像を作成する
という技術が提案されている。
また、非特許文献1には、3次元の対象を異なる位置から撮影した複数の2次元画像もしくは2次元動画像から、当該対象の3次元情報を取得するSfM(Structure from Motion)技術が開示されている。
特許文献1に開示される技術により得られる壁面画像に対して、非特許文献2に開示される技術を適用することにより、トンネル内の壁面の3次元形状の情報を得ることができる。さらに非特許文献3に開示される技術を適用することにより、トンネル内の壁面の2次元展開図を得ることができる。
ここで、トンネル内のひび割れ、水漏れ、空洞等の変状を発見するには、定期的な点検を行い、適切に補修をする必要がある。
特開2004-12152号公報
Wikipedia, 「Structure from motion」の項, https://en.wikipedia.org/wiki/Structure_from_motion, 2017年2月11日に取得 Calakli F. and Taubin G., "SSD: Smooth Signed Distance Surface Reconstruction", Computer Graphics Forum, Volume 30, Number 7, 2011年9月 Michael S. Floater, "Mean value coordinates", Computer Aided Geometric Design, Volume 20, Numer 1, Pages 19-27, ISSN 0167-8396, http://dx.doi.org/10.1016/S0167-8396(03)00002-5, 2003年
しかしながら、トンネル内では、GPS(Global Positioning System)を利用することができないため、トンネルの壁面に変状が発見された位置を適切に同定する必要がある。特に、点検と補修が異なる日に行われる場合には、以前に点検者が発見した変状の位置と、現在補修者が観察している位置と、が、一致しているか否か、どのような位置関係にあるかを、高速に判定することで、作業の効率化を図ることが求められている。
このほか、トンネル壁面全体の観察は低い頻度(たとえば5年あるいは10年毎)で行い、過去に発見された変状の経過観察は高い頻度(たとえば毎年)で行うような点検手法を採用することも多い。変状の経過観察においては、点検者が現在観察している位置を同定して、経過観察すべき変状との位置関係を把握させ、点検者を目的箇所まで導く必要がある。
また、トンネルの壁面において変状が発見された場合には、当該変状を撮影した画像と、以前に点検したときのトンネルの情報と、から、当該変状が発見された位置を高速に同定する技術が強く求められている。
本発明は、上記の課題を解決するもので、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムに関する。
本発明に係る同定装置は、
トンネル内の壁面が撮影された複数の写真画像を取得し、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
前記トンネル内の壁面が新たに撮影された検索画像を取得し、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する。
本発明によれば、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムを提供することができる。
本発明の実施形態に係る同定装置の概要構成を示す説明図である。 初期化処理の制御の流れを示すフローチャートである。 トンネルの壁面を撮影した複数の写真画像を256階調のグレイスケールで表す図面代用写真である。 トンネルの壁面を撮影した複数の写真画像を2階調のモノクロで表す図面代用写真である。 SfMにより得られた点群を256階調のグレイスケールで表す図面代用写真である。 SfMにより得られた点群を2階調のモノクロで表す図面代用写真である。 3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。 3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。 3次元ポリゴンモデルの頂点を256階調のグレイスケールで表す図面代用写真である。 3次元ポリゴンモデルの頂点を2階調のモノクロで表す図面代用写真である。 3次元ポリゴンモデルの点を2次元の展開図に射影する様子を説明する説明図である。 トンネル内の壁面の展開図を256階調のグレイスケールで表す図面代用写真である。 トンネル内の壁面の展開図を2階調のモノクロで表す図面代用写真である。 同定処理の制御の流れを示すフローチャートである。 実験1において、検索画像の例を256階調のグレイスケールで表す図面代用写真である。 実験1において、検索画像の例を2階調のモノクロで表す図面代用写真である。 実験1において、検索画像にマッチする写真画像を256階調のグレイスケールで表す図面代用写真である。 実験1において、検索画像にマッチする写真画像を2階調のモノクロで表す図面代用写真である。 実験1において、検索画像が検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。 実験1において、検索画像が検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Aの例を256階調のグレイスケールで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Bの例を256階調のグレイスケールで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Cの例を256階調のグレイスケールで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Dの例を256階調のグレイスケールで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Eの例を256階調のグレイスケールで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Aの例を2階調のモノクロで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Bの例を2階調のモノクロで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Cの例を2階調のモノクロで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Dの例を2階調のモノクロで表す図面代用写真である。 実験2において、検索したいひび割れの写真画像Eの例を2階調のモノクロで表す図面代用写真である。 実験2において、写真画像Aに対する検索画像を2階調のモノクロで表す図面代用写真である。 実験2において、写真画像Bに対する検索画像を2階調のモノクロで表す図面代用写真である。 実験2において、写真画像Cに対する検索画像を2階調のモノクロで表す図面代用写真である。 実験2において、写真画像Dに対する検索画像を2階調のモノクロで表す図面代用写真である。 実験2において、写真画像Eに対する検索画像を2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Aにマッチした写真画像Aを2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Bにマッチした写真画像Bを2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Cにマッチした写真画像Cを2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Dにマッチした写真画像Dを2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Eにマッチした写真画像Eを2階調のモノクロで表す図面代用写真である。 実験2において、検索画像Aにマッチした写真画像Aを256階調のグレイスケールで表す図面代用写真である。 実験2において、検索画像Bにマッチした写真画像Bを256階調のグレイスケールで表す図面代用写真である。 実験2において、検索画像Cにマッチした写真画像Cを256階調のグレイスケールで表す図面代用写真である。 実験2において、検索画像Dにマッチした写真画像Dを256階調のグレイスケールで表す図面代用写真である。 実験2において、検索画像Eにマッチした写真画像Eを256階調のグレイスケールで表す図面代用写真である。 実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、256階調のグレイスケールで表す図面代用写真である。 実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、2階調のモノクロで表す図面代用写真である。 実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。 実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
以下に、本発明の実施形態を説明する。なお、本実施形態は、説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、本実施形態の各要素もしくは全要素を、これと均等なものに置換した実施形態を採用することが可能である。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された実施形態は、いずれも本発明の範囲に含まれる。
(概要構成)
図1は、本発明の実施形態に係る同定装置の概要構成を示す説明図である。以下、本図を参照して概要を説明する。
本図に示すように、本実施形態に係る同定装置101は、コンピュータにおいて所定のプログラムを実行することにより実現され、第1取得部111、第1計算部112、構築部113、第1マッピング部114、第2取得部121、第2計算部122、第2マッピング部124、出力部125を備える。
ここで、第1取得部111は、トンネル内の壁面が撮影された複数の写真画像を取得する。
複数の写真画像は、たとえば特許文献1に開示されるようなビデオカメラやスチルカメラによって撮影される。
一方、第1計算部112は、複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する。
非特許文献1に開示されるSfM技術を適用した態様では、特徴点におけるSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)等の局所特徴量を利用する。
さらに、構築部113は、複数の写真画像のそれぞれについて計算された特徴点の位置ならびに局所特徴量を参照して壁面の3次元ポリゴンモデルを構築し、構築された3次元ポリゴンモデルに基づく壁面マップを生成する。
3次元ポリゴンモデルの構築には、たとえば非特許文献1に開示されるSfM技術を利用する。
SfM技術では、複数の写真画像から、特徴点の3次元的な位置を表す点群データと、各写真画像がどの撮影位置でどの撮影方向に撮影されたものであるかを表す撮影データと、が推定されて、出力される。
ここで点群データに含まれる特徴点の分布には粗密があるため、写真画像の任意の画素に対する3次元的な位置を特定するために、たとえば非特許文献2に開示される曲面再構成を行う。
ここで、壁面マップとしては、当該3次元ポリゴンモデルにより表現された3次元マップを採用することもできるし、当該3次元ポリゴンモデルを展開した展開図により表現された2次元マップを採用することもできる。2次元マップの生成には、たとえば非特許文献3に開示される技術を適用することができる。
そして、第1マッピング部114は、複数の写真画像のそれぞれの各画素と、壁面マップ内の位置と、を対応付ける。この対応付けを、「第1写像」と呼ぶ。
以上説明した第1取得部111、第1計算部112、構築部113、第1マッピング部114による処理は、「初期化」と呼ぶこともあり、トンネル内の壁面の全体を、低い頻度で時間をかけて点検する際に実行される。
初期化の際に計算された複数の写真画像内のそれぞれの特徴点の位置ならびに局所特徴量、および、壁面マップは、後述する処理において検索画像を検索したり位置を同定したりするため、各種記録媒体やハードディスク、データベース等に保存される。
初期化が終わった後、比較的高い頻度で、対象となる箇所を絞り込んだ上で点検を行うための処理は、以下のように、第2取得部121、第2計算部122、第2マッピング部124、出力部125によって、実行される。これらの処理をまとめて「検索」と呼ぶことがある。
すなわち、第2取得部121は、トンネル内の壁面が新たに撮影された検索画像を取得する。
第1取得部111にて取得される複数の写真画像は、トンネル内の壁面を覆うことができるように撮影されるが、第2取得部121にて取得される検索画像は、点検者が現在注目している壁面内の位置を撮影した写真である。
一方、第2計算部122は、取得された検索画像の特徴点の位置ならびに局所特徴量を計算する。
第2計算部122は、第1計算部112と同様のアルゴリズムにより特徴点の位置ならびに局所特徴量を計算する。
さらに、第2マッピング部124は、検索画像について計算された特徴点の位置ならびに局所特徴量と、複数の写真画像のそれぞれについて計算された特徴点の位置ならびに局所特徴量と、を対比することにより、検索画像の各画素と、複数の写真画像のいずれかの画素と、を対応付ける。
具体的には、第2マッピング部124は、検索画像内の各特徴点に対する局所特徴量と類似する局所特徴量を有する複数の写真画像内の特徴点を選び出して、検索画像内の各特徴点を複数の写真画像内のいずれかの特徴点に対応付ける。特徴点以外の位置については、Delaunay三角形分割を利用することによって、対応付けを行う。この対応付けを、「第2写像」と呼ぶ。
そして、出力部125は、検索画像の各画素に対応付けられた複数の写真画像のいずれかの画素が対応付けられた壁面マップ内の位置を出力する。
すなわち、出力部125は、検索画像の各画素の位置に対して第2写像を適用することにより、初期化時に撮影された複数の写真画像における位置を取得する。そして、当該位置に対して、第1写像を適用することにより、検索画像の各画素の壁面マップにおける位置を求めるのである。
初期化処理と同定処理は、異なる時期、頻度に実行することができる。したがって、初期化処理を実行するコンピュータは、同定処理を実行するコンピュータと、同一であっても良いし異なっても良い。したがって、初期化処理を実行するためのプログラムと、同定処理を実行するためのプログラムと、は、まとめて一つのプログラムとして用意しても良いし、独立したプログラムとして用意することも可能である。
典型的には、当該プログラムは、記録媒体に記録され、コンピュータが有するメモリ内にロードされて、コンピュータが有するプロセッサにより実行される。当該プログラムは、同定装置101の各部を実現するためのコードの集合体として表現される。
なお、GPU(Graphics Processing Unit)を効率良く利用することで、計算の高速化を図ることもできる。たとえば、OpenGLのレンダリング機能を用いることで、複数の写真画像の各画素に対する座標を容易に計算することができる。
すなわち、第1マッピング部114は、3次元ポリゴンモデルの各点の3次元座標そのものや、当該各点の展開図における2次元座標を色情報に変換し、得られた色情報を、当該各点の色に割り当てることにより、3次元有色モデルを構築する。
そして、第1マッピング部114は、SfMによって推定された撮影位置、撮影方向から、3次元有色モデルをレンダリングする。レンダリング結果を各写真画像と同じサイズとすると、レンダリング結果において、各写真画像における各画素と同じ位置に配置された画素の色情報を取得し、座標への逆変換を行えば、当該各画素の座標情報を得ることができる。
各画素の色情報は、OpenGLのFBO(Frame Buffer Object)等を用いることで浮動小数点精度で計算することができ、GPUを利用して計算ができるので、高い精度の座標値を高速かつ頑健に計算することが可能となる。
このほか、FPGA(Field Programmable Gate Array)などの技術を適用すれば、当該プログラムを、電子回路の設計図とすることも可能である。この態様においては、当該プログラムに基づいて、初期化処理を行うための電子回路、あるいは、同定処理を行うための電子回路がハードウェアとして実現されることになる。
以下では、理解を容易にするため、コンピュータが初期化用プログラムや同定用プログラムを実行することにより、全体として同定装置101を実現する例について説明する。
(初期化処理)
図2は、初期化処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
本処理が開始されると、初期化用プログラムを実行するコンピュータは、まず、トンネル内の壁面を撮影した複数の写真画像を取得する(ステップS201)。
図3は、トンネルの壁面を撮影した複数の写真画像を256階調のグレイスケールで表す図面代用写真である。図4は、トンネルの壁面を撮影した複数の写真画像を2階調のモノクロで表す図面代用写真である。図示された画像は、ステップS201において取得される複数の写真画像の一部である。これらの写真画像は、車載のビデオカメラを回転させながら撮影した動画の各フレームを採用しても良いし、スチルカメラを移動、回転させながら撮影した画像を利用しても良い。
ついで、コンピュータは、SfMにより、複数の写真画像から、これらに含まれる特徴点群を用いて、3次元の点群および各写真画像におけるカメラの撮影位置ならびに撮影方向を、推定する(ステップS202)。図5は、SfMにより得られた点群を256階調のグレイスケールで表す図面代用写真である。図6は、SfMにより得られた点群を2階調のモノクロで表す図面代用写真である。
SfMでは、推定結果として、3次元点群に含まれる各点に対して、当該各点の3次元の座標値と、当該各点が各写真画像において撮影されたときの撮影位置ならびに撮影方向と、が対応付けられて出力される。
次に、コンピュータは、曲面再構成法を用いて、3次元点群を通過するポリゴンを生成して、3次元ポリゴンモデルを構築し、これに基づいて壁面マップを生成する(ステップS203)。点群は、写真画像内の特徴点を3次元的に表現したものであるから、曲面を再構成することによってトンネル内の壁面上の任意の点の3次元座標が推定できるようになる。
曲面再構成では、法線付きの点群データを入力とし、陰関数曲面によって符号付きのスカラ場を定義して、その等値面を抽出する手法が広く用いられている。図7は、3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。図8は、3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
本図には、非特許文献2に開示されるSmooth Signed Distance Surface Reconstruction法によって、写真画像に撮影されたトンネル内の壁面に対して生成された3次元ポリゴンモデルが示されている。
各ポリゴンは、3次元点群を通過するように構築させているため、3次元点群とポリゴンとは、恒等変換写像によって対応付けられることになる。
生成された3次元ポリゴンモデルは、そのまま、トンネル内の壁面上の各点の3次元座標値を表現する3次元マップである。この3次元マップを、壁面マップとして利用することができる。
さらに、必要に応じて、トンネル内の壁面を展開した展開図を壁面マップとして利用することもできる。展開図には、トンネル内の壁面上の各点の2次元座標値が表現されることになる。
展開図の生成は、3次元ポリゴンを2次元へ埋め込むパラメータ化問題に帰着される。たとえば、非特許文献3に開示されるMean Value Coordinates法では、3次元ポリゴンの各頂点に2次元座標値を付与する。Mean Value Coordinates法では、ポリゴンデータの頂点を、境界頂点と内部頂点に分類してパラメータ化を行う。
まず、境界頂点のうち、角となる頂点を多角形の角となる位置に配置する。それ以外の境界頂点は、境界稜線の長さを用いて直線上に配置する。図9は、3次元ポリゴンモデルの頂点を256階調のグレイスケールで表す図面代用写真である。図10は、3次元ポリゴンモデルの頂点を2階調のモノクロで表す図面代用写真である。本図左側には、ポリゴンPの断面が円弧状に描かれており、その端点が、境界頂点に相当する。
一方、内部頂点viは、その近傍頂点vi,jを用いて、線形結合による局所的なパラメータ化を行う。
パラメータ化後の座標値は、内部頂点の座標値を未定数とした連立方程式となる。これを解くことにより、ポリゴンから展開図への写像が定義できる。
この写像を用いれば、入力された写真画像Mi上のピクセル(画素)mjの2次元座標sjおよび3次元座標pjは、以下のように計算ができる。図11は、3次元ポリゴンモデルの点を2次元の展開図に射影する様子を説明する説明図である。
まず、写真画像Miの撮影位置Ciと、ピクセルmjと、により、視線が定義される。この視線と、ポリゴンPと、の交点の位置が、3次元座標pjである。以下、理解を容易にするため、適宜、座標により当該点そのものを表すこととする。
次に、交点pjを含む三角形tkを取得し、当該三角形tkの頂点の重み付き平均をとることで、当該三角形tkの重心座標を求める。
最後に、求められた重心座標と、展開図上に射影された三角形tkの頂点座標値と、を、組み合わせることで、交点pjに対する展開図上の座標値sjを取得できる。図12は、トンネル内の壁面の展開図を256階調のグレイスケールで表す図面代用写真である。図13は、トンネル内の壁面の展開図を2階調のモノクロで表す図面代用写真である。
このように、コンピュータは、写真画像Mi内の画素mjに対する3次元ポリゴンモデルにおける3次元座標pj、や2次元展開図における2次元座標sjと、を計算して、第1写像を取得する(ステップS204)。
そして、コンピュータは、この計算結果に基く対応付けを各画素から壁面マップを対応付ける第1写像としてメモリやハードディスク等に保存するとともに、複数の写真画像の特徴点の位置や局所特徴量もメモリやハードディスク等に保存して(ステップS205)、本処理を終了する。
(同定処理)
上述の通り、初期化処理と、同定処理と、は、典型的には異なる時期に実行される。同定処理では、トンネル内の壁面を撮影することにより得られた検索画像が、初期化処理によって構成されたい壁面マップ内のいずれの位置に相当するものか、を同定する。図14は、同定処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
同定処理は、コンピュータが、同定処理用のプログラムを実行することによって実現される。同定処理が開始されると、まず、コンピュータは、検索画像を取得する(ステップS301)。
点検者からすると、検索画像を撮影すると、撮影された領域の壁面マップ内における位置が直ちに判明することが望ましい。このためには、検索画像は、コンピュータに直結されたカメラから取得されることとするのが望ましい。
すると、点検者は、カメラで検索画像を撮影するごとに、壁面マップ内のどの地点を現在観察しているのか、を、得ることができる。また、ひび割れなどを発見した場合にも、これを撮影すれば、これが新たに発生した変状であるのか、過去に発見された変状であるのか、を識別することが可能となる。
次に、コンピュータは、取得された検索画像における特徴点の位置ならびに局所特徴量を算定する(ステップS302)。特徴点の位置ならびに局所特徴量の計算は、初期化処理と同定処理で同様のアルゴリズムを用いる。上記のように、SIFTやSURFなどを採用することができる。
そして、コンピュータは、検索画像に対して算定された特徴点の位置ならびに局所特徴量と、初期化処理において複数の写真画像に対して算定された特徴点の位置ならびに局所特徴量と、を対比して、複数の写真画像から、検索画像にマッチする写真画像を検索する(ステップS303)。この処理により、検索画像と、マッチする画像と、の画素同士の対応関係を表す第2写像が得られる。
検索は、以下のように行う。まず、検索画像に対して算定された各特徴点と、複数の写真画像に対して算定されたいずれかの特徴点と、を組み合わせた特徴点ペアを探す。
すなわち、1つの特徴点ペアは、検索画像内の1つの特徴点と、複数の写真画像のいずれかの写真画像内の1つの特徴点と、を対にしたものであり、この2つの特徴点に対して計算された局所特徴量が互いに類似するものである。
そして、特徴点ペアによって得られた特徴点が多く出現する写真画像を、検索画像にマッチする画像であるとみなす。
なお、特徴点ペアの中には、不正なペアが含まれることがあるが、RANSAC法を用いることで、不正なペアを除去することができる。
RANSAC法を用いた座標変換では、まず、一方の画像からランダムに4つの特徴点を選択し、この4つの特徴点と対になる他方の画像の特徴点を取得して、特徴点同士の座標を対比して、一方の画像を他方の画像に変換する座標変換を求める。
次に、一方の画像で残った他の特徴点に対して、この座標変換を適用して、他方の画像で対応する特徴点の近傍に座標が変換される成功度合を求める。
そして、これらのランダム選択ならびに座標変換の成功度合を求める処理を繰り返して実行し、成功度合が最も高い座標変換を選択する。
そして、当該座標変換によって座標が近傍に変換されない特徴点ペアは、不正なものとして除去する。
この処理において求められた座標変換が、検索画像の各画素を、複数の写真画像のいずれかの写真画像のいずれかの画素に対応付ける第2写像に相当する。
なお、検索画像の特徴点を用いてDelaunay三角形分割を構築し、接続関係をマッチした画像の特徴点に適用することで、一層精度の高い第2写像を得ることもできる。
すなわち、特徴点ペアのうち、検索画像に含まれる特徴点に対して、Delaunay三角形分割を用いて三角形メッシュを生成し、特徴点で囲まれる三角形領域のパラメータ化を行う。
得られたメッシュの位相をそのまま、マッチ画像に適用すると同様の三角形がマッチする領域に構築できる。
検索画像の三角形Tを構成する3つの頂点t0, t1, t2を用いれば、三角形T内の点pに対する重心座標(x, y, z)が、
p = x・t0 + y・t1 + z・t2
のように、一意に定義できる。
特徴点ペアにより、検索画像における三角形T(頂点t0, t1, t2)がマッチ画像における三角形T'(頂点t'0, t'1, t'2)に対応付けられているときには、三角形T内の点pは、三角形T'内の点p'へ、
p' = x・t'0 + y・t'1 + z・t'2
のように座標変換されることになる。
このように、特徴点で囲まれる三角形に基づいて第2写像を定義することで、より正確な第2写像を得ることができる。
第2写像が得られたら、コンピュータは、検索画像内の各画素に対して、第2写像および第1写像を適用して、壁面マップ内における座標値を計算する(ステップS304)。上述の通り、ここで得られる座標値は、3次元座標とすることもできるし、2次元座標とすることもできる。
最後に、コンピュータは、検索画像内の各画素に対して計算された座標値を、壁面マップ内における位置を出力して(ステップS305)、本処理を終了する。
なお、各画素に対して計算された位置を出力するのではなく、検索画像内の所望の画素を点検者が指定したり、画像認識によって推定された変状が描画されている画素を与えると、当該画素に対する壁面マップ内の位置が計算、出力されるようにしても良い。この場合には、検索画像内の全画素について第1、第2写像を適用して出力する処理の大半を省略することができるので、処理の高速化を図ることができる。
(GPUの利用)
上記の計算において、たとえば、点pのマッピング先p'を計算するには、点pが含まれる三角形Tを求める必要がある。点pがどの三角形に包含されるかは自明ではない。
すべての三角形に対して包含関係をチェックする単純な手法では、三角形の数に比例した計算時間がかかり、非効率である。
また、任意の頂点からスタートして、pに近い方向の隣接する三角形をたどっていく方法もあるが、隣接関係をグラフ構造で持たせる必要がある。
そこで、本実施形態では、GPUを用いてOpenGLのFBOを描画し、その結果を参照することで、画素単位で簡単かつ高速な写像の計算を頑健に実現する。
たとえば、3次元ポリゴンモデルに含まれる全ポリゴンの表面の各点には、当該各点の3次元座標や、当該各点を展開図に表した場合の2次元座標を、RGB(Red Green Blue)化した値を色として付与する。
そして、当該3次元ポリゴンモデルを、SfMの結果として得られた撮影位置および撮影方向から透視投影する。すると、レンダリングの結果は、元の写真画像と同じ構図で、各画素の色は、壁面マップにおける座標を色に変換した結果で描画された画像が得られる。この画像によって、第1写像を容易に表すことができる。
また、検索画像とマッチ画像を三角形分割した場合には、三角形の頂点に互いに重複しない色を与え、三角形の内部には頂点色を重心座標によって案分した色を与える。たとえば、頂点色として、当該頂点の2次元座標値を色に変換したものを利用することができる。
そして、この三角形を座標変換によって、一方から他方へ変換すると、三角形の内部には頂点色もしくはこれの線形和の色が描かれ、三角形の外部は色が描かれないことになる。
このように、色の有無によって、三角形の内部か外部かを容易に判定することができるようになる。
なお、OpenGLでは、色のRGB成分は、それぞれ、0以上1以下の浮動小数点数で表現される。そこで、3次元座標値は、3次元の各要素を0以上1以下の値になるように正規化して、R, G, Bの各要素に割り当てて、色に変換すれば良い。2次元座標値の場合には、最も容易には、R, G, Bのうち2つの成分のみ使うこととすれば良い。
(レーザスキャナの利用)
たとえば特許文献1に開示されるような、トンネルの壁面検査に従来から利用されているレーザスキャナでは、時速50kmで走行する自動車から1mm以上のオーダーのひび割れを計測できている。しかしながら、トンネル内の壁面のより微細なひび割れや段差、水分の有無の検出をするためには、より高精細、高精度なレーザスキャナを利用する必要がある。たとえば、5m程度離れた箇所から、0.2mm-0.3mm程度のひび割れや、0.1mm程度の段差を検知するには、水平解像度が0.2mm以下、奥行(測距)解像度が0.1mm以下の分解能が必要となる。
ここで、高精細、高精度なレーザスキャナを用いれば、動画や静止画の撮影に比べて、より詳細な情報を取得できる。しかしながら、高精細、高精度なレーザスキャナを用いた検出には、計測に時間を要するため、高精細、高精度なレーザスキャナを用いてトンネル内の壁面全体を点検することは事実上困難である。
また、分解能の高低にかかわらず、レーザスキャナによる計測では、動画や静止画を撮影する点検と同様に、撮影位置、撮影方向、撮影対象の位置を取得することが難しい。
そこで、継続して監視を続ける必要がある変状およびその周辺を計測範囲として、当該計測範囲をレーザスキャナで計測する際に、上記実施形態を応用すれば、レーザスキャナで計測された範囲が壁面マップ内のどこであるか、を、取得できるようになる。以下説明する。
本手法では、検索画像を撮影する際に、カメラにて、撮影位置および撮影方向を所定の誤差範囲内でほぼ維持して、トンネル内の壁面を連写する。
この連写の際に、途中から、レーザスキャナによるレーザ光を、計測範囲に照射する。
すると、連写の前半で得られる写真には、壁面をそのまま撮影した様子が現れ、後半で得られる写真には、壁面の一部がレーザ光で明るくなっている様子が現れる。
そこで、連写の前半で得られる写真を、上記の検索画像として利用する。連写の後半で得られる写真は、レーザスキャナによるスキャン領域を表すもので、以下ではこれをスキャン画像と呼ぶ。スキャン画像は、検索画像とほぼ重ね合わせることが可能であり、画素同士の対応関係を容易に定めることができる。
なお、撮影位置や撮影方向のずれがある程度大きい場合であっても、SfMにおける特徴点抽出およびマッチの技術を使うことで、検索画像とスキャン画像との各画素の対応関係を求めることができる。これを第3写像と呼ぶこととする。
すると、スキャン画像における計測範囲の各点に対して、第3写像、第2写像および第1写像を適用することで、壁面マップ内における位置を容易に得ることができる。
なお、まず検索画像を撮影し、次にスキャン画像を撮影する、という順序とすることで、カメラにおける残像の影響を避け、連写時間を短縮することができる。
(実験1)
以下では、静岡県富士市にある施工技術総合研究所内の模擬トンネルの一部に対して、本実施形態を適用した実験の結果について説明する。
カメラとしてPanasonic社DMC-GF6を利用し、トンネル内の壁面全体を被覆するように、250枚の写真画像を撮影した。各写真画像の解像度は1148×862ピクセルである。この写真画像から、3次元モデルを生成した。
また、同じカメラを利用して、解像度4592×3598ピクセルの検索画像を撮影した。検索画像は、壁面に対して接写したもので、解像度は初期化で撮影された写真画像よりも高いが、撮影される視野は狭いものである。
図15は、実験1において、検索画像の例を256階調のグレイスケールで表す図面代用写真である。図16は、実験1において、検索画像の例を2階調のモノクロで表す図面代用写真である。これらの図に示す検索画像においては、横に広いT字型のひび割れを強調して描いてある。
図17は、実験1において、検索画像にマッチする写真画像を256階調のグレイスケールで表す図面代用写真である。図18は、実験1において、検索画像にマッチする写真画像を2階調のモノクロで表す図面代用写真である。これは、初期化時に使用した写真画像のうち、検索画像にマッチする写真画像(マッチ画像)である。マッチ画像には、横に広いT字型のひび割れが存在するので、これを強調して描いてある。また、T字型のひび割れの周囲に配置された壁面の模様は、検索画像と、マッチ画像と、で一致している。
図19は、実験1において、検索画像が検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。図20は、実験1において、検索画像が検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。この3次元ポリゴンモデルには、初期化時に参照した写真画像をテクスチャとして貼り付けてあり、トンネル縁のU字型の間には、検索画像と同様の模様を持った位置が検索結果として同定されており、T字型のひび割れがマッピングされている。
これらの図に示す通り、検索画像にあるひび割れ情報が、該当する3次元ポリゴンモデルのほぼ同じ位置に同定できたことが確認できる。位置の精度はSfMのデータ精度に依存するが、相対的な位置関係は保存されているため、検索画像のトンネル壁面における位置を適切に同定することができる。
(実験2)
以下では、上記研究所内の模擬トンネル(全長80m)に対して、SfMについてはOpenMVGを採用し、パラメータ化についてはlibiglを採用し、曲面再構成についてはSSDを採用した実験の結果について説明する。
SfMによる再構成においては、572枚の画像を使用した。各画像のサイズは1124×750ピクセルであり、Nikon(登録商標)社製のカメラD5500にて撮影された。全写真を撮影するのに、約1時間を要した。
画像検索については、まず、Panasonic(登録商標)社製のカメラDMC-GF6によりひび割れを撮影して、1148×862ピクセルの写真を5枚取得した。図21Aは、実験2において、検索したいひび割れの写真画像Aの例を256階調のグレイスケールで表す図面代用写真である。図21Bは、実験2において、検索したいひび割れの写真画像Bの例を256階調のグレイスケールで表す図面代用写真である。図21Cは、実験2において、検索したいひび割れの写真画像Cの例を256階調のグレイスケールで表す図面代用写真である。図21Dは、実験2において、検索したいひび割れの写真画像Dの例を256階調のグレイスケールで表す図面代用写真である。図21Eは、実験2において、検索したいひび割れの写真画像Eの例を256階調のグレイスケールで表す図面代用写真である。図22Aは、実験2において、検索したいひび割れの写真画像Aの例を2階調のモノクロで表す図面代用写真である。図22Bは、実験2において、検索したいひび割れの写真画像Bの例を2階調のモノクロで表す図面代用写真である。図22Cは、実験2において、検索したいひび割れの写真画像Cの例を2階調のモノクロで表す図面代用写真である。図22Dは、実験2において、検索したいひび割れの写真画像Dの例を2階調のモノクロで表す図面代用写真である。図22Eは、実験2において、検索したいひび割れの写真画像Eの例を2階調のモノクロで表す図面代用写真である。なお、実際に撮影された写真は、カラー画像である。
次に、各写真から、手作業によってクラック(ひび割れ)を抽出することによって、検索画像とした。図23Aは、実験2において、写真画像Aに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Bは、実験2において、写真画像Bに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Cは、実験2において、写真画像Cに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Dは、実験2において、写真画像Dに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Eは、実験2において、写真画像Eに対する検索画像を2階調のモノクロで表す図面代用写真である。これらの図に示すように、検索画像は、モノクロ画像となっている。
そして、572枚の写真から、上記の手法により、検索画像にマッチする写真画像を検索した。図25Aは、実験2において、検索画像Aにマッチした写真画像Aを256階調のグレイスケールで表す図面代用写真である。図25Bは、実験2において、検索画像Bにマッチした写真画像Bを256階調のグレイスケールで表す図面代用写真である。図25Cは、実験2において、検索画像Cにマッチした写真画像Cを256階調のグレイスケールで表す図面代用写真である。図25Dは、実験2において、検索画像Dにマッチした写真画像Dを256階調のグレイスケールで表す図面代用写真である。図25Eは、実験2において、検索画像Eにマッチした写真画像Eを256階調のグレイスケールで表す図面代用写真である。図24Aは、実験2において、検索画像Aにマッチした写真画像Aを2階調のモノクロで表す図面代用写真である。図24Bは、実験2において、検索画像Bにマッチした写真画像Bを2階調のモノクロで表す図面代用写真である。図24Cは、実験2において、検索画像Cにマッチした写真画像Cを2階調のモノクロで表す図面代用写真である。図24Dは、実験2において、検索画像Dにマッチした写真画像Dを2階調のモノクロで表す図面代用写真である。図24Eは、実験2において、検索画像Eにマッチした写真画像Eを2階調のモノクロで表す図面代用写真である。なお、実際に撮影された写真は、カラー画像である。
本実験では、上記の検索手法をコンピュータMacBook(登録商標) Pro (2016, Core i7 2.9GHz, 16GB RAM)上で動作させることとした。図27は、実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、2階調のモノクロで表す図面代用写真である。図26は、実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、256階調のグレイスケールで表す図面代用写真である。これらの図は、トンネル内面の展開図であり、検索結果である写真画像の位置を楕円で囲み、その横にひび割れを拡大した様子を示している。検索においては、データのロードに6.7秒を要し、検索そのもには平均して16.7秒を要した。したがって、1枚に検索画像を検索するのに、平均23.4秒を要し、実用的な時間で検索ができることがわかった。
また、3次元モデルの再構成には約3時間を要した。図29は、実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。図28は、実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。これらの図の各点は、展開図の各点と対応付けられているため、ひび割れのある箇所の様子を3次元的に確認することができる。また、3次元モデルの再構成も、合理的な時間でなされていることがわかる。
(まとめ)
以上説明したように、本実施形態に係る同定装置は、
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
を備える。
また、本実施形態に係る同定装置において、
前記第2取得部は、前記検索画像の撮影に引き続き、撮影位置ならびに撮影方向を所定の誤差範囲内で維持したまま、連写されたスキャン画像であって、前記壁面内のスキャン領域をレーザスキャナによりスキャンした様子が撮影されたスキャン画像を取得し、
前記第2マッピング部は、前記スキャン画像と、前記検索画像と、を対比することにより、前記スキャン画像の各画素と、前記検索画像のいずれかの画素と、を対応付け、
前記出力部は、前記スキャン画像に撮影された前記スキャン領域内の各画素に対応付けられた前記検索画像のいずれかの画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
ように構成することができる。
また、本実施形態に係る同定装置において、
前記壁面マップは、前記3次元ポリゴンモデルにより前記壁面の3次元の座標値を表現する3次元マップである
ように構成することができる。
また、本実施形態に係る同定装置において、
前記壁面マップは、前記3次元ポリゴンモデルを展開した展開図により前記壁面の2次元の座標値を表現する2次元マップである
ように構成することができる。
また、本実施形態に係る同定装置において、
前記第1マッピング部は、
前記座標値を色情報に変換し、
前記変換された色情報を前記3次元ポリゴンモデルの前記座標値に対応付けられる点の色として割り当て、
前記複数の写真画像のそれぞれが撮影された撮影位置ならびに撮影方向から、前記色が割り当てられた前記3次元ポリゴンモデルをレンダリングして、前記複数の写真画像のそれぞれと同じサイズの対応画像を生成し、
前記生成された対応画像における各画素に描画された色を座標値に逆変換することにより、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける
ように構成することができる。
また、本実施形態に係る同定装置において、
前記レンダリングは、GPU(Graphics Processing Unit)により実行される
ように構成することができる。
本実施形態に係る同定方法では、同定装置が、
トンネル内の壁面が撮影された複数の写真画像を取得し、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
前記トンネル内の壁面が新たに撮影された検索画像を取得し、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する。
本実施形態に係るプログラムは、
第1コンピュータを、
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部
として機能させる第1プログラムと、
第2コンピュータもしくは前記第1コンピュータを、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
として機能させる第2プログラムと、
を備える。
当該プログラムは、非一時的なコンピュータ読取可能な情報記録媒体に記録して配布、販売することができる。また、コンピュータ通信網等の一時的な伝送媒体を介して配布、販売することができる。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本願においては、日本国に対して平成29年(2017年)2月24日(金)に出願した特許出願特願2017-033771を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。
本発明によれば、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムを提供することができる。
101 同定装置
111 第1取得部
112 第1計算部
113 構築部
114 第1マッピング部
121 第2取得部
122 第2計算部
124 第2マッピング部
125 出力部

Claims (8)

  1. トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
    前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
    前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
    前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部、
    前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
    前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
    前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
    前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
    を備える同定装置。
  2. 前記第2取得部は、前記検索画像の撮影に引き続き、撮影位置ならびに撮影方向を所定の誤差範囲内で維持したまま、連写されたスキャン画像であって、前記壁面内のスキャン領域をレーザスキャナによりスキャンした様子が撮影されたスキャン画像を取得し、
    前記第2マッピング部は、前記スキャン画像と、前記検索画像と、を対比することにより、前記スキャン画像の各画素と、前記検索画像のいずれかの画素と、を対応付け、
    前記出力部は、前記スキャン画像に撮影された前記スキャン領域内の各画素に対応付けられた前記検索画像のいずれかの画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
    ことを特徴とする請求項1に記載の同定装置。
  3. 前記壁面マップは、前記3次元ポリゴンモデルにより前記壁面の3次元の座標値を表現する3次元マップである
    ことを特徴とする請求項1に記載の同定装置。
  4. 前記壁面マップは、前記3次元ポリゴンモデルを展開した展開図により前記壁面の2次元の座標値を表現する2次元マップである
    ことを特徴とする請求項1に記載の同定装置。
  5. 前記第1マッピング部は、
    前記座標値を色情報に変換し、
    前記変換された色情報を前記3次元ポリゴンモデルの前記座標値に対応付けられる点の色として割り当て、
    前記複数の写真画像のそれぞれが撮影された撮影位置ならびに撮影方向から、前記色が割り当てられた前記3次元ポリゴンモデルをレンダリングして、前記複数の写真画像のそれぞれと同じサイズの対応画像を生成し、
    前記生成された対応画像における各画素に描画された色を座標値に逆変換することにより、
    前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける
    ことを特徴とする請求項3または4に記載の同定装置。
  6. 前記レンダリングは、GPU(Graphics Processing Unit)により実行される
    ことを特徴とする請求項5に記載の同定装置。
  7. 同定装置が、
    トンネル内の壁面が撮影された複数の写真画像を取得し、
    前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
    前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
    前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
    前記トンネル内の壁面が新たに撮影された検索画像を取得し、
    前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
    前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
    前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
    ことを特徴とする同定方法。
  8. 第1コンピュータを、
    トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
    前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
    前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
    前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部
    として機能させる第1プログラムと、
    第2コンピュータもしくは前記第1コンピュータを、
    前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
    前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
    前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
    前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
    として機能させる第2プログラムと、
    を備えることを特徴とするプログラム。
JP2019501810A 2017-02-24 2018-02-22 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム Active JP7045721B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017033771 2017-02-24
JP2017033771 2017-02-24
PCT/JP2018/006576 WO2018155590A1 (ja) 2017-02-24 2018-02-22 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム

Publications (2)

Publication Number Publication Date
JPWO2018155590A1 JPWO2018155590A1 (ja) 2019-12-12
JP7045721B2 true JP7045721B2 (ja) 2022-04-01

Family

ID=63253896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501810A Active JP7045721B2 (ja) 2017-02-24 2018-02-22 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム

Country Status (2)

Country Link
JP (1) JP7045721B2 (ja)
WO (1) WO2018155590A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158726A1 (ja) * 2019-01-31 2020-08-06 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7205332B2 (ja) * 2019-03-20 2023-01-17 株式会社リコー 診断処理装置、診断システム、診断処理方法、及びプログラム
JP6584735B1 (ja) * 2019-03-25 2019-10-02 三菱電機株式会社 画像生成装置、画像生成方法、および画像生成プログラム
IT201900021645A1 (it) * 2019-11-19 2021-05-19 Sacmi Apparato per l’ispezione ottica di sanitari
JP7197218B1 (ja) 2021-06-15 2022-12-27 ジビル調査設計株式会社 構造物点検装置
CN114692272B (zh) * 2022-03-25 2022-12-09 中南大学 基于二维设计图纸自动生成三维参数化隧道模型的方法
CN114943706B (zh) * 2022-05-27 2023-04-07 宁波艾腾湃智能科技有限公司 一种绝对二维空间状态下的平面作品或制品的防伪鉴证

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176393A2 (en) 2000-07-17 2002-01-30 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
CN102564393A (zh) 2011-12-28 2012-07-11 北京工业大学 隧道全断面三维激光监控量测方法
JP2017503100A (ja) 2014-01-14 2017-01-26 サンドヴィック マイニング アンド コンストラクション オーワイ 採掘坑車両及び採掘坑作業タスクの開始方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005070840A (ja) * 2003-08-25 2005-03-17 East Japan Railway Co 三次元モデル作成装置、三次元モデル作成方法、及び三次元モデル作成プログラム
JP6594686B2 (ja) * 2015-07-14 2019-10-23 東急建設株式会社 三次元形状計測装置、三次元形状計測方法、及びプログラム
JP6532412B2 (ja) * 2016-01-22 2019-06-19 三菱電機株式会社 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176393A2 (en) 2000-07-17 2002-01-30 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
CN102564393A (zh) 2011-12-28 2012-07-11 北京工业大学 隧道全断面三维激光监控量测方法
JP2017503100A (ja) 2014-01-14 2017-01-26 サンドヴィック マイニング アンド コンストラクション オーワイ 採掘坑車両及び採掘坑作業タスクの開始方法

Also Published As

Publication number Publication date
WO2018155590A1 (ja) 2018-08-30
JPWO2018155590A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7045721B2 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
Lee et al. Skeleton-based 3D reconstruction of as-built pipelines from laser-scan data
Meister et al. When can we use kinectfusion for ground truth acquisition
KR101533182B1 (ko) 3d 거리
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
Ikeuchi et al. The Great Buddha Project: Modeling Cultural Heritage for VR Systems through Observation.
Lattanzi et al. 3D scene reconstruction for robotic bridge inspection
KR100920225B1 (ko) 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치
JP2016090548A (ja) ひび割れ情報収集方法及びひび割れ情報収集プログラム
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
Guarnieri et al. Digital photogrammetry and laser scanning in cultural heritage survey
JP2016090547A (ja) ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
JP2016217941A (ja) ３次元データ評価装置、３次元データ測定システム、および３次元計測方法
JP4568845B2 (ja) 変化領域認識装置
WO2021014807A1 (ja) 情報処理装置及び情報処理方法及びプログラム
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
Dufour et al. 3D surface measurements with isogeometric stereocorrelation—application to complex shapes
JP7427615B2 (ja) 情報処理装置、情報処理方法およびプログラム
Alshawabkeh et al. A new true ortho‐photo methodology for complex archaeological application
Oliveira et al. Occlusion detection by height gradient for true orthophoto generation, using LiDAR data
Ahmad et al. Generation of three dimensional model of building using photogrammetric technique
JP4747293B2 (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム
Kersten et al. Investigations of low-cost systems for 3D reconstruction of small objects
JP3966419B2 (ja) 変化領域認識装置および変化認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7045721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150