JP4170469B2 - 検査点位置取得方法および装置 - Google Patents
検査点位置取得方法および装置 Download PDFInfo
- Publication number
- JP4170469B2 JP4170469B2 JP29729898A JP29729898A JP4170469B2 JP 4170469 B2 JP4170469 B2 JP 4170469B2 JP 29729898 A JP29729898 A JP 29729898A JP 29729898 A JP29729898 A JP 29729898A JP 4170469 B2 JP4170469 B2 JP 4170469B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- coordinates
- plane
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、検査対象構造物の平面に含まれる検査領域の任意点の位置を求める方法およびその装置に関する。
【０００２】
【従来の技術】
長大平面構造物（典型的にはコンクリート壁面等）の整備点検においては、一般的に外観が重要な良否判断要素となる。例えば、ひび割れの長さ、幅や水漏れなどの有無等は、構造物の外観から判読される。近年では、平面構造物の外観画像を写真撮影した後、コンピュータによりデジタル画像処理や解析測定を行い点検する方法が開発されている。この方法を使うと、ディスプレイ画面を見ながら遠隔的に点検を行うことができる。
【０００３】
このようなコンピュータ解析による点検方法では、画像のＡ−Ｄ変換時の分解能が重要となる。例えば、0.1mm 幅程度の細いひび割れを検出するためには、デジタル画像上でのピクセル間距離で0.025mm 程度の分解能が必要である。
【０００４】
この際に問題になるのはデジタル画像のサイズである。例えば、上記分解能で50cm×50cmをカバーしようとすると、それだけで20000 ×20000 のピクセル数が必要になる。１ピクセルあたり８ビットの階調でこの画像を保存する場合は、約400MByteの記憶容量が必要となる。従って、数ｍ〜数10ｍのオーダーの大きさの平面構造物全体をこの解像度および階調で保存する場合、ギガbyteオーダーのメモリが必要である。また画像処理を実行するコンピュータにも高い処理能力が要求される。このような理由から従来は、構造物の外観から要点検箇所の存在を確認し、その場所の画像だけを高い分解能で取り込んでコンピュータ画像解析を行っていた。
【０００５】
【発明が解決しようとする課題】
上記のように従来のひび割れの画像解析は、ひび割れ部分の画像を高い解像度で取得するものなので、ひび割れ自体の解析には適しているが、一方で、ひび割れが検査対象の構造物のどの位置を占めるかが問題となることがある。
【０００６】
例えば、ダムにおいてひび割れらしきものが発見された場合、その位置次第では、実際に現地のダム壁に登り、その部分の精細調査を行う必要性が生じる。しかし、このような精細調査には膨大な時間と労力を要すため、予め、ひび割れのダム壁における位置を確認しておきたいという要望があった。
【０００７】
この要望に対し、概略の位置取得だけならば、人間がダム全体を見てひび割れ部分の位置を見当づけることもできる。そのためにはダムを正面から撮影して正対画像を得るのが理想だが、撮影場所の確保の面からこのような撮影は容易ではなく、通常は斜めの角度から撮影が行われるので、写真を見てひび割れの位置を見当づけるのは困難であった。
【０００８】
そこで、この発明は上記従来の課題に鑑みなされたものであり、検査対象構造物の平面に含まれた検査領域の任意点の平面における位置を求める検査点位置取得方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明による検査点位置取得方法は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得方法であって、
前記検査領域が撮像された検査画像を読み込むステップと、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込むステップと、
予め測定された前記複数の基準点の位置データを設定するステップと、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出するステップと、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出するステップと、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換するステップと、を有することを特徴とする。
【００１０】
この発明による検査点位置取得方法は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得方法であり、従来のコンピュータ解析のための検査領域画像は、通常平面の部分画像であるから、この画像に加えて、撮像領域を大きくしながら段階的に平面全体の画像まで取得し、これら画像間を座標変換係数で対応づけようとしたものである。
【００１１】
先ずひび割れ等が撮像された検査画像を先ず読み込み、また予め平面に定められた複数の基準点と検査領域とが撮像された平面画像（全体画像）を読み込む。また、予め測定された複数の基準点の位置データをコンピュータシステムなどに設定する。
【００１２】
次に、オペレータが平面画像において指定した複数の基準点の座標をコンピュータシステムなどにより認識し、その認識した座標と設定された位置データとに基づいて、平面画像の任意の座標を平面における位置に変換するための係数、即ち座標変換係数を算出する。これは、いわゆる射影変換係数であり、平面画像と実際の平面との関係において、次の要素を含む変換を可能にする。即ち、拡大縮小、回転、平行移動および奥行き方向の傾きをもった変換が可能になる。
【００１３】
そして、オペレータが指定した検査画像および平面画像に共通な複数の共通撮像点に基づいて、コンピュータシステムなどで演算を行い、検査画像の任意の座標を平面画像の座標に変換するための係数を算出する。この係数も前記した「位置に変換するための係数」と同様、射影変換係数（座標変換係数）である。
【００１４】
そして検査画像の範囲でオペレータが位置を求めたい任意点を指定したときは、その指定された任意点の検査画像の座標を、予め算出された検査画像の任意の座標を平面画像の座標に変換するための係数と、平面画像の任意の座標を平面における位置に変換するための係数とを用いて、座標変換を段階的に行って、検査対象構造物の平面における位置に変換する。従って、検査画像の範囲において検査点として任意点を指定すれば、平面における位置を求めることができる。
【００１５】
また、この発明の検査点位置取得装置は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得装置であって、
前記検査領域が撮像された検査画像を読み込む検査画像読込手段と、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込む平面画像読込手段と、
予め測定された前記複数の基準点の位置データを設定する基準点設定手段と、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出する位置変換係数算出手段と、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出する座標変換係数算出手段と、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換する変換手段と、を有することを特徴とする
この発明による検査点位置取得装置は、検査対象構造物の平面に含まれた検査領域の任意点の平面における位置を求めるために、上記説明した検査点位置取得方法を具現化した装置であり、撮像領域が段階的に平面全体まで大きく撮像された複数画像を読み込み、これら画像間を射影変換係数（座標変換係数）で対応づけることで、検査画像の範囲における任意点の平面における位置を求めることができるようにするものである。
【００１６】
検査画像読込手段および平面画像読込手段は、フィルムリーダ等のＡ−Ｄ変換装置からなり、それぞれ検査画像および複数の基準点と検査領域とが撮像された平面画像を読み込む。
【００１７】
また、予め測定された複数の基準点の位置データが、オペレータによって入力され、これを基準点設定手段がメモリに保存（設定）する。
【００１８】
位置変換係数算出手段は、オペレータが平面画像において指定した複数の基準点の座標を認識し、その認識した座標と設定された位置データとに基づいて、平面画像の任意の座標を平面における位置に変換するための係数を算出する。これは、いわゆる射影変換係数であり、平面画像と実際の平面との関係において、次の要素を含む変換が可能になる。即ち、拡大縮小、回転、平行移動および奥行き方向の傾きをもった変換が可能になる。
【００１９】
座標変換係数算出手段は、オペレータによって検査画像読込手段および平面画像読込手段によってそれぞれ読み込まれた検査画像および平面画像に共通な複数の共通撮像点が入力されると、これら共通撮像点の各画像における座標に基づいて、検査画像の任意の座標を平面画像の座標に変換するための係数、即ち座標変換のための射影変換係数を算出する。
【００２０】
そして、変換手段は、オペレータによって検査画像の範囲で位置を求めたい任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、予め算出された検査画像の任意の座標を平面画像の座標に変換するための係数と、平面画像の任意の座標を平面における位置に変換するための係数とを用いて、座標変換を段階的に行って、検査対象構造物の平面における位置に変換する。
【００２１】
また、この発明の検査点位置取得装置は、前記平面画像読込手段は、予め前記検査領域を取り囲むように定められた４箇所の基準点が撮像された平面画像を読み込み、前記基準点設定手段は、予め測定された前記４箇所の基準点の位置データを設定し、前記位置変換係数算出手段は、前記平面画像における前記４箇所の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための８係数からなる射影変換係数を算出することを特徴とする。
【００２２】
このような構成とすることで、検査領域を取り囲むように定められた４箇所の基準点から、８係数からなる射影変換係数を算出できるので、平面画像の任意の座標から平面における位置への変換において、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換が可能となる。
【００２３】
また、この発明の検査点位置取得装置は、前記座標変換係数算出手段は、８係数からなる射影変換係数を算出することを特徴とする。
【００２４】
座標変換係数算出手段でも、８係数からなる射影変換係数を算出することで、検査画像の任意の座標から平面画像の座標への変換において、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換が可能となる。
【００２５】
更に、この発明の検査点位置取得装置は、前記座標変換係数算出手段は、非線形最適化手法を利用した画像処理により、前記射影変換係数を算出することを特徴とする。
【００２６】
非線形最適化手法を利用した画像処理により射影変換係数を最適化することができる。
【００２７】
【発明の実施の形態】
以下、本発明の検査点位置取得方法および装置の実施の形態を、図１ないし図７を参照しながら詳細に説明する。
【００２８】
図１は、本発明の検査点位置取得装置の第１の実施の形態の機器構成ブロック図である。
【００２９】
カメラ１は、平面構造物の外観撮影を行うためのアナログカメラである。
【００３０】
フィルムリーダ２は、撮影フィルムをスキャンして読み込み、平面構造物の外観画像をディジタル化する装置である。
【００３１】
データ処理部３は、外観画像のディジタルデータを処理、解析して、本発明の目的である構造物における検査対象点の実寸位置座標（位置）を求めるコンピュータシステムである。
【００３２】
この実施の形態では、作業者が平面構造物をカメラ１で写真撮影し、その撮影フィルムは現像されてフィルムリーダ２でディジタル画像に変換され、データ処理部３において処理される。
【００３３】
図２は、データ処理部３のシステム構成図である。このデータ処理部３において、ＣＰＵ３１は、各種処理を行うための演算部３１ａと主記憶部３１ｂとから構成される。ＣＰＵ３１には種々の周辺機器が接続される。まずデータバスを介して、前述したフィルムリーダ２および外部記憶装置３２が接続される。外部記憶装置３２は、取り外し可能な記憶媒体である磁気ディスクＭにプログラム記憶領域３２ａと保存するデータ保存領域３２ｂを設定し、解析処理を実行するためのプログラム、処理の過程で生成される中間データや結果データ等をデータをそれぞれ保存する。フィルムリーダ２からは、ディジタル化された平面構造物の外観画像データが転送されてくる。
【００３４】
また、ＣＰＵ３１には、ディスプレイ装置３３が接続される。ディスプレイ装置３３は、３箇所の表示領域、即ち、低解像度画像領域３３ａ、精細画像領域３３ｂおよびメッセージ領域３３ｃを備えている。ＣＰＵ３１には、また、マウス３４およびキーボード３５が接続され、画像上でのデータ入力および数値データ入力が可能となっている。
【００３５】
このような構成のデータ処理部３では、演算部３１ａがプログラム記憶領域３２ａに記憶された解析プログラムを逐次主記憶部３１ｂに読み込ませて、実行する。処理の過程における中間データは、必要に応じて主記憶部３１ｂやデータ保存領域３２ｂに保存される。ポインタを連動させるマウス３４やキーボード３５をオペレータが操作して、適宜入力が行われる。ディスプレイ装置３３は、低解像度画像領域３３ａ、精細画像領域３３ｂにフィルムリーダ２から転送された画像を表示させて、データ入力を補助するとともに、処理の結果求められた検査対象点の実寸位置座標を、メッセージ領域３３ｃに表示する。またメッセージ領域３３ｃにオペレータへの指示メッセージを表示して、対話式に作業を進めることもできる。
【００３６】
このようにオペレータの入力操作に伴い、逐次データ処理を実行することにより、実寸位置座標取得のための解析処理を実施することができる。
【００３７】
尚、この実施の形態では、平面構造物の画像を取得するために、アナログカメラとフィルムリーダとを使用するが、これら装置に代えて、ディジタルカメラを利用し、画像を直接ディジタル化してもよい。
【００３８】
図３は、この実施の形態の検査点位置取得装置を用いた検査点位置取得方法の概念図である。以下この図を参照しながらこの発明の概念を説明する。
【００３９】
＜基準点設定のための指標の設置作業＞
平面構造物の表面の四隅近傍に、この図に示すような市松模様の指標を設置する。このような市松模様の指標としたのは、その図柄により中心点が視認しやすいからである。これら中心点は、以下に説明する実寸座標系の基準点となる。指標の代わりに平面構造物の目地の交差部分や、ひび割れの分岐点を４点定めて基準点としてもよい。
【００４０】
＜基準点の実寸座標の計測および実寸座標系の設定＞
そして、これら４基準点の相対位置関係を測量する。この位置関係をもとに平面構造物の表面を座標平面と見立てて、実寸座標系(X,Y) を設定し、各指標の中心点Ｒ１，Ｒ２，Ｒ３，Ｒ４（基準点）の実寸座標(Xi,Yi)(i=1,2,3,4)を決定しておく。基準点の相対位置関係は実際に平面構造物において作業者が測量してもよいし、３角測量により各基準点の３次元座標を計測し、それらを平面構造物に投影する方法を用いてもよい。また、平面構造物の目地の交差部分を基準点とする場合は、設計図から取得してもよい。
【００４１】
＜低解像度画像の取得＞
次に、基準点Ｒ１〜Ｒ４を含む平面構造物のディジタル画像（通常は平面すべて）を取得する。先ず、カメラ１を使って、アナログ撮影を行い、現像後にフィルムリーダ２を使用してディジタル画像に変換する（以下、このディジタル画像を低解像度画像と記す。）。撮影に際しては、歪みの少ないレンズを使用するのが好ましい。デジタルカメラを用いる場合は、なるべく画素数の多い高解像度カメラを使用する。後述する精細画像の取得においても同様である。
【００４２】
＜精細画像の取得＞
低解像度画像を得る一方、ひび割れ部分Ａの精細なディジタル画像を取得する。これは従来から行われている工程であり、ひび割れ近傍の比較的狭い領域の画像を低解像度画像よりも高い解像度で取得する（以下、このディジタル画像を精細画像と記す。）。この精細画像も上記低解像度画像と同様に、フィルムリーダ２を使用して現像後の撮影フィルムを読み取って取得し、コンピュータに保存する。
【００４３】
＜基準点の低解像度画像座標の計測＞
次に、基準点Ｒ１〜４の低解像度画像の範囲における座標(xi,yi）（i=1,2,3,4)を取得する。低解像度画像の範囲における座標はピクセル座標で表現される（以下、低解像度画像座標系と記す）。
【００４４】
＜第１射影変換係数h の算出＞
次に、基準点の実寸座標および低解像度画像座標から第１射影変換係数h を算出する。
【００４５】
第１射影変換係数h は、平面構造物が凹凸のない理想平面で、カメラ１をピンホールカメラと近似的にみなしたときの座標変換係数であり、低解像度画像座標系(x,y) と実寸座標系(X,Y) とを数式１で表したときの、係数h1,h2,...,h8からなる集合である。
【００４６】
【数１】
X=(h1x+h2y+h3)/(h7x+h8y+1)
Y=(h4x+h5y+h6)/(h7x+h8y+1)
第１射影変換係数h は基準点Ｒ１〜４の実寸座標(xi,yi）(i=1,2,3,4) および低解像度画像座標(xxi,yyi）(i=1,2,3,4) を数式１に代入して８元１次連立方程式を立て、これを解くことにより得ることができる。
【００４７】
＜第２射影変換係数H の算出＞
上述の第１射影変換係数h と同じように、精細画像における座標系(xx,yy) （以下、精細画像座標系と記す。）から低解像画像度画像座標系(x,y) への座標変換も、射影変換係数を用いて表すことができる。
【００４８】
すなわち、第２射影変換係数H(H1,H2,...,H8）は数式２の変換を与える射影変換係数である。
【００４９】
【数２】
x=(H1xx+H2yy+H3)/(H7xx+H8yy+1)
y=(H4xx+H5yy+H6)/(H7xx+H8yy+1)
第２射影変換係数H も理論的には第１射影変換係数h を求めた方法のように、基準となる４点の座標情報を用いて求めることができるが、精細画像には必ずしも４箇所の指標が含まれるとは限らないので、この実施の形態では後述するＬＭ法（Levenberg-Marquardt 法）という非線形最適化手法を用いて第２射影変換係数H を求める。
【００５０】
＜射影変換係数の合成＞
既に求められた第１射影変換係数h 、および第２射影変換係数H とを合成して、精細画像座標系(xx,yy) から実寸座標系(X,Y) への合成射影変換係数HHを算出する。これらの射影変換係数は、いずれも８係数から構成されるので、これらを用いて、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換を行うことができる。
【００５１】
＜オブジェクトの指定＞
この実施の形態でオブジェクトとは実寸座標が求められる検査対象点であり、オペレータが精細画像の範囲内で指定する。
【００５２】
通常この段階の前に、ひび割れ写真解析などの他の技術を用いて解析点検が行われ、ある部分の構造物における実寸座標が必要となった場合に、これ以降の段階へと進む。ここで指定されたオブジェクトPobjの精細画像座標をPobj(xxobj,yyobj) とする。
【００５３】
＜オブジェクトの実寸座標の算出＞
最後に、オブジェクトPobjの精細画像座標(xxobj,yyobj) を射影変換係数HHで座標変換して、オブジェクトPobjの実寸座標(Xobj,Yobj) 、つまり平面構造物における位置を算出する。
【００５４】
以上この発明の概念を説明したが、この発明は、射影変換係数を用いて指定されたオブジェクトの実寸座標（位置）を段階的に求めるものである。ただし、このように２段階に限定するものではなく、３段階以上の変換を行うことでも、同様に実寸座標を求めることができる。
【００５５】
次に、この発明の検査点位置取得装置の第１の実施の形態における、検査対象点の実寸座標取得動作を説明する。
【００５６】
図４は、第１射影変換係数h を求めるためデータ処理部３において実行される解析プログラムのフローチャートである。
【００５７】
先ず、予め実測された基準点Ｒ１〜４の実寸座標(Xi,Yi)(i=1,2,3,4)をキーボード３５から数値入力する（Ｓ４１）。次にディスプレイ装置３３の低解像度画像表示部３３ａに表示された画像上で、マウス３４によりポインタを移動させ、クリックして基準点Ｒ１〜４を指定する（Ｓ４２）。演算部３１ａにて基準点Ｒ１〜４の低解像度画像座標(xi,yi) (i=1,2,3,4) を算出する（Ｓ４３）。８元１次連立方程式解法に基づく演算を演算部３１ａにて実行し、第１射影変換係数h を算出し、これを主記憶部３１ｂおよび外部記憶装置３２に装着された磁気ディスクＭのデータ保存領域３２ｂに保存する（Ｓ４４）。すなわちデータ処理部３において、４点の基準点の実寸座標と低解像度画像座標との関係を演算処理することで第１射影変換係数h を求めることができる。
【００５８】
次に、第２射影変換係数H を求めるための解析プログラムについて説明するが、この解析プログラムの実行に先立って、オペレータは、ディスプレイ装置３３の低解像度画像領域３３ａおよび精細画像領域３３ｂに表示された低解像度画像および精細画像を見て、両画像に含まれた特徴点を２点任意に選択する。
【００５９】
図５は、特徴点P1,P2 を両画像において指定するときのディスプレイ装置３３に表示される画像の模式図である。この図に示すように、ひび割れの分岐点等の特徴的な形状部分を特徴点とすればよい。
【００６０】
図６は、第２射影変換係数H を求めるためデータ処理部３において実行される解析プログラムのフローチャートである。
【００６１】
オペレータは先ず、マウス３４によってポインタを操作して、図５に示すように低解像度画像上で、特徴点P1,P2 を指定する（Ｓ６１）。これらの特徴点は、最適化計算の初期値を単に与えるだけのものであるから、形状を正確にとらえなくてもよい。次にデータ処理部３の演算部３１ａが、P1,P2 の低解像度画像座標(xp1,yp1),(xp2,yp2) を算出する（Ｓ６２）。そして、精細画像においてもオペレータは特徴点P1,P2 を指定する（Ｓ６３）。演算部３１ａが、P1,P2 の精細画像座標(xxp1,yyp1),(xxp2,yyp2) を算出する（Ｓ６４）。
【００６２】
次に、最適化計算のために必要な初期値H0を算出する（Ｓ６５）。
【００６３】
ＬＭ法では、解析計算を実行する前に第２射影変換係数H の初期値H0を与える必要がある。この初期値H0にはある程度の誤差が含まれていてもよい。
【００６４】
この実施の形態では、精細画像座標から低解像度画像座標への変換を近似的にヘルマート変換（射影変換の一種であり、回転・平行移動・スケール変換のみによる変換）とみなして先ず次の制限を与えることにより、初期値H0の未知係数を８から４に減らす。
【００６５】
【数３】
H1=H5,H2=-H4,H7=0,H8=0
さらに、特徴点P1,P2 の低解像度画像座標および精細画像座標を数式２に代入して得られる４元１次連立方程式を解く演算を、演算部３１ａに実行させることで、射影変換係数H の初期値H0を算出する。
【００６６】
また、低解像度画像と精細画像の概略の縮尺比Ｓが分かっており、かつ両者の間にほとんど回転がない場合、さらに次の制限を加えることができる。
【００６７】
【数４】
H1=S,H2=0
これにより、［数２］の未知係数は４から２に減り、２元１次連立方程式を解くだけでよい。このときオペレータは、ただ一つの特徴点の低解像度画像座標および精細画像座標のみが必要となる。
【００６８】
次に、初期値H0を基にして、ＬＭ法による非線形最適化を演算部３１ａに実行させて、第２射影変換係数H の最終値を求め、このデータを保存する（Ｓ６６）。
【００６９】
即ちこのステップでは、演算部３１ａが次の評価関数F(H)を最小にするような最適化演算を行って第２射影変換係数H の収束値（最終値）を求める。
【００７０】
【数５】
ここでN は精細画像のピクセル総数、I(x,y)は低解像度画像の座標(x,y) のピクセルの輝度、II(x,y) は精細画像の座標(xx,yy) のピクセルの輝度である。
【００７１】
このように仮定の射影変換係数を用いた射影変換前後の画像において、輝度差のピクセル総和が最小となるような非線形最適化演算を実行することより、第２射影変換係数H を収束的に求めることができる。また、座標変換をヘルマート変換とみなして第２射影変換係数H の初期値H0を最適化演算処理に与えることで、初期値を与えない場合に比べ最適化の誤差が少なくなり、計算時間も短縮できる。
【００７２】
以上説明したようにして第１射影変換係数h および第２射影変換係数H が求まり保存されれば、後述する実寸座標取得の準備が整ったことになる。
【００７３】
図７は、演算部３１ａにて実行される、実寸座標の取得プログラムのフローチャートである。
【００７４】
先ず、オペレータは精細画像でのオブジェクトPobjの指定をする（Ｓ７１）。この指定は、精細画像をディスプレイ装置３３の精細画像領域３３ｂに表示させて、マウス３４によりポインタを移動させてクリックして行う。次に、オブジェクトPobjの精細画像座標(xxobj,yyobj) を算出する（Ｓ７２）。そして先に求めた第２射影変換係数H を読み出して、精細画像座標(xxobj,yyobj) を座標変換し、低解像度画像座標(xobj,yobj) を算出する（Ｓ７３）。さらに第１射影変換係数h を用いて低解像度画像座標(xobj,yobj) を座標変換し、オブジェクトPobjの実寸座標(Xobj,Yobj) を算出する（Ｓ７４）。ディスプレイ装置３３のメッセージ領域３３ｃに、算出されたオブジェクトPobjの実寸座標(Xobj,Yobj) を表示する（Ｓ７５）。
【００７５】
尚、オブジェクトの精細画像座標の指定については、別に用意したひび割れの解析装置等により求められた種々のデータ（ひび割れの位置や、これと相対的に求められた巾や長さをラスタ又はベクトルデータとしたもの等）から演算して、オペレータを介さずに入力しても良い。
【００７６】
このように、指定されたオブジェクトの精細画像座標に対し、射影変換（座標変換）を２段階に実行することで、オブジェクトの実寸座標を求めることができる。そして、画像データや射影変換係数データは保存されているので、実寸座標の算出は、異なるオブジェクトに対して何回でも行うことができる。尚、図３に示したように、合成した射影変換係数HHを予め求めておき、オブジェクトPobjの精細画像座標(xxobj,yyobj) から、直接、実寸座標(Xobj,Yobj) を算出することもできる。
【００７７】
＜精細画像と低解像度画像の解像度比の制限＞
尚、精細画像と低解像度画像の解像度比が１０以内なら、ＬＭ法による第２射影変換係数H(H1,H2,...,H8）の収束が精度よく行われるが、解像度比が１０以上のときは、求められた第２射影変換係数H には比較的大きい誤差が含まれることが経験により分かっている。誤差を少なくするには、中間の解像度を有する画像（中解像度画像）を取得して、精細画像と中解像度画像、および中解像度画像と低解像度画像の、それぞれを対応させる射影変換係数を精度よく求め、これら射影変換係数による座標変換を行うことで、解像度比が１０以内の場合のように精度よい実寸座標を求めることができる。また、コンクリート構造物などの表面の特徴の乏しいものを検査対象平面とする場合は、最適化の初期値計算前に、ヒストグラムの正規化等の画像処理を行うことで、第２射影変換係数H に含まれる誤差を小さくすることができる。
【００７８】
また、本実施の形態では、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ座標変換を行うために、８係数からなる射影変換係数を用いたが、本発明による検査点位置取得装置は、この実施の形態に限るものではない。
【００７９】
例えば、実寸座標系と低解像度画像座標系との座標変換をヘルマート変換であらわすことで実用上十分であれば、第１射影変換係数h は４係数から構成されることとなり、この実施の形態で４箇所設けた指標を２箇所に減らすこともできる。
【００８０】
また、精細画像座標系と低解像度画像座標系との座標変換も、ヘルマート変換のみで十分であれば、説明したＬＭ法による最適化を省いてもよい。
【００８１】
以上説明のように、この発明の検査点位置取得方法あるいは装置は、基準点および共通撮像点（特徴点）から求めた係数を用いて座標変換を段階的に行うことにより、検査画像（狭域画像）の任意点（オブジェクト）から、その検査対象構造物の平面全体における位置を求めることができる。
【００８２】
また、８係数からなる射影変換係数を用いたことにより、斜めの角度から撮像された画像（奥行き方向の傾き要素を含む画像）からでも検査点の位置が正確に求まる。また射影変換係数を用いたことで、フィルムリーダの読取り歪みも吸収でき、正確な座標変換ができるので実用上で優れた効果を奏する。
【００８３】
【発明の効果】
この発明の検査点位置取得方法によれば、基準点の位置データおよび共通撮像点から求めた係数を用いて座標変換を段階的に行うことにより、指定された検査領域の任意点からその検査対象構造物の平面全体における位置を求めることができるので、実用上で優れた効果を奏する。特に大規模な平面構造物の点検業務に際し、遠隔的に位置が取得できるので、現地調査の手間が省け時間と労力を軽減できる。
【図面の簡単な説明】
【図１】本発明の検査点位置取得装置の第１の実施の形態の機器構成ブロック図である。
【図２】図１に示す装置のデータ処理部の構成図である。
【図３】本発明による検査点位置取得方法の概念図である。
【図４】図１に示す装置における第１射影変換係数を求めるためのプログラムのフローチャートである。
【図５】図１に示す装置における特徴点を指定するときのディスプレイ表示画像の模式図である。
【図６】図１に示す装置における第２射影変換係数を求めるためのプログラムのフローチャートである。
【図７】図１に示す装置におけるオブジェクトの実寸座標を求めるためのプログラムのフローチャートである。
【符号の説明】
１ カメラ
２ フィルムリーダ
３ データ処理部
３１ ＣＰＵ
３１ａ 演算部
３１ｂ 主記憶部
３２ 外部記憶装置
３２ａ プログラム記憶領域
３２ｂ データ保存領域
３３ ディスプレイ装置
３３ａ 低解像度画像領域
３３ｂ 精細画像領域
３３ｃ メッセージ領域
３４ マウス
３５ キーボード
【発明の属する技術分野】
本発明は、検査対象構造物の平面に含まれる検査領域の任意点の位置を求める方法およびその装置に関する。
【０００２】
【従来の技術】
長大平面構造物（典型的にはコンクリート壁面等）の整備点検においては、一般的に外観が重要な良否判断要素となる。例えば、ひび割れの長さ、幅や水漏れなどの有無等は、構造物の外観から判読される。近年では、平面構造物の外観画像を写真撮影した後、コンピュータによりデジタル画像処理や解析測定を行い点検する方法が開発されている。この方法を使うと、ディスプレイ画面を見ながら遠隔的に点検を行うことができる。
【０００３】
このようなコンピュータ解析による点検方法では、画像のＡ−Ｄ変換時の分解能が重要となる。例えば、0.1mm 幅程度の細いひび割れを検出するためには、デジタル画像上でのピクセル間距離で0.025mm 程度の分解能が必要である。
【０００４】
この際に問題になるのはデジタル画像のサイズである。例えば、上記分解能で50cm×50cmをカバーしようとすると、それだけで20000 ×20000 のピクセル数が必要になる。１ピクセルあたり８ビットの階調でこの画像を保存する場合は、約400MByteの記憶容量が必要となる。従って、数ｍ〜数10ｍのオーダーの大きさの平面構造物全体をこの解像度および階調で保存する場合、ギガbyteオーダーのメモリが必要である。また画像処理を実行するコンピュータにも高い処理能力が要求される。このような理由から従来は、構造物の外観から要点検箇所の存在を確認し、その場所の画像だけを高い分解能で取り込んでコンピュータ画像解析を行っていた。
【０００５】
【発明が解決しようとする課題】
上記のように従来のひび割れの画像解析は、ひび割れ部分の画像を高い解像度で取得するものなので、ひび割れ自体の解析には適しているが、一方で、ひび割れが検査対象の構造物のどの位置を占めるかが問題となることがある。
【０００６】
例えば、ダムにおいてひび割れらしきものが発見された場合、その位置次第では、実際に現地のダム壁に登り、その部分の精細調査を行う必要性が生じる。しかし、このような精細調査には膨大な時間と労力を要すため、予め、ひび割れのダム壁における位置を確認しておきたいという要望があった。
【０００７】
この要望に対し、概略の位置取得だけならば、人間がダム全体を見てひび割れ部分の位置を見当づけることもできる。そのためにはダムを正面から撮影して正対画像を得るのが理想だが、撮影場所の確保の面からこのような撮影は容易ではなく、通常は斜めの角度から撮影が行われるので、写真を見てひび割れの位置を見当づけるのは困難であった。
【０００８】
そこで、この発明は上記従来の課題に鑑みなされたものであり、検査対象構造物の平面に含まれた検査領域の任意点の平面における位置を求める検査点位置取得方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明による検査点位置取得方法は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得方法であって、
前記検査領域が撮像された検査画像を読み込むステップと、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込むステップと、
予め測定された前記複数の基準点の位置データを設定するステップと、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出するステップと、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出するステップと、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換するステップと、を有することを特徴とする。
【００１０】
この発明による検査点位置取得方法は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得方法であり、従来のコンピュータ解析のための検査領域画像は、通常平面の部分画像であるから、この画像に加えて、撮像領域を大きくしながら段階的に平面全体の画像まで取得し、これら画像間を座標変換係数で対応づけようとしたものである。
【００１１】
先ずひび割れ等が撮像された検査画像を先ず読み込み、また予め平面に定められた複数の基準点と検査領域とが撮像された平面画像（全体画像）を読み込む。また、予め測定された複数の基準点の位置データをコンピュータシステムなどに設定する。
【００１２】
次に、オペレータが平面画像において指定した複数の基準点の座標をコンピュータシステムなどにより認識し、その認識した座標と設定された位置データとに基づいて、平面画像の任意の座標を平面における位置に変換するための係数、即ち座標変換係数を算出する。これは、いわゆる射影変換係数であり、平面画像と実際の平面との関係において、次の要素を含む変換を可能にする。即ち、拡大縮小、回転、平行移動および奥行き方向の傾きをもった変換が可能になる。
【００１３】
そして、オペレータが指定した検査画像および平面画像に共通な複数の共通撮像点に基づいて、コンピュータシステムなどで演算を行い、検査画像の任意の座標を平面画像の座標に変換するための係数を算出する。この係数も前記した「位置に変換するための係数」と同様、射影変換係数（座標変換係数）である。
【００１４】
そして検査画像の範囲でオペレータが位置を求めたい任意点を指定したときは、その指定された任意点の検査画像の座標を、予め算出された検査画像の任意の座標を平面画像の座標に変換するための係数と、平面画像の任意の座標を平面における位置に変換するための係数とを用いて、座標変換を段階的に行って、検査対象構造物の平面における位置に変換する。従って、検査画像の範囲において検査点として任意点を指定すれば、平面における位置を求めることができる。
【００１５】
また、この発明の検査点位置取得装置は、検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得装置であって、
前記検査領域が撮像された検査画像を読み込む検査画像読込手段と、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込む平面画像読込手段と、
予め測定された前記複数の基準点の位置データを設定する基準点設定手段と、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出する位置変換係数算出手段と、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出する座標変換係数算出手段と、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換する変換手段と、を有することを特徴とする
この発明による検査点位置取得装置は、検査対象構造物の平面に含まれた検査領域の任意点の平面における位置を求めるために、上記説明した検査点位置取得方法を具現化した装置であり、撮像領域が段階的に平面全体まで大きく撮像された複数画像を読み込み、これら画像間を射影変換係数（座標変換係数）で対応づけることで、検査画像の範囲における任意点の平面における位置を求めることができるようにするものである。
【００１６】
検査画像読込手段および平面画像読込手段は、フィルムリーダ等のＡ−Ｄ変換装置からなり、それぞれ検査画像および複数の基準点と検査領域とが撮像された平面画像を読み込む。
【００１７】
また、予め測定された複数の基準点の位置データが、オペレータによって入力され、これを基準点設定手段がメモリに保存（設定）する。
【００１８】
位置変換係数算出手段は、オペレータが平面画像において指定した複数の基準点の座標を認識し、その認識した座標と設定された位置データとに基づいて、平面画像の任意の座標を平面における位置に変換するための係数を算出する。これは、いわゆる射影変換係数であり、平面画像と実際の平面との関係において、次の要素を含む変換が可能になる。即ち、拡大縮小、回転、平行移動および奥行き方向の傾きをもった変換が可能になる。
【００１９】
座標変換係数算出手段は、オペレータによって検査画像読込手段および平面画像読込手段によってそれぞれ読み込まれた検査画像および平面画像に共通な複数の共通撮像点が入力されると、これら共通撮像点の各画像における座標に基づいて、検査画像の任意の座標を平面画像の座標に変換するための係数、即ち座標変換のための射影変換係数を算出する。
【００２０】
そして、変換手段は、オペレータによって検査画像の範囲で位置を求めたい任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、予め算出された検査画像の任意の座標を平面画像の座標に変換するための係数と、平面画像の任意の座標を平面における位置に変換するための係数とを用いて、座標変換を段階的に行って、検査対象構造物の平面における位置に変換する。
【００２１】
また、この発明の検査点位置取得装置は、前記平面画像読込手段は、予め前記検査領域を取り囲むように定められた４箇所の基準点が撮像された平面画像を読み込み、前記基準点設定手段は、予め測定された前記４箇所の基準点の位置データを設定し、前記位置変換係数算出手段は、前記平面画像における前記４箇所の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための８係数からなる射影変換係数を算出することを特徴とする。
【００２２】
このような構成とすることで、検査領域を取り囲むように定められた４箇所の基準点から、８係数からなる射影変換係数を算出できるので、平面画像の任意の座標から平面における位置への変換において、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換が可能となる。
【００２３】
また、この発明の検査点位置取得装置は、前記座標変換係数算出手段は、８係数からなる射影変換係数を算出することを特徴とする。
【００２４】
座標変換係数算出手段でも、８係数からなる射影変換係数を算出することで、検査画像の任意の座標から平面画像の座標への変換において、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換が可能となる。
【００２５】
更に、この発明の検査点位置取得装置は、前記座標変換係数算出手段は、非線形最適化手法を利用した画像処理により、前記射影変換係数を算出することを特徴とする。
【００２６】
非線形最適化手法を利用した画像処理により射影変換係数を最適化することができる。
【００２７】
【発明の実施の形態】
以下、本発明の検査点位置取得方法および装置の実施の形態を、図１ないし図７を参照しながら詳細に説明する。
【００２８】
図１は、本発明の検査点位置取得装置の第１の実施の形態の機器構成ブロック図である。
【００２９】
カメラ１は、平面構造物の外観撮影を行うためのアナログカメラである。
【００３０】
フィルムリーダ２は、撮影フィルムをスキャンして読み込み、平面構造物の外観画像をディジタル化する装置である。
【００３１】
データ処理部３は、外観画像のディジタルデータを処理、解析して、本発明の目的である構造物における検査対象点の実寸位置座標（位置）を求めるコンピュータシステムである。
【００３２】
この実施の形態では、作業者が平面構造物をカメラ１で写真撮影し、その撮影フィルムは現像されてフィルムリーダ２でディジタル画像に変換され、データ処理部３において処理される。
【００３３】
図２は、データ処理部３のシステム構成図である。このデータ処理部３において、ＣＰＵ３１は、各種処理を行うための演算部３１ａと主記憶部３１ｂとから構成される。ＣＰＵ３１には種々の周辺機器が接続される。まずデータバスを介して、前述したフィルムリーダ２および外部記憶装置３２が接続される。外部記憶装置３２は、取り外し可能な記憶媒体である磁気ディスクＭにプログラム記憶領域３２ａと保存するデータ保存領域３２ｂを設定し、解析処理を実行するためのプログラム、処理の過程で生成される中間データや結果データ等をデータをそれぞれ保存する。フィルムリーダ２からは、ディジタル化された平面構造物の外観画像データが転送されてくる。
【００３４】
また、ＣＰＵ３１には、ディスプレイ装置３３が接続される。ディスプレイ装置３３は、３箇所の表示領域、即ち、低解像度画像領域３３ａ、精細画像領域３３ｂおよびメッセージ領域３３ｃを備えている。ＣＰＵ３１には、また、マウス３４およびキーボード３５が接続され、画像上でのデータ入力および数値データ入力が可能となっている。
【００３５】
このような構成のデータ処理部３では、演算部３１ａがプログラム記憶領域３２ａに記憶された解析プログラムを逐次主記憶部３１ｂに読み込ませて、実行する。処理の過程における中間データは、必要に応じて主記憶部３１ｂやデータ保存領域３２ｂに保存される。ポインタを連動させるマウス３４やキーボード３５をオペレータが操作して、適宜入力が行われる。ディスプレイ装置３３は、低解像度画像領域３３ａ、精細画像領域３３ｂにフィルムリーダ２から転送された画像を表示させて、データ入力を補助するとともに、処理の結果求められた検査対象点の実寸位置座標を、メッセージ領域３３ｃに表示する。またメッセージ領域３３ｃにオペレータへの指示メッセージを表示して、対話式に作業を進めることもできる。
【００３６】
このようにオペレータの入力操作に伴い、逐次データ処理を実行することにより、実寸位置座標取得のための解析処理を実施することができる。
【００３７】
尚、この実施の形態では、平面構造物の画像を取得するために、アナログカメラとフィルムリーダとを使用するが、これら装置に代えて、ディジタルカメラを利用し、画像を直接ディジタル化してもよい。
【００３８】
図３は、この実施の形態の検査点位置取得装置を用いた検査点位置取得方法の概念図である。以下この図を参照しながらこの発明の概念を説明する。
【００３９】
＜基準点設定のための指標の設置作業＞
平面構造物の表面の四隅近傍に、この図に示すような市松模様の指標を設置する。このような市松模様の指標としたのは、その図柄により中心点が視認しやすいからである。これら中心点は、以下に説明する実寸座標系の基準点となる。指標の代わりに平面構造物の目地の交差部分や、ひび割れの分岐点を４点定めて基準点としてもよい。
【００４０】
＜基準点の実寸座標の計測および実寸座標系の設定＞
そして、これら４基準点の相対位置関係を測量する。この位置関係をもとに平面構造物の表面を座標平面と見立てて、実寸座標系(X,Y) を設定し、各指標の中心点Ｒ１，Ｒ２，Ｒ３，Ｒ４（基準点）の実寸座標(Xi,Yi)(i=1,2,3,4)を決定しておく。基準点の相対位置関係は実際に平面構造物において作業者が測量してもよいし、３角測量により各基準点の３次元座標を計測し、それらを平面構造物に投影する方法を用いてもよい。また、平面構造物の目地の交差部分を基準点とする場合は、設計図から取得してもよい。
【００４１】
＜低解像度画像の取得＞
次に、基準点Ｒ１〜Ｒ４を含む平面構造物のディジタル画像（通常は平面すべて）を取得する。先ず、カメラ１を使って、アナログ撮影を行い、現像後にフィルムリーダ２を使用してディジタル画像に変換する（以下、このディジタル画像を低解像度画像と記す。）。撮影に際しては、歪みの少ないレンズを使用するのが好ましい。デジタルカメラを用いる場合は、なるべく画素数の多い高解像度カメラを使用する。後述する精細画像の取得においても同様である。
【００４２】
＜精細画像の取得＞
低解像度画像を得る一方、ひび割れ部分Ａの精細なディジタル画像を取得する。これは従来から行われている工程であり、ひび割れ近傍の比較的狭い領域の画像を低解像度画像よりも高い解像度で取得する（以下、このディジタル画像を精細画像と記す。）。この精細画像も上記低解像度画像と同様に、フィルムリーダ２を使用して現像後の撮影フィルムを読み取って取得し、コンピュータに保存する。
【００４３】
＜基準点の低解像度画像座標の計測＞
次に、基準点Ｒ１〜４の低解像度画像の範囲における座標(xi,yi）（i=1,2,3,4)を取得する。低解像度画像の範囲における座標はピクセル座標で表現される（以下、低解像度画像座標系と記す）。
【００４４】
＜第１射影変換係数h の算出＞
次に、基準点の実寸座標および低解像度画像座標から第１射影変換係数h を算出する。
【００４５】
第１射影変換係数h は、平面構造物が凹凸のない理想平面で、カメラ１をピンホールカメラと近似的にみなしたときの座標変換係数であり、低解像度画像座標系(x,y) と実寸座標系(X,Y) とを数式１で表したときの、係数h1,h2,...,h8からなる集合である。
【００４６】
【数１】
X=(h1x+h2y+h3)/(h7x+h8y+1)
Y=(h4x+h5y+h6)/(h7x+h8y+1)
第１射影変換係数h は基準点Ｒ１〜４の実寸座標(xi,yi）(i=1,2,3,4) および低解像度画像座標(xxi,yyi）(i=1,2,3,4) を数式１に代入して８元１次連立方程式を立て、これを解くことにより得ることができる。
【００４７】
＜第２射影変換係数H の算出＞
上述の第１射影変換係数h と同じように、精細画像における座標系(xx,yy) （以下、精細画像座標系と記す。）から低解像画像度画像座標系(x,y) への座標変換も、射影変換係数を用いて表すことができる。
【００４８】
すなわち、第２射影変換係数H(H1,H2,...,H8）は数式２の変換を与える射影変換係数である。
【００４９】
【数２】
x=(H1xx+H2yy+H3)/(H7xx+H8yy+1)
y=(H4xx+H5yy+H6)/(H7xx+H8yy+1)
第２射影変換係数H も理論的には第１射影変換係数h を求めた方法のように、基準となる４点の座標情報を用いて求めることができるが、精細画像には必ずしも４箇所の指標が含まれるとは限らないので、この実施の形態では後述するＬＭ法（Levenberg-Marquardt 法）という非線形最適化手法を用いて第２射影変換係数H を求める。
【００５０】
＜射影変換係数の合成＞
既に求められた第１射影変換係数h 、および第２射影変換係数H とを合成して、精細画像座標系(xx,yy) から実寸座標系(X,Y) への合成射影変換係数HHを算出する。これらの射影変換係数は、いずれも８係数から構成されるので、これらを用いて、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ変換を行うことができる。
【００５１】
＜オブジェクトの指定＞
この実施の形態でオブジェクトとは実寸座標が求められる検査対象点であり、オペレータが精細画像の範囲内で指定する。
【００５２】
通常この段階の前に、ひび割れ写真解析などの他の技術を用いて解析点検が行われ、ある部分の構造物における実寸座標が必要となった場合に、これ以降の段階へと進む。ここで指定されたオブジェクトPobjの精細画像座標をPobj(xxobj,yyobj) とする。
【００５３】
＜オブジェクトの実寸座標の算出＞
最後に、オブジェクトPobjの精細画像座標(xxobj,yyobj) を射影変換係数HHで座標変換して、オブジェクトPobjの実寸座標(Xobj,Yobj) 、つまり平面構造物における位置を算出する。
【００５４】
以上この発明の概念を説明したが、この発明は、射影変換係数を用いて指定されたオブジェクトの実寸座標（位置）を段階的に求めるものである。ただし、このように２段階に限定するものではなく、３段階以上の変換を行うことでも、同様に実寸座標を求めることができる。
【００５５】
次に、この発明の検査点位置取得装置の第１の実施の形態における、検査対象点の実寸座標取得動作を説明する。
【００５６】
図４は、第１射影変換係数h を求めるためデータ処理部３において実行される解析プログラムのフローチャートである。
【００５７】
先ず、予め実測された基準点Ｒ１〜４の実寸座標(Xi,Yi)(i=1,2,3,4)をキーボード３５から数値入力する（Ｓ４１）。次にディスプレイ装置３３の低解像度画像表示部３３ａに表示された画像上で、マウス３４によりポインタを移動させ、クリックして基準点Ｒ１〜４を指定する（Ｓ４２）。演算部３１ａにて基準点Ｒ１〜４の低解像度画像座標(xi,yi) (i=1,2,3,4) を算出する（Ｓ４３）。８元１次連立方程式解法に基づく演算を演算部３１ａにて実行し、第１射影変換係数h を算出し、これを主記憶部３１ｂおよび外部記憶装置３２に装着された磁気ディスクＭのデータ保存領域３２ｂに保存する（Ｓ４４）。すなわちデータ処理部３において、４点の基準点の実寸座標と低解像度画像座標との関係を演算処理することで第１射影変換係数h を求めることができる。
【００５８】
次に、第２射影変換係数H を求めるための解析プログラムについて説明するが、この解析プログラムの実行に先立って、オペレータは、ディスプレイ装置３３の低解像度画像領域３３ａおよび精細画像領域３３ｂに表示された低解像度画像および精細画像を見て、両画像に含まれた特徴点を２点任意に選択する。
【００５９】
図５は、特徴点P1,P2 を両画像において指定するときのディスプレイ装置３３に表示される画像の模式図である。この図に示すように、ひび割れの分岐点等の特徴的な形状部分を特徴点とすればよい。
【００６０】
図６は、第２射影変換係数H を求めるためデータ処理部３において実行される解析プログラムのフローチャートである。
【００６１】
オペレータは先ず、マウス３４によってポインタを操作して、図５に示すように低解像度画像上で、特徴点P1,P2 を指定する（Ｓ６１）。これらの特徴点は、最適化計算の初期値を単に与えるだけのものであるから、形状を正確にとらえなくてもよい。次にデータ処理部３の演算部３１ａが、P1,P2 の低解像度画像座標(xp1,yp1),(xp2,yp2) を算出する（Ｓ６２）。そして、精細画像においてもオペレータは特徴点P1,P2 を指定する（Ｓ６３）。演算部３１ａが、P1,P2 の精細画像座標(xxp1,yyp1),(xxp2,yyp2) を算出する（Ｓ６４）。
【００６２】
次に、最適化計算のために必要な初期値H0を算出する（Ｓ６５）。
【００６３】
ＬＭ法では、解析計算を実行する前に第２射影変換係数H の初期値H0を与える必要がある。この初期値H0にはある程度の誤差が含まれていてもよい。
【００６４】
この実施の形態では、精細画像座標から低解像度画像座標への変換を近似的にヘルマート変換（射影変換の一種であり、回転・平行移動・スケール変換のみによる変換）とみなして先ず次の制限を与えることにより、初期値H0の未知係数を８から４に減らす。
【００６５】
【数３】
H1=H5,H2=-H4,H7=0,H8=0
さらに、特徴点P1,P2 の低解像度画像座標および精細画像座標を数式２に代入して得られる４元１次連立方程式を解く演算を、演算部３１ａに実行させることで、射影変換係数H の初期値H0を算出する。
【００６６】
また、低解像度画像と精細画像の概略の縮尺比Ｓが分かっており、かつ両者の間にほとんど回転がない場合、さらに次の制限を加えることができる。
【００６７】
【数４】
H1=S,H2=0
これにより、［数２］の未知係数は４から２に減り、２元１次連立方程式を解くだけでよい。このときオペレータは、ただ一つの特徴点の低解像度画像座標および精細画像座標のみが必要となる。
【００６８】
次に、初期値H0を基にして、ＬＭ法による非線形最適化を演算部３１ａに実行させて、第２射影変換係数H の最終値を求め、このデータを保存する（Ｓ６６）。
【００６９】
即ちこのステップでは、演算部３１ａが次の評価関数F(H)を最小にするような最適化演算を行って第２射影変換係数H の収束値（最終値）を求める。
【００７０】
【数５】
【００７１】
このように仮定の射影変換係数を用いた射影変換前後の画像において、輝度差のピクセル総和が最小となるような非線形最適化演算を実行することより、第２射影変換係数H を収束的に求めることができる。また、座標変換をヘルマート変換とみなして第２射影変換係数H の初期値H0を最適化演算処理に与えることで、初期値を与えない場合に比べ最適化の誤差が少なくなり、計算時間も短縮できる。
【００７２】
以上説明したようにして第１射影変換係数h および第２射影変換係数H が求まり保存されれば、後述する実寸座標取得の準備が整ったことになる。
【００７３】
図７は、演算部３１ａにて実行される、実寸座標の取得プログラムのフローチャートである。
【００７４】
先ず、オペレータは精細画像でのオブジェクトPobjの指定をする（Ｓ７１）。この指定は、精細画像をディスプレイ装置３３の精細画像領域３３ｂに表示させて、マウス３４によりポインタを移動させてクリックして行う。次に、オブジェクトPobjの精細画像座標(xxobj,yyobj) を算出する（Ｓ７２）。そして先に求めた第２射影変換係数H を読み出して、精細画像座標(xxobj,yyobj) を座標変換し、低解像度画像座標(xobj,yobj) を算出する（Ｓ７３）。さらに第１射影変換係数h を用いて低解像度画像座標(xobj,yobj) を座標変換し、オブジェクトPobjの実寸座標(Xobj,Yobj) を算出する（Ｓ７４）。ディスプレイ装置３３のメッセージ領域３３ｃに、算出されたオブジェクトPobjの実寸座標(Xobj,Yobj) を表示する（Ｓ７５）。
【００７５】
尚、オブジェクトの精細画像座標の指定については、別に用意したひび割れの解析装置等により求められた種々のデータ（ひび割れの位置や、これと相対的に求められた巾や長さをラスタ又はベクトルデータとしたもの等）から演算して、オペレータを介さずに入力しても良い。
【００７６】
このように、指定されたオブジェクトの精細画像座標に対し、射影変換（座標変換）を２段階に実行することで、オブジェクトの実寸座標を求めることができる。そして、画像データや射影変換係数データは保存されているので、実寸座標の算出は、異なるオブジェクトに対して何回でも行うことができる。尚、図３に示したように、合成した射影変換係数HHを予め求めておき、オブジェクトPobjの精細画像座標(xxobj,yyobj) から、直接、実寸座標(Xobj,Yobj) を算出することもできる。
【００７７】
＜精細画像と低解像度画像の解像度比の制限＞
尚、精細画像と低解像度画像の解像度比が１０以内なら、ＬＭ法による第２射影変換係数H(H1,H2,...,H8）の収束が精度よく行われるが、解像度比が１０以上のときは、求められた第２射影変換係数H には比較的大きい誤差が含まれることが経験により分かっている。誤差を少なくするには、中間の解像度を有する画像（中解像度画像）を取得して、精細画像と中解像度画像、および中解像度画像と低解像度画像の、それぞれを対応させる射影変換係数を精度よく求め、これら射影変換係数による座標変換を行うことで、解像度比が１０以内の場合のように精度よい実寸座標を求めることができる。また、コンクリート構造物などの表面の特徴の乏しいものを検査対象平面とする場合は、最適化の初期値計算前に、ヒストグラムの正規化等の画像処理を行うことで、第２射影変換係数H に含まれる誤差を小さくすることができる。
【００７８】
また、本実施の形態では、回転、平行移動、縮尺および奥行き方向の傾きの要素を含んだ座標変換を行うために、８係数からなる射影変換係数を用いたが、本発明による検査点位置取得装置は、この実施の形態に限るものではない。
【００７９】
例えば、実寸座標系と低解像度画像座標系との座標変換をヘルマート変換であらわすことで実用上十分であれば、第１射影変換係数h は４係数から構成されることとなり、この実施の形態で４箇所設けた指標を２箇所に減らすこともできる。
【００８０】
また、精細画像座標系と低解像度画像座標系との座標変換も、ヘルマート変換のみで十分であれば、説明したＬＭ法による最適化を省いてもよい。
【００８１】
以上説明のように、この発明の検査点位置取得方法あるいは装置は、基準点および共通撮像点（特徴点）から求めた係数を用いて座標変換を段階的に行うことにより、検査画像（狭域画像）の任意点（オブジェクト）から、その検査対象構造物の平面全体における位置を求めることができる。
【００８２】
また、８係数からなる射影変換係数を用いたことにより、斜めの角度から撮像された画像（奥行き方向の傾き要素を含む画像）からでも検査点の位置が正確に求まる。また射影変換係数を用いたことで、フィルムリーダの読取り歪みも吸収でき、正確な座標変換ができるので実用上で優れた効果を奏する。
【００８３】
【発明の効果】
この発明の検査点位置取得方法によれば、基準点の位置データおよび共通撮像点から求めた係数を用いて座標変換を段階的に行うことにより、指定された検査領域の任意点からその検査対象構造物の平面全体における位置を求めることができるので、実用上で優れた効果を奏する。特に大規模な平面構造物の点検業務に際し、遠隔的に位置が取得できるので、現地調査の手間が省け時間と労力を軽減できる。
【図面の簡単な説明】
【図１】本発明の検査点位置取得装置の第１の実施の形態の機器構成ブロック図である。
【図２】図１に示す装置のデータ処理部の構成図である。
【図３】本発明による検査点位置取得方法の概念図である。
【図４】図１に示す装置における第１射影変換係数を求めるためのプログラムのフローチャートである。
【図５】図１に示す装置における特徴点を指定するときのディスプレイ表示画像の模式図である。
【図６】図１に示す装置における第２射影変換係数を求めるためのプログラムのフローチャートである。
【図７】図１に示す装置におけるオブジェクトの実寸座標を求めるためのプログラムのフローチャートである。
【符号の説明】
１ カメラ
２ フィルムリーダ
３ データ処理部
３１ ＣＰＵ
３１ａ 演算部
３１ｂ 主記憶部
３２ 外部記憶装置
３２ａ プログラム記憶領域
３２ｂ データ保存領域
３３ ディスプレイ装置
３３ａ 低解像度画像領域
３３ｂ 精細画像領域
３３ｃ メッセージ領域
３４ マウス
３５ キーボード
Claims (5)
- 検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得方法であって、
前記検査領域が撮像された検査画像を読み込むステップと、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込むステップと、
予め測定された前記複数の基準点の位置データを設定するステップと、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出するステップと、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出するステップと、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換するステップと、を有することを特徴とする検査点位置取得方法。 - 検査対象構造物の平面に含まれた検査領域の任意点の前記平面における位置を求める検査点位置取得装置であって、
前記検査領域が撮像された検査画像を読み込む検査画像読込手段と、
予め前記平面に定められた複数の基準点と前記検査領域とが撮像された平面画像を読み込む平面画像読込手段と、
予め測定された前記複数の基準点の位置データを設定する基準点設定手段と、
前記平面画像における前記複数の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための係数を算出する位置変換係数算出手段と、
前記検査画像および前記平面画像に共通な複数の共通撮像点に基づいて、前記検査画像の任意の座標を前記平面画像の座標に変換するための係数を算出する座標変換係数算出手段と、
前記検査画像の範囲で任意点が指定されたときは、その指定された任意点の前記検査画像の座標を、前記平面画像の座標に変換するための係数と前記平面における位置に変換するための係数とを用いて、前記検査対象構造物の平面における位置に変換する変換手段と、を有することを特徴とする検査点位置取得装置。 - 前記平面画像読込手段は、予め前記検査領域を取り囲むように定められた４箇所の基準点が撮像された平面画像を読み込み、
前記基準点設定手段は、予め測定された前記４箇所の基準点の位置データを設定し、
前記位置変換係数算出手段は、前記平面画像における前記４箇所の基準点の座標を認識し、その認識した座標と前記設定された位置データとに基づいて、前記平面画像の任意の座標を前記平面における位置に変換するための８係数からなる射影変換係数を算出することを特徴とする請求項２記載の検査点位置取得装置。 - 前記座標変換係数算出手段は、８係数からなる射影変換係数を算出することを特徴とする請求項２または請求項３記載の検査点位置取得装置。
- 前記座標変換係数算出手段は、非線形最適化手法を利用した画像処理により、前記射影変換係数を算出することを特徴とする請求項４項記載の検査点位置取得装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29729898A JP4170469B2 (ja) | 1998-10-19 | 1998-10-19 | 検査点位置取得方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29729898A JP4170469B2 (ja) | 1998-10-19 | 1998-10-19 | 検査点位置取得方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000121358A JP2000121358A (ja) | 2000-04-28 |
| JP4170469B2 true JP4170469B2 (ja) | 2008-10-22 |
Family
ID=17844708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29729898A Expired - Fee Related JP4170469B2 (ja) | 1998-10-19 | 1998-10-19 | 検査点位置取得方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4170469B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002328096A (ja) * | 2001-04-27 | 2002-11-15 | Tokyo Electric Power Co Inc:The | 構造物に形成されたひび割れ欠陥検出プログラム、ひび割れ欠陥検出方法及びひび割れ欠陥検出システム |
| JP4832878B2 (ja) * | 2005-12-09 | 2011-12-07 | 倉敷紡績株式会社 | 画像合成処理装置及び方法 |
| DE602008004330D1 (de) * | 2008-07-04 | 2011-02-17 | Sick Ivp Aktiebolag | Kalibrierung eines Profilmesssystems |
| JP6029376B2 (ja) * | 2012-08-07 | 2016-11-24 | 倉敷紡績株式会社 | 精密計測方法 |
| KR101370523B1 (ko) | 2012-10-19 | 2014-03-27 | 주식회사 지오시스템 | 조선 해양 구조물의 측정 및 정도 관리 방법 |
| TW201418662A (zh) * | 2012-11-15 | 2014-05-16 | Nat Applied Res Laboratories | 遠距離量測裂縫之方法及其裝置 |
| JP6242009B2 (ja) * | 2014-07-04 | 2017-12-06 | Kddi株式会社 | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 |
| JP6652327B2 (ja) * | 2015-04-17 | 2020-02-19 | 株式会社フジタ | 検査対象物の状態評価装置 |
| JP6609057B2 (ja) * | 2016-08-22 | 2019-11-20 | 富士フイルム株式会社 | 画像処理装置 |
| JP7376227B2 (ja) * | 2018-10-19 | 2023-11-08 | ファナック株式会社 | 複数の撮像条件を用いた画像処理装置 |
| JP7450502B2 (ja) | 2020-09-15 | 2024-03-15 | 株式会社安藤・間 | ターゲットスペーサ、及び画像解析方法 |
| CN112767415B (zh) * | 2021-01-13 | 2024-07-30 | 深圳瀚维智能医疗科技有限公司 | 胸部扫查区域自动确定方法、装置、设备及存储介质 |
| CN115719492B (zh) * | 2022-11-29 | 2023-08-11 | 中国测绘科学研究院 | 一种面状要素宽窄特征识别方法、装置、设备及可读存储介质 |
-
1998
- 1998-10-19 JP JP29729898A patent/JP4170469B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000121358A (ja) | 2000-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Herráez et al. | 3D modeling by means of videogrammetry and laser scanners for reverse engineering | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| JP5097765B2 (ja) | 計測方法および計測プログラムならびに計測装置 | |
| JP4522140B2 (ja) | 指標配置情報推定方法および情報処理装置 | |
| JP6807459B2 (ja) | 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体 | |
| JP4170469B2 (ja) | 検査点位置取得方法および装置 | |
| US20080279447A1 (en) | Computational Solution Of A Building Of Three Dimensional Virtual Models From Aerial Photographs | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| JP2005215917A (ja) | 施工図作成支援方法およびリプレースモデル作成方法 | |
| JP6823719B2 (ja) | 画像合成方法、画像合成装置、及び記録媒体 | |
| CN108535097A (zh) | 一种三轴试验试样柱面变形全场测量的方法 | |
| WO2019150799A1 (ja) | 補修長の決定方法及び補修長の決定装置 | |
| JP2021018676A (ja) | 情報処理装置及び情報処理方法及びプログラム | |
| WO2020136523A1 (en) | System and method for the recognition of geometric shapes | |
| JP3282516B2 (ja) | 三次元画像計測方法 | |
| JP2000028332A (ja) | ３次元計測装置及び３次元計測方法 | |
| JP2005140547A (ja) | ３次元計測方法、３次元計測装置、及びコンピュータプログラム | |
| CN101448088B (zh) | 虚拟演播室中初始定位系统 | |
| JPH06195472A (ja) | 画像処理システム | |
| Habib et al. | 3-d Modelling of Historical Sites using low-cost Digital Cameras | |
| JP2005174151A (ja) | 三次元画像表示装置及び方法 | |
| JPH076777B2 (ja) | パターンの輪郭検出方法及びこの方法を用いた測長装置 | |
| JPH10214349A (ja) | 撮影パラメータ測定方法及び装置並びに記録媒体 | |
| Grattoni et al. | A mosaicing approach for the acquisition and representation of 3d painted surfaces for conservation and restoration purposes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080807 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |