JP7033439B2

JP7033439B2 - 石垣管理システム、石垣管理方法及びコンピュータプログラム

Info

Publication number: JP7033439B2
Application number: JP2017221709A
Authority: JP
Inventors: 雅彦津口; 光輝坂元; 真司藤川; 拓松本; 大輔播間
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2022-03-10
Anticipated expiration: 2037-11-17
Also published as: JP2019095821A

Description

本発明は、石垣管理システム、石垣管理方法及びコンピュータプログラムに関する。

従来、防塁、城郭等の石垣を修復するために、石垣の表面をレーザ計測し、石垣の表層断面図（石垣立面図）を作成する表層断面図の作成方法が開示されている（例えば、特許文献１参照）。また、石垣の解体修復時において、石垣を構成する石材ごとに識別番号を記憶しているＩＣタグを貼設し、石材毎の画像情報や、解体前の位置情報、石材の仮置き位置、石材の劣化、風化の進行状況による再利用可能性判断結果等を識別番号毎に記憶させておくことで、解体前の本来あるべき状態に積み直しできる石垣の解体石材の管理方法が開示されている（例えば、特許文献２参照）。

特開２００４－２１２１０７号公報特開２０１１－０６５３４９号公報

しかし、特許文献１に開示されているレーザ計測を用いて作成した石垣の表層断面図では、石垣の表面における石材の分布等を管理することはできるが、個々の石材についての個別情報や位置情報等を管理することができない。また、特許文献２に開示されている方式では、個々の石材についての個別情報や位置情報等を管理することはできるが、石材の解体前の位置情報や画像情報を手作業にてパソコン等に登録する必要があり作業が繁雑になるという問題点があった。さらに、予め個々の石材にＩＣタグ等を貼設しなければならず、解体修復工事の場合であれば、解体時にＩＣタグ等の貼設作業を行うことができるが、災害等で一度に石垣が崩落した場合は、事前の貼設作業を行うことができないため、崩落した石材の管理を行うことができないという問題点もあった。

本発明は斯かる事情に鑑みてなされたものであり、個々の石材の画像情報や位置情報の登録や、石材へのＩＣタグ等の貼設を事前に手作業で行うことなく、石垣を構成する個々の石材の画像情報や位置情報およびその他属性情報等を管理することができる石垣管理システム、石垣管理方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る石垣管理システムは、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムにおいて、前記石垣を撮像した石垣画像データを取得する画像データ取得部と、取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成部と、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出部と、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部と、生成した石材管理データを記憶する管理データ記憶部とを備えることを特徴とする。

また、第２発明に係る石垣管理システムは、第１発明における前記画像データ取得部が、前記石垣の表面の三次元形状を含む三次元画像データを取得することを特徴とする。

また、第３発明に係る石垣管理システムは、第１乃至第２発明のいずれか１つにおいて、前記石垣立面図作成部が、前記石垣画像データを、画像解析による領域分割手法により複数の領域に分割し、それぞれの石材の積層状況を表現した前記石垣立面図データを作成することを特徴とする。

また、第４発明に係る石垣管理システムは、第１乃至第３発明のいずれか１つにおいて、前記石材管理データ生成部が、前記石垣立面図データより、それぞれの石材の領域図形内の任意の地点を代表地点とし、当該石材の位置情報とすることを特徴とする。

また、第５発明に係る石垣管理システムは、第１乃至第４発明のいずれか１つにおいて、前記石垣より石材が崩落した際に、崩落した石材を撮像した崩落石材画像データを取得し、崩落した石材のそれぞれを識別することが可能な識別番号である崩落石材管理番号を付与した上で記録する崩落石材画像データ取得部と、取得した崩落石材画像データと前記石材画像データとを画像解析手法により照合することで、当該崩落した石材が、石材管理データ内のどの石材と合致するかを判定し、石材管理データより当該石材の石垣内の位置情報やその他属性情報を取得する崩落石材照合部とを備え、前記管理データ記憶部は、前記崩落石材照合部における照合結果を前記石材管理データとして記憶することを特徴とする。

また、第６発明に係る石垣管理方法は、複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能な石垣管理方法において、前記コンピュータは、前記石垣を撮像した石垣画像データを取得する工程と、取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する工程と、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する工程と、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する工程と、生成した石材管理データを記憶する工程とを含むことを特徴とする。

また、第７発明に係るコンピュータプログラムは、複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、前記石垣を撮像した石垣画像データを取得する石垣画像データ取得手段、取得した石垣画像データから、石垣それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成手段、作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出手段、前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成手段、及び生成した石材管理データを記憶する管理データ記憶手段として機能させることを特徴とする。

本発明によれば、石垣を構成する個々の石材の画像情報や位置情報の登録や、石材へのＩＣタグ等の貼設を事前に手作業で行うことなく、石垣を構成する個々の石材に関する情報、特に画像情報及び位置情報を管理することができ、災害等により石垣が崩壊した際の修復時等において、高い精度で原状復帰させることが可能となる。

本発明の実施の形態に係る石垣管理システムの構成を模式的に示す機能ブロック図である。本発明の実施の形態に係る石垣管理システムの計算機処理部のＣＰＵを用いた場合の構成を模式的に示すブロック図である。本発明の実施の形態に係る石垣管理システムの計算機処理部の石垣管理処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの計算機処理部の石垣立面図作成処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの計算機処理部のマルチスケール分割処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの計算機処理部のマルチスケール分割処理における、隣接する２領域の併合処理を示す説明図である。本発明の実施の形態に係る石垣管理システムの計算機処理部の石材管理データ生成処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの石材ＤＢのデータ構造を示す説明図である。本発明の実施の形態に係る石垣管理システムの石垣の表層面の画像データに石材の輪郭と位置情報とを重ね合わせて表示した場合の説明図である。本発明の実施の形態に係る石垣管理システムの計算機処理部の崩落石材照合処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの計算機処理部の石材画像データ照合処理の流れを示すフローチャートである。本発明の実施の形態に係る石垣管理システムの崩落石材照合結果ＤＢのデータ構造を示す説明図である。

以下、本発明の実施の形態に係る、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムについて、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。

また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態を通じて同じ要素には同一の符号を付している。

以下の実施の形態では、コンピュータシステムにコンピュータプログラムを導入したシステムについて説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータプログラムとして実施することができる。したがって、本発明は、複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムというハードウェアとしての実施の形態、ソフトウェアとしての実施の形態、又はソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータプログラムは、ハードディスク、ＤＶＤ、ＣＤ、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。

本発明の実施の形態によれば、事前に石垣を構成する個々の石材にＩＣタグ等の貼設を行うことなく、石垣を構成するそれぞれの石材に関する情報、特に形状情報及び位置情報を管理することができ、石垣修復時等において、高い精度で原状復帰させることが可能となる。

図１は、本発明の実施の形態に係る石垣管理システムの構成を模式的に示す機能ブロック図である。本発明の実施の形態に係る石垣管理システム１は、少なくとも画像データ取得部１０、計算機処理部２０、入出力部３０、管理データ記憶部４０及び崩落石材画像データ取得部５０で構成されている。

画像データ取得部１０は、管理対象の石垣の表層面（石材の積層状態）の画像データを取得するものであり、光学デジタルカメラ等で構成されており、表層面を撮像して表層面の画像データを取得する撮像部１１、及び石垣の表層上に配置された作業用基準点の位置情報をレーザビームの照射等により計測するレーザ計測部１２を有している。

計算機処理部２０は、コンピュータ等のＣＰＵ、ＭＰＵ等の演算処理部を備えたハードウェアで構成されており、画像データ取得部１０で取得した石垣の表層面の画像データ及び作業用基準点の位置情報から、石垣の表層の画像データを正射投影変換した石垣画像データを生成する石垣画像データ処理部２１、生成した石垣画像データから、それぞれの石材の積層状態を示す石垣の石垣立面図データを生成する石垣立面図作成部２２、及び石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石材の位置情報、画像データ、及びその他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部２６を有している。

図２は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０のＣＰＵを用いた場合の構成を模式的に示すブロック図である。本発明の実施の形態に係る計算機処理部２０は、少なくともＣＰＵ（中央演算装置）２０１、メモリ２０２、記憶装置２０３、Ｉ／Ｏインタフェース２０４、撮像インタフェース２０５、可搬型外部記憶装置２０６、通信インタフェース２０７及び上述したハードウェアを接続する内部バス２０８で構成されている。

ＣＰＵ２０１は、内部バス２０８を介して計算機処理部２０の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置２０３に記憶されたコンピュータプログラム２００に従って、種々のソフトウェア的機能を実行する。メモリ２０２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム２００の実行時にロードモジュールが展開され、コンピュータプログラム２００の実行時に発生する一時的なデータ等を記憶する。

記憶装置２０３は、内蔵される固定型記憶装置（ハードディスクやＳＳＤなど）、ＲＯＭ等で構成されている。記憶装置２０３に記憶されたコンピュータプログラム２００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体２１０から、可搬型ディスクドライブ２０６によりダウンロードされ、実行時には記憶装置２０３からメモリ２０２へ展開して実行される。もちろん、通信インタフェース２０７を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。

記憶装置２０３は、後述する管理データ記憶部４０を備えていても良い。ただし、本実施の形態では、大容量のファイルサイズとなる石材管理データは、外部コンピュータあるいは外部ディスク上に構成されている。

通信インタフェース２０７は内部バス２０８に接続されており、インターネット、ＬＡＮ、ＷＡＮ、ＵＳＢ等の外部のネットワークに接続されることにより、外部コンピュータ、外部ディスク等とデータ送受信を行うことが可能となっている。

Ｉ／Ｏインタフェース２０４は、ディスプレイ３１、キーボード３２等の入出力部３０と接続され、データの入力を受け付け、ＣＲＴディスプレイ、液晶ディスプレイ等のディスプレイ３１により所定の画像を表示する。撮像インタフェース２０５は、画像データ取得部１０及び崩落石材画像データ取得部５０と接続され、所定の画像データを取得する。

図１に戻って、石垣立面図作成部２２は、石垣画像データを、画像解析による領域分割手法により複数の領域（「オブジェクト」とも呼ぶ）に分割する画像領域分割処理により個々の石材形状の領域を認識する石材領域分割部２３、分割された個々の石材形状の領域から石材形状の輪郭を示すベクトル形式のポリゴンデータである石垣立面図データを作成するポリゴンデータ作成部２４、及び作成した石垣立面図データの石材ポリゴンデータの領域それぞれについて、石垣画像データを分割し抽出することで、個々の石材を示す石材画像データを抽出する石材画像データ抽出部２５を有している。

また、石材管理データ生成部２６は、ポリゴンデータ作成部２４で作成された石垣立面図データにある個々の石材ごとに識別することが可能な識別番号を付与する識別番号付与部２７、石材の位置情報を算出する位置情報算出部２８、及び石材の識別番号をキーとして、石材画像データと、石材の位置情報と、各石材の属性情報とを対応付けた石材管理データを生成し、管理データ記憶部４０に記憶させる対応付け部２９を有している。なお、本実施の形態において、石材の位置情報は、石材画像データから抽出したポリゴン図形の重心位置を、三次元または二次元の座標情報として算出して、石材毎に一意で決まる位置情報として用いている。ただし、ポリゴン図形内の任意の地点の座標情報を石材の位置情報としても良く、また、石材ポリゴンデータ自体の座標情報をそのまま位置情報として利用しても良い。

また、計算機処理部２０は、災害等により石垣が崩壊したときに、崩落した石材の画像データ（崩落石材画像データ）を後述する崩落石材画像データ取得部５０により取得し、取得した崩落石材画像データを管理データ記憶部４０にある崩落石材ＤＢ４２に記憶させる崩落石材照合部６０を有している。

入出力部３０は、石垣画像データや石材画像データ等の画像や、石垣の石材ポリゴンデータ、および、石材管理データに記憶されている石材ＤＢ４１の情報等を表示するディスプレイ３１、及び石材管理データの一部となる石材の属性情報等を入力するためのキーボード３２で構成されている。

管理データ記憶部４０は、ハードディスク等の記憶媒体で構成されており、石材管理データを記憶する石材ＤＢ４１、崩落石材画像データおよびそれらの属性情報を記憶する崩落石材ＤＢ４２を有している。

崩落石材画像データ取得部５０は、崩落した石材の画像データである崩落石材画像データを取得するものであり、上述した画像データ取得部１０と同様の構成を有しており、崩落した石材の表面を撮像して画像データを取得する撮像部５１を有している。

図３は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の石垣管理処理の流れを示すフローチャートである。図３に示す石垣管理処理では、石垣の表層面の画像等から石垣の画像データを取得し、石垣を構成する個々の石材の情報（石材管理データ）を生成して管理する。図３に示すように、本発明の実施の形態に係る石垣管理システムの計算機処理部２０は、まず管理対象の石垣の画像データを取得するために、画像データ取得部１０の撮像部１１に画像データ取得処理を実行させ、取得した画像データを受信する（ステップＳ１００）。

計算機処理部２０は、管理対象の石垣の画像を画像データ取得部１０の撮像部１１に撮像させる。ここで、石垣及び石垣を構成する石材の表面の三次元形状を取得するために、撮像部１１は、少なくとも２以上の異なる位置から石垣の画像を取得するステレオカメラや、空中を移動しながら複数の位置から石垣の画像を取得する飛行体（例えばドローン）に搭載されたカメラ、単一のカメラを用いて撮影位置及び撮影方向の少なくとも一方を変えながら、複数の写真を隣接間で撮影範囲を重複させて撮影する方法等が用いられる。また、画像データに位置情報を付与するために、石垣の表層上の任意の地点に作業用基準点を設置し、作業用基準点が画像データ内で判読可能なように撮像を行う。併せて、計算機処理部２０は、作業用基準点に対して画像データ取得部１０のレーザ計測部１２により公共座標に基づく基準点測量を行い、計測結果を受信する。この場合の位置情報は、公共座標に基づく位置情報を使用するが、管理対象の石垣毎に所定の位置を原点とした位置情報でも良い。なお、撮像部１１で撮像された石垣の画像は、一旦管理データ記憶部４０等の記憶媒体に記憶するように構成しても良い。また、石垣の画像は、既に撮影されているものを流用しても良い。

計算機処理部２０は、石垣画像データ処理部２１において受信した、画像データ取得部１０において撮像された石垣の画像（上述したように、少なくとも２枚以上の画像）及び作業用基準点の位置情報を用いて三次元画像データを生成する。本実施例においては、ＳｆＭ（Structure/Shape from Motion）処理により、複数枚の画像からカメラの撮像位置と撮影方向を推定し、ＭＶＳ（Multi-View Stereo）処理により、推定されたカメラの撮像位置と撮影方向をもとに、画像のステレオマッチング処理により三次元形状を復元して三次元画像データを生成する。この三次元画像データは、表面形状（三次元形状）をＴＩＮ（ＴｒｉａｎｇｕｌａｔｅｄＩｒｒｅｇｕｌａｒＮｅｔｗｏｒｋ；不整三角形網）などにより近似し、各面に対して対応する画像のテクスチャを貼ったものである。

計算機処理部２０は、石垣画像データ処理部２１において、石材画像データを抽出するための画像データとして、前記三次元画像データからオルソ画像データである石垣画像データを生成する。ここで、「オルソ画像データ」とは、石垣の表層面の三次元画像データを石垣正面から水平方向に正射投影変換した画像データである。生成したオルソ画像データにより、石垣の表層面の画像データを、ゆがみのない、正しい位置に表示される画像データとすることができる。なお、三次元画像データ及びオルソ画像データ（石垣画像データ）も、一旦管理データ記憶部４０等の記憶媒体に記憶するように構成しても良い。また、オルソ画像データは、既に作成されているものを流用しても良い。

計算機処理部２０は、石垣立面図作成部２２において、石垣立面図作成処理を実行する（ステップＳ２００）。図４は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の石垣立面図作成処理の流れを示すフローチャートである。

図４に示すように、計算機処理部２０は、石垣立面図作成部２２の石材領域分割部２３において、石垣画像データ（本実施の形態では、上述したオルソ画像データ）から、画像解析による領域分割手法により石垣を構成する個々の石材の領域（オブジェクト）を生成し、その輪郭を決定する（ステップＳ２１０）。図５は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の石材領域分割部２３における画像解析による領域分割手法の実施例で、マルチスケール分割処理という手法を利用した場合の流れを示すフローチャートである。

図５に示すように、計算機処理部２０は、石垣画像データをディスプレイ３１に表示させ、キーボード３２等からの入力に基づいて石垣画像データの色調及び明度の調整を行う（ステップＳ２１２）。計算機処理部２０は、調整された石垣画像データに基づいて、マルチスケール分割処理および後述する輪郭追跡処理に用いられる設定パラメータの値を決定し、設定パラメータの初期値としての設定入力を受け付ける（ステップＳ２１４）。石垣を構成する石材の大きさや色については、石垣ごとに特徴があるため、石垣ごとに設定パラメータを設定することにより、輪郭追跡処理による輪郭決定の精度を向上させることができる。

計算機処理部２０は、マルチスケール分割処理のための処理パラメータの更新を行う（ステップＳ２１６）。計算機処理部２０は、石材領域分割部２３において、画像データの画素の各々を領域（１画素が１つの領域）として処理を開始し、隣接する２つの領域が所定の条件を満たす場合に領域を併合する。画像データの全ての領域に対して併合の判断が行われると、再度、隣接する２つの領域の併合の処理を行い、繰り返し処理を実行することにより、特徴量（色のバラツキ）が似ている領域が併合され、石材ごとの領域を抽出することができる。ここで、２つの領域を併合するか否かを決定するパラメータをスケールパラメータ（scale parameter）ＳＰと呼び、併合の処理を繰り返す都度、スケールパラメータＳＰが加算される。計算機処理部２０は、スケールパラメータＳＰの上限値を定めておき、スケールパラメータＳＰが上限値に到達したか否かを判断する（ステップＳ２１８）。

なお、処理パラメータには、スケールパラメータＳＰの他に、スペクトル基準Ｆ_colorの重みｗ_color、形状基準Ｆ_shapeの重みｗ_shape、ｃｏｍｐａｃｔｎｅｓｓ基準ｆ_cmpctの重みｗ_cmpct、ｓｍｏｏｔｈｎｅｓｓ基準ｆ_smthの重みｗ_smth、及び併合された領域の面積の規定値（生成領域の面積の上限値）が含まれる。

計算機処理部２０が、スケールパラメータＳＰが上限値に到達していないと判断した場合（ステップＳ２１８：ＮＯ）、計算機処理部２０は、画像データから隣接する２領域を取り出し（ステップＳ２２０）、このステップＳ２２０で取り出すことができる２領域が残っているか否か、すなわちステップＳ２２０で全ての２領域の取り出しが完了したか否かを判断する（ステップＳ２２２）。計算機処理部２０が、全ての２領域の取り出しが完了したと判断した場合（ステップＳ２２２：ＹＥＳ）、計算機処理部２０は、処理をステップＳ２１６へ戻して上述した処理を繰り返す。

計算機処理部２０が、まだ全ての２領域の取り出しが完了していないと判断した場合（ステップＳ２２２：ＮＯ）、計算機処理部２０は、ステップＳ２２０で取り出した隣接する２領域を併合したときの面積（併合面積）が規定値以下であるか否かを判断する（ステップＳ２２４）。なお、隣接する２領域の併合面積の既定値（生成領域の面積の上限値）の単位は、画素数又は実寸法を用いることができる（実寸法を用いるときは、画像データの１画素当りの辺の長さ（１画素の解像度であって、例えば１ｃｍ／画素）が指定される）。また、隣接する２領域の併合面積の既定値（生成領域の面積の上限値）としては、管理対象の石垣を構成する石材の大きさの想定しうる上限値が設定される。このように、隣接する２領域が併合された場合の生成領域の面積の上限値を設けることにより、色が類似しているような石材が隣接しているときに、これらの石材の領域が１つの石材の領域として併合されることを防ぐことができる。

計算機処理部２０が、併合面積が規定値より大きいと判断した場合（ステップＳ２２４：ＮＯ）、計算機処理部２０は、処理をステップＳ２２０へ戻して上述した処理を繰り返す。計算機処理部２０が、併合面積が規定値以下であると判断した場合（ステップＳ２２４：ＹＥＳ）、計算機処理部２０は、隣接する２領域の評価値Ｆを算出して評価を行う（ステップＳ２２６）。

図６は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０のマルチスケール分割処理における、隣接する２領域の併合処理を示す説明図である。図６に示すように、隣接する２領域の一方を領域ｐとし、他方を領域ｑとし、領域ｐと領域ｑとが併合されたときの併合領域を領域ｒとする。評価値Ｆは、隣接する２領域の併合の前後における異質性の変化を示しており、式（１）として表される。

式（１）において、スペクトル基準Ｆ_colorはスペクトルの異質性の変化を示し、形状基準Ｆ_shapeは形状の異質性の変化を示している。また、スペクトルの異質性の変化であるスペクトル基準Ｆ_colorは、領域を構成する画素の各バンドにおける標準偏差値を用いて、式（２）として表される。なお、添え字ｐ，ｑは、図７に示す併合対象の２領域を示し、ｒは併合後の領域を示している。また、ｎは領域を構成する画素数を示し、σ_iとｗ_iはｉ番目のバンド、例えば、カラー画像の場合はＲ、Ｇ、Ｂの３バンドにおける標準偏差値とその重みを示し、Ｎはバンド数を示している。

また、形状の異質性の変化である形状基準Ｆ_shapeは、領域の形状を規定するｃｏｍｐａｃｔｎｅｓｓ基準ｆ_cmpct及びｓｍｏｏｔｈｎｅｓｓ基準ｆ_smthを用いて、式（３）として表される。

ここで、ｃｏｍｐａｃｔｎｅｓｓ基準ｆ_cmpctはｃｏｍｐａｃｔｎｅｓｓの異質性の変化を示し、ｓｍｏｏｔｈｎｅｓｓ基準ｆ_smthはｓｍｏｏｔｈｎｅｓｓの異質性の変化を示している。そして、ｃｏｍｐａｃｔｎｅｓｓ基準ｆ_cmpctは、領域の周囲長と画素数から式（４）として表され（面積が等しい場合には周囲長がより短くなる領域の生成が望ましい結果となる）、ｓｍｏｏｔｈｎｅｓｓ基準ｆ_smthは、領域の周囲長と領域の存在範囲の短辺長を用いて式（５）として表される（存在範囲に対して周囲長がなるべく短くなるような領域の生成を理想的であるとみなす）。なお、ｎは領域を構成する画素数を示し、ｌは領域の周囲長を示し、ｄは領域を内包する境界ボックスの短辺長を示す。なお、ｄには領域を内包する境界ボックスの短辺長に替えて、境界ボックスの長辺長や境界ボックスの対角線長を用いることもできる。

図５に戻って、上述した処理によって隣接する２領域の評価値Ｆが式（１）により算出されると、計算機処理部２０は、算出された評価値Ｆが既定値以下であるか否かを判断する（ステップＳ２２８）。計算機処理部２０が、評価値Ｆが既定値より大きいと判断した場合（ステップＳ２２８：ＮＯ）、計算機処理部２０は、処理をステップＳ２２０へ戻して上述した処理を繰り返す。

計算機処理部２０が、評価値Ｆが既定値以下であると判断した場合（ステップＳ２２８：ＹＥＳ）、計算機処理部２０は、隣接する２領域を併合して（ステップＳ２３０）、処理をステップＳ２２０へ戻す。本実施の形態では、式（１）による評価値ＦがスケールパラメータＳＰの２乗を超えない場合に併合処理が適用される。

すなわち、評価値Ｆが既定値（スケールパラメータＳＰの２乗）以内である場合には、隣接する２領域が併合され、隣接する２領域の併合面積が既定値より大きい場合、及び評価値Ｆが既定値より大きい場合には、隣接する２領域は併合されない。

計算機処理部２０が、スケールパラメータＳＰが上限値に到達したと判断した場合（ステップＳ２１８：ＹＥＳ）、計算機処理部２０は、輪郭追跡処理を実行する（ステップＳ２３２）。具体的には、上述したマルチスケール分割処理で決定された領域の各々の輪郭線を検出する。

計算機処理部２０は、管理対象の石垣の画像データに、検出された輪郭線を重ね合わせてディスプレイ３１に表示し、最終輪郭追跡データ編集の入力を受け付ける（ステップＳ２３４）。ここで、最終輪郭追跡データ編集とは、ステップＳ２３２で検出された輪郭線に誤りがある場合（輪郭線が石垣の形状と合致していない場合や、一つの石垣が複数の分割された領域の輪郭線として検出されている場合、および、複数の石垣が一つの領域の輪郭線として検出されている場合など）に、ディスプレイ３１に表示された輪郭線を、キーボード３２等により、人的に追加又は削除の入力を受け付ける処理である。

計算機処理部２０は、マルチスケール分割処理の結果を確定させる確定入力を受け付けたか否かを判断する（ステップＳ２３６）。計算機処理部２０が、確定入力を受け付けていないと判断した場合（ステップＳ２３６：ＮＯ）、計算機処理部２０は、キーボード３２等から上述した設定パラメータの変更入力を受け付け（ステップＳ２３８）、処理をステップＳ２１６へ戻して上述した処理を繰り返す。

計算機処理部２０が、確定入力を受け付けたと判断した場合（ステップＳ２３６：ＹＥＳ）、計算機処理部２０は、輪郭スムージング処理を実行することにより輪郭線をより滑らかな状態にし（ステップＳ２４０）、マルチスケール分割処理（ステップＳ２１０）を終了して、図４のステップＳ２５０へ進む。なお、以上の処理により分割されたそれぞれの領域が、個々の石材の形状となる。

図４に戻って、計算機処理部２０は、石垣立面図作成部２２のポリゴンデータ作成部２４において、石材領域分割部２３により分割された領域（石垣を構成する個々の石材の形状）ごとに、石材の輪郭を示す石材ポリゴンデータを抽出することで、石垣立面図データを作成する（ステップＳ２５０）。なお、石垣立面図データも、一旦管理データ記憶部４０等の記憶媒体に記憶するように構成しても良い。また、本実施例で使用する石垣立面図データは、画像認識により自動生成されたものでなくとも、図化機等により作成されたもの、石垣写真からデジタイジングしたもの、その他各種製法等により作成された石垣立面図データを流用しても良い。

図３に戻って、計算機処理部２０は、石垣立面図作成部２２の石材画像データ抽出部２５において、作成した石垣立面図データの石材ポリゴンデータの領域それぞれについて、その領域の範囲で石垣画像データを分割し抽出することで、個々の石材を示す石材画像データを抽出する（ステップＳ３００）。全ての石材ポリゴンデータに対して石材画像データの抽出が完了した時点で、計算機処理部２０は、処理をステップＳ４００へ進める。

計算機処理部２０は、石材管理データ生成部２６において、管理対象の石垣を構成する石材ごとに、石材管理データが生成される石材管理データ生成処理を実行する（ステップＳ４００）。図７は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の石材管理データ生成処理の流れを示すフローチャートである。

図７に示すように、計算機処理部２０は、石材管理データ生成部２６の識別番号付与部２７において、石垣立面図作成部２２のポリゴンデータ作成部２４において作成された石垣立面図データを使って、領域分割された全ての石材ポリゴンデータに対し、石材（又は石材画像データ）を管理対象の石垣において一意に特定することができる識別番号を付与する（ステップＳ４１０）。

計算機処理部２０は、石材管理データ生成部２６の位置情報算出部２８において、石材の位置情報として石垣立面図データの各石材ポリゴンデータの重心位置を三次元または二次元の座標情報として算出し（ステップＳ４２０）、石材管理データ生成部２６の対応付け部２９において、石材ごとに識別番号と位置情報とを対応付ける（ステップＳ４３０）。なお、石材の位置情報は、ポリゴン図形内であれば任意地点の座標情報で良く、また、石材ポリゴンデータ自体の座標情報をそのまま位置情報として利用しても良い。

図３に戻って、計算機処理部２０は、生成された石材管理データを、管理データ記憶部４０の石材ＤＢ４１に記憶する（ステップＳ５００）。このとき、石材画像データも識別番号と対応付けて石材ＤＢ４１に記憶される。

図８は、本発明の実施の形態に係る石垣管理システムの石材ＤＢのデータ構造を示す説明図である。図８に示すように、本実施の形態に係る石材ＤＢ４１は、石垣番号４１ａ、識別番号４１ｂ、その他属性４１ｃ、位置情報４１ｄ、及び石材画像データ４１ｅを一つの石材に対する石材管理データとして記憶するように構成されている。ここで、石垣番号４１ａは、管理対象の石垣を特定する識別番号であり、また、その他属性４１ｃとしては、例示として、面縦長、面横長、重量、石質、加工状況、配置位置等を記憶可能に構成されている。

図９は、本発明の実施の形態に係る石垣管理システムの石垣の表層面の画像データに石垣立面図データと位置情報とを重ね合わせて表示した場合の説明図である。

図９（ａ）に示すように、石垣全体において、石材１つ１つについて、石材画像データの輪郭である石材ポリゴンデータと重心位置とが重ね合わせて表示されている。すなわち、図９（ｂ）の一部拡大図でわかるように、個々の数字は識別番号を示しており、黒丸印がそれぞれの石材の重心位置を示している。なお、石材ＤＢ４１は、石垣立面図データ（石材画像データの輪郭である石材ポリゴンデータ）と識別番号により対応づけられているため、現在識別番号を表示している場所に、石材ＤＢにおいて管理されているその他属性情報の数値等を表示するように構成しても良い。また、その他属性情報の数値等に従って、ランキング表現や個別値分類により、石垣立面図データの石材ポリゴンデータの形状を色分け表現して表示するように構成しても良い。

次に、石材管理データとして石材ＤＢ４１で個々の石材を管理している石垣が、災害等により崩壊した場合の処理について説明する。まず、計算機処理部２０は、崩落した石材の画像データ（崩落石材画像データ）を崩落石材画像データ取得部５０に取得させ、崩落石材照合部６０において、崩落石材画像データを石材ＤＢ４１の石材管理データ内にある石材画像データと照合する崩落石材照合処理を実行する。崩落石材照合処理により、崩落した石材に類似する石材ＤＢ内の石材の情報を抽出することが可能となり、崩落した石材の位置情報やその他属性情報等を取得できる。

まず、崩落石材画像データ取得部５０は、光学カメラにより構成されており、崩落した石垣の石材の表面を撮影し、崩落石材画像データを取得する。崩落石材画像データを取得したら、順番に崩落した石材を識別する識別番号（崩落石材管理番号）を付番し、崩落石材画像データとともに崩落石材ＤＢ４２に記憶されていくものとする。また、崩落石材ＤＢ４２には、崩落石材画像データだけでなく、例えば、面縦長、面横長、重量、石質、加工状況等の属性情報や、その石材が落下していた場所や、仮置き場での仮置きされている場所の位置情報等を合わせて管理することも可能である。

図１０は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の崩落石材照合処理の流れを示すフローチャートである。図１０に示すように、計算機処理部２０は、崩落石材照合部６０において、崩落石材ＤＢ４２から何れか一つの崩落石材画像データを読み込む（ステップＳ６００）。そして、読み込まれた崩落石材画像データを、石材ＤＢ４１で管理されている石材画像データ（図８の石材画像データ４１ｅのカラムに記憶されている石材画像データ）と照合する石材画像データ照合処理を実行する（ステップＳ６１０）。

具体的には、計算機処理部２０は、石材ＤＢ４１に記憶されている石材管理データごとに、崩落石材画像データと石材画像データとの特徴点を抽出し、抽出した特徴点に基づいて類似度合いを算出し、類似度合いが高い順に、所定の個数の石材の識別番号を抽出する。ここで、崩落石材画像データ及び石材画像データの特徴点とは、画像データの中のコーナーやエッジ等、隣接する領域と何らかの変化がある点である。照合対象となる石垣の画像データ（崩落石材画像データ及び石材画像データ）は、それぞれの画像データの取得状態（撮影機器（カメラ）や撮影条件（照明、撮影角度）、画像の解像度等）が異なっている。そのため、画像の解像度（スケール）や、回転、明るさの変動に対して頑健な特徴点抽出演算子を用いる必要がある。代表的な特徴点抽出演算子としては、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＦＡＳＴ（Features from Accelerated Segment Test）等が挙げられる。さらに、真正面から撮影することが困難である場合に、被写体の形状が変形して撮像されている場合であっても良好な照合を行うために、例えば、Ａｆｆｉｎｅ－ＳＩＦＴ（ＳＩＦＴの改良手法）を用いることもできる。

図１１は、本発明の実施の形態に係る石垣管理システムの計算機処理部２０の石材画像データ照合処理の流れを示すフローチャートである。図１１に示すように、計算機処理部２０は、ステップＳ６００で読み込まれた崩落石材画像データの特徴点を抽出する（ステップＳ６１１）。

計算機処理部２０は、石材画像ＤＢ４１から何れか一つの石材画像データを読み込む（ステップＳ６１２）。また、計算機処理部２０は、ステップＳ６１２で読み込んだ石材画像データの特徴点を抽出する（ステップＳ６１３）。なお、石材ＤＢ４１に記憶されている石材画像データに対しては、予め特徴点を抽出しておき、石材ＤＢ４１に識別番号と対応付けて記憶しておき、ステップＳ６１２において石材画像データとともに当該石材画像データの特徴点を読み込むように構成しても良い。

計算機処理部２０は、崩落石材画像データの特徴点毎に、当該特徴点と最も特徴量が一致する石材画像データの特徴点のペア（マッチング点、対応点とも称する）を算出する（ステップＳ６１４）。計算機処理部２０は、ステップＳ６１３で算出された特徴点のペアに基づいて、特徴点の類似度の評価を行う（ステップＳ６１５）。石垣の表面がほぼ平面であると仮定すれば、理想的にはマッチングされた点（特徴点のペア）は、平面から平面への射影変換によって座標の投影変換が行われる。射影変換は、４点以上の対応点（マッチング点のそれぞれの画像座標）を与えることによって、変換係数（射影変換係数）を算出することができる（４点を超える場合には最小二乗法によって算出する）。

計算機処理部２０は、ステップＳ６１４で算出された特徴点のペア（マッチング点）に対して外れ値の除外を行う（ステップＳ６１６）。一般にマッチング点には誤対応（ミスマッチング）が含まれている。そのため、射影変換係数を決定するためにＲＡＮＳＡＣ（Random sample consensus）と称される手法を適用して外れ値の除外を行う。具体的には、射影変換係数を決定するために、マッチング点の中からＭ（≧４）点をランダムにサンプリングし、それによって射影変換係数を算出する。そして、射影変換係数の算出に用いられなかったマッチング点（ここではＰｉとＱｉとする）に対し、算出された射影変換係数によりＰｉを座標変換し（ここでは座標変換後の点をＲｉとする）、ＱｉとＲｉとの距離の差が既定値以内あるマッチング点の点数Ｎをカウントする。このような試行を一定回数行い、Ｎが最大になったときの試行時におけるＮの値（これをＮｍａｘとする）を更新・記憶する。その後、Ｎｍａｘとなった時の試行において、変換後の距離の差が許容値以内となった全てのマッチング点を使用して、再度最終的な射影変換係数を算出する。なお、試行の回数は、予め指定しても良いし、マッチング点の数及び信頼度（例えば９５％）を用いて、統計的に決定することもできる。

計算機処理部２０は、石材画像ＤＢ４１に記憶されている全ての石材画像データの特徴点を照合したか否かを判断する（ステップＳ６１７）。計算機処理部２０が、まだ特徴点を照合していない石材画像データが存在すると判断した場合（ステップＳ６１７：ＮＯ）、計算機処理部２０は、処理をステップＳ６１２に戻して、上述した処理を繰り返す。計算機処理部２０が、全ての石材画像データの特徴点を照合したと判断した場合（ステップＳ６１７：ＹＥＳ）、計算機処理部２０は、石材画像データ照合処理を終了する。

図１０に戻って、計算機処理部２０は、崩落した石材の識別番号（崩落石材管理番号）及び崩落石材画像データに照合結果（類似度が高い石材画像データの識別番号）を対応付けて、崩落石材照合結果ＤＢ４３を更新する（ステップＳ６２０）。具体的には、ステップＳ６１６で算出されたＮｍａｘの多い順（類似度順）に所定の個数の石材画像データの識別番号を抽出して、崩落石材照合結果ＤＢ４３を更新する。

計算機処理部２０は、崩落石材画像ＤＢ４２に記憶されている全ての崩落石材画像データを照合したか否かを判断する（ステップＳ６３０）。

計算機処理部２０が、まだ照合していない崩落石材画像データが存在すると判断した場合（ステップＳ６３０：ＮＯ）、計算機処理部２０は、処理をステップＳ６００へ戻して、上述した処理を繰り返す。計算機処理部２０が、全ての崩落石材画像データを照合したと判断した場合（ステップＳ６３０：ＹＥＳ）、計算機処理部２０は、照合結果（崩落石材照合結果ＤＢ４３の内容）をディスプレイ３１等に出力し（ステップＳ６４０）、崩落石材照合処理を終了する。

なお、崩落石材画像データと照合する石材画像データ（石材ＤＢ４１に記憶されている石材画像データ）の候補を削減するために、崩落した石材の崩落位置の付近に該当する石材画像データのみを照合対象とすることができる。石材ＤＢ４１には、石材画像データとともに当該石材の石垣内における位置情報が記憶されているため、崩落した石材と関連し得る位置的範囲にある石材画像データのみを照合の対象とすることができる。これにより、照合すべき石材画像データの数を減らしたり、照合のミスを低減させたりすることができる。

また、上述した石材画像データ照合処理Ｓ６１０において画像の射影変換を行うことにより、崩落石材画像データの撮影において多少の傾きがあっても、画像をほぼ同じ向きに変換（変形）させることができる。また、石材画像データ照合処理Ｓ６１０に対して、特徴点ベースではなく、例えば、射影変換によって投影変換された画像と石材画像データ画像間の正規化相互相関係数等による類似度判定を追加して適用することにより、画像の照合ミスをさらに抑制することが可能となる。

図１２は、本発明の実施の形態に係る石垣管理システムの崩落石材照合結果ＤＢ４３のデータ構造を示す説明図である。図１２に示すように、崩落石材照合結果ＤＢ４３は、崩落石材管理番号４３ａ、崩落石材画像データ４３ｂ、類似石材番号４３ｃ（本実施の形態では、類似度合いの高い順に４つの石材の識別番号を抽出した場合を示している）、及びその他属性情報４３ｄから構成される。なお、崩落石材画像データに類似する石材画像データは４つに限定されることはない。また、その他属性情報４３ｄには、例えば照合結果を確認した作業者が、照合結果に対するコメント等をキーボード３２等から入力することにより記憶させることもできる。

以上のように、本実施の形態に係る石垣管理システム１によれば、石垣の表層面を撮像して画像データ（例えば、オルソ画像データ）を生成することにより、生成された画像データに基づいて石垣を構成する個々の石材の情報（属性情報や石材画像データ等）を、識別番号や位置情報とともに、石材ＤＢ４１で管理することができる。また、石垣の画像データから個々の石材の画像データ（石材画像データ）を自動抽出することができるため、石垣の石垣カルテの作成を支援することができる。

また、災害等により石垣が崩壊した場合に、崩落した石材の画像データ（崩落石材画像データ）と石材ＤＢ４１の石材管理データ（石材画像データ）とを照合することにより、崩落した石材の石垣における位置情報を特定することができるので、石垣の修復時において、原状復帰を容易に行うことができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。

１石垣管理システム
１０画像データ取得部
１１撮像部
２０計算機処理部
２２石垣立面図作成部
２６石材管理データ生成部
３０入出力部
４０管理データ記憶部
５０崩落石材画像データ取得部
６０崩落石材照合部

Claims

複数の石材を積層してなる石垣のそれぞれの石材を管理する石垣管理システムにおいて、
前記石垣を撮像した石垣画像データを取得する石垣画像データ取得部と、
取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成部と、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出部と、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成部と、
生成した石材管理データを記憶する管理データ記憶部と
を備えることを特徴とする石垣管理システム。
前記画像データ取得部は、前記石垣の表面の三次元形状を含む三次元画像データを取得することを特徴とする請求項１に記載の石垣管理システム。
前記石垣立面図作成部は、前記石垣画像データを、画像解析による領域分割手法により複数の領域に分割し、それぞれの石材の積層状況を表現した前記石垣立面図データを作成することを特徴とする請求項１乃至２のいずれか一項に記載の石垣管理システム。
前記石材管理データ生成部は、前記石垣立面図データより、それぞれの石材の領域図形の内の任意の地点を代表地点とし、当該石材の位置情報とすることを特徴とする請求項１乃至３のいずれか一項に記載の石垣管理システム。
前記石垣より石材が崩落した際に、崩落した石材を撮像した崩落石材画像データを取得し、崩落した石材のそれぞれを識別することが可能な識別番号である崩落石材管理番号を付与した上で記録する崩落石材画像データ取得部と、
取得した崩落石材画像データと前記石材画像データとを画像解析手法により照合することで、当該崩落した石材が、石材管理データ内のどの石材と合致するかを判定し、石材管理データより当該石材の石垣内の位置情報やその他属性情報を取得する崩落石材照合部と
を備え、
前記管理データ記憶部は、前記崩落石材照合部における照合結果を前記石材管理データとして記憶することを特徴とする請求項１乃至４のいずれか一項に記載の石垣管理システム。
複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能な石垣管理方法において、
前記コンピュータは、
前記石垣を撮像した石垣画像データを取得する工程と、
取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する工程と、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する工程と、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する工程と、
生成した石材管理データを記憶する工程と
を含むことを特徴とする石垣管理方法。
複数の石材を積層してなる石垣のそれぞれの石材を管理するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
前記石垣を撮像した石垣画像データを取得する石垣画像データ取得手段、
取得した石垣画像データから、それぞれの石材の領域を示す前記石垣の石垣立面図データを作成する石垣立面図作成手段、
作成した石垣立面図データの石材の領域それぞれについて、前記石垣画像データを分割することで、それぞれの石材を示す石材画像データを抽出する石材画像データ抽出手段、
前記石材それぞれに対して、識別することが可能な識別番号を付与し、識別番号毎に、前記石垣立面図データ上の前記石材の位置を表す位置情報、前記石材の画像データ、および、その他属性情報を含めて対応付けた石材管理データを生成する石材管理データ生成手段、及び
生成した石材管理データを記憶する管理データ記憶手段
として機能させることを特徴とするコンピュータプログラム。