以下に図面を参照しながら本発明の実施形態について説明する。
[実施形態1]
(概要)
制御盤の改修作業を行う際に制御盤のスイッチのON/OFF等の意図しない些細な変更が事故や損害に繋がる可能性があるので、改修作業後の制御盤の変更点が妥当であるかの確認の重要性が高まっている。
図1に例示された本実施形態の盤変更点検出システム1は、改修作業前後の制御盤の画像に基づき当該制御盤の変更点を簡単且つ高精度に把握する。
(盤変更点検出システム1の態様例)
盤変更点検出システム1は、撮影装置20,入力装置30,画像データ記憶装置40,変更点検出装置00及び表示装置50を有する。
撮影装置20、入力装置30、画像データ記憶装置40、変更点検出装置00及び表示装置50は、コンピュータのハードウェア資源とソフトウェア資源との協働により盤変更点検出システム1に実装される。
撮影装置20は、改修作業前後の制御盤の写真を撮影する。撮影装置20としては、一般的なディジタルカメラ21が適用される。ディジタルカメラ21は、例えば、盤変更点検出システム1がスマートフォン、タブレット、ノートパソコン等のスマート端末に実装される場合、当該スマート端末に内蔵される。
入力装置30は、前記撮影により得られた制御盤の画像に対する盤前面角の指定をユーザー(例えば、制御盤の管理者)の入力操作により受け付ける。入力装置30は入力部31を介して前記指定を明示的に受け付ける。入力部31としては、例えば、盤変更点検出システム1が前記スマート端末に実装される場合、当該スマート端末のディスプレイに表示された状態で入力デバイスやタッチ操作により前記指定を受け付けるユーザーインターフェースの態様が挙げられる。
画像データ記憶装置40は、前記制御盤の撮影により得られた画像データを記憶する。
変更点検出装置00は、前記画像データを処理して被撮影盤の変更点を検出する。
表示装置50は、表示部500を介して被撮影盤の変更点検出結果を表示する。表示部500としては、例えば、前記スマート端末のディスプレイが挙げられる。
尚、盤変更点検出システム1は、前記スマート端末のハードウェア資源とソフトウェア資源との協働により、撮影装置20、入力装置30、画像データ記憶装置40、変更点検出装置00、表示装置50を単一の機器で構成することも可能である。
(変更点検出装置00の構成例と動作例)
図1に示されたように、変更点検出装置00は、盤前面特定部000,010と射影変換部001,011と差分検出部020を備える。
盤前面特定部000は、制御盤の改修の作業前の盤前面の撮影により得られた作業前盤画像の画像データ100を画像データ記憶装置40のデータ記憶部400から受け取り、この画像データ100から当該盤前面の輪郭を特定して盤前面画像101を抽出する。
盤前面特定部010は、前記改修の作業後の盤前面の撮影により得られた作業後盤画像の画像データ110を画像データ記憶装置40のデータ記憶部401を受け取り、この画像データ110から当該盤前面の輪郭を特定して盤前面画像111を抽出する。
射影変換部001は、盤前面画像101を盤前面の角の座標に基づく射影変換により射影変換結果画像102に変換する。
射影変換部011は、盤前面画像111を盤前面の角の座標に基づく射影変換により射影変換結果画像112に変換する。
差分検出部020は、前記作業前の射影変換結果画像102と前記作業後の射影変換結果画像112を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像120を生成する。
図2,3を参照して変更点検出装置00による画像データ処理の流れを説明する。
先ず、制御盤の改修作業前に変更点検出対象の制御盤の撮影が行われ、撮影装置20により画像データ100が得られる。入力装置30のユーザーの操作により画像データ100に対して盤前面角座標群C101が指定される。画像データ100及び盤前面角座標群C101が盤前面特定部000に入力されると盤前面画像101が得られる。盤前面画像101及び盤前面角座標群C101は射影変換部001により射影変換結果画像102に変換される。射影変換結果画像102は差分検出部020に入力される。
以上のように、前記入力された画像データが前記制御盤の正面から撮影された画像に変換される。上述の盤前面特定処理と射影変換処理は、以下に述べるように、同じ撮影対象に対して撮影場所および撮影時期の異なる画像データに対して行われる。
次いで、制御盤の改修作業後に当該制御盤の撮影が再度行われ、撮影装置20により画像データ110が得られる。先と同様に、ユーザーによる入力装置30の操作により画像データ110に対して盤前面角座標群C111が指定される。画像データ110及び盤前面角座標群C111は盤前面特定部010に入力され、盤前面画像111が得られる。盤前面画像111及び盤前面角座標群C111は射影変換部011により射影変換結果画像112に変換される。この射影変換結果画像112は差分検出部020に入力される。
そして、差分検出部020は各画像データに対して得られた射影変換後の画像データを比較することにより、変更点検出を行い、変更点検出結果画像を得る。すなわち、差分検出部020は、射影変換結果画像102と射影変換結果画像112とを比較して異なる箇所を検出し、射影変換結果画像112上に変更点を着色して変更点検出結果画像120を得る。
以上の処理により、撮影対象物に対して撮影を行うカメラの位置が異なる2枚の画像であったとしても、その変更点を検出できる。
(盤前面特定部000,010の動作例)
図4を参照しながら盤前面特定部000,010の具体的な動作例について説明する。
本実施形態の盤前面特定部000,010は以下の盤前面特定過程を実行する。
S101:ユーザーにより操作された入力装置30から受けた指示により入力画像(盤の画像)に対する盤前面角を指定する。
S102:前記指定された盤前面角の座標を認識する。
本過程では、盤前面特定部000が、画像データ100中の盤前面角がユーザーの入力装置30からの明示的な指定により、盤前面角座標群C101を得る。
一方、盤前面特定部010は、画像データ110中の盤前面角がユーザーの入力装置30からの明示的な指定により、盤前面角座標群C111を得る。
S103:前記指定した角を線で繋ぎ、盤前面の輪郭線を描画する。
本過程では、盤前面特定部000の輪郭線描画機能200が、前記指定された盤の角を線で結ぶことにより盤前面輪郭線L100を描画する。
一方、盤前面特定部010の輪郭線描画機能200は、前記指定された盤の角を線で結ぶことにより盤前面輪郭線L110を描画する。
S104:前記盤前面の輪郭線で囲まれた部分の画像を切り取る。
本過程では、盤前面特定部000の画像抽出機能201が、前記入力された画像のうち盤前面輪郭線L100で囲まれた部分のみ画像を抽出して盤前面画像101を作成する。一方、盤前面特定部010の画像抽出機能201は、前記入力された画像のうち盤前面輪郭線L110で囲まれた部分のみ画像を抽出して盤前面画像111を作成する。
S105:前記切り取った盤前面の画像と前記盤前面の角座標を射影変換部001,011に入力する。
本過程では、盤前面画像101及び盤前面角座標群C101が射影変換部001に入力される。一方、盤前面画像111及び盤前面角座標群C111が射影変換部011に入力される。
S106:以上のS101~S105の処理を前記作業前後の各画像に対して行う。
(射影変換部001,011の動作例)
図2を参照しながら射影変換部001,011の具体的な動作例について説明する。
射影変換部001,011は以下の射影変換過程を実行する。
S111:盤前面特定部000,010から盤前面画像と盤前面角座標を受け取る。
本過程では、射影変換部001が盤前面特定部000から盤前面画像101及び盤前面角座標群C101を受け取る。
一方、射影変換部011は盤前面特定部010からの盤前面画像111及び盤前面角座標群C111を受け取る。
S112:盤前面画像を、盤の正面から撮影した画像に射影変換する。
本過程では、射影変換部001は、盤前面角座標群C101に基づく射影変換に準ずる一般的な手法により、盤前面画像101を盤の正面から撮影された画像に変換し、射影変換結果画像102を得る。
一方、射影変換部011は、盤前面角座標群C111に基づく射影変換に準ずる一般的な手法により、盤前面画像111を盤の正面から撮影された画像に変換し、射影変換結果画像112を得る。
S113:射影変換結果を差分検出部020に入力する。
本過程では、射影変換結果画像102及び射影変換結果画像112が差分検出部020に入力される。
S114:上記を前記作業前,作業後の各画像(盤前面画像101,111)に対して行う。
図示の事例では、射影変換結果画像102または射影変換結果画像112の画像形式、画像サイズ、画像解像度、射影変換結果画像中に描画される盤前面の面積および画像中の盤前面の位置は、入力される盤前面画像によらず一定とする。
(差分検出部020の動作例)
図5を参照しながら差分検出部020の具体的な動作例について説明する。
差分検出部020の処理は以下の差分検出過程を実行する。
S121:前記作業前,作業後の射影変換結果画像102,112を受け取る。
本過程では、射影変換部001から、前記作業前の射影変換結果画像102を受け取る。また、射影変換部011から、前記作業後の射影変換結果画像112を受け取る。
S122:各画像をメッシュ状に切り分けて細分化し、各細分化画像の座標を記憶する。
本過程では、差分検出部020の画像細分化機能300は、先ず、射影変換部001から得られた射影変換結果画像102を細分化し、細分化画像群103と射影変換結果画像102中の各細分化画像の座標群C103を得る。
一方で、差分検出部020の画像細分化機能301は、先ず、射影変換部011から得られた射影変換結果画像112を細分化し、細分化画像群113と射影変換結果画像112中の各細分化画像の座標群C113を得る。
この時、細分化画像群103及び細分化画像群113中の全ての細分化画像は同サイズかつ同解像度とする。
S123:同座標の細分化画像において、一画素ずつRGB色空間で比較する。
本過程では、差分検出部020の細分化画像比較機能302が、同座標における細分化画像を画素単位で比較し、事前に変更点検出装置00に設定された画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。
S124:RGB閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録する。
本過程で、画素単位の比較にはRGB色空間を参照する。細分化画像群103及び細分化画像群113における同座標の細分化画像中の各画素に対して、事前に変更点検出装置00に設定したRGB閾値群S2以上の差異がある場合、その画素は変更があったものとして認識する。RGB閾値群S2はR(レッド)、G(グリーン)、B(ブルー)に対して各RGB値の差の閾値S2R、S2G、S2Bを持つ。細分化画像群113の細分化画像中の各画素のRGB値が、これと同座標の細分化画像群103の細分化画像中の各画素のRGB値に対して一つでも±S2R、±S2G、±S2Bの範囲外であれば、その画素には変更があったものとみなす。
各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。
また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、図6に例示されたように、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。
S125:上記の処理を全ての細分化画像に対して行う。
本過程では、上記比較処理を繰り返し、細分化画像群103及び細分化画像群113の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群C120として記録する。
S126:前記作業後の射影変換結果画像112に、差異のある細分化画像の部分のみ着色して出力する。
本過程では、射影変換結果画像112に対して、変更点座標群C120の各座標に細分化画像と同サイズの領域を着色する。これにより変更点検出結果画像120を得る。
(実施形態1の効果)
特許文献1のような従来技術は、三次元形状復元技術を用いて変更点検出を行う手法であった。しかし、一般に盤は特徴点が少なく、三次元形状復元を実施した際の精度が低い。本文献に記載された技術を盤に使用すると、三次元形状復元の際に盤上の特徴点を捉えることができず三次元形状復元を行えないか、または盤の三次元形状復元を行えたとしてもその精度が低く、変更していない箇所を変更点として認識してしまう場合がある。
また、特許文献2のような従来技術は、撮影対象にARマーカーを取り付け被撮影物の変化点を検出する手法であった。盤に対して後付でARマーカーを取り付ける場合、盤の改造や補修の作業中にARマーカーの位置や向きが変化する可能性がある。その場合、ARマーカーの位置を基準とした盤上のスイッチやランプといった構成部品の位置が全て移動した状態として認識されることとなり、変更点を検出できなくなる。また、盤の改造や補修の作業中にARマーカーが移動しなかったとしても、制御盤のような大きさの物に対して小さなARマーカーを設置して位置関係を認識するのは、一般に精度が悪く、その結果、変更していない箇所を変更点として認識してしまう場合がある。
これに対して、本実施形態の盤変更点検出システム1は、盤前面特定部000,010により盤前面を認識し、射影変換部001,011により盤前面を正面から撮影した画像を生成し、差分検出部020により盤前面の変更点がRGB値差で判断される。つまり、前記作業前後の盤前面画像を比較する際、盤前面上の特徴点やARマーカーを基準にして比較を行うのではなく、盤前面角を基準とした盤前面上の同座標の色を比較する。これにより、より高精度に盤前面を認識し、かつその変更点をより高精度に認識することが可能となる。
以上のように、本実施形態の盤変更点検出システム1によれば、一般に特徴となる点が少ないとされる制御盤を撮影対象として、異なる撮影条件下および照明条件下において撮影された被改造盤および被補修盤の変更点を高精度に検出することができる。また、ARマーカーのような特徴となる特殊なイラストを設置せずとも、その変更点を高精度に検出することができる。
[実施形態2]
(概要)
実施形態1は、画像データ100及び画像データ110において、盤の前面の角座標を設定する際、ユーザーが入力装置30の操作により入力部31において明示的に設定する方式を採る。
これに対して、実施形態2は、変更点検出装置00を実装したコンピュータのハードウェア資源による画像処理を活用することにより、画像データ110の盤前面角座標の設定を自動化させている。
実施形態2の盤変更点検出システム1は、変更点検出装置00の図2の盤前面特定部000が図4の処理機能が図7の処理機能に変更され、図2の盤前面特定部010の図4の処理機能が図8の処理機能に変更された以外は、実施形態1の同様の態様となっている。
(盤前面特定部000,010の動作例)
図7~9を参照して本実施形態の画像処理の流れについて説明する。
実施形態2の盤前面特定部000,010は以下の盤前面特定過程を実行する。
S201:入力された前記作業前の盤の画像に対して、前記ユーザーが盤前面角を指定する。
本過程では、図7に示されたように、盤前面特定部000は、まず入力された画像データ100の盤前面角座標群C101が、前記ユーザーの入力装置30の操作により、入力部31において明示的に指定される。
S202:盤前面角の座標を認識する。
S203:指定した角を線で繋ぎ、盤前面の輪郭線を描画する。
本過程では、盤前面特定部000の輪郭線描画機能210が、指定された盤前面角座標群C101を線で結ぶことで盤前面輪郭線L101を描画する。
S204:盤前面の輪郭線で囲まれた部分の画像を切り取る。
本過程では、盤前面特定部000の画像抽出機能211が、入力された画像のうち盤前面輪郭線L101で囲まれた部分のみ画像を抽出して盤前面画像101を得る。この盤前面画像101は盤前面角座標群C101と共に射影変換部001に入力される。
S205:盤前面の角(盤前面盤四隅)周辺の画像を切り取り、マッチングテンプレート画像として登録する。
本過程では、盤前面特定部000の画像抽出機能212が、盤前面画像101のうち盤前面角座標群C101周辺画像を抽出し、マッチングテンプレート画像群104を得る。盤前面画像101のうち盤前面角座標群C101周辺画像が抽出されると、盤前面角周辺の盤前面輪郭線が含まれていることを前提とし、盤前面輪郭線と画像端で囲まれた領域を抽出することにより盤前面のうち盤前面角周辺を抽出したマッチングテンプレート画像群104を得る。マッチングテンプレート画像群104は盤前面特定部010に入力される。
S206:入力された前記作業後の盤の画像に対して、テンプレートマッチングを行う。
本過程では、図8に示されたように、盤前面特定部010のテンプレートマッチング機能213が、先ず、入力された画像データ110に対して、マッチングテンプレート画像群104をマッチングテンプレートとし、テンプレートマッチングを行う。得られたマッチング結果のうち、画像データ110上の各マッチングテンプレート画像に最も近い画像部を選定し、その画像部の角端を盤前面角座標群C111とする。
S207:盤前面角の座標を認識する。
S208:検出された盤の角を線で繋ぎ、盤前面の輪郭線を描画する。
図9の事例のように、マッチングテンプレート画像群104、すなわち、四枚のマッチングテンプレート画像のうち、どのマッチングテンプレート画像に対してマッチしたかで、どの角端を盤前面角座標とするかは異なる。そこで、本過程では、盤前面特定部010の輪郭線描画機能214が、盤前面角座標群C111を線で結ぶことにより盤前面輪郭線L111を描画する。
S209:盤前面の輪郭線で囲まれた部分の画像を切り取る。
本過程では、盤前面特定部010の描画抽出機能215が、入力された画像のうち盤前面輪郭線L111で囲まれた部分のみ画像を抽出して盤前面画像111を得る。
S210:切り取られた盤前面画像と盤前面の角座標を射影変換部に入力する。
本過程では、盤前面画像111及び盤前面角座標群C111が射影変換部011に入力される。
以上のように本実施形態の盤変更点検出システム1によれば、実施形態1と同様に、上記で得られた盤前面画像101及び盤前面角座標群C101が射影変換部001に、盤前面画像111及び盤前面角座標群C111が射影変換部011に入力される。そして、射影変換部011で得られた射影変換結果画像102及び射影変換結果画像112が差分検出部020に入力され、変更点検出結果画像120が得られる。
特に、本実施形態においては、上記のテンプレートマッチング手法に限定せず、例えば、特許文献3の配置検出技術を適用することで実現できる。
以上のように、本実施形態の盤変更点検出システム1によれば、コンピュータの画像処理を活用することにより、画像データ110における盤前面角座標の設定が自動化されるので、実施形態1の発明の効果に加えて、データ処理の効率化が図れる。
[実施形態3]
(概要)
上述の実施形態1は、画像データ100及び画像データ110において、盤の前面の角座標を指定する際、前記ユーザーが明示的に変更点検出装置00にて設定される。
また、実施形態2は、画像データ100の盤前面角座標を前記ユーザーが明示的に設定すれば、画像データ110の盤前面角座標は変更点検出装置00により自動認識される。
これに対し、図11の実施形態3では、撮影された写真中では盤前面が最も大きく写っている事を前提とし、前記ユーザーが盤前面角座標を設定することなく、かつ盤前面のどの箇所の改造や補修を行ったとしても、変更点検出装置00が自動で盤前面角を認識する。
実施形態3の盤変更点検出システム1は、実施形態1の入力装置30を備えていないこと、変更点検出装置00の盤前面特定部000,盤前面特定部010の処理内容が図4の代わりに図10の内容となっていること以外は、実施形態1の同様の態様である。
(盤前面特定部000,010の動作例)
図10~12を参照して本実施形態の画像処理の流れについて説明する。
実施形態3の盤前面特定部000,010は以下の盤前面特定過程を実行する。
S301:入力された盤の画像に対して、直線検出と角検出を行う。
本過程では、盤前面特定部000の直線検出機能220は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ100中に存在する直線成分式群E100の抽出を行う。一方、盤前面特定部010の直線検出機能220は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ110中に存在する直線成分式群E110の抽出を行う。
また、盤前面特定部000の角検出機能221は、コーナー検出に準ずる一般的な手法を用い、画像データ100に存在する角を検出し、角座標群C100を得る。一方、盤前面特定部010の角検出機能221は、コーナー検出に準ずる一般的な手法を用い、画像データ110に存在する角を検出し、角座標群C110を得る。
S302:検出した直線上に検出した角座標が存在する場合、その座標間のみ線を描画した画像を作成する。
本過程では、盤前面特定部000の全直線輪郭描画機能222は、直線成分式群E100の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する(図12)。これにより、画像データ100に存在する全直線輪郭のみを描画した直線輪郭画像105が得られる。
一方、盤前面特定部010の全直線輪郭描画機能222は、直線成分式群E110の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する(図12)。これにより、画像データ110に存在する全直線輪郭のみを描画した直線輪郭画像115が得られる。
S303:描画された線で囲まれた全ての四角形の面積を算出し、そのなかでも最も面積の大きな四角形のみ描画した画像を作成する。
本過程では、盤前面特定部000の最大面積平面選定機能223は、直線輪郭画像105の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像105の最大面積平面のみを描画した最大面積平面輪郭画像106が得られる。
一方、盤前面特定部010の最大面積平面選定機能223は、直線輪郭画像115の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像115の最大面積平面のみを描画した最大面積平面輪郭画像116が得られる。
S304:最大面積の四角形が描画された画像と、元々の入力画像を重ね合わせ、四角形で囲まれた範囲内のみ画像を抽出する。これにより、盤前面のみを抽出した画像となる。
本過程では、盤前面特定部000の画像抽出機能224は、最大面積平面輪郭画像106に画像データ100を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像101が得られる。
一方、盤前面特定部010の画像抽出機能224は、最大面積平面輪郭画像116に画像データ110を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像111が得られる。
S305:最大面積の四角形を描画した画像に対して角座標を重ね合わせ、最大面積の四角形の角座標を選定する。これにより、盤前面の角座標を認識する。
本過程では、盤前面特定部000の盤前面角座標選定機能225は、最大面積平面輪郭画像106に角座標群C100を重ね合わせ、角座標群C100から最大面積平面の角座標を選定する。これにより、盤前面角座標群C101が得られる。
一方、盤前面特定部010の盤前面角座標選定機能225は、最大面積平面輪郭画像116に角座標群C110を重ね合わせ、角座標群C100から最大面積平面の角座標を選定する。これにより、盤前面角座標群C111が得られる。
S306:切り取った盤前面画像と盤前面の角座標を射影変換部に入力する。
本過程では、S305で得られた盤前面画像101及び盤前面角座標群C101は射影変換部001に入力される。一方、S305で得られた盤前面画像111及び盤前面角座標群C111は射影変換部011に入力される。
S307:以上のS301~S306の処理を前記作業前後の各画像に対して行う。
以上のように本実施形態の盤変更点検出システム1によれば、実施形態1と同様に、上記で得られた盤前面画像101及び盤前面角座標群C101が射影変換部001に、盤前面画像111及び盤前面角座標群C111が射影変換部011に入力される。そして、射影変換部011で得られた射影変換結果画像102及び射影変換結果画像112が差分検出部020に入力され、変更点検出結果画像120が得られる。
したがって、本実施形態の盤変更点検出システム1によれば、実施形態1,2の発明の効果に加えて、前記ユーザーが盤前面角座標の設定する手間が省かれ、現場作業の迅速性が図られる。また、改造及び補修の作業において盤前面角部分の変更が行われても、盤前面角を認識できる。
[実施形態4]
(概要)
図13に示された実施形態4の差分検出部020は、細分化画像群103及び細分化画像群113を比較する際に、RGB色空間を参照するのではなく、HSV色空間を参照する。HSV色空間では、色相(H)、彩度(S)、明度(V)をそれぞれ個別のパラメータとして扱っている。
実施形態4の盤変更点検出システム1は、変更点検出装置00の差分検出部020の処理内容が図5の代わりに図13の内容となっていること以外は、実施形態1の同様の態様である。
(差分検出部020の動作例)
図13,14を参照して本実施形態の差分検出の流れについて説明する。
実施形態4の差分検出部020は以下の差分検出過程を実行する。
S401:射影変換部001から前記作業前の射影変換結果画像102を受け取る。一方、射影変換部011から前記作業後の射影変換結果画像112を受け取る。
S402:各画像をメッシュ状に切り分けて細分化して各細分化画像の座標を記憶する。
本過程では、差分検出部020の画像細分化機能310は、先ず、射影変換部001から得られた射影変換結果画像102を細分化し、細分化画像群103と射影変換結果画像102の各細分化画像の座標群C103を得る。一方、差分検出部020の画像細分化機能311は、射影変換部011から得られた射影変換結果画像112を細分化し、細分化画像群113と射影変換結果画像112の各細分化画像の座標群C113を得る。
S403:同座標の細分化画像において、一画素ずつHSV色空間で色相を比較する。
本過程では、細分化画像群103,細分化画像群113の全ての細分化画像は同サイズかつ同解像度とする。すなわち、差分検出部020の細分化画像比較機能312は、同座標における細分化画像を画素単位で比較し、事前に変更点検出装置00に設定した画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。
画素単位の比較にはHSV色空間における色相を参照する。細分化画像群103及び細分化画像群113における同座標の細分化画像中の各画素に対して、事前に変更点検出装置00上に設定した色相閾値S3に基づき、各画素に対して変更有無の判断を行う。
実施形態4における色相閾値S3はHSV色空間における色相の差の閾値(HSV閾値)を示す。HSV色空間は、色相(H)、彩度(S)、および明度(V)の三要素からなる色空間であり、色相を1パラメータで表現することを特徴とする。これにより前記作業前後の被撮影盤画像の明度が異なる場合であっても、色相H値のみを比較することで被撮影盤の色相のみを比較することが可能となる。
同色相かつ明度が異なる二色をRGB色空間におけるRGB値で表現する場合、同色相であるにも関わらず、R値、G値、B値の3つのパラメータが異なる。したがって、前記作業前後の被撮影盤画像の明度が異なる場合、実施形態1のようにRGB色空間で色相差を判定することは難易度が高く、閾値の設定を誤ると被撮影盤の明度によっては変更していない箇所を変更点として誤認識する可能性がある。
実施形態4では、HSV色空間における色相H値でのみ比較することで、前記作業前後の被撮影盤画像の明度が異なる場合であっても、その色相差を判定する際に閾値設定がより容易であり、その結果、閾値設定を誤ることに起因する誤認識が発生しにくい。
S404:色相閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録しておく。
本過程では、細分化画像群103の細分化画像中の各画素の色相値をH1、これと同座標の細分化画像群113の細分化画像中の各画素の色相値をH2として、|H1-H2|および(360-|H1-H2|)のうち小さい方がS3以上であれば、その画素には変更があったものとみなす。各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する(図14)。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。
S405:上記処理を全ての細分化画像に対して行う。
S403,S404の比較処理を繰り返し、細分化画像群103,細分化画像群113の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群C120として記録する。
S406:前記作業後の射影変換結果画像に、差異のある細分化画像の部分のみ着色して出力する。
本過程では、差分検出部020の変更点検出領域着色機能313は、射影変換結果画像112に対して、変更点座標群C120の各座標に細分化画像と同サイズの領域が着色される。これにより、図3に示したように変更点検出結果画像120が得られる。
被撮影盤画像の明度が前記作業前後で異なる場合、変更していない場所でも変更点として認識されてしまうことがある。これは色相が同じでかつ明度が異なる二色をRGB値で表現する場合に、R値、G値、B値の三つのパラメータが全て異なる場合があることに起因する。このことから、RGB閾値群S2の設定を誤ると被撮影盤の明度によっては、変更していない所を変更点として誤認識してしまう可能性がある。
これに対して、本実施形態の盤変更点検出システム1によれば、色相(H)にのみ閾値を設けることにより、細分化画像群103及び細分化画像群113を色相でのみ比較することが容易となる。したがって、本実施形態によれば、実施形態1~3の発明の効果に加えて、両画像群の明度が異なる場合であっても、高精度に変更点認識を行うことができる。
[実施形態5]
(概要)
実施形態1及び4は、射影変換結果画像102及び射影変換結果画像112を細分化画像群103及び細分化画像群113に切り分け、同じ座標の細分化画像において色の比較を行うことにより、変更点を検出する。
これに対して、図15に示された本実施形態の差分検出部020は、射影変換結果画像102及び射影変換結果画像112を比較する際、両者の同座標の色を比較するのではなく、射影変換結果画像112から射影変換結果画像102の特徴点を見出す。これにより、射影変換結果画像102及び射影変換結果画像112に含まれる盤面構成部品の位置座標が局所的に異なる場合であっても、高精度に変更点認識を行える。
(差分検出部020の動作例)
図15~17を参照して本実施形態の差分検出の流れについて説明する。
実施形態5の差分検出部020は以下の差分検出過程を実行する。
S501:射影変換部001から前記作業前の射影変換結果画像102を受け取る。一方、射影変換部011から前記作業後の射影変換結果画像112を受け取る。
S502:前記作業前及び作業後の射影変換結果画像102,112に対して画像サイズを縮小した縮小画像102a,112aを作成する。
本過程では、差分検出部020の画像縮小機能320は、射影変換部001から得られた射影変換結果画像102の画像サイズを縮小し、縮小画像102aを得る。一方、差分検出部020の画像縮小機能321は、射影変換部011から得られた射影変換結果画像112の画像サイズを縮小し、縮小画像112aを得る。
S503:縮小画像102a,112aに対して更に画像サイズを縮小した縮小画像102b,112bを作成する。
本過程では、差分検出部020の画像縮小機能322は、縮小画像102aの画像サイズを更に縮小し、図16に示したように、縮小画像102bを得る。一方、差分検出部020の画像縮小機能323は、縮小画像112aの画像サイズを更に縮小し、同図に示したように、縮小画像112bを得る。
S504:前記作業前及び作業後の射影変換結果画像及びS502~S503の過程で得られた縮小画像に基づき階層的特徴点探索処理を行う。
本過程では、差分検出部020の階層的特徴点探索処理機能324は、射影変換結果画像102、射影変換結果画像112、縮小画像102a、縮小画像112a、縮小画像102b及び縮小画像112bについて、階層的特徴点探索処理を行う。
階層的特徴点探索処理は、初めに最も解像度の低い縮小画像102bと縮小画像112bのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域について解像度が高い縮小画像102a、縮小画像112aのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域についてさらに射影変換結果画像102、射影変換結果画像112のテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶する。上記処理において、射影変換結果画像102および射影変換結果画像112において、差異があると判断された座標群を得る。このような階層的特徴点探索処理としては、階層的テンプレートマッチング、階層的マッチングなどと呼ばれる一般的な手法を適用すればよい(例えば、非特許文献1)。
S505:階層的特徴点探索処理により得られた類似度の低い特徴点の座標群を得る。
本過程では、階層的特徴点探索処理機能324は、類似度が類似度閾値S4以上の特徴点は変更がない箇所とみなし、類似度が類似度閾値S4よりも低い特徴点の座標群が非類似特徴点の座標群C130として得られる。
S506:前記座標範囲化処理により得られた変更点検出領域の座標群のうち隣接する座標が存在する領域を変更範囲とみなす。
本過程では、差分検出部020の座標範囲化処理機能325は、図17に示したように、非類似特徴点の座標群C130のうち、ある座標を中心として座標隣接距離R1を半径とする円領域内に隣接座標数閾値S5個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなし、変更点検出領域とする。同図の事例においては、(1)、(3)で示した領域が変更点検出領域として検出されている。以上の座標範囲化処理が非類似特徴点の座標群C130の全ての座標に対して行われることにより、変更点検出領域群A130が得られる。
S507:射影変換結果画像112における所定の変更範囲を着色して出力する。
本過程では、差分検出部020の変更点検出領域着色機能326は、射影変換結果画像112における変更点検出領域群A130の領域を着色することにより、変更点検出結果画像120を得る。
画像データ100及び画像データ110の撮影の際、被撮影盤に対する撮影装置の位置関係が大きく異なると、射影変換処理により盤正面から撮影した画像に変更したとしても、射影変換結果画像102及び射影変換結果画像112中の盤面構成部品の位置座標が異なる場合がある。これは変更点検出システムの変更点検出精度を下げる原因となる。
これに対して、本実施形態の差分検出部020は、射影変換結果画像102及び射影変換結果画像112を比較する際、同座標の色を比較するのではなく、階層的特徴点探索処理により射影変換結果画像102から特徴点を射影変換結果画像112から見出す。
特に、階層的特徴点探索処理によれば、探索ウィンドウサイズを一定とし、低解像度である縮小画像102b及び縮小画像112bから順にテンプレートマッチングが行われるので、射影変換結果画像112から射影変換結果画像102中の特徴点が見出される。
以上のように、本実施形態によれば、被撮影盤に対する撮影装置の位置関係が異なることにより、実施形態1,4と同様に、射影変換結果画像中の盤面構成部品の位置座標が局所的に異なる場合でも、高精度に変更点検出を行うことができる。また、本実施形態の階層的特徴点探索処理は、階層毎に探索範囲を限定して探索し、指定された探索範囲中に類似度の高い特徴点の有無を判断基準とする。したがって、射影変換結果画像において同座標の色を比較する実施形態1及び4の方式と比べても、射影変換結果画像中の盤面構成部品の局所的な位置座標の違いに対して頑健なものとなる。特に、類似して特徴点が並ぶ盤の特徴点探索に適したものとなる。尚、階層的特徴点探索処理手法に関して限定せず、一般的な手法を使用することで実現できる。
[実施形態6]
(概要)
実施形態1~5においては、盤前面特定部000及び盤前面特定部010にて盤前面を特定した後、射影変換部001及び射影変換部011にて盤前面の四角を合わせるように射影変換が行われる。
画像データ100(作業前盤画像)及び画像データ110(作業後盤画像)の取得の際、被撮影盤に対する撮影装置の位置関係が大きく異なると、射影変換処理により盤正面から撮影した画像に変換される際、射影変換結果画像102及び射影変換結果画像112の盤面構成部品の位置座標が異なることがある。これは、変更点の検出精度を低下させる原因となることがある。
そこで、実施形態6の変更点検出装置00においては、盤前面画像の盤前面四角を合わせる射影変換を行なわないで、盤前面中に含まれる特徴点の位置を合わせる射影変換を行う。これにより、盤前面画像101及び盤前面画像111の盤面構成部品の位置座標が異なる場合でも、高精度に変更点検出を行える。
(変更点検出装置00の態様例及び動作例)
図18に示された実施形態6の変更点検出装置00は、盤前面特定部000と盤前面特定部010と対応点探索部040と射影変換部041と差分検出部020とを備える。尚、盤前面特定部000、盤前面特定部010及び差分検出部020の態様は特に限定しないが、実施形態1~5の態様が有効に適用できる。
対応点探索部040は、前記作業前,作業後の盤前面画像101,111の対応点探索により互いに対応する当該作業前,当該作業後の盤前面画像の対応点座標群C140,C141を得る。
射影変換部041は、前記作業前,前記作業後の盤前面画像の対応点座標群C140,C141に基づき当該盤前面画像を射影変換結果画像114に変換する。
差分検出部020は、作業前の盤前面画像101及び作業後の射影変換結果画像114の差分を検出し、盤前面画像101上に変化点を着色して変更点検出結果画像120を出力する。
図18~20を参照して本実施形態の画像データ処理の流れについて説明する。
S601:変更点検出装置00は画像データ記憶装置40のデータ記憶部400,401から作業前,作業後の画像データ100,110を各々受け取る。
S602:画像データ100,110中の盤前面を特定した作業前,作業後の盤前面画像101,111を作成する。
本過程では、盤前面特定部000が、画像データ100から作業前の盤前面の輪郭を特定して盤前面画像101を抽出する。一方、盤前面特定部010が、画像データ110から作業後の盤前面の輪郭を特定して盤前面画像111を抽出する。本過程での盤前面特定法としては実施形態1~5の盤前面特定法が適用されるが、本発明の盤前面特定法はこれらの特定法に限定しない。
S603:盤前面画像101,111において対応点探索を行う。
本過程では、対応点探索部040が、盤前面特定部000,010から盤前面画像101,111を各々受け取り、対応点探索を行う。対応点探索部040における対応点探索処理には、SIFT(Scale-Invariant Feature Transform)またはSUFT(Speeded-Up Robust Feature Transform)等の周知の処理法が適用される。以上の対応点探索処理により得られた盤前面画像101の対応点座標群C140と盤前面画像111の対応点座標群C141とが対応点探索部040から出力される。
S603:作業後の盤前面画像111の対応点と作業前の盤前面画像101の対応点とが合うように、作業後の盤前面画像101を射影変換する。
本過程では、射影変換部041は、盤前面画像111の対応点座標群C141が盤前面画像101の対応点座標群C140と一致するように射影変換を行い、作業後の射影変換結果画像114を出力する。図20にその処理例を示した。
S604:作業前の盤前面画像101と作業後の射影変換結果画像114の差分を検出する。
本過程では、差分検出部020が作業前の盤前面画像101及び作業後の射影変換結果画像114の差分を検出し、盤前面画像101上に変化点を着色して変更点検出結果画像120を出力する。尚、本過程での差分検出手法としては実施形態1~5の差分検出法が適用されるが、本発明の差分検出法はこれらの検出方法に特に限定されない。
以上のように本実施形態においては、作業前,作業後の盤前面画像101,111の特徴点座標が一致するように射影変換を行う対応点探索過程が実行される。したがって、盤前面四角が合うように射影変換を行う実施形態1~5の方式と比べても、盤前面画像中の盤面構成部品の位置座標の差に対して頑健となる。
[実施形態7]
(概要)
実施形態1,4においては、射影変換結果画像102及び射影変換結果画像112を細分化画像群103及び細分化画像群113に切り分け、同じ座標の細分化画像において色の比較を行うことで、その変更点が検出される。
ここで、被撮影盤の撮影時に、カメラのフラッシュ光のような強い光やその反射光、時刻によって色や強さを変える太陽光などの自然光が撮影画像中に写り込むと、前記変更点の検出精度を低下させる原因となることがある。
そこで、実施形態7の差分検出部020は、射影変換結果画像102と射影変換結果画像112とを比較する際、同座標の色比較のみならず、射影変換結果画像102に含まれる模様情報を射影変換結果画像112における近傍座標から検出する位相限定相関法処理を採る。これにより、画像データ100及び画像データ110の撮影時の照明環境が異なる場合でも高精度に変更点認識を行える。
本実施形態の盤変更点検出システム1は、変更点検出装置00の差分検出部020の処理内容が図5,13の代わりに図21の内容となっていること以外は、実施形態1,4の同様の態様である。
すなわち、差分検出部020は、作業前,作業後の射影変換結果画像102,112の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群(非類似特徴点座標群C152)とみなす。そして、この非類似座標群から抽出された変更点検出領域に対応した前記作業前の射影変換結果画像102における範囲を着色して変更点検出結果画像120を生成する。
(差分検出部020の動作例)
図21~23を参照して本実施形態の具体的な差分検出の流れについて説明する。
実施形態7の差分検出部020は以下の差分検出過程を実行する。
S701:射影変換部001,011から作業前の射影変換結果画像102,作業後の射影変換結果画像112を各々受け取る。そして、射影変換結果画像102及び射影変換結果画像112は差分検出部020の特徴量抽出器330に入力される。
S702:射影変換結果画像102及び射影変換結果画像112から位相限定相関法類似度(以下、POC類似度と称する)及び視差を抽出する。
本過程では、図22に示された差分検出部020の特徴量抽出器330が、射影変換結果画像102及び射影変換結果画像112のPOC類似度値群POC1を抽出する。また、射影変換結果画像102と射影変換結果画像112の対応点における色相値差群DIF-H1を特徴量として抽出する。さらに、前記対応点のうち、射影変換結果画像102上の座標を特徴点座標群C150として出力する。
以下、図22を参照して特徴量抽出器330の具体的な動作例について説明する。
特徴量抽出器330は、以下の特徴量抽出機能330a、類似特徴点探索機能330bおよび色相計算機能330cを実行する。
特徴量抽出機能330aは、入力された射影変換結果画像102及び射影変換結果画像112においてPOC類似度を算出する。そして、射影変換結果画像102,112における最も類似度の高い点から視差PAR1’を算出して出力する。また、前記最も類似度の高い点におけるPOC類似度をPOC類似度値POC1’として出力する。さらに、前記最も類似度の高い点の射影変換結果画像102上の座標を特徴点座標C150’として出力する。
類似特徴点探索機能330bは、特徴点座標C150’、視差PAR1’及びPOC類似度値POC1’に基づき射影変換結果画像112の当該特徴点に対応する射影変換結果画像112の特徴点の座標を特徴点座標C151’として検出する。
色相計算機能330cは、射影変換結果画像102上の特徴点座標C150’の色相値と射影変換結果画像112の特徴点座標C151’の色相値差DIF-H1’を算出する。この演算は前記得られた全ての特徴点座標C150’,C151’について実行される。
S703:差分検出部020は、特徴量抽出器330から供されたPOC類似度値POC1’及び色相値差DIF-H1’に基づき両画像(射影変換結果画像102,112)の対応点座標を算出する。
本過程では、図21に示された差分検出部020の特徴量二次化機能331が、S704でのマッピングの前処理として、前記対応点座標を算出する。
S704:前記対応点座標におけるPOC類似度値及び色相値差を二次元特徴量とし、二次元空間にマッピングする。
本過程では、特徴量二次化機能331が、特徴点座標群C150の前記対応点座標に対し、POC類似度値群POC1と色相値差群DIF-H1の各値を割り当て二次元情報とし、POC類似度を第一軸に、色相値差群DIF-H1を第二軸とした二次元平面にプロットする。
前記プロットに際し、色相値差DIF-H1’には色相値正規化係数C1が、POC類似度値POC1’にはPOC類似度値正規化係数C2が用いられ、正規化が施される。色相値正規化係数C1及びPOC類似度値正規化係数C2は変更点検出装置00を実装するコンピュータに予め設定される。以上の特徴量の二次元化処理を全ての座標において実行することにより、二次元特徴量群SQ1が得られる。
S705:前記二次元特徴量の対応座標が予め用意された非類似判定領域内にある場合、その座標を非類似座標とみなす。
本過程では、特徴量抽出器330の非類似座標検出機能332が、前記二次元特徴量が、前記コンピュータに予め設定された非類似判定領域A140にあるかを判定し、非類似判定領域A140内にある特徴量の座標を非類似特徴点座標として記録する。
前記判定は二次元特徴量群SQ1の全ての特徴量について実行され、非類似特徴点座標群C152が得られる。上記の判定例を図23に示した。尚、本過程の非類似判定領域の数や形状は特に限定しない。
S706:前記得られた非類似特徴点座標群C152のうち隣接する座標が存在する領域を変更範囲とみなす。
本過程では、図17の実施形態5の座標範囲化処理と同様の処理が実行される。すなわち、特徴量抽出器330の座標範囲化処理機能333が、非類似特徴点座標群C152のうちで、ある座標を中心として座標隣接距離R2を半径とする円領域内に隣接座標数閾値S6個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなす。そして、この領域を変更点検出領域とする。以上の処理は非類似特徴点座標群C152の全ての座標に対して行われ、変更点検出領域群A152が得られる。
S707:作業前の射影変換結果画像に対し、変更点検出領域群A152に対応した変更範囲を着色して出力する。
本過程では、特徴量抽出器330の変更点検出領域着色機能334が、射影変換結果画像102に対して変更点検出領域群A152の領域を着色し、変更点検出結果画像120を得る。
以上のように、本実施形態の盤変更点検出システム1によれば、実施形態1,4の効果に加えて、異なる照明条件下において撮影された盤画像の変更点を高精度に検出することができる。
[実施形態8]
(概要)
実施形態7においては、射影変換結果画像から色相差とPOC類似度の二つの特徴量を抽出し、事前に設定された境界において当該特徴量に基づき変更点の有無が判定される。
しかし、前記境界の設定は一般に大きな手間を要する。前記境界は撮影環境や盤の色、主とする盤上構成部品によって変わる可能性があり、その都度、境界の事前設定が必要となり、当該設定に柔軟に対応できる差分検出部020の態様が望ましい。
また、実施形態7の色相差とPOC類似度以外の特徴量も差分検出に考慮したい場合があり、考慮する特徴量数が増えると、境界の設定はさらに複雑及び困難となり、さらに手間を要するので、多様な特徴量に柔軟な差分検出部の容易な構築及び自動化が望まれる。
そこで、図24に示された本実施形態の変更点検出装置00は、事前にサポートベクターマシン(以下、SVM)に学習させた図26の識別係数群C3を射影変換結果画像102,112から抽出した特徴量に掛け合わせた際の積に基づき変更の有無を判定する。これにより、大きな手間を要せずに、多様な特徴量を考慮した高精度な変更点検出を行える。
(盤変更点検出システム1の構成例)
盤変更点検出システム1は、図24に示されたように、画像データ記憶装置40においてデータ記憶部402がさらに具備され、変更点検出装置00において補正係数学習部021がさらに具備されていること以外は、実施形態7と同様の態様となっている。
データ記憶部402は、差分検出を行う前に教師画像を用意して補正係数学習部021でのSVMによる事前の学習により得られた識別係数群C3を予め記憶(保存)する。
補正係数学習部021は、図26に示されたように、作業前,作業後の射影変換結果画像102,112の特徴点座標のRGB値差、HSV値差、視差及び類似度に基づく学習により差分検出部020での非類似座標群の検出に供される識別係数群C3を予め算出する。
差分検出部020は、図25に示したように、特徴量抽出器340から供された多次元特徴量とデータ記憶部402から供された識別係数との積に基づき判定された非類似特徴点座標群C152から変更点検出領域群A152を抽出する。この変更点検出領域群A152に対応した前記作業前の射影変換結果画像102における範囲を着色して変更点検出結果画像120を生成する。
変更点検出装置00の差分検出部020は、射影変換部001,011から受けた射影変換結果画像102,112から抽出した特徴量とデータ記憶部402から受けた識別係数群C3とに基づき盤前面画像の変更点を検出する。尚、射影変換結果画像102,112は実施形態1~7と同様の方法により得られる。
(盤変更点検出システム1の動作例)
以下、図24~27を参照して変更点検出装置00による具体的な処理の流れについて説明する。変更点検出装置00は以下の補正係数学習過程と変更点検出過程とを実行する。
(補正係数学習過程)
補正係数学習過程は補正係数学習部021のSVM344により実行される。以下、図26を参照して具体的な学習過程について説明する。
SVM344は、先ず、図26の特徴量抽出器340から、特徴量として、RGB値差群DIF-RGB1,HSV値差群DIF-HSV1、視差群PAR2及びPOC類似度値群POC2を受け取る。また、射影変換結果画像102に対する射影変換結果画像112の変更有無情報である変更有無情報ANS1を外部から受け取る。
次いで、SVM344は、変更有無情報ANS1の情報に基づき、特徴量抽出器340から供された前記特徴量に対する学習により得られた識別係数群C3をデータ記憶部402に出力して保存する。識別係数群C3は前記特徴量に掛け合わせた際に、その積を以て当該特徴点における変更の有無を識別できるものとする。
SVM344のサポートベクターマシンとしては周知の機械学習法を適用すればよい。また、本実施形態において変更有無情報ANS1の生成方法は特に限定しない。例えば、入力装置からユーザーが指定する方法、実施形態1~7の盤変更点検出システム1で出力された変更点検出結果画像120を入力する方法、または、これらの方法と同等の方法により生成すればよい。
(変更点検出過程)
図25、27を参照して変更点検出過程について説明する。
S801:差分検出部020は、射影変換部001,011から作業前の射影変換結果画像102,作業後の射影変換結果画像112を各々受け取る。射影変換結果画像102及び射影変換結果画像112は差分検出部020の特徴量抽出器340に入力される。
S802:差分検出部020において、特徴量抽出器340は、射影変換結果画像102,112からRGB値差群DIF-RGB1、HSV値差群DIF-HSV1、POC類似度値群POC2、視差群PAR2の特徴量を得る。
以下、図27を参照して特徴量抽出器340の具体的な動作例について説明する。
特徴量抽出器340は、以下の特徴量抽出機能340a、対応点座標探索機能340b、絶対値差演算機能340c,340dを実行する。
特徴量抽出機能340aは、射影変換結果画像102及び射影変換結果画像112においてPOC類似度を計算する。そして、射影変換結果画像102,112における最も類似度の高い点から視差PAR2’を出力する。また、前記最も類似度の高い点における類似度をPOC類似度値POC2’として出力する。さらに、前記最も類似度の高い点の射影変換結果画像102の座標を特徴点座標C160’として出力する。
対応点座標探索機能340bは、前記得られた視差PAR2’、POC類似度値POC2’、特徴点座標C160’から、射影変換結果画像102の当該特徴点に対応する射影変換結果画像112の点の座標を特徴点座標C161’として検出する。
絶対値差演算機能340cは、射影変換結果画像102の特徴点座標C160’のRGB値と射影変換結果画像112の特徴点座標C161’’のRGB値の差DIF-RGB1’を算出する。この演算は前記得られた全ての特徴点座標C160’,C161’について行われる。
絶対値差演算機能340dは、射影変換結果画像102の特徴点座標C160’のHSV値と射影変換結果画像112の特徴点座標C161’のHSV値の差DIF-HSV1’を算出する。この演算は前記得られた全ての特徴点座標C160’,C161’について行われる。
S805:差分検出部020は、特徴量抽出器340にて抽出された特徴量に対して、SVMにより予め用意した識別係数を掛け合わせ、その積に基づく当該座標の変更有無の判定を全ての特徴点で行い、変更が検出された座標を非類似座標群とする。
本過程では、差分検出部020の非類似座標検出機能341が、S804で得られたRGB値差群DIF-RGB1、HSV値差群DIF-HSV1、POC類似度値群POC2、視差群PAR2に、データ記憶部402から引き出した識別係数群C3を掛け合わせ、その積が非類似であることを示す座標を非類似特徴点座標として記録する。以上の判定を特徴点座標群C160の各座標の特徴量に対して行い、非類似特徴点座標群C152を得る。
S807:差分検出部020は、非類似特徴点座標群C152のうち、隣接する座標が存在する領域を変更範囲とみなす。
本過程では、差分検出部020の座標範囲化処理機能342が、図17の実施形態5と同様の処理により、非類似特徴点座標群C152のうち、ある座標を中心として座標隣接距離R3を半径とする円領域内に隣接座標数閾値S7個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなし、変更点検出領域とする。以上の処理を非類似特徴点座標群C152の全ての座標に対して行い、変更点検出領域群A152を得る。
S808:差分検出部020は、作業前の射影変換結果画像102に対し、変更点検出領域群A152に対応した変更範囲を着色して出力する。
本過程では、差分検出部020の変更点検出領域着色機能343が、射影変換結果画像102に対して、変更点検出領域群A152の領域を着色する。これにより図25に例示された変更点検出結果画像120が得られる。
以上の実施形態8によれば、変更点検出装置00において機械学習が適用されることで、大きな手間を要することなく、高精度な盤変更点の検出が行える。
[本発明の他の態様例]
本発明の他の態様例としては、コンピュータを上述の変更点検出装置00としてまたは変更点検出方法をコンピュータに実行させる変更点検出プログラムが挙げられる。このプログラムはコンピュータが読み取り可能な周知の記録媒体またはインターネット等のネットワークを介して提供できる。
尚、本発明は、以上説明した実施形態に限定されるものではなく、本発明の特許請求の範囲内で様々な態様で実施が可能である。