JP7331311B2 - 画像検査装置及び画像検査プログラム - Google Patents

Description

本発明は、画像検査装置及び画像検査プログラムに関する。

従来、橋梁の鋼部材を接合する溶接部における表面のきずを検出する外観検査システムが知られている（例えば、特許文献１）。この外観検査システムは、溶接部の溶接線を横断するようにレーザー光を照射し、照射されたレーザー光を撮像し、当該撮像された画像に基づいて、きずを検査する。

また、溶接物の分類及び相関関係のための機械学習を提供する技術が知られている（例えば、特許文献２）。この技術は、溶接物を仕様に適合するもの又は適合しないものに分類するためのアルゴリズムを生成する方法を含み、訓練データは機械学習システムによって読み込まれる。そして、この技術は、試験溶接物を仕様に適合するもの又は仕様に適合しないものとして分類することができるように、機械学習システムは訓練データを用いてアルゴリズムを育成する。

また、カラー画像を用いた外観検査装置が知られている（例えば、特許文献３）。この外観検査装置は、カラーカメラを用いて検査対象物を分光波長帯毎の濃度画像からなるカラー画像として撮像する。そして、外観検査装置は、検査対象物に予め設定した検査領域の画素に微分画像処理を行って規定値以上の微分値を有する画素をエッジ画素として抽出する。そして、外観検査装置は、各エッジ画素の両側に抽出された欠陥候補画素について、片側毎にその近傍画素を含めて色データを統計処理し、得られた両側の色データ統計値を比較して予め設定した基準値以上の差があれば不良と判定する。

特許第6222646号公報 特開2019-5809号公報 特許第4195980号公報

ところで、例えば、構造物の広範な領域に複数の検査対象物が略平行に並んでいる場合、それらの検査対象物の各々について個別に画像を撮像するよりも、複数の検査対象物が１枚の画像内に収まるように画像を撮像する方が効率的である。

しかし、上記特許文献１～３に開示されている技術は、１つの溶接部を対象としており、例えば、画像中に写る構造物に複数の検査対象物が略平行に並んでいる場合に、それら複数の検査対象物を検査することについては考慮されていない。

本発明は上記事実に鑑みて、画像中に写る構造物に略平行に並んでいる複数の検査対象物の合否を、自動的かつ効率的に判定することを目的とする。

上記目的を達成するために、本発明の画像検査装置は、構造物が写る画像を取得する取得部と、前記取得部により取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出する抽出部と、前記抽出部により抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する合否情報取得部と、を含み、複数の前記検査対象物は、前記構造物の溶接屋根における複数のハゼ嵌合部である画像検査装置である。これにより、画像中に写る構造物に略平行に並んでいる、複数の検査対象物の合否を、自動的かつ効率的に判定することができる。
また、本発明の画像検査装置は、構造物が写る画像を取得する取得部と、前記取得部により取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出する抽出部と、前記抽出部により抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する合否情報取得部と、を含み、前記画像は、無人航空機に備えられたカメラによって撮像された画像である。これにより、画像中に写る構造物に略平行に並んでいる、複数の検査対象物の合否を、自動的かつ効率的に判定することができる。

本発明の前記抽出部は、前記画像の特定位置の垂直方向に並ぶ画素の輝度ヒストグラムを抽出し、該輝度ヒストグラムの輝度変化に応じて、複数の検査対象物を抽出するようにすることができる。これにより、画像中に写る構造物に略平行に並んでいる、複数の検査対象物を精度良く抽出することができる。

本発明の前記画像には、前記検査対象物とは異なるマーカが写っており、前記マーカと前記検査対象物との間の位置関係に応じて、複数の検査対象物の位置情報を取得する位置情報取得部を更に含むようにすることができる。これにより、画像中に写るマーカによって、複数の検査対象物の位置情報を精度良く特定することができる。

本発明のプログラムは、構造物が写る画像を取得し、取得された前記画像から、前記構造物に略平行に設置された前記構造物の溶接屋根における複数のハゼ嵌合部である複数の検査対象物を抽出し、抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する、処理をコンピュータに実行させるための画像検査プログラムである。これにより、画像中に写る構造物に略平行に並んでいる、複数の検査対象物の合否を、自動的かつ効率的に判定することができる。
また、本発明のプログラムは、構造物が写る画像であって、無人航空機に備えられたカメラによって撮像された画像を取得し、取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出し、抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する、処理をコンピュータに実行させるための画像検査プログラムである。これにより、画像中に写る構造物に略平行に並んでいる、複数の検査対象物の合否を、自動的かつ効率的に判定することができる。

本発明によれば、画像中に写る構造物に略平行に並んでいる複数の検査対象物の合否を、自動的かつ効率的に判定することができる、という効果が得られる。

本実施形態の画像撮像システムの概要を説明するための説明図である。 検査対象物の一例であるハゼ嵌合部の撮像を説明するための説明図である。 本実施形態における建物の屋根とカメラとの間の距離と、ハゼ嵌合部とカメラとの間の角度とを説明するための説明図である。 第１実施形態に係る画像撮像システムの概略構成を示すブロック図である。 学習用データの一例を示す図である。 本実施形態の学習済みモデルの一例を示す図である。 ハゼ嵌合部の抽出処理を説明するための説明図である。 ハゼ嵌合部の抽出処理を説明するための説明図である。 第１実施形態の制御処理ルーチンの一例を示す図である。 第１実施形態の格納処理ルーチンの一例を示す図である。 第１実施形態の学習処理ルーチンの一例を示す図である。 第１実施形態の判定処理ルーチンの一例を示す図である。 第２実施形態を説明するための説明図である。 第２実施形態に係る画像撮像システムの概略構成を示すブロック図である。 画像上のグリッド線を説明するための説明図である。 画像上のグリッド線を説明するための説明図である。 画像上の位置情報を説明するための説明図である。 第２実施形態の画像処理ルーチンの一例を示す図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。

＜第１実施形態に係る画像撮像システムの構成＞

図１は、第１実施形態に係る画像撮像システム１０の構成の一例を示す図である。図１に示されるように、第１実施形態の画像撮像システム１０は、無人航空機の一例であるドローン３０と、ドローン３０を制御する制御機器２０と、サーバ（図示省略）とを備えている。制御機器２０と、ドローン３０と、サーバ（図示省略）とは、所定の通信手段によって接続されている。制御機器２０は、例えば、ユーザＵによって操作される。

本実施形態の画像撮像システム１０は、図１に示されるように、建物の屋根Ｒｆにおける鉤（ハゼ）の嵌合部を撮像する。鉤（ハゼ）の嵌合部（以下、単に「ハゼ嵌合部」と称する。）は、金属製の屋根における接合部であり、金属板の接合において、板を折り曲げ、かみ合わせる形にした部分である。

図１に示されるように、複数のハゼ嵌合部ｈは、建物の屋根Ｒｆに略平行に設置されている。このため、図１に示されるように、本実施形態の画像撮像システム１０は、ドローン３０に搭載されたカメラによって、建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを一度に撮像する。なお、建物の屋根Ｒｆは構造物の一例であり、ハゼ嵌合部は、検査対象物の一例である。

建物の屋根Ｒｆに存在する複数のハゼ嵌合部ｈを１枚の画像に収めようとする場合、ドローン３０による画像の撮像方法が問題となる。図２に、ドローン３０によるハゼ嵌合部ｈの撮像を説明するための説明図を示す。図２に示されるように、建物の屋根Ｒｆには複数のハゼ嵌合部ｈが存在している。ハゼ嵌合部は、建物の屋根Ｒｆから突出した形状を有している。この場合、ドローン３０のカメラによって、略平行に並んでいる複数のハゼ嵌合部ｈを撮像する場合を考える。ハゼ嵌合部については、ハゼ嵌合部の側面が検査対象となるため、ドローン３０のカメラは、ハゼ嵌合部の側面の画像を撮像する必要がある。

この場合、例えば、図２に示されるハゼ嵌合部ｈ１とドローン３０のカメラとの間の距離は離れすぎているため、ハゼ嵌合部ｈ１の画像は必要な解像度が得られない。一方、図２に示されるハゼ嵌合部ｈ２とドローン３０のカメラとの間の距離は近すぎるため、ハゼ嵌合部ｈ２の側面の画像を得ることができない。

そこで、本実施形態の画像撮像システム１０では、複数のハゼ嵌合部をドローン３０のカメラによって撮像する際に、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が予め設定された範囲内となり、かつハゼ嵌合部がカメラによって所定の角度で撮像されるように、ドローン３０の飛行を制御する。

具体的には、ドローン３０に搭載された赤外線センサによって、建物の屋根Ｒｆとドローン３０との間の距離を逐次検知し、建物の屋根Ｒｆとドローン３０のカメラとの間の距離が所定値の範囲内となるように、ドローン３０の飛行を制御する。

なお、本実施形態においては、図３に示されるように、ドローン３０のカメラと建物の屋根Ｒｆとの間の距離が定義され、ドローン３０とハゼ嵌合部ｈとの間の角度θが定義される。

なお、ハゼ嵌合部に関しては、その溶接が適切であるか否かの合否判定を行う必要がある。従来では、ハゼ嵌合部の合否判定は人手によって行われており、検査者の主観又は技量によってばらつきが発生していた。また、人手による検査は、検査を実施するための時間がかかる、という課題がある。

そこで、本実施形態では、ハゼ嵌合部の画像が入力されると当該ハゼ嵌合部が合格であるか否かを出力する学習済みモデルを用いて、ハゼ嵌合部の溶接の合否を判定する。これにより、建物の溶接屋根のハゼ嵌合部の合否を自動的、かつ効率的に判定することができる。また、本実施形態では、ハゼ嵌合部の画像がドローン３０によって自動的に撮像されるため、画像の撮像に関しても効率的に実施される。

以下、具体的に説明する。

（制御機器２０）

制御機器２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。制御機器２０は、機能的には、図４に示されるように、制御部２２と、通信部２４とを備える。

制御部２２は、ドローン３０を飛行させるための制御信号を送信する。通信部２４は、他の装置との間において情報の送受信を行う。

なお、本実施形態においては、制御機器２０はドローン３０の起動又は停止を制御するのみである場合を説明する。

（ドローン３０）

ドローン３０は、機能的には、図４に示されるように、カメラ３２と、赤外線センサ３４と、コンピュータ３６と、ＧＮＳＳ（Global Navigation Satellite System）の一例であるＧＰＳセンサ（Global Positioning System）３８と、駆動装置４０とを備えている。

カメラ３２は、ドローン３０周辺の画像を撮像する。赤外線センサ３４は、ドローン３０と周辺の障害物のとの間の距離を逐次計測する。また、ＧＰＳセンサ３８は、ドローン３０が位置する位置情報を逐次取得する。

コンピュータ３６は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ３６は、ドローン３０の飛行を制御すると共に、カメラ３２によって撮像された画像を取得する。また、コンピュータ３６は、赤外線センサ３４によって計測された、建物の屋根とドローン３０との間の距離を取得する。

コンピュータ３６は、機能的には、図４に示されるように、情報取得部４２と、飛行制御部４４と、カメラ制御部４６と、位置情報取得部４８と、画像格納制御部５０と、通信部５２とを備えている。

情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。また、情報取得部４２は、カメラ３２によって撮像された画像を取得する。

飛行制御部４４は、ドローン３０を飛行させる駆動装置４０を制御する。なお、飛行制御部４４は、後述する制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。

カメラ制御部４６は、カメラ３２による画像の撮像を制御する。

位置情報取得部４８は、ＧＰＳセンサ３８によって検知されたドローン３０の位置を表す位置情報を取得する。

駆動装置４０は、コンピュータ３６の制御に応じて、ドローン３０を駆動させる。駆動装置４０の駆動に応じて、ドローン３０は飛行する。

（サーバ６０）

サーバ６０は、ＣＰＵ、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ、データを一時的に記憶するＲＡＭ、記憶手段としてのメモリ、及びネットワークインタフェース等を含むコンピュータによって構成されている。サーバ６０は、機能的には、図４に示されるように、画像処理部６２と、画像記憶部６４と、通信部６６と、学習用データ記憶部６８と、学習部７０と、学習済みモデル記憶部７２と、取得部７４と、抽出部７６と、合否情報取得部７８とを備える。サーバ６０は、画像検査装置の一例である。

画像処理部６２は、ドローン３０から送信された画像を取得し、後述する画像記憶部６４へ格納する。画像記憶部６４には、ドローン３０のカメラ３２によって撮像された画像が格納される。通信部６６は、他の装置との間で情報のやり取りを行う。

学習用データ記憶部６８には、学習用のハゼ嵌合部の画像と、当該学習用の画像に写るハゼ嵌合部が合格であるか否かを表す合否情報とが対応付けられた学習用データが格納されている。例えば、図５に示されるように、学習用のハゼ嵌合部の画像と、当該学習用の画像に写るハゼ嵌合部の合否情報とが対応付けられて格納される。

図５に示されるデータＩＤ「00001」の学習用データでは、学習用のハゼ嵌合部の画像「Ｘ１」とそのハゼ嵌合部の合否情報「Ａ１」とが対応付けられて格納されている。

学習部７０は、学習用データ記憶部６８に記憶されている複数の学習用データに基づいて、ハゼ嵌合部の画像から当該ハゼ嵌合部の合否情報を出力するためのモデルを機械学習させる。そして、学習部７０は、ハゼ嵌合部の画像から当該ハゼ嵌合部の合否情報を出力する学習済みモデルを得る。

本実施形態では、図６に示されるような学習済みモデルを生成する。例えば、図６に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。

図６に示される学習済みモデルは、入力されたハゼ嵌合部の画像が合格である確率と、入力されたハゼ嵌合部の画像が不合格である確率とを、合否情報として出力する。

このため、学習部７０は、複数の学習用データのうち、合格のハゼ嵌合部の画像が入力された場合には、モデルから出力される「合格である確率」が高くなるように、モデルのパラメータを学習させる。また、学習部７０は、不合格のハゼ嵌合部の画像が入力された場合には、モデルから出力される「不合格である確率」が高くなるように、モデルのパラメータを学習させる。

学習済みモデル記憶部７２には、学習部７０によって学習された学習済みモデルが格納される。

取得部７４は、画像記憶部６４に格納されている画像を読み出すことにより、建物の屋根が写る画像を取得する。この画像には、複数のハゼ嵌合部の領域が含まれている。

抽出部７６は、取得部７４により取得された画像から、建物の屋根に略平行に設置された複数のハゼ嵌合部を抽出する。図７に、ハゼ嵌合部の抽出処理を説明するための説明図を示す。

図７（Ａ）に示されるように、ハゼ嵌合部ｈを含む画像は、Ｘ方向の輝度値の変化が激しい。図７（Ｂ）は、ある特定のＹ座標であるＹ１における輝度値の分布の様子である。図７（Ｂ）に示されるＢ_ｈの部分がハゼ嵌合部に対応しており、Ｂ_ｈの部分は輝度値の変化が激しいことがわかる。

図７（Ｃ）は、隣接する画素の輝度値の差分を取ったグラフである。具体的には、図７（Ｃ）は、ある特定の位置Ｘ１の輝度値と、その隣の位置Ｘ２の輝度値との間の差分Ｅをグラフ化したものである。図７（Ｃ）からわかるように、ハゼ嵌合部の領域においては、差分Ｅの値が高いため、差分Ｅの値に応じて、ハゼ嵌合部の中心領域を抽出することができる。このため、抽出部７６は、差分Ｅの値が所定の閾値以上である部分Ｅｈを、ハゼ嵌合部の中心領域として設定する。そして、本実施形態では、中心領域から所定の幅を有する領域をハゼ嵌合部として設定する。

なお、抽出部７６は、輝度値の変化に応じて所定の幅領域を設定して、ハゼ嵌合部を抽出する。これにより、例えば、図８に示される画像Ｉ_１からハゼ嵌合部のみが写る画像Ｉ_２が抽出される。

したがって、抽出部７６は、画像の特定位置Ｙ１の垂直方向（ドローンから見た場合の垂直方向を表す。図７では、Ｘ方向に対応する。）に並ぶ画素の輝度ヒストグラムを抽出し、当該輝度ヒストグラムの輝度変化に応じて、複数のハゼ嵌合部を抽出する。

合否情報取得部７８は、抽出部７６により抽出された複数のハゼ嵌合部の各々を、学習済みモデル記憶部７２に格納された学習済みモデルへ入力して、複数のハゼ嵌合部の各々の合否情報を取得する。

そして、合否情報取得部７８は、複数のハゼ嵌合部の合否情報を、表示装置（図示省略）に表示させる。ユーザは、複数のハゼ嵌合部の合否情報を得て、どのハゼ嵌合部が合格でどのハゼ嵌合部が不合格であるのかを確認する。

次に、本実施形態の画像撮像システム１０の作用について説明する。ドローン３０の起動を表す制御信号が制御機器２０から出力され、ドローン３０がその制御信号を受信すると、ドローン３０のコンピュータ３６は、図９に示す制御処理ルーチンを実行する。

ステップＳ１００において、情報取得部４２は、赤外線センサ３４によって計測された距離の情報を取得する。

ステップＳ１０２において、飛行制御部４４は、上記ステップＳ１００で取得された距離の情報に基づいて、建物の屋根とドローン３０のカメラ３２との間の距離が予め設定された範囲内となるように、駆動装置４０を制御する。なお、建物の屋根Ｒｆとドローン３０のカメラ３２との間の距離が予め設定された範囲内となるような駆動制御が行われることにより、後述するステップＳ１０４において、建物の屋根に設置されたハゼ嵌合部がカメラ３２によって所定の角度で撮像される。

なお、ドローン３０（又はドローン３０のカメラ３２）と建物の屋根との間の距離Ｚは、250[ｍｍ]～2000[ｍｍ]が好ましい。また、画像に映るハゼ嵌合部とドローン３０との間の角度θは、40°～60°が好ましい。この場合には、数本（例えば、４本）程度のハゼ嵌合部を一枚の画像に収めることができる。その画像に写る４本程度のハゼ嵌合部の領域は適切な解像度であり、かつハゼ嵌合部の側面部分が写っているため、ハゼ嵌合部を検査するのに好適な画像が得られることになる。

ステップＳ１０４において、カメラ制御部４６は、カメラ３２に画像を撮像させる。そして、情報取得部４２は、カメラ３２によって撮像された画像を取得する。

ステップＳ１０６において、位置情報取得部４８は、ＧＰＳセンサ３８によって取得された位置情報を取得する。

ステップＳ１０８において、画像格納制御部５０は、上記ステップＳ１０４で取得された画像に対して、上記ステップＳ１０６で取得された位置情報を付与する。

ステップＳ１１０において、画像格納制御部５０は、上記ステップＳ１０８で生成された位置情報付きの画像を、サーバ６０へ送信するように制御する。通信部５２は、位置情報付きの画像情報をサーバ６０へ送信する。

ステップＳ１１２において、飛行制御部４４は、制御機器２０から停止を表す制御信号を受信したか否かを判定する。停止を表す制御信号を受信した場合には、ステップＳ１１４へ進む。一方、停止を表す制御信号を受信していない場合には、ステップＳ１００へ戻る。

ステップＳ１１４において、飛行制御部４４は、ドローン３０の飛行を停止するように駆動装置４０を制御して、制御処理ルーチンを終了する。

次に、サーバ６０の作用を説明する。ドローン３０から画像が送信されると、サーバ６０は図１０に示す格納処理ルーチンを実行する。なお、サーバ６０は、ドローン３０から画像が送信される毎に格納処理ルーチンを実行する。

ステップＳ２００において、サーバ６０の通信部５２は、位置情報付きの画像を受信する。

ステップＳ２０２において、サーバ６０の画像処理部６２は、上記ステップＳ２００で取得された位置情報付きの画像を、画像記憶部６４へ格納して、格納処理ルーチンを終了する。

画像記憶部６４に複数の画像が格納されると、サーバ６０は、それらの画像に写るハゼ嵌合部の合否を判定する処理を実行する。

まず、画像に写るハゼ嵌合部の合否を判定する前に、サーバ６０は、学習済みモデルを生成する。サーバ６０は、学習済みモデルを生成するために、図１１に示す学習処理ルーチンを実行する。

ステップＳ２１０において、学習部７０は、学習用データ記憶部６８に格納された複数の学習用データを読み出す。

ステップＳ２１２において、学習部７０は、上記ステップＳ２１０で読み出された複数の学習用データに基づいて、ハゼ嵌合部の画像から当該ハゼ嵌合部の合否情報を出力するためのモデルを機械学習させる。そして、学習部７０は、ハゼ嵌合部の画像から当該ハゼ嵌合部の合否情報を出力する学習済みモデルを生成する。

ステップＳ２１４において、学習部７０は、上記ステップＳ２１２で生成された学習済みモデルを、学習済みモデル記憶部７２へ格納して、学習処理ルーチンを終了する。

次に、サーバ６０は、画像記憶部６４に格納された複数の画像の各々に写るハゼ嵌合部の合否を判定する。具体的には、サーバ６０は、画像記憶部６４に格納された複数の画像の各々について、図１２に示す判定処理ルーチンを実行する。

ステップＳ２２０において、取得部７４は、画像記憶部６４に格納されている画像を読み出すことにより、建物の屋根が写る画像を取得する。

ステップＳ２２２において、抽出部７６は、上記ステップＳ２２０で取得された画像から、複数のハゼ嵌合部を抽出する。

ステップＳ２２４において、合否情報取得部７８は、学習済みモデル記憶部７２に格納されている学習済みモデルを読み出す。

ステップＳ２２６において、合否情報取得部７８は、上記ステップＳ２２で抽出された複数のハゼ嵌合部の各々を、上記ステップＳ２２４で読み出された学習済みモデルへ入力して、複数のハゼ嵌合部の各々の合否情報を取得する。

ステップＳ２２８において、合否情報取得部７８は、上記ステップＳ２２６で得られた合否情報の各々を結果として出力する。

表示装置（図示省略）は、合否情報取得部７８から出力された結果を表示する。ユーザは、複数のハゼ嵌合部の合否情報を得て、どのハゼ嵌合部が合格でどのハゼ嵌合部が不合格であるのかを確認する。

以上詳細に説明したように、本実施形態では、建物の屋根が写る画像から、建物の屋根に略平行に設置された複数のハゼ嵌合部を抽出し、抽出された複数のハゼ嵌合部の各々を、ハゼ嵌合部の画像から該ハゼ嵌合部の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数のハゼ嵌合部の各々の合否情報を取得する。これにより、画像中に写る構造物に略平行に並んでいる複数のハゼ嵌合部の合否を、自動的かつ効率的に判定することができる。また、建物の溶接屋根とドローンとの間の距離が所定の範囲内であり、かつ所定の角度でハゼ嵌合部が撮像されるため、検査対象のハゼ嵌合部の側面が写った適切な解像度の画像を得ることができる。これらの適切な画像を用いて、複数のハゼ嵌合部の合否を適切かつ自動的に判定することができる。

また、１枚の画像に複数のハゼ嵌合部を収めることができるため、ハゼ嵌合部の合否の判定を効率的に実施することができる。また、複数のハゼ嵌合部の画像と共に、ハゼ嵌合部の位置情報を効率的に取得することができる。

＜第２実施形態＞

次に、第２実施形態を説明する。第２実施形態では、複数のハゼ嵌合部を撮像する際に、建物の屋根面にマーカを設置する。そして、そのマーカを含む画像を撮像し、画像中のマーカの位置に基づいて、画像中のハゼ嵌合部の位置を計算する。

第１実施形態においては、ＧＰＳセンサ３８によって取得された位置情報を画像に付与する場合を例に説明したが、ＧＰＳセンサ３８によって得られる位置情報の精度は低い場合がある。

そこで、第２実施形態においては、位置情報を計算するためのマーカを建物の屋根面に設置し、そのマーカを含む画像を撮像する。そして、画像内のマーカとハゼ嵌合部との間の位置関係に応じて、各画像のハゼ嵌合部の位置を計算する。そして、その位置情報と画像とを対応付けて、建物の屋根の図面データに付与する。これにより、ハゼ嵌合部の画像の台帳を得ることができ、画像の管理を容易に行うことができる。

図１３に、第２実施形態を説明するための説明図を示す。図１３に示されるように、第２実施形態では、マーカＭ１，Ｍ２を設置して、ハゼ嵌合部を含む画像を撮像する。これにより、後述する処理によって、画像に映るハゼ嵌合部と、建物の図面データとの対応付けを行うことができる。

以下、具体的に説明する。

＜第２実施形態に係る画像撮像システムの構成＞

図１４は、第２実施形態に係る画像撮像システム２１０の構成の一例を示す図である。図１４に示されるように、本実施形態の画像撮像システム２１０は、制御機器２０と、ドローン３０と、サーバ２６０とを備えている。

サーバ２６０は、図１４に示されるように、画像処理部２６２と、画像記憶部６４と、通信部６６と、学習用データ記憶部６８と、学習部７０と、学習済みモデル記憶部７２と、取得部７４と、抽出部７６と、合否情報取得部７８と、数字認識モデル記憶部２６５と、図面データ記憶部２６６とを備えている。

本実施形態において、ドローン３０のカメラ３２によって撮像される画像には、ハゼ嵌合部とは異なるマーカが写っている。そこで、サーバ２６０の画像処理部２６２は、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。

具体的には、まず、抽出部７６は、画像記憶部６４に記憶された画像を読み出す。次に、抽出部７６は、第１実施形態と同様に、画像からハゼ嵌合部の領域を抽出する。

次に、画像処理部２６２は、複数のハゼ嵌合部の位置を計算するために、水平方向（Ｙ方向）に、仮想的なグリッド線を引く。具体的には、画像処理部２６２は、図１５に示されるような仮想的なグリッド線Ｌｙを引く。

グリッド線Ｌｙの引き方としては、ハゼ嵌合部の中心領域として設定された各点に基づいて、最小二乗法によって直線を引き、その直線から所定間隔離れた位置に、グリッド線Ｌｙを引く。これにより、図１５に示されるような、グリッド線Ｌｙが引かれる。

次に、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。なお、図１５に示されるように、マーカである巻き尺には、赤色の部分Ｒが含まれている。このため、画像処理部２６２は、マーカである巻き尺の赤色の部分Ｒを認識する。赤色の部分Ｒは、色処理によって認識される。そして、画像処理部２６２は、赤色の部分Ｒの領域を水平方向（Ｙ方向）へ延長した領域Ｐ１，Ｐ２を、マーカＭ１，Ｍ２の領域であると認識する。

次に、画像処理部２６２は、マーカＭ１の各数字とマーカＭ２の各数字との対応付けを行う。具体的には、まず、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、マーカＭ１，Ｍ２内の数字を認識する。

数字認識モデル記憶部２６５に記憶された学習済みモデルは、画像が入力されるとその画像に写る数字に関する情報を出力するようなモデルである。この学習済みモデルは、例えば、ニューラルネットワーク等によって実現される。学習済みモデルは、学習用の画像と当該画像に写る正解の数字を表す情報との組み合わせである学習用データに基づく機械学習によって得られる。

次に、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付け、グリッド線Ｌｘを引く。これにより、図１６に示されるように、Ｘ方向のグリッド線Ｌｘと、Ｙ方向のグリッド線Ｌｙとが画像に引かれたことになる。

なお、マーカＭ１，Ｍ２の目盛りは、屋根面の位置を表すものでもある。例えば、マーカの目盛りと建物の屋根の図面上の位置とを予め対応付けておくことで、マーカ上の目盛りが、建物の屋根のどこに位置するのかを判別することができる。そこで、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字を読み取り、画像上の目盛りの位置を取得する。これにより、図１７に示されるように、画像に写るハゼ嵌合部の位置情報が得られる。

次に、画像処理部２６２は、マーカＭ１，Ｍ２の目盛りの数字に応じた位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。

そして、画像処理部２６２は、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。

次に、第２実施形態のサーバ２６０の作用を説明する。画像記憶部６４に画像が記憶されると、サーバ６０は、図１８に示される画像処理ルーチンを実行する。

ステップＳ３００において、抽出部７６は、画像記憶部６４に格納されている画像を読み出し、画像からハゼ嵌合部の領域を抽出する。

ステップＳ３０２において、画像処理部２６２は、上記ステップＳ３００で抽出されたハゼ嵌合部の中心領域を表す各点に基づいて、それらの各点に沿う直線を最小二乗法によって求める。そして、画像処理部６２は、最小二乗法よって求められた直線から所定間隔離れた位置にグリッド線Ｌｙを引く。

ステップＳ３０３において、画像処理部２６２は、画像のうちのマーカＭ１，Ｍ２の領域を認識する。

ステップＳ３０４において、画像処理部２６２は、数字認識モデル記憶部２６５に記憶された学習済みモデルを用いて、上記ステップＳ３０３で認識されたマーカ内に存在する数字を認識する。

ステップＳ３０６において、画像処理部２６２は、マーカＭ１の目盛りを表す各数字とマーカＭ２の目盛りを表す各数字との間において、同一の数字を対応付ける。

ステップＳ３０７において、画像処理部２６２は、上記ステップＳ３０６における数字の対応付け結果に基づいて、グリッド線Ｌｘを引く。

ステップＳ３０８において、画像処理部２６２は、上記ステップＳ３０４での数字の認識結果に基づいて、目盛りの位置を取得する。

ステップＳ３１０において、画像処理部２６２は、上記ステップＳ３０８で得られた目盛りの位置と、Ｘ方向のグリッド線ＬｘとＹ方向のグリッド線Ｌｙとに応じた各ハゼ嵌合部の位置を表す座標とに基づいて、ハゼ嵌合部の実際の位置を計算する。

ステップＳ３１２において、画像処理部２６２は、上記ステップＳ３１０での位置の算出結果に基づいて、図面データ記憶部２６６に格納されている、屋根面の図面データの各位置に、ハゼ嵌合部の画像を付与する。これにより、屋根面の図面データにハゼ嵌合部の画像が付与された台帳が生成される。

以上詳細に説明したように、第２実施形態では、ハゼ嵌合部とは異なるマーカが写っている画像から、マーカとハゼ嵌合部との間の位置関係に応じて、複数のハゼ嵌合部の位置情報を取得する。これにより、ハゼ嵌合部が建物の屋根上のどこに位置しているのかを特定することができ、ハゼ嵌合部が写る画像を適切に管理することができる。また、建物の屋根を表す図面データに対して、ハゼ嵌合部の画像を付与することにより、ハゼ嵌合部の画像を適切に管理することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルを機械学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを用いてもよい。例えば、サポートベクターマシーン等をモデルとして用いてもよい。

また、上記実施形態では、検査対象物が建物の屋根のハゼ嵌合部である場合を例に説明したが、これに限定されるものではなく、他の検査対象物であってもよい。

また、上記実施形態では、ドローン３０内部のコンピュータによってドローン３０の飛行が制御される場合を例に説明したが、制御機器２０からの制御信号に応じて、ドローン３０の飛行を制御するようにしてもよい。

また、上記実施形態では、ハゼ嵌合部の画像からハゼ嵌合部の合否情報を出力する学習済みモデルを用いる場合を例に説明したが、ハゼ嵌合部の画像から所定の特徴量を抽出して、その特徴量を学習済みモデルへ入力し合否情報を得るようにしてもよい。また、ハゼ嵌合部の画像からハゼ嵌合部の合否情報を得る際に、所定の画像強調処理をハゼ嵌合部の画像に施して、ハゼ嵌合部の特徴部分が強調されるようにしてもよい。

また、上記ではプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。

１０ 画像撮像システム
２０ 制御機器
２２ 制御部
２４ 通信部
３０ ドローン
３２ カメラ
３４ 赤外線センサ
３６ コンピュータ
３８ ＧＰＳセンサ
４０ 駆動装置
４２ 情報取得部
４４ 飛行制御部
４６ カメラ制御部
４８ 位置情報取得部
５０ 画像格納制御部
５２ 通信部
６０，２６０ サーバ
６２，２６２ 画像処理部
６４ 画像記憶部
６６ 通信部
６８ 学習用データ記憶部
７０ 学習部
７２ 学習済みモデル記憶部
７４ 取得部
７６ 抽出部
７８ 合否情報取得部
２６５ 数字認識モデル記憶部
２６６ 図面データ記憶部

Claims (6)

1. 構造物が写る画像を取得する取得部と、
   前記取得部により取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出する抽出部と、
   前記抽出部により抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する合否情報取得部と、
   を含み、
   複数の前記検査対象物は、前記構造物の溶接屋根における複数のハゼ嵌合部である、
   画像検査装置。
2. 構造物が写る画像を取得する取得部と、
   前記取得部により取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出する抽出部と、
   前記抽出部により抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する合否情報取得部と、
   を含み、
   前記画像は、無人航空機に備えられたカメラによって撮像された画像である、
   画像検査装置。
3. 前記抽出部は、前記画像の特定位置の垂直方向に並ぶ画素の輝度ヒストグラムを抽出し、該輝度ヒストグラムの輝度変化に応じて、複数の検査対象物を抽出する、
   請求項１又は２に記載の画像検査装置。
4. 前記画像には、前記検査対象物とは異なるマーカが写っており、
   前記マーカと前記検査対象物との間の位置関係に応じて、複数の検査対象物の位置情報を取得する位置情報取得部を更に含む、
   請求項１～請求項３の何れか１項に記載の画像検査装置。
5. 構造物が写る画像を取得し、
   取得された前記画像から、前記構造物に略平行に設置された前記構造物の溶接屋根における複数のハゼ嵌合部である複数の検査対象物を抽出し、
   抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する、
   処理をコンピュータに実行させるための画像検査プログラム。
6. 構造物が写る画像であって、無人航空機に備えられたカメラによって撮像された画像を取得し、
   取得された前記画像から、前記構造物に略平行に設置された複数の検査対象物を抽出し、
   抽出された複数の検査対象物の各々を、検査対象物から該検査対象物の合否情報を出力するための予め学習された学習済みモデルへ入力して、複数の検査対象物の各々の合否情報を取得する、
   処理をコンピュータに実行させるための画像検査プログラム。