JP7479528B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、検査対象を撮影した画像から変状を検出する画像処理技術に関する。

コンクリート構造物の壁面等の検査対象を撮影した画像に対して、コンピュータ装置が機械学習を行うことでひび割れ等の変状を検出したり、ひび割れの幅等の変状の属性を画像解析により検出したりする方法がある。

特許文献１では、ユーザ端末からサーバ装置に対して、検査対象を撮影した複数の画像を送信し、サーバ装置において複数の画像を合成した合成画像に対して画像解析を行って変状を検出するシステムが記載されている。特許文献１のシステムでは、解析結果（ひび割れ）を修正したり、解析結果（ひび割れ）に対して属性情報（ひび割れの幅）を追加したりすることができ、これらの情報が関連付けてデータベースに蓄積される。また、ユーザ端末に、ひび割れと実寸を示すスケール画像を重ねて表示することができる。

特開２０２０－３８２２７号公報

変状を撮影した画像には変状の実寸情報が含まれておらず、精度よく判定するためには画像の画素あたりの実寸値を表す画像解像度等の情報を正確に指定する必要がある。しかしながら、現場で撮影される画像の枚数は多く、撮影対象に応じて撮影状況が異なるため、それぞれの画像に対して手動で画像解像度等の情報を入力する必要がある。

本発明は、上記課題に鑑みてなされ、検出対象の画像に解像度等の情報を設定する操作の負担を軽減することを目的としている。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、他の情報処理装置と通信を行う通信手段と、検査対象の変状を検出するための画像を保存するフォルダの作成及び設定を行うフォルダ管理手段と、前記フォルダに保存されている画像の設定を行う画像管理手段と、を有し、前記フォルダ管理手段は、前記フォルダに保存されている画像の１画素あたりの前記検査対象の実寸値との対応関係を表す情報を設定し、前記画像管理手段は、前記フォルダ管理手段により設定された前記情報を前記フォルダに保存されている画像に適用する。

本発明によれば、検出対象の画像に解像度等の情報を設定する操作の負担を軽減できる。

実施形態１の画像処理装置のハードウェア構成を示すブロック図。 実施形態１の画像処理装置の機能ブロック図。 実施形態１の画像一覧画面を例示する図。 実施形態１のフォルダ作成画面を例示する図。 実施形態１の解析結果一覧画面を例示する図。 実施形態１の解析結果閲覧画面を例示する図。 実施形態１の実寸情報の計算方法を説明する図。 実施形態１の画像解析を実行する処理を示すフローチャート。 実施形態３の画像解析方法選択画面を例示する図。 実施形態４のフォルダ構造を例示する図。 実施形態４のサブフォルダ作成画面を例示する図。 実施形態４のフォルダ編集画面を例示する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
実施形態１では、コンピュータ装置が画像処理装置として動作し、検査対象を撮影した画像から変状を検出するための複数の画像をフォルダで管理する場合に、フォルダで管理する画像に対して、ユーザが設定した画像の解像度を適用することにより、ユーザが個々の画像に設定する手間を軽減する例について説明する。

なお、変状とは、自動車専用道路、橋梁、トンネル、ダム等のコンクリート構造物の損傷、劣化、その他の要因によりコンクリート面に生じるひび割れ等であり、ひび割れとは、経年劣化や地震の衝撃等により構造物の壁面等に生じる始点、終点、長さ及び幅を持つ線状の損傷である。

＜ハードウェア構成＞
まず、図１を参照して、実施形態１の画像処理装置のハードウェア構成について説明する。

図１は、実施形態１の画像処理装置１００のハードウェア構成を示すブロック図である。

以下に説明する実施形態１では、コンピュータ装置が画像処理装置１００として動作する。なお、本実施形態の画像処理装置の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。

画像処理装置１００は、制御部１０１、不揮発性メモリ１０２、ワークメモリ１０３、記憶デバイス１０４、入力デバイス１０５、出力デバイス１０６、ネットワークインターフェース１０７、システムバス１０８を備える。

制御部１０１は、画像処理装置１００の全体を統括して制御するＣＰＵ、ＭＰＵ等の演算処理プロセッサを含む。不揮発性メモリ１０２は、制御部１０１のプロセッサが実行するプログラムやパラメータを格納するＲＯＭである。ここで、プログラムとは、後述する実施形態１、２の処理を実行するためのプログラムのことである。ワークメモリ１０３は、外部装置等から供給されるプログラムやデータを一時記憶するＲＡＭである。記憶デバイス１０４は、画像処理装置１００に内蔵されたハードディスクやメモリカード等の内部機器又は画像処理装置１００に着脱可能に接続されたハードディスクやメモリカード等の外部機器である。記憶デバイス１０４は、半導体メモリや磁気ディスク等から構成されるメモリカードやハードディスク等を含む。また、記憶デバイス１０４は、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ等の光ディスクに対してデータの読み出し／書き込みを行うディスクドライブから構成される記憶媒体を含む。

入力デバイス１０５は、ユーザ操作を受け付けるマウス、キーボード、タッチパネル等の操作部材であり、操作指示を制御部１０１に出力する。出力デバイス１０６は、ＬＣＤや有機ＥＬから構成されるディスプレイやモニタ等の表示装置であり、画像処理装置１００が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース１０７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに通信可能に接続する。システムバス１０８は、画像処理装置１００の各構成要素１０１～１０７をデータの授受が可能に接続するアドレスバス、データバス及び制御バスを含む。

不揮発性メモリ１０２には、制御部１０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ１０２には、画像処理装置１００が、後述する検査対象を撮影した画像から変状を検出する画像解析処理を実現するアプリケーションが格納されている。

本実施形態の画像処理装置１００の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは画像処理装置１００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置１００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

＜機能構成＞
次に、図２を参照して、実施形態１の画像処理装置の機能ブロックについて説明する。

図２は、実施形態１の画像処理装置２００の機能ブロック図である。

画像処理装置２００は、フォルダ管理部２１１、フォルダ設定保存部２１２、画像管理部２１３、画像保存部２１４、画像解析部２１５、解析結果管理部２１６及び解析結果保存部２１７を有する。画像処理装置２００の各機能は、ハードウェア及びソフトウェアにより構成される。なお、各機能部が、１つまたは複数のコンピュータ装置やサーバ装置で構成され、ネットワークにより接続されたシステムとして構成されてもよい。

フォルダ管理部２１１は、フォルダの作成、設定、削除および一覧表示の少なくともいずれかを行う機能を有する。フォルダ設定保存部２１２は、フォルダの設定を保存する機能を有する。フォルダ管理部２１１は、図３で後述する画像一覧画面、図４で後述するフォルダ作成画面、図９で後述する画像解析方法選択画面をユーザに提示する。フォルダ作成時に、ユーザは、フォルダ作成画面にフォルダ名と画像解像度等のフォルダの設定を入力する。フォルダの設定には、フォルダ名や画像解像度が含まれるが、それらに加えて、フォルダ作成時に入力された実行時メモ、フォルダ管理用の作成日時やアクセス日時等の情報が含まれてもよい。画像解像度は、画像の画素あたりの実寸情報、詳しくは、画像の１画素あたりの実寸値（例えば、ｍｍ）を表す換算値であり、画素と実寸値との比率を表す画像実寸比（ｍｍ／ｐｉｘｅｌ）である。実寸情報は、画像実寸比以外に、画像の実寸換算、解像度、画素実寸値、画像実寸値等とも呼ばれる。画像は実寸情報を含まないため、ユーザが手動で実寸情報を入力する方法、画像の実寸情報が明らかな変状の大きさから推定する方法、他の測距機器を用いて撮影と同時に実寸情報を取得する方法等がある。本実施形態では、後述するように、ユーザが手動で実寸情報を入力する方法を説明する。

画像管理部２１３は、画像の保存、フォルダへの画像の登録、削除、一覧表示および閲覧、画像解像度の変更、並びにファイル名の変更の少なくともいずれかを行う機能を有する。画像保存部２１４は、画像のデータと設定を保存する。画像管理部２１３は、複数の画像をフォルダに登録することにより管理する。ユーザは、画像保存時に、画像を登録するフォルダを１つ指定する。画像管理部２１３は、ユーザが指定したフォルダに登録された画像に対して、ユーザが設定した画像解像度を適用する設定を行う。画像保存部２１４は、フォルダに登録された画像の設定を保存する。

画像解析部２１５は、フォルダに管理された、検査対象を撮影した画像から変状の検出を行うために、ＡＩ（人工知能）の機械学習・深層学習により作成された学習モデルを用いて画像解析を実行する。解析結果保存部２１７は、画像解析結果を保存する。

解析結果管理部２１６は、解析結果保存部２１７に保存された画像解析結果の閲覧、取得等を行う機能を有する。解析結果管理部２１６は、図５で後述する解析結果一覧画面、図６で後述する解析結果閲覧画面をユーザに提示する。

＜変状を検出するワークフロー＞
以下に、本実施形態の前提として、検査対象を撮影した画像から変状の検出を行うときのワークフローの一例について説明する。本実施形態では、コンクリート構造物の壁面をカメラで撮影した画像に対して学習モデルを用いた画像解析を行い変状を検出する。

現場で検査対象を撮影する場合、変状の検出が可能な程度に十分な画像解像度であって、検査対象の全ての範囲を１枚の画像に写し込めることはあまりないため、通常は、検査対象範囲の一部を大写し（クローズアップ）で撮影する作業を、徐々に撮影範囲を移動しながら繰り返し行う。そして、このようにして撮影された複数の画像に、拡大、縮小、回転、射影変換、色調整、ノイズ除去等の画像処理を施した後、画像処理済みの複数の画像を繋ぎ合わせて１枚の合成画像を生成する。

このような作業を検査対象の図面の構成点数に合わせて繰り返し行う、例えば、橋梁を構成する断面が四角い橋脚であれば、４つの側面について繰り返し行うことで「○○大橋 橋脚１」の４枚１組の画像を準備する。検査対象によって図面の標準的な画像解像度（例えば、橋梁では０．５ｍｍ／ｐｉｘｅｌ、トンネルでは２．０ｍｍ／ｐｉｘｅｌ）が決められており、この条件を満たすように撮影が行われるが、重点的に点検を行う場合は高精細な画像に撮影する場合もある。その後、図面の解像度と位置を合わせるように合成画像を生成することで、画像解析するための画像の準備が完了する。

なお、画像を目視しながら手作業で変状を記録していく方法とは異なり、後述する画像解析によって検出された変状には誤検出や検出漏れが含まれている可能性がある。このため、画像処理装置又は外部サーバにより目視確認と修正を行う。例えば、変状がひび割れである場合は、図面や画像にひび割れを重ね、ひび割れの長さと幅を付記した解析結果が作成される。

＜画像一覧画面とフォルダ作成画面＞
次に、図３と図４を参照して、本実施形態の画像一覧画面とフォルダ作成画面について説明する。

図３は画像一覧画面を例示する図である。図３に示す画像一覧画面３０１は、フォルダ一覧エリア３０２と画像一覧エリア３０３とを含む。

フォルダ一覧エリア３０２には、作成済のフォルダのフォルダ名が所定の順番（例えば、フォルダ名や作成日時の順）で並べて表示されると共に、フォルダ作成ボタン３１２が表示される。ユーザが、フォルダ一覧３１１から所望のフォルダを選択すると、画像一覧エリア３０３に選択されたフォルダに登録された画像一覧３２２が表示される。画像一覧エリア３０３には、フォルダ一覧エリア３０２に表示されているフォルダ一覧３１１からユーザが任意に選択した所望のフォルダに登録されている画像ファイルが所定の順番（例えば、ファイル名や作成日時の順）で並べて表示される。また、画像一覧エリア３０３には、画像一覧タブ３２１ａ及び解析結果一覧タブ３２１ｂ、画像登録ボタン３２３、解析開始ボタン３２４が表示される。画像一覧タブ３２１ａは、フォルダ一覧エリア３０２から選択されたフォルダに登録された画像ファイルを画像一覧エリア３０３に表示するためのボタンである。解析結果一覧タブ３２１ｂは、フォルダ一覧エリア３０２から選択されたフォルダに登録された画像ファイルの解析結果を画像一覧エリア３０３に表示するためのボタンである。

ユーザは、フォルダを新規に作成する場合は、フォルダ作成ボタン３１２を操作する。また、ユーザは、画像ファイルをフォルダに登録する場合は、画像登録ボタン３２３を操作する。また、画像解析を実行する場合は、解析開始ボタン３２４を操作する。

また、ユーザは、画像ファイルをフォルダに登録する場合に、フォルダ一覧３１１に所望のフォルダが存在しない場合は、フォルダ作成ボタン３１２を操作して新規にフォルダを作成できる。

フォルダ作成ボタン３１２が操作されると、図４に示すフォルダ作成画面４０１が表示される。

図４はフォルダ作成画面を例示する図である。フォルダ作成画面４０１は、フォルダ名入力欄４１１と画像解像度入力欄４１２とＯＫボタン４２１とキャンセルボタン４２２とを含む。

ユーザは、フォルダ名入力欄４１１に、検査対象の名前等の検査対象の判別が容易となる名称を入力し、画像解像度入力欄４１２に、フォルダに登録された画像に適用される画像解像度を入力する。ＯＫボタン４２１は、フォルダ名入力欄４１１に入力したフォルダ名と画像解像度入力欄４１２に入力した画像解像度を確定しフォルダの設定を保存するためのボタンである。キャンセルボタン４２２は、フォルダ名入力欄４１１に入力したフォルダ名と画像解像度入力欄４１２に入力した画像解像度を取消し、画像一覧画面３０１に戻るためのボタンである。

図３の画像一覧画面３０１における画像一覧エリア３０３の画像登録ボタン３２３が操作されると、フォルダに登録する画像を選択することをユーザに促す画面が表示される。ユーザは、画像を登録するフォルダに画像に適用する画像解像度を設定しておくことで、画像登録時にフォルダに設定された画像解像度を、フォルダに登録されている全画像に適用できるようになる。画像一覧３２２に表示されている画像ファイルには、適用中の画像解像度又は変更後の画像解像度が付記される。

また、画像一覧３２２に表示されている画像ファイルには編集ボタン３２５が表示され、該当する画像ファイルのファイル名や画像解像度を編集することができる。また、画像一覧３２２に表示されている画像ファイルにはチェックボックス３２６が表示され、ユーザは、所望の画像ファイルのチェックを入れた後、解析開始ボタン３２４を操作すると、実行時メモの入力を受け付けて、チェックされた画像ファイルに対して画像解析が実行される。実行時メモは、例えば、画像解析を実行した日時情報、検査箇所、検査対象の注意レベル等のユーザが任意に入力可能な付記情報である。

図３の画像一覧画面３０１における画像一覧エリア３０３の解析結果一覧タブ３２１ｂが操作されると、図５に示す解析結果一覧画面５０１が表示される。画像解析に用いる学習モデルに画像解像度をパラメータの１つとして与えることで、変状の実寸情報に応じた画像解析が実行され、画像解像度を与えない場合に比べて検出精度の向上が期待できる。

＜解析結果一覧画面と解析結果閲覧画面＞
次に、図５及び図６を参照して、本実施形態の解析結果一覧画面と解析結果閲覧画面について説明する。

図５は解析結果一覧画面を例示する図である。解析結果一覧画面５０１は、フォルダ一覧エリア５０２と解析結果一覧エリア５０３とを含む。フォルダ一覧エリア５０２は、図３の画像一覧画面３０１におけるフォルダ一覧エリア３０２と同様である。フォルダ一覧エリア５０２のフォルダ作成ボタン５１２は、図３の画像一覧画面３０２におけるフォルダ作成ボタン３１２と同様である。

解析結果一覧エリア５０３には、画像一覧３２２においてチェックを入れた画像ファイルに対して画像解析を実行した結果である解析結果一覧５２２と画像一覧タブ５２１ａと解析結果一覧タブ５２１ｂが表示される。ユーザは、画像一覧タブ５２１ａを操作すると、図３の画像一覧画面３０１を表示することができる。

解析結果一覧５２２には、画像解析のステータスとして、解析完了、解析中、解析失敗のいずれかが実行時メモと共に表示され、各解析結果には閲覧ボタン５２３とダウンロードボタン５２４が表示される。解析結果一覧５２２の所望の解析結果について、閲覧ボタン５２３が操作されると、図６に示す解析結果閲覧画面６０１が表示され、ダウンロードボタン５２４が操作されると、画像解析により検出された変状のデータファイルが外部サーバからダウンロードされる。

図６は、解析結果閲覧画面を例示する図である。解析結果閲覧画面６０１には、フォルダ名６１１ａと実行時メモ６１１ｂ、解析結果表示欄６１２、凡例表示欄６１３、戻るボタン６１４が表示される。フォルダ名６１１ａと実行時メモ６１１ｂには、画像解析を実行した画像ファイルが登録されているフォルダ名と実行時メモが表示される。解析結果表示欄６１２には、画像解析により検出された変状としてひび割れ等の解析結果６２１が検出対象の画像に重ね合わせて表示される。ひび割れは、長さや太さ（幅）の実寸情報を含み、ひび割れの長さや太さ（幅）に応じて異なる表示形態（例えば、色や線種）で識別可能に表示される。凡例表示欄６１３には、ひび割れの長さや太さ（幅）の実寸情報と表示形態との対応が表示される。ひび割れの長さや太さ（幅）の実寸情報は、画像解像度と画像の画素数から計算できる。また、ひび割れの実寸情報を図面のデータと照らし合わせることで、解析結果の座標を図面の座標系に合わせた数値に変換し、画像処理装置又は外部サーバにおける閲覧や編集が可能となる。

図７は、ひび割れの実寸情報を画像解像度と画像の画素数から計算する方法を説明する図である。図７（ａ）はひび割れを直線で近似する計算方法を説明する図である。図７（ｂ）はひび割れを折れ線で近似する計算方法を説明する図である。

図７（ａ）に示すひび割れ７０１において、ひび割れの太さ（幅）７１１が求めたい実寸情報である。検査対象の画像では、ひび割れの太さ（幅）７１１は斜め方向に面積を持つため、水平と垂直の長さから計算する。ひび割れの太さ（幅）７１１に対応する画像の画像解像度をｋ、水平方向の画素数をａ、垂直方向の画素数をｂとすると、以下の直線による近似式１から実寸情報を算出できる。
（式１）
ｋ×√（ａ×ａ＋ｂ×ｂ）
ひび割れの長さ７１２も同様に、式１において、ひび割れの太さ（幅）７１１に対応する水平方向の画素数ａと垂直方向の画素数ｂを、ひび割れの長さ７１２に対応する水平方向の画素数ｃ、垂直方向の画素数ｄに置き換えることで計算できる。なお、直線による近似には適さない曲線形状のひび割れの場合は、図７（ｂ）に示すように、ひび割れ７０１を折れ線７１３のように複数の直線で近似し、折れ線７１３の各直線の長さの合計から計算することもできる。

ユーザは、解析結果閲覧画面６０１の戻るボタン６１４を操作することで、図５に示す解析結果一覧画面５０１を表示することができる。

＜画像解析を実行する処理＞
図８は、本実施形態の画像処理装置により画像解析を実行する処理を示すフローチャートである。

図８の処理は、図１に示す画像処理装置１００の制御部１０１が不揮発性メモリ１０２に格納されているプログラムをワークメモリ１０３に展開して実行して各構成要素を制御し、図２に示す機能を実行することにより実現される。

Ｓ８０１では、制御部１０１は、検出対象の画像が登録されたフォルダが作成済みであるか否かを判定する。制御部１０１は、フォルダが作成済みであると判定した場合は、処理をＳ８０４に進める。制御部１０１は、フォルダが作成されていないと判定した場合は、処理をＳ８０２に進める。

Ｓ８０２では、制御部１０１は、フォルダ管理部２１１が図３に示す画像一覧画面３０１を出力デバイス１０６に表示し、フォルダ作成ボタン３１２の操作を受け付ける。

Ｓ８０３では、制御部１０１は、フォルダ管理部２１１が図４に示すフォルダ作成画面４０１を出力デバイス１０６に表示し、フォルダ名入力欄４１１と画像解像度入力欄４１２への入力を受け付ける。また、制御部１０１は、ＯＫボタン４２１の操作を受け付けると、フォルダ管理部２１１がフォルダを新規に作成し、新規に作成されるフォルダのフォルダ名と画像解像度の設定をフォルダ設定保存部２１２に保存する。このように画像を登録するフォルダに画像に適用する画像解像度を設定しておくことで、画像登録時にフォルダに設定された画像解像度を、フォルダに登録されている全画像に適用できるようになる。

Ｓ８０４では、制御部１０１は、フォルダ管理部２１１が図３に示す画像一覧画面３０１を出力デバイス１０６に表示し、画像登録ボタン３２３の操作を受け付けると、Ｓ８０３においてフォルダ設定保存部２１２に保存したフォルダの設定における画像解像度を登録する画像に適用するように、画像管理部２１３が登録する画像の設定を行い、画像保存部２１４が画像の設定を保存する。このように画像を登録するフォルダに画像に適用する画像解像度を設定しておくことで、画像登録時にフォルダに設定された画像解像度を、フォルダに登録されている全画像に適用できる。

Ｓ８０５では、制御部１０１は、フォルダ管理部２１１により図３に示す画像一覧画面３０１を出力デバイス１０６に表示し、所望の画像ファイルにチェックを入れる操作と、解析開始ボタン３２４の操作を受け付ける。

Ｓ８０６では、制御部１０１は、画像解析部２１５がチェックされた画像ファイルに対して画像解析を実行する。

Ｓ８０７では、制御部１０１は、画像解析部２１５による画像解析が完了したか否かを判定する。制御部１０１は、画像解析が完了したと判定した場合は、処理をＳ８０８に進める。制御部１０１は、画像解析が完了していないと判定した場合は、処理をＳ８０６に戻す。

Ｓ８０８では、制御部１０１は、解析結果保存部２１７により画像解析結果を保存する。また、制御部１０１は、図３に示す画像一覧画面３０１における解析結果一覧タブ３２１ｂの操作を受け付けると、解析結果管理部２１６により図５に示す解析結果一覧画面５０１を出力デバイス１０６に表示する。

以上のように、実施形態１によれば、検出対象の画像を登録するフォルダに画像に適用する画像解像度を設定しておくことで、画像登録時にフォルダに設定された画像解像度を、フォルダに登録されている全画像に適用できる。よって、検出対象の個々の画像に画像解像度を手動で設定する必要がないので、検出対象の画像に画像解像度を設定する操作の負担を軽減できる。また、設定された画像解像度に応じた画像解析が実行されるので、画像解像度を与えない画像解析に比べて変状を検出する精度の向上が期待できる。

［実施形態２］
実施形態１では、フォルダ作成時に図４に示すフォルダ作成画面４０１にフォルダ名と画像解像度を入力する例を説明した。これに対して、実施形態２では、フォルダ作成画面４０１に入力した画像解像度が標準値又は推奨値から逸脱している場合にユーザに警告を表示する、もしくは自動的に適正な値を設定する例を説明する。

＜フォルダ作成時の画像解像度＞
図４に示すフォルダ作成画面４０１では、フォルダ名入力欄４１１に画像解像度よりも先にフォルダ名を入力することを活用し、事前に登録した検査対象の名称（橋梁やトンネル等）に合わせて設定した単語に合致した場合に画像解像度の推奨値に応じた処理を行うことができる。

画像解像度は、検査対象に応じて標準値又は推奨値が試験等により事前に設定されている。例えば、橋梁の「橋脚」に対する画像解像度の標準値又は推奨値は「０．５」である。本実施形態では、ユーザが誤って画像解像度入力欄４１２に「５．０」と入力した場合、標準値又は推奨値から逸脱しているため警告を表示する。詳しくは、画像解像度が標準値又は推奨値から上下に５０％を超えている場合、この例では所定の範囲０．２５～１．０から逸脱している場合に、フォルダ作成画面４０１か、ＯＫボタン４２１が操作された時のポップアップ画面等でユーザに警告を表示する。これにより、ユーザに修正を促すことができる。

あるいは、画像解像度が所定の範囲から逸脱している場合に、自動的に画像解像度入力欄４１２に標準値又は推奨値である「０．５」を入力してもよい。自動で入力される値は、ユーザにより変更可能であってもよい。

［実施形態３］
実施形態１では、画像解析を実行するときに実行時メモを設定してから実行する例を説明した。実施形態３では、ユーザに映像解析方法を選択する、もしくは自動的に設定する例を説明する。

＜画像解析方法選択画面＞
図９は画像解析方法選択画面を例示する図である。

図３に示す画像一覧画面３０１において、画像登録ボタン３２３が操作されると、図９に示す画像解析方法選択画面９０１が表示される。

画像解析方法選択画面９０１は、実行時メモ入力欄９１１、学習モデル選択欄９１２、パラメータ入力欄９１３、ＯＫボタン９２１、キャンセルボタン９２２を含む。

実行時メモ入力欄９１１には、実施形態１と同様の実行時メモが入力される。学習モデル選択欄９１２は、複数の学習モデルが選択可能である。ユーザは、学習モデル選択欄９１２に登録されている複数の学習モデルからから検査対象に適した学習モデルを選択することができる。パラメータ入力欄９１３は、学習モデルに与える画像解像度等のパラメータを入力することができる。また、学習モデル選択欄９１２で選択可能な学習モデルごとに、複数（例えば、３種類）のパラメータを入力することができる。ＯＫボタン９２１は、実行時メモ入力欄９１１に入力した実行時メモ、学習モデル選択欄９１２から選択された学習モデル、パラメータ入力欄９１３に入力した１つ以上のパラメータを確定し画像解析方法の設定を保存するためのボタンである。キャンセルボタン９２２は、実行時メモ入力欄９１１に入力した実行時メモ、学習モデル選択欄９１２から選択された学習モデル、パラメータ入力欄９１３に入力した１つ以上のパラメータを取消し、入力をやり直すためのボタンである。

学習モデルは事前に特定の検出対象の画像を用いて学習を行っているため、検査対象に適した学習モデルをユーザが選択することで精度の向上が期待できる。また、同じ学習モデルでパラメータを変更し解析結果を比較したり、ユーザの環境に合わせた学習モデルを用意して導入したりすることで改善することも可能となる。

本実施形態では、ユーザが画像解析方法選択画面９０１において手動で画像解析方法を選択する例を説明したが、画像処理装置が自動的に選択すると作業の手間が削減できる。例えば画像解析方法選択画面９０１に学習モデルの選択よりも先に実行時メモを入力することを活用し、「橋脚」、「橋梁」等の単語が含まれる場合、推奨選択肢として自動的に「橋脚用学習モデル」を選択済みにし、ユーザが後から変更可能にしておくことも可能である。

［実施形態４］
実施形態１から３では、フォルダに画像解像度を設定することで画像登録時にフォルダの画像解像度が画像に適用される例を説明した。これに対して、実施形態４では、フォルダを階層構造として作成可能とし、上位のフォルダの解像度や任意の解像度を上位のフォルダより下の階層である下位のフォルダや画像に適用する例を説明する。

＜サブフォルダの概念＞
図１０は、実施形態４のフォルダ構造１００１を説明する模式図である。

実施形態１から３で説明したフォルダと画像の関係は、フォルダ１０１１に登録された２枚の画像１０１２のように、フォルダの直下に画像が登録されることが前提であった。実施形態４では、少なくとも１つのフォルダが階層的に登録できる機能が追加される。

フォルダ１０２１には、フォルダ１０２１の下位にサブフォルダ１０２２とサブフォルダ１０２３が登録され、サブフォルダ１０２２の下位に２枚の画像１０２４、サブフォルダ１０２３の下位に画像１０２５が登録されている。フォルダ１０３１には、フォルダ１０３１の下位に２枚の画像１０３２とサブフォルダ１０３３が登録され、サブフォルダ１０３３の下位に２枚の画像１０３４が登録されている。このように、フォルダの下位に少なくとも１つのサブフォルダまたは画像を登録できる。ここで、フォルダとサブフォルダを総称してフォルダと呼び、フォルダと画像を要素と総称すると、上位のフォルダに少なくとも１つの要素を登録できることで、フォルダと画像の階層構造を実現できる。例えば、最上位のフォルダ１０４１の下位に、任意の数のフォルダと画像が登録された複数の階層構造を実現できる。

この機能によって、「○○大橋橋脚１」「○○大橋橋脚２」の各フォルダを作成する代わりに、「○○大橋」フォルダの下位に「橋脚１」「橋脚２」とサブフォルダを作成することでフォルダや画像をさらに効率よく管理できる。

図１０では、複数の最上位フォルダを作成する例を示しているが、最上位フォルダを１つに限定し、下位に全ての要素が登録される構造としてもよい。

＜２階層のフォルダ構造の説明＞
以下では、説明の容易化のため、２階層のフォルダとサブフォルダの例を説明するが、これに限らず、任意の数のフォルダと画像が登録された複数の階層構造であってもよい。

実施形態４では、フォルダ管理部２１１は、実施形態１で説明した機能に加え、サブフォルダの作成、設定、削除、一覧表示などを行う機能をさらに有する。さらに、図１１で後述するサブフォルダ作成画面と、図１２で後述するフォルダ編集画面をユーザに提示する。サブフォルダ作成時に、ユーザは、上位のフォルダを指定してサブフォルダ作成画面を表示し、サブフォルダ作成画面にサブフォルダの設定情報としてサブフォルダ名と画像解像度を入力する。サブフォルダの設定情報は、サブフォルダ名や画像解像度に加えて、サブフォルダ作成時に入力された実行時メモ、サブフォルダ管理用の作成日時やアクセス日時等の情報が含まれてもよい。

次に、図１１を参照して、実施形態４のサブフォルダ作成画面について説明する。サブフォルダ作成画面１１０１は、フォルダ名表示欄１１３１、サブフォルダ名入力欄１１１１、画像解像度入力欄１１１、ＯＫボタン１１２１およびキャンセルボタン１１２２を含む。

ユーザは、サブフォルダ名入力欄１１１１に、検査対象の名前等の検査対象の判別が容易となる名称を入力し、画像解像度入力欄１１１２に、サブフォルダに登録されている画像に適用される画像解像度を入力する。画像解像度入力欄１１１２には、ユーザにより指定され、フォルダ名表示欄１１３１に表示された上位フォルダで設定されている画像解像度が初期値として自動的に入力済みであり、ユーザは初期値を変更することができる。ＯＫボタン１１２１は、サブフォルダ名入力欄１１１１に入力したサブフォルダ名と画像解像度入力欄１１１２に入力された画像解像度を確定し保存するためのボタンである。キャンセルボタン１１２２は、サブフォルダ名入力欄１１１１に入力されたサブフォルダ名と画像解像度入力欄１１１２に入力した画像解像度を取消し、画像一覧画面３０１に戻るためのボタンである。

次に、図１２を参照して、作成済みのフォルダの編集を行うフォルダ編集画面について説明する。フォルダ編集画面１２０１は、フォルダ名入力欄１２１１、画像解像度入力欄１２１２、画像解像度の下位要素に反映するチェックボックス１２１３、ＯＫボタン１２２１およびキャンセルボタン１２２２を含む。

ユーザは、フォルダ作成時に入力したフォルダの設定情報が反映されているフォルダ名入力欄１２１１と画像解像度入力欄１２１２を確認し、必要に応じて変更できる。さらに、ユーザは、変更した画像解像度をサブフォルダに反映させるチェックボックス１２１３により、画像解像度入力欄１２１２に入力した画像解像度を下位のフォルダに反映させるか否かを設定することができる。チェックボックス１２１３にチェックを入れた場合は編集中のフォルダの下位のフォルダと画像の全てに、画像解像度入力欄１２１２に入力した画像解像度を自動的に反映し、チェックを入れなかった場合は画像解像度入力欄１２１２に入力した画像解像度を反映せず、編集中のフォルダ以下に新たに登録されるフォルダや画像に反映する。ＯＫボタン１２２１は、チェックボックス１２１３の設定を確定し、画像解像度入力欄１２１２に入力された画像解像度をサブフォルダに反映し保存するためのボタンである。キャンセルボタン１２２２は、チェックボックス１２１３の設定を取り消し、フォルダ名入力欄１２１１に入力された画像解像度更をサブフォルダに反映せずに、図３の画像一覧画面３０１に戻るためのボタンである。

［変形例］
上述した実施形態では、画像解像度は単一の値を受け付ける例を説明したが、縦方向と横方向の別々の値を受け付けてもよい。

また、上述した実施形態では、フォルダに登録する画像は合成後の画像の例を説明したが、合成前の個別の画像をそのまま登録してもよい。

また、上述した実施形態では、画像をフォルダに登録するときに、当該フォルダに設定された画像解像度を画像に適用する例を説明した。これに対して、画像を登録するときに画像解像度の入力画面を表示し、編集可能な入力欄に画像解像度の初期値が入力された状態とし、ユーザに編集と承諾を求めるようにしてもよい。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

本明細書の開示は、以下の画像処理装置、画像処理方法およびプログラムを含む。
［構成１］
検査対象の変状を検出するための画像を保存するフォルダの作成及び設定を行うフォルダ管理手段と、
前記フォルダに保存されている画像の設定を行う画像管理手段と、を有し、
前記フォルダ管理手段は、前記フォルダに保存されている画像の解像度を設定し、
前記画像管理手段は、前記フォルダ管理手段により設定された解像度を前記フォルダに保存されている画像に適用することを特徴とする画像処理装置。
［構成２］
前記画像に対して画像解析を実行する画像解析手段を有することを特徴とする構成１に記載の画像処理装置。
［構成３］
前記フォルダ管理手段は、前記フォルダの作成、設定、削除および一覧表示の少なくともいずれかを行うことを特徴とする構成１または２に記載の画像処理装置。
［構成４］
前記画像管理手段は、画像の保存、前記フォルダへの画像の登録、削除、一覧表示および閲覧、画像の解像度の変更、並びにファイル名の変更の少なくともいずれかを行うことを特徴とする構成１から３のいずれか１項に記載の画像処理装置。
［構成５］
前記フォルダの設定を保存するフォルダ設定保存手段と、
前記画像の設定を保存する画像保存手段と、
前記画像解析の結果を保存する解析結果保存手段と、を有することを特徴とする構成２に記載の画像処理装置。
［構成６］
前記フォルダ管理手段は、ユーザ操作に応じて前記フォルダに保存されている画像の解像度を設定し、
前記画像管理手段は、前記解像度を前記フォルダに保存されている画像に適用し、
前記画像解析手段は、前記画像を入力することで画像解析を実行する学習モデルと前記画像に適用されている解像度とを用いて前記画像解析を実行することを特徴とする構成２または５に記載の画像処理装置。
［構成７］
前記画像解析手段は、前記画像解析に用いる学習モデルに前記画像の解像度をパラメータの１つとして与えることで、前記検査対象の変状の実寸情報に応じた画像解析を実行することを特徴とする構成２、５、６のいずれか１項に記載の画像処理装置。
［構成８］
前記フォルダ管理手段は、前記フォルダに保存されている画像の一覧を表示し、
前記画像解析手段は、前記画像に関する画像解析結果を表示することを特徴とする構成２、５、６、７のいずれか１項に記載の画像処理装置。
［構成９］
前記フォルダ管理手段は、前記フォルダの設定としてフォルダ名と解像度を入力するための画面を表示することを特徴とする構成１から８のいずれか１項に記載の画像処理装置。
［構成１０］
前記フォルダ管理手段は、前記フォルダの設定として前記画像解析手段による画像解析方法を選択するための画面を表示し、
前記画像解析方法は、前記画像を入力することで前記画像解析を実行する学習モデルと、前記学習モデルに与える解像度を含むことを特徴とする構成２、５、６、７、８のいずれか１項に記載の画像処理装置。
［構成１１］
前記フォルダ管理手段は、検査対象の名称から前記画像解析方法を選択して前記画面に表示することを特徴とする構成１０に記載の画像処理装置。
［構成１２］
前記フォルダ管理手段は、前記画面に入力された解像度が標準値又は推奨値から逸脱している場合に警告を表示する、又は、前記画面に標準値又は推奨値を入力することを特徴とする構成９に記載の画像処理装置。
［構成１３］
前記画像解析手段は、前記検査対象の図面のデータに基づいて、解析結果の座標を図面の座標系に合わせた数値に変換することを特徴とする構成２、５、６、７、８、１１のいずれか１項に記載の画像処理装置。
［構成１４］
前記フォルダ管理手段は、前記変状を検出するための画像を保存するフォルダを複数の階層構造で作成及び設定を行うことを特徴とする構成１から１３のいずれか１項に記載の画像処理装置。
［構成１５］
前記フォルダ管理手段は、上位のフォルダよりも下の階層である下位のフォルダを作成する画面に、前記上位のフォルダで設定されている画像の解像度を自動的に入力済みとすることを特徴とする構成１４に記載の画像処理装置。
［構成１６］
前記フォルダ管理手段は、上位のフォルダで設定されている画像の解像度が編集された場合、前記上位のフォルダよりも下の階層である下位のフォルダに対して編集された解像度を適用する指示に応じて、下位のフォルダの全てに対して編集された解像度を自動的に反映することを特徴とする構成１４または１５に記載の画像処理装置。
［構成１７］
フォルダ管理手段が、検査対象の変状を検出するための画像を保存するフォルダの作成及び設定を行う第１のステップと、
画像管理手段が、前記フォルダに保存されている画像の設定を行う第２のステップと、を有し、
前記第１のステップでは、前記フォルダに保存されている画像の解像度を設定し、
前記第２のステップでは、前記第１のステップで設定された解像度を前記フォルダに保存されている画像に適用することを特徴とする画像処理方法。
［構成１８］
コンピュータを、構成１から１６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

１００、２００…画像処理装置、１０１…制御部、２１１…フォルダ管理部、２１２…フォルダ設定保存部、２１３…画像管理部、２１４…画像保存部、２１５…画像解析部、２１６…解析結果管理部、２１７…解析結果保存部

Claims (21)

1. 他の情報処理装置と通信を行う通信手段と、
   検査対象の変状を検出するための画像を保存するフォルダの作成及び設定を行うフォルダ管理手段と、
   前記フォルダに保存されている画像の設定を行う画像管理手段と、を有し、
   前記フォルダ管理手段は、前記フォルダに保存されている画像の１画素あたりの前記検査対象の実寸値との対応関係を表す情報を設定し、
   前記画像管理手段は、前記フォルダ管理手段により設定された前記情報を前記フォルダに保存されている画像に適用することを特徴とする画像処理装置。
2. 前記画像に対して画像解析を実行する画像解析手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記フォルダ管理手段は、前記フォルダの作成、設定、削除および一覧表示の少なくともいずれかを行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像管理手段は、画像の保存、前記フォルダへの画像の登録、削除、一覧表示および閲覧、前記情報の変更、並びにファイル名の変更の少なくともいずれかを行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記フォルダの設定を保存するフォルダ設定保存手段と、
   前記画像の設定を保存する画像保存手段と、
   前記画像解析の結果を保存する解析結果保存手段と、を有することを特徴とする請求項２に記載の画像処理装置。
6. 前記フォルダ管理手段は、ユーザ操作に応じて前記フォルダに保存されている画像の前記情報を設定し、
   前記画像管理手段は、前記情報を前記フォルダに保存されている画像に適用し、
   前記画像解析手段は、前記画像を入力することで画像解析を実行する学習モデルと前記画像に適用されている前記情報とを用いて前記画像解析を実行することを特徴とする請求項２に記載の画像処理装置。
7. 前記画像解析手段は、前記画像解析に用いる学習モデルに前記情報をパラメータの１つとして与えることで、前記画像の画像解析を実行することを特徴とする請求項２に記載の画像処理装置。
8. 前記フォルダ管理手段は、前記フォルダに保存されている画像の一覧を表示し、
   前記画像解析手段は、前記画像に関する画像解析結果を表示することを特徴とする請求項２に記載の画像処理装置。
9. 前記フォルダ管理手段は、前記フォルダの設定としてフォルダ名と前記情報を入力するための画面を表示することを特徴とする請求項１に記載の画像処理装置。
10. 前記フォルダ管理手段は、前記フォルダの設定として前記画像解析手段による画像解析方法を選択するための画面を表示し、
    前記画像解析方法は、前記画像を入力することで前記画像解析を実行する学習モデルと、前記学習モデルに与える前記情報を含むことを特徴とする請求項２に記載の画像処理装置。
11. 前記フォルダ管理手段は、検査対象の名称から前記画像解析方法を選択して前記画面に表示することを特徴とする請求項１０に記載の画像処理装置。
12. 前記フォルダ管理手段は、前記画面に入力された前記情報が標準値又は推奨値から逸脱している場合に警告を表示する、又は、前記画面に標準値又は推奨値を入力することを特徴とする請求項９に記載の画像処理装置。
13. 前記画像解析手段は、前記検査対象の図面のデータに基づいて、解析結果の座標を図面の座標系に合わせた数値に変換することを特徴とする請求項２に記載の画像処理装置。
14. 前記フォルダ管理手段は、前記変状を検出するための画像を保存するフォルダを複数の階層構造で作成及び設定を行うことを特徴とする請求項１に記載の画像処理装置。
15. 前記フォルダ管理手段は、上位のフォルダよりも下の階層である下位のフォルダを作成する画面に、前記上位のフォルダで設定されている画像の前記情報を自動的に入力済みとすることを特徴とする請求項１４に記載の画像処理装置。
16. 前記フォルダ管理手段は、上位のフォルダで設定されている画像の前記情報が編集された場合、前記上位のフォルダよりも下の階層である下位のフォルダに対して編集された前記情報を適用する指示に応じて、下位のフォルダの全てに対して編集された前記情報を自動的に反映することを特徴とする請求項１４に記載の画像処理装置。
17. 前記情報は、画素と実寸値との比率を表す実寸比であることを特徴とする請求項１に記載の画像処理装置。
18. 前記情報を取得する取得手段を有することを特徴とする請求項１に記載の画像処理装置。
19. 前記取得手段は、ユーザの入力操作によって前記情報を取得することを特徴とする請求項１８に記載の画像処理装置。
20. 通信手段が、他の情報処理装置と通信を行う通信ステップと、
    フォルダ管理手段が、検査対象の変状を検出するための画像を保存するフォルダの作成及び設定を行う第１のステップと、
    画像管理手段が、前記フォルダに保存されている画像の１画素あたりの前記検査対象の実寸値との対応関係を表す情報の設定を行う第２のステップと、を有し、
    前記第１のステップでは、前記フォルダに保存されている画像の前記情報を設定し、
    前記第２のステップでは、前記第１のステップで設定された前記情報を前記フォルダに保存されている画像に適用することを特徴とする画像処理方法。
21. コンピュータを、請求項１から１９のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images