JP2024036214A - 画像処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】本発明は、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とする。【解決手段】構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する。前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御手段であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う。【選択図】図３

Description

本発明は、画像処理装置、方法、及びプログラムに関する。

近年、画像解析を用いて構造物の変状（例えば、ひび割れ）を検出することが行われている。例えば、特許文献１は、画像から構造物の変状を検出した結果を画面に表示する技術を提案している。特許文献１は、各変状の位置を示す線の色及び線種等を各変状の幅に応じて互いに異なるように画面に表示することができる。これにより、ユーザは画面上の各変状を視認することができる。

特許第６５６９００２号公報

しかしながら、特許文献１の技術では、互いに色が類似する変状オブジェクトの一部と、対象（画像又は他の変状オブジェクトの一部）とが重複する場合、ユーザが変状オブジェクトと対象のそれぞれを視認しづらいといった課題がある。

そこで、本発明は、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る画像処理装置は、以下の構成を備える。すなわち、画像処理装置は、構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得手段と、前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御手段であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御手段と、を備える、ことを特徴とする。

本発明によれば、画像に重畳表示された変状オブジェクトの色とその背景の色が類似する場合であっても、変状オブジェクトとその背景それぞれを識別することができる画像処理装置を提供することを目的とすることができる。

画像処理装置のハードウェア構成の一例を示すブロック図。 画像処理装置の機能構成の一例を示すブロック図。 画像解析結果の閲覧画面の一例を示す図。 パラメータ比較の閲覧画面の一例を示す図。 画像処理装置が実行する処理の一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
第１実施形態は、構造物の変状の位置を示す画像を画面に表示し、変状の種類に応じて、変状の輪郭線の色相、彩度、及び明度のいずれか1つ以上を変更する。なお、変状とは、自動車専用道路、橋梁、トンネル、及びダム等の構造物の損傷、劣化、及びその他の要因によりコンクリート面に生じるひび割れのことである。ひび割れとは、経年劣化及び地震の衝撃により構造物の壁面に生じる始点、終点、長さ及び幅を持つ線状の損傷のことである。

図１は、画像処理装置のハードウェア構成の一例を示すブロック図である。

以下に説明する実施形態では、コンピュータが画像処理装置１００として動作する。なお、本実施形態の画像処理装置の処理は単一のコンピュータで実現してもよいし、必要に応じて複数のコンピュータに各機能を分散することで実現してもよい。複数のコンピュータは、互いに通信可能に接続されている。

画像処理装置１００は、制御部１０１、揮発性メモリ１０２、不揮発性メモリ１０３、記憶デバイス１０４、入力装置１０５、出力装置１０６、通信装置１０７、及びシステムバス１０８を有する。

制御部１０１は、画像処理装置１００の全体を統括して制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）等の演算処理プロセッサを含む。

揮発性メモリ１０２は、外部装置等から供給されるプログラム及びデータを一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

不揮発性メモリ１０３は、制御部１０１のプロセッサが実行するプログラム及びパラメータを格納するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）である。

記憶デバイス１０４は、画像処理装置１００に内蔵されたハードディスク及びメモリーカード等の内部機器又は画像処理装置１００に着脱可能に接続されたハードディスク及びメモリーカード等の外部機器である。記憶デバイス１０４は、半導体メモリ及び磁気ディスク等から構成されるメモリーカード及びハードディスク等を含む。また、記憶デバイス１０４は、ＤＶＤ及びＢｌｕｅ－ｒａｙ Ｄｉｓｃ等の光ディスクに対してデータの読み出し／書き込みを行うディスクドライブを含む。

入力装置１０５は、ユーザ操作を受け付けるマウス、キーボード、及びタッチパネル等であり、受け付けたユーザ操作に係る指示を制御部１０１に出力する。

出力装置１０６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及び有機ＥＬディスプレイ等の表示装置であり、画像処理装置１００が保有するデータ及び外部機器から供給されたデータを表示する。

通信装置１０７は、インターネット及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークに通信可能に接続する装置である。

システムバス１０８は、画像処理装置１００を構成する各部間でのデータの送受信を可能にするアドレスバス、データバス及び制御バスを含む。

不揮発性メモリ１０３は、制御部１０１が実行する基本的なソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及びＯＳと協働して応用的な機能を実現するアプリケーションを記憶している。また、不揮発性メモリ１０３は、画像処理装置１００が後述する検査対象を撮影した画像から変状を検出する画像解析処理を実現するアプリケーションを格納している。

本実施形態の画像処理装置１００の処理は、制御部１０１がアプリケーションにより提供されるソフトウェアを読み込んで実行することにより実現される。なお、アプリケーションは画像処理装置１００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置１００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

図２は、画像処理装置の機能構成の一例を示すブロック図である。

画像処理装置１００は、画像管理部２１１、画像保存部２１２、画像解析部２１３、解析結果保存部２１４、及び解析結果管理部２１５を有する。画像処理装置１００の各機能は、ハードウェア及びソフトウェアにより実現される。なお、各機能部は、１つ以上のコンピュータ及びサーバをネットワークで接続したシステムとして構成されてもよい。

画像管理部２１１は、画像の保存、削除、一覧表示、及び閲覧等を行う機能を有する。

画像保存部２１２は、画像のデータを保存する。

画像解析部２１３は、検査対象を撮影した画像から変状の検出を行うために、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機械学習及び深層学習により作成された学習済みモデルを用いて画像解析を実行する。

解析結果保存部２１４は、画像解析結果を保存する。

解析結果管理部２１５は、解析結果保存部２１４に保存された画像解析結果の閲覧及び取得等を行う機能を有する。

解析結果管理部２１５は、後述する画像解析結果の閲覧画面を出力装置１０６経由でユーザに提示する。

解析結果管理部２１５は、解析結果保存部２１４に保存された画像解析結果の閲覧及び取得等を行う機能を有する。解析結果管理部２１５は、画像解析結果の閲覧画面（図３に図示）及びパラメータ比較の閲覧画面（図４に図示）をユーザに提示する。

以下に、本実施形態の前提として、検査対象（例えば、コンクリート構造物）を撮影した画像から変状の検出を行うときのワークフローの一例について説明する。本実施形態では、コンクリート構造物の壁面をカメラで撮影した画像に対して学習モデルを用いた画像解析を行うことでコンクリート構造物の変状を検知する。

現場で検査対象を撮影する場合、検査対象の変状を検出可能な十分な画像解像度で検査対象の全範囲を１枚の画像に写すことは困難である。そのため、検査対象範囲の一部を大写し（クローズアップ）で撮影する作業が、撮影範囲を徐々に変更することで行われる。そして、このような撮影手順で撮影された複数の画像それぞれに対して、拡大、縮小、回転、射影変換、色調整、及びノイズ除去等の画像処理を行う。その後、画像処理済みの複数の画像を繋ぎ合わせて１枚の合成画像が生成される。

なお、画像を目視しながら手作業で変状を記録していく方法とは異なり、画像解析による変状の検出では、誤検出及び検出漏れが生じる可能性がある。このため、他の画像処理装置又は外部サーバが、変状の検出結果に対して確認及び修正を行う。例えば、変状がひび割れである場合、図面又は画像にひび割れ情報を重ねて、ひび割れの長さと幅を付記した解析結果（すなわち、変状オブジェクト）が作成される。なお、変状オブジェクトは、構造物に生じるひび割れ情報を図面又は画像に重畳したものに限られず、構造物に生じるあらゆる変状（例えば、錆汁及び漏水の箇所の情報）の情報を図面又は画像に重畳したものを含む。変状オブジェクトは、変状の部分を示す図形でありうる。例えば、変状オブジェクトは、変状の部分を包含する図形（具体例としては、円、矩形、又はこれらの輪郭線）であってもよいし、変状の形状に対する形状を有する図形（例えば、ひび割れに沿った所定の太さを有する線）であってもよい。

図３は、画像解析結果の閲覧画面の一例を示す図である。

画像解析結果の閲覧画面３０１は、解析画像毎の結果が閲覧できるようにした画面である。閲覧画面３０１において、画像ファイル名３１１、検知名称３１２、アップロード日時３１３、検知日時３１４、パラメータ３１５、解析画像一覧３２０、解析結果表示欄３２１、凡例表示欄３２３が表示される。

画像ファイル名３１１において、画像解析を実行した画像ファイル名（例えば、「００１．ｊｐｇ」）が表示される。

検知名称３１２において、検知名称（例えば、「００１．ｊｐｇ」）が表示される。

アップロード日時３１３において、アップロード日時（例えば、「２０２２／０７／１９ １３：４５」）が表示される。

検知日時３１４において、検知実行日時（例えば、「２０２２／０７／１９ ２１：４５」）が表示される。

パラメータ３１５において、パラメータ値（例えば、「検知量：多、短ひび割れ除去：中、ひび割れ幅：太」）が表示される。

解析結果表示欄３２１において、画像解析により検出された変状としてひび割れ等の解析結果３３０が検出対象の画像に重ね合わせて表示される。解析結果３３０は、ひびの長さ及び太さ（幅）の実寸情報を含む。ひび割れの長さ及び太さ（幅）に応じて異なる表示形態（例えば、色や線種）で解析結果３３０は識別可能に表示される。

凡例表示欄３２３において、ひび割れの長さ及び太さ（幅）の実寸情報とこれに対応する表示色、錆汁及び漏水にそれぞれ対応する表示色、及び輪郭線のチェックボックスなどが表示される。このように、変状の種類毎の表示形態と輪郭線のチェックボックスが表示される。また、表示形態は変更可能である。ひび割れの長さ及び太さ（幅）の実寸情報は、画像解像度と画像の画素数に基づいて計算され得る。また、変状の実寸情報を図面のデータと照らし合わせることで、解析結果３３０の座標は図面の座標系に合わせた数値に変換される。これにより、画像処理装置又は外部サーバによる解析結果３３０の閲覧及び編集が可能となる。

輪郭線チェックボックス３２４におけるチェックの有無に応じて輪郭線の表示又は非表示を切り替える。これにより、ユーザは、解析結果表示欄３２１において輪郭線を表示するか否かを選択できる。

図４は、パラメータ比較の閲覧画面の一例を示す図である。

パラメータの比較閲覧画面４０１は、時系列及びパラメータ（検知量及び小領域除去の設定）で比較できるようにした画面である。比較閲覧画面４０１において、画像ファイル名３１１、検知名称３１２、アップロード日時３１３、検知日時３１４、パラメータ３１５、検知日時一覧４２０、解析結果表示欄３２１、凡例表示欄３２３、及び輪郭線チェックボックス３２４が表示される。

画像ファイル名３１１～パラメータ３１５及び解析結果表示欄３２１～輪郭線チェックボックス３２４について、図３で説明したので説明を省略する。

検知日時一覧４２０において、検知日時（例えば、「２０２２／０７／１５ １８：５０」、「２０２２／０７／１４ １９：５０」、「２０２２／０７／１３ ２３：５０」、「２０２２／０７／１３ ０９：５０」）が表示される。

図５は、画像処理装置が実行する処理の一例を示すフローチャートである。以下、図３を参照しながら本処理の流れを説明する。

本処理は、図１に示す画像処理装置１００の制御部１０１が不揮発性メモリ１０３に格納されているプログラムを揮発性メモリ１０２に展開して実行することで実現される。

Ｓ５０１で制御部１０１は、アップロードされた画像の一覧を出力装置１０６に表示する。制御部１０１は、所望の画像ファイルの選択及び解析開始の指示を受け付ける。

Ｓ５０２で画像解析部２１３は、選択された画像ファイルに対して画像解析を実行する。

Ｓ５０３で制御部１０１は、画像解析部２１３による画像解析が完了したか否かを判定する。制御部１０１は、画像解析部２１３による画像解析が完了したと判定した場合（Ｓ５０３でＹｅｓ）、処理はＳ５０４に進む。なお、Ｓ５０４の処理が不要である場合、処理はＳ５０５に進む。制御部１０１は、画像解析部２１３による画像解析が完了していないと判定した場合（Ｓ５０３でＮｏ）、処理はＳ５０２に戻る。

Ｓ５０４で制御部１０１は、変状の種類毎の表示色を決定した結果と、凡例とを関連付けた情報を出力装置１０６に表示する。ここで、制御部１０１が変状の種類毎の表示色を決定する方法を説明する。本実施形態の変状は、「ひび割れ」、「錆汁」、「漏水」の３種類のカテゴリーに分類されるが、これに限られることはない。例えば、変状は、はく落、エフロレッセンス、及び鉄筋露出を含むことができる。「ひび割れ」のカテゴリーはさらに、３種類（例えば、０．２ｍｍ未満、０．２ｍｍ－０．５ｍｍ未満、０．５ｍｍ以上）に分類される。そして、制御部１０１は、ユーザが構造物の変状に対し速やかに対処しなければならない重要度（あるいは危険度）の高さに応じて、「ひび割れ」、「錆汁」、「漏水」のカテゴリーの表示色を決定する。「漏水」のカテゴリーの重要度は最も高く、「錆汁」の重要度は２番目に高く、「ひび割れ」の重要度は最も低いものとする。各カテゴリーの重要度は、予めユーザによって設定されていても良い。制御部１０１は、各カテゴリーの重要度の高さに基づいて、「漏水」の色を最も濃い色で、「錆汁」を中間の濃度の色で、「ひび割れ」の色を薄い色でそれぞれ表示することを決定する。さらに、制御部１０１は、「ひび割れ」の３種類のカテゴリーの表示色について、各ひび割れ幅に応じて各ひび割れ幅のカテゴリーを表示する色を決定する。別の例として、「ひび割れ」、「錆汁」、及び「漏水」のようなカテゴリー毎に異なる表示色が決定されてもよい。これにより、変状の種類毎の表示色を決定した結果が得られる。なお、本情報は予め設定されていても良いし、ユーザによって任意に変更されても良い。

Ｓ５０５で解析結果保存部２１４は、解析結果を保存する。また、解析結果管理部２１５は、閲覧画面３０１又は比較閲覧画面４０１の画像に解析結果を重畳した画像を、出力装置１０６に表示する。この際、制御部１０１は、解析結果３５０の一部と画像とが重複している位置における解析結果３５０の色と画像の色との間の色差ｄを、ＲＧＢ色空間の色差式（例えば、下記の式（１））又はＣＩＥ ＤＥ２０００で計算する。なお、重複している位置は、解析結果３５０の一部の位置のことであり、例えば二次元座標（ｘ，ｙ）で表される。

・・・（式１）
ここで、ｄは色差であり、Ｒ_１，Ｇ_１，Ｂ_１は解析結果のＲＧＢ値であり、Ｒ_２，Ｇ_２，Ｂ_２は画像のＲＧＢ値である。

制御部１０１は、色差ｄが閾値未満である場合、解析結果３５０の輪郭線の色の色相、彩度、及び明度のいずれか1つ以上を変更してもよい。制御部１０１は、例えば、色差ｄが閾値未満である場合、図３に図示するように解析結果３５０の輪郭線の色を黒で表示し、画像の色を変更せずに表示する。ここで、制御部１０１は、解析結果３５０の輪郭線の全周の色を変更しているが、これに限定されず、輪郭線のうち一部の色を変更しても良く、あるいは解析結果３５０全体の色を変更しても良い。一方で、制御部１０１は、色差ｄが閾値以上である場合、解析結果３５０の輪郭線の色の色相、彩度、及び明度のいずれか１つ以上を変更せず、画像の色を変更しない。

以上の通り、解析結果３５０と画像とが重複する位置における解析結果３５０の色と画像の色が互いに類似する場合に、画像の色を変更せずに解析結果３５０の輪郭線の色を例えば黒色に変更する。これにより、ユーザは、解析結果３５０と画像のそれぞれを視認しやすくなる。

Ｓ５０６で制御部１０１は、輪郭線チェックボックス３２４にチェックがあるか否かを判定する。制御部１０１は、輪郭線チェックボックス３２４にチェックがあると判定した場合（Ｓ５０６でＹｅｓ）、処理はＳ５０７に進む。制御部１０１は、輪郭線チェックボックス３２４にチェックがないと判定した場合（Ｓ５０６でＮｏ）、処理は終了する。

Ｓ５０７で制御部１０１は、解析結果３３０の所定の位置と解析結果３４０の所定の位置との間の距離ｄ_１（不図示）が、閾値よりも大きいか否かに基づいて、解析結果３３０と解析結果３４０とが重複するか否かを判定する。所定の位置は、解析結果３３０と解析結果３４０との重複を判定できる位置であれば任意の位置であってよい。所定の位置は、例えば、解析結果３３０と解析結果３４０それぞれの中心位置及び円周上のいずれかの位置であって良い。ここで、解析結果が重複するか否かに応じて解析結果の色を変更することは、解析結果の背景の色に応じて解析結果の色を変更することの一例である。上記の説明に戻って、閾値は、解析結果３３０の半径ｒ_１（不図示）と解析結果３４０の半径ｒ_２（不図示）との合計（＝ｒ_１＋ｒ_２）である。ここで、解析結果３３０と解析結果３４０は、互いに変状の種類が異なる解析結果を表す。例えば、解析結果３３０は、変状が「漏水」であることを示し、濃いグレーで表示される。一方で、解析結果３４０は、変状が「錆汁」であることを示し、薄いグレーで表示される。

制御部１０１は、距離ｄ_１が閾値（＝ｒ_１＋ｒ_２）よりも小さい場合、解析結果３３０の一部の位置と解析結果３４０の一部の位置とが重複していると判定し（Ｓ５０７でＹｅｓ）、処理はＳ５０８に進む。一方で、制御部１０１は、距離ｄ_１が閾値（＝ｒ_１＋ｒ_２）よりも小さくない（すなわち、大きい）場合、解析結果３３０の一部の位置と解析結果３４０の一部の位置が重複していないと判定し（Ｓ５０７でＮｏ）、処理は終了する。

ここで、制御部１０１は、解析結果３３０の一部と解析結果３４０の一部とが重複している位置における、解析結果３３０の色と解析結果３４０の色との間の色差ｄを、ＲＧＢ色空間の色差式（例えば、上記の式（１））又はＣＩＥ ＤＥ２０００で計算することができる。

Ｓ５０８で制御部１０１は、解析結果３３０の輪郭線の色と解析結果３４０の輪郭線の色との間の色差ｄが大きくなるように、解析結果３３０の輪郭線の色と解析結果３４０の輪郭線の色をそれぞれ変更する。ここで、制御部１０１は、解析結果３３０の輪郭線の色と解析結果３４０の輪郭線の色について、色相、彩度、及び明度のいずれか1つ以上が異なるようにそれぞれ変更する。例えば、制御部１０１は、解析結果３３０の輪郭線の色を黒色に、解析結果３４０の輪郭線の色を白色にそれぞれ変更する。これにより、色差ｄが明度方向に大きくなり、ユーザは、解析結果３３０と解析結果３４０のそれぞれを視認しやすくなる。なお、解析結果３３０が第１の変状オブジェクトに相当し、解析結果３４０は第２の変状オブジェクトに相当する。

以上の通り、第１実施形態によれば、第１の変状オブジェクトの一部と画像が重複する位置において、第１の変状オブジェクトの色と画像の色とが類似する場合に、第１の変状オブジェクトの色と画像の色との色差が大きくなるように第１の変状オブジェクトの輪郭線の色を変更する。これにより、ユーザは、第１の変状オブジェクトと画像のそれぞれを視認しやすくなる。また、第１の変状オブジェクトの一部と第２の変状オブジェクトの一部とが重複する位置において、第１の変状オブジェクトの色と第２の変状オブジェクトの色とが類似する場合に、双方の色差が大きくなるように第１の変状オブジェクトと第２の変状オブジェクトそれぞれの輪郭線の色を変更する。これにより、ユーザは第１の変状オブジェクトと第２の変状オブジェクトそれぞれを視認しやすくなる。

（第２実施形態）
制御部１０１は、構造物のひび割れの位置をトレースした変状オブジェクトを画像に重畳する際に、変状オブジェクトの輪郭線の一部を表示しない変状オブジェクトを画像に重畳する。制御部１０１が画像に変状オブジェクトを重畳した結果は、図４の解析結果４３０と解析結果４４０である。ここで、解析結果４３０の端部４３０ａと端部４３０ｂにおける輪郭線（黒色の太線で図示）は表示されていない。端部４３０ａと端部４３０ｂは、ひび割れの始点又は終点を表す。また、解析結果４４０の端部４４０ａ、端部４４０ｂ、及び端部４４０ｃにおける輪郭線（黒色の太線で図示）は表示されていない。端部４４０ａ～端部４３０ｃは、ひび割れの始点又は終点を表す。

次に、制御部１０１は、解析結果４３０の所定の位置（例えば、端部４３０ａの位置）と、解析結果４４０の所定の位置（例えば、部分４４０ｄの位置）との間の距離と閾値の比較に基づいて、解析結果４３０と解析結果４４０とが重複するか否かを判定する。この判定方法は、第１実施形態と同様であるため細部の説明を省略する。制御部１０１は、上記の距離が閾値以下である場合、解析結果４３０と解析結果４４０とが重複すると判定する。

さらに、制御部１０１は、解析結果４３０と解析結果４４０とが重複する位置において、解析結果４３０と解析結果４４０それぞれの部分が特定の部分（すなわち、端部）であるか否かに基づいて、解析結果４３０と解析結果４４０を画像に重畳表示する順番を決定する。制御部１０１は、重複する位置において解析結果４３０の部分が端部４３０ａであり、解析結果４４０の部分が端部以外の部分４４０ｄであると判定した場合、解析結果４４０、解析結果４３０の順で画像に重畳表示することを決定する。

ここで、制御部１０１が、解析結果４３０、解析結果４４０の順で画像に重畳表示した場合、解析結果４３０の端部４３０ａの上に解析結果４４０が表示されるので、端部４３０ａが解析結果４４０によって隠れてしまう。一方で、制御部１０１が解析結果４４０、解析結果４３０の順で画像に重畳表示した場合、図４に図示するように、端部４３０ａが解析結果４４０に隠れることなく表示される。このように、制御部１０１は、解析結果同士の重複を判定し、さらに重複位置において端部を有する解析結果を判定する。制御部１０１は、この判定結果に基づいて、重複位置において端部（すなわち、変状の始点又は終点）を有する解析結果を画像の最前面に描画する。

これにより、ひび割れの始点から終点までを示す複数の変状オブジェクト（解析結果４３０、解析結果４４０）それぞれが画像に重畳表示されるため、ユーザは解析結果４３０と解析結果４４０それぞれを視認することができる。つまり、ユーザは、画像上でひび割れの始点又は終点を見落とすことがなくなり、変状（例えば、ひび割れ）の処置を迅速かつ的確に処置することができる。このように、本実施形態はインフラ点検の正確性向上に寄与することができるといった優れた効果を有する。

（第３実施形態）
第１、２実施形態では、変状オブジェクトの輪郭線の表示色の変更方法に関して説明した。第３実施形態は、画像から構造物に例えば白色のチョークで描かれた図形（例えば、線、円、及び多角形）の位置を検出した場合に、チョークで描かれた図形の位置に対して重複する変状オブジェクトの輪郭線の一部の色を変更する。ここで、制御部１０１は、チョークで描かれた図形の位置の色（例えば、白色）と変状オブジェクトの輪郭線の一部の色との間の色差が大きくなるように、変状オブジェクトの輪郭線の一部の所定の色を例えば黒色に変更する。なお、制御部１０１は、画像上で検出されたチョークで描かれた図形の位置に対して重複しない変状オブジェクトの輪郭線の一部の色を変更しない。また、制御部１０１は、変状オブジェクトの輪郭線の一部の色の色相、彩度、及び明度のいずれか1つ以上を変更してもよい。これにより、ユーザは、チョークで描かれた図形の位置の色と変状オブジェクトの輪郭線の一部の色とを区別しやすくなるため、ユーザの視認性が更に向上する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の画像処理装置、方法、及びプログラムを含む。
（項目１）
構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得手段と、
前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御手段であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御手段と、を備える、
ことを特徴とする画像処理装置。
（項目２）
前記背景は、前記画像又は前記第１の変状オブジェクトとは異なる第２の変状オブジェクトである、
ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記背景の色は、前記第１の変状オブジェクトが重畳される部分における前記画像の色、又は前記第１の変状オブジェクトと重なっている前記第２の変状オブジェクトの色である、
ことを特徴とする項目２に記載の画像処理装置。
（項目４）
前記表示制御手段は、前記背景が前記画像であり、かつ、前記第１の変状オブジェクトの色と前記背景の色との色差が閾値よりも小さい場合、前記第１の変状オブジェクトの少なくとも一部の色を所定の色から変更する制御を行う、
ことを特徴とする項目２又は３に記載の画像処理装置。
（項目５）
前記表示制御手段は、前記背景が前記画像であり、かつ、前記色差が前記閾値よりも大きい場合、前記第１の変状オブジェクトの色を前記所定の色とする制御を行う、
ことを特徴とする項目４に記載の画像処理装置。
（項目６）
前記第１の変状オブジェクトと前記第２の変状オブジェクトそれぞれの前記変状の種類に応じて、前記第１の変状オブジェクトと前記第２の変状オブジェクトそれぞれの色を決定する決定手段と、
前記表示制御手段は、前記背景が前記第２の変状オブジェクトであり、かつ、前記決定手段の決定結果に基づく前記第１の変状オブジェクトの色と前記第２の変状オブジェクトの色との間の色差が閾値よりも小さい場合、前記第１の変状オブジェクトの輪郭の色と前記第２の変状オブジェクトの輪郭の色を互いに異なる色で表示するように、前記決定手段が決定した色を変更する制御を行う、
ことを特徴とする項目２に記載の画像処理装置。
（項目７）
前記表示制御手段は、前記背景が前記第２の変状オブジェクトであり、かつ、前記色差が前記閾値よりも大きい場合、前記第１の変状オブジェクトの色と前記第２の変状オブジェクトの色のそれぞれを前記決定手段の決定結果に基づく色とする制御を行う、
ことを特徴とする項目６に記載の画像処理装置。
（項目８）
前記表示制御手段は、前記第１の変状オブジェクトの輪郭の一部を表示しないように、前記第１の変状オブジェクトを前記画像に重畳表示する、
ことを特徴とする項目１に記載の画像処理装置。
（項目９）
前記第１の変状オブジェクトの所定の位置と前記第２の変状オブジェクトの所定の位置との間の距離に基づいて、前記第１の変状オブジェクトと前記第２の変状オブジェクトとが重複するか否かを判定する判定手段を備える、
ことを特徴とする項目２に記載の画像処理装置。
（項目１０）
前記判定手段は、前記距離に基づいて前記第１の変状オブジェクトと前記第２の変状オブジェクトとが重複する場合、前記重複する位置における前記第１の変状オブジェクトの部分と前記第２の変状オブジェクトの部分のいずれが特定の部分を有するかを判定し、
前記表示制御手段は、前記判定手段の判定結果に基づいて、前記特定の部分を有する前記第１の変状オブジェクト又は前記第２の変状オブジェクトを前記画像の最前面に重畳表示し、
前記特定の部分は、変状の始点又は終点である、
ことを特徴とする項目９に記載の画像処理装置。
（項目１１）
前記表示制御手段は、前記構造物の特定の変状種の変状の位置を示す、前記第１の変状オブジェクトと前記第２の変状オブジェクトの少なくとも一方を、前記画像の最前面に重畳する表示を行う、
ことを特徴とする項目２に記載の画像処理装置。
（項目１２）
前記変状は、ひび割れ、漏水、はく落、エフロレッセンス、鉄筋露出及び錆汁のいずれかのうち少なくとも１つである、
ことを特徴とする項目１に記載の画像処理装置。
（項目１３）
前記背景は、前記画像中の前記構造物に描かれた図形である、
ことを特徴とする項目１に記載の画像処理装置。
（項目１４）
前記第１の変状オブジェクトの輪郭の色と前記第２の変状オブジェクトの輪郭の色は互いに、色相、彩度、及び明度のいずれか1つ以上が異なる、
ことを特徴とする請求項６に記載の画像処理装置。
（項目１５）
前記第１の変状オブジェクトの輪郭の一部は、前記第１の変状オブジェクトの長手方向の端部である、
ことを特徴とする請求項８に記載の画像処理装置。
（項目１６）
画像処理装置の取得手段が、構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得工程と、
前記画像処理装置の表示制御手段が、前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御工程であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御工程と、を備える、
ことを特徴とする方法。
（項目１７）
コンピュータを、項目１から１５のいずれか一項目に記載の画像処理装置の各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ 画像処理装置
１０１ 制御部
１０２ 揮発性メモリ
１０３ 不揮発性メモリ
１０４ 記憶デバイス
１０５ 入力装置
１０６ 出力装置
１０７ 通信装置
１０８ システムバス
２１１ 画像管理部
２１２ 画像保存部
２１３ 画像解析部
２１４ 画像解析結果保存部
２１５ 画像解析結果管理部

Claims (17)

1. 構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得手段と、
   前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御手段であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御手段と、を備える、
   ことを特徴とする画像処理装置。
2. 前記背景は、前記画像又は前記第１の変状オブジェクトとは異なる第２の変状オブジェクトである、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記背景の色は、前記第１の変状オブジェクトが重畳される部分における前記画像の色、又は前記第１の変状オブジェクトと重なっている前記第２の変状オブジェクトの色である、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記背景が前記画像であり、かつ、前記第１の変状オブジェクトの色と前記背景の色との色差が閾値よりも小さい場合、前記第１の変状オブジェクトの少なくとも一部の色を所定の色から変更する制御を行う、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記背景が前記画像であり、かつ、前記色差が前記閾値よりも大きい場合、前記第１の変状オブジェクトの色を前記所定の色とする制御を行う、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の変状オブジェクトと前記第２の変状オブジェクトそれぞれの前記変状の種類に応じて、前記第１の変状オブジェクトと前記第２の変状オブジェクトそれぞれの色を決定する決定手段と、
   前記表示制御手段は、前記背景が前記第２の変状オブジェクトであり、かつ、前記決定手段の決定結果に基づく前記第１の変状オブジェクトの色と前記第２の変状オブジェクトの色との間の色差が閾値よりも小さい場合、前記第１の変状オブジェクトの輪郭の色と前記第２の変状オブジェクトの輪郭の色を互いに異なる色で表示するように、前記決定手段が決定した色を変更する制御を行う、
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記表示制御手段は、前記背景が前記第２の変状オブジェクトであり、かつ、前記色差が前記閾値よりも大きい場合、前記第１の変状オブジェクトの色と前記第２の変状オブジェクトの色のそれぞれを前記決定手段の決定結果に基づく色とする制御を行う、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記表示制御手段は、前記第１の変状オブジェクトの輪郭の一部を表示しないように、前記第１の変状オブジェクトを前記画像に重畳表示する、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記第１の変状オブジェクトの所定の位置と前記第２の変状オブジェクトの所定の位置との間の距離に基づいて、前記第１の変状オブジェクトと前記第２の変状オブジェクトとが重複するか否かを判定する判定手段を備える、
   ことを特徴とする請求項２に記載の画像処理装置。
10. 前記判定手段は、前記距離に基づいて前記第１の変状オブジェクトと前記第２の変状オブジェクトとが重複する場合、前記重複する位置における前記第１の変状オブジェクトの部分と前記第２の変状オブジェクトの部分のいずれが特定の部分を有するかを判定し、
    前記表示制御手段は、前記判定手段の判定結果に基づいて、前記特定の部分を有する前記第１の変状オブジェクト又は前記第２の変状オブジェクトを前記画像の最前面に重畳表示し、
    前記特定の部分は、変状の始点又は終点である、
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記表示制御手段は、前記構造物の特定の変状種の変状の位置を示す、前記第１の変状オブジェクトと前記第２の変状オブジェクトの少なくとも一方を、前記画像の最前面に重畳する表示を行う、
    ことを特徴とする請求項２に記載の画像処理装置。
12. 前記変状は、ひび割れ、漏水、はく落、エフロレッセンス、鉄筋露出及び錆汁のいずれかのうち少なくとも１つである、
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記背景は、前記画像中の前記構造物に描かれた図形である、
    ことを特徴とする請求項１に記載の画像処理装置。
14. 前記第１の変状オブジェクトの輪郭の色と前記第２の変状オブジェクトの輪郭の色は互いに、色相、彩度、及び明度のいずれか1つ以上が異なる、
    ことを特徴とする請求項６に記載の画像処理装置。
15. 前記第１の変状オブジェクトの輪郭の一部は、前記第１の変状オブジェクトの長手方向の端部である、
    ことを特徴とする請求項８に記載の画像処理装置。
16. 画像処理装置の取得手段が、構造物を撮影した画像における前記構造物の変状の位置を示す情報を取得する取得工程と、
    前記画像処理装置の表示制御手段が、前記構造物を撮影した画像に、前記構造物の変状の位置を示す第１の変状オブジェクトを重畳表示させる表示制御工程であって、前記重畳表示において、前記第１の変状オブジェクトの色を、前記第１の変状オブジェクトの背景の色に応じて決定する制御を行う表示制御工程と、を備える、
    ことを特徴とする方法。
17. コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images