JP6765877B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6765877B2 JP6765877B2 JP2016132530A JP2016132530A JP6765877B2 JP 6765877 B2 JP6765877 B2 JP 6765877B2 JP 2016132530 A JP2016132530 A JP 2016132530A JP 2016132530 A JP2016132530 A JP 2016132530A JP 6765877 B2 JP6765877 B2 JP 6765877B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- information
- image processing
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
構造物の点検行為の一環として、ひびや錆などの変状の分布や過去からの推移を把握するため、カメラによって撮像された画像をもとに変状を分析することが行われている。分析作業を効率化するために、画像処理によって変状を抽出する技術が様々提案されているが、誤った抽出結果を生じる場合も多い。したがって、画像処理によって抽出された変状を候補として捉え、人の目視判断による修正を目的としたレビュー作業が行われている。
特許文献１には、建造物が撮像された検査映像から検査対象部品を抽出し、抽出した検査対象部品の分布に基づいて、検査員による検査の必要性の高さを表す重要度をフレーム（画像）単位で算出する点が開示されている。この特許文献１では、算出された重要度をもとに、検査映像内の重要区間を決定し、検査映像の再生を制御している。
特許文献１には、建造物が撮像された検査映像から検査対象部品を抽出し、抽出した検査対象部品の分布に基づいて、検査員による検査の必要性の高さを表す重要度をフレーム（画像）単位で算出する点が開示されている。この特許文献１では、算出された重要度をもとに、検査映像内の重要区間を決定し、検査映像の再生を制御している。
構造物の点検用途に係るレビュー作業においては、おのずと検査画像が大きくなり、検査画像内の検査対象のオブジェクトの数も膨大となる。特許文献１に記載の技術は、検査映像内における重要区間を決定するものであり、検査対象部品を、検査画像内において検査員の目視判断に適した単位にまとめて効率的にレビューすることはできなかった。
そこで、本発明は、検査員が画像内の検査対象のオブジェクトを効率的にレビューできるようにすることを目的としている。
そこで、本発明は、検査員が画像内の検査対象のオブジェクトを効率的にレビューできるようにすることを目的としている。
上記課題を解決するために、本発明に係る画像処理装置の一態様は、画像から抽出されたオブジェクトに関する情報を取得する取得手段と、前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定する設定手段と、前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の優先度を決定する決定手段と、を備え、前記オブジェクトは、構造物の変状である。
本発明によれば、検査員が画像内の検査対象のオブジェクトを効率的にレビューできるようにすることができる。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、本実施形態における画像処理システム１００の構成図である。画像処理システム１００は、画像をもとに検査対象であるオブジェクトを抽出し、そのオブジェクトのレビューに適した領域を、画像内の部分領域として設定して提示するシステムである。本実施形態では、検査対象であるオブジェクトが、構造物の変状（ひびや錆など）である場合について説明する。なお、検査対象であるオブジェクトは、構造物を構成する部品や人の顔などであってもよい。
画像処理システム１００は、画像処理装置２００と、画像表示装置３００と、を備える。画像処理装置２００は、画像から変状候補を抽出し、レビュー領域およびレビュー領域の優先度を出力する装置である。ここで、レビュー領域は、変状のレビューに適した画像内の部分領域であり、優先度は、値が大きいほど優先的にレビューされるべき指標として定義する。
図１は、本実施形態における画像処理システム１００の構成図である。画像処理システム１００は、画像をもとに検査対象であるオブジェクトを抽出し、そのオブジェクトのレビューに適した領域を、画像内の部分領域として設定して提示するシステムである。本実施形態では、検査対象であるオブジェクトが、構造物の変状（ひびや錆など）である場合について説明する。なお、検査対象であるオブジェクトは、構造物を構成する部品や人の顔などであってもよい。
画像処理システム１００は、画像処理装置２００と、画像表示装置３００と、を備える。画像処理装置２００は、画像から変状候補を抽出し、レビュー領域およびレビュー領域の優先度を出力する装置である。ここで、レビュー領域は、変状のレビューに適した画像内の部分領域であり、優先度は、値が大きいほど優先的にレビューされるべき指標として定義する。
画像処理装置２００は、画像入力部２０１と、候補抽出部２０２と、領域設定部２０３と、特徴量算出部２０４と、優先度決定部２０５と、を備える。
画像入力部２０１は、処理対象である画像を入力する。本実施形態では、画像入力部２０１が入力する画像は、構造物を撮像した画像である。候補抽出部２０２は、画像入力部２０１により入力された画像から変状候補を抽出する。領域設定部２０３は、候補抽出部２０２により抽出された変状候補の情報に基づいて、レビュー領域を画像内の部分領域として設定する。部分領域の設定に際し、領域設定部２０３は、画像全体を網羅するようにレビュー領域を設定する。特徴量算出部２０４は、領域設定部２０３により設定されたレビュー領域の特徴量を算出する。優先度決定部２０５は、特徴量算出部２０４により算出されたレビュー領域の特徴量に基づいて、レビュー領域の優先度を決定する。
画像入力部２０１は、処理対象である画像を入力する。本実施形態では、画像入力部２０１が入力する画像は、構造物を撮像した画像である。候補抽出部２０２は、画像入力部２０１により入力された画像から変状候補を抽出する。領域設定部２０３は、候補抽出部２０２により抽出された変状候補の情報に基づいて、レビュー領域を画像内の部分領域として設定する。部分領域の設定に際し、領域設定部２０３は、画像全体を網羅するようにレビュー領域を設定する。特徴量算出部２０４は、領域設定部２０３により設定されたレビュー領域の特徴量を算出する。優先度決定部２０５は、特徴量算出部２０４により算出されたレビュー領域の特徴量に基づいて、レビュー領域の優先度を決定する。
画像表示装置３００は、画像処理装置２００から出力されるレビュー領域および優先度に関する情報に基づいて、画像を提示する装置である。画像表示装置３００は、領域提示部３０１と、画像表示部３０２と、を備える。
領域提示部３０１は、画像処理装置２００から出力されたレビュー領域および優先度に係る表示形態を提示する。画像表示部３０２は、領域提示部３０１から提示された表示形態に従って、不図示の表示デバイスに画像を表示する。ここで、表示デバイスは、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等により構成されている。
なお、本実施形態では、画像処理装置２００と画像表示装置３００とが異なる装置である場合について説明するが、画像処理装置２００と画像表示装置３００とは１つの装置であってもよい。また、画像処理装置２００は、画像表示装置３００の一部の機能（例えば、領域提示部３０１）のみを備えていてもよい。
領域提示部３０１は、画像処理装置２００から出力されたレビュー領域および優先度に係る表示形態を提示する。画像表示部３０２は、領域提示部３０１から提示された表示形態に従って、不図示の表示デバイスに画像を表示する。ここで、表示デバイスは、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等により構成されている。
なお、本実施形態では、画像処理装置２００と画像表示装置３００とが異なる装置である場合について説明するが、画像処理装置２００と画像表示装置３００とは１つの装置であってもよい。また、画像処理装置２００は、画像表示装置３００の一部の機能（例えば、領域提示部３０１）のみを備えていてもよい。
図２は、画像処理装置２００のハードウェア構成図である。
画像処理装置２００は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３と、ＮｅｔＩＦ２４と、入力デバイス２５と、ＨＤＤ２６と、システムバス２７と、を備える。ＣＰＵ２１は、画像処理装置２００における動作を統括的に制御するものであり、システムバス２７を介して、各構成部（２２〜２６）を制御する。ＲＡＭ２２は、ＣＰＵ２１の主メモリとして機能したり、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能したりする。
ＲＯＭ２３は、ＣＰＵ２１の動作処理手順を規定する制御プログラムを記録している。ＲＯＭ２３は、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭと、システムを稼動するために必要な情報などが記録されたデータＲＯＭとを含む。なお、ＲＯＭ２３の機能は、後述のＨＤＤ２６によっても実現可能である。ＣＰＵ２１は、処理の実行に際してＲＯＭ２３から必要なプログラムをＲＡＭ２２にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。
画像処理装置２００は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３と、ＮｅｔＩＦ２４と、入力デバイス２５と、ＨＤＤ２６と、システムバス２７と、を備える。ＣＰＵ２１は、画像処理装置２００における動作を統括的に制御するものであり、システムバス２７を介して、各構成部（２２〜２６）を制御する。ＲＡＭ２２は、ＣＰＵ２１の主メモリとして機能したり、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能したりする。
ＲＯＭ２３は、ＣＰＵ２１の動作処理手順を規定する制御プログラムを記録している。ＲＯＭ２３は、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭと、システムを稼動するために必要な情報などが記録されたデータＲＯＭとを含む。なお、ＲＯＭ２３の機能は、後述のＨＤＤ２６によっても実現可能である。ＣＰＵ２１は、処理の実行に際してＲＯＭ２３から必要なプログラムをＲＡＭ２２にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。
ＮｅｔＩＦ２４は、ネットワークを介して送受信される画像などのデータの入出力制御を行うネットワークインターフェースである。入力デバイス２５は、タッチパネル、キーボード、マウス等のポインティングデバイスによって構成され、ユーザからの操作指示を受け付ける。ＨＤＤ２６は、ハードディスクドライブである。ＨＤＤ２６は、アプリケーションプログラムや、画像などのデータ保存用に用いることができる。システムバス２７は、上述した各ユニット間の接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。
図１に示す画像処理装置２００の各部の機能は、ＣＰＵ２１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置２００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。
また、画像表示装置３００の場合は、図２に示す各構成部の他に、上述した表示デバイスを具備してもよい。図１に示す画像表示装置３００の各部の機能は、画像表示装置のＣＰＵがプログラムを実行することで実現することができる。ただし、図１に示す画像表示装置３００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、画像表示装置３００のＣＰＵの制御に基づいて動作する。
また、画像表示装置３００の場合は、図２に示す各構成部の他に、上述した表示デバイスを具備してもよい。図１に示す画像表示装置３００の各部の機能は、画像表示装置のＣＰＵがプログラムを実行することで実現することができる。ただし、図１に示す画像表示装置３００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、画像表示装置３００のＣＰＵの制御に基づいて動作する。
図３は、画像処理装置２００の動作を説明するフローチャートである。
この図３の処理は、例えばユーザによる指示入力に応じて開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置２００は、ＣＰＵ２１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。ただし、上述したように、図１に示す画像処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図３の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
この図３の処理は、例えばユーザによる指示入力に応じて開始される。ただし、図３の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置２００は、ＣＰＵ２１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。ただし、上述したように、図１に示す画像処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図３の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まずＳ１において、画像入力部２０１は、ユーザが指定した画像を読み込む。次にＳ２において、候補抽出部２０２は、Ｓ１において読み込まれた画像中に含まれる変状候補を抽出する。変状候補としては、例えばコンクリートなどのひび割れの候補がある。このような変状候補を抽出する手法としては、Ｓｏｂｅｌフィルタを用いたエッジ検出処理により、輪郭を抽出する手法を用いることができる。候補抽出部２０２は、抽出された輪郭が囲む閉区域を検出し楕円近似などによりベクタ化した形状を変状候補として抽出することができる。
候補抽出部２０２は、抽出された変状候補を示す情報を、変状候補情報として出力する。図４（ａ）に示すように、変状候補情報４１０は、例えば、変状候補を一意に示すＩＤ４１１と、画像全体に対する変状候補の開始点座標位置４１２と、終了点座標位置４１３と、幅４１４とを含むことができる。さらには、変状候補情報４１０は、変状候補らしさ（例えば、ひびらしさ）を示す信頼度４１５を含んでもよい。この信頼度４１５は、辺の周囲８近傍に属する画素のＳｏｂｅｌフィルタ処理を施した結果の値の平均で表すことができる。
候補抽出部２０２は、抽出された変状候補を示す情報を、変状候補情報として出力する。図４（ａ）に示すように、変状候補情報４１０は、例えば、変状候補を一意に示すＩＤ４１１と、画像全体に対する変状候補の開始点座標位置４１２と、終了点座標位置４１３と、幅４１４とを含むことができる。さらには、変状候補情報４１０は、変状候補らしさ（例えば、ひびらしさ）を示す信頼度４１５を含んでもよい。この信頼度４１５は、辺の周囲８近傍に属する画素のＳｏｂｅｌフィルタ処理を施した結果の値の平均で表すことができる。
なお、変状候補を抽出する手法、および変状候補情報は上記に限定されるものではない。また、本実施形態では、画像処理装置２００が候補抽出部２０２を備える場合について説明するが、画像から検査対象となるオブジェクト（変状候補）を抽出する処理は、別の装置が行ってもよい。つまり、画像処理装置２００は、画像から抽出された検査対象となるオブジェクト（変状候補）に関する情報を、別の装置から取得する構成であってもよい。
さらに、本実施形態では、構造物表面のひび割れといった線状変状の候補を抽出するため、変状候補情報４１０は、開始点座標位置４１２、終了点座標位置４１３および幅４１４を含む。しかしながら、変状候補情報４１０が含む情報は、変状候補の画像内の位置やサイズ、形状などを示す情報であればよく、上記に限定されない。
さらに、本実施形態では、構造物表面のひび割れといった線状変状の候補を抽出するため、変状候補情報４１０は、開始点座標位置４１２、終了点座標位置４１３および幅４１４を含む。しかしながら、変状候補情報４１０が含む情報は、変状候補の画像内の位置やサイズ、形状などを示す情報であればよく、上記に限定されない。
Ｓ３では、領域設定部２０３は、変状候補のレビュー領域を設定する。具体的には、領域設定部２０３は、Ｓ３において図５に示す領域設定処理を実行し、レビュー領域を示す情報であるレビュー領域情報を設定する。図４（ｂ）に示すように、レビュー領域情報４２０は、レビュー領域を一意に示すＩＤ４２１と、レビュー領域の中心点座標４２２およびサイズ４２３と、登録変状候補４２４とを含むことができる。
ここで、登録変状候補４２４とは、各レビュー領域にそれぞれ対応して登録された変状候補であり、対応するレビュー領域に含まれる変状候補である。なお、各変状候補は、１つのレビュー領域にのみ登録され、複数のレビュー領域に登録されないようにしている。以下、領域設定処理について、図５を参照しながら詳細に説明する。
ここで、登録変状候補４２４とは、各レビュー領域にそれぞれ対応して登録された変状候補であり、対応するレビュー領域に含まれる変状候補である。なお、各変状候補は、１つのレビュー領域にのみ登録され、複数のレビュー領域に登録されないようにしている。以下、領域設定処理について、図５を参照しながら詳細に説明する。
Ｓ３１では、領域設定部２０３は、いずれのレビュー領域にも登録されていない変状候補を１つ選択する。例えば、レビュー領域への登録がなく、かつ、信頼度４１５が最も低い変状候補を選択する。Ｓ３２では、領域設定部２０３は、Ｓ３１において選択された変状候補の情報に基づいてレビュー領域を設定する。例えば、領域設定部２０３は、Ｓ３１において選択された変状候補を中心とした領域を、レビュー領域として設定する。レビュー領域のサイズは、表示解像度に係る予め定められた値としてもよいし、選択された変状候補の信頼度４１５に応じて可変的に設定してもよい。後者の場合、選択された変状候補の信頼度４１５が低いほど、レビュー領域のサイズを小さくする。
Ｓ３３では、領域設定部２０３は、Ｓ３２において設定されたレビュー領域に含まれる変状候補を選択する。このＳ３３では、領域設定部２０３は、レビュー領域に完全に内包される変状候補を選択してもよいし、予め定められた割合以上がレビュー領域に収まる変状候補を選択してもよい。Ｓ３４では、領域設定部２０３は、Ｓ３３において選択された変状候補をＳ３２において設定されたレビュー領域へ登録する。
Ｓ３３では、領域設定部２０３は、Ｓ３２において設定されたレビュー領域に含まれる変状候補を選択する。このＳ３３では、領域設定部２０３は、レビュー領域に完全に内包される変状候補を選択してもよいし、予め定められた割合以上がレビュー領域に収まる変状候補を選択してもよい。Ｓ３４では、領域設定部２０３は、Ｓ３３において選択された変状候補をＳ３２において設定されたレビュー領域へ登録する。
Ｓ３５では、領域設定部２０３は、いずれのレビュー領域にも登録されていない変状候補が存在するか否かを確認し、存在する場合はＳ３１に戻り、存在しない場合はＳ３６に移行する。Ｓ３６では、領域設定部２０３は、画像全体に対する残領域へレビュー領域を設定する。具体的には、領域設定部２０３は、画像全体を表す領域に対してＳ３２において決定されたレビュー領域群が覆わない区域を検出し、その区域毎に新たなレビュー領域を設定する。レビュー領域群が覆わない区域が矩形の領域毎に分かれていない場合には、複数の矩形の領域に適宜分割して、分割した各領域をレビュー領域として設定する。
図５の領域設定処理により、領域設定部２０３は、図４（ｂ）に示すレビュー領域情報４２０を出力する。つまり、領域設定部２０３は、変状候補を含む領域をレビューするためのレビュー領域の情報に加え、変状候補が未検出である領域をレビューするためのレビュー領域の情報４２５を出力する。
図５の領域設定処理により、領域設定部２０３は、図４（ｂ）に示すレビュー領域情報４２０を出力する。つまり、領域設定部２０３は、変状候補を含む領域をレビューするためのレビュー領域の情報に加え、変状候補が未検出である領域をレビューするためのレビュー領域の情報４２５を出力する。
図３に戻って、Ｓ４では、特徴量算出部２０４は、レビュー領域毎に特徴量を算出する。具体的には、特徴量算出部２０４は、図６に示す領域特徴量算出処理を実行してレビュー領域毎に特徴量を算出し、特徴量を示す情報である特徴量情報を出力する。なお、本実施形態では、特徴量算出部２０４が、レビュー領域の特徴量として、レビュー領域に対応付けられた変状候補の信頼度４１５の統計量（平均と標準偏差）を出力する場合について説明する。
図４（ｃ）に示すように、特徴量情報４３０は、レビュー領域を一意に示すＩＤ４３１と、レビュー領域の特徴量である信頼度平均４３２および信頼度標準偏差４３３とを含むことができる。以下、領域特徴量算出処理について、図６を参照しながら詳細に説明する。
図４（ｃ）に示すように、特徴量情報４３０は、レビュー領域を一意に示すＩＤ４３１と、レビュー領域の特徴量である信頼度平均４３２および信頼度標準偏差４３３とを含むことができる。以下、領域特徴量算出処理について、図６を参照しながら詳細に説明する。
Ｓ４１では、特徴量算出部２０４は、着目したレビュー領域に登録されている変状候補の数が、予め定められたＮ個以上であるか否かを判定する。そして、変状候補の数がＮ個以上である場合、Ｓ４２に移行し、変状候補の数がＮ個よりも少ない場合、Ｓ４３に移行する。
Ｓ４２では、特徴量算出部２０４は、レビュー領域に対応付けられた変状候補の信頼度４１５の統計量を算出し、特徴量として出力する。例えば、特徴量算出部２０４は、レビュー領域に登録されている変状候補の信頼度４１５の平均θμと標準偏差θσとを、特徴量として算出する。一方、Ｓ４３では、特徴量算出部２０４は、予め定められた値を特徴量として出力する。例えば、特徴量算出部２０４は、変状候補の信頼度４１５の平均θμおよび標準偏差θσを特徴量として出力する場合、図４（ｃ）に示すように、平均０、標準偏差０となる特徴量情報４３４を出力する。
図６の領域特徴量算出処理により、特徴量算出部２０４は、図４（ｃ）に示す特徴量情報４３０を出力する。なお、本実施形態では、レビュー領域の特徴量は信頼度４１５の平均と標準偏差とであるとしたが、特徴量は、例えば、分散、中央値、四分位数や、最大値、最小値といった統計量であってもよい。
Ｓ４２では、特徴量算出部２０４は、レビュー領域に対応付けられた変状候補の信頼度４１５の統計量を算出し、特徴量として出力する。例えば、特徴量算出部２０４は、レビュー領域に登録されている変状候補の信頼度４１５の平均θμと標準偏差θσとを、特徴量として算出する。一方、Ｓ４３では、特徴量算出部２０４は、予め定められた値を特徴量として出力する。例えば、特徴量算出部２０４は、変状候補の信頼度４１５の平均θμおよび標準偏差θσを特徴量として出力する場合、図４（ｃ）に示すように、平均０、標準偏差０となる特徴量情報４３４を出力する。
図６の領域特徴量算出処理により、特徴量算出部２０４は、図４（ｃ）に示す特徴量情報４３０を出力する。なお、本実施形態では、レビュー領域の特徴量は信頼度４１５の平均と標準偏差とであるとしたが、特徴量は、例えば、分散、中央値、四分位数や、最大値、最小値といった統計量であってもよい。
図３に戻って、Ｓ５では、優先度決定部２０５は、特徴量情報４３０に基づいてレビュー領域の優先度を決定する。具体的には、優先度決定部２０５は、図７に示す領域優先度決定処理を実行してレビュー領域の優先度を決定し、優先度を示す優先度情報を出力する。図４（ｄ）に示すように、優先度情報４４０は、レビュー領域を一意に示すＩＤ４４１と、レビュー領域の優先度４４２とを含むことができる。以下、領域優先度決定処理について、図７を参照しながら詳細に説明する。
Ｓ５１では、優先度決定部２０５は、レビュー領域の特徴量を重み付き加算して優先度を算出する。具体的には、優先度決定部２０５は、下記（１）式をもとに優先度Ｐ´iを算出する。ここで、ｉは、各レビュー領域を表す添え字である。
Ｓ５１では、優先度決定部２０５は、レビュー領域の特徴量を重み付き加算して優先度を算出する。具体的には、優先度決定部２０５は、下記（１）式をもとに優先度Ｐ´iを算出する。ここで、ｉは、各レビュー領域を表す添え字である。
上記（１）式において、ｋは、特徴量θの種類を表す添え字である。また、ｗkは、特徴量θk毎に定められた重みである。本実施形態では、平均θμに対する重みｗμ＝−１、標準偏差θσに対する重みｗσ＝１とする。なお、本実施形態では、特徴量の重み付き加算により優先度を算出する場合について説明するが、特徴量と予め設定された基準値との差分を重み付き加算して優先度を算出してもよい。
Ｓ５２では、優先度決定部２０５は、Ｓ５１において算出された優先度Ｐ´iを正規化する。例えば、優先度決定部２０５は、Ｓ５１において算出された優先度Ｐ´iの最大値Ｐ´maxと最小値Ｐ´minとに基づいて、下記（２）式をもとに正規化された優先度Ｐiを算出する。
Ｐi＝（Ｐ´i−Ｐ´min）／（Ｐ´max−Ｐ´min） ………（２）
上記の正規化された優先度Ｐiは、０≦Ｐi≦１の値となる。このように、上記の正規化された優先度Ｐiは、ユーザに提示する際に直感的に分かりやすい数値となるよう変換したものである。したがって、優先度数値を直接ユーザに提示しない場合には、Ｓ５２の正規化処理は省略することができる。
Ｐi＝（Ｐ´i−Ｐ´min）／（Ｐ´max−Ｐ´min） ………（２）
上記の正規化された優先度Ｐiは、０≦Ｐi≦１の値となる。このように、上記の正規化された優先度Ｐiは、ユーザに提示する際に直感的に分かりやすい数値となるよう変換したものである。したがって、優先度数値を直接ユーザに提示しない場合には、Ｓ５２の正規化処理は省略することができる。
図７の領域優先度決定処理により、優先度決定部２０５は、図４（ｄ）に示す優先度情報４４０を出力する。本実施形態では、図７の図４（ｄ）の符号４４３に示すように、変状候補が含まれないレビュー領域（ＩＤ＝ＡＮ０００１）の優先度が最大値＝１．０となり、優先的にレビューされるように設定される。
図３に戻って、Ｓ６では、画像処理装置２００は、レビュー領域と優先度とを画像表示装置３００に出力し、処理を終了する。
図３に戻って、Ｓ６では、画像処理装置２００は、レビュー領域と優先度とを画像表示装置３００に出力し、処理を終了する。
次に、画像表示装置３００におけるレビュー領域および優先度の表示形態の例について説明する。
図８（ａ）は、レビュー領域の提示例である。提示画面５００は、画像表示装置３００の表示デバイスに表示される画面であり、レビュー領域に対応する画像を表示するエリア５０１を有する。エリア５０１は、入力画像のうち、図４（ｂ）に示すレビュー領域情報４２０に含まれる中心点座標４２２およびサイズ４２３によって表される部分画像を表示する。
また、エリア５０１は、図４（ａ）に示す変状候補情報４１０により表される変状候補を、ベクタデータとして上記部分画像に重畳表示する。エリア５０１に表示される変状候補には、登録変状候補４２４に含まれる変状候補５０２と、登録変状候補４２４に含まれない変状候補５０３とが含まれる。変状候補５０２と変状候補５０３とは異なる表示方法で表示してもよい。例えば、色を変える、明るさを変える、点滅させるなどにより、変状候補５０２を強調表示してもよい。
図８（ａ）は、レビュー領域の提示例である。提示画面５００は、画像表示装置３００の表示デバイスに表示される画面であり、レビュー領域に対応する画像を表示するエリア５０１を有する。エリア５０１は、入力画像のうち、図４（ｂ）に示すレビュー領域情報４２０に含まれる中心点座標４２２およびサイズ４２３によって表される部分画像を表示する。
また、エリア５０１は、図４（ａ）に示す変状候補情報４１０により表される変状候補を、ベクタデータとして上記部分画像に重畳表示する。エリア５０１に表示される変状候補には、登録変状候補４２４に含まれる変状候補５０２と、登録変状候補４２４に含まれない変状候補５０３とが含まれる。変状候補５０２と変状候補５０３とは異なる表示方法で表示してもよい。例えば、色を変える、明るさを変える、点滅させるなどにより、変状候補５０２を強調表示してもよい。
さらに、エリア５０１は、優先度の高い順にレビュー領域を切り替えて表示してもよい。この場合、画像表示装置３００は、図４（ｄ）に示す優先度情報４４０をもとに、まず最も優先度の高いレビュー領域を選択し、そのレビュー領域に係る表示を行う。その後は、画像表示装置３００は、ユーザの指示に従って、次に優先度の高いレビュー領域を選択し、そのレビュー領域に係る表示を行う。レビュー領域の表示の切り替えは、提示画面５００に表示したボタン５０４をユーザが押下したタイミングで行ってもよいし、所定時間毎に自動的に切り替えを行ってもよい。
なお、レビュー領域の表示形態は図８（ａ）に示す形態に限定されるものではない。別の表示形態として、図８（ｂ）に示すように、提示画面５００のエリア５１１に、複数のレビュー領域を表示してもよい。この場合、エリア５１１は、複数のレビュー領域を、優先度の高い順に並べて表示してもよい。図８（ｂ）では、２つのレビュー領域が、提示画面５００の左から右へ優先度の高い順に並べて表示された例を示している。エリア５１１に全てのレビュー領域を表示できない場合、ユーザの指示（例えばボタン５１２の押下）に従って、次に優先度の高いレビュー領域群の表示に切り替えてもよい。
さらに、図８（ｃ）に示すように、提示画面５００にレビュー領域を表示するエリア５２１と、レビュー領域のリンクを表示するエリア５２２とを設けてもよい。この場合、エリア５２２は、レビュー領域へのリンクを優先度の高い順に並べて表示し、ユーザが指定したリンクに対応するレビュー領域をエリア５２１に表示するようにしてもよい。
また、別の表示形態として、図８（ｄ）に示すように、提示画面のエリア５３１に、入力画像全体を表示し、そこにレビュー領域５３２および優先度５３３を重畳表示してもよい。この場合、優先度選択部５３４を用いてユーザが選択した優先度以上のレビュー領域のみを表示するようにしてもよい。つまり、ユーザが優先度選択部５３４を用いて、例えば図８（ｄ）の右図に示すように、優先度０．８を選択した場合、優先度が０．８以上のレビュー領域５３５および５３６のみを表示してもよい。
また、別の表示形態として、図８（ｄ）に示すように、提示画面のエリア５３１に、入力画像全体を表示し、そこにレビュー領域５３２および優先度５３３を重畳表示してもよい。この場合、優先度選択部５３４を用いてユーザが選択した優先度以上のレビュー領域のみを表示するようにしてもよい。つまり、ユーザが優先度選択部５３４を用いて、例えば図８（ｄ）の右図に示すように、優先度０．８を選択した場合、優先度が０．８以上のレビュー領域５３５および５３６のみを表示してもよい。
以上説明したように、本実施形態の画像処理装置２００は、処理対象の画像から抽出された検査対象となるオブジェクト（本実施形態では、構造物の変状候補）に関する情報を取得する。ここで、画像処理装置２００は、処理対象の画像を入力し、入力した画像から変状候補を抽出することで、変状候補に関する情報を取得してもよいし、別の装置が画像から抽出した変状候補に関する情報を取得してもよい。
画像処理装置２００は、取得した変状候補に関する情報に基づいて、画像内の複数の部分領域をレビュー領域として設定する。そして、画像処理装置２００は、変状候補に関する情報に基づいて、レビュー領域毎（部分領域毎）に優先度を決定する。その際、画像処理装置２００は、変状候補に関する情報に基づいて、レビュー領域毎（部分領域毎）に特徴量を導出し、導出された特徴量に基づいて、レビュー領域毎（部分領域毎）に優先度を決定する。
画像処理装置２００は、取得した変状候補に関する情報に基づいて、画像内の複数の部分領域をレビュー領域として設定する。そして、画像処理装置２００は、変状候補に関する情報に基づいて、レビュー領域毎（部分領域毎）に優先度を決定する。その際、画像処理装置２００は、変状候補に関する情報に基づいて、レビュー領域毎（部分領域毎）に特徴量を導出し、導出された特徴量に基づいて、レビュー領域毎（部分領域毎）に優先度を決定する。
このように、画像処理装置２００は、変状候補を基準として画像内の複数の部分領域をレビュー領域として設定し、設定された部分領域毎に優先付けする。これにより、画像処理装置２００は、変状候補のレビューに適した単位の領域を適切に設定することができる。したがって、画像処理装置２００がレビュー領域に対応する画像を表示させる表示制御を行うことで、検査員は、目視判断に適した程度にまとめた領域単位でレビューすることができ、効率的なレビューが可能となる。
さらに、画像処理装置２００は、レビュー領域の優先度に従って、レビュー領域に対応する画像を表示させる表示制御を行うことができる。例えば、画像処理装置２００は、優先度の高い順にレビュー領域を切り替えて表示させたり、優先度の高い順にレビュー領域を並べて表示させたり、所定の優先度以上のレビュー領域のみを表示させたりする表示制御を行うことができる。これにより、検査員は、より効率的に変状候補のレビューを行うことができる。
さらに、画像処理装置２００は、レビュー領域の優先度に従って、レビュー領域に対応する画像を表示させる表示制御を行うことができる。例えば、画像処理装置２００は、優先度の高い順にレビュー領域を切り替えて表示させたり、優先度の高い順にレビュー領域を並べて表示させたり、所定の優先度以上のレビュー領域のみを表示させたりする表示制御を行うことができる。これにより、検査員は、より効率的に変状候補のレビューを行うことができる。
また、画像処理装置２００は、レビュー領域に対応する画像を、レビュー領域の優先度とともに表示させる表示制御を行うことができる。このように、レビュー領域の優先度を表示することで、検査員は、自身が着目しているレビュー領域の検査の必要度（重要度）を認識しながら変状候補のレビューを行うことができる。
さらに、画像処理装置２００は、レビュー領域に含まれる変状候補（レビュー領域に対応付けられた変状候補）を強調表示させる表示制御を行うこともできる。これにより、検査員は、より適切に変状候補のレビューを行うことができる。
また、画像処理装置２００は、変状候補の信頼度に基づいてレビュー領域を設定する。例えば、信頼度の低い変状候補を基準とし、その変状候補が中央に位置するようなレビュー領域を設定すれば、信頼度の低い変状候補が検査員の目にとまりやすくなり、適切なレビューが可能となる。このように、変状候補の信頼度に応じてレビュー領域を設定することで、より適切なレビューが可能となる。
さらに、画像処理装置２００は、レビュー領域に含まれる変状候補（レビュー領域に対応付けられた変状候補）を強調表示させる表示制御を行うこともできる。これにより、検査員は、より適切に変状候補のレビューを行うことができる。
また、画像処理装置２００は、変状候補の信頼度に基づいてレビュー領域を設定する。例えば、信頼度の低い変状候補を基準とし、その変状候補が中央に位置するようなレビュー領域を設定すれば、信頼度の低い変状候補が検査員の目にとまりやすくなり、適切なレビューが可能となる。このように、変状候補の信頼度に応じてレビュー領域を設定することで、より適切なレビューが可能となる。
画像処理装置２００は、画像から抽出された変状候補を含む領域を、レビュー領域として設定する。これにより、確実に変状候補のレビューが可能になる。処理対象の画像を予め決められた小区画に分割した場合、変状候補が小区画を跨る場合がある。そのため、分割した小区画をレビュー領域として設定し、レビュー領域毎に画像を表示すると、適切なレビューが行えない。本実施形態のように、抽出した変状候補の情報に基づいてレビュー領域を設定することで、変状候補がレビュー領域を跨ることで適切にレビューが行えないといったことを回避することができる。
また、画像処理装置２００は、変状候補を含む領域をレビュー領域として設定した結果、画像においてレビュー領域として設定されていない残領域を、レビュー領域として設定する。つまり、画像処理装置２００は、変状候補が未検出である領域についても、レビュー領域を設定する。これにより、画像処理による変状候補の抽出漏れにも対応することができ、より適切なレビューが可能となる。
また、画像処理装置２００は、変状候補を含む領域をレビュー領域として設定した結果、画像においてレビュー領域として設定されていない残領域を、レビュー領域として設定する。つまり、画像処理装置２００は、変状候補が未検出である領域についても、レビュー領域を設定する。これにより、画像処理による変状候補の抽出漏れにも対応することができ、より適切なレビューが可能となる。
さらに、画像処理装置２００は、レビュー領域に対応付けられた変状候補の信頼度の統計量を、当該レビュー領域の特徴量として導出する。これにより、変状候補の信頼度に応じてレビュー領域の優先度を決定することができる。例えば、変状候補の信頼度が低いほど優先度を高くして、検査員の目視によるレビューを優先的に行うようにすることができる。このように、検査員の目視によるレビューの必要性に応じた適切な設定が可能となる。
また、画像処理装置２００は、レビュー領域の特徴量の重み付き加算を、レビュー領域の優先度として決定してもよいし、レビュー領域の特徴量と予め定められた基準値との差分の重み付き加算を、レビュー領域の優先度として決定してもよい。これにより、適切にレビュー領域の優先度を決定することができる。
また、画像処理装置２００は、レビュー領域の特徴量の重み付き加算を、レビュー領域の優先度として決定してもよいし、レビュー領域の特徴量と予め定められた基準値との差分の重み付き加算を、レビュー領域の優先度として決定してもよい。これにより、適切にレビュー領域の優先度を決定することができる。
以上のように、本実施形態における画像処理装置２００は、画像から抽出された検査対象となるオブジェクトを効率的にレビューするための領域と、その領域の優先度とを適切に決定することが可能となる。そのため、画像処理装置２００は、これらの情報を用いて、上記オブジェクトのレビュー作業が容易となる表示制御が可能となる。その結果、検査員は、画像から抽出された検査対象のオブジェクトの妥当性を適切にレビューすることができる。
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、画像から抽出された変状候補に基づいてレビュー領域を設定する場合について説明した。第二の実施形態では、ユーザが入力した画像内における領域情報もレビュー領域の設定に用いる例を説明する。
図９は、第二の実施形態の画像処理システム１００の構成例である。この図９に示す画像処理システム１００は、本実施形態の画像処理装置２００Ａが領域入力部２０６を追加で備えることを除いては、図１の構成と同様である。したがって、以下、構成の異なる部分を中心に説明する。
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、画像から抽出された変状候補に基づいてレビュー領域を設定する場合について説明した。第二の実施形態では、ユーザが入力した画像内における領域情報もレビュー領域の設定に用いる例を説明する。
図９は、第二の実施形態の画像処理システム１００の構成例である。この図９に示す画像処理システム１００は、本実施形態の画像処理装置２００Ａが領域入力部２０６を追加で備えることを除いては、図１の構成と同様である。したがって、以下、構成の異なる部分を中心に説明する。
領域入力部２０６は、ユーザが入力した領域情報を取得し、取得した領域情報を領域設定部２０３に出力する。ここで、領域情報は、画像内の所定領域を示す情報であり、画像内の範囲を表す領域座標値であってもよいし、画像全体を分割するグリッド情報であってもよい。
画像処理装置２００Ａが実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００Ａは、図３に示す処理を実行する。ただし、図３のＳ３における処理が第一の実施形態とは異なる。
画像処理装置２００Ａが実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００Ａは、図３に示す処理を実行する。ただし、図３のＳ３における処理が第一の実施形態とは異なる。
図１０は、本実施形態における領域設定部２０３が実行する領域設定処理の手順を示すフローチャートである。図１０の処理は、Ｓ３７およびＳ３８が追加されていることを除いては、図５の処理と同様である。したがって、図５と同一処理を行う部分には同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
Ｓ３７では、領域設定部２０３は、領域入力部２０６を介して、ユーザが指定した画像内の所定領域を表す領域情報を取得し、取得した領域情報をもとに、ユーザが指定した所定領域をレビュー領域として設定する。Ｓ３８では、Ｓ３７において決定されたレビュー領域に含まれる変状候補を登録する。変状候補の登録方法については、Ｓ３３およびＳ３４と同様である。
Ｓ３７では、領域設定部２０３は、領域入力部２０６を介して、ユーザが指定した画像内の所定領域を表す領域情報を取得し、取得した領域情報をもとに、ユーザが指定した所定領域をレビュー領域として設定する。Ｓ３８では、Ｓ３７において決定されたレビュー領域に含まれる変状候補を登録する。変状候補の登録方法については、Ｓ３３およびＳ３４と同様である。
図１０の領域設定処理により、領域設定部２０３は、図１１に示すようなレビュー領域情報４２０´を出力する。つまり、第一の実施形態において説明したレビュー領域情報４２０に加えて、ユーザが指定した領域情報に基づいて設定されたレビュー領域の情報４２６を設定することができる。
なお、図１１に示すレビュー領域情報４２０´では、レビュー領域のサイズは全て同サイズとしているが、ユーザが指定した領域情報に基づいて設定されるレビュー領域のサイズは、ユーザが任意に指定してもよい。
なお、図１１に示すレビュー領域情報４２０´では、レビュー領域のサイズは全て同サイズとしているが、ユーザが指定した領域情報に基づいて設定されるレビュー領域のサイズは、ユーザが任意に指定してもよい。
以上説明したように、本実施形態の画像処理装置２００Ａは、ユーザが指定した画像内の所定領域に関する情報を入力し、入力された情報をもとに、上記所定領域をレビュー領域として設定する。これにより、ユーザによって入力された領域情報を反映したレビュー領域の設定と変状候補の登録が可能となる。
ユーザは、以前のレビュー結果や対象構造物の変状の分布傾向などを事前にわかったうえで画像内の領域を指定することができる。したがって、画像処理装置２００Ａは、容易かつ適切に重点領域を反映したレビュー領域を設定することができる。
ユーザは、以前のレビュー結果や対象構造物の変状の分布傾向などを事前にわかったうえで画像内の領域を指定することができる。したがって、画像処理装置２００Ａは、容易かつ適切に重点領域を反映したレビュー領域を設定することができる。
（第三の実施形態）
上述した第一の実施形態および第二の実施形態では、レビュー領域に対応付けられた変状候補の信頼度の統計量を、当該レビュー領域の特徴量として算出する場合について説明した。第三の実施形態では、事前に取得した変状の分布情報に基づいて特徴量を算出する例を説明する。
図１２は、第三の実施形態の画像処理システム１００の構成例である。この図１２に示す画像処理システム１００は、本実施形態の画像処理装置２００Ｂが事前分布入力部２０７を追加で備えることを除いては、図１の構成と同様である。したがって、以下、構成の異なる部分を中心に説明する。
上述した第一の実施形態および第二の実施形態では、レビュー領域に対応付けられた変状候補の信頼度の統計量を、当該レビュー領域の特徴量として算出する場合について説明した。第三の実施形態では、事前に取得した変状の分布情報に基づいて特徴量を算出する例を説明する。
図１２は、第三の実施形態の画像処理システム１００の構成例である。この図１２に示す画像処理システム１００は、本実施形態の画像処理装置２００Ｂが事前分布入力部２０７を追加で備えることを除いては、図１の構成と同様である。したがって、以下、構成の異なる部分を中心に説明する。
事前分布入力部２０７は、以前のレビュー後に取得された変状の分布情報や、対象構造物の変状の分布傾向など、事前知識としての分布情報（事前分布情報）を取得し、取得した事前分布情報を特徴量算出部２０４に出力する。なお、事前分布情報は、ユーザが画像処理装置２００Ｂに事前に入力してもよいし、予め画像処理装置２００Ｂが保持していてもよい。
画像処理装置２００Ｂが実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００Ｂは、図３に示す処理を実行する。ただし、図３のＳ４における処理が第一の実施形態とは異なる。
画像処理装置２００Ｂが実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００Ｂは、図３に示す処理を実行する。ただし、図３のＳ４における処理が第一の実施形態とは異なる。
図１３は、本実施形態における特徴量算出部２０４が実行する領域特徴量算出処理の手順を示すフローチャートである。
まずＳ４４において、特徴量算出部２０４は、変状の事前分布情報を取得する。図１４（ａ）に示すように、事前分布情報４５０は、レビュー領域を一意に示すＩＤ４５１と、各レビュー領域に含まれる変状を変状幅に応じて分類した標本数４５２〜４５６と、を含むことができる。つまり、本実施形態において、事前分布情報は、レビュー領域内の変状の幅の分布を示す情報である。
まずＳ４４において、特徴量算出部２０４は、変状の事前分布情報を取得する。図１４（ａ）に示すように、事前分布情報４５０は、レビュー領域を一意に示すＩＤ４５１と、各レビュー領域に含まれる変状を変状幅に応じて分類した標本数４５２〜４５６と、を含むことができる。つまり、本実施形態において、事前分布情報は、レビュー領域内の変状の幅の分布を示す情報である。
Ｓ４５では、特徴量算出部２０４は、領域設定部２０３において設定されたレビュー領域に含まれる変状候補の分布情報（候補分布情報）を算出する。図１４（ｂ）に示すように、候補分布情報４６０は、レビュー領域を一意に示すＩＤ４６１と、各レビュー領域に含まれる変状候補を変状幅に応じて分類した標本数４６２〜４６６と、を含むことができる。つまり、本実施形態において、候補分布情報は、レビュー領域内の変状候補の幅の分布を示す情報である。
Ｓ４６では、特徴量算出部２０４は、Ｓ４４により得られた事前分布情報４５０と、Ｓ４５により得られた候補分布情報４６０との分布乖離度を、レビュー領域の特徴量として算出する。例えば、特徴量算出部２０４は、両分布情報の乖離度として、カイ二乗値を算出する。
図１３の領域特徴量算出処理により、特徴量算出部２０４は、図１４（ｃ）に示すような特徴量情報４３０Ａを出力する。特徴量情報４３０Ａは、レビュー領域を一意に示すＩＤ４３４と、分布乖離度４３５とを含むことができる。
Ｓ４６では、特徴量算出部２０４は、Ｓ４４により得られた事前分布情報４５０と、Ｓ４５により得られた候補分布情報４６０との分布乖離度を、レビュー領域の特徴量として算出する。例えば、特徴量算出部２０４は、両分布情報の乖離度として、カイ二乗値を算出する。
図１３の領域特徴量算出処理により、特徴量算出部２０４は、図１４（ｃ）に示すような特徴量情報４３０Ａを出力する。特徴量情報４３０Ａは、レビュー領域を一意に示すＩＤ４３４と、分布乖離度４３５とを含むことができる。
以上説明したように、本実施形態の画像処理装置２００Ｂは、変状候補の画像内における分布情報（第一分布情報）である事前分布情報を入力する。また、画像処理装置２００Ｂは、画像から抽出された変状候補に関する情報に基づいて、変状候補の画像内における分布情報（第二の分布情報）である候補分布情報を算出する。そして、画像処理装置２００Ｂは、第一の分布情報と第二の分布情報との分布乖離度を、レビュー領域の特徴量として導出する。
これにより、事前分布情報を反映したレビュー領域の特徴量を導出することができる。したがって、以前のレビュー結果や対象構造物の変状分布傾向など事前にわかっている変状分布と比較した、より確からしい優先度をもってレビュー作業が可能となる。
これにより、事前分布情報を反映したレビュー領域の特徴量を導出することができる。したがって、以前のレビュー結果や対象構造物の変状分布傾向など事前にわかっている変状分布と比較した、より確からしい優先度をもってレビュー作業が可能となる。
なお、本実施形態では、分布情報は、変状幅の分布を示す情報とする場合について説明したが、上記に限定されるものではない。例えば、分布情報は、変状の長さの分布を示す情報であってもよいし、候補抽出部２０２が変状の種類を特定できる構成であれば、変状の種類の分布を示す情報であってもよい。また、本実施形態では、レビュー領域の特徴量は、分布乖離度とする場合について説明したが、第一の実施形態における信頼度の統計量との組み合わせであってもよい。
さらに、本実施形態の画像処理装置２００Ｂは、図１に示す第一の実施形態の画像処理装置２００に対して事前分布入力部２０７を追加した構成とした。しかしながら、画像処理装置２００Ｂは、図９に示す第二の実施形態における画像処理装置２００Ａに対して事前分布入力部２０７を追加した構成であってもよい。
さらに、本実施形態の画像処理装置２００Ｂは、図１に示す第一の実施形態の画像処理装置２００に対して事前分布入力部２０７を追加した構成とした。しかしながら、画像処理装置２００Ｂは、図９に示す第二の実施形態における画像処理装置２００Ａに対して事前分布入力部２０７を追加した構成であってもよい。
（第四の実施形態）
次に、本発明の第四の実施形態について説明する。
上述した第一の実施形態では、レビュー領域の特徴量の重み付き加算によって優先度を決定する場合について説明した。第四の実施形態では、レビュー領域の連続性を考慮して優先度を決定する例を説明する。
本実施形態の画像処理装置２００の構成および画像処理装置２００が実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００は、図１に示す構成を有し、図３に示す処理を実行する。ただし、図３のＳ４における領域特徴量算出処理、およびＳ５における領域優先度決定処理が第一の実施形態とは異なる。
次に、本発明の第四の実施形態について説明する。
上述した第一の実施形態では、レビュー領域の特徴量の重み付き加算によって優先度を決定する場合について説明した。第四の実施形態では、レビュー領域の連続性を考慮して優先度を決定する例を説明する。
本実施形態の画像処理装置２００の構成および画像処理装置２００が実行する全体的な処理の流れは、上述した第一の実施形態と同様である。つまり、画像処理装置２００は、図１に示す構成を有し、図３に示す処理を実行する。ただし、図３のＳ４における領域特徴量算出処理、およびＳ５における領域優先度決定処理が第一の実施形態とは異なる。
図１５は、本実施形態における特徴量算出部２０４が実行する領域特徴量算出処理の手順を示すフローチャートである。
Ｓ４７において、特徴量算出部２０４は、レビュー領域の特徴量を算出する。具体的には、領域設定部２０３にて設定されたレビュー領域毎に、画像全体に対する相対位置情報を算出する。例えば、特徴量算出部２０４は、レビュー領域の画像全体に対する中心点座標を画像幅および高さで正規化した値を、レビュー領域の特徴量として算出する。
図１５の領域特徴量算出処理により、特徴量算出部２０４は、図１６（ａ）に示すような特徴量情報４３０Ｂを出力する。特徴量情報４３０Ｂは、レビュー領域を一意に示すＩＤ４３６と、レビュー領域の中心点Ｘ座標４３７および中心点Ｙ座標４３８とを含むことができる。
Ｓ４７において、特徴量算出部２０４は、レビュー領域の特徴量を算出する。具体的には、領域設定部２０３にて設定されたレビュー領域毎に、画像全体に対する相対位置情報を算出する。例えば、特徴量算出部２０４は、レビュー領域の画像全体に対する中心点座標を画像幅および高さで正規化した値を、レビュー領域の特徴量として算出する。
図１５の領域特徴量算出処理により、特徴量算出部２０４は、図１６（ａ）に示すような特徴量情報４３０Ｂを出力する。特徴量情報４３０Ｂは、レビュー領域を一意に示すＩＤ４３６と、レビュー領域の中心点Ｘ座標４３７および中心点Ｙ座標４３８とを含むことができる。
図１７は、本実施形態における優先度決定部２０５が実行する領域優先度決定処理の手順を示すフローチャートである。
Ｓ５３において、優先度決定部２０５は、レビュー領域の特徴量の空間上において、全レビュー領域を巡る最短経路を算出する。例えば、各レビュー領域を特徴量の空間上のノードとし、特徴量のユークリッド距離から全てのレビュー領域を巡る最短経路を探索する。具体的には、各レビュー領域の特徴量である中心点座標を用い、各レビュー領域の中心点間の最短経路を探索する。最短経路探索の解法としては、例えば、遺伝的アルゴリズムを用いた近似解を得る方法などが利用できる。その結果、優先度決定部２０５は、図１６（ｂ）に示すようなレビュー領域の順序情報４７０を出力する。順序情報４７０は、レビュー領域を一意に示すＩＤ４７１と、最短経路に従った順序４７２とを含むことができる。
Ｓ５３において、優先度決定部２０５は、レビュー領域の特徴量の空間上において、全レビュー領域を巡る最短経路を算出する。例えば、各レビュー領域を特徴量の空間上のノードとし、特徴量のユークリッド距離から全てのレビュー領域を巡る最短経路を探索する。具体的には、各レビュー領域の特徴量である中心点座標を用い、各レビュー領域の中心点間の最短経路を探索する。最短経路探索の解法としては、例えば、遺伝的アルゴリズムを用いた近似解を得る方法などが利用できる。その結果、優先度決定部２０５は、図１６（ｂ）に示すようなレビュー領域の順序情報４７０を出力する。順序情報４７０は、レビュー領域を一意に示すＩＤ４７１と、最短経路に従った順序４７２とを含むことができる。
Ｓ５４では、優先度決定部２０５は、Ｓ５３において求められた最短経路の順序４７２に基づいて優先度を決定する。例えば、優先度決定部２０５は、レビュー領域の総数をＭ、最短経路の順序をＲａｎｋiとし、下記（３）式をもとに優先度Ｐiを算出する。
Ｐi＝（Ｍ−Ｒａｎｋi）／Ｍ ………（３）
図１７の領域優先度決定処理により、優先度決定部２０５は、図１６（ｃ）に示すような優先度情報４４０Ａを出力する。優先度情報４４０Ａは、レビュー領域を一意に示すＩＤ４４３と、優先度４４４とを含むことができる。
Ｐi＝（Ｍ−Ｒａｎｋi）／Ｍ ………（３）
図１７の領域優先度決定処理により、優先度決定部２０５は、図１６（ｃ）に示すような優先度情報４４０Ａを出力する。優先度情報４４０Ａは、レビュー領域を一意に示すＩＤ４４３と、優先度４４４とを含むことができる。
以上説明したように、本実施形態の画像処理装置２００は、レビュー領域の中心点の座標を、レビュー領域の特徴量として導出し、導出された特徴量の空間上において中心点間の最短経路を探索し、最短経路に従ってレビュー領域の優先度を決定する。これにより、レビュー領域の連続性を考慮した優先度を決定することが可能となる。したがって、図８（ａ）に示すようなレビュー領域を連続して提示する形態における視認性を高めることができる。
なお、本実施形態では、レビュー領域の特徴量は、レビュー領域の画像全体に対する相対位置情報としたが、第一の実施形態から第三の実施形態における特徴量を用いてもよく、これらの組み合わせであってもよい。
なお、本実施形態では、レビュー領域の特徴量は、レビュー領域の画像全体に対する相対位置情報としたが、第一の実施形態から第三の実施形態における特徴量を用いてもよく、これらの組み合わせであってもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００…画像処理システム、２００…画像処理装置、２０１…画像入力部、２０２…候補抽出部、２０３…領域設定部、２０４…特徴量算出部、２０５…優先度決定部、３００…画像表示装置、３０１…領域提示部、３０２…画像表示部
Claims (24)
- 画像から抽出されたオブジェクトに関する情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定する設定手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の優先度を決定する決定手段と、を備え、
前記オブジェクトは、構造物の変状であることを特徴とする画像処理装置。 - 前記設定手段は、
前記オブジェクトの信頼度に基づいて、前記部分領域を設定することを特徴とする請求項１に記載の画像処理装置。 - 画像から抽出されたオブジェクトに関する情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定する設定手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の優先度を決定する決定手段と、を備え、
前記設定手段は、
前記オブジェクトの信頼度に基づいて、前記部分領域を設定することを特徴とする画像処理装置。 - 前記設定手段は、
前記画像から抽出された前記オブジェクトを含む領域を、前記部分領域として設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 - 前記設定手段は、
前記画像から抽出された前記オブジェクトを含む領域を前記部分領域として設定した結果、前記画像において前記部分領域として設定されていない残領域を、前記部分領域として設定することを特徴とする請求項４に記載の画像処理装置。 - 画像から抽出されたオブジェクトに関する情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定する設定手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の優先度を決定する決定手段と、を備え、
前記設定手段は、
前記画像から抽出された前記オブジェクトを含む領域を、前記部分領域として設定し、
前記画像から抽出された前記オブジェクトを含む領域を前記部分領域として設定した結果、前記画像において前記部分領域として設定されていない残領域を、前記部分領域として設定することを特徴とする画像処理装置。 - 前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の特徴量を導出する導出手段をさらに備え、
前記決定手段は、前記導出手段により導出された特徴量に基づいて、前記部分領域の優先度を決定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。 - 画像から抽出されたオブジェクトに関する情報を取得する取得手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定する設定手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の優先度を決定する決定手段と、
前記取得手段により取得された前記オブジェクトに関する情報に基づいて、前記設定手段により設定された部分領域の特徴量を導出する導出手段と、を備え、
前記決定手段は、前記導出手段により導出された特徴量に基づいて、前記部分領域の優先度を決定することを特徴とする画像処理装置。 - 前記導出手段は、
前記部分領域に対応付けられた前記オブジェクトの信頼度の統計量を、当該部分領域の特徴量として導出することを特徴とする請求項７または８に記載の画像処理装置。 - 前記導出手段は、前記部分領域毎に複数の特徴量を導出し、
前記決定手段は、前記導出手段により導出された複数の特徴量の重み付き加算を、前記優先度として決定することを特徴とする請求項７から９のいずれか１項に記載の画像処理装置。 - 前記導出手段は、前記部分領域毎に複数の特徴量を導出し、
前記決定手段は、前記導出手段により導出された前記複数の特徴量と予め定められたそれぞれの基準値との差分の重み付き加算を、前記優先度として決定することを特徴とする請求項７から９のいずれか１項に記載の画像処理装置。 - 前記導出手段は、
前記設定手段により設定された部分領域の中心点の座標を、前記特徴量として導出することを特徴とする請求項７から１１のいずれか１項に記載の画像処理装置。 - 前記決定手段は、
前記導出手段により導出された特徴量の空間上において、前記中心点間の最短経路を探索し、前記最短経路に従って前記優先度を決定することを特徴とする請求項１２に記載の画像処理装置。 - 前記オブジェクトの前記画像内における分布を示す第一の分布情報を事前に入力する第一の入力手段と、
前記取得手段により取得された前記オブジェクトの情報に基づいて、前記オブジェクトの前記画像内における分布を示す第二の分布情報を算出する算出手段と、をさらに備え、
前記導出手段は、前記部分領域にそれぞれ対応する前記第一の分布情報と前記第二の分布情報との分布乖離度を、当該部分領域の特徴量として導出することを特徴とする請求項７から１３のいずれか１項に記載の画像処理装置。 - 前記画像内の所定領域に関する情報を入力する第二の入力手段をさらに備え、
前記設定手段は、前記所定領域を前記部分領域として設定することを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。 - 前記設定手段により設定された部分領域に対応する前記画像を表示させる表示制御手段をさらに備えることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
- 前記表示制御手段は、
前記決定手段により決定された優先度に従って、前記部分領域に対応する画像を表示させることを特徴とする請求項１６に記載の画像処理装置。 - 前記表示制御手段は、
前記設定手段により設定された部分領域に対応する画像を、前記決定手段により決定された優先度とともに表示させることを特徴とする請求項１６または１７に記載の画像処理装置。 - 前記表示制御手段は、
前記設定手段により設定された部分領域に対応付けられた前記オブジェクトを強調表示させることを特徴とする請求項１６から１８のいずれか１項に記載の画像処理装置。 - 画像から抽出された構造物の変状に関する情報を取得するステップと、
取得された前記構造物の変状に関する情報に基づいて、前記画像内の部分領域を設定するステップと、
取得された前記構造物の変状に関する情報に基づいて、前記部分領域の優先度を決定するステップと、を含むことを特徴とする画像処理方法。 - 画像から抽出されたオブジェクトに関する情報を取得するステップと、
取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定するステップと、
前記オブジェクトに関する情報に基づいて、前記部分領域の優先度を決定するステップと、を有し、
前記設定するステップにおいて、
前記オブジェクトの信頼度に基づいて、前記部分領域を設定することを特徴とする画像処理方法。 - 画像から抽出されたオブジェクトに関する情報を取得するステップと、
取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定するステップと、
取得された前記オブジェクトに関する情報に基づいて、前記部分領域の優先度を決定するステップと、を有し、
前記設定するステップにおいて、
前記画像から抽出された前記オブジェクトを含む領域を、前記部分領域として設定し、
前記画像から抽出された前記オブジェクトを含む領域を前記部分領域として設定した結果、前記画像において前記部分領域として設定されていない残領域を、前記部分領域として設定することを特徴とする画像処理方法。 - 画像から抽出されたオブジェクトに関する情報を取得し、
取得された前記オブジェクトに関する情報に基づいて、前記画像内の部分領域を設定し、
取得された前記オブジェクトに関する情報に基づいて、前記部分領域の特徴量を導出し、
取得された前記オブジェクトに関する情報と導出された前記特徴量とに基づいて、前記部分領域の優先度を決定するステップと、を有することを特徴とする画像処理方法。 - コンピュータを、請求項１から１９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016132530A JP6765877B2 (ja) | 2016-07-04 | 2016-07-04 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016132530A JP6765877B2 (ja) | 2016-07-04 | 2016-07-04 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018005612A JP2018005612A (ja) | 2018-01-11 |
| JP2018005612A5 JP2018005612A5 (ja) | 2019-08-15 |
| JP6765877B2 true JP6765877B2 (ja) | 2020-10-07 |
Family
ID=60947958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016132530A Active JP6765877B2 (ja) | 2016-07-04 | 2016-07-04 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6765877B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109975321A (zh) * | 2019-03-29 | 2019-07-05 | 深圳市派科斯科技有限公司 | 一种用于fpc的缺陷检测方法和装置 |
| JP7401478B2 (ja) | 2021-03-12 | 2023-12-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012049503A (ja) * | 2010-07-27 | 2012-03-08 | Fujitsu Semiconductor Ltd | 半導体装置の検査装置及び半導体装置の検査方法 |
| JP5751630B2 (ja) * | 2011-12-27 | 2015-07-22 | Kddi株式会社 | 検査補助装置及び方法 |
-
2016
- 2016-07-04 JP JP2016132530A patent/JP6765877B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018005612A (ja) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101514169B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
| JP6609057B2 (ja) | 画像処理装置 | |
| US20200300778A1 (en) | Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium | |
| US20240062577A1 (en) | Matching result display device, matching result display method, program, and recording medium | |
| JP6747391B2 (ja) | 材料特性推定装置及び材料特性推定方法 | |
| US20210271913A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP7438220B2 (ja) | 鉄筋判定装置および鉄筋判定方法 | |
| US20220044147A1 (en) | Teaching data extending device, teaching data extending method, and program | |
| US9424640B2 (en) | Pathological diagnosis support apparatus and pathological diagnosis support method | |
| JP6765877B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20090232400A1 (en) | Image evaluation apparatus, method, and program | |
| JP2020140518A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| JP6833825B2 (ja) | 画像内の物体間のギャップを識別する方法及び装置 | |
| JP6478897B2 (ja) | 変調伝達関数の計算装置及び変調伝達関数の計算プログラム | |
| JP2001314374A (ja) | 角膜内皮細胞測定装置 | |
| JP7337557B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| WO2022018809A1 (ja) | 画像分析装置、画像分析システム、画像分析方法及びプログラム | |
| JP2020201674A (ja) | 映像解析装置及びその制御方法及びプログラム | |
| JP4116858B2 (ja) | 視線測定精度評価装置、視線測定精度評価方法、視線測定精度評価プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5910637B2 (ja) | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム | |
| US20230097156A1 (en) | Fingerprint matching apparatus, fingerprint matching method, and recording medium | |
| JP7345355B2 (ja) | 物体識別装置 | |
| US20230147924A1 (en) | Image processing system, imaging system, image processing method, and non-transitory computer-readable medium | |
| JP2018156449A (ja) | 異常物体検出プログラム、異常物体検出方法および異常物体検出装置 | |
| WO2021084898A1 (ja) | 画像管理装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200916 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6765877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |