JP7023425B1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP7023425B1
JP7023425B1 JP2021546797A JP2021546797A JP7023425B1 JP 7023425 B1 JP7023425 B1 JP 7023425B1 JP 2021546797 A JP2021546797 A JP 2021546797A JP 2021546797 A JP2021546797 A JP 2021546797A JP 7023425 B1 JP7023425 B1 JP 7023425B1
Authority
JP
Japan
Prior art keywords
data
area
label
interest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021546797A
Other languages
English (en)
Other versions
JPWO2022208620A1 (ja
Inventor
啓太 吉田
恵 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP7023425B1 publication Critical patent/JP7023425B1/ja
Publication of JPWO2022208620A1 publication Critical patent/JPWO2022208620A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１）は、学習部（１７）を備える。学習部（１７）は、構造物を撮像して得られる入力画像のデータである学習用画像データと、学習用画像データで示される入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、入力画像から注目対象領域を判定するための学習モデルを生成する。

Description

本開示は、注目対象の画像を含む入力画像から注目対象の領域を検出する学習モデルを生成する情報処理装置、情報処理方法、および情報処理プログラムに関する。
従来、トンネル、橋梁、または道路などの構造物の点検を効率的に行うため、ＭＭＳ（Mobile Mapping System）と呼ばれる走行型計測装置または点検ロボットなどが用いられている。ＭＭＳまたは点検ロボットなどは、撮像装置を有しており、移動しながら周囲の構造物を撮像装置で撮像する。
構造物の点検を行う作業員は、撮像装置の撮像によって得られた構造物の画像から構造物の変状の有無および構造物に生じている変状の状態などを判断しているが、構造物の画像を確認する作業は時間がかかる。
そこで、構造物の画像から構造物に生じている変状を検出する技術が提案されている。例えば、特許文献１には、入力画像における構造物の変状を検出し、かかる検出結果に基づいて入力画像から変状の部分画像に関する特徴量を抽出し、抽出した特徴量から変状の幅などの属性を判定する技術が開示されている。
特開２０１８－１９８０５３号公報
構造物の画像から構造物の変状を検出するために、機械学習によって画像から変状などの注目対象の領域を検出する学習モデルを生成する場合、事前に画像データとラベルデータとのデータセットが大量に必要となる。
しかしながら、ラベル付けは人手によって主観的な基準で行われるため、注目対象の領域に対して過大にラベル付けが行われたり過少にラベル付けが行われたりする可能性がある。そのため、かかるラベル付けによって生成された学習モデルでは、注目対象の領域を精度よく検出することができない可能性がある。このことは、注目対象が構造物の変状である場合に限定されず、構造物の変状以外の注目対象を検出する場合も同様である。
本開示は、上記に鑑みてなされたものであって、注目対象の領域を精度よく検出可能な学習モデルを生成することができる情報処理装置を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本開示の情報処理装置は、学習部を備える。学習部は、構造物を撮像して得られる入力画像のデータである学習用画像データと、学習用画像データで示される入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、入力画像から注目対象領域を判定するための学習モデルを生成する。学習部は、ラベル付け領域のうちラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを特定領域の各画素のラベルの重みよりも小さくする重み付けを行って、学習モデルを生成する。
本開示によれば、注目対象の領域を精度よく検出可能な学習モデルを生成することができる、という効果を奏する。
実施の形態１にかかる情報処理装置の一例を示す図 実施の形態１にかかる情報処理装置による信頼度の決定方法の一例を示す図 実施の形態１にかかる情報処理装置の表示部に表示される学習用画像の一例を説明するための図 図３の部分拡大図 実施の形態１にかかる情報処理装置に表示される学習用画像に対するラベル付け処理を説明するための図 図５の部分拡大図 実施の形態１にかかる情報処理装置の信頼度決定部による信頼度の決定方法を説明するための図 実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度の一例を示す図 実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度の他の例を示す図 実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度のさらに他の例を示す図 実施の形態１にかかる情報処理装置による処理の一例を示すフローチャート 実施の形態１にかかる情報処理装置によるラベル関連データ生成処理の一例を示すフローチャート 実施の形態１にかかる情報処理装置による学習処理の一例を示すフローチャート 実施の形態１にかかる情報処理装置のハードウェア構成の一例を示す図 実施の形態２にかかる情報処理装置の一例を示す図 実施の形態２にかかる情報処理装置による処理の一例を示すフローチャート
以下に、実施の形態にかかる情報処理装置、情報処理方法、および情報処理プログラムを図面に基づいて詳細に説明する。
実施の形態１．
図１は、実施の形態１にかかる情報処理装置の一例を示す図である。図１に示す情報処理装置１は、注目対象の画像を含む学習用画像から注目対象の領域を検出する学習モデルを生成し、生成した学習モデルを用いて、注目対象の画像を含む入力画像から注目対象の領域を検出する。
注目対象は、例えば、トンネル、橋梁、または道路などの構造物に生じた変状である。構造物の変状は、例えば、ひび割れ、浮き、剥離、またはさびなどである。なお、注目対象は、構造物の変状に限定されず、構造物の変状以外の対象であってもよい。
情報処理装置１は、ラベルデータと、ラベル属性データとを生成する。ラベルデータは、ユーザによる学習用画像へのラベル付け操作に基づいて、学習用画像のうち注目対象の領域としてラベル付けが行われた領域であるラベル付け領域を示すデータである。ラベル属性データは、ラベル付け領域の属性を示すデータであり、例えば、注目対象の領域の幅、長さ、または面積などを示すデータを含む。以下において、注目対象の領域を注目対象領域と記載する場合がある。
情報処理装置１は、ラベルデータとラベル属性データとに基づいて、ラベル付け操作によって設定されたラベル付け領域の各画素に対して注目対象領域の画素である確からしさを示す信頼度を決定する。
図２は、実施の形態１にかかる情報処理装置による信頼度の決定方法の一例を示す図である。図２に示すように、学習用画像における注目対象領域の辺縁部分における画素単位の比較的小さい領域において、学習用画像の解像度によっては、ボケが生じて不鮮明になることがある。
このような場合、ラベル付けを行うユーザは、注目対象領域の輪郭を正確に把握することが難しいことから、注目対象領域にラベルを正確に付けることが難しく、ラベル付け領域は、注目対象領域の辺縁付近でユーザ毎またはユーザ操作毎にばらつく。そのため、ラベル付け領域の中心の領域では画素の信頼度が高く、ラベル付け領域の中心から辺縁に向かって画素の信頼度が低くなる。画素の信頼度は、注目対象領域の画素であることの確からしさを示す。
そこで、情報処理装置１は、ラベルデータとラベル属性データとに基づいて、ラベル付けが行われた注目対象領域のうち中心部分の画素の信頼度を高い信頼度に決定し、辺縁部分の画素の信頼度を低い信頼度に決定する。
ここで、ラベル属性データが注目対象領域の幅を示すデータであるとし、ラベルデータで示されるラベル付け領域の幅をラベル幅とし、ラベル属性データで示される注目対象領域の幅を属性幅とする。この場合、情報処理装置１は、ラベル幅と属性幅とに基づいて、ラベル付け領域の各画素の信頼度を決定する。
例えば、情報処理装置１は、ラベル幅が属性幅よりも広い場合、ラベル付け領域のうち幅方向の中心を属性幅の中心とした場合における属性幅分の領域の画素の信頼度を高い信頼度に設定し、ラベル付け領域のうち属性幅分の領域以外の領域の画素の信頼度を低い信頼度に決定する。また、情報処理装置１は、ラベル幅が属性幅よりも狭い場合、ラベル付け領域の画素の信頼度を高い信頼度に設定する。
そして、情報処理装置１は、学習用画像とラベル付け領域とラベル付け領域の各画素の信頼度とに基づいて、入力画像から注目対象領域を判定するための学習モデルを機械学習によって生成する。例えば、情報処理装置１は、ラベル付け領域の各画素の信頼度を各画素のラベルの重みとする機械学習によって学習モデルを生成する。これにより、情報処理装置１は、注目対象領域を精度よく検出可能な学習モデルを生成することができる。
図１に示すように、情報処理装置１は、表示部１０と、入力部１１と、学習用画像データ記憶部１２と、データ生成部１３と、ラベルデータ記憶部１４と、ラベル属性データ記憶部１５と、画像解像度データ記憶部１６とを備える。また、情報処理装置１は、学習部１７と、学習モデル記憶部２３と、学習モデル取得部２４と、画像データ取得部２５と、判定部２６とを備える。
表示部１０は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイである。入力部１１は、例えば、キーボード、マウス、キーパッド、またはタッチパネルなどを含み、情報処理装置１のユーザによって操作される。以下において、ユーザによる入力部１１への操作をユーザ操作と記載する場合がある。
学習用画像データ記憶部１２は、複数の学習用画像データを記憶する。各学習用画像データは、学習モデルを生成するために用いられる学習用画像のデータであり、例えば、トンネル、橋梁、または道路などの構造物を撮像して得られる画像のデータである。
データ生成部１３は、学習用画像データ記憶部１２から学習用画像データを取得し、取得した学習用画像データに基づいて、学習用画像を表示部１０に表示させる。例えば、データ生成部１３は、ユーザ操作によって学習用画像の表示要求がある場合、学習用画像を表示部１０に表示させる。
データ生成部１３は、学習用画像が表示部１０で表示されている状態で、ユーザ操作としてラベル付けの操作であるラベル付け操作が行われた場合、ラベル付け処理を行う。ラベル付け処理では、ラベルデータの生成処理と、ラベル属性データの生成処理とが行われる。
ラベルデータは、表示部１０に表示されている学習用画像のうちラベル付け操作でラベル付けが行われた領域であるラベル付け領域の画素を示すデータである。ラベル属性データは、ラベル付け領域の属性を示すデータであり、例えば、ラベル付け領域の幅、長さ、または面積などのラベル付け領域の属性を示すデータを含む。
図３は、実施の形態１にかかる情報処理装置の表示部に表示される学習用画像の一例を説明するための図であり、図４は、図３の部分拡大図である。図５は、実施の形態１にかかる情報処理装置に表示される学習用画像に対するラベル付け処理を説明するための図であり、図６は、図５の部分拡大図である。
図３に示す学習用画像３０は、情報処理装置１の表示部１０に表示される。かかる学習用画像３０には、ひび割れの画像であるひび割れ画像３１ａ，３１ｂが含まれている。図３に示す例では、ひび割れ画像３１ａ，３１ｂを便宜上破線で示している。これらのひび割れ画像３１ａ，３１ｂは、辺縁部分がボケて不鮮明になっている。
例えば、図４に示すように、ひび割れ画像３１ｂには、ボケていない領域３７ａとボケている領域３７ｂとが含まれる。ひび割れ画像３１ｂのうちひび割れの幅方向の中央部分はボケていない領域３７ａであり、図４における左右の辺縁部分はボケている領域３７ｂである。そして、ボケている領域３７ｂの画素は、不鮮明であるため、ひび割れの領域の画素であるか否かが明確ではない。
ユーザは、ユーザ操作によって図３に示すカーソル３２を移動させ、ひび割れ画像３１ａ，３１ｂの領域をなぞることなどによって、図５に示すように、ひび割れ画像３１ａを含む領域をラベル付け領域３３ａに設定し、ひび割れ画像３１ｂを含む領域をラベル付け領域３３ｂに設定する。
この場合、データ生成部１３は、ラベル付け領域３３ａを示すラベルデータとラベル付け領域３３ｂを示すラベルデータとを生成し、生成したこれらのラベルデータをラベルデータ記憶部１４に記憶させる。かかるラベルデータは、ラベル付け領域の各画素を示すデータを含み、学習用画像データの識別情報に関連付けられた状態でラベルデータ記憶部１４に記憶される。
図６に示す例では、図５に示す領域３６において、図４に示すボケていない領域３７ａとボケている領域３７ｂとを含むひび割れ画像３１ｂの領域がラベル付け領域３３ｂとして設定されている。この場合、データ生成部１３は、ひび割れ画像３１ｂのすべての画素をラベル付け領域３３ｂの画素とするラベルデータを生成する。
また、ユーザは、ラベル付け操作によって、図５に示すように、ラベル付け領域３３ａ，３３ｂの属性３４ａ，３４ｂを設定する。図５において、ラベル付け領域３３ａの属性３４ａは、ラベル付け領域３３ａのひび割れの幅が０．３ｍｍであることを示し、ラベル付け領域３３ｂの属性３４ｂは、ラベル付け領域３３ｂのひび割れの幅が０．５ｍｍであることを示す。
この場合、データ生成部１３は、ラベル付け領域３３ａの属性３４ａを示すラベル属性データとラベル付け領域３３ｂの属性３４ｂを示すラベル属性データとを生成し、生成したこれらのラベル属性データをラベル属性データ記憶部１５に記憶させる。なお、ラベル属性データは、学習用画像データの識別情報およびラベルデータの識別情報などに関連付けられた状態でラベル属性データ記憶部１５に記憶される。以下において、ラベル付け領域３３ａ，３３ｂの各々を個別に区別せずに示す場合、ラベル付け領域３３と記載する場合がある。
図１に戻って、情報処理装置１の説明を続ける。情報処理装置１の画像解像度データ記憶部１６は、学習用画像３０の解像度を示すデータである画像解像度データを記憶している。学習用画像３０の解像度は、１画素当たりの大きさを示すが、例えば、画素密度で表されてもよい。
学習部１７は、学習用画像データ記憶部１２に記憶された学習用画像データと、ラベルデータ記憶部１４に記憶されたラベルデータと、ラベル属性データ記憶部１５に記憶されたラベル属性データとを含む学習用データに基づいて、入力画像から注目対象領域を判定する。
学習部１７は、信頼度決定部１８と、データ出力部１９と、信頼度データ記憶部２０と、学習用データ取得部２１と、学習モデル生成部２２とを備える。信頼度決定部１８は、ラベルデータ記憶部１４からラベルデータを取得し、ラベル属性データ記憶部１５からラベル属性データを取得し、画像解像度データ記憶部１６から画像解像度データを取得する。
信頼度決定部１８は、取得したラベルデータ、ラベル属性データ、および画像解像度データに基づいて、ラベル付けが行われた画素に対して注目対象領域の画素である確からしさを示す信頼度を決定する。
例えば、信頼度決定部１８は、ラベル属性データと画像解像度データとに基づいて、学習用画像３０における注目対象領域の幅、長さ、または面積を特定する。例えば、ラベル属性データで示される注目対象領域の幅が０．３ｍｍであり、画像解像度データで示される解像度が、０．１ｍｍ／画素であるとする。この場合、信頼度決定部１８は、学習用画像３０における注目対象領域の幅が３画素分の幅であると判定する。
そして、信頼度決定部１８は、例えば、ラベル属性データと画像解像度データとに基づいて特定した注目対象領域の幅、長さ、または面積と、ラベル付け領域の幅、長さ、または面積との比較結果に基づいて、ラベル付け領域３３の各画素の信頼度を決定する。以下において、ラベル属性データと画像解像度データとに基づいて特定した注目対象領域を特定注目対象領域と記載する場合がある。
例えば、信頼度決定部１８は、ラベル付け領域３３の幅、長さ、または面積を、特定注目対象領域の幅、長さ、または面積が超えるとする。この場合、信頼度決定部１８は、ラベル付け領域３３のうち、特定注目対象領域の幅分、長さ分、または面積分の領域であってラベル付け領域３３の中心を中心とする領域の各画素の信頼度を高い信頼度に決定し、ラベル付け領域３３のうち高い信頼度に決定した画素以外の画素の信頼度を低い信頼度に設定する。
図７は、実施の形態１にかかる情報処理装置の信頼度決定部による信頼度の決定方法を説明するための図である。図７に示す例では、ラベル属性データで示される注目対象領域の幅が、０．３ｍｍであり、画像解像度データで示される解像度が、０．１ｍｍ／画素であり、ラベル付け領域３３ｂの幅が、０．５ｍｍである。
この場合、信頼度決定部１８は、ラベル属性データで示される注目対象領域の幅「０．３ｍｍ」を画像解像度データで示される解像度「０．１ｍｍ／画素」で除算することで、学習用画像３０における注目対象領域の幅が３画素分の幅であることを特定する。信頼度決定部１８は、ラベル付け領域３３ｂの幅が５画素分の幅であるため、特定注目対象領域の幅がラベル付け領域３３ｂの幅よりも狭いと判定する。
この場合、信頼度決定部１８は、ラベル付け領域３３ｂのうち中央領域３８ａの各画素の信頼度を高い信頼度に決定する。中央領域３８ａは、ラベル付け領域３３ｂの幅方向の中心３８ｃを幅方向の中心とする特定注目対象領域の幅分の領域である。また、信頼度決定部１８は、ラベル付け領域３３ｂのうち中央領域３８ａ以外の辺縁領域３８ｂの各画素の信頼度を低い信頼度に決定する。
図８は、実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度の一例を示す図である。図８では、９画素分の幅を有するラベル付け領域３９が示されており、特定注目対象領域は、５画素分の幅である。そして、ラベル付け領域３９のうち中央領域３９ａの各画素の信頼度が高い信頼度ＷＨに決定され、中央領域３９ａ以外の辺縁領域３９ｂの各画素の信頼度が低い信頼度ＷＬに決定されている。中央領域３９ａは、ラベル付け領域３３ｂの幅方向の中心３９ｃを中心とする特定注目対象領域の幅分の領域である。信頼度ＷＨは、信頼度ＷＬよりも高い。
上述した例では、例えば、ラベル付け領域３３，３９の画素には２段階の信頼度が設定されるが、ラベル付け領域３３，３９の画素に設定される信頼度は、３段階以上の信頼度であってもよく、ラベル付け領域３３，３９の中心からの距離に応じた信頼度を定義する関数を用いて得られる信頼度であってもよい。
図９は、実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度の他の例を示す図である。図９に示す例では、ラベル付け領域３９の中央領域３９ａのうち幅方向の中心３９ｃに近い領域の画素の信頼度が最も高い信頼度ＷＨ１に決定され、中央領域３９ａのうち中心３９ｃから遠い領域の画素の信頼度が次に高い信頼度ＷＨ２に決定されている。
また、ラベル付け領域３９の辺縁領域３９ｂのうち中心３９ｃに近い領域の画素の信頼度が信頼度ＷＬ１に決定され、中央領域３９ａのうち中心３９ｃから遠い領域の画素の信頼度が信頼度ＷＬ２に決定されている。信頼度ＷＬ１は、信頼度ＷＨ２よりも低く、信頼度ＷＬ２よりも高い。
図１０は、実施の形態１にかかる情報処理装置の信頼度決定部によって決定される信頼度のさらに他の例を示す図である。図１０に示す例では、ラベル付け領域３９のうち中央領域３９ａの画素の信頼度は、ラベル付け領域３９の幅方向の中心３９ｃからの距離に応じた信頼度を定義する関数ｆ１（ｘ）によって得られる信頼度に決定される。関数ｆ１（ｘ）における「ｘ」は、中心３９ｃからの幅方向の距離である。
また、ラベル付け領域３９のうち辺縁領域３９ｂの画素の信頼度は、ラベル付け領域３９の幅方向の中心３９ｃからの距離に応じた信頼度を定義する関数ｆ２（ｘ）によって得られる信頼度に決定される。関数ｆ２（ｘ）における「ｘ」は、中心３９ｃからの幅方向の距離である。
なお、関数ｆ１（ｘ）と関数ｆ２（ｘ）とは、異なる関数であるが、同一関数であってもよく、関数ｆ１（ｘ）と関数ｆ２（ｘ）は、正規分布の関数またはポアソン分布の関数であってもよい。また、ラベル付け領域３９の各画素の信頼度は、関数に代えてテーブルに基づいて決定されてもよく、また、統計分布に応じた関数またはテーブルに基づいて決定されてもよい。
また、上述したラベル付け領域３３ｂ，３９では、信頼度の分布が幅方向の中心３８ｃ，３９ｃを中心として幅方向で対称であるが、信頼度の分布は、中心３８ｃ，３９ｃを中心として幅方向で対称でなくてもよい。
図１に戻って、情報処理装置１の説明を続ける。情報処理装置１のデータ出力部１９は、信頼度決定部１８によって決定されたラベル付け領域の各画素の信頼度を示すデータである信頼度データを信頼度データ記憶部２０に記憶させる。なお、信頼度データは、例えば、ラベルデータの識別情報および学習用画像データの識別情報などに関連付けられた状態で、信頼度データ記憶部２０に記憶される。
学習用データ取得部２１は、学習用画像データとラベルデータと信頼度データとのデータセットを学習用画像データ毎に、学習用画像データ記憶部１２、ラベルデータ記憶部１４、および信頼度データ記憶部２０から取得する。なお、ラベルデータおよび信頼度データが複数関連付けられている学習用画像データを含むデータセットには、複数のラベルデータおよび複数の信頼度データが含まれる。
学習用データ取得部２１は、学習用画像データとラベルデータと信頼度データとのデータセットを学習用画像データ毎に含む学習用データを学習モデル生成部２２へ出力する。学習モデル生成部２２は、学習用データ取得部２１から取得した学習用データに基づいて、画像データで示される画像を入力とし画像データで示される画像から注目対象領域を判定するための学習モデルを機械学習によって生成する。かかる学習モデルは、例えば、画像データで示される画像を入力画像とし、入力画像の各画素が注目対象領域の画素である確度を示すスコアのデータを出力とする学習モデルである。
学習モデル生成部２２は、例えば、信頼度データで示される信頼度を重みとして設定された損失関数による演算結果が最小になるように学習モデルを生成する。学習モデル生成部２２は、例えば、損失関数として下記式（１）を用いて学習モデルを生成する。下記式（１）は、予測値Ｐと真値Ｔの重み付きクロスエントロピー誤差を用いた損失関数である。
Figure 0007023425000001
上記式（１）において、「Ｋ」は、クラス数、「Ｎ」は、画素数、「ｉ」はクラスを示し、「ｎ」は、画素を示し、「ｗｎｉ」は、重みを示し、「Ｔｎｉ」は、真値を示し、「Ｐｎｉ」は、予測値を示す。
重みは、上述した信頼度に基づく重みであり、例えば、信頼度ＷＨに対応する重みは、「１．０」であり、信頼度ＷＬに対応する重みは、「０．５」である。また、信頼度ＷＨ１に対応する重みは、「１．０」であり、信頼度ＷＨ２に対応する重みは、「０．７５」であり、信頼度ＷＬ１に対応する重みは、「０．５」であり、信頼度ＷＬ２に対応する重みは、「０．２５」である。
学習モデル生成部２２による機械学習は深層学習であり、学習モデル生成部２２によって生成される学習モデルは、例えば、畳み込みニューラルネットワークまたは回帰型ニューラルネットワークなどのニューラルネットワークである。なお、学習モデル生成部２２による機械学習は深層学習以外の機械学習であってもよく、学習モデル生成部２２によって生成される学習モデルは、ニューラルネットワーク以外のネットワークモデルであってもよい。
また、学習モデル生成部２２で用いられる損失関数は、上述した例に限定されず、各画素に対して信頼度に対応する重みを用いる損失関数であればよく、例えば、２乗和誤差を用いた損失関数、平均２乗誤差を用いた損失関数、または平均絶対誤差を用いた損失関数などであってもよい。
学習モデル生成部２２は、上述した機械学習によって生成した学習モデルを学習モデル記憶部２３に記憶させる。学習モデル生成部２２は、例えば、新たな学習用画像データ、新たなラベルデータ、および新たな信頼度データが学習用データ取得部２１によって取得された場合、学習用データ取得部２１によって取得された新たな情報に基づいて、学習モデルを更新し、更新した学習モデルを学習モデル記憶部２３に記憶させることができる。
画像データ取得部２５は、不図示のインタフェース回路または通信部を介して画像データを取得する。学習モデル取得部２４は、学習モデル記憶部２３に記憶された最新の学習モデルを取得する。判定部２６は、画像データ取得部２５によって取得された画像データで示される画像を入力画像として学習モデル取得部２４によって取得された学習モデルへ入力し、学習モデルから出力されるデータに基づいて、画像データで示される画像に含まれる注目対象領域を判定する。
学習モデルから出力されるデータは、例えば、入力画像の各画素が注目対象領域の画素である確度を示すスコアのデータである。この判定部２６は、学習モデルから出力されるスコアが予め設定された閾値以上である画素を注目対象領域の画素であると判定し、注目対象領域の画素であると判定した複数の画素の領域を注目対象領域として判定する。
学習部１７において学習に用いられるラベルデータの品質は、ラベル付けの精度が悪いほど悪化し、学習モデルの推論精度に直結する。つまり、注目対象領域のみを注目対象領域として正しく設定した品質の高いラベルデータで学習して生成される学習モデルと、注目対象領域でない領域を注目対象領域として誤って設定したラベルデータが混入した品質の低いラベルデータで学習して生成される学習モデルとでは、前者のほうが、推論精度が向上する。
実施の形態１にかかる情報処理装置１では、ひび割れの幅、長さ、または面積などのように、注目対象領域を数値で示す数値情報であるラベル属性データを、ラベルデータとともに学習部１７へ与えることにより、注目対象領域でないにもかかわらず、注目対象領域と誤って設定される可能性があるひび割れの辺縁部の信頼度を低くして学習することを可能とし、学習モデルの精度向上を図ることができる。なお、ひび割れの辺縁部は、ひび割れの境界部ということもできる。また、以下、ひび割れの幅をひび割れ幅と記載する場合がある。
ここで、ラベル属性データを用いることで学習モデルの推定精度が向上する理由について、より具体的に説明する。一般に、ラベルデータの作成は、アノテーションとも呼ばれ、学習用画像の各画素へのラベル付け操作を人手で行うといった人海戦術で行われることが多い。例えば、構造物の変状がトンネルのひび割れの場合、実際に土木知見を持った技術者が生成したトンネルの変状展開図をもとにして、土木知見を持たないラベルデータ作成担当者が、学習用画像のひび割れに該当する箇所の各画素にラベル付け操作を行う。その際、ひび割れの辺縁部には、学習用画像の解像度または画素数のような画質の影響によりボケが発生し、ラベル付けの精度にばらつきが生じる。つまり、注目対象領域でないにもかかわらず、注目対象領域と誤って設定される画素が生じる。
一方、変状展開図には、土木知見を持った技術者が学習用画像を見て判定したひび割れ幅、または、トンネル壁面に生じたひび割れを現場または現地でクラックスケールを用いて実際に測定して取得したひび割れ幅を示す数値が入力されている。ラベルデータ作成担当者は、各画素へのラベル付け操作をする際に、変状展開図に入力されているひび割れ幅の数値を、ラベル付けしたひび割れ幅として設定する。これにより、データ生成部１３は、ラベル属性データを生成することができる。
信頼度決定部１８は、ひび割れ幅を示す数値情報であるラベル属性データと画像解像度データとに基づき、画質の影響を考慮したひび割れの領域を求めることができる。これにより、学習用画像において、実際のひび割れ幅を超える領域、または、ひび割れ辺縁部分の領域に対して「ひび割れ」としてラベル付けされた画素が分かるので、それらの部分の信頼度を低くして学習させることで、学習モデルの精度向上を図ることができる。ここで、実際のひび割れ幅とは、「土木知見を持った技術者が学習用画像を見て判定したひび割れ幅」、あるいは「現場または現地でクラックスケールを用いて実際に測定して取得したひび割れ幅」を指す。
つづいて、フローチャートを用いて情報処理装置１による処理を説明する。図１１は、実施の形態１にかかる情報処理装置による処理の一例を示すフローチャートである。図１１に示すように、情報処理装置１のデータ生成部１３は、ラベル付け操作があるか否かを判定する（ステップＳ１０）。
データ生成部１３は、ラベル付け操作があると判定した場合（ステップＳ１０：Ｙｅｓ）、ラベル関連データ生成処理を実行する（ステップＳ１１）。かかるラベル関連データ生成処理は、図１２に示すステップＳ２０～Ｓ２５の処理であり、後で詳述する。
情報処理装置１の学習モデル生成部２２は、ステップＳ１１の処理が終了した場合、またはデータ生成部１３によってラベル付け操作がないと判定された場合（ステップＳ１０：Ｎｏ）、学習タイミングであるか否かを判定する（ステップＳ１２）。ステップＳ１２において、学習モデル生成部２２は、例えば、学習用データ取得部２１から学習用データが出力された場合に、学習タイミングであると判定する。
学習モデル生成部２２は、学習タイミングであると判定した場合（ステップＳ１２：Ｙｅｓ）、学習処理を実行する（ステップＳ１３）。かかる学習処理は、図１３に示すステップＳ３０～Ｓ３２の処理であり、後で詳述する。
情報処理装置１の判定部２６は、ステップＳ１３の処理が終了した場合、または学習モデル生成部２２によって学習タイミングではないと判定された場合（ステップＳ１２：Ｎｏ）、学習モデル生成部２２によって学習モデルが生成済みであるか否かを判定する（ステップＳ１４）。
判定部２６は、学習モデルが生成済みであると判定した場合（ステップＳ１４：Ｙｅｓ）、画像データが画像データ取得部２５で取得されたか否かを判定する（ステップＳ１５）。判定部２６は、画像データが取得されたと判定した場合（ステップＳ１５：Ｙｅｓ）、画像データで示される画像に含まれる注目対象領域を判定する注目対象判定処理を実行する（ステップＳ１６）。
情報処理装置１は、ステップＳ１６の処理が終了した場合、学習モデルが生成済みではないと判定した場合（ステップＳ１４：Ｎｏ）、または画像データが取得されていないと判定した場合（ステップＳ１５：Ｎｏ）、図１１に示す処理を終了する。
図１２は、実施の形態１にかかる情報処理装置によるラベル関連データ生成処理の一例を示すフローチャートである。図１２に示すように、データ生成部１３は、学習用画像データで示される画像のうちラベル付け操作によって注目対象領域としてラベル付けが行われた領域であるラベル付け領域３３，３９を示すラベルデータを生成する（ステップＳ２０）。
また、データ生成部１３は、ラベル付け操作に基づいて、ラベル付け領域３３，３９の属性を示すラベル属性データを生成する（ステップＳ２１）。そして、データ生成部１３は、ステップＳ２０で生成したラベルデータをラベルデータ記憶部１４に記憶させ、ステップＳ２１で生成したラベル属性データをラベル属性データ記憶部１５に記憶させる（ステップＳ２２）。
信頼度決定部１８は、ラベルデータ、ラベル属性データ、および画像解像度データを、ラベルデータ記憶部１４、ラベル属性データ記憶部１５、および画像解像度データ記憶部１６から取得する（ステップＳ２３）。
次に、信頼度決定部１８は、ステップＳ２３で取得したラベルデータ、ラベル属性データ、および画像解像度データに基づいて、ラベル付け領域の各画素の信頼度を判定する（ステップＳ２４）。
そして、データ出力部１９は、信頼度決定部１８によって判定されたラベル付け領域の各画素の信頼度を示す信頼度データを信頼度データ記憶部２０に記憶させて（ステップＳ２５）、図１２に示す処理を終了する。
図１３は、実施の形態１にかかる情報処理装置による学習処理の一例を示すフローチャートである。図１３に示すように、学習モデル生成部２２は、学習用画像データ記憶部１２、ラベルデータ記憶部１４、および信頼度データ記憶部２０から、学習用画像データ、ラベルデータ、および信頼度データを取得する（ステップＳ３０）。
次に、学習モデル生成部２２は、ステップＳ３０で取得した学習用画像データ、ラベルデータ、および信頼度データに基づいて、学習モデルを生成する（ステップＳ３１）。学習モデル生成部２２は、生成した学習モデルを学習モデル記憶部２３に記憶させて（ステップＳ３２）、図１３に示す処理を終了する。
図１４は、実施の形態１にかかる情報処理装置のハードウェア構成の一例を示す図である。図１４に示すように、情報処理装置１は、プロセッサ１０１と、メモリ１０２と、通信装置１０３と、インタフェース回路１０４とを備えるコンピュータを含む。
プロセッサ１０１、メモリ１０２、通信装置１０３、およびインタフェース回路１０４は、例えば、バス１０５によって互いに情報の送受信が可能である。学習用画像データ記憶部１２、ラベルデータ記憶部１４、ラベル属性データ記憶部１５、画像解像度データ記憶部１６、信頼度データ記憶部２０、および学習モデル記憶部２３は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、データ生成部１３、信頼度決定部１８、データ出力部１９、学習用データ取得部２１、学習モデル生成部２２、学習モデル取得部２４、画像データ取得部２５、および判定部２６などの機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、およびシステムＬＳＩ（Large Scale Integration）のうち一つ以上を含む。
メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital Versatile Disc）のうち一つ以上を含む。なお、情報処理装置１は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などの集積回路を含んでいてもよい。
情報処理装置１は、サーバで構成されてもよく、クライアントとサーバとで構成されてもよい。情報処理装置１が２以上の装置で構成される場合、２以上の装置の各々は、例えば、図１４に示すハードウェア構成を有する。なお、２以上の装置間の通信は、通信装置１０３を介して行われる。また、情報処理装置１は、２以上のサーバを含んでいてもよい。例えば、情報処理装置１は、処理サーバと、データサーバとを含んでいてもよい。
以上のように、実施の形態１にかかる情報処理装置１は、学習部１７を備える。学習部１７は、構造物を撮像して得られる入力画像のデータである学習用画像データと、学習用画像データで示される入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、入力画像から注目対象領域を判定するための学習モデルを生成する。これにより、情報処理装置１は、注目対象領域を精度よく検出可能な学習モデルを生成することができる。
学習部１７は、信頼度決定部１８と、学習モデル生成部２２とを含む。信頼度決定部１８は、学習用画像データで示される学習用画像３０のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域３３，３９を示すラベルデータと、ラベル付け領域３３，３９の属性を示すラベル属性データとに基づいて、ラベル付け領域３３，３９の各画素に対して注目対象領域の画素である確からしさを示す信頼度を決定する。学習モデル生成部２２は、学習用画像データとラベルデータと信頼度決定部１８によって決定された信頼度とに基づいて、入力画像から注目対象領域を判定するための学習モデルを生成する。これにより、情報処理装置１は、注目対象領域を精度よく検出可能な学習モデルを生成することができる。
また、学習モデル生成部２２は、信頼度決定部１８によって決定された信頼度を重みとして設定された損失関数による演算結果に基づいて学習モデルを生成する。これにより、情報処理装置１は、注目対象領域を精度よく検出可能な学習モデルを生成することができる。
また、ラベル属性データは、注目対象領域を数値で示すデータである。これにより、情報処理装置１は、信頼度を容易に決定することができる。
また、ラベル属性データは、注目対象領域の幅、長さ、または面積を示すデータを含む。信頼度決定部１８は、ラベルデータで示されるラベル付け領域３３，３９の幅、長さ、または面積とラベル属性データで示されるラベル付け領域３３，３９の幅、長さ、または面積とに基づいて、信頼度を決定する。これにより、情報処理装置１は、注目対象領域の幅、長さ、または面積を精度よく検出することができる。
また、情報処理装置１は、画像データを取得する画像データ取得部２５と、判定部２６とを備える。判定部２６は、画像データ取得部２５によって取得された画像データで示される画像を学習モデルに入力し、学習モデルから出力されるデータに基づいて、画像データで示される画像に含まれる注目対象領域を判定する。これにより、情報処理装置１は、注目対象領域を精度よく検出することができる。
また、情報処理装置１は、学習モデル取得部２４と、画像データ取得部２５と、判定部２６とを備える。学習モデル取得部２４は、学習用画像データと学習用画像データで示される学習用画像３０のうち注目対象の領域である注目対象領域の画像としてラベル付けが行われた領域であるラベル付け領域３３，３９を示すラベルデータとラベル付け領域３３，３９における画素の注目対象領域の画素である確からしさを示す信頼度とに基づいて生成された学習モデルを取得する。画像データ取得部２５は、画像データを取得する。判定部２６は、画像データ取得部２５によって取得された画像データで示される画像を学習モデル取得部２４によって取得された学習モデルに入力し、学習モデルから出力されるデータに基づいて、画像データで示される画像に含まれる注目対象領域を判定する。これにより、情報処理装置１は、注目対象領域を精度よく検出することができる。
実施の形態２.
実施の形態２にかかる情報処理装置は、ラベルデータ、ラベル属性データ、および画像解像度データに加え、学習用画像データで示される学習用画像の各画素の色を示す色データに基づいて、信頼度データを生成する点で、実施の形態１にかかる情報処理装置１と異なる。以下においては、実施の形態１と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態１の情報処理装置１と異なる点を中心に説明する。
図１５は、実施の形態２にかかる情報処理装置の一例を示す図である。図１５に示すように、実施の形態２にかかる情報処理装置１Ａは、信頼度決定部１８に代えて信頼度決定部１８Ａを備える点、および色データ記憶部２７をさらに備える点で、実施の形態１にかかる情報処理装置１と異なる。
色データ記憶部２７は、学習用画像３０の各画素の色データを学習用画像３０毎に含む。色データは、例えば、ＲＧＢ（Red-Green-Blue color model）データである。かかるＲＧＢデータは、赤色、緑色、および青色の各々のデータが例えば２５６段階で示される２４ビットデータである。なお、色データは、各画素の色を示すデータであればよく、ＲＧＢデータに限定されない。なお、画素の色は、輝度で表されてもよい。
信頼度決定部１８Ａは、例えば、ラベルデータとラベル属性データと画像解像度データとに基づいて、信頼度決定部１８と同様の信頼度の決定方法によって、ラベル付け領域３３，３９の各画素の仮の信頼度である仮信頼度を決定する。
次に、信頼度決定部１８Ａは、色データ記憶部２７に記憶された学習用画像３０の色データに基づいて、ラベル付け領域３３，３９の各画素の重みを決定する。そして、信頼度決定部１８Ａは、色データに基づいて決定した重みを仮信頼度に乗算する処理をラベル付け領域３３，３９の画素毎に行うことによって、ラベル付け領域３３，３９の各画素の信頼度を決定する。
例えば、信頼度決定部１８Ａは、色データ記憶部２７に記憶された学習用画像３０の色データに基づいて、ラベル付け領域３３，３９の各画素の輝度を判定し、判定した輝度に基づいて、ラベル付け領域３３，３９の各画素の重みを決定する。
例えば、信頼度決定部１８Ａは、画素の輝度が０～２５５の範囲の値で示される場合、輝度が０～１２７の範囲である場合、重みを「１．０」に決定し、輝度が１２８～２５５の範囲である場合、重みを「０．５」に決定する。
なお、信頼度決定部１８Ａは、色データに基づいて信頼度を決定するための重みを決定する方法は、上述した例に限定されず、種々の方法によって、信頼度を決定するための重みを決定することができる。例えば、信頼度決定部１８Ａは、学習用画像３０の色データに基づいて、各画素の色相と色彩を判定し、輝度と色相と色彩とからラベル付け領域３３，３９の各画素の重みを決定することもできる。また、信頼度決定部１８Ａは、赤色のデータの値、緑色のデータの値、および青色のデータの値の各々に係数を乗算して合算した値に応じた重みを決定することもできる。
つづいて、フローチャートを用いて情報処理装置１Ａによるラベル関連データ生成処理を説明する。図１６は、実施の形態２にかかる情報処理装置による処理の一例を示すフローチャートである。図１６に示すステップＳ４０，Ｓ４１，Ｓ４２，Ｓ４５は、図１２に示すステップＳ２０，Ｓ２１，Ｓ２２，Ｓ２５と同じであり、説明を省略する。
情報処理装置１Ａの信頼度決定部１８Ａは、ラベルデータ、ラベル属性データ、画像解像度データ、および色データを、ラベルデータ記憶部１４、ラベル属性データ記憶部１５、画像解像度データ記憶部１６、および色データ記憶部２７から取得する（ステップＳ４３）。
次に、信頼度決定部１８Ａは、ステップＳ４３で取得したラベルデータ、ラベル属性データ、画像解像度データ、および色データに基づいて、ラベル付け領域の各画素の信頼度を判定する（ステップＳ４４）。
実施の形態２にかかる情報処理装置１Ａのハードウェア構成例は、図１４に示す情報処理装置１のハードウェア構成と同じである。色データ記憶部２７は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、信頼度決定部１８Ａの機能を実行することができる。
以上のように、実施の形態２にかかる情報処理装置１Ａは、信頼度決定部１８Ａを備える。信頼度決定部１８Ａは、ラベルデータとラベル属性データとに加えて学習用画像データで示される画像の各画素の色に関するデータに基づいて、ラベル付け領域３３，３９の各画素に対して注目対象領域の画素である確からしさを示す信頼度を決定する。これにより、情報処理装置１Ａは、注目対象領域をさらに精度よく検出可能な学習モデルを生成することができる。
上述した例では、信頼度決定部１８，１８Ａは、ラベル属性データと画像解像度データとに基づいて、学習用画像３０における注目対象領域の幅、長さ、または面積などを特定するが、学習用画像３０の解像度が一定である場合、画像解像度データを用いなくてもよい。この場合、信頼度決定部１８，１８Ａは、学習用画像３０の解像度が一定であるものとして、学習用画像３０における注目対象領域の幅、長さ、または面積などを特定することができる。
また、上述した情報処理装置１，１Ａの学習モデル生成部２２は、撮像装置毎の学習モデルを生成することもできる。また、情報処理装置１，１Ａの学習モデル生成部２２は、撮像装置で用いる照明機器の種類毎の学習モデルを生成することもできる。撮像装置で用いる照明機器は、例えば、ハロゲンランプ、ＬＥＤ（Light Emitting Diode）ランプ、またはＨＩＤ（High Intensity Discharge）ランプなどである。
また、情報処理装置１，１Ａのデータ生成部１３は、ラベル付け領域３３，３９をユーザ毎に広めたり狭めたりすることができる。例えば、データ生成部１３は、広めにラベル付けを行うユーザによって設定されたラベル付け領域３３，３９の幅を狭くした領域をラベル付け領域３３，３９に含むラベルデータを生成したり、狭めにラベル付けを行うユーザによって設定されたラベル付け領域３３，３９の幅を広くした領域をラベル付け領域３３，３９に含むラベルデータを生成したりすることができる。なお、ユーザによって設定されたラベル付け領域３３，３９の変更は、データ生成部１３に代えて信頼度決定部１８，１８Ａによって行ってもよい。
また、情報処理装置１，１Ａは、例えば、学習モデル生成部２２が生成する学習モデルから得られる情報などに基づいて、ラベル付け領域３３，３９を広めにするユーザとラベル付け領域３３，３９を狭めにするユーザを判定することもできる。
情報処理装置１，１Ａを適用した具体的なアプリケーションである点検装置について説明する。画像データ取得部２５は、撮像装置により撮像された構造物の画像データを取得する。撮像装置は、構造物を撮像可能な位置に設置される。学習部１７，１７Ａは、構造物の画像データから、構造物の変状を注目対象領域として検出する学習モデルを生成する。判定部２６は、画像データ取得部２５で取得された構造物の画像データを、学習部１７，１７Ａで生成された学習モデルに入力し、構造物の画像データに含まれる注目対象領域を判定する。判定部２６で注目対象領域か否かを判定した結果は、例えば、注目対象領域に該当しない画素を０とし、注目対象領域に該当する画素を１とする情報を画素単位で有する判定結果情報として与えられる。
次に、判定結果情報の活用例について説明する。例えば、判定に用いられた画像データの各画素のうち、注目対象領域に該当する画素と判定された画素の赤色の色データの値を２５５に設定することにより、赤色で示す注目対象領域を判定前の画像データに重畳表示させた画像（注目対象領域を赤色で強調表示した画像）を生成することができる。この画像を表示部１０に表示することにより、注目対象領域の画像データ内での位置確認が可能となる。また、この画像をベースにして注目対象領域をトレースしたデータを生成することで、変状展開図を作成することが可能となる。
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
１，１Ａ 情報処理装置、１０ 表示部、１１ 入力部、１２ 学習用画像データ記憶部、１３ データ生成部、１４ ラベルデータ記憶部、１５ ラベル属性データ記憶部、１６ 画像解像度データ記憶部、１７，１７Ａ 学習部、１８，１８Ａ 信頼度決定部、１９ データ出力部、２０ 信頼度データ記憶部、２１ 学習用データ取得部、２２ 学習モデル生成部、２３ 学習モデル記憶部、２４ 学習モデル取得部、２５ 画像データ取得部、２６ 判定部、２７ 色データ記憶部、３０ 学習用画像、３１ａ，３１ｂ ひび割れ画像、３２ カーソル、３３，３３ａ，３３ｂ，３９ ラベル付け領域、３４ａ，３４ｂ 属性、３６，３７ａ，３７ｂ 領域、３８ａ，３９ａ 中央領域、３８ｂ，３９ｂ 辺縁領域、３８ｃ，３９ｃ 中心。

Claims (17)

  1. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成する学習部を備え、
    前記学習部は、
    前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けを行って、前記学習モデルを生成する
    ことを特徴とする情報処理装置。
  2. 構造物を撮像して得られる入力画像のデータである学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとに基づいて、前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度を決定する信頼度決定部と、
    前記学習用画像データと前記ラベルデータと前記信頼度決定部によって決定された前記信頼度とに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成する学習モデル生成部と、を備える
    ことを特徴とする情報処理装置。
  3. 前記学習モデル生成部は、
    前記信頼度決定部によって決定された前記信頼度を重みとして設定された損失関数による演算結果に基づいて前記学習モデルを生成する
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記信頼度決定部は、
    前記ラベルデータと前記ラベル属性データとに加えて前記学習用画像データで示される画像の各画素の色に関するデータに基づいて、前記信頼度を決定する
    ことを特徴とする請求項２または３に記載の情報処理装置。
  5. 前記ラベル属性データは、
    前記注目対象領域を数値で示すデータである
    ことを特徴とする請求項１から４のいずれか１つに記載の情報処理装置。
  6. 前記ラベル属性データは、
    前記注目対象領域の幅、長さ、または面積を示すデータを含み、
    前記信頼度決定部は、
    前記ラベルデータで示される前記ラベル付け領域の幅、長さ、または面積と前記ラベル属性データで示される前記ラベル付け領域の幅、長さ、または面積とに基づいて、前記信頼度を決定する
    ことを特徴とする請求項２から４のいずれか１つに記載の情報処理装置。
  7. 画像データを取得する画像データ取得部と、
    前記画像データ取得部によって取得された前記画像データで示される画像を前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する判定部と、を備える
    ことを特徴とする請求項２から６のいずれか１つに記載の情報処理装置。
  8. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する学習モデル取得部と、
    画像データを取得する画像データ取得部と、
    前記画像データ取得部によって取得された前記画像データで示される画像を前記学習モデル取得部によって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する判定部と、を備え、
    前記学習モデルは、前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けによって生成される
    ことを特徴とする情報処理装置。
  9. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する学習モデル取得部と、
    画像データを取得する画像データ取得部と、
    前記画像データ取得部によって取得された前記画像データで示される画像を前記学習モデル取得部によって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する判定部と、を備え、
    前記学習モデルは、前記ラベルデータと前記ラベル属性データとに基づいて決定される信頼度であって前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度と、前記学習用画像データと、前記ラベルデータとに基づいて生成された学習モデルである
    ことを特徴とする情報処理装置。
  10. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成するステップを含み、
    前記ステップは、
    前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けを行って、前記学習モデルを生成する
    ことを特徴とする情報処理方法。
  11. 構造物を撮像して得られる入力画像のデータである学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとに基づいて、前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度を決定するステップと、
    前記学習用画像データと前記ラベルデータと前記ステップによって決定された前記信頼度とに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成するステップと、を含む
    ことを特徴とする情報処理方法。
  12. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する第１のステップと、
    画像データを取得する第２のステップと、
    前記第２のステップによって取得された前記画像データで示される画像を前記第１のステップによって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する第３のステップと、を含み、
    前記学習モデルは、前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けによって生成される
    ことを特徴とする情報処理方法。
  13. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する第１のステップと、
    画像データを取得する第２のステップと、
    前記第２のステップによって取得された前記画像データで示される画像を前記第１のステップによって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する第３のステップと、を含み、
    前記学習モデルは、前記ラベルデータと前記ラベル属性データとに基づいて決定される信頼度であって前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度と、前記学習用画像データと、前記ラベルデータとに基づいて生成された学習モデルである
    ことを特徴とする情報処理方法。
  14. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成するステップをコンピュータに実行させ、
    前記ステップは、
    前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けを行って、前記学習モデルを生成する
    ことを特徴とする情報処理プログラム。
  15. 構造物を撮像して得られる入力画像のデータである学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとに基づいて、前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度を決定するステップと、
    前記学習用画像データと前記ラベルデータと前記ステップによって決定された前記信頼度とに基づいて、前記入力画像から前記注目対象領域を判定するための学習モデルを生成するステップと、をコンピュータに実行させる
    ことを特徴とする情報処理プログラム。
  16. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する第１のステップと、
    画像データを取得する第２のステップと、
    前記第２のステップによって取得された前記画像データで示される画像を前記第１のステップによって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する第３のステップと、をコンピュータに実行させ、
    前記学習モデルは、前記ラベル付け領域のうち前記ラベル属性データに基づいて特定される特定領域以外の各画素のラベルの重みを前記特定領域の各画素のラベルの重みよりも小さくする重み付けによって生成される
    ことを特徴とする情報処理プログラム。
  17. 構造物を撮像して得られる入力画像のデータである学習用画像データと、前記学習用画像データで示される前記入力画像のうち注目対象の領域である注目対象領域としてラベル付けが行われた領域であるラベル付け領域を示すラベルデータと、前記ラベル付け領域の属性を示すラベル属性データとを含む学習用データに基づいて生成された学習モデルを取得する第１のステップと、
    画像データを取得する第２のステップと、
    前記第２のステップによって取得された前記画像データで示される画像を前記第１のステップによって取得された前記学習モデルに入力し、前記学習モデルから出力されるデータに基づいて、前記画像データで示される画像に含まれる前記注目対象領域を判定する第３のステップと、をコンピュータに実行させ、
    前記学習モデルは、前記ラベルデータと前記ラベル属性データとに基づいて決定される信頼度であって前記ラベル付け領域の各画素に対して前記注目対象領域の画素である確からしさを示す信頼度と、前記学習用画像データと、前記ラベルデータとに基づいて生成された学習モデルである
    ことを特徴とする情報処理プログラム。
JP2021546797A 2021-03-29 2021-03-29 情報処理装置、情報処理方法、および情報処理プログラム Active JP7023425B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013344 WO2022208620A1 (ja) 2021-03-29 2021-03-29 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP7023425B1 true JP7023425B1 (ja) 2022-02-21
JPWO2022208620A1 JPWO2022208620A1 (ja) 2022-10-06

Family

ID=81076727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021546797A Active JP7023425B1 (ja) 2021-03-29 2021-03-29 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (2)

Country Link
JP (1) JP7023425B1 (ja)
WO (1) WO2022208620A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019053842A1 (ja) * 2017-09-14 2019-03-21 三菱電機株式会社 変状検出装置
JP2019194562A (ja) * 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019211475A (ja) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム
JP2020204835A (ja) * 2019-06-14 2020-12-24 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019053842A1 (ja) * 2017-09-14 2019-03-21 三菱電機株式会社 変状検出装置
JP2019194562A (ja) * 2018-04-26 2019-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019211475A (ja) * 2018-05-31 2019-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びプログラム
JP2020204835A (ja) * 2019-06-14 2020-12-24 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
WO2022208620A1 (ja) 2022-10-06
JPWO2022208620A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
JP6792842B2 (ja) 外観検査装置、変換データ生成装置、及びプログラム
US8165350B2 (en) Assessment of a view through the overlay of maps
US7764826B2 (en) Method and apparatus of reviewing defects on a semiconductor device
JP4702953B2 (ja) ムラ検査方法、ムラ検査装置およびプログラム
CN101443897B (zh) 图像二值化方法和图像处理装置
JP7118277B2 (ja) 検査装置、検査方法及びプログラム
JP4534768B2 (ja) Ｔｆｔアレイ検査装置、及び欠陥データ抽出方法
JP2006098152A (ja) 欠陥検出装置および欠陥検出方法
JP5726472B2 (ja) アライメント方法及び検出装置
JP4416825B2 (ja) 画像検査処理装置、画像検査処理方法、プログラム、及び、記録媒体
JP2010091361A (ja) 画像検査方法および画像検査装置
JP7023425B1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP4131804B2 (ja) 実装部品検査方法
CN101408521A (zh) 用于缺陷增强的方法
JP2016538562A (ja) 基板検査際の補償マトリックス生成方法
CN110672631B (zh) 面板缺陷拍照方法和面板缺陷拍照装置
CN114359177A (zh) 待检测面板的图像显示方法、装置、电子设备及存储介质
JP6410459B2 (ja) 画像検査方法、および画像検査装置
JP2001016622A (ja) 撮像素子のデバッグ装置と試験方法
JP4292409B2 (ja) Ｔｆｔアレイ検査装置及びｔｆｔアレイ検査方法
JP4560969B2 (ja) 欠陥検査方法
JP2008269264A (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
WO2024095721A1 (ja) 画像処理装置および画像処理方法
US20240177295A1 (en) Method and device for locating contact through-hole (ct) positions in memory device
JP2024035922A (ja) 表面検査装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220208

R150 Certificate of patent or registration of utility model

Ref document number: 7023425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150