JP7828357B2

JP7828357B2 - 表示処理装置、表示処理方法、及び、表示処理プログラム

Info

Publication number: JP7828357B2
Application number: JP2023550428A
Authority: JP
Inventors: 遼池田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2021-09-29
Filing date: 2022-08-09
Publication date: 2026-03-11
Anticipated expiration: 2042-08-09
Also published as: WO2023053728A1; EP4411356A4; US20240221343A1; EP4411356A1; CN117957439A; JPWO2023053728A1

Description

本発明は、表示処理装置、表示処理方法、及び、表示処理プログラムに係り、特に、セグメンテーションを用いて判定されたセグメンテーション画像を用いて検出対象を表示する表示処理装置、表示処理方法、及び、表示処理プログラムに関する。

検査対象の工業製品の欠陥を検査する方法として、その工業製品に対する光線又は放射線の照射を伴う非破壊検査がある。非破壊検査においては、検査対象の工業製品に光線又は放射線を照射することにより得られた画像に対して、セグメンテーションと呼ばれる、画素ごとに欠陥又は非欠陥であることを判定し、画像を異なる領域に分割することが行われている。

この時、結果を検査員に提示するために、欠陥であると判定した領域、すなわち、欠陥を検出した箇所に、予め欠陥種別と対応させた色で、欠陥領域を塗りつぶして表示することが行われている。一方、検査現場で用いられる表示用ビューワに、塗りつぶしのために座標情報全てを保存して渡すことは、ファイル容量が大きくなるという問題がある。

欠陥を表示する方法として、例えば、下記の特許文献１には、欠陥を適正に結合して、結合後の全検出欠陥に対する外接矩形全体を覆う最小の矩形を利用する欠陥検出方法が記載されている。

特開２００８－２４１２９８号公報

セグメンテーションの結果を表示する方法として、セグメンテーションで検出された連続した領域に対して、その重心座標を中心とする一定サイズの矩形（バウンディングボックス）を定義し、１つの欠陥領域につき、１つの矩形で囲むことが行われている。

しかしながら、セグメンテーションの検出結果が複数の領域に分かれている場合、すべての領域を個別にとらえて矩形で囲むと、表示が多くなりすぎて、確認に時間がかかっていた。そのため、検査の効率が悪くなるという課題があった。

本発明はこのような事情に鑑みてなされたものであり、複数の検出対象の領域の関連性を確認しやすい画像表示とする表示処理装置、表示処理方法、及び、表示処理プログラムを提供することを目的とする。

本発明の目的を達成するために、本発明に係る表示処理装置は、対象物を撮影した撮影画像に基づいて、撮影画像の画素ごとに対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得部と、セグメンテーション結果から検出対象の領域を抽出する抽出部と、複数の非連続した検出対象の領域を抽出した場合、検出対象の領域同士の関連性を判断するための特徴量を計測する計測部と、特徴量に基づいて、複数の検出対象の領域の関連性を判定する関連性判定部と、関連性判定部で判定した評価結果に基づいて、複数の検出対象の領域のうち一体の表示形式で表示すべき対象領域を決定する領域決定部と、対象領域を表示形式で描画する描画部と、を備える。

本発明の一形態によれば、対象領域の表示に必要な情報を表示手段に渡し、対象領域を表示する表示制御部を備えることが好ましい。

本発明の一形態によれば、撮影画像は、対象物に放射線を透過させて撮像した透過画像であることが好ましい。

本発明の一形態によれば、表示形式が、対象領域を囲む枠、対象領域と他の領域とのハイライト表示、及び、対象領域を示すマークの少なくともいずれか１つであることが好ましい。

本発明の一形態によれば、検出対象が欠陥であることが好ましい。

本発明の一形態によれば、関連性判定部は、同種の欠陥を有する検出対象の領域に対して関連性を判断することが好ましい。

本発明の一形態によれば、特徴量は、検出対象の領域間の距離であることが好ましい。

本発明の一形態によれば、関連性判定部は、対象物の特性、過去の検出履歴、検出対象の合否基準、及び、検出対象の種類から定めた距離の閾値を有し、閾値と計測部で計測した特徴量とから関連性を判定することが好ましい。

本発明の一形態によれば、特徴量は、検出対象の位置情報であることが好ましい。

本発明の一形態によれば、特徴量は、検出対象の領域の規則性であることが好ましい。

本発明の一形態によれば、領域決定部は、対象領域と、対象領域内で、検出対象の発生密度分布が対象領域の内側の他の領域と異なる副対象領域と、を決定し、描画部は、対象領域を第１表示形式で描画し、副対象領域を第２表示形式で描画することが好ましい。

本発明の一形態によれば、対象領域は、異なる種類の欠陥が包含されており、描画部は、対象領域内に、異なる種類の欠陥が包含されていることを示す情報を付与することが好ましい。

本発明の一形態によれば、情報は、対象領域を囲む枠の表示色、線種、及び、マークの少なくともいずれか１つにより付与されることが好ましい。

本発明の目的を達成するために、本発明に係る表示処理方法は、対象物を撮影した撮影画像に基づいて、撮影画像の画素ごとに対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得工程と、セグメンテーション結果から検出対象の領域を抽出する抽出工程と、複数の非連続した検出対象の領域を抽出した場合、検出対象の領域同士の関連性を判断するための特徴量を計測する計測工程と、特徴量に基づいて、複数の検出対象の領域の関連性を判定する関連性判定工程と、関連性判定工程で判定した評価結果に基づいて、複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定工程と、対象領域を表示形式で描画する描画工程と、を備える。

本発明の目的を達成するために、本発明に係る表示処理方法は、対象物の画素ごとの検出対象とそれ以外の対象とを判別したセグメンテーション結果に含まれる検出対象の領域の情報を取得する取得工程と、複数の非連続した検出対象の領域がある場合、検出対象の領域同士の関連性を判断するための特徴量を計測する計測工程と、特徴量に基づいて、複数の検出対象の領域の関連性を判定する関連性判定工程と、関連性判定工程で判定した評価結果に基づいて、記複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定工程と、を備える。

本発明の目的を達成するために、本発明に係る表示処理プログラムは、対象物を撮影した撮影画像に基づいて、撮影画像の画素ごとに対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得機能と、セグメンテーション結果から検出対象の領域を抽出する抽出機能と、複数の非連続した検出対象の領域を抽出した場合、検出対象の領域同士の関連性を判断するための特徴量を計測する計測機能と、特徴量に基づいて、複数の検出対象の領域の関連性を判定する関連性判定機能と、関連性判定機能で判定した評価結果に基づいて、複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定機能と、対象領域を表示形式で描画する描画機能と、をコンピュータに実現させる。

本発明によれば、複数の検出対象の領域の関連性を確認しやすくすることができる。

図１は、本発明の一実施形態に係る欠陥表示処理装置を示すブロック図である。図２は、画像処理部２４の例を示すブロック図である。図３は、対象物撮影データの例を示すブロック図である。図４は、製品データの例を示すブロック図である。図５は、撮影システムの例を示すブロック図である。図６は、本発明の一実施形態に係る欠陥表示処理方法を示すフローチャートである。図７は、本発明の一実施形態に係る表示処理の例を示す図である。図８は、本発明の一実施形態に係る表示処理の他の例を示す図である。図９は、本発明の一実施形態に係る表示処理のさらに他の例を示す図である。図１０は、本発明の一実施形態に係る表示処理のさらに他の例を示す図である。図１１は、本発明の一実施形態に係る表示処理のさらに他の例を示す図である。

以下、添付図面に従って、本発明に係る表示処理装置、表示処理方法、及び、表示処理プログラムについて説明する。なお、以下では、本発明の一実施形態として、検出対象を欠陥とした欠陥表示処理装置、欠陥表示処理方法、及び、欠陥表示処理プログラムについて説明する。

［欠陥表示装置の構成］
図１は、本発明の一実施形態に係る欠陥表示処理装置（表示処理装置）１０を示すブロック図である。

本実施形態に係る欠陥表示処理装置１０は、対象物の工業製品を撮影した撮影画像から欠陥の表示処理を行う装置であり、検査員による対象物の欠陥の診断を支援するための装置である。図１に示すように、本実施形態に係る欠陥表示処理装置１０は、制御部１２、操作部１４、入出力インターフェース（以下、Ｉ／Ｆ（interface）という。）１６、表示部１８、バッファメモリ２０、画像認識部２２、画像処理部２４、及び、記録部２６を備えている。

制御部１２（表示制御部）は、欠陥表示処理装置１０の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。制御部１２は、操作部１４を介して検査員からの操作入力を受け付け、この操作入力に応じた制御信号を欠陥表示処理装置１０の各部に送信して各部の動作を制御する。

操作部１４は、検査員からの操作入力を受け付ける入力装置であり、文字入力のためのキーボード、表示部１８に表示されるポインタ、アイコン等を操作するためのポインティングデバイス（マウス、トラックボール等）を含んでいる。なお、操作部１４としては、上記に列挙した手段に代えて、又は、上記に列挙した手段に加えて、表示部１８の表面にタッチパネルを設けることもできる。

Ｉ／Ｆ１６はネットワークＮＷを介して外部装置との間で通信を行うための手段である。欠陥表示処理装置１０と外部装置との間のデータの送受信方法としては、有線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）又は無線通信（例えば、ＬＡＮ、ＷＡＮ、インターネット接続等）を用いることができる。

欠陥表示処理装置１０は、Ｉ／Ｆ１６を介して撮影システム１００によって撮影された対象物ＯＢＪの撮影画像データを含む対象物撮影データＤ１００の入力を受け付けることが可能となっている。なお、対象物撮影データＤ１００を撮影システム１００から欠陥表示処理装置１０に入力する方法は、上記に列挙したネットワークＮＷを介した通信に限定されるものではない。例えば、欠陥表示処理装置１０と撮影システム１００をＵＳＢ（Universal Serial Bus）ケーブル、Bluetooth（登録商標）、赤外線通信等により接続してもよいし、対象物撮影データＤ１００を、欠陥表示処理装置１０に着脱及び読取可能なメモリカードに格納して、このメモリカードを介して欠陥表示処理装置１０に撮影画像データを入力するようにしてもよい。

さらに、欠陥表示処理装置１０は、ネットワークＮＷを介して製品データベース（製品ＤＢ（database））２００と通信可能となっている。製品ＤＢ２００には、対象物の工業製品ごとの製品データＤ２００が格納されている。制御部１２は、撮影システム１００から取得した対象物ＯＢＪの撮影画像データから対象物を特定するための対象物特定情報を検索して読み出し、読み出した対象物特定情報に対応する製品データＤ２００を製品ＤＢ２００から取得することが可能となっている。この製品データＤ２００を用いることにより、対象物ＯＢＪの種類又は特徴に応じた欠陥の検出が可能となる。

なお、製品ＤＢ２００は、本実施形態のように、ネットワークＮＷ上に設置して、製品データＤ２００をメーカー等が更新可能としてもよいし、欠陥表示処理装置１０の中に設けられていてもよい。

表示部（表示手段）１８は、撮影画像及びセグメンテーション画像（セグメンテーション結果）を表示するための装置である。表示部１８としては、例えば、液晶モニタを用いることができる。

バッファメモリ２０は、制御部１２の作業領域、表示部１８に出力される画像データを一時記憶するため領域として用いられる。

記録部２６は、制御部１２が使用する制御プログラムを含むデータを格納するための手段である。記録部２６としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリを含む装置等を用いることができる。記録部２６には、対象物撮影データＤ１００及び製品データＤ２００が格納される。

画像認識部２２（取得部）は、欠陥種類特定用モデルを用いて撮影画像内の物体の種類を特定する。欠陥種類特定用モデルは、対象物画像を入力データとし、欠陥の種類の特定結果であるセグメンテーション画像（セグメンテーション結果）を出力データとするモデルである。得られたセグメンテーション画像は、記録部２６に格納される。

セグメンテーション画像は、対象物の画像内の欠陥の種類（例えば、異物、亀裂、キズ、気泡混入、ガス欠陥、摩耗、さび、及び、溶接の欠陥（余盛り、溶け込み不良、スパッタ、アンダーカット）等）が、異なる色で区別して示すように画素単位で判別された画像である。こうした画像内の欠陥の種類を画素単位で判別する手法は、セマンティックセグメンテーションと呼ばれる。セグメンテーションを実施する機械学習モデルとしては、例えばＵ字型の畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ；Ｕ－ＳｈａｐｅｄＮｅｕｒａｌＮｅｔｗｏｒｋ）等が挙げられる。

画像処理部２４は、画像認識部２２又は記録部２６からセグメンテーション画像を読み出し、欠陥領域（検出対象の領域）の抽出を行う。そして、抽出した欠陥領域同士の関連性を判断するための特徴量を計測し、この特徴量に基づいて欠陥領域同士の関連性を判定する。さらに、関連性を判定した評価結果に基づいて、一体の表示形式で表示すべき対象領域を決定し、対象領域を示す表示形式を描画する。画像処理部２４は、これらの結果及び情報をバッファメモリ２０に出力する。制御部１２は、バッファメモリ２０に出力されたデータを用いて、セグメンテーション画像上に複数の欠陥領域を一体の表示形式で表示した表示用画像を作成し、この表示用画像を表示部１８に表示させる。これにより、検査員は、表示部１８に表示された画像を読影して対象物ＯＢＪの検査を行うことが可能となる。

図２は、画像処理部２４の例を示すブロック図である。図２に示すように、画像処理部２４は、抽出部２４０、計測部２４２、関連性判定部２４４、領域決定部２４６、描画部２４８を備えている。

抽出部２４０は、セグメンテーション画像から、異なる色を検出することにより、対象物ＯＢＪの欠陥の抽出を行う。これにより、欠陥の位置、形状が特定される。

計測部２４２は、抽出部２４０で複数の非連続した欠陥領域を抽出した場合、この欠陥領域同士の関連性を判断するための特徴量の計測を行う。特徴量としては、関連性を判断する欠陥領域同士の距離（ピクセル）、欠陥領域同士の位置情報、及び、欠陥領域の分布の規則性が挙げられる。

欠陥領域同士の距離としては、各欠陥領域の中心の距離、重心の距離、又は、端部同士の最短距離等を計測する。なお、欠陥領域の中心とは、欠陥領域に外接する円又は楕円の中心のことをいう。欠陥同士の位置情報としては、欠陥領域同士の間の輝度の段差（エッジ）の有無、又は、欠陥領域周辺のテクスチャの違い等である。欠陥領域の分布の規則性としては、２以上の欠陥領域の分布が等間隔に発生していること、欠陥領域の方向性が直線的又は曲線的に発生していること等である。

関連性判定部２４４は、特徴量に基づいて、欠陥領域同士の関連性を判定する。関連性判定部２４４は、欠陥領域同士の距離で関連性を判定する場合、対象物の特性、過去の検出履歴、欠陥の合否基準、及び、欠陥の種類等から定まる距離の閾値を保持しており、閾値と計測された欠陥領域同士の距離の結果から、関連性の有無を判定する。また、欠陥同士の間に輝度の段差が観測された場合、及び、テクスチャの違いが観測された場合は、関連性が無いと判定する。また、対象物の３次元モデルなど、形状が既知である場合であって、セグメンテーション画像の欠陥の位置情報との対応から、欠陥付近は、奥行き方向に部品の複数のレイヤーが重なっていると判定した場合は、関連性の無い欠陥と判定する。さらに、欠陥領域の分布の規則性では、２以上の欠陥領域の分布が等間隔に発生している場合、及び、欠陥領域の方向性が直線的又は曲線的に発生している場合は、関連性のある欠陥と判定する。さらに、欠陥領域の形状情報、例えば、長短を考慮した方向性を加味してもよく、楕円状の２つの欠陥が、長軸方向に沿っている場合は、関連性のある一連の直線状の欠陥と判定することができる。一方で、２つの欠陥が、短軸同士を向いている場合は、関連性のない別々の欠陥と判定することができる。

領域決定部２４６は、関連性判定部２４４で判定した評価結果に基づいて、複数の欠陥領域を一体の表示形式で表示すべき対象領域を決定する。同種の欠陥であり、関連性判定部２４４で関連性があると判定された欠陥領域を一体の表示形式で表示する対象領域として決定する。また、異なる種類の欠陥同士であるが、それぞれの欠陥を単一の表示形式で表示すると、表示が重なってしまう等、表示部１８で欠陥領域が確認しにくい場合がある。この時、異なる種類の欠陥を一体の表示形式で表示する対象領域として決定する。

描画部２４８は、領域決定部２４６で決定した対象領域に対して、この対象領域を一体の表示形式で描画する。一体の表示形式としては、対象領域を枠で囲むこと、対象領域と対象領域以外の領域の輝度を変更し、ハイライト表示すること、及び、矢印等のマークで表示すること等が挙げられる。

図３は、対象物撮影データの例を示すブロック図である。図３に示すように、対象物撮影データＤ１００は、対象物特定情報、撮影画像データ、撮影条件データ及び照明条件データを含んでいる。

対象物特定情報は、対象物ＯＢＪを特定するための情報であり、例えば、対象物ＯＢＪの製品名、製品番号、ＩＤ（identification）情報、メーカー名、及び技術分類を示す情報を含んでいる。

撮影画像データは、対象物ＯＢＪを撮影した画像データ（例えば、Ｘ線透過画像、又は可視光画像）であり、画像解像度又は分解能の情報を含む。

撮影条件データは、対象物ＯＢＪの撮影画像データごとに格納されており、各撮影画像データの撮影日時、撮影対象箇所、撮影時における対象物ＯＢＪと撮像装置との間の距離及び撮像装置に対する角度を示す情報を含んでいる。

照明条件データは、対象物ＯＢＪの撮影に用いた放射線の種類（例えば、Ｘ線、可視光線、透過光線、又は反射光線）、照射強度、照射角度、及び、管電流及び管電圧のパラメータを示す情報を含んでいる。

図４は、製品データの例を示すブロック図である。図４に示すように、製品データＤ２００には、製品特定情報、製品属性情報、検査領域指定情報が含まれている。製品データＤ２００は、対象物特定情報及び製品特定情報を介して、対象物撮影データＤ１００と関連付けられて記録部２６に記録されるようにしてもよいし、欠陥検査の都度、製品ＤＢ２００から取得するようにしてもよい。

製品特定情報は、製品を特定するための情報であり、例えば、製品名、製品番号、メーカー名、及び技術分類を示す情報を含んでいる。

製品属性情報は、例えば、製品の各部の材質、寸法、製品の用途を示す情報を含んでいる。製品の用途を示す情報は、例えば、製品が取り付けられる装置等の名称、種類、加工状態及び取付方法（例えば、接合部、溶接部、ねじ止め、はめ込み、ハンダ付け）に関する情報を含んでいる。また、製品属性情報は、欠陥発生情報を含んでいる。欠陥発生情報は、例えば、過去の検査日時、対象物ＯＢＪの材質、過去に発生した欠陥の種類（例えば、異物、亀裂、キズ、気泡混入、溶接のガス欠陥、摩耗、さび等）、位置情報、形状、大きさ、深さ、発生部位（部位座標、材質の肉厚、加工状態（例えば、接合部、溶接部等））、欠陥発生頻度に関する頻度情報、欠陥のキャプチャー画像のうち少なくとも１つの情報を含んでいる。

検査領域指定情報は、各製品のメーカー等によって指定された検査領域を示す情報（例えば、検査領域の位置を含む情報であり、過去の欠陥発生の有無、欠陥発生頻度に関する頻度情報等の欠陥発生情報に基づいて作成される。）を含んでいる。検査領域指定情報は、例えば、メーカー等が製品を過去に修理したときの情報に基づいて、統計的、構造的に欠陥が生じやすい箇所を特定することにより作成される。

欠陥発生情報は、例えば、過去の検査日時、対象物ＯＢＪの材質、過去に発生した欠陥の種類、形状、大きさ、深さ、発生部位、欠陥のキャプチャー画像のうち少なくとも１つの情報を含んでいる。

［撮像システムの構成］
次に、対象物ＯＢＪの画像を撮影するための撮影システム１００について説明する。図５は、撮影システムの例を示すブロック図である。

撮影システム１００は、撮影室１１４内に置かれた対象物ＯＢＪを撮影するためのものであり、図５に示すように、撮影制御部１０２、撮影操作部１０４、画像記録部１０６、撮像装置１０８ならびに放射線源１１０、１１２を備えている。

撮影制御部１０２は、撮影システム１００の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。撮影制御部１０２は、撮影操作部１０４を介してオペレータ（撮影者）からの操作入力を受け付け、この操作入力に応じた制御信号を撮影システム１００の各部に送信して各部の動作を制御する。

撮影操作部１０４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力のためのキーボード、表示部１８に表示されるポインタ、アイコン等を操作するためのポインティングデバイス（マウス、トラックボール等）を含んでいる。オペレータは、撮影操作部１０４を介して、対象物ＯＢＪに関する情報の入力、撮像装置１０８に対する撮影実行の指示の入力（露出時間、焦点距離、絞り等の撮影条件、撮影角度、撮影箇所等の設定を含む）、放射線源１１０、１１２に対する放射線の照射の指示の入力（照射開始時間、照射継続時間、照射角度、照射強度等の設定を含む）、取得した画像データを画像記録部１０６に記録する指示の入力を行うことができる。

画像記録部１０６は、撮像装置１０８によって撮影された対象物ＯＢＪの画像データ（受光画像）を記録する。画像記録部１０６には、対象物ＯＢＪを特定するための情報が画像データと関連付けられて記録される。

撮像装置１０８、放射線源１１０、１１２は、撮影室１１４の内部に配置されている。放射線源１１０、１１２は、例えば、Ｘ線源であり、撮影室１１４と外部との間の隔壁及び出入口には、Ｘ線防護材料（例えば、鉛、コンクリート等）によりＸ線防護が施されている。なお、対象物ＯＢＪに可視光を照射して撮影を行う場合には、防護を施した撮影室１１４を用いる必要はない。

放射線源１１０、１１２は、撮影制御部１０２からの指示に従って、撮影室１１４内に置かれた対象物ＯＢＪに放射線を照射する。

撮像装置１０８は、撮影制御部１０２からの撮影実行の指示にしたがって、放射線源１１０から対象物ＯＢＪに照射されて対象物ＯＢＪにより反射された放射線、又は放射線源１１２が対象物ＯＢＪに照射されて対象物ＯＢＪを透過した放射線を受光して対象物ＯＢＪを撮影する。撮像装置１０８としては、対象物ＯＢＪにＸ線源を照射する場合は、受光パネルを用いることができ、可視光を照射する場合は、カメラを用いることができる。対象物ＯＢＪは、不図示の保持部材（例えば、マニピュレーター、載置台、可動式の載置台）によって撮影室１１４内に保持されており、対象物ＯＢＪは、撮像装置１０８、放射線源１１０、１１２に対する距離及び角度が調整可能となっている。操作者は、撮影制御部１０２を介して、対象物ＯＢＪ、撮像装置１０８、放射線源１１０、１１２の相対位置を制御可能となっており、対象物ＯＢＪの所望の箇所を撮影可能となっている。

放射線源１１０、１１２は、撮像装置１０８による撮影の実行の終了に同期して、対象物ＯＢＪに対する放射線の照射を終了する。

なお、図５に示す例では、撮像装置１０８は、撮影室１１４の内部に配置されているが、撮像装置１０８は、撮影室１１４内の対象物ＯＢＪを撮影可能であれば、外部に配置されていてもよい。

また、図５に示す例では、撮像装置１０８が１台、放射線源１１０、１１２が２台設けられているが、撮像装置及び放射線源の台数はこれに限定されるものではない。例えば、撮像装置及び放射線源は、それぞれ複数台あってもよいし、１つずつであってもよい。

［欠陥表示処理方法］
図６は、本発明の一実施形態に係る欠陥表示処理方法を示すフローチャートである。

まず、欠陥表示処理装置１０は、Ｉ／Ｆ１６を介して、撮影システム１００から対象物ＯＢＪの撮影画像データ（撮影画像）を含む対象物撮影データＤ１００を取得する。画像認識部２２は、取得した撮影画像データから、欠陥種類特定用モデルを用いて、欠陥の種類の特定結果であるセグメンテーション画像（セグメンテーション結果）を取得する（ステップＳ１２：取得工程）。

次に、画像処理部２４の抽出部２４０は、セグメンテーション画像から欠陥領域の抽出を行う（ステップＳ１４：抽出工程）。セグメンテーション画像は、異なる種類の欠陥に対して異なる色で区別して示しており、異なる色を検出することで、欠陥領域を抽出する。

次に、画像処理部２４の計測部２４２は、抽出工程（ステップＳ１４）で抽出した欠陥領域同士の関連性を判断するための特徴量の計測を行う（ステップＳ１６：計測工程）。計測する特徴量としては、関連性を判断する欠陥領域間の距離（ピクセル）を計測する。欠陥領域間の距離としては、各欠陥領域の中心の距離、重心の距離、又は、端部同士の最短距離等を計測する。

次に、画像処理部２４の関連性判定部２４４は、計測工程（ステップＳ１６）で計測した特徴量（欠陥領域間の距離）に基づいて、欠陥領域同士の関連性を判定する（ステップＳ１８：関連性判定工程）。関連性判定部２４４は、対象物の特性、過去の検出履歴、欠陥の合否基準等から定まる距離の閾値を保持する。対象物の特性、過去の検出履歴及び欠陥の合否基準等は、対象物撮影データＤ１００の対象物特定情報、及び、製品データＤ２００の製品属性情報から取得することができる。

また、基準となる閾値は、欠陥の種類に応じて定めることができる。例えば、気泡混入の欠陥（Porosityと呼ばれる）は、集団状に広い領域に発生する場合があることを考慮して、気泡混入の欠陥の場合は、関連性があると判定する欠陥領域間の距離の閾値を長くすることができる。

また、欠陥領域間の距離は、欠陥領域の大きさで重み付けをした距離とすることができる。図７は、本発明の一実施形態に係る表示処理の例を示す図であり、図７の７００Ａは、２つの欠陥を関連性があると判定した図であり、図７の７００Ｂは、２つの欠陥を関連性がないと判定した図である。７００Ａは、セグメンテーション画像３００上に、１５ｐｘの直径を有する円形の２つの欠陥を示す欠陥領域３０２、３０４を有し、欠陥領域３０２、３０４のお互いの端部から１０ｐｘ離れている図である。また、７００Ｂは、セグメンテーション画像３００上に、２ｐｘの直径を有する円形の２つの欠陥を示す欠陥領域３０６、３０８が、欠陥領域３０６、３０８のお互いの端部から１０ｐｘ離れている図である。欠陥領域間の距離は同じでも、欠陥自信の大きさに対する距離の比率では異なるため、７００Ａの欠陥領域同士は関連性があると判定することができる。また、７００Ｂの欠陥領域同士は関連性がないと判定することができる。

図６に戻り、画像処理部２４の領域決定部２４６は、関連性判定工程（ステップＳ１８）で判定した評価結果に基づいて、複数の欠陥領域を一体の表示形式で表示すべき対象領域を決定する（ステップＳ２０：領域決定工程）。一体の表示形式で表示すべき対象領域は、関連性判定工程（ステップＳ１８）で関連性があると判定した複数の欠陥領域を含む領域である。図７の７００Ａにおいては、欠陥領域３０２、３０４は、関連性のある欠陥であると判定された欠陥領域である、欠陥領域３０２、３０４を含む領域が対象領域３０９として決定される。また、７００Ｂにおいては、欠陥領域３０６と欠陥領域３０８は、関連性の無い欠陥であると判定された欠陥であり、欠陥領域３０６を含む領域、及び、欠陥領域３０８を含む領域のそれぞれが、対象領域３１１、３１３として決定される。

次に画像処理部２４の描画部２４８は、領域決定工程（ステップＳ２０）で決定した対象領域３０９、３１１、３１３のそれぞれを一体の表示形式で描画する（ステップＳ２２：描画工程）。図７の７００Ａでは、対象領域３０９を、表示形式として、矩形の枠３１０で描画し、対象領域３０９を示している。また、７００Ｂでは、関連性判定工程（ステップＳ１８）で、欠陥領域３０６と欠陥領域３０８は関連性がないと判定された欠陥同士であり、欠陥領域３０６と欠陥領域３０８を含むそれぞれの対象領域３１１、３１３を、矩形の枠３１２、３１４で描画し、対象領域を示している。

なお、図７においては、対象領域を描画する一体の表示形式として、矩形の枠で囲むことで対象領域を示しているが、これに限定されない。例えば、対象領域の輝度は維持し、対象領域の周囲の輝度を落とすことで、ハイライト表示することで、対象領域を示すことができる。また、対象領域を矢印で示すことができる。さらに、枠の形状は、矩形に限定されず、円、楕円等の他の形状とすることもできる。また、枠の線種を破線で示す等、線種も限定されない。

制御部１２は、取得工程（ステップＳ１２）において取得したセグメンテーション画像と、領域決定工程（ステップＳ２０）で決定した対象領域と、描画工程（ステップＳ２２）で描画した矩形の枠３１０、３１２、３１４の位置情報に基づいて、セグメンテーション画像上に対象領域が示された表示用画像（図７参照）を作成し、これらの情報を表示部１８に渡す。これにより、関連する欠陥が一体となった対象領域が表示された検査用画像が、表示部１８に表示される。

図８は、本発明の一実施形態に係る表示処理の他の例を示す図であり、欠陥領域同士の規則性により関連性を判定した図である。図８の８００Ａが２つの欠陥を関連性があると判定した図であり、図８の８００Ｂが２つの欠陥を関連性がないと判定した図である。８００Ａは、セグメンテーション画像３００上に長径１０ｐｘ、短径３ｐｘの楕円状の２つの欠陥を示す欠陥領域３２２、３２４が中心距離８ｐｘで、長軸方向に連続して配置している図である。また、８００Ｂは、８００Ａと同様に、セグメンテーション画像３００上に長径１０ｐｘ、短径３ｐｘの楕円状の２つの欠陥を示す欠陥領域３２６、３２８が中心距離８ｐｘで連続して配置しているが、欠陥領域３２６、３２８が、短軸同士を向いて配置している図である。欠陥領域同士の距離は同じでも、長軸方向に沿って連続する欠陥領域３２２、３２４は関連性がある欠陥と判定することができ、短軸同士を向けている欠陥領域３２６、３２８は、関連性がなく、別々の欠陥と判定することができる。

欠陥領域３２２、３２４は、関連性のある欠陥と判定されており、欠陥領域３２２、３２４を含む領域が対象領域３２９として決定され、枠３３０で対象領域３２９が示される。また、欠陥領域３２６、３２８は、関連性のない欠陥と判定されており、欠陥領域３２６を含む領域、及び、欠陥領域３２８を含む領域のそれぞれが対象領域３３１、３３３として決定され、それぞれ枠３３２、枠３３４で対象領域が示される。

図９は、本発明の一実施形態に係る表示処理のさらに他の例を示す図である。図９に示すセグメンテーション画像３００上には、３０以上の欠陥を示す欠陥領域３４２を有する。複数の欠陥領域３４２は、それぞれの欠陥領域３４２が長手軸方向に同じ方向を向いており、短手方向において曲線状の連続性を有する。したがって、これらの欠陥領域３４２は、一連の欠陥（きず）であり、関連性のある欠陥であると判定することができる。したがって、一連の欠陥領域３４２を含む領域が対象領域３４４として決定され、枠３４６で対象領域３４４が示される。

また、欠陥領域の関連性を判定する特徴量として、欠陥の位置情報を用いることができる。欠陥の位置情報としては、セグメンテーション画像上で、欠陥領域同士の間に輝度の段差が確認された場合、撮影画像の奥行き方向に離れた別個の欠陥であると判定し、関連性のない欠陥同士であると判定することができる。また、欠陥領域の周囲のテクスチャが異なる場合も、異なる領域に発生した欠陥同士であり、別個の欠陥であると判定し、関連性のない欠陥同士であると判定することができる。

さらに、対象物の３次元モデル等から形状があらかじめ既知であり、セグメンテーション画像の欠陥の位置情報との対応から、欠陥付近は、奥行き方向に部品の複数のレイヤーが重なっていると判定した場合は、別個の欠陥であると判定し、関連性のない欠陥同士であると判定することができる。

図１０は、本発明の一実施形態に係る表示処理のさらに他の例を示す図であり、集団の気泡（Porosity）の欠陥が発生した画像を示す図である。気泡混入の欠陥を示す欠陥領域３６２は、集団状に広い領域に発生する場合がある。関連性判定工程（ステップＳ１８）は、これらの気泡混入の欠陥を示す欠陥領域３６２を関連性のある欠陥と判定する。そして、領域決定工程（ステップＳ２０）は、これらの欠陥領域３６２を含む領域を対象領域３６４として決定する。さらに、領域決定工程（ステップＳ２０）は対象領域３６４内で、欠陥の発生密度分布が、対象領域３６４の内側で他の領域と異なる領域を副対象領域３６６、３６８として決定する。

図１０で示す例では、対象領域３６４内で、欠陥の発生密度分布の高い領域を第１の副対象領域３６６とし、欠陥の発生密度分布の低い領域を第２の副対象領域３６８としている。

描画工程（ステップＳ２２）は、対象領域３６４を矩形の第１の枠（第１表示形式）３７０で描画し、第１の副対象領域３６６及び第２の副対象領域３６８をそれぞれ矩形の第２の枠（第２表示形式）３７２、３７４で描画する。第１表示形式及び第２表示形式としては、枠に限定されず、上述した、ハイライト表示、又は、マークにより描画することができる。

また、図１０においては、対象領域内に第１の副対象領域及び第２の副対象領域を有する２段階の階層構造の例を示したが、副対象領域内に、さらに別の副対象領域を有する３段階以上の階層構造とすることもできる。

図１１は、本発明の一実施形態に係る表示処理のさらに他の例を示す図である。図１１は、異なる種類の欠陥を包含した領域を対象領域として決定した図である。

セグメンテーション画像３００により、欠陥領域３８２と欠陥領域３８４、３８６は異なる色で区別されており、異なる欠陥の種類である。また、欠陥領域３８４と欠陥領域３８６は、同じ種類の欠陥であるが、欠陥領域３８４と欠陥領域３８６との間に欠陥領域３８２が存在するため、関連性のない欠陥同士である。

このような場合、上記の表示処理においては、欠陥領域３８２、３８４、３８６のそれぞれを含む領域を対象領域として決定し、それぞれを個別の表示形式で描画することで、対象領域を表示する。しかしながら、図１１においては、欠陥領域３８２、３８４、３８６が近接しているため、個別に表示形式を描画すると、重なってしまい、欠陥がわかりにくいことが懸念される。

そこで、本実施形態の表示処理においては、表示形式が重なって描画される場合は、領域決定工程（ステップＳ２０）において、異なる種類の欠陥、及び、関連性のない欠陥を含む欠陥領域３８２、３８４、３８６を対象領域３８８として決定し、描画工程（ステップＳ２２）で、対象領域３８８を一体の表示形式で描画する。

表示形式の例として、図１１の１１００Ａは、対象領域３８８を複数の表示色で塗り分けた枠で表示する表示形式を示す図である。１１００Ａにおいては、対象領域３８８を囲う枠３９０を第１の色が付与された辺３９０Ａと第２の色が付与された辺３９０Ｂにより表示する。この第１の色、及び、第２の色は、セグメンテーション画像３００で欠陥種別を区別するために用いた欠陥領域３８２、及び、欠陥領域３８４、３８６の色に対応させる。これにより、欠陥の種類を枠３９０の表示から読み取ることができる。

図１１の１１００Ｂは、対象領域３８８を二重の枠３９１で表示した表示形式を示す図である。１１００Ｂにおいても、対象領域３８８を囲う枠３９１を第１の色が付与された内枠３９１Ａと第２の色が付与された外枠３９１Ｂとで表示する。この第１の色、及び、第２の色は、セグメンテーション画像３００で欠陥種別を区別するために用いた欠陥領域３８２、及び、欠陥領域３８４、３８６の色に対応させる。これにより、欠陥の種類を枠３９１の表示から読み取ることができる。

図１１の１１００Ｃは、対象領域３８８を破線の枠３９２で表示した表示形式を示す図である。１１００Ｃにおいては、枠３９２により欠陥の種類は読み取ることはできないが、破線とすることで、異なる種類の欠陥を包含していることを読み取ることができる。

本実施形態によれば、セグメンテーションによる画素ごとの詳細な検出対象とそれ以外の対象との判別結果から、検出対象の詳細な形状及び分布を確認でき、検査に必要な情報を抽出することができる。そして、検査対象の関連性を判定することで、複数の検査対象を集団化した一体の表示形式で描画することができ、検査員が特に注目すべき検査対象が明らかになり、検査効率を向上させることができる。

なお、上記に実施形態では、検出対象を欠陥として説明したが、検出対象は欠陥に限定されない。例えば、製品規格としては合格であるが、変状が存在するような微小なきずを検出対象とすることができる。

また、本発明においては、検査の用途に限定されず、対象物の分析、製品の分類、及び、評価等、検査以外の用途にも用いることができる。

なお、本発明は、コンピュータに上記の処理を実現させるプログラム（表示処理プログラム）、又は、このようなプログラムを格納した非一時的な記録媒体又はプログラムプロダクトとして実現することも可能である。このような表示処理プログラムをコンピュータに適用することにより、コンピュータの演算手段、及び、記録手段等を、表示処理プログラムの取得機能、抽出機能、計測機能、関連性判定機能、領域決定機能及び描画機能として機能させることが可能となる。

１０欠陥表示処理装置
１２制御部
１４操作部
１６入出力インターフェース（Ｉ／Ｆ）
１８表示部
２０バッファメモリ
２２画像認識部
２４画像処理部
２６記録部
１００撮影システム
１０２撮影制御部
１０４撮影操作部
１０６画像記録部
１０８撮像装置
１１０放射線源
１１２放射線源
１１４撮影室
２００製品データベース（製品ＤＢ）
２４０抽出部
２４２計測部
２４４関連性判定部
２４６領域決定部
２４８描画部
３００セグメンテーション画像
３０２欠陥領域
３０４欠陥領域
３０６欠陥領域
３０８欠陥領域
３０９対象領域
３１０枠
３１１対象領域
３１２枠
３１３対象領域
３１４枠
３２２欠陥領域
３２４欠陥領域
３２６欠陥領域
３２８欠陥領域
３２９対象領域
３３０枠
３３１対象領域
３３２枠
３３３対象領域
３３４枠
３４２欠陥領域
３４４対象領域
３４６枠
３６２欠陥領域
３６４対象領域
３６６副対象領域（第１の副対象領域）
３６８副対象領域（第２の副対象領域）
３７０第１の枠
３７２第２の枠
３７４第２の枠
３８２欠陥領域
３８４欠陥領域
３８６欠陥領域
３８８対象領域
３９０枠
３９０Ａ辺
３９０Ｂ辺
３９１枠
３９１Ａ内枠
３９１Ｂ外枠
３９２枠
Ｄ１００対象物撮影データ
Ｄ２００製品データ
ＯＢＪ対象物
ＮＷネットワーク

Claims

対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得部と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出部と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量として前記検出対象の領域間の距離を計測する計測部と、
同種の前記検出対象の領域に対し、前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定部と、
前記関連性判定部で判定した評価結果に基づいて、前記複数の検出対象の領域のうち一体の表示形式で表示すべき対象領域を決定する領域決定部と、
前記対象領域を前記表示形式で描画する描画部と、
を備え、
前記関連性判定部は、前記対象物の特性、過去の検出履歴、前記検出対象の合否基準、及び、前記検出対象の種類のうち少なくとも一つから定めた前記距離の閾値を有し、前記閾値と前記計測部で計測した前記特徴量とから前記関連性を判定する、
表示処理装置。
前記対象領域の表示に必要な情報を表示手段に渡し、前記対象領域を表示する表示制御部を備える、
請求項１に記載の表示処理装置。
前記撮影画像は、前記対象物に放射線を透過させて撮像した透過画像である、
請求項１又は２に記載の表示処理装置。
前記表示形式が、前記対象領域を囲む枠、前記対象領域と他の領域とのハイライト表示、及び、前記対象領域を示すマークの少なくともいずれか１つである、
請求項１又は２に記載の表示処理装置。
前記検出対象が欠陥である、
請求項１又は２に記載の表示処理装置。
前記関連性判定部は、前記対象物の特性、過去の検出履歴、前記検出対象の合否基準、及び、前記検出対象の種類から定めた前記距離の閾値を有し、前記閾値と前記計測部で計測した前記特徴量とから前記関連性を判定する、
請求項１又は２に記載の表示処理装置。
前記領域決定部は、前記対象領域と、前記対象領域内で、前記検出対象の発生密度分布が前記対象領域の内側の他の領域と異なる副対象領域と、を決定し、
前記描画部は、前記対象領域を第１表示形式で描画し、前記副対象領域を第２表示形式で描画する、
請求項１又は２に記載の表示処理装置。
前記対象領域は、異なる種類の欠陥が包含されており、
前記描画部は、前記対象領域内に、異なる種類の欠陥が包含されていることを示す情報を付与する、
請求項５に記載の表示処理装置。
前記情報は、前記対象領域を囲む枠の表示色、線種、及び、マークの少なくともいずれか１つにより付与される、
請求項８に記載の表示処理装置。
対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得部と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出部と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量を計測する計測部と、
同種の前記検出対象の領域に対し、前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定部と、
前記関連性判定部で判定した評価結果に基づいて、前記複数の検出対象の領域のうち一体の表示形式で表示すべき対象領域を決定する領域決定部と、
前記対象領域を前記表示形式で描画する描画部と、
を備え、
前記領域決定部は、前記対象領域と、前記対象領域内で、前記検出対象の発生密度分布が前記対象領域の内側の他の領域と異なる副対象領域と、を決定し、
前記描画部は、前記対象領域を第１表示形式で描画し、前記副対象領域を第２表示形式で描画する、
表示処理装置。
対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得部と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出部と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量を計測する計測部と、
前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定部と、
前記関連性判定部で判定した評価結果に基づいて、前記複数の検出対象の領域のうち一体の表示形式で表示すべき対象領域を決定する領域決定部と、
前記対象領域を前記表示形式で描画する描画部と、
を備え、
前記検出対象が、欠陥であり、
前記対象領域は、異なる種類の欠陥が包含されており、
前記描画部は、前記対象領域内に、異なる種類の欠陥が包含されていることを示す情報を付与する、
表示処理装置。
前記情報は、前記対象領域を囲む枠の表示色、線種、及び、マークの少なくともいずれか１つにより付与される、
請求項１１に記載の表示処理装置。
対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得部と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出部と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量を計測する計測部と、
前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定部と、
前記関連性判定部で判定した評価結果に基づいて、前記複数の検出対象の領域のうち一体の表示形式で表示すべき対象領域を決定する領域決定部と、
前記対象領域を前記表示形式で描画する描画部と、
を備え、前記領域決定部で決定された前記一体の表示形式で表示すべき対象領域は、少なくとも２つの互いに異なる種類として抽出された対象領域を含む、
表示処理装置。
対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得工程と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出工程と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量として前記検出対象の領域間の距離を計測する計測工程と、
同種の前記検出対象の領域に対し、前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定工程と、
前記関連性判定工程で判定した評価結果に基づいて、前記複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定工程と、
前記対象領域を前記表示形式で描画する描画工程と、
を備え、
前記関連性判定工程は、前記対象物の特性、過去の検出履歴、前記検出対象の合否基準、及び、前記検出対象の種類のうち少なくとも一つから定めた前記距離の閾値を有し、前記閾値と前記計測工程で計測した前記特徴量とから前記関連性を判定する、
表示処理方法。
対象物の画素ごとの検出対象とそれ以外の対象とを判別したセグメンテーション結果に含まれる検出対象の領域の情報を取得する取得工程と、
複数の非連続した前記検出対象の領域がある場合、前記検出対象の領域同士の関連性を判断するための特徴量として前記検出対象の領域間の距離を計測する計測工程と、
同種の前記検出対象の領域に対し、前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定工程と、
前記関連性判定工程で判定した評価結果に基づいて、前記複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定工程と、
を備え、
前記関連性判定工程は、前記対象物の特性、過去の検出履歴、前記検出対象の合否基準、及び、前記検出対象の種類のうち少なくとも一つから定めた前記距離の閾値を有し、前記閾値と前記計測工程で計測した前記特徴量とから前記関連性を判定する、
表示処理方法。
対象物を撮影した撮影画像に基づいて、前記撮影画像の画素ごとに前記対象物の検出対象とそれ以外の対象とを判別し、セグメンテーション結果を取得する取得機能と、
前記セグメンテーション結果から前記検出対象の領域を抽出する抽出機能と、
複数の非連続した前記検出対象の領域を抽出した場合、前記検出対象の領域同士の関連性を判断するための特徴量として前記検出対象の領域間の距離を計測する計測機能と、
同種の前記検出対象の領域に対し、前記特徴量に基づいて、前記複数の検出対象の領域の関連性を判定する関連性判定機能と、
前記関連性判定機能で判定した評価結果に基づいて、前記複数の検出対象の領域を一体の表示形式で表示すべき対象領域を決定する領域決定機能と、
前記対象領域を前記表示形式で描画する描画機能と、をコンピュータに実現させる表示処理プログラムであって、
前記関連性判定機能は、前記対象物の特性、過去の検出履歴、前記検出対象の合否基準、及び、前記検出対象の種類のうち少なくとも一つから定めた前記距離の閾値を有し、前記閾値と前記計測機能で計測した前記特徴量とから前記関連性を判定する、
表示処理プログラム。
非一時的かつコンピュータ読取可能な記録媒体であって、請求項１６に記載のプログラムが記録された記録媒体。