JP2024029451A - 検査装置、検査システムおよび検査方法 - Google Patents
検査装置、検査システムおよび検査方法 Download PDFInfo
- Publication number
- JP2024029451A JP2024029451A JP2022131720A JP2022131720A JP2024029451A JP 2024029451 A JP2024029451 A JP 2024029451A JP 2022131720 A JP2022131720 A JP 2022131720A JP 2022131720 A JP2022131720 A JP 2022131720A JP 2024029451 A JP2024029451 A JP 2024029451A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- specific
- photographed image
- object candidate
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000000704 physical effect Effects 0.000 claims abstract description 52
- 230000001678 irradiating effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 32
- 239000000470 constituent Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 description 52
- 238000001514 detection method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013170 computed tomography imaging Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 239000000126 substance Substances 0.000 description 7
- 238000011895 specific detection Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/10—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the material being confined in a container, e.g. in a luggage X-ray scanners
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Economics (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pulmonology (AREA)
- Marketing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Radiology & Medical Imaging (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】 検査対象における特定対象物を精度良く検出できる検査装置、検査システムおよび検査方法を提供する。【解決手段】 実施形態によれば、検査装置は、画像取得部とプロセッサとを有する。画像取得部は、検査対象に電磁波を照射して撮影した撮影画像と撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得する。プロセッサは、撮影画像データに含まれる物性情報に基づいて検査対象にある特定対象物の候補である対象物候補を検出し、検査対象にある特定の部位又は物体である特定部を検知し、対象物候補と特定部との相対関係を算出し、算出した相対関係が所定条件を満たす対象物候補を報知する。【選択図】図2
Description
本発明の実施形態は、検査装置、検査システムおよび検査方法に関する。
従来、検査場において、荷物などの検査対象内に予め定められた対象物(以下、特定対象物とも称する)が存在するか否かを検査する検査作業が必要となることがある。検査対象となり得る荷物が多数である場合、検査員が多数の荷物を全て開披検査することは多大な時間や手間がかかる。このため、多数の荷物を検査する検査場では、様々な方法のスクリーニングによって特定対象物が含まれる可能性が高いと推定された荷物を検査対象として開披検査を行うという運用が望まれる。
近年、検査対象とする荷物をX線などの電磁波を用いて撮影した撮影画像(X線画像)を解析することによって当該荷物内における特定対象物を検出する検査システムが提案されている。このような検査システムは、例えば、X線を使用して荷物を撮影した画像を構成する各ピクセル内に含まれる物質の平均的な原子番号である実効原子番号が閾値以内であるか否かによって特定の物質からなる特定対象物と推定されるものを検出する。しかしながら、X線画像から得られる実効原子番号および密度の情報だけでは、特定対象物と当該特定対象物に類似した物性を持つものとを識別することが難しいという問題がある。
本発明が解決しようとする課題は、検査対象における特定対象物を精度良く検出できる検査装置、検査システム、および、検査方法を提供することである。
実施形態によれば、検査装置は、画像取得部とプロセッサとを有する。画像取得部は、検査対象に電磁波を照射して撮影した撮影画像と撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得する。プロセッサは、撮影画像データに含まれる物性情報に基づいて検査対象にある特定対象物の候補である対象物候補を検出し、検査対象にある特定の部位又は物体である特定部を検知し、対象物候補と特定部との相対関係を算出し、算出した相対関係が所定条件を満たす対象物候補を報知する。
以下、実施形態について、図面を参照して説明する。
図1は、実施形態に係る検査装置13を含む検査システム1の構成例を概略的に説明するための図である。
実施形態に係る検査システム1は、検査対象とする荷物内に特定の検出対象物が存在するか否かを検査するためのシステムである。特定の検出対象物(特定対象物)は、例えば、危険な物品、危険な薬品、取り扱いが禁止されている薬物、国内などの所定領域内への持込又は持出が禁止されている物質などが想定される。また、特定の検出対象物は、特定の形状をなす固体でなくても良く、液体や粉体などの物質も含まれるものとする。
図1は、実施形態に係る検査装置13を含む検査システム1の構成例を概略的に説明するための図である。
実施形態に係る検査システム1は、検査対象とする荷物内に特定の検出対象物が存在するか否かを検査するためのシステムである。特定の検出対象物(特定対象物)は、例えば、危険な物品、危険な薬品、取り扱いが禁止されている薬物、国内などの所定領域内への持込又は持出が禁止されている物質などが想定される。また、特定の検出対象物は、特定の形状をなす固体でなくても良く、液体や粉体などの物質も含まれるものとする。
図1に示す構成例において、検査システム1は、コンベア11、撮影装置12、検査装置13、表示装置14、操作装置15、および、スピーカ16などを備える。検査装置13は、撮影装置12、表示装置14、操作装置15、および、スピーカ16などに通信接続される。
コンベア11は、検査対象とする荷物Mを搬送する装置である。コンベア11は、検査対象とする荷物Mを撮影装置12による画像の撮影位置(読取位置)に搬送させる。例えば、コンベア11は、作業員によって供給された荷物Mを搬送する。また、コンベア11には、ロボットアームなどによって供給される荷物Mを搬送するように構成されるものであっても良い。
撮影装置12は、検査対象とする荷物Mに電磁波を照射することにより検査対象における撮影画像と撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得する。撮影装置12は、荷物Mの撮影画像データを検査装置13へ供給する。撮影装置12は、検査装置13が荷物M内において後述する特定の検出対象物と推定される候補(以下、対象物候補とも称する)および特定部位又は特定物体(以下、特定部とも称する)を検出できる撮影画像データを取得するものであれば良い。撮影装置12は、撮影画像として2次元の画像データを取得するものであっても良いし、3次元の画像データを取得するものであっても良い。
撮影装置12は、例えば、X線CT撮影装置である。撮影装置12の一例としてのX線CT撮影装置は、コンベア11により搬送される荷物Mの周りからX線を照射することにより撮影画像として3次元のX線画像データを取得する。また、撮影装置12としてのX線CT撮影装置は、荷物Mを撮影した3次元のX線画像と当該X線画像を構成する構成単位(ピクセル又はボクセル)ごとの物性を示す物性情報を含む撮影画像データを取得する。撮影装置12としてのX線CT撮影装置は、荷物Mから取得した撮影画像データを検査装置13へ供給する。
なお、撮影装置12は、X線CT撮影装置に限定されるものではないが、以下に説明する実施形態においては、撮影装置12がX線CT撮影装置であることを想定して説明するものとする。
検査装置13は、撮影装置12が電磁波を用いて荷物Mを撮影した撮影画像を処理する機能などの種々の機能を有する。
例えば、検査装置13は、撮影装置12が電磁波を用いて荷物Mを撮影した撮影画像を取得する機能(受信部)および後述する検査処理によって得られた情報に基づく出力情報を表示装置14又はスピーカ16などの出力デバイスを用いて出力させる機能(送信部)を有する。
例えば、検査装置13は、撮影装置12が電磁波を用いて荷物Mを撮影した撮影画像を取得する機能(受信部)および後述する検査処理によって得られた情報に基づく出力情報を表示装置14又はスピーカ16などの出力デバイスを用いて出力させる機能(送信部)を有する。
また、検査装置13は、撮影装置12から取得する撮影画像データから荷物M内に存在する特定対象物と推定される候補(対象物候補)を検出する機能(対象物候補検出部)を有する。検査装置13は、特定対象物の物性を基準に設定される設定値に基づいて、撮影装置12から取得する荷物Mの撮影画像において特定対象物と推定される候補(対象物候補)を検出する。
例えば、検査装置13は、撮影装置12としてのX線CT撮影装置が撮影する撮影画像(X線画像)における各ピクセル又はボクセルの物性(密度および実効原子番号など)によって対象物候補を検出する。なお、ピクセルは、2次元画像データを構成する最小単位である画素に相当する。ボクセルとは、3次元データを構成する最小単位のデータであり、正規格子単位の値を表す。ボクセルは、2次元画像データにおけるピクセルに対応する値である。
また、検査装置13は、荷物Mを撮影した画像から特定部位又は特定物体(以下、単に、特定部とも称する)を検出する機能(特定部検出部)を有する。例えば、検査装置13は、撮影装置12が撮影した撮影画像において特定部位又は特定物体である特定部を検出する。特定部は、事前に収集した特定対象物が隠されることが多いとされる部位又は物体である。特定部は、所定の形状を有する部位又は物体であっても良いし、荷物における所定位置に配置される部位又は物体であっても良い。例えば、特定部としては、靴、カメラ、パソコン、トランクなどの荷物の壁、たばこなどが想定される。
検査装置13の特定部検出部では、撮影装置12が撮影した撮影画像から事前に設定(学習)した特定部とする部位又は物体らしい領域の画像を抽出し、抽出した画像の形状を認識することにより特定部を検出する。具体的には、検査装置13の特定部検出部は、撮影画像内の全画素にラベルやカテゴリを関連付けるセマンティックセグメンテーションを用いて特定部を検出することができる。
ただし、特定部検出部に適用する特定部を検出する手法は、上述した方法に限定されるものではなく、一般的な画像認識、又は、画像から抽出するHOG(Histograms of Oriented Gradients)特徴などの特徴量を入力とした機械学習、ディープラーニングを用いたSSD(Single Shot Detector、 Single Shot MultiBox Detector)などの物体認識などを用いた方法であっても良い。
また、検査装置13は、撮影装置12による撮影画像における各対象物候補と特定部との距離などの相対関係に基づいて対象物候補が特定対象物らしい(特定対象物であることが疑われるものである)ことを評価する機能(相対関係算出部)を有する。例えば、検査装置13は、対象物候補が特定部に隣接又は包含される場合に当該検査対象物が特定対象物である可能性が高いと判定する。また、検査装置13は、位置関係として対象物候補と特定部との相対距離を算出し、算出した相対距離が所定値以下である場合に当該対象物候補が特定の検出対象物である可能性が高いと判定するようにしても良い。
表示装置14は、検査員に検査結果を報知するための出力デバイスである。表示装置14は、検査装置13の制御に応じて案内画面などを表示する。表示装置14は、検査員に提示するための案内画面として、荷物Mの撮影画像に対する検査処理の結果などを示す案内画面を表示する。例えば、表示装置14は、検査装置13が生成する撮影装置12による撮影画像において対象物候補および特定部を明示した画像を表示する。
操作装置15は、検査員(オペレータ)の操作入力に応じた操作信号を生成し、操作信号を検査装置13に供給する。また、操作装置15は、キーボードおよびポインティングデバイスなどの操作デバイスで構成される。また、操作装置15は、表示装置14の表示画面に設けたタッチパネルなどにより構成されるようにしても良い。
スピーカ16は、検査員に検査結果などを音声で報知するための出力デバイスである。スピーカ16は、検査処理の結果などに応じた音声案内を検査員に報知するための音声を出力する。
また、検査装置13は、対象物候補などの情報を検査員に報知(発報)する発報処理を実行する機能を有する。例えば、検査装置13は、コンベア11により搬送される荷物Mを撮影装置12によって撮影した撮影画像とともに、特定対象物である可能性が高いと判定された対象物候補を表示装置14に表示する。
また、検査装置13は、荷物Mの撮影画像における全ての対象物候補を表示装置14に表示し、さらに、特定対象物である可能性が高いと判定された対象物候補を他の候補とは別の色やマークなどで表示するようにしても良い。また、検査装置13は、荷物Mの撮影画像において対象物候補と特定部とをそれぞれ明示する画像を表示装置14に表示するようにしても良い。また、検査装置13は、操作装置15による作業員からの指示に応じて表示装置14に表示する内容を切り替えるようにしても良い。
次に、実施形態に係る検査システム1を含む情報管理システム100の構成について説明する。
図2は、実施形態に係る検査システム1を含む情報管理システム100の構成例を示す図である。
図2に示すように、情報管理システム100は、各検査場に設けられる検査システム1の検査装置13に通信接続される上位管理装置101を有する。上位管理装置101は、各検査システム1における検査装置からのデータを収集したり各検査装置へデータを供給したりする情報管理装置として機能する。
図2は、実施形態に係る検査システム1を含む情報管理システム100の構成例を示す図である。
図2に示すように、情報管理システム100は、各検査場に設けられる検査システム1の検査装置13に通信接続される上位管理装置101を有する。上位管理装置101は、各検査システム1における検査装置からのデータを収集したり各検査装置へデータを供給したりする情報管理装置として機能する。
上位管理装置101は、例えば、サーバ装置などのコンピュータで構成される。上位管理装置101は、各検査システム1が実施する検査に関する情報を保存する記憶装置を備える。また、上位管理装置101は、検査に関する情報を保存するサーバ装置に接続するインタフェースを備えるものであっても良い。
上位管理装置101は、各検査システム1における検査装置13から情報を取得する。上位管理装置101は、各検査システム1の検査装置13から取得する情報を保存したり、集計したりする。上位管理装置101は、各検査システム1における検査装置13へ情報を供給する。例えば、上位管理装置101は、各検査システム1の検査装置13に対して検査処理に用いる設定値などを配信する。また、上位管理装置101は、各検査装置13が検査処理を実行するためのプログラムの更新データなどを配信するようにしても良い。
次に、実施形態に係る検査システム1における検査装置13の制御系の構成について説明する。
図3は、実施形態に係る検査システム1における検査装置13の制御系の構成例を示すブロック図である。
図3に示すように、撮影装置12は、撮像部21、処理部22、および、出力部23を有する。
撮像部21は、検査対象とする荷物Mなどの被撮影物にX線などの電磁波を照射して画像を撮影する。例えば、撮影装置12がX線CT撮影装置である場合、撮像部21は、コンベア11により搬送される検査対象とする荷物Mの周りからX線を照射することにより3次元のX線画像データを取得する。
図3は、実施形態に係る検査システム1における検査装置13の制御系の構成例を示すブロック図である。
図3に示すように、撮影装置12は、撮像部21、処理部22、および、出力部23を有する。
撮像部21は、検査対象とする荷物Mなどの被撮影物にX線などの電磁波を照射して画像を撮影する。例えば、撮影装置12がX線CT撮影装置である場合、撮像部21は、コンベア11により搬送される検査対象とする荷物Mの周りからX線を照射することにより3次元のX線画像データを取得する。
処理部22は、プロセッサおよび各種のメモリなどを備え、プロセッサがメモリに記憶されたプログラムを実行することにより種々の処理を実行する。処理部22は、例えば、撮像部21が電磁波を照射して撮影した画像を処理することにより撮影画像と撮影画像を構成する構成単位(ピクセル又はボクセル)における物性を示す物性情報とを含む撮影画像データを生成する。
出力部23は、撮影画像データなどデータを出力するインタフェースである。出力部23は、検査装置13の画像インタフェース39に対応するインタフェースを備え、検査装置13へ撮影画像データを出力する。また、出力部23は、接続される検査装置13からの制御データなどのデータを入力するインタフェースを含む入出力インタフェースであっても良い。
また、図3に示すように、検査装置13は、プロセッサ31、ROM32、RAM33、記憶部34、通信部35、表示インタフェース(I/F)36、操作インタフェース(I/F)37、音声インタフェース(I/F)38、および、画像インタフェース(I/F)39を有する。
プロセッサ31は、演算処理を実行する。プロセッサ31は、例えば、CPU(Central Processing Unit)である。プロセッサ31は、RAM33を用いてROM32又は記憶部34に記憶したプログラムを実行することにより種々の処理を実行する処理部として機能する。
ROM32は、読み出し専用の不揮発性メモリである。ROM32は、プログラムのデータおよび制御データなどを記憶する。RAM33は、ワーキングメモリとして機能する揮発性のメモリである。RAM33は、データを一時的に記憶する。
記憶部34は、書き換え可能な不揮発性メモリである。記憶部34は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などにより構成される。記憶部34は、プログラムのデータ、制御データとしての設定値、検査処理の結果などの情報を記憶する。
通信部35は、上位管理装置101と通信するための通信インタフェースである。プロセッサ31は、通信部35を介して上位管理装置101と通信する。プロセッサ31は、通信部35を介して処理結果などのデータを上位管理装置101へ送信したり、上位管理装置101からのデータを受信したりする。
表示インタフェース36は、出力デバイスとしての表示装置14と接続するためのインタフェースである。表示インタフェース36は、表示装置14が備えるインタフェースに対応するものであれば良い。プロセッサ31は、表示インタフェース36を介して、表示装置14に表示する表示内容を制御する。
操作インタフェース37は、操作装置15と接続するためのインタフェースである。操作インタフェース37は、操作装置15が備えるインタフェースに対応するものであれば良い。プロセッサ31は、操作インタフェース37を介して、操作装置15により入力された情報を取得する。
音声インタフェース38は、出力デバイスとしてのスピーカ16と接続するためのインタフェースである。音声インタフェース38は、スピーカ16が備えるインタフェースに対応するものであれば良い。プロセッサ31は、音声インタフェース38を介して、出力デバイスとしてのスピーカ16から音声を出力させる。
画像インタフェース39は、撮影装置12と接続するためのインタフェースである。画像インタフェース39は、撮影装置12から撮影画像を取得するための画像取得部(画像取得インタフェース)である。画像インタフェース39は、X線CT装置などの撮影装置12が備えるインタフェースに対応するものであれば良い。プロセッサ31は、画像インタフェース39を介して、撮影装置12としてのX線CT装置が撮影した撮影画像(X線画像)を取得する。また、プロセッサ31は、画像インタフェース39を介して撮影装置12による荷物Mに対する撮影動作を制御するようにしても良い。
次に、実施形態に係る検査システム1を含む情報管理システム100における上位管理装置101の構成について説明する。
図4は、実施形態に係る検査システム1を含む情報管理システム100における上位管理装置101の構成例を示すブロック図である。
上位管理装置101は、検査システム1全体の情報を管理する情報管理装置である。上位管理装置101は、各検査場に設けられる検査システム1の検査装置13に通信接続されるコンピュータである。上位管理装置101は、例えば、サーバ装置によって構成される。
図4は、実施形態に係る検査システム1を含む情報管理システム100における上位管理装置101の構成例を示すブロック図である。
上位管理装置101は、検査システム1全体の情報を管理する情報管理装置である。上位管理装置101は、各検査場に設けられる検査システム1の検査装置13に通信接続されるコンピュータである。上位管理装置101は、例えば、サーバ装置によって構成される。
図4に示す構成例において、上位管理装置101は、プロセッサ41、ROM42、RAM43、記憶部44、および、通信部45を有する。
プロセッサ41は、演算処理を実行する。プロセッサ41は、例えば、CPU(Central Processing Unit)である。プロセッサ41は、RAM43を用いてROM42又は記憶部44に記憶したプログラムを実行することにより種々の処理を実行する処理部として機能する。
プロセッサ41は、演算処理を実行する。プロセッサ41は、例えば、CPU(Central Processing Unit)である。プロセッサ41は、RAM43を用いてROM42又は記憶部44に記憶したプログラムを実行することにより種々の処理を実行する処理部として機能する。
ROM42は、読み出し専用の不揮発性メモリである。ROM42は、プログラムのデータおよび制御データなどを記憶する。RAM43は、ワーキングメモリとして機能する揮発性のメモリである。RAM43は、データを一時的に記憶する。
記憶部44は、書き換え可能な不揮発性メモリである。記憶部44は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などにより構成される。記憶部34は、プログラムのデータ、制御データとしての設定値、各検査装置13から収集するデータなどの情報を記憶する。
通信部45は、各検査システム1における検査装置13と通信するための通信インタフェースである。プロセッサ41は、通信部45を介して検査装置13と通信する。プロセッサ41は、通信部45を介して検査装置13から処理結果などのデータを受信したり、検査装置13へデータを送信したりする。
次に、実施形態に係る検査システム1における検査対象とする荷物Mを検査する検査処理について説明する。
図5は、実施形態に係る検査システム1における検査処理の流れを概略的に説明するためのフローチャートである。また、図6(a)~(d)は、検査処理の各処理によって得られる画像の例を模式的に示す図である。
図5は、実施形態に係る検査システム1における検査処理の流れを概略的に説明するためのフローチャートである。また、図6(a)~(d)は、検査処理の各処理によって得られる画像の例を模式的に示す図である。
図1に示すように構成される検査システム1において、検査対象である荷物Mは、コンベア11に順次投入される。コンベア11は、投入された荷物Mを撮影装置12による画像の撮影位置に搬送する。撮影装置12の撮像部21は、コンベア11により搬送される荷物Mに対して電磁波を照射することにより荷物Mの内容を示す撮影画像を取得する。
撮影画像は、荷物M内の状態を示す画像データであれば良い。例えば、撮影装置12のX線CT装置は、撮影位置に搬送される荷物MにX線を照射することにより荷物M内の状態を示す3次元データを撮影画像として取得する。また、物性情報は、撮影画像を構成する各ピクセル又はボクセルにおける物性(密度および実効原子番号)を示す物性情報を取得する。
撮影装置12の処理部22は、撮像部21が荷物Mを撮影した撮影画像と撮影画像における各ピクセル又はボクセルにおける物性を示す物性情報とを含む撮影画像データを生成する。撮影装置の処理部22は、荷物Mの撮影画像データを取得すると、当該撮影画像データを出力部23により検査装置13へ出力する。
検査装置13は、画像インタフェース39により撮影装置12から撮影画像データを取得する(ステップS101)。プロセッサ31は、上述した受信部による処理として撮影画像データを取得する処理を実行する。例えば、検査装置13は、図6(a)に示すような撮影画像と撮影画像の各部位(ピクセル又はボクセル)における物性を示す物性情報とを含む撮影画像データを取得する。撮影画像は、2次元データであっても良いし、3次元データであっても良いし、3次元データを特定の軸に対してスライスして得られる複数の2次元画像データであっても良い。以下の説明では、説明を簡単にするために撮影画像が2次元画像データであるものとして説明するものとする。
検査装置13のプロセッサ31は、撮影装置12から取得した撮影画像データから特定の対象物の候補として対象物候補を検出する対象物候補の検出処理を実行する(ステップS102)。プロセッサ31は、上述した対象物候補検出部による処理として対象物候補の検出処理を実行する。例えば、プロセッサ31は、検出すべき特定対象物の物性に応じて設定される設定値に基づいて、撮影画像において物性が特定対象物の物性と類似又は一致する箇所(ピクセル)を対象物候補として検出する。図6(b)は、図6(a)に示すような撮影画像データから検出した対象物候補の例を示す図である。
また、検査装置13のプロセッサ31は、撮影装置12から取得した撮影画像データに基づいて、荷物Mを撮影した撮影画像において、検出すべき特定の対象物が配置されやすい場所である特定部位又は物体(特定部)を検出する特定部の検出処理を実行する(ステップS103)。
プロセッサ31は、上述した特定部検出部による処理として特定部の検出処理を実行する。例えば、プロセッサ31は、事前に特定部として検出すべき部位又は物体の形状を設定しておき、撮影画像において検出すべき特定部の形状と類似する形状の画像領域を特定部として検出する。図6(c)は、図6(a)に示すような撮影画像データから検出した特定部の例を示す図である。
プロセッサ31は、対象物候補の検出処理と特定部の検出処理とを実行すると、検出した対象物候補と特定部との相対関係を算出する相対関係の算出処理を実行する(ステップS104)。プロセッサ31は、上述した相対関係算出部による処理として、相対関係の検出処理を実行する。対象物候補と特定部との相対関係は、対象物候補が検出すべき特定対象物であることが疑われるか否かを評価するための情報である。プロセッサ31は、例えば、相対関係として対象物候補と特定部との相対距離を算出する。
プロセッサ31は、対象物候補と特定部との相対関係を算出すると、特定部との相対関係に基づいて特定対象物であることが疑われる対象物候補を検出する(ステップS105)。例えば、プロセッサ31は、特定部との相対関係(例えば、相対距離)が予め設定した設定値である所定条件を満たす対象物候補を特定対象物であることが疑われる(特定対象物として検出する)ものと判定する。
プロセッサ31は、対象物候補と特定部との相対関係に基づいて特定対象物であることが疑われる対象物候補の検出結果を出力デバイスとしての表示装置14やスピーカ16により報知(発報)する発報処理を実行する(ステップS106)。例えば、プロセッサ31は、上述した送信部による処理として特定対象物であることが疑われる対象物候補を検出した場合、その検出結果を表示装置14又はスピーカ16などの出力デバイスによって発報する発報処理を実行する。
例えば、プロセッサ31は、特定部との相対距離が予め設定した閾値以下である対象物候補を特定対象物であることが疑われるものとして表示装置14に表示させる。図6(d)は、図6(b)に示す対象物候補と図6(c)に示す特定部との相対関係に基づいて、特定対象物であると疑われると判定された対象物候補と当該対象物候補に対応づけられた特定部とを表示した表示例を示す図である。
発報処理によって対象物候補の検出結果が表示装置14に表示された荷物は、検査員による検査作業が実施される。検査員は、発報処理によって表示された検出結果等の情報を参照しながら荷物の内容物などを検査する検査作業を実施する。なお、検査システム1としては、全ての荷物Mに対して検査作業を実施する運用としても良いし、特定対象物であることが疑われる対象物候補が検出された荷物Mに対して検査作業を実行する運用しても良い。
次に、実施形態に係る検査装置13の対象物候補検出部による対象物候補の検出処理の例について説明する。
図7は、実施形態に係る検査装置13の対象物候補検出部による対象物候補の検出処理の例を説明するためのフローチャートである。
図7は、実施形態に係る検査装置13の対象物候補検出部による対象物候補の検出処理の例を説明するためのフローチャートである。
検査装置13のプロセッサ31は、対象物候補検出部として、例えば、撮影装置12から得られる荷物Mの撮影画像と撮影画像における各部位の実効原子番号および密度データとを含む撮影画像データに基づいて検出すべき特定対象物の物性と類似又は一致する対象物候補を検出する。具体的には、入力データである撮影画像の各ピクセル又はボクセルにおける実効原子番号および密度が事前に収集した検出すべき特定対象物の物性値を基に決定した閾値の範囲内であるか否かにより対象物候補であるか否かを判定する。
図7に示す処理例において、検査装置13のプロセッサ31は、検出すべき特定対象物の物性値Zを取得する(ステップS201)。ここで、特定対象物の物性値Zは、管理者又は検査員が操作装置15を用いて入力するようにしても良いし、上位管理装置101などの外部装置から取得するようにしても良い。
プロセッサ31は、特定対象物の物性値Zを取得すると、特定対象物の物性値Zを基準とした閾値Eを設定する(ステップS202)。例えば、プロセッサ31は、特定対象物の物性値Zに対して所定の許容範囲を設定する閾値Eを設定する。
なお、ステップS201およびS202の処理は、管理者又は検査員が操作装置15を用いて入力する閾値Eを設定する処理に置き換えても良い。また、ステップS201およびS202の処理は、上位管理装置101から閾値Eを指定する情報を取得し、上位管理装置101から取得する閾値Eを対象物候補の検出処理における設定値として設定するようにしても良い。
対象物候補の検出処理における設定値である閾値Eを設定した検査装置13のプロセッサ31は、撮影装置12から検査対象である荷物MをX線などの電磁波を用いて撮影した撮影画像と撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得する(ステップS203)。撮影装置12から荷物Mの撮影画像データを取得すると、プロセッサ31は、撮影画像に含まれる対象物候補を検出する処理を実行する(ステップS204~S207)。
図7に示す処理例において、プロセッサ31は、荷物Mの撮影画像を構成する各ピクセルpの物性値I(p)と特定検出物の物性値Zとの差が閾値E未満(|I(p)-Z|<E)であるか否かを判断する(ステップS205)。プロセッサ31は、|I(p)-Z|<Eである場合(ステップS205、YES)、撮影画像におけるピクセルpを対象物候補として選出する(ステップS206)。プロセッサ31は、荷物Mの撮影画像を構成する全てのピクセルについてステップS205およびS206の処理を繰り返し実行する(ステップS204、S207)。
撮影画像における全てのピクセルに対するステップS205およびS206の処理が完了すると、プロセッサ31は、対象物候補のピクセルとして検出したピクセルの集合からなる画像領域を対象物候補として検出する(ステップS208)。例えば、プロセッサ31は、特定対象物の物性値Zとの差が閾値E未満となる物性値I(p)のピクセルが連続する画像領域(又は、相対距離が所定距離以下となるピクセルの集合からなる画像領域)を対象物候補として検出する。
上述した対象物候補の検出処理の例によれば、検査装置は、X線画像などの電磁波を照射して得られる撮影画像における各部位の実効原子番号や密度データなどの物性値と特定対象物の物性値との差が所定の閾値の範囲内であるか否かにより対象物候補を検出する。これにより、実施形態に係る検査装置は、検出すべき特定対象物が特定の形状を持たない液体又は紛体などの物質であっても、荷物内に存在する特定対象物の候補を検出することができる。
なお、上述した対象物候補の検出処理では、2次元画像を処理対象としてピクセルごとに対象物候補であるか否かを判定するものとしたが、撮影画像が3次元データであれば、ボクセルごとに対象物候補であるか否かを判定することにより3次元の撮影画像における対象物候補を検出するようにすれば良い。
また、検査装置13のプロセッサ31は、撮影画像としての3次元の画像を各軸に沿ってスライス(分割)することで得られる複数の2次元画像に対して上述した対象物候補の検出処理を実行するようにしても良い。
図8は、撮影画像としての3次元データを各軸(x軸、y軸、z軸)に沿ってスライス(分割)することで得られる複数の2次元画像の例を示す図である。
図8に示すような複数の2次元画像データが得られると、プロセッサ31は、各2次元画像データに対して上述したような対象物候補の検出処理を実行する。各2次元画像データにおける対象物候補を検出すると、プロセッサ31は、各2次元画像に対する対象物候補の検出結果を重ね合わせることにより3次元の空間における対象物候補を検出するようにしても良い。
図8は、撮影画像としての3次元データを各軸(x軸、y軸、z軸)に沿ってスライス(分割)することで得られる複数の2次元画像の例を示す図である。
図8に示すような複数の2次元画像データが得られると、プロセッサ31は、各2次元画像データに対して上述したような対象物候補の検出処理を実行する。各2次元画像データにおける対象物候補を検出すると、プロセッサ31は、各2次元画像に対する対象物候補の検出結果を重ね合わせることにより3次元の空間における対象物候補を検出するようにしても良い。
また、対象物候補の検出処理は、上述した方法に限定されるものではなく、事前に収集した特定対象物のデータを利用して対象物候補を検出できるものであれば良い。例えば、対象物候補の検出処理としては、ハッシュテーブル又は機械学習などを用いて対象物候補を検出するようにしても良い。また、特定対象物が形状としての特徴を有するものであれば、対象物候補の検出処理としては、一般的な物体認識を用いて対象物候補を検出するようにしても良い。
次に、実施形態に係る検査装置13の相対関係算出部による相対関係の算出処理について詳細に説明する。
検査装置13のプロセッサ31は、相対関係算出部として、撮影画像から検出された対象物候補と特定部との相対関係を算出する。相対関係は、対象物候補が検出すべき特定対象物であるかを評価するための指標値として算出される。例えば、相対関係としては、対象物候補と特定部との距離(相対距離)を算出する。この場合、特定部との距離が近い対象物候補が特定対象物であることが疑われるものと判定することができる。
検査装置13のプロセッサ31は、相対関係算出部として、撮影画像から検出された対象物候補と特定部との相対関係を算出する。相対関係は、対象物候補が検出すべき特定対象物であるかを評価するための指標値として算出される。例えば、相対関係としては、対象物候補と特定部との距離(相対距離)を算出する。この場合、特定部との距離が近い対象物候補が特定対象物であることが疑われるものと判定することができる。
また、相対関係としては、対象物候補と特定部との包含関係、又は、隣接するか否かなどの位置関係を算出しても良い。この場合、特定部内の対象物候補、又は、特定部に隣接する対象物候補が特定対象物であることが疑われるものとして評価することができる。
また、相対関係としては、対象物候補の物性情報と特定部の物性情報との組み合わせに対する物性情報(例えば、密度および実効原子番号などの平均値など)を算出するようにしても良い。この場合、特定部を構成する物質と対象物候補を構成する物質とが混在する状態であっても特定対象物であることが疑われる対象物候補を検出できる。
図9は、実施形態に係る検査装置13の相対関係算出部による相対関係の算出処理の例として対象物候補と特定部との相対距離を算出する処理を説明するためのフローチャートである。
図9では、対象物候補として検出された各ピクセルと特定部を形成する各ピクセルとの距離に基づいて対象物候補と特定部との相対距離を算出する処理例について説明する。対象物候補と特定部との相対関係として相対距離を算出する例としては、対象物候補の中心位置と特定部の中心位置とのユークリッド距離を計算する方法が考えられる。しかし、中心位置同士の距離では、対象物候補又は特定部の形状による影響が大きくなる。例えば、対象物候補(又は特定部)の領域の形状がL字である場合、当該領域の中心位置が対象物候補(又は特定部)上にないことが考えられる。このため、図9に示す処理例では、対象物候補の各ピクセルと特定部の各ピクセルとの距離に基づいて対象物候補と特定部との相対距離を算出するものとする。
図9では、対象物候補として検出された各ピクセルと特定部を形成する各ピクセルとの距離に基づいて対象物候補と特定部との相対距離を算出する処理例について説明する。対象物候補と特定部との相対関係として相対距離を算出する例としては、対象物候補の中心位置と特定部の中心位置とのユークリッド距離を計算する方法が考えられる。しかし、中心位置同士の距離では、対象物候補又は特定部の形状による影響が大きくなる。例えば、対象物候補(又は特定部)の領域の形状がL字である場合、当該領域の中心位置が対象物候補(又は特定部)上にないことが考えられる。このため、図9に示す処理例では、対象物候補の各ピクセルと特定部の各ピクセルとの距離に基づいて対象物候補と特定部との相対距離を算出するものとする。
すなわち、検査装置13のプロセッサ31は、検査対象とする荷物Mの撮影画像において検出された対象物候補Tの領域と特定部Wの領域とを示す情報を取得する(ステップS301)。ここでは、プロセッサ31は、相関関係を算出する対象物候補Tの画像領域と特定部Wの画像領域とを取得するものとする。ただし、撮影画像に複数の対象物候補又は複数の特定部が存在する場合、プロセッサ31は、各対象物候補と各特定部との全ての組み合わせについてステップS301~S307の処理を実行することにより相関関係(相対距離)を算出するものとする。
撮影画像における特定部Wの画像領域を示す情報を取得すると、プロセッサ31は、特定部Wの画像を形成する総ピクセル数を特定部に応じたループ数として設定する(ステップS302)。また、撮影画像における対象物候補Tの画像領域を示す情報を取得すると、プロセッサ31は、対象物候補Tの画像を形成する総ピクセル数を対象物候補に応じたループ数として設定する(ステップS303)。
プロセッサ31は、対象物候補の各ピクセルと特定部の各ピクセルとの距離をそれぞれ算出し、算出した各ピクセル間の距離を特定部Wと対象物候補Tとの相対距離を算出するための距離情報としてRAM33又は記憶部34に保存する(ステップS304)。プロセッサ31は、対象物候補の1つのピクセルに対して特定部の各ピクセルの距離を算出する処理を特定部のピクセル数(特定部に応じたループ数)分繰り返し実行する(ステップS305)。
対象物候補の1つのピクセルに対する特定部の各ピクセルの距離の算出が終了すると、プロセッサ31は、対象物候補から選出する次のピクセルに対して特定部の各ピクセルの距離を算出する処理を実行する。プロセッサ31は、対象物候補から順次選出するピクセルに対して特定部の各ピクセルの距離を算出する処理を、対象物候補の総ピクセル数(対象物候補に応じたループ数)分繰り返し実行する(ステップS306)。上記ステップS302~S306の処理によって、プロセッサ31は、対象物候補における全てのピクセルに対する特定部における全てのピクセルの距離が算出される。
プロセッサ31は、対象物候補Tの各ピクセルと特定部Wの各ピクセルとの距離の算出が終了すると、RAM33又は記憶部34に保存した各ピクセル間の距離に基づいて対象物候補Tと特定部Wとの相対関係としての相対距離を算出する(ステップS307)。例えば、プロセッサ31は、対象物候補Tの各ピクセルと特定部Wの各ピクセルとの組み合わせの数だけ算出された距離から最小値となる距離を相対関係として算出しても良い。
ただし、実際には、ノイズが特定部として誤って検出される場合がある。特定部と誤って検出されるノイズは、対象物候補の近い位置に検出されることも有り得る。このような場合、実際の特定部によりも対象物候補に近い場所にノイズが少しでもあると、当該対象物候補に対する距離の最小値は、実際の特定部までの距離もよりも小さい値として算出される。
このため、プロセッサ31は、対象物候補と特定部との相対関係(相対距離)として、対象物候補として検出された各ピクセルと特定部の各ピクセルとの距離を計算した後、最小値をとるのではなく、パーセンタイルの値をとるようにしても良い。対象物候補の各ピクセルと特定部の各ピクセルとの距離を示す相関関係をパーセンタイルの値で算出することにより、特定部として検出されるノイズがあっても対象物候補が特定対象物らしいことを頑健に評価することが可能になる。
なお、図9に示す処理例では、対象物候補における全てのピクセルに対して特定部における全てのピクセルの距離を算出するようにしたが、計算量を削減するために、全ての組み合わせに対して距離を算出しなくても良い。例えば、プロセッサ31は、対象物候補からサンプリングしたピクセルと特定部からサンプリングしたピクセルとの組み合わせについて距離を算出することにより、距離を算出するピクセルの組み合わせ数を減らしても良い。図9に示す処理例において距離を算出するピクセルの組み合わせ数を減らすことにより、相対関係の算出処理における計算量を削減することができる。
また、上述した相関関係の算出処理の例では、2次元画像を処理対象としてピクセル間の距離を算出するものとしたが、撮影画像が3次元データであれば、対象物候補における各ボクセルと特定部における各ボクセルとの距離を算出するようにすれば良い。これにより、撮影画像が3次元データであっても、対象物候補と特定部との相対関係としての相対距離を算出することができる。
次に、実施形態に係る検査装置13の相対関係に基づく検出結果の発報処理について詳細に説明する。
検査装置13のプロセッサ31は、相対関係に基づく特定対象物の検出結果を出力デバイスにより報知する発報処理を実行する。例えば、検査装置13のプロセッサ31は、荷物Mの撮影画像において特定対象物であることが疑われる画像領域(特定対象物として検出した画像領域)を強調表示した特定対象物の検査結果の表示画面を表示装置14に表示させる。
検査装置13のプロセッサ31は、相対関係に基づく特定対象物の検出結果を出力デバイスにより報知する発報処理を実行する。例えば、検査装置13のプロセッサ31は、荷物Mの撮影画像において特定対象物であることが疑われる画像領域(特定対象物として検出した画像領域)を強調表示した特定対象物の検査結果の表示画面を表示装置14に表示させる。
図10は、検査装置13が発報処理として荷物Mにおける特定対象物の検査結果を表示装置14に表示した表示例を示す図である。
図10に示す表示例は、撮影装置12が撮影した荷物Mの撮影画像を表示し、撮影画像上において特定部との相対関係を基に特定対象物であることが疑われると判定された対象物候補の画像領域(特定対象物として検出した画像領域)を強調表示した案内表示の例である。
図10に示す表示例は、撮影装置12が撮影した荷物Mの撮影画像を表示し、撮影画像上において特定部との相対関係を基に特定対象物であることが疑われると判定された対象物候補の画像領域(特定対象物として検出した画像領域)を強調表示した案内表示の例である。
特定対象物であることが疑われる画像領域は、が他の画像領域と区別して視認できるようにした強調表示するものであれば良い。例えば、特定対象物であることが疑われる画像領域は、他の領域とは別の色で表示することにより強調表示しても良い。また、特定対象物であることが疑われる画像領域は、四角、又は、楕円などで囲むように表示することで強調表示しても良い。
また、検査装置13が発報処理により表示装置14に表示する検査処理の結果は、特定対象物であることが疑われると判定された対象物候補の画像領域だけでなく、特定部、対象物候補、又は、相対関係を示す情報などを表示しても良い。
図11は、撮影画像において特定対象物であることが疑われると判定した画像領域(特定対象物の検出結果)とともに、対象物候補の検出処理で検出した対象物候補を示す案内を表示した表示例を示す図である。
図11に示す表示例は、特定対象物であることが疑われると判定された対象物候補以外の対象物候補の画像領域を検査員が視認できるように楕円のガイド線で囲むように表示した例である。また、対象物候補として検出した領域は、矩形などで囲むように表示しても良いし、対象物候補の領域として設定した特定の色で表示するようにしても良い。
図11に示す表示例は、特定対象物であることが疑われると判定された対象物候補以外の対象物候補の画像領域を検査員が視認できるように楕円のガイド線で囲むように表示した例である。また、対象物候補として検出した領域は、矩形などで囲むように表示しても良いし、対象物候補の領域として設定した特定の色で表示するようにしても良い。
図12は、撮影画像において特定対象物であることが疑われると判定した画像領域とともに、特定部の検出処理によって検出した特定部を示す案内を表示した表示例を示す図である。
図12に示す表示例は、撮影画像において特定部として検出した画像領域を検査員が視認できるように矩形のガイド線で特定部の画像領域を囲むように表示した例である。また、特定部として検出した画像領域は、楕円などで囲むように表示しても良いし、対象物候補の領域として設定した特定の色で表示するようにしても良い。
図12に示す表示例は、撮影画像において特定部として検出した画像領域を検査員が視認できるように矩形のガイド線で特定部の画像領域を囲むように表示した例である。また、特定部として検出した画像領域は、楕円などで囲むように表示しても良いし、対象物候補の領域として設定した特定の色で表示するようにしても良い。
図13は、撮影画像において特定対象物であることが疑われると判定した画像領域とともに、特定部に対する各対象物候補の相対関係(相対距離)を示す情報を表示した表示例を示す図である。
図13に示す表示例では、特定部として検出した部位に対する各対象物候補の相対関係としての相対距離を示す情報(ピクセル数)を表示している。また、撮影画像において対象物候補や特定部を表示し、対象物候補や特定部の画像領域おける密度や実効原子番号などの情報を並べて(又は重ねて)表示するようにしても良い。
図13に示す表示例では、特定部として検出した部位に対する各対象物候補の相対関係としての相対距離を示す情報(ピクセル数)を表示している。また、撮影画像において対象物候補や特定部を表示し、対象物候補や特定部の画像領域おける密度や実効原子番号などの情報を並べて(又は重ねて)表示するようにしても良い。
図14は、特定対象物の検出結果を表示するとともに対象物候補および特定部の表示を指示するボタンを設けた表示例を示す図である。
図14に示す表示例では、全対象物候補の表示を指示するボタン、および、特定部の表示を指示するボタンが表示され、さらに、個々の対象物候補を選択するボタンが表示される。対象物候補の表示を指示するボタンが操作装置15により入力されると、表示装置14には、図14に示すように、対象物候補として検出された全ての対象物候補の画像が表示される。
図14に示す表示例では、全対象物候補の表示を指示するボタン、および、特定部の表示を指示するボタンが表示され、さらに、個々の対象物候補を選択するボタンが表示される。対象物候補の表示を指示するボタンが操作装置15により入力されると、表示装置14には、図14に示すように、対象物候補として検出された全ての対象物候補の画像が表示される。
また、特定部の表示を指示するボタンが操作装置15により入力されると、表示装置14には、特定部として検出された領域の画像が表示される。また、個々の対象物候補を選択するボタンが操作装置15により入力されると、表示装置14には、選択された対象物候補の画像とともに当該対象物候補に関する情報(例えば、物性を示す情報、或いは、特定部との相対関係を示す情報など)が表示される。
また、検査装置13のプロセッサ31は、撮影画像が3次元データであれば、表示装置14に表示する撮影画像を3Dで表示するようにしても良い。この場合も、プロセッサ31は、特定対象物として検出された対象物候補の領域を他の領域とは別の色で表示するようにすれば良い。また、プロセッサ31は、撮影画像を3Dで表示する場合であっても、対象物候補又は特定部などを検査員に指示に応じて撮影画像上に表示するようにしても良い。また、撮影画像を3D画像で表示装置14に表示する場合、プロセッサ31は、検査員による操作に応じて3Dの撮影画像を回転させたり、拡大させたり、縮小させたり、移動させりするようにしても良い。
また、撮影画像が3次元データである場合、プロセッサ31は、検査員が指定する場所(面)でスライスした2次元画像を表示装置14に表示するようにしても良い。
図15は、3次元の撮影画像を指定された場所でスライスした2元次画像を表示する例を模式的に示す図である。
図15に示す例によれば、検査装置13は、3次元の撮影画像を指定された場所でスライスした2次元画像としての撮影画像を表示装置14に表示し、さらに、その撮影画像上に対象物候補、特定部および特定対象物として検出した領域などを表示する。3次元の撮影画像をスライスする場所は、予め設定される所定場所であっても良いし、検査員が操作装置15を用いて指定する場所であっても良い。
図15は、3次元の撮影画像を指定された場所でスライスした2元次画像を表示する例を模式的に示す図である。
図15に示す例によれば、検査装置13は、3次元の撮影画像を指定された場所でスライスした2次元画像としての撮影画像を表示装置14に表示し、さらに、その撮影画像上に対象物候補、特定部および特定対象物として検出した領域などを表示する。3次元の撮影画像をスライスする場所は、予め設定される所定場所であっても良いし、検査員が操作装置15を用いて指定する場所であっても良い。
なお、以上の説明では、撮影装置12と検査装置13とが別々に構成される検査システム1の動作例について説明したが、上述した検査装置13の処理は撮影装置12が実行するように構成しても良い。すなわち、上述した検査システム1において、上述した撮影装置12と検査装置13とは一体的に形成された装置で実現するようにしても良い。
また、上述した例では、検査装置13の動作例を主体に説明したが、図2に示す情報管理システム100としては、上述した検査装置13による各種の処理結果や検査作業の結果などの情報を上位管理装置101が収集するようにしても良い。すなわち、検査装置13による種々の処理結果や検査作業の結果などを示す情報は、検査装置13から上位管理装置101に送信され、上位管理装置で保存されるようにしても良い。これにより、上位管理装置101は、各地にある検査システム1の検査装置13から取集する情報を分析し、分析結果に応じて各検査装置13が実行する各種の処理におけるパラメータを変更するようにしても良い。
具体例として、上位管理装置は、各検査装置から実際の検査作業において特定対象物が検出された部位や物体を示す情報を収集し、それらの部位や物体を特定部として検出するように各検査装置に特定部の検出処理のパラメータを設定するようにしても良い。また、上位管理装置は、各検査装置から収集する情報から特定対象物として検出した対象物候補が実際の検査作業で特定対象物と確認される確率(精度)などの統計量を算出し、それらの統計量に応じて特定部との相対関係を基に対象物候補を特定対象物と判定するための設定値を調整するようにしても良い。
以上のように、実施形態に係る検査装置は、検査対象に電磁波を照射して撮影する撮影画像と撮影画像の各部における物性情報とを含む撮影画像データを取得する。検査装置は、撮影画像における対象物候補と特定部とを検出し、対象物候補と特定部との相対関係を基に特定対象物であることが疑われる対象物候補を報知する。
これにより、実施形態に係る検査装置によれば、特定対象物が配置されやすい特定部を検出し、特定部と対象物候補との相対関係によって特定対象物であることが疑われる領域を特定することができる。この結果、検査対象に電磁波を照射することで取得する物性値だけでは特定対象物との判別が難しい対象物候補を特定部との相対関係で絞り込むことができ、高精度に特定対象物であることが疑われる領域を検出することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…検査システム、M…荷物、11…コンベア、12…撮影装置(X線CT装置)、13…検査装置、14…表示装置、15…操作装置、16…スピーカ、21…撮像部、22…処理部、23…出力部、31…プロセッサ、32…ROM、33…RAM、34…記憶部、35…通信部、36…表示インタフェース、37…操作インタフェース、38…音声インタフェース、39…画像インタフェース(画像取得部)、41…プロセッサ、42…ROM、43…RAM、44…記憶部、45…通信部、100…情報管理システム、101…上位管理装置。
Claims (12)
- 検査対象に電磁波を照射して撮影した撮影画像と前記撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得する画像取得部と、
前記撮影画像データに含まれる物性情報に基づいて前記検査対象にある特定対象物の候補である対象物候補を検出し、前記検査対象にある特定の部位又は物体である特定部を検知し、前記対象物候補と前記特定部との相対関係を算出し、算出した相対関係が所定条件を満たす対象物候補を報知する、プロセッサと、
を有する検査装置。 - 前記プロセッサは、前記対象物候補と前記特定部とが隣接又は包含関係にあるかを前記相対関係として算出し、前記特定部に隣接又は包含される対象物候補を報知する、
請求項1に記載の検査装置。 - 前記プロセッサは、前記対象物候補と前記特定部との相対距離を前記相対関係として算出し、前記特定部との相対距離が所定閾値以下である対象物候補を報知する、
請求項1に記載の検査装置。 - 前記プロセッサは、前記対象物候補の各構成単位と前記特定部の各構成単位との構成単位間の距離を算出し、算出した距離の最小値を前記対象物候補と前記特定部との相対距離とする、
請求項3に記載の検査装置。 - 前記プロセッサは、前記対象物候補の各構成単位と前記特定部の各構成単位との構成単位間の距離を算出し、算出した距離に対する所定のパーセンタイルの値を前記対象物候補と前記特定部との相対距離とする、
請求項4に記載の検査装置。 - 前記プロセッサは、前記撮影画像とともに前記特定部との相対関係が前記所定条件を満たす対象物候補が存在する位置を表示装置に表示させる、
請求項1に記載の検査装置。 - 前記プロセッサは、さらに、前記撮影画像から検出した全ての対象物候補を示す情報を表示装置に表示させる、
請求項6に記載の検査装置。 - 前記プロセッサは、さらに、前記撮影画像から検出した前記特定部を示す情報を表示装置に表示させる、
請求項6に記載の検査装置。 - 前記撮影画像は、X線を照射して前記検査対象を撮影したX線画像である、
請求項1乃至8の何れか1項に記載の検査装置。 - 前記撮影画像は、前記検査対象をX線CT装置を用いて撮影した3次元データであり、
前記プロセッサは、前記撮影画像としての3次元データにおいて前記対象物候補と前記特定部との相対関係を算出する、
請求項9に記載の検査装置。 - 撮影装置と検査装置とを有する検査システムにおいて、
前記撮影装置は、
検査対象に電磁波を照射して撮像する撮影画像を撮影する撮像部と、
前記撮影画像と前記撮影画像の各部における物性を示す物性情報とを含む撮影画像データを生成する処理部と、
前記撮影画像データを出力する出力部と、を有し、
前記検査装置は、
前記撮影装置から出力された撮影画像データを取得する画像取得部と、
前記撮影画像データに含まれる物性情報に基づいて前記検査対象にある特定対象物の候補である対象物候補を検出し、前記検査対象にある特定の部位又は物体である特定部を検知し、前記対象物候補と前記特定部との相対関係を算出し、算出した相対関係が所定条件を満たす対象物候補を報知する、プロセッサと、を有する、
検査システム。 - 検査対象における特定対象物を検査する検査方法であって、
検査対象に電磁波を照射して撮影する撮影画像と前記撮影画像の各部における物性を示す物性情報とを含む撮影画像データを取得し、
前記撮影画像データに含まれる物性情報に基づいて前記検査対象にある特定対象物の候補である対象物候補を検出し、
前記検査対象にある特定の部位又は物体である特定部を検知し、
前記対象物候補と前記特定部との相対関係を算出し、
前記算出した相対関係が所定条件を満たす対象物候補を報知する、
検査方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022131720A JP2024029451A (ja) | 2022-08-22 | 2022-08-22 | 検査装置、検査システムおよび検査方法 |
PCT/JP2023/029874 WO2024043190A1 (ja) | 2022-08-22 | 2023-08-18 | 検査装置、検査システムおよび検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022131720A JP2024029451A (ja) | 2022-08-22 | 2022-08-22 | 検査装置、検査システムおよび検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024029451A true JP2024029451A (ja) | 2024-03-06 |
Family
ID=90013309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022131720A Pending JP2024029451A (ja) | 2022-08-22 | 2022-08-22 | 検査装置、検査システムおよび検査方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024029451A (ja) |
WO (1) | WO2024043190A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6117147A (ja) * | 1984-07-04 | 1986-01-25 | Nec Corp | フオトマスクのパタ−ン検査方法 |
CN1327249C (zh) * | 2003-02-13 | 2007-07-18 | 皇家飞利浦电子股份有限公司 | 用于检查物体的方法和设备 |
JP2006084275A (ja) * | 2004-09-15 | 2006-03-30 | Hitachi Ltd | 爆発物等の探知方法および装置 |
JP2006214952A (ja) * | 2005-02-07 | 2006-08-17 | Hitachi Ltd | 爆発物探知装置および方法 |
CN101592579B (zh) * | 2009-07-03 | 2011-07-06 | 公安部第一研究所 | 利用多视角x射线对行李爆炸物进行自动探测的方法及装置 |
EP2676128B1 (en) * | 2011-02-18 | 2019-08-21 | Smiths Heimann GmbH | System and method for multi-scanner x-ray inspection |
KR102293548B1 (ko) * | 2021-03-11 | 2021-08-25 | 대한민국 | 인공지능을 이용한 위험물 검출 시스템 및 방법 |
-
2022
- 2022-08-22 JP JP2022131720A patent/JP2024029451A/ja active Pending
-
2023
- 2023-08-18 WO PCT/JP2023/029874 patent/WO2024043190A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024043190A1 (ja) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102062433B1 (ko) | 결함 정량화 방법, 결함 정량화 장치 및 결함 평가값 표시 장치 | |
CN102004845B (zh) | 用于数字x光影像软拷贝解读的方法 | |
JP5635903B2 (ja) | X線検査装置 | |
US11029255B2 (en) | Defect inspection device, defect inspection method, and program | |
JP5218723B2 (ja) | 蛍光探傷方法および蛍光探傷装置 | |
US20220244194A1 (en) | Automated inspection method for a manufactured article and system for performing same | |
US11386553B2 (en) | Medical image data | |
JP7360841B2 (ja) | X線画像処理システムおよびその方法、そのプログラム | |
JP6754155B1 (ja) | 教師データ生成装置、検査装置およびコンピュータプログラム | |
KR20160037023A (ko) | 컴퓨터 보조 진단 지원 장치 및 방법 | |
JPWO2016174926A1 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
KR20140142368A (ko) | 결함 판정 장치, 방사선 촬상 시스템, 및 결함 판정 방법 | |
US20220215521A1 (en) | Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor | |
JP2018004363A (ja) | X線自動判定装置、x線自動判定方法 | |
KR20210024767A (ko) | 투과영상 기반의 비파괴검사 기능을 제공하기 위한 방법 및 컴퓨터 판독 가능한 저장 매체 | |
JP2010151566A (ja) | 粒子画像解析方法及び装置 | |
Naddaf-Sh et al. | Real‐Time Explainable Multiclass Object Detection for Quality Assessment in 2‐Dimensional Radiography Images | |
WO2024043190A1 (ja) | 検査装置、検査システムおよび検査方法 | |
US11037352B2 (en) | Information processing apparatus, system of assessing structural object, method of assessing structural object and storage medium | |
JP2018112551A (ja) | 検査機器およびコンテナを検査する方法 | |
KR102325017B1 (ko) | 딥러닝 기반의 화물 식별 모델을 이용한 화물 식별 장치 및 방법 | |
JP2010236976A (ja) | ワイヤ検査装置、ワイヤ検査方法及びワイヤ検査用プログラム | |
KR20220111214A (ko) | 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램 | |
JP2024038865A (ja) | 検査装置、検査システム、情報管理システムおよび検査方法 | |
JP2015524061A (ja) | 放射線撮影装置で生じた映像で板型物体を分離する方法と装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230105 |