JP6863326B2 - 選別支援装置、選別支援システム、選別支援方法及びプログラム - Google Patents

選別支援装置、選別支援システム、選別支援方法及びプログラム Download PDF

Info

Publication number
JP6863326B2
JP6863326B2 JP2018066026A JP2018066026A JP6863326B2 JP 6863326 B2 JP6863326 B2 JP 6863326B2 JP 2018066026 A JP2018066026 A JP 2018066026A JP 2018066026 A JP2018066026 A JP 2018066026A JP 6863326 B2 JP6863326 B2 JP 6863326B2
Authority
JP
Japan
Prior art keywords
support device
sorting support
learning model
sorting
articles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018066026A
Other languages
English (en)
Other versions
JP2019174421A (ja
Inventor
雅裕 梶
雅裕 梶
和行 池村
和行 池村
真一 義経
真一 義経
花織 竹内
花織 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018066026A priority Critical patent/JP6863326B2/ja
Application filed by NEC Corp filed Critical NEC Corp
Priority to CN201980021375.7A priority patent/CN111902714A/zh
Priority to PCT/JP2019/013547 priority patent/WO2019189557A1/ja
Priority to US16/971,715 priority patent/US20200393390A1/en
Publication of JP2019174421A publication Critical patent/JP2019174421A/ja
Application granted granted Critical
Publication of JP6863326B2 publication Critical patent/JP6863326B2/ja
Priority to US18/380,879 priority patent/US20240044814A1/en
Priority to US18/380,886 priority patent/US20240044816A1/en
Priority to US18/380,884 priority patent/US20240044815A1/en
Priority to US18/381,380 priority patent/US20240044817A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/10—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the material being confined in a container, e.g. in a luggage X-ray scanners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/346—Sorting according to other particular properties according to radioactive properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G01N2223/04—Investigating materials by wave or particle radiation by transmission and measuring absorption
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/639—Specific applications or type of materials material in a container

Description

本発明は、選別支援装置、選別支援システム、選別支援方法及びプログラムに関する。
外国から日本国内に輸入される品目には、各種の禁止品目、規制品目がある。例えば、禁止品目には、銃器、爆発物、麻薬、指定薬物等がある。これらの検査は各地の税関や、税関の外郵出張所等が置かれている郵便局（以下、「外郵」という）で行われている。
また、国内の一般貨物についても、同様の規制がある。加えて、リチウム電池や火薬など、航空危険物として航空輸送が禁止されている品目もある。これらの検査は、税関や物流業者の拠点などで行われている。
これらの検査ではＸ線検査装置が利用されている。例えば、特許文献１に、着衣の個人（２２）が疑わしい隠蔽された物体（２５）を携帯しているかどうかを決定するためのシステム、方法、デバイスおよび装置が開示されている。同文献によると、２００ＭＨｚ〜１ＴＨｚ範囲の電磁放射による検査を通じて、反射された放射線の強度および反射する表面の深度差分に対応する画像データを受け取り処理して、疑わしい隠蔽された物体（２５）を検知することが記載されている。
特表２００７−５１７２７５号公報
税関では、Ｘ線検査のほかに、麻薬犬や、申告された内容物と重さや大きさが整合しているかどうかといった観点での検査などを併用して検査が行われている。しかしながら、近年、禁止品目、規制品目が巧妙に持ち込まれることがあり、こうしたケースでは、職員による検査に頼らざるを得ず、職員の業務負荷が高まっている。
本発明は、上記した物流過程における検査業務に要する負荷軽減に貢献できる選別支援装置、選別支援システム、選別支援方法及びプログラムを提供することを目的とする。
第１の視点によれば、検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、想定される使用条件と対応付けられ、少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、指定された使用条件に基づいて、前記学習モデルを選択し、該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定する判定部と、を備えた選別支援装置が提供される。
第２の視点によれば、上記した選別支援装置を多段に配置して、異なる学習モデルを用いて、段階的に、前記１以上の物品が含まれているか否かを判定する選別支援システムが提供される。
第３の視点によれば、検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、想定される使用条件と対応付けられ、少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、を備えた選別支援装置が、指定された使用条件に基づいて、前記学習モデルを選択するステップと、該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定するステップと、を含む選別支援方法が提供される。本方法は、入力部と、記憶部と、各処理ステップを実施するプロセッサを備える選別支援装置という、特定の機械に結びつけられている。
第４の視点によれば、検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、想定される使用条件と対応付けられ、少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、を備えた選別支援装置に搭載されたえコンピュータに、指定された使用条件に基づいて、前記学習モデルを選択する処理と、該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、上記した物流過程における検査業務に要する負荷軽減に貢献することが可能となる。
本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態の選別支援装置を含むシステムの全体構成を示す図である。 本発明の第１の実施形態の選別支援装置の構成を示す機能ブロック図である。 本発明の第１の実施形態の選別支援装置の保持する学習モデルのセットの一例を示す図である。 本発明の第１の実施形態の選別支援装置の動作を表したフローチャートである。 本発明の第２の実施形態の選別支援装置の保持する学習モデルのセットの一例を示す図である。 本発明の第３の実施形態の選別支援装置の構成を示す機能ブロック図である。 本発明の第３の実施形態の選別支援装置の保持する学習モデルのセットの一例を示す図である。 本発明の第３の実施形態の選別支援装置の動作を表したフローチャートである。 本発明の第４の実施形態の選別支援装置を含むシステムの全体構成を示す図である。 本発明の選別支援装置を構成するコンピュータの構成を示す図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。
本発明は、その一実施形態において、図１に示すように、入力部１１と、記憶部１２と、判定部１３と、を備えた選別支援装置１０にて実現できる。より具体的には、入力部１１は、検査対象物に電磁波を照射して透過画像を得る装置等から透過画像を入力する。
記憶部１２は、想定される使用条件と対応付けられ、少なくとも１以上の物品毎に最適化された複数の学習モデルＡ〜Ｃを記憶する。この学習モデルＡ〜Ｃは、ディープラーニングに代表されるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、それぞれの物品の透過画像を教師データとして用いて作成することができる。
判定部１３は、指定された使用条件に基づいて、前記学習モデルを選択し、該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定し、その結果を出力する。
本発明の選別支援装置は、貨物の内容物の検査が要請されるさまざまな拠点に設置される。そして、これらの拠点ごとに、本装置により検出が期待される品目は異なる。そこで、これらの検出が期待される品目を教師付き学習データとして用いて、上記学習モデルＡ〜Ｃを作成することで、各拠点に特化した選別支援を行うことが可能となる。
例えば、ある物流事業者では、リチウム電池を内蔵させたまま荷受される小型家電に悩んでいる場合、リチウム電池や小型家電を好適に検出できるように最適化された学習モデルを用意する。そして、当該物流事業者の航空便貨物検査場では、選別支援装置は、使用条件（リチウム電池検出）に対応するこの学習モデルを利用して前記検査対象物の判定を行う。
例えば、同様に、ある物流事業者では、昆虫や小動物などの生き物が荷受されることに悩んでいる場合、これらの生き物を好適に検出できるように最適化された学習モデルを用意する。そして、当該物流事業者の貨物検査場では、選別支援装置は、使用条件（生き物検出）に対応するこの学習モデルを利用して前記検査対象物の判定を行う。
なお、学習モデルの選択は、選別支援装置１０の利用者が明示的に使用条件を指定することでもよいし、あるいは、選別支援装置１０の利用者から入力される情報に基づいて、選別支援装置１０が使用条件を判断し、学習モデルを選択することでもよい。
以上のとおり、本発明によれば、選別支援装置１０の選別の精度を向上させ、また、誤判定を低減することが可能となる。その理由は、指定された使用条件に基づいて選別支援装置１０において使用する学習モデルの選択が行われる構成を採用したことにある。
［第１の実施形態］
続いて、透過画像を得るための電磁波としてＸ線を用い、外郵での郵便物等の検査作業を支援することを想定した本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の選別支援装置を含むシステムの全体構成を示す図である。図２を参照すると、荷物３００を移動させるベルトコンベア１９０を跨る形で選別支援装置１００が示されている。図２の例では、選別支援装置１００は、回転灯１７０と操作端末１８０とに接続されている。
選別支援装置１００は、検査対象物である荷物３００に、特定の品物が内包されていると判定した場合に、回転灯１７０を作動させるとともに、ベルトコンベア１９０を停止する動作を行う。もちろん、回転灯１７０の代わりに、スピーカーを接続して、ブザーや音声アナウンスを出力する形態も採用可能である。また、これらの代わりに、操作端末の表示画面上のコンソールやダッシュボード（情報表示プログラム）等に、警告表示を行う形態も採用可能である。検査員はこれらの出力を受けて、荷物３００の重量が内容物とつりあっているか否かを確認したり、開封するなどの詳細検査を行う。また、これらの過程における検査員の作業量を減らすために、特定の品物が内包されていると判定した荷物を自動で選り分ける装置などを併設してもよい。
操作端末１８０は、選別支援装置１００に後記する学習モデルを設定したり、選別支援装置１００の使用条件を設定するために用いるパーソナルコンピュータ（ＰＣ）等の装置である。また操作端末１８０を用いて、選別支援装置１００が、荷物に特定の品物が内包されていると判定した場合の動作を設定できるようにしてもよい。
図３は、本発明の第１の実施形態の選別支援装置の構成を示す機能ブロック図である。図３を参照すると、入力部１０１と、記憶部１０２と、判定部１０３と、を備えた選別支援装置１００が示されている。
入力部１０１は、選別支援装置の内部筐体内に配置されたＸ線カメラ１０４からＸ線画像が入力されると、判定部１０３に出力する。また、このときに、入力部１０１が判定部１０３の判定精度を高めるために、必要な前処理を行ってもよい。
記憶部１０２は、想定される使用条件と対応付けられ、少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する。この学習モデルは、ディープラーニングに代表されるＡＩを用いて、実際に得られた大量のＸ線画像を教師データとして用いて作成することができる。
図４は、記憶部１０２に記憶される拠点（選別地）別の学習モデルのセットの例である。図４の学習モデルＡは、例えば、船便の多い外郵（以下、この種の外郵を「外郵Ａ」と記す）での使用を想定して作成された学習モデルである。具体的には、学習モデルＡは、外郵Ａで実際に発見された各種の禁止品目、規制品目の画像データを用いてその特徴量を計算するなどして作成される。同様に、学習モデルＢは、例えば、航空便やＥＭＳ（Ｅｘｐｒｅｓｓ Ｍａｉｌ Ｓｅｒｖｉｃｅ）の多い外郵（以下、この種の外郵を「外郵Ｂ」と記す）での使用を想定して作成された学習モデルである。具体的には、学習モデルＢは、外郵Ｂで実際に発見された各種の禁止品目、規制品目の画像データを用いてその特徴量を計算するなどして作成される。外郵に入ってくる荷物（郵便物）は極めて多種多様であるが、このように学習モデルを切り分けることで、選別支援装置の要求性能を高めることなく、特定の品目の検出精度を上げ、かつ、誤判定率を下げることが可能となる。なお、各外郵での取り扱い品目の相違により、学習モデルＡ、Ｂ以外の学習モデルを用意してもよいことはもちろんである。
なお、図４の学習モデルＳＰは、重点検査品目を想定した学習モデルである。例えば、各税関において、期間を定めて特定の品目の検査を強化することが行われている。この学習モデルＳＰは、こうした重点検査品目として設定された品目の検査を強化するために作成された学習モデルである。このような学習モデルＳＰを単独又は、学習モデルＡ、Ｂと併用することで、重点検査品目の検査の強化に対応することができる。なお、図４に示した学習モデルのセットはあくまでその一例を示したものであり、学習モデルのセットを、拠点（選別地）ごとに変更してもよい。
判定部１０３は、操作端末１８０から入力された選別支援装置１００の使用条件に基づいて、学習モデルを選択し、荷物の検査を行う。例えば、判定部１０３は、前記学習モデルを用いて、Ｘ線画像を検査し、前記検査対象物に、指定された物品が含まれている確率（尤度）を計算する。そして、その確率（尤度）が、所定の閾値以上である場合、判定部１０３は、前記検査対象物に、前記物品が含まれていると判定し、回転灯１７０を作動させるとともに、ベルトコンベア１９０を停止する動作を行う。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の選別支援装置の動作を表したフローチャートである。図５を参照すると、まず、操作端末１８０にて学習モデルの選択が行われ、検査が開始される（ステップＳ００１）。これにより、ベルトコンベア１９０が作動し、Ｘ線カメラ１０４で撮影された画像が選別支援装置１００に送られる。
選別支援装置１００は、Ｘ線画像が入力されると（ステップＳ００２）、前記選択された学習モデルを用いて、Ｘ線画像に特定の物品が写りこんでいるか否かを確認する（ステップＳ００３）。ここで、Ｘ線画像に特定の物品が写りこんでいると判定した場合（ステップＳ００４のＹＥＳ）、選別支援装置１００は、報知動作として、回転灯１７０を作動させるとともに、ベルトコンベア１９０を停止する動作を行う（ステップＳ００５）。
前記報知動作を受けた検査員は、Ｘ線画像に特定の物品が写りこんでいると判定された荷物３００を詳細に確認し、必要に応じて、開封検査等を行う。
一方、Ｘ線画像に特定の物品が写りこんでいないと判定した場合（ステップＳ００４）、選別支援装置１００は、検査が終了するまで、Ｘ線画像の入力、判定を継続する（ステップＳ００２〜Ｓ００６を継続）。
なお、検査の終了は、例えば、操作端末１８０から終了操作の入力や、所定の時刻の到来などで判定することができる。
以上、説明したとおり、本実施形態によれば、選別支援装置の判定精度を飛躍的に向上させることができる。その理由は、複数の学習モデルを用意し、使用条件に応じて選択して使用する構成を採用したことによる。また、上記判定精度の向上の裏返しとして、本実施形態によれば、誤判定を低減させることが可能となる。
［第２の実施形態］
続いて、記憶部１０２に記憶する学習モデルのセットに変更を加えた第２の実施形態について図面を参照して詳細に説明する。第２の実施形態は、上記第１の実施形態と同様の構成にて実現可能であるので、以下、相違点を中心に説明する。
図６は、第２の実施形態の選別支援装置１００の記憶部１０２に記憶される学習モデルのセットの例である。図４に示した学習モデルのセットとの相違点は、同一の外郵について、季節や時期を考慮した学習モデルが複数用意されている点である。
図６の学習モデルＡ１は、船便の多い外郵Ａで、クリスマスシーズンでの使用を想定して作成された学習モデルである。具体的には、学習モデルＡ１は、外郵Ａで実際に、クリスマスシーズンの取り扱い品目の傾向を考慮して準備した禁止品目、規制品目の画像データを用いて作成される。同様に、学習モデルＡ２は、外郵Ａで実際に、クリスマスシーズン以外の取り扱い品目の傾向を考慮して準備した禁止品目、規制品目の画像データを用いて作成される。このように、クリスマスシーズンとそれ以外のシーズンで学習モデルを使い分けることで、クリスマスシーズンにおいては、急増するグリーティングカードやプレゼントを考慮した選別を行うことが可能となる。また、その他のシーズンにおいては、グリーティングカードやプレゼントの存在を考慮しない学習モデルを用いることで、選別の精度を向上させることが可能となる。
図６の学習モデルＢ１は、外郵Ｂで、１−３月での使用を想定して作成された学習モデルである。同様に、学習モデルＢ２は、外郵Ｂで、４−１２月での使用を想定して作成された学習モデルである。例えば、アジア圏などでは、旧正月に伴ない取り扱い品目に変化が生じるので、このような学習モデルの使い分けが有効となる。
以上のように、本実施形態によれば、季節や時期による荷物の変化を考慮した選別支援を行うことが可能となる。なお、上記した説明では、外郵Ａ、外郵Ｂといった外郵単位で季節や時期別に学習モデルを使い分けるものとして説明したが、外郵の違いを考慮することなく、季節別、時期別の学習モデルを用意して、複数の外郵で学習モデルを共用する構成も採用可能である。
［第３の実施形態］
続いて、差出地（発地）を考慮して学習モデルを使い分けるようにした第３の実施形態について図面を参照して詳細に説明する。第３の実施形態も、基本的には、上記第１の実施形態と同様の構成にて実現可能であるので、以下、相違点を中心に説明する。
図７は、本発明の第３の実施形態の選別支援装置１００ａの構成を示す機能ブロック図である。図３に示した第１の実施形態の選別支援装置１００との相違点は、差出地認識部１０５が追加され、判定部１０３が差出地認識部１０５にて認識された差出地を用いて学習モデルの選択を行う点である。
差出地認識部１０５は、荷物３００に取り付けられた荷札、宛名ラベル、航空会社のシール、バーコードなどから、差出地を認識する。なお、差出地を認識する方法として、文字認識技術を用いてもよい。また、前記荷札等から、直接差出地を認識する方法のほか、荷物３００の追跡情報、問い合わせ番号などから荷物３００を特定し、外部のサーバ等に差出地を問い合わせる構成も採用可能である。
図８は、第３の実施形態の選別支援装置１００ａの記憶部１０２に記憶される学習モデルのセットの例である。図４に示した学習モデルのセットとの相違点は、同一の外郵について、差出地別に学習モデルが複数用意されている点である。
図８の学習モデルＡＡは、船便の多い外郵Ａで、差出地をＡ国とする荷物を対象として作成された学習モデルである。具体的には、学習モデルＡＡは、外郵Ａで実際に、Ａ国から発送された荷物の中から発見された禁止品目、規制品目の画像データを用いて作成される。同様に、学習モデルＡＢは、外郵Ａで実際に、Ｂ国から発送された荷物の中から発見された禁止品目、規制品目の画像データを用いて作成される。同様に、学習モデルＡＸは、外郵Ａで実際に、Ａ国、Ｂ国以外から発送された荷物の中から発見された禁止品目、規制品目の画像データを用いて作成される。このように、差出地別に学習モデルを使い分けることで、各国から発送される荷物の傾向を考慮した選別を行うことが可能となる。
そして、本実施形態の判定部１０３は、操作端末１８０から入力された選別支援装置１００ａの使用条件に加えて、差出地認識部１０５にて得られた差出地情報に基づいて、学習モデルを選択し、荷物の検査を行う。
図９は、本実施形態の選別支援装置１００ａの動作を表したフローチャートである。第１の実施形態の動作を示した図５に対して、ステップＳ０１１と、Ｓ０１２が追加されている。即ち、選別支援装置１００ａは、Ｘ線画像の入力後、差出地の自動認識を行う（ステップＳ０１１）。なお、図９の例では、Ｘ線画像の入力後に、差出地の自動認識を行うものとしているが、差出地の自動認識を先に行ってもよい。
そして、選別支援装置１００ａは、前記認識した差出地を考慮して学習モデルの再選択を行う（ステップＳ０１２）。その後の動作は第１の実施形態と同様であるので、説明を省略する。
以上のように、本実施形態によれば、差出地の違いによる荷物の変化を考慮した選別支援を行うことが可能となる。なお、上記した説明では、外郵Ａ、外郵Ｂといった外郵単位で差出地別に学習モデルを使い分けるものとして説明したが、外郵の違いを考慮することなく、差出地別の学習モデルを用意して、複数の外郵で学習モデルを共用する構成も採用可能である。
［第４の実施形態］
続いて、上記第１〜第３の実施形態の選別支援装置を組み合わせて、段階的に荷物の選別を行うようにした第４の実施形態について説明する。図１０は、本発明の第４の実施形態の選別支援装置を含むシステムの全体構成を示す図である。例えば、第１段の選別支援装置１００−１では、外郵Ｂ向けの学習モデルＢを用いて荷物の検査を行う。そして、第２段の選別支援装置１００−２では、重点検査品目の検査に特化した学習モデルＳＰを用いて荷物の検査を行う。
例えば、図１０に示すように、選別支援装置１００−１は、学習モデルＢを用いて、雑多な荷物（Ｐ１〜Ｐ３）を検査して、紙以外の品目が入っている可能性のある荷物（図１０のＰ３）を選り分ける。そして、選別支援装置１００−２は、学習モデルＳＰを用いて、紙以外の品目が入っている可能性のある荷物（図１０のＰ３）だけを検査して、重点検査品目が入っているか否かという観点で判定を行うことになる。
以上のような多段構成とした第４の実施形態によれば、より難しい検査、判定を行う選別支援装置に送られる荷物の数を絞り、よりセンシティブな検査を行う学習モデルを用いる選別支援装置に送ることができる。また、このセンシティブな検査は、同一の学習モデルを使う場合であっても、その判定閾値を変えることで実現することができる。例えば、学習モデルを用いた計算において被疑品目が入っていると判定した確率が６０％以上である場合に、特定品目ありと判定する通常時の動作に代えて、同確率が５０％以上である場合に、特定品目ありと判定するように閾値を変更すればよい。
また、図１０の例では、選別支援装置１００−１と、選別支援装置１００−２による２段構成を想定したが、３台以上の選別支援装置を用いて、３段以上の多段階で検査を行うようにしてもよい。
また、別の視点において、高リスクの品目を先に検出する構成を採用することもできる。例えば、薬物の可能性の高い「粉末」、「錠剤」類の検出に最適化された学習モデルを用いて検査を行う選別支援装置を複数段の前段に配置してもよい。同様の観点で、目視検査が要請される「刃物」や「ブランド製品」等の品目の検出に最適化された学習モデルを用いて検査を行う選別支援装置を複数段のいずれかの段に配置してもよい。さらに、第１段の選別支援装置における除外対象に紙以外の低リスクの品目を加えてもよい。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。
例えば、上記した各実施形態においては、使用条件に応じて、複数の学習モデルの使い分けを行うことを中心に説明したが、使用条件に応じて上述した判定部１０３における判定閾値を変えることも可能である。例えば、外郵Ａでの使用を想定した学習モデルＡを、外郵Ａで用いる場合、１以上の物品が含まれているか否かを判定するための閾値としての判定閾値を５０％とするが、その他の外郵で学習モデルＡを用いる場合、判定閾値を別の値にすることも可能である。同様に、季節や差出地に応じて学習モデルだけでなく判定閾値を変更して、全体の判定精度を高めることも可能である。
また、上記した各実施形態では、選別支援装置１００、１００ａ、１００−１、１００−２が、１つの学習モデルを選択するものとして説明したが、これらの選別支援装置が複数の学習モデルを選択して、判定を行うこととしてもよい。例えば、禁止品目ごとに学習モデルを作成し、選別支援装置１００がこれらの禁止品目の検査を順番に行うことで、制度を落とさずに検査を実施することが可能となる。
また、上記した各実施形態では、操作端末１８０より選別支援装置１００の使用条件を設定するものとして説明したが、選別支援装置１００が使用条件を特定する形態はこれに限られない。例えば、上記操作端末１８０による設定に代えて、選別支援装置１００に対する使用条件の設定情報を含んだメッセージの送信や電子メールの送信等により、使用条件を設定する形態も採用可能である。また、例えば、選別支援装置１００自身が、自身の設定されている情報やネットワークへの問い合わせを行って、これら情報により間接的に指定された使用条件を判定して、学習モデルを選択する構成も採用可能である。
また、上記した各実施形態では、外郵での荷物の選別に本発明の選別支援装置を用いる例を挙げて説明したが、本発明の選別支援装置の用途は、これの例に限られない。必要な学習モデルを用意することで、例えば、国内の物流業者や航空会社の集荷拠点での荷物の検査等にも適用することが可能である。
例えば、航空危険物に指定されているリチウム電池は、小型家電製品などと一緒に同封されている場合があるが、本発明によれば、店頭での荷受時の確認や空港でのＸ線検査において、複数の学習モデルの中から、リチウム電池の検出に最適化された学習モデルを用いることで、効率よく検出することが可能となる。
また、上記した第１〜第４の実施形態に示した手順は、選別支援装置として機能するコンピュータ（図１１の９０００）に、選別支援装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１１のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１１のＣＰＵ９０１０にて、学習モデルを用いた判定プログラムや学習モデルの選択プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。
即ち、上記した第１〜第４の実施形態に示した選別支援装置の各部（処理手段、機能）は、選別支援装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による選別支援装置参照）
［第２の形態］
上記した選別支援装置において、前記学習モデルは、前記選別支援装置が配置されている拠点の取り扱い貨物の傾向に応じて作成されていることが好ましい。
［第３の形態］
上記した選別支援装置において、前記学習モデルは、選別を行う時期の取り扱い貨物の傾向に応じて作成されていることが好ましい。
［第４の形態］
上記した選別支援装置において、前記学習モデルは、差出地別の取り扱い貨物の傾向に応じて作成されていることが好ましい。
［第５の形態］
上記した選別支援装置において、前記判定部における前記１以上の物品が含まれているか否かを判定するための閾値を変更可能であることが好ましい。
［第６の形態］
（上記第２の視点による選別支援システム参照）
［第７の形態］
（上記第３の視点による選別支援方法参照）
［第８の形態］
（上記第４の視点によるプログラム参照）
なお、上記第６〜第８の形態は、第１の形態と同様に、第２〜第５の形態に展開することが可能である。
なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
１０ 選別支援装置
１１、１０１ 入力部
１２、１０２ 記憶部
１３、１０３ 判定部
１００、１００ａ、１００−１、１００−２ 選別支援装置
１０４ Ｘ線カメラ
１０５ 差出地認識部
１７０ 回転灯
１８０ 操作端末
１９０ ベルトコンベア
３００、Ｐ１〜Ｐ３ 荷物
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (8)

  1. 検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、
    選別支援装置が配置されている拠点の取り扱い貨物の傾向に応じて作成された使用条件と対応付けられ、前記取り扱い貨物に含まれる少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、
    指定された使用条件に基づいて、前記学習モデルを選択し、該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定する判定部と、
    を備え、
    前記取り扱い貨物は、複数の品目が入っている可能性のある荷物を含む、
    選別支援装置。
  2. 前記学習モデルは、選別を行う時期の取り扱い貨物の傾向に応じて作成されている請求項１の選別支援装置。
  3. 前記学習モデルは、差出地別の取り扱い貨物の傾向に応じて作成されている請求項１又は２の選別支援装置。
  4. 前記判定部における前記１以上の物品が含まれているか否かを判定するための閾値を変更可能である請求項１から３いずれか一の選別支援装置。
  5. 請求項１から４いずれか一の選別支援装置を多段に配置して、異なる学習モデルを用いて、段階的に、前記１以上の物品が含まれているか否かを判定する選別支援システム。
  6. 第１段の選別支援装置は、紙と、紙以外のものを選別するために最適化された学習モデルを用い、
    第２段以降の選別支援装置において、前記紙以外のものをさらに選別するために最適化された学習モデルを用いるよう構成されている請求項５の選別支援システム。
  7. 検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、
    選別支援装置が配置されている拠点の取り扱い貨物の傾向に応じて作成された使用条件と対応付けられ、前記取り扱い貨物に含まれる少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、を備えた選別支援装置が、
    指定された使用条件に基づいて、前記学習モデルを選択するステップと、
    該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定するステップと、
    を含み、
    前記取り扱い貨物は、複数の品目が入っている可能性のある荷物を含む、
    選別支援方法。
  8. 検査対象物に電磁波を照射して得られた透過画像を入力する入力部と、
    選別支援装置が配置されている拠点の取り扱い貨物の傾向に応じて作成された使用条件と対応付けられ、前記取り扱い貨物に含まれる少なくとも１以上の物品毎に最適化された複数の学習モデルを記憶する記憶部と、を備えた選別支援装置に搭載されたコンピュータに、
    指定された使用条件に基づいて、前記学習モデルを選択する処理と、
    該学習モデルを用いて、前記検査対象物に、前記１以上の物品が含まれているか否かを判定する処理と、
    を実行させるプログラムであって、
    前記取り扱い貨物は、複数の品目が入っている可能性のある荷物を含む、
    プログラム。
JP2018066026A 2018-03-29 2018-03-29 選別支援装置、選別支援システム、選別支援方法及びプログラム Active JP6863326B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2018066026A JP6863326B2 (ja) 2018-03-29 2018-03-29 選別支援装置、選別支援システム、選別支援方法及びプログラム
CN201980021375.7A CN111902714A (zh) 2018-03-29 2019-03-28 分拣支持装置、分拣支持系统、分拣支持方法及程序
PCT/JP2019/013547 WO2019189557A1 (ja) 2018-03-29 2019-03-28 選別支援装置、選別支援システム、選別支援方法及びプログラム
US16/971,715 US20200393390A1 (en) 2018-03-29 2019-03-28 Sorting support apparatus, sorting support system, sorting support method, and program
US18/380,879 US20240044814A1 (en) 2018-03-29 2023-10-17 Sorting support apparatus, sorting support system, sorting support method, and program
US18/380,884 US20240044815A1 (en) 2018-03-29 2023-10-17 Sorting support apparatus, sorting support system, sorting support method, and program
US18/380,886 US20240044816A1 (en) 2018-03-29 2023-10-17 Sorting support apparatus, sorting support system, sorting support method, and program
US18/381,380 US20240044817A1 (en) 2018-03-29 2023-10-18 Sorting support apparatus, sorting support system, sorting support method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066026A JP6863326B2 (ja) 2018-03-29 2018-03-29 選別支援装置、選別支援システム、選別支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019174421A JP2019174421A (ja) 2019-10-10
JP6863326B2 true JP6863326B2 (ja) 2021-04-21

Family

ID=68060107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066026A Active JP6863326B2 (ja) 2018-03-29 2018-03-29 選別支援装置、選別支援システム、選別支援方法及びプログラム

Country Status (4)

Country Link
US (5) US20200393390A1 (ja)
JP (1) JP6863326B2 (ja)
CN (1) CN111902714A (ja)
WO (1) WO2019189557A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7368834B2 (ja) * 2019-11-08 2023-10-25 株式会社イシダ 物品処理装置、物品処理システム及び物品処理方法
JP7323177B2 (ja) * 2019-12-17 2023-08-08 株式会社 システムスクエア 検査システム、検査装置、学習装置及びプログラム
US20230142100A1 (en) * 2020-02-20 2023-05-11 Nec Corporation Inspection assistance apparatus, inspection assistance method, and computer readable recording medium
JP7016179B2 (ja) * 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム
WO2021220987A1 (ja) * 2020-04-30 2021-11-04 Ｊｆｅスチール株式会社 スクラップ判別システム、及びスクラップ判別方法
JP7330453B1 (ja) * 2022-11-11 2023-08-22 大谷清運株式会社 Ｘ線検査システム、破袋システムおよび破砕システム
JP7389528B1 (ja) * 2023-08-10 2023-11-30 株式会社日本選別化工 小型家電ごみの処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2362711B (en) * 2000-05-25 2004-09-08 Spectral Fusion Technologies L Analysis of samples
US7405692B2 (en) * 2001-03-16 2008-07-29 Battelle Memorial Institute Detecting concealed objects at a checkpoint
US20090226032A1 (en) * 2007-09-28 2009-09-10 Matthew Allen Merzbacher Systems and methods for reducing false alarms in detection systems
JP5423631B2 (ja) * 2010-09-24 2014-02-19 株式会社デンソー 画像認識装置
JP5635903B2 (ja) * 2010-12-27 2014-12-03 アンリツ産機システム株式会社 Ｘ線検査装置
CN104636707B (zh) * 2013-11-07 2018-03-23 同方威视技术股份有限公司 自动检测香烟的方法
CN105808555B (zh) * 2014-12-30 2019-07-26 清华大学 检查货物的方法和系统
CN105809091B (zh) * 2014-12-30 2020-10-16 同方威视技术股份有限公司 检查方法和系统
JP6746142B2 (ja) * 2015-07-17 2020-08-26 株式会社イシダ 光検査システム及び画像処理アルゴリズム設定方法
JP6459847B2 (ja) * 2015-08-20 2019-01-30 トヨタ自動車株式会社 充電制御装置
CN106706677B (zh) * 2015-11-18 2019-09-03 同方威视技术股份有限公司 检查货物的方法和系统
CN206192923U (zh) * 2016-10-27 2017-05-24 中云智慧（北京）科技有限公司 一种基于云计算的x射线违禁品检测系统
WO2018200866A1 (en) * 2017-04-26 2018-11-01 UHV Technologies, Inc. Material sorting using a vision system

Also Published As

Publication number Publication date
US20240044814A1 (en) 2024-02-08
US20240044816A1 (en) 2024-02-08
CN111902714A (zh) 2020-11-06
US20240044815A1 (en) 2024-02-08
US20200393390A1 (en) 2020-12-17
WO2019189557A1 (ja) 2019-10-03
US20240044817A1 (en) 2024-02-08
JP2019174421A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6863326B2 (ja) 選別支援装置、選別支援システム、選別支援方法及びプログラム
US10528638B1 (en) Agent identification and disambiguation
US10157379B2 (en) Self checkout with security checks based on categorized items
US20180336672A1 (en) Systems and methods for image processing
US20180268348A1 (en) Automated Receipt of Inbound Parcels and Items
US9390748B1 (en) Item processing verification using imaging
CN103052342A (zh) 收银台
WO2018156884A1 (en) Optical vibrometric testing of container for items
CN108573423A (zh) 交易订单处理方法、装置及系统
CN110239794B (zh) 包装方法、装置、系统及存储介质
CN107251076B (zh) 包裹托运筛查和验证
CN110678886A (zh) 一种电子商务物流管理系统
US11884442B2 (en) System and method for building machine learning or deep learning data sets for recognizing labels on items
US20120315955A1 (en) Method and apparatus for tracking package deliveries
CN109225905A (zh) 一种物流分拣系统
CA3160538A1 (en) Improved asset loading system
US20220134543A1 (en) Systems and methods for sku induction, decanting and automated-eligibility estimation
CN111842187A (zh) 一种快递安检机、安检方法、装置及其系统
CN111815240A (zh) 一种具备分类托运式物流系统
US10304175B1 (en) Optimizing material handling tasks
CN116563628A (zh) 安检判图识别方法、装置、设备及存储介质
CN111383398A (zh) 智能快递柜、收件方法及派件方法
JP6699890B2 (ja) 荷物検査システム
CN113283832A (zh) 无人机揽件、派件方法、装置、设备及存储介质
CN114308691A (zh) 一种基于自动识别的包裹分拣系统及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6863326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150