JP6569532B2 - 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム - Google Patents

管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム Download PDF

Info

Publication number
JP6569532B2
JP6569532B2 JP2015544813A JP2015544813A JP6569532B2 JP 6569532 B2 JP6569532 B2 JP 6569532B2 JP 2015544813 A JP2015544813 A JP 2015544813A JP 2015544813 A JP2015544813 A JP 2015544813A JP 6569532 B2 JP6569532 B2 JP 6569532B2
Authority
JP
Japan
Prior art keywords
image
identification
unit
management
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015544813A
Other languages
English (en)
Other versions
JPWO2015064107A1 (ja
Inventor
達勇 秋山
達勇 秋山
康義 松本
康義 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015064107A1 publication Critical patent/JPWO2015064107A1/ja
Application granted granted Critical
Publication of JP6569532B2 publication Critical patent/JP6569532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07749Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card
    • G06K19/07758Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、リストを用いて管理対象物を管理する管理システム、それに用いられるリスト作成装置、リスト作成方法、管理方法、管理用プログラムを記録したコンピュータ読み取り可能な記録媒体、データ構造および印刷ラベルに関する。
多くの物流システムでは、運搬対象である荷物リストを用いて、各荷物が目的の場所に正しく運搬されたか否かを確認している。当該荷物リストには、各荷物の識別子と関連付けられて運搬状況等が登録されている。
物流システムに限らず、商品の在庫管理やユーザの入退室管理など、リストを用いて管理対象物(人を含む)の状態等を管理するシステムは数多く存在する。しかし、電子的に作成されるリストを用いて管理対象物を管理する管理システムであっても、管理対象物の数が多くなると、リストへのデータ登録やリストとのデータ照合のための識別子の入力を手入力で行うのは煩雑であり、ミスも生じやすい。このため、符号化された情報を読み取るバーコードリーダやIC(Integrated Circuit)タグリーダ等の専用の読取機器を用いて管理対象物に付された印刷ラベルやICタグ等から識別子を読み取り、コンピュータに入力することが行われている。
物やラベルを識別する技術に関連して、特許文献1には、値引きラベル等のサービス表示の識別処理の負荷を軽減するためのコード読み取り装置の例が記載されている。特許文献1に記載されているコード読み取り装置は、サービス表示をパターン認識するためのパターン画像とサービス内容とを関連付けて記憶する記憶部と、撮像手段とを備えている。そして、撮像手段が撮影した画像から記憶部に記憶されたパターン画像に適合する画像をパターン識別により検出し、対応するサービス内容を出力する。
また、特許文献2には、パターン認識を利用してラベル検査を行うラベル検査装置の例が記載されている。特許文献2に記載されたラベル検査装置では、被検査対象のラベルの四隅の特定文字とその位置座標を含むラベルマスターデータを予め複数の文字フォントで作成し、格納している。そして、特許文献2に記載されたラベル検査装置は、搬送手段上の生産物のラベルを撮影して得られるラベル被検査データから被検査対象のラベルに表示される文字フォントを抽出する。そして、特許文献2に記載されたラベル検査装置は、抽出した文字フォントと同一の文字フォントを使用するラベルマスターデータとラベル被検査データの特定文字と座標を比較、検査する。
また、特許文献3には、ユーザの撮影画像を画像検索のリファレンス画像として登録可能なサーバシステムが記載されている。
また、画像の加工技術に関連して、特許文献4には、多層画像(例えば、原画を文字線画部分と文字線画部分以外の絵柄部分とに分離した画像)の傾き角度を検出し、検出した傾き角度に応じて回転処理を行う画像処理装置の例が記載されている。
また、特許文献5には、画像検索装置が記載されている。特許文献5に記載された画像検索装置は、類似画像の検索に際して、検索画面の一部を基準画像領域として、基準画像を指定するために画像記憶部に格納されている画像を表示させる。そして、特許文献5に記載された画像検索装置は、隣接する検索条件領域に、複数の検索条件中から所望の検索条件を選択するためにアイコン化された条件アイコンを表示させ、さらには、隣接する類似画像領域に検索結果として得られた類似画像を表示させる。
特開2013−050787号公報 特開2012−174101号公報 特開2010−218372号公報 特開2007−323381号公報 特開2010−072749号公報
バーコードリーダやICタグリーダ等の専用の読取機器を用いる場合、各管理対象物の識別子をバーコードに変換してラベルに印刷したり、ICタグに書き込む作業が必要となるため、手間がかかるという問題がある。また、専用の読取機器を用意しなければならないため、コストがかかるという問題がある。また、識別子のデータ形式を変更しようとするとソフトウェアの変更が伴うなど、識別子の仕様変更が容易でないという問題がある。
このため、専用の読取機器の導入は困難である場合がある。例えば、管理対象物の数がそれほど多くないシステムや、オフィスの引っ越し業務のように管理対象物の識別子のデータ形式が顧客によって異なるシステムや、手書き文字など自由な書式で管理対象物を認識したいシステムの場合が挙げられる。
なお、特許文献1には、画像のパターン認識技術を用いてラベルの種類を識別する方法が記載されている。しかしながら、特許文献1は、予め限定された複数種類のラベルの種類を識別することを前提としており、ラベルそのもの(実際に商品等に貼られた個々のラベル)を識別しようというものではない。特許文献1には、予め限定されない個々のラベルを識別可能にするための工夫や、そのための作業量の低減等について、何ら記載されていない。
例えば、識別したいラベルの数が100を超える場合や、手書きラベルを識別したい場合に、各ラベルについて予め十分なパターン画像を登録しておくことは困難である。また、仮に各ラベルについてあらゆる方向から撮影した画像をパターン画像として登録できたとしても、リスト照合用に得たラベル画像の向きがばらばらであれば、誤ったラベルを認識する可能性がある。その一方で、リスト照合用に正しい向きのラベル画像を得ようと、毎回ユーザに正しい向きでラベルを撮影させるのは煩雑である。また、軽い商品であればユーザが向きを調整できるが、管理対象物によってはユーザが向きを調整できない場合もある。なお、ユーザに手間をかけさせないよう、リスト照合時にコンピュータがラベル画像を数度ずつ回転させて照合を行うことも考えられるが、照合の度に何度も回転処理を行うのは負荷がかかる。このように、特許文献1に記載された方法を用いてラベルそのものを識別しようとすると、十分な識別性能が得られないか、十分な識別性能を得るためにリスト登録時またはリスト照合時にユーザに手間がかかったり、処理負荷がかかる。
特許文献2に記載されている方法も、予めラベルマスターデータとして、検査対象とするラベルの四隅の特定文字と文字座標と複数の文字フォントとが登録されていることを前提としている。このため、識別したいラベルの数が多い場合や、書式が決まっていない場合や、予めラベルの情報が登録できない場合には、適用が困難であるか、リスト登録に手間がかかる。
このように、特許文献1,2には、識別したいラベルの数が多い場合やラベルの書式が変わりうる場合であっても、十分な識別性能を得つつ、リスト作成時とリスト照合時の両方においてかかる手間や処理負荷を低減させようといったことは考慮されていない。
なお、特許文献3には、ユーザの撮影画像を画像検索のリファレンス画像として登録する技術が記載されているが、その画像だけで被写体とされた物を識別可能にしようというものではない。
また、特許文献4に記載されている技術は、単に画像の傾き角度を検出して、傾きを補正する技術であって、その技術の利用先については何ら記載されていない。
なお、物流システムに管理システムを適用することを考えると、仮にラベルが印字切れの状態であっても、そのラベルが付された物を識別できることが好ましい。なお、画像認識技術を利用してリストの照合を行う方法であれば、被写体はラベルに限られない。
そこで、本発明は、上述した点に鑑み、専用の読取機器を必要とせずに、リスト作成時とリスト照合時の両方においてかかる手間および処理負荷を抑えることができ、かつ十分な識別性能が得られる管理システム、リスト作成装置、リスト作成方法、管理方法、管理用プログラムを記録したコンピュータ読み取り可能な記録媒体、データ構造および印刷ラベルを提供することを主たる目的とする。
本発明の一態様による管理システムは、管理対象物を識別するための識別画像であって、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が関連付けられた識別画像が登録される管理対象物リストを記憶するリスト記憶手段と、入力画像から、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する識別画像生成手段と、管理対象物の識別部を撮影した第1の画像が入力された場合に、第1の画像から生成された識別画像を、指定された識別単位の識別画像として管理対象物リストに登録する識別画像登録手段と、管理対象物の識別部を撮影した第2の画像が入力された場合に、第2の画像から生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合する識別画像照合手段とを備えたことを特徴とする。
また、本発明の一態様によるリスト作成装置は、管理対象物を識別するための識別画像であって、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が関連付けられた識別画像が登録される管理対象物リストを記憶するリスト記憶手段と、入力画像から、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する識別画像生成手段と、管理対象物の識別部を撮影した第1の画像が入力された場合に、第1の画像から生成された識別画像を、指定された識別単位の識別画像として管理対象物リストに登録する識別画像登録手段とを備えたことを特徴とする。
また、本発明の一態様によるリスト作成方法は、情報処理装置が、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、第1の画像から管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、情報処理装置が、第1の画像から生成された識別画像を、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子と関連付けて、管理対象物を識別するための識別画像が登録される管理対象物リストに登録することを特徴とする。
また、本発明の一態様による管理方法は、情報処理装置が、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、第1の画像から管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、情報処理装置が、第1の画像から生成された識別画像を、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子と関連付けて、管理対象物を識別するための識別画像が登録される管理対象物リストに登録し、情報処理装置が、管理対象物の識別部を撮影した第2の画像が入力された場合に、第2の画像から、管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、情報処理装置が、第2の画像から生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合して、管理対象物を識別することを特徴とする。
また、本発明の一態様による管理用プログラムを記録したコンピュータ読み取り可能な記録媒体は、管理対象物を識別するための識別画像であって、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が関連付けられた識別画像が登録される管理対象物リストを記憶するリスト記憶手段またはリスト記憶手段にアクセス可能なアクセス手段を備えたコンピュータに、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、第1の画像から管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する処理、および第1の画像から生成された識別画像を、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子と関連付けて、管理対象物リストに登録する処理を実行させることを特徴とする。
また、本発明の一態様によるデータ構造は、管理対象物を管理するためのリストに適用されるデータ構造であって、管理対象物を識別する最小の単位である識別単位の識別子と、その識別単位に属する管理対象物所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部が、当該識別画像の領域内において所定の向きおよび大きさで表された識別画像と、その識別単位に属する管理対象物に関する情報が表された付随画像とを含むことを特徴とする。
また、本発明の一態様による印刷ラベルは、リストを用いて管理対象物を管理する管理システムにおいて管理対象物を識別するために用いられる印刷ラベルであって、向きを特定可能な特徴を有する第1領域と、ユーザが文字を記載する目安となる領域である記載フィールドを含み、かつ記載フィールドおよび記載フィールド以外の当該領域の色と文字色との差が所定量以上であるか、記載フィールドに、記載フィールドおよび記載フィールド以外の当該領域の色と文字色との差が所定量以上の色の線による枠が設けられているか、または、記載フィールドの境界に区切り記号が設けられている第2領域とを含むことを特徴とする。
本発明によれば、専用の読取機器を必要とせずに、十分な識別性能を得つつ、リスト作成時とリスト照合時の両方においてかかる手間および処理負荷を抑えることができる管理システム、リスト作成装置、リスト作成方法、管理方法、管理用プログラムを記録したコンピュータ読み取り可能な記録媒体、データ構造および印刷ラベルを提供することができる。
本発明の第1の実施形態の管理システムの構成例を示すブロック図である。 識別画像生成部14の構成例を示すブロック図である。 第1の実施形態の管理システムのリスト作成動作の一例を示すフローチャートである。 第1の実施形態の管理システムのリスト照合動作の一例を示すフローチャートである。 第1の実施形態の管理システムの他の構成例を示すブロック図である。 本発明の第2の実施形態の管理システムの構成例を示すブロック図である。 第2の実施形態の管理システムのリスト作成動作の一例を示すフローチャートである。 第2の実施形態の管理システムのリスト照合動作の一例を示すフローチャートである。 第2の実施形態の管理システムの他の構成例を示すブロック図である。 本発明の第3の実施形態におけるリスト作成処理およびリスト照合処理の概要を示す説明図である。 第3の実施形態の管理システムの構成例を示すブロック図である。 ラベル画像の他の例を示す説明図である。 登録画面の例を示す説明図である。 修正画面の例を示す説明図である。 検索・登録画面の例を示す説明図である。 リスト表示画面の一例を示す説明図である。 印刷ラベルのデザイン例を示す説明図である。 印刷ラベルのデザイン例を示す説明図である。 印刷ラベルのユーザ記載領域のデザイン例を示す説明図である。 印刷ラベルのユーザ記載領域のデザイン例を示す説明図である。 印刷ラベルのユーザ記載領域のデザイン例を示す説明図である。 印刷ラベルのユーザ記載領域のデザイン例を示す説明図である。 ユーザ記載領域203に対して求めたヒストグラムの例を示す説明図である。 本発明の各実施形態に共通する管理システムの最小の構成例を示すブロック図である。 本発明の各実施形態における管理システムを実現する情報処理装置の構成の一例を示す図である。
(第1の実施形態)
以下、本発明の実施形態を図面を参照して説明する。まず、図1を参照して、本発明の第1の実施形態の管理システムを説明する。図1は、第1の実施形態の管理システムの構成例を示すブロック図である。図1に示す管理システムは、リスト記憶部11と、登録用画像入力部12と、検索用画像入力部13と、識別画像生成部14と、識別画像登録部15と、識別画像照合部16とを備える。
リスト記憶部11は、管理対象物(人を含む。)を識別する最小の単位である識別単位ごとに固有の識別子と関連付けて、管理対象物を識別するための識別画像が登録される管理対象物リストを記憶する。識別単位は、一般に識別コードが付される単位である。識別単位は、例えば、管理対象物の各々(個体)であってもよい。個体以外にも、管理対象物を管理する単位であればよく、種別単位、行き先単位、生産単位(スロット等)など複数の管理対象物が含まれるような単位であってもよい。
登録用画像入力部12は、管理対象物の識別部を撮影した登録用画像を入力する。識別部は、管理対象物の所定の部分または管理対象物に付される所定の付随物であって、当該管理対象物を識別可能な特徴を有する所定の部分または所定の付随物である。識別部は、例えば、管理対象物に付される印刷ラベルであってもよい。また、管理対象物が人の場合に、識別部は顔であってもよい。また、管理対象物が商品等の場合に、識別部はパッケージ全体であってもよい。なお、識別部は、管理対象物を識別可能な特徴に加えて、当該識別部の向きを特定可能な特徴を有していることが好ましい。
検索用画像入力部13は、管理対象物の識別部を撮影した検索用画像を入力する。
識別画像生成部14は、入力画像から識別部を検出し、検出された識別部が所定の向きおよび大きさで表された識別画像を生成する。ここで、入力画像は、登録用画像または検索用画像である。また、所定の向きおよび大きさは、識別単位ごとに異なっていてもよい。また、1つの識別単位につき複数設定されていてもよい。その場合、識別画像を複数生成する。識別画像生成部14は、例えば、以下の処理等を施すことによって、所望の識別画像を得る。
・生成される画像領域内における識別部の向きおよび大きさが予め定められている「正しい向き」および「正しい大きさ(もしくは占有率)」となるように入力画像から切り取る領域のサイズを調整。
・識別部を含む領域に対して既知の拡大・縮小処理や回転処理や傾きの補正処理。
例えば、キー画像と識別画像との間で対応する点の対を求め、その対応関係を利用して、キー画像と識別画像との間のアフィン変換パラメータを用いる方法が知られている。なお、識別部の撮影用に、画像内の識別部の位置合わせ等ができるプレビュー領域を含む撮影用画面を用意し、そのプレビュー領域を利用して識別部を撮影させるなどして、所望の向きおよび大きさの識別部が含まれる画像を得てもよい。
識別画像登録部15は、登録用画像が入力された場合に、登録用画像から生成された識別画像を、指定された識別単位の識別画像として管理対象物リストに登録する。具体的に、識別画像登録部15は、指定された識別単位の識別子と関連付けて、登録用画像から生成された識別画像をリスト記憶部11に記憶させればよい。
識別単位の指定方法としては、例えば、登録用画像の入力と併せてユーザに入力させてもよい。例えば、ユーザに登録先とする識別単位の識別子を指定させてもよいし、識別子の代わりに新たな識別単位である旨を指定させてもよい。識別画像登録部15は、例えば、ユーザから新たな識別単位である旨が指定された場合は、新たな識別子を割り当て、割り当てた識別子と関連付けて、生成された識別画像を登録してもよい。
識別画像照合部16は、検索用画像が入力された場合に、検索用画像から生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合する。識別画像照合部16は、画像認識技術を用いて、キー画像と、管理対象物リストに登録されている識別画像の各々との間の一致度を算出することによって、照合してもよい。識別画像照合部16は、例えば、照合結果として、照合の際に算出した各識別画像のキー画像に対する一致度であってもよい。識別画像照合部16は、最も類似したすなわち最も一致度の高い識別画像に関連付けられた識別子であってもよい。識別画像照合部16は、一致度の高い順に複数の識別画像と識別子の組を出力する。識別画像照合部16は、キー画像と管理物対象リストに登録されている識別画像とを照合する代わりに、キー画像の予め指定された領域と識別画像の予め指定された領域とを比較することで一致度を判定してもよい。この場合において、キー画像の予め指定された領域は、例えば、後述するユーザ記載領域である。また、識別画像の予め指定された領域は、例えば、後述するユーザ記載領域)である。また、識別画像照合部16は、キー画像と管理対象物リストに登録されている識別画像の各々とから部分的な領域(定型のラベルや顔など)を既知の画像認識手法を用いて自動検出し、検出した部分的な領域同士を比較してもよい。
また、図2は、識別画像生成部14の構成例を示すブロック図である。図2に示す例では、識別画像生成部14は、領域検出部141と、領域切取部142と、傾き補正部143とを含む。
領域検出部141は、入力画像に含まれる識別部の画像領域を検出する。領域切取部142は、領域検出部141によって検出された識別部の画像領域の情報を基に、入力画像から識別部を含む所定の画像領域を切り取り、切り取った画像領域を有する部分画像を生成する。傾き補正部143は、生成された部分画像の傾きを補正する。
領域検出部141は、例えば、入力画像から識別部を検出するための画像であって、識別部の特徴が表された画像であるマスタ画像を基に、入力画像に含まれる識別部の画像領域を検出してもよい。
領域切取部142は、例えば、識別部の画像領域の外接矩形に相当する画像領域を切り取ってもよい。また、領域切取部142は、傾き補正部143で回転処理を行う場合など、補正後に切り取られる領域が出ることを見越して、識別部の画像領域を中心にした所定のサイズの矩形領域を切り取ってもよい。
傾き補正部143は、例えば、部分画像に対して回転処理を行うなど2次元の角度変換を行うだけでなく、既知の3次元での角度変換処理を行ってもよい。例えば、キー画像と識別画像との間で対応する点の対を求め、その対応関係を利用して、キー画像と識別画像との間でホモグラフィー行列や基礎行列、基本行列などを用いる方法がコンピュータビジョンの分野で知られている。
なお、領域切取部142と傾き補正部143の処理手順はこの限りではない。例えば、領域切取部142は、最初は切り取りたい領域を指定するだけにとどめ、傾き補正部143に指定した領域に対して傾きを補正させた後、補正後の画像から識別部が所定のサイズとなるように領域を切り出してもよい。
上述したような識別画像生成部14によれば、所定の向きおよび大きさで表された識別画像を生成できる。また、印刷ラベルなど、管理対象物に対する識別部の向きが固定されている場合であって、管理対象物の向きが一定の登録用画像が容易に撮影できる場合には、傾き補正部143を省略することも可能である。そのような場合には、入力画像から識別部の外接矩形に相当する画像領域を有する識別画像を生成することにより、画像領域内において識別部の向きが、管理対象物に対する識別部の相対的な向きと一致する向きに固定された識別画像を得ることができる。
本実施形態において、リスト記憶部11は、例えば記憶装置によって実現される。また、登録用画像入力部12および検索用画像入力部13は、例えば撮像手段などの画像データを入力可能な入力装置や、そのような入力装置を含む外部機器とのインタフェース部によって実現される。また、識別画像生成部14、識別画像登録部15および識別画像検索部16は、例えば、図25に示すような、CPU(Central Processing Unit)等のプログラムに従って動作する情報処理装置600によって実現される。情報処理装置600は、例えば以下の構成を含む。
・CPU601
・ROM(Read Only Memory)602
・RAM(Ramdom Access Memory)603
・RAMにロードされるプログラム604
・プログラムを格納する記憶装置605
・記憶媒体606の読み書きを行うドライブ装置607
・ネットワーク609と接続する通信インタフェース608
・データの入出力を行う入出力インタフェース610
・各構成要素を接続するバス611
次に、本実施形態の管理システムの動作を説明する。本実施形態の管理システムの動作は、必要な情報をリストに登録するリスト作成動作と、リストを検索して必要な情報を得るリスト照合動作とに大別される。
図3は、本実施形態の管理システムのリスト作成動作の一例を示すフローチャートである。図3に示すように、まず登録用画像入力部12が、管理対象物の識別部を撮影した登録用画像を入力する(ステップS101)。
次いで、識別画像生成部14が、入力された登録用画像から識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する(ステップS102)。
次いで、識別画像登録部15が、生成された識別画像を、指定された識別単位の識別画像として管理対象物リストに登録する(ステップS103)。
他に登録する管理対象物があれば、ステップS101に戻り、以上の動作を繰り返す(ステップS104のYes)。
また、図4は、本実施形態の管理システムのリスト照合動作の一例を示すフローチャートである。図4に示すように、まず検索用画像入力部13が、管理対象物の識別部を撮影した検索用画像を入力する(ステップS201)。
次いで、識別画像生成部14が、入力された検索用画像から識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する(ステップS202)。
次いで、識別画像照合部16が、生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合する(ステップS203)。そして、識別画像照合部16が、照合結果を出力する(ステップS204)。
以上のように、本実施形態の管理システムでは、リストの登録時とリストの照合時の両方で所定の向きおよび大きさで表された識別画像を生成し、一方を保持し、他方を保持したものとの照合に用いている。したがって、本実施形態の管理システムによれば、十分な識別性能を得つつ、リスト作成時とリスト照合時の両方においてかかる手間および処理負荷を抑えることができる。なぜなら、ユーザはリストに登録したい管理対象物の識別部を撮影するだけで、識別コードの代わりとなる識別画像が自動でリストに登録され、また照合したい管理対象物の識別部を撮影するだけで、自動でリストとの照合を行えるからである。
また、本実施形態の管理システムではリストの照合に画像認識処理を用いているので、自由な書式に対応できる。また、識別画像を、人が認識しやすい画像(背景など余計な物が多く含まれず、また向きが固定された画像)で保持することにより、リストを表示した際に視認しやすく、利便性が向上する。また、管理対象物を紛失した場合に識別画像を手がかりにして人が捜しやすいといった効果も得られる。
なお、図1にはすべての構成要素が1つの装置に実装される例が示されているが、例えば、図5に示すように、各構成要素は2以上の装置に分かれて実装されてもよい。図5は、本実施形態の管理システムの他の構成例を示すブロック図である。図5に示す管理システムは、記憶装置110と、リスト作成装置120と、リスト照合装置130とを備えている。本例において、記憶装置110は、リスト記憶部11を含む。また、リスト作成装置120は、登録用画像入力部12と、識別画像生成部14Aと、識別画像登録部15とを含む。また、リスト照合装置130は、検索用画像入力部13と、識別画像生成部14Bと、識別画像照合部16とを含む。
なお、図5に示す例において、識別画像生成部14Aと識別画像生成部14Bとは、少なくとも同じ識別単位であれば同じ向きおよび同じ大きさとなるように予め定められた方法を用いて、識別画像を生成する。例えば、識別画像生成部14Aと識別画像生成部14Bとを同じ機能モジュールによって実現してもよい。また、例えば識別画像生成部14Aと識別画像生成部14Bとを各装置では備えずに、識別画像生成部14を備えた所定のサーバを用意し、そのサーバに処理を依頼して識別画像を得る構成としてもよい。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。図6は、第2の実施形態の管理システムの構成例を示すブロック図である。図6に示す管理システムは、図1に示す第1の実施形態と比べて、さらにマスタ画像記憶部17と、付加情報入力部18と、付加情報登録部19と、リスト表示部20とを備える点が異なる。
マスタ画像記憶部17は、マスタ画像を記憶する。マスタ画像は、上述したように、入力画像から識別部を検出するための画像であって、識別部の特徴が表された画像である。例えば、識別部が印刷ラベルであれば、マスタ画像は未記入の印刷ラベルを撮影した画像であってもよい。また、印刷部が顔であれば、マスタ画像は一般的な「顔」を表した画像(例えば、複数の人の顔画像を統計的に処理して平均化した画像等)であってもよい。また、マスタ画像は1つに限られない。なお、識別画像はリスト化の対象とされるもの(管理対象物)を判別するためのものであり、マスタ画像はリスト化の対象かどうか(管理対象物か否か)を判定するためのものであって、両者の役割は異なる。
マスタ画像記憶部17に記憶されたマスタ画像は、識別画像生成部14における、入力画像に対するトリミング処理や拡大・縮小処理や回転処理や傾きの補正処理の際に利用される。
付加情報入力部18は、識別画像の他に識別子と関連付けて管理対象物リストに登録される情報である付加情報を入力する。また、付加情報登録部19は、付加情報入力部18が入力した付加情報を、指定された識別単位の付加情報として管理対象物リストに登録する。識別単位の指定は、付加情報の入力と併せてユーザに入力させてもよいし、識別画像の登録に続けて入力される場合には、登録用画像における指定を引き継いでもよい。また、識別画像の照合の結果を利用することも可能である。
付加情報は、管理対象物に関する情報であれば特に問わない。付加情報は、例えば、管理対象物の状態を示す情報や、複数ある場合にはその個数であってもよい。また、付加情報は、物流システムに適用される場合に、チェックポイントごとの到達有無や到達日時といった運搬状況を示す情報であってもよい。また、運搬状況を示す情報は、例えば、各チェックポイントにおいて検索用画像から生成された識別画像(キー画像)であってもよい。キー画像を運搬状況を示す情報として登録しておけば、仮に照合ミスがあっても後で容易に確認できる。
また、付加情報は、管理対象物の中身を示す情報を含んでいてもよい。中身を示す情報は、中身または中身を示す文字等を撮影した画像(以下、中身画像という。)であってもよい。
また、中身画像を自動で抽出するために、例えば、各管理対象物に中身を示す文字等を記載する印刷ラベル等を付してもよい。そのような場合に、その印刷ラベルを検出するためのマスタ画像を用意してもよい。また、各管理対象物の予め定められた枠内等に中身を示すラベルや中身を撮影した画像等を貼っておき、それを固定カメラで撮影してもよい。
このように検索用のキー画像となる識別画像とは別に、ユーザが見て管理対象物を認識できる中身画像を付随画像として登録しておくことによって、ユーザの確認作業が容易になる。なお、付随画像は、識別子と関連付けて登録される、識別画像以外の画像の総称であって、管理対象物に関する情報が表された画像であれば中身画像に限らない。識別画像と同様、画像形式で保持する構成によれば、ユーザは撮影するだけでデータを登録でき、手入力の手間が省ける。
また、リスト表示部20は、リスト記憶部11に記憶されている管理対象物リストの登録内容を適宜表示する。リスト表示部20は、例えば、リストの登録内容を表示するリスト表示画面を生成して、管理対象物リストの登録内容をユーザに提示する。
リスト表示画面は、例えば、識別子ごとの識別画像とあれば付加情報とを一覧にして表示する領域とを含んでいてもよい。なお、数が多い場合にはスクロール機能を設けてもよい。
また、リスト表示部20は、リスト表示画面以外にも、登録画面や、検索画面をユーザに提供してもよい。なお、登録画面や検索画面は、識別画像登録部15や識別画像照合部16が生成し、表示してもよい。
登録画面は、例えば、識別部の撮影用のプレビュー領域と、生成された識別画像のプレビュー領域と、撮影を指示するボタンと、現在リストに登録されている内容を簡単に表示する簡易表示領域と、識別単位の別を指定するボタンとを含んでいてもよい。ここで、識別単位の別とは、処理対象を次の識別単位へ移行する旨等である。なお、さらに付随画像の撮影用のプレビュー領域を含んでいてもよい。ここで、撮影用のプレビュー領域は、撮像手段と連動して画像を表示する領域である。また、プレビュー領域は、ユーザに処理の対象を確認させるための領域であって、処理の対象とする画像を表示する領域である。
検索画面は、例えば、検索用画像の撮影用のプレビュー領域と、検索用画像から生成された識別画像のプレビュー領域と、照合を指示するボタンと、照合の結果認識されたリスト要素を表示する特定要素表示領域と、特定要素表示領域に示されるリスト要素に対して指定の付加情報の登録を指示するボタンとを含んでいてもよい。
検索画面は、例えば、以下の要素を含んでいてもよい。
・検索用画像の撮影用のプレビュー領域
・検索用画像から生成された識別画像のプレビュー領域
・照合を指示するボタン
・照合の結果認識されたリスト要素を表示する特定要素表示領域
・特定要素表示領域に示されるリスト要素に対して指定の付加情報の登録を指示するボタン
特定要素表示領域は、認識されたリスト要素の識別画像を表示する領域だけでなく、付随画像、特に中身画像を表示する領域を含んでいてもよい。入力画像から検出された識別画像であるキー画像と、照合の結果認識されたリスト内の識別画像である登録識別画像と、その登録識別画像と関連付けられている付随画像とを同時に表示することにより、人が照合結果を認識しやすくできる。すなわち、人目によってもキー画像と登録識別画像とを見比べることができ、認識結果が誤っていた場合にユーザが認識結果を訂正できる。また、登録識別画像だけでなく中身画像も併せて表示することで、管理対象物の中身が見えない場合にもそれが何かを知ることができる。したがって、物の場合などに扱いがしやすくなり、利便性が向上する。
本実施形態において、マスタ画像記憶部17は、例えば記憶装置によって実現される。また、付加情報入力部18は、例えば撮像手段や画像データを入力可能な入力装置またはそのような入力装置から情報を入力するインタフェース部によって実現される。また、付加情報入力部18は、例えば撮像手段、マウス、キーボード、タッチパネルなどの画像データその他の情報を入力可能な入力装置や、そのような入力装置を含む外部機器とのインタフェース部によって実現される。付加情報登録部19は、例えば、CPU等のプログラムに従って動作する情報処理装置によって実現される。リスト表示部20は、例えば、ディスプレイやプリンタなど画面情報を出力可能な出力装置(表示装置を含む)や、そのような出力装置を含む外部機器とのインタフェース部と、CPU等のプログラムに従って動作する情報処理装置とによって実現される。
次に、本実施形態の管理システムの動作を説明する。本実施形態の管理システムの動作も、リスト作成動作とリスト照合動作とに大別される。まず、リスト作成動作について説明する。図7は、本実施形態の管理システムのリスト作成動作の一例を示すフローチャートである。なお、第1の実施形態と同様の処理については同じステップ番号を付し、説明を省略する。
図7に示すように、本実施形態では、ステップS103における識別画像の登録処理に続いて付加情報入力部18が、ユーザから付加情報の入力を受け付ける(ステップS301)。なお、付加情報の入力は、識別画像の登録処理の後に限らず、随時受け付け可能とする。
付加情報が入力されると、付加情報登録部19が、入力された付加情報を、指定された識別単位の付加情報として管理対象物リストに登録する(ステップS302)。
他に登録する管理対象物があれば、ステップS101に戻り、以上の動作を繰り返す(ステップS104のYes)。
他に登録する管理対象物がなければ(ステップS104のNo)、リスト表示部20が、リスト表示画面を生成して、リスト記憶部11に記憶されている管理対象物リストの登録内容を表示する(ステップS303)。なお、リスト表示部20は、他に登録する管理対象物があっても、ユーザの指示に応じてリスト表示画面を生成し、その時点でリスト記憶部11に記憶されている管理対象物リストの登録内容を表示してもよい。
次に、リスト照合動作について説明する。図8は、本実施形態の管理システムのリスト照合動作の一例を示すフローチャートである。
図8に示す例では、ステップS204において識別画像の照合処理が完了すると、続けて付加情報入力部18が、ユーザから付加情報の入力を受け付ける(ステップS401)。付加情報入力部18は、例えば、チェックポイントを示す情報とともに、当該チェックポイントにおける運搬状況を示す情報の入力を受け付けてもよい。なお、付加情報の入力は、識別画像の照合処理の後に限らず、随時受け付け可能とする。また、付加情報入力部18は、例えば、ユーザが照合結果を確認してOKであれば、当該チェックポイントにおける運搬状況を示す情報として、確認OKを示す情報(到達有りを示す情報、到達日時等)を自動で入力してもよい。
付加情報が入力されると、付加情報登録部19が、入力された付加情報を、指定されたまたは照合の結果特定された識別単位の付加情報として管理対象物リストに登録する(ステップS402)。
他に照合する管理対象物があれば、ステップS201に戻り、以上の動作を繰り返す(ステップS403のYes)。
他に照合する管理対象物がなければ(ステップS403のNo)、リスト表示部20が、リスト表示画面を生成して、リスト記憶部11に記憶されている管理対象物リストの登録内容を表示する(ステップS404)。なお、リスト表示部20は、他に照合する管理対象物があっても、ユーザの指示に応じてリスト表示画面を生成し、その生成時点でリスト記憶部11に記憶されている管理対象物リストの登録内容を表示してもよい。
以上のように、本実施形態によれば、識別画像の登録または照合に続いて付加情報を登録できるので、第1の実施形態の効果に加えて、さらにリスト作成時とリスト照合時の両方においてかかる手間を低減できる。また、付加情報として付随画像(特に、中身画像)を登録することにより、人目にわかりやすいリストを提供できる。また、運搬状況を示す情報として、照合に用いたキー画像を登録しておけば、照合ミスを後から修正できる。
また、図6にはすべての構成要素が1つの装置(例えば、パーソナルコンピュータや、タブレット端末等)に実装される例が示されているが、本実施形態においても、各構成要素は2以上の装置に分かれて実装されてもよい。図9は、本実施形態の管理システムの他の構成例を示すブロック図である。図9に示す管理システムは、図5に示した構成と比べて、記憶装置110がさらにマスタ画像記憶部17を含む点が異なる。また、リスト作成装置120が付加情報入力部18Aと付加情報登録部19Aとをさらに含み、リスト照合装置130が付加情報入力部18Bと付加情報登録部19Bとをさらに含む点が異なる。なお、マスタ画像記憶部17は、上述したマスタ画像記憶部17と同様でよい。また、付加情報入力部18A、18Bは、上述した付加情報入力部18と同様よい。また、付加情報登録部19A、19Bは、上述した付加情報登録部19と同様よい。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。以下では、オフィスを対象とした引っ越し用の物流システムにおいて、運搬対象とされた荷物(コンピュータ等が梱包された段ボール等)を管理するための管理システムに本発明を適用した例を示す。図10は、本実施形態の管理システムが行うリスト作成処理およびリスト照合処理の概要を示す説明図である。図10に示すように、本実施形態における管理対象物は運搬対象とされた荷物である。また、識別部は、運搬対象とされた荷物に付される印刷ラベルである。印刷ラベルには、荷物の行き先等が記入される。なお、荷物と印刷ラベルの記載とは1対1に対応するものとする。すなわち、本実施形態では、管理対象物の識別単位は管理対象物の各々(個体)とする。荷物と印刷ラベルとを1対1で対応付ける方法としては、例えば、同じ行き先の荷物にはさらに識別用に番号等を記載する、印刷ラベルに手書きで記載する等が挙げられる。
図11は、本実施形態の管理システムの構成例を示すブロック図である。図11に示す管理システムは、記憶装置310と、チェックリスト作成部320と、チェックリスト照合部330とを備える。
記憶装置310は、チェックリスト記憶部311と、マスタ画像記憶部312とを含む。
チェックリスト記憶部311は、上述したリスト記憶部11に相当する部分であって、荷物ごとに固有のIDと対応付けて、荷物を識別するための識別画像に相当するラベル画像と、付加情報とが登録される荷物のチェックリストを記憶する。
また、付加情報は、荷物の中身を撮影した中身画像と、チェックポイントごとの到達有無、到達日時およびキー画像としたラベル画像とを少なくとも含む。チェックポイントは、搬出元、中間地点、移転先等である。
マスタ画像記憶部312は、上述したマスタ画像記憶部17に相当する部分であって、入力画像から印刷ラベルを検出するための画像であって、印刷ラベルの特徴が表された画像であるマスタ画像を記憶する。本実施形態では、各荷物に付される印刷ラベルは共通であるとし、印刷ラベルを未記入の状態で正面から撮影した画像をマスタ画像に用いる。
また、チェックリスト作成部320は、登録用画像入力部321と、ラベル画像生成部322と、ラベル画像登録部323と、付加情報入力部324と、付加情報登録部325と、チェックリスト表示部326とを備える。
登録用画像入力部321は、上述した登録用画像入力部12に相当する部分である。登録用画像入力部321は、例えば搬出元において、運搬対象とされた荷物の印刷ラベルを撮影した登録用画像を入力する。例えば、登録用画像入力部321は、ユーザ操作に応じて撮像手段を制御するまたは画像データを取り込むなどして、運搬対象とされた荷物の印刷ラベルを被写体に含む登録用画像を入力する。その際、登録用画像入力部321は、印刷ラベルを撮影するための撮影機能を提供するラベル撮影画面等を表示して、ユーザに印刷ラベルを撮影するためのインタフェースを提供してもよい。
ラベル画像生成部322は、上述した識別画像生成部14に相当する部分である。ラベル画像生成部322は、マスタ画像記憶部312に記憶されているマスタ画像を基に、入力された登録用画像から印刷ラベルを検出し、検出された印刷ラベルが所定の向きおよび大きさで表されたラベル画像を生成する。本実施形態では、ラベル画像生成部322は、登録用画像に含まれる印刷ラベルが、マスタ画像に表されている印刷ラベルの向きおよび大きさと同じ向きおよび大きさで表されたラベル画像を生成する。なお、登録用画像に含まれる印刷ラベルの向きおよび大きさが、印刷ラベルの向きおよび大きさと同じでない場合には、入力画像に対して、トリミング処理や拡大・縮小処理や回転処理や傾きの補正処理を行う。
なお、入力画像からラベル領域を検出する方法としては、例えば、画像中から抽出される特徴点の組み合わせをマスタ画像と比較することにより検出してもよい。例えば、SIFT(Scale-Invariant Feature Transform)特徴点、SURF(Speeded Up Robust Features)特徴点、コーナー特徴点など、画像中から求められる特徴点の対応関係を利用できる。具体例として、国際公開第13/089004号パンフレットに記載の方法や、米国特許第6711293号明細書に記載の方法を用いてもよい。例えば、国際公開第13/089004号パンフレットには、局所特徴点ベース手法の例が記載されている。ラベル画像生成部322は、局所特徴点ベース手法を用いて、例えば、画像から抽出される特徴的な点(特徴点)の情報から特徴量抽出を行う局所領域を取得し、取得した局所領域を分割した結果であるサブ領域に対して特徴ベクトルを生成してもよい。そして、このようにして入力画像から生成された特徴ベクトルを、マスタ画像から生成された特徴ベクトルと照合して、特徴点の対応関係を求める。そして、求めた特徴点の対応関係を利用して、マスタ画像と入力画像との間の幾何変換に関するパラメータを求め、求めたパラメータとマスタ画像とから入力画像中のラベル領域を検出する。
また、例えば、印刷ラベルが長方形である場合には、印刷ラベルの形状を利用してラベル領域を検出してもよい。より具体的には、一般化ハフ変換を用いてもよい。また、ハフ変換で4本の直線を検出し、4本の直線で囲まれる領域を検出するようにすれば、マスタ画像を省略できる。この他、印刷ラベルに特殊なマークを印刷しておき、そのマークを検出することにより、ラベル領域を検出することも可能である。
また、傾きの補正量を求める方法としては、例えば、マスタ画像と入力画像とを比較して、ラベル領域と位置補正パラメータ(上述した幾何変換パラメータ等)を求めることにより行ってもよい。また、例えば検出されたラベル領域における画像と「正しい向き」を指定する情報との比較により傾きを補正してもよい。また、例えば、画像中から抽出される特徴点の組み合わせと、予め「正しい向き」に登録しておいたマスタ画像から抽出される特徴点の組み合わせとを比較して、傾きの補正量を求めてもよい。また、例えば、印刷ラベルが長方形であれば、その形状を利用することも可能である。すなわち、長方形の辺が水平または垂直になるように回転させてもよい。また、ラベルに向きを特定可能な特殊なマークを印刷しておき、そのマークの向きを基に傾きの補正量を求めてもよい。なお、マスタ画像にも同様の特殊なマークを印刷しておけば、これらマークの傾き度合いを比較して、傾きの補正量を求めることも可能である。そのようにして求めた補正量を基に、入力画像(特に、ラベル領域を含む所定の画像領域)の傾きを補正する。
なお、図10に示す例では、入力画像からラベル領域を切り出して正しい向きに補正した画像をラベル画像として生成する例が示されている。しかしながら、例えば、図12(a)に示すように、印刷ラベルが付された周りの部分を含む画像をラベル画像として生成してもよい。また、図12(b)に示すように、荷物に対して定められた正しい向きで表された印刷ラベルの外接矩形領域を切り出してなる部分画像をラベル画像として生成してもよい。荷物の一部や荷物に対する印刷ラベルの相対的な向きの情報をラベル画像に含めることにより、ラベル画像の識別性を高めることができる。
ラベル画像登録部323は、上述した識別画像登録部15に相当する部分である。ラベル画像登録部323は、ラベル画像生成部322によって登録用画像から生成されたラベル画像を、ユーザからの登録指示に応じて、指定された識別単位の識別画像としてチェックリストに登録する。本実施形態では、ラベル画像を登録するごとに新たなIDを割り当てる。
また、付加情報入力部324は、上述した付加情報入力部18に相当する部分であって、本実施形態では、付随画像入力部327とチェックポイント入力部328とを含む。
付随画像入力部327は、付加情報として、付随画像を入力する。例えば、付随画像入力部327は、ユーザ操作に応じて撮像手段を制御するまたは画像データを取り込むなどして荷物の中身または中身を示す文字等を撮影した中身画像を入力する。その際、付随画像入力部327は、中身を撮影するための撮影機能を提供する中身画像撮影画面を表示して、ユーザに中身画像を撮影するためのインタフェースを提供してもよい。
また、付随画像入力部327は、入力された画像から荷物の中身が表された領域(中身領域)を検出して切り出す機能を有していてもよい。付随画像入力部327は、例えば、識別部である印刷ラベルを検出する方法と同様の方法を用いて、中身を示す文字等が記載された第2の印刷ラベルを検出してもよい。
チェックポイント入力部328は、付加情報として、チェック対象となるロケーション(チェックポイント)を示す情報を入力する。チェックポイント入力部328は、例えば、チェックポイント選択画面等を用意して、ユーザに予め設定されている複数のロケーションのうち、チェック対象となるロケーション(チェックポイント)を選択させ、その選択結果を入力する。
付加情報登録部325は、上述した付加情報登録部19に相当する部分であって、付加情報入力部324を介して入力された付加情報を、指定された識別単位の付加情報としてチェックリストに登録する。
チェックリスト表示部326は、上述したリスト表示部20に相当する部分であって、チェックリスト記憶部311に記憶されているチェックリストの登録内容を適宜表示する。
また、チェックリスト照合部330は、検索用画像入力部331と、ラベル画像生成部332と、ラベル画像照合部333と、付加情報入力部334と、付加情報登録部335と、チェックリスト表示部336とを備える。
検索用画像入力部331は、上述した検索用画像入力部13に相当する部分である。検索用画像入力部331は、例えば各チェックポイントにおいて、運ばれてきた荷物の印刷ラベルを撮影した検索用画像を入力する。例えば、検索用画像入力部331は、ユーザ操作に応じて撮像手段を制御するまたは画像データを取り込むなどして、運ばれてきた荷物の印刷ラベルを被写体に含む検索用画像を入力する。その際、検索用画像入力部331は、印刷ラベルを撮影するための撮影機能を提供するラベル撮影画面等を表示して、ユーザに印刷ラベルを撮影するためのインタフェースを提供してもよい。
ラベル画像生成部332は、上述した識別画像生成部14に相当する部分である。ラベル画像生成部322は、マスタ画像記憶部312に記憶されているマスタ画像を基に、入力された検索用画像から印刷ラベルを検出し、検出された印刷ラベルが所定の向きおよび大きさで表されたラベル画像を生成する。ラベル画像の生成方法は、ラベル画像生成部322と同様である。
ラベル画像照合部333は、上述した識別画像照合部16に相当する部分である。ラベル画像照合部333は、検索用画像が入力された場合に、検索用画像から生成されたラベル画像をキー画像として、チェックリストに登録されているラベル画像の各々と照合し、照合結果を出力する。
本実施形態のラベル画像照合部333は、ある場所で撮影された画像から得たラベル画像と、別の場所で撮影された画像から得たラベル画像が一致するか否かを判定する照合機能を有する。具体的には、ラベル画像照合部333は、キー画像と、チェックリストに登録されているラベル画像の各々との間の一致度を算出し、算出された各々の一致度に基づいて判定する。ラベル画像照合部333は、キー画像とラベル画像とを照合する代わりに、キー画像の予め指定された領域(例えば、後述するユーザ記載領域)とラベル画像の予め指定された領域(例えば、後述するユーザ記載領域)とを比較することで一致度を判定してもよい。ラベル画像の一致度を見る方法としては、画像間の差分や正規化関数など、画像を信号レベルで比較する方法を優先的に用いることが好ましい。また、文字の配置を使って、文字列画像を照合する文字画像照合技術を利用してもよい。例えば、国際公開第10/053109号パンフレットに記載されている文字画像照合技術を用いてもよい。国際公開第10/053109号パンフレットには、二値化後に得られる連結領域の配置を利用して、予め登録された画像と、検索質問となる画像(キー画像)との一致度を判定する方法が記載されている。連結領域は、二値画像におけるひとまとまりの領域である。
なお、照合対象とされた両画像に対して文字認識処理を行うことも可能である。その場合は、文字認識結果を基にテキストベースで比較してもよい。また、照合対象とされた両画像にバーコードが含まれる場合には、当該バーコードの読み取り結果であるテキストを比較してもよい。
付加情報入力部334は、上述した付加情報入力部18に相当する部分であって、本実施形態では、チェック結果入力部337を含む。
チェック結果入力部337は、付加情報として、チェックポイントを示す情報とともに、当該チェックポイントにおける運搬状況を示す情報(到達有りを示す情報、到達日時等)を入力する。
チェック結果入力部337は、ラベル画像照合部333による照合の結果、リスト内の荷物が特定された際には、その荷物に対する当該チェックポイントにおける運搬状況を示す情報として、確認OKを示す情報を自動で入力してもよい。確認OKを示す情報は、例えば、到達有りを示す情報、到達日時等である。なお、荷物が特定されたか否かは、候補とされるリスト内要素が1つに絞られたか否かや、ユーザによる照合結果の確認結果に応じて判定できる。
また、チェック結果入力部337は、照合による荷物の認識結果が信頼できない場合に、チェック結果を取り消しまたは修正したり、画像による照合を伴わずにユーザが直接チェック結果を入力できるインタフェースを提供してもよい。チェック結果入力部337は、例えば、リストに、既に当該チェックポイントにおける荷物の運搬状況を示す情報が登録されている場合に、ユーザにその旨を表示してもよい。
付加情報登録部335は、上述した付加情報登録部19に相当する部分であって、付加情報入力部334を介して入力された付加情報を、指定された識別単位の付加情報としてチェックリストに登録する。
チェックリスト表示部336は、上述したリスト表示部20に相当する部分であって、チェックリスト記憶部311に記憶されているチェックリストの登録内容を適宜表示する。チェックリスト表示部336は、チェックリストの登録内容だけでなく、登録内容から求まる集計結果(進捗状況等)を表示してもよい。
また、図13は、登録用画像入力部321または付加情報入力部324(特に、付随画像入力部327)が表示する登録画面の例を示す説明図である。図13に示す登録画面は、ラベル画像プレビュー領域A101と、付随画像プレビュー領域A102と、撮影ボタンA103と、付随画像撮影終了ボタンA104と、リスト画像表示領域A105と、戻るボタンA106とを含む。
ラベル画像プレビュー領域A101(以下、単にプレビュー領域A101という。)は、印刷ラベルの撮影用および生成されたラベル画像の確認用のプレビュー領域である。プレビュー領域A101は、初期状態では、撮像手段のプレビュー画面として機能する。撮影ボタンA103の押下(またはタッチ)により撮影が行われる。撮影後、プレビュー領域A101には、撮影画像(登録用画像)から生成されたラベル画像が表示される。また、プレビュー領域A101に対する撮影指示により、撮影画像から生成されたラベル画像が新たなリストに登録される。
付随画像プレビュー領域A102(以下、単にプレビュー領域A102という。)は、付随画像の撮影用および生成された付随画像の確認用のプレビュー領域であるが、初期状態では特に何も表示されない。ラベル画像が生成されてプレビュー領域A101に表示されると付随画像撮影モードとなって、プレビュー領域A102は、撮像手段のプレビュー画面として機能する。撮影ボタンA103の押下により撮影が行われる。撮影後、プレビュー領域A102は、次の撮影のための撮像手段のプレビュー画面として機能する。また、プレビュー領域A102に対する撮影指示により、撮影画像が、表示中のラベル画像に関連付けられたIDの付随画像としてリストに登録される。
撮影ボタンA103は、撮影を指示するボタンである。また、付随画像撮影終了ボタンA104は、付随画像撮影モードの終了を指示するボタンである。付随画像撮影終了ボタンA104の押下により、付随画像撮影モードが終了し、ラベル画像撮影モード(初期状態)に切り替わる。
リスト画像表示領域A105は、チェックリスト内に現在登録されている画像(ラベル画像とあれば付随画像)を、IDごとにグループ化して表示する領域である。リスト画像表示領域A105は、図13に模式的に矢印で示すように、横スクロールができ、また表示中の画像または画像グループの選択が可能である(矢印に関しては、図14及び図15も同様である)。リスト画像表示領域A105に表示中の画像または画像グループが選択されると、修正画面に移行する。
戻るボタンA106は、当該画面を終了し、元の画面または上位画面に戻る旨を指示するボタンである。
図14は、登録用画像入力部321または付加情報入力部324(特に、付随画像入力部327)が表示する修正画面の例を示す説明図である。図14に示す修正画面は、ラベル画像プレビュー領域B101と、付随画像プレビュー領域B102と、捨てるボタンB103と、リスト画像表示領域B104と、戻るボタンB105とを含む。
ラベル画像プレビュー領域B101および付随画像プレビュー領域B102(以下、単にプレビュー領域B101およびプレビュー領域B102という。)は、修正対象とされたラベル画像および付随画像を表示する。修正対象は、当該修正画面または当該修正画面に移行する前の登録画面のリスト画像表示領域において選択された画像である。例えば、リスト画像表示領域内においてラベル画像がクリックされた場合には、当該ラベル画像に関連付けられたIDの画像グループが修正対象とされる。その場合、クリックされたラベル画像と付随画像とがプレビュー領域B101およびB102に表示される。なお、付随画像が複数ある場合は、プレビュー領域B102にスクロール機能を設けてもよい。また、例えばリスト画像表示領域内において付随画像がクリックされた場合には、当該付随画像が修正対象とされる。その場合、クリックされた付随画像と、その付随画像のIDに関連するラベル画像とがプレビュー領域B101およびB102に表示される。また、ラベル画像が表示されているプレビュー領域B101を選択操作によりアクティブにした状態で、捨てるボタンB103が押下された場合には、再度のユーザ確認の上、リストからID全体が削除される。付随画像が表示されているプレビュー領域B102の1つを選択操作によりアクティブにした状態で、捨てるボタンB103が押下された場合には、再度のユーザ確認の上、リストから当該付随画像が削除される。
なお、他の画面要素に関しては図13に示された登録画面における画面要素と同様である。
また、図15は、検索用画像入力部331または付加情報入力部334(特に、チェック結果入力部337)が表示する検索・登録画面の例を示す説明図である。図15に示す検索・登録画面は、以下の要素を含む。
・検索用ラベル画像プレビュー領域C101
・認識結果表示領域C102
・撮影ボタンC103
・チェック結果入力ボタンC104
・リスト画像表示領域C105
・戻るボタンC106
・チェック結果表示領域C107
検索用ラベル画像プレビュー領域C101(以下、単にプレビュー領域C101という。)は、キー画像とする印刷ラベルの撮影用および生成されたラベル画像の確認用のプレビュー領域である。プレビュー領域C101は、初期状態では、撮像手段のプレビュー画面として機能する。撮影ボタンC103の押下により撮影が行われる。撮影後、プレビュー領域C101には、撮影画像(検索用画像)から生成されたラベル画像が表示される。また、プレビュー領域C101に対する撮影指示により、撮影画像から生成されたラベル画像をキー画像としてリストとの照合が行われる。
認識結果表示領域C102は、照合の結果、認識された識別画像またはその候補とされた識別画像を、その識別画像に関連付けられたIDの付随画像とともに表示する領域である。識別画像と付随画像の組は、例えば、一致度の高い順に並べられて表示される。なお、ユーザが、リスト画像表示領域C105内のラベル画像を選択した場合、認識結果表示領域C102には、選択された識別画像とその識別画像に関連付けられたIDの付随画像とが表示される。
チェック結果入力ボタンC104は、認識結果表示領域C102に表示中の識別画像に関連付けられているIDの荷物に関して、チェック結果(確認OK)の登録を指示するボタンである。なお、どのチェックポイントにおけるチェック結果とするかを、確認画面に移行する際に選択できるようにしてもよい。
チェック結果表示領域C107は、認識結果表示領域C102に表示中の識別画像に関連付けられているIDの荷物に関して、リストに登録されているチェック結果(他のチェックポイントを含む。)を表示する領域である。
なお、他の画面要素に関しては図13に示された登録画面における画面要素と同様である。なお、本例では、リスト画像表示領域C105に表示する順番を認識順位、すなわち一致度の高い順としてもよい。
また、図16は、チェックリスト表示部326またはチェックリスト表示部336が表示するリスト表示画面の一例を示す説明図である。図16に示すリスト表示画面は、チェックリストの登録内容を表示する領域D101と、登録内容から求まる集計結果(進捗状況等)とを表示する領域D102とを含む。また、本例のリスト表示画面では、領域D101に含まれる画像をクリックすると、拡大表示される。また、各チェックポイントでのチェック結果に対して、チェック結果の取り消しや手入力による修正が可能である。
なお、図示した各種図面はあくまで一例であって、これらに限定されない。各画面に含ませる要素(ボタンや各種表示用の領域等)や領域内の構成や位置などは適宜変更されうる。
次に、本発明の管理システムに好適な印刷ラベルについて図面を用いて説明する。図17および図18は、印刷ラベルのデザイン例を示す説明図である。図17および図18に示すように、印刷ラベルは、ラベル領域の抽出に適した領域E101と、文字画像照合に適した領域E102とを含むことが好ましい。さらに、領域E101は、図17に示すように、上端に比べて下端の長さが大きいなど、向きを特定可能な特徴が含まれていることが好ましい。また、図18に示すように、ラベル領域の抽出時に局所特徴量が抽出しやすい、固定のデザインE103が印刷されていることが好ましい。なお、本例では、領域E102が、ユーザによって自由な記載が可能なユーザ記載エリアとなる。以下、領域E102をユーザ記載領域E102と表現する場合がある。なお、領域E101と領域E102とは、簡単に領域抽出ができるよう、外形形状が矩形であることが好ましい。また、領域E101は、背景および文字色以外の色で色づけされていることが好ましい。
また、図19〜図22は、ユーザ記載領域E102の他のデザイン例を示す説明図である。例えば、図19に示すように、ユーザ記載領域E102は、ユーザが文字(記号などの特殊文字を含む)を記載する目安となる領域である記載フィールドが黄色などの薄い色(背景色との差が所定量以下の色)で印刷されていてもよい(符号E104−1参照。)。このように、人には見えるが、機械には見分けがつきにくい着色を施すと、図23に示すように、ユーザ記載領域E102に対するヒストグラム上における画素値の分布が大きく二分されて、文字と背景との分離をしやすくできる。したがって、識別性能を保ったままユーザが記載しやすい印刷ラベルとすることができる。例えば、本システムの入力画像の少なくともいずれかの撮影に利用する撮像手段で印刷ラベルを撮影した際に、文字を構成する画素値の分布と、背景を構成する画素値の分布が互いに離れるような背景の印刷色を予め実験により求め、その色を印刷するようにすればよい。ここで、入力画像は、登録用画像または検索用画像である。撮像手段は、カメラ、スキャナ等である。文字を構成する画素値は、輝度値又はRGB(赤、緑、青)等カラーの画素値である。背景を構成する画素値は、輝度値又はRGB等カラーの画素値である。また、背景とは、ユーザ記載領域のうち文字が記入も印刷もされていない領域をいう。背景は、例えば、記載フィールド以外のユーザ記載領域の部分(ユーザ記載領域の余白部分)と、あれば記載フィールドの枠線と、記載フィールドのうち未記入の状態で何も印刷されていない部分(記載フィールドの余白部分)とを含む領域である。文字と背景との分離の容易性を考えると、文字を構成する画素値の分布と背景を構成する画素値の分布との間のオーバーラップは0であるのが好ましい。なお、背景に用いられた色が鮮明に撮影されない場合を想定すると、分布間のオーバーラップは必ずしも0でなくてよく、任意の上限値を設定してもよい。例えば、両者の分布がオーバーラップする画素の数の上限を、以下のように設定することも可能である。
画素数の上限=(α×(記載フィールドとユーザ記載領域の余白部分との境界線の長さ)+β×(ユーザ記載領域の余白部分と文字との境界線の長さ)+γ×(文字と記載フィールドの余白部分との境界線の長さ))×n
なお、α、β、γは0以上1以下の実数、nは通常0以上4以下の実数である。このようにすれば、連結領域を求める方法として、予め文字と背景とを分離する輝度値(もしくは画素値)の閾値を設定しておくことが可能である。また、大津の二値化とも呼ばれる判別分析法(discriminant analysis method)などの、各画素が文字か背景かを決定する統計的手法を用いることも可能である。また、隣接画素の影響を考慮して最適化問題として定式化し結果を得ることも可能である。
また、例えば、図20に示すように、ユーザ記載領域E102は、記載フィールドに沿って薄い色または細い線(点線でも可)が印刷されていてもよい(符号E104−2参照。)。また、図21に示すように、項目名だけが印刷され、記載フィールドの区分け線がなくてもよい。また、図22に示すように、ユーザ記載領域E102は、記載フィールドの境界に区切り記号が印刷されていてもよい(符号E104−3参照。)。区切り記号であれば、濃い色であっても連結領域の抽出処理によって簡単に切り離すことができる。また、区切り記号は措定される文字色と同じまたは類似した色で印刷してあってもよい。このときは、文字の連結領域と区切り記号の連結領域とを区別せずに、すべての連結領域を照合することも可能である。
なお、上記で示した印刷ラベルのデザインはあくまで一例であって、これらに限定されない。印刷ラベルに含ませる要素(各種領域)や領域内の構成や位置などは適宜変更されうる。
以上のように、本実施形態によれば、ユーザは簡単な画面操作だけで運搬対象とされた荷物の運搬状況を管理できる。
なお、図11では、チェックリスト作成部320とチェックリスト照合部330とが分かれて実装される例が示されているが、チェックリスト作成部320とチェックリスト照合部330とを分けずに実装することも可能である。そのような場合には、ラベル画像生成部322と332とは、1つのラベル画像生成部として実装してもよい。付加情報登録部325と335、チェックリスト表示部326と336についても同様に1つの部として実装できる。
次に、本発明の各実施形態に共通する管理システムの最小構成について説明する。図24は、本発明による管理システムの最小の構成例を示すブロック図である。図24に示す管理システムは、リスト記憶部501と、識別画像生成部502と、識別画像登録部503と、識別画像照合部504とを備える。
リスト記憶部501(例えば、リスト記憶部11、チェックリスト記憶部311)は、管理対象物を識別するための識別画像が登録される管理対象物リストを記憶する。識別画像は、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が関連付けられている。
識別画像生成部502(例えば、識別画像生成部14、ラベル画像生成部322、332)は、入力画像から、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を検出する。そして、識別画像生成部502は、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する。
識別画像登録部503(例えば、識別画像登録部15、ラベル画像登録部323)は、管理対象物の識別部を撮影した第1の画像が入力された場合に、第1の画像から生成された識別画像を、指定された識別単位の識別画像として管理対象物リストに登録する。
識別画像照合部504(例えば、識別画像照合部16、ラベル画像照合部333)は、管理対象物の識別部を撮影した第2の画像が入力された場合に、第2の画像から生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合する。
したがって、最小構成の管理システムによれば、十分な識別性能を得つつ、リスト作成時とリスト照合時の両方においてかかる手間および処理負荷を抑えることができる。
また、識別画像生成部502は、以下の構成を含んでもよい。
・入力画像に含まれる識別部の画像領域を検出する領域検出部
・領域検出部によって検出された識別部の画像領域の情報を基に、入力画像から識別部の画像領域を含む所定の画像領域を切り取り、切り取った画像領域からなる識別画像を生成する領域切取部
・領域切取部によって生成された識別画像に対して、傾きを補正する処理を行う傾き補正部
傾き補正部は、補正後の画像領域内における識別部の向きが、予め定められている正しい向きとなるように3次元の角度変換を行ってもよい。
また、識別画像生成部は、以下の構成を含んでもよい。
・入力画像に含まれる識別部の画像領域を検出する領域検出部
・領域検出部によって検出された識別部の画像領域の情報を基に、入力画像から識別部の外接矩形に相当する画像領域を切り取り、切り取った所定の画像領域からなる識別画像を生成する領域切取部
また、管理システムは、入力画像から識別部を検出するための画像であって、識別部の特徴が表された画像であるマスタ画像を記憶するマスタ画像記憶部を備え、識別画像生成部は、マスタ画像を基に、入力画像から識別画像を生成してもよい。
また、リスト記憶部501は、識別子と関連付けて、さらに、管理対象物に関する情報が表された付随画像が登録される管理対象物リストを記憶してもよい。そのような場合に、管理システムは、指定された識別単位に属する管理対象物の付随画像を入力する付随画像入力部と、入力された付随画像を、指定された識別単位の付随画像として管理対象物データリストに登録する付随画像登録部とを備えていてもよい。
また、管理システムは、第2の画像が入力された場合に、以下の画像を表示する領域を含む検索結果画面を表示する表示部を備えていてもよい。
・第2の画像から得た識別画像であるキー画像
・管理対象物リスト内でキー画像と最も類似した識別画像である登録識別画像
・登録識別画像が属する識別単位の付随画像
また、識別部が、管理対象物に付される印刷ラベルであってもよい。
また、管理システムは、例えば、物流システムにおいて、運搬対象とされた荷物を管理するための管理システムである。そして、この管理システムは、管理対象物が、運搬対象とされた荷物であってもよい。そのような場合に、リスト記憶部は、識別子と関連付けて、さらに、荷物の運搬状況を示す情報が登録される管理対象物リストを記憶してもよい。また、管理システムは、状況登録部を備えていてもよい。状況登録部は、チェックポイントごとに、第2の画像として荷物を撮影して得られた検索用画面をユーザに入力させる。そして、状況登録部は、入力された検索用画面から得られる識別画像をキー画像として用いた照合の結果、認識された管理対象物の識別子と関連付けて、荷物の運搬状況を示す情報を管理対象物データリストに登録する。
また、状況登録部は、入力された第1の画面から得られる識別画像の照合結果、特定された識別子に関連付けて、既に当該チェックポイントにおける荷物の運搬状況を示す情報が登録されている場合に、ユーザにその旨を表示してもよい。また、状況登録部は、重複して認識された回数を数えて、リストに登録してもよい。
また、管理システムは、例えば、物流システムにおいて、配送対象とされた荷物を管理するための管理システムである。そして、この管理システムは、チェックポイント登録部を備えていてもよい。チェックポイント登録部は、識別子と関連付けて、さらに、チェックポイントを示す情報が登録される管理対象物リストを記憶するリスト記憶部と、指定された識別単位のチェックポイントを示す情報を、管理対象物データリストに登録する。
また、識別画像登録部503は、識別画像を登録する前に、当該識別画像をキー画像として管理対象物リストに登録されている識別画像の各々と照合し、当該キー画像との一致度が所定の値以上の識別画像が管理対象物リストに登録されている場合に、ユーザにその旨を表示してもよい。
また、上記の例では、主に画像をグレースケールであるものとして説明したが、カラー画像を用いてもよい。カラー画像を用いる場合、任意の色空間(RGB、YUV等)からグレースケールに変換する式を用いて、カラー画像をグレースケールに変換することができる。また、色空間の各チャンネル画像(例えば、RGBの場合はRを画素値とする画像、Gを画素値とする画像、Bを画素値とする画像)に分けてそれぞれの空間において上述の照合処理を行い、論理和(OR)や論理積(AND)などの方法で結果を統合してもよい。また、カラー画像から連結領域を求める場合は、色空間内で既知のクラスタリング手法を適用して、同一クラスタの色のひとまとまりを連結領域として利用してもよい。
また、上記では、画像同士の照合方法の例として、照合対象の画像のそれぞれから計算される画像特徴量同士を比較する例が示されている。そのような画像特徴量の比較によって画像同士の照合を行う場合、照合先となる識別画像をリストに登録する際に、該識別画像から画像特徴量を抽出し、抽出された画像特徴量を付加情報としてリストに登録してもよい。このようにすることで、キー画像との照合時にリスト内の各識別画像から画像特徴量を抽出する処理が省略可能になるため、照合処理が高速に動作する利点がある。なお、入力された登録用画像から識別部の画像領域を検出する際に行われる登録用画像とマスタ画像との照合においても同様である。すなわち、マスタ画像を登録する際にマスタ画像から画像特徴量を抽出して登録してもよい。このようにすることで、登録用画像との照合時にマスタ画像から画像特徴量を抽出する処理が省略可能になるため、識別領域の検出処理が高速に動作する利点がある。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2013年10月31日に出願された日本出願特願2013−226175を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、物流システムに限らず、リストを用いて人や物を管理する用途に好適に適用可能である。
11、501 リスト記憶部
12、321 登録用画像入力部
13、331 検索用画像入力部
14、14A、14B、502 識別画像生成部
141 領域検出部
142 領域切取部
143 傾き補正部
15、503 識別画像登録部
16、504 識別画像照合部
17、312 マスタ画像記憶部
18、18A、18B、324、334 付加情報入力部
19、19A、19B、325、335 付加情報登録部
20、20A、20B リスト表示部
110、310 記憶装置
120 リスト作成装置
130 リスト照合装置
311 チェックリスト記憶部
320 チェックリスト作成部
322、332 ラベル画像生成部
323 ラベル画像登録部
326、336 チェックリスト表示部
327 付随画像入力部
328 チェックポイント入力部
330 チェックリスト照合部
333 ラベル画像照合部
337 チェック結果入力部
600 情報処理装置
601 CPU
602 ROM
603 RAM
604 プログラム
605 記憶装置
606 記憶媒体
607 ドライブ装置
608 通信インタフェース
609 ネットワーク
610 入出力インタフェース
611 バス

Claims (14)

  1. 物流システムにおいて、運搬対象とされた荷物を管理対象物として管理するための管理システムであって、
    管理対象物を識別するための識別画像であって、当該管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が関連付けられた識別画像と、前記管理対象物の運搬状況とが登録される管理対象物リストを記憶するリスト記憶手段と、
    入力画像から、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を検出し、検出された前記識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する識別画像生成手段と、
    管理対象物の識別部を撮影した第1の画像が入力された場合に、前記第1の画像から生成された識別画像を、指定された識別単位の識別画像として前記管理対象物リストに登録する識別画像登録手段と、
    管理対象物の識別部を撮影した第2の画像が入力された場合に、前記第2の画像から生成された識別画像をキー画像として、前記管理対象物リストに登録されている識別画像の各々と照合する識別画像照合手段と、
    前記識別画像照合手段の照合の結果、認識された管理対象物の識別子と対応付けて、前記管理対象物の運搬状況を示す情報を前記管理対象物リストに登録する状況登録手段とを備えた
    ことを特徴とする管理システム。
  2. 前記識別画像生成手段は、
    入力画像に含まれる識別部の画像領域を検出する領域検出手段と、
    前記領域検出手段によって検出された識別部の画像領域の情報を基に、前記入力画像から識別部の画像領域を含む所定の画像領域を切り取り、切り取った画像領域からなる識別画像を生成する領域切取手段と、
    前記領域切取手段によって生成された識別画像に対して、傾きを補正する処理を行う傾き補正手段とを含む
    請求項1に記載の管理システム。
  3. 前記傾き補正手段は、補正後の画像領域内における識別部の向きが、予め定められている正しい向きとなるように3次元の角度変換を行う
    請求項2に記載の管理システム。
  4. 前記識別画像生成手段は、
    入力画像に含まれる識別部の画像領域を検出する領域検出手段と、
    前記領域検出手段によって検出された識別部の画像領域の情報を基に、前記入力画像から識別部の外接矩形に相当する画像領域を切り取り、切り取った前記所定の画像領域からなる識別画像を生成する領域切取手段とを含む
    請求項1に記載の管理システム。
  5. 入力画像から識別部を検出するための画像であって、識別部の特徴が表された画像であるマスタ画像を記憶するマスタ画像記憶手段を備え、
    前記識別画像生成手段は、前記マスタ画像を基に、入力画像から識別画像を生成する
    請求項1から請求項4のうちのいずれか1項に記載の管理システム。
  6. 前記リスト記憶手段は、識別子と対応付けて、さらに、管理対象物に関する情報が表された付随画像が登録される管理対象物リストを記憶し、
    指定された識別単位に属する管理対象物の付随画像を入力する付随画像入力手段と、
    入力された付随画像を、指定された識別単位の付随画像として前記管理対象物リストに登録する付随画像登録手段とを備えた
    請求項1から請求項5のうちのいずれか1項に記載の管理システム。
  7. 前記第2の画像が入力された場合に、前記第2の画像から得た識別画像であるキー画像と、管理対象物リスト内で前記キー画像と最も類似した識別画像である登録識別画像と、前記登録識別画像が属する識別単位の付随画像とを表示する領域を含む検索結果画面を表示する表示手段を備えた
    請求項6に記載の管理システム。
  8. 前記識別部が、管理対象物に付される印刷ラベルである
    請求項1から請求項7のうちのいずれか1項に記載の管理システム。
  9. 前記印刷ラベルは、
    向きを特定可能な特徴を有する第1領域と、
    ユーザが文字を記載する目安となる領域である記載フィールドを含み、かつ前記記載フィールドおよび前記記載フィールド以外の当該領域の色と文字色との差が所定量以上であるか、前記記載フィールドに、前記記載フィールドおよび前記記載フィールド以外の当該領域の色と文字色との差が所定量以上の色の線による枠が設けられているか、または、記載フィールドの境界に区切り記号が設けられている第2領域とを含む
    請求項8に記載の管理システム。
  10. 前記状況登録手段が、
    チェックポイントごとに、第2の画像として荷物を撮影して得られた検索用画像をユーザに入力させ、入力された前記検索用画像から得られる識別画像をキー画像として用いた照合の結果、認識された管理対象物の識別子と対応付けて、前記荷物の運搬状況を示す情報を前記管理対象物リストに登録する
    請求項1から請求項9のうちのいずれか1項に記載の管理システム。
  11. 物流システムにおいて、運搬対象とされた荷物を管理対象物として管理するためのリスト作成装置であって、
    管理対象物を識別するための識別画像であって、当該管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が対応付けられた識別画像と、前記管理対象物に関する情報が表された画像である付随画像とが登録される管理対象物リストを記憶するリスト記憶手段と、
    入力画像から、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を検出し、検出された前記識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する識別画像生成手段と、
    管理対象物の識別部を撮影した第1の画像が入力された場合に、前記第1の画像から生成された識別画像を、指定された識別単位の識別画像として前記管理対象物リストに登録する識別画像登録手段と、
    前記管理対象物の付随画像を入力する付随画像入力手段と、
    入力された前記付随画像を、前記指定された識別単位の付随画像として前記管理対象物リストに登録する付随画像登録手段とを備えた
    ことを特徴とするリスト作成装置。
  12. 物流システムにおいて、運搬対象とされた荷物を管理対象物として管理するためのリスト作成方法であって、
    情報処理装置が、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、前記第1の画像から管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、
    情報処理装置が、第1の画像から生成された前記識別画像を、管理対象物を識別する最小の単位である指定された識別単位ごとに固有の識別子と対応付けて、管理対象物を識別するための識別画像が登録される管理対象物リストに登録し、
    管理対象物に関する情報が表された画像である付随画像が入力された場合に、入力された付随画像を、前記指定された識別単位の付随画像として前記管理対象物リストに登録する
    ことを特徴とするリスト作成方法。
  13. 物流システムにおいて、運搬対象とされた荷物を管理対象物として管理するための管理方法であって、
    情報処理装置が、管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、前記第1の画像から管理対象物の識別部を検出し、検出された前記識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、
    情報処理装置が、第1の画像から生成された前記識別画像を、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子と対応付けて、管理対象物を識別するための識別画像が登録される管理対象物リストに登録し、
    情報処理装置が、管理対象物の識別部を撮影した第2の画像が入力された場合に、前記第2の画像から、管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成し、
    情報処理装置が、第2の画像から生成された前記識別画像をキー画像として、前記管理対象物リストに登録されている識別画像の各々と照合し、
    前記照合の結果、認識された管理対象物の識別子と対応付けて、前記管理対象物の運搬状況を示す情報を前記管理対象物リストに登録する
    ことを特徴とする管理方法。
  14. 物流システムにおいて、運搬対象とされた荷物を管理対象物として管理するための管理用プログラムであって、
    管理対象物を識別するための識別画像であって、管理対象物を識別する最小の単位である識別単位ごとに固有の識別子が対応付けられた識別画像と、前記管理対象物に関する情報が表された画像である付随画像とが登録される管理対象物リストを記憶するリスト記憶手段または前記リスト記憶手段にアクセス可能なアクセス手段を備えたコンピュータに、
    管理対象物の所定の部分または管理対象物に付される所定の付随物である識別部であって当該管理対象物を識別可能な特徴を有する識別部を撮影した第1の画像が入力された場合に、前記第1の画像から管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する処理と、
    第1の画像から生成された前記識別画像を、管理対象物を識別する最小の単位である指定された識別単位ごとに固有の識別子と対応付けて、前記管理対象物リストに登録する処理と、
    入力された付随画像を、前記指定された識別単位の付随画像として前記管理対象物リストに登録する処理
    とを実行させる管理用プログラム。
JP2015544813A 2013-10-31 2014-10-30 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム Active JP6569532B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013226175 2013-10-31
JP2013226175 2013-10-31
PCT/JP2014/005497 WO2015064107A1 (ja) 2013-10-31 2014-10-30 管理システム、リスト作成装置、データ構造および印刷ラベル

Publications (2)

Publication Number Publication Date
JPWO2015064107A1 JPWO2015064107A1 (ja) 2017-03-09
JP6569532B2 true JP6569532B2 (ja) 2019-09-04

Family

ID=53003733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015544813A Active JP6569532B2 (ja) 2013-10-31 2014-10-30 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム

Country Status (3)

Country Link
US (1) US9836665B2 (ja)
JP (1) JP6569532B2 (ja)
WO (1) WO2015064107A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6978181B2 (ja) * 2015-07-16 2021-12-08 日本電気株式会社 受け取り支援システム、受け取り支援方法、受け取り支援プログラム、情報処理装置、及び端末装置
US11341739B2 (en) 2016-02-15 2022-05-24 Nec Corporation Image processing device, image processing method, and program recording medium
US9990521B2 (en) * 2016-09-06 2018-06-05 Amazon Technologies, Inc. Bundled unit identification and tracking
GB201803795D0 (en) * 2018-03-09 2018-04-25 Prisymid Ltd Label data processing system
JP2019191663A (ja) * 2018-04-18 2019-10-31 株式会社プレーン 収納物品管理システム及び収納物品管理システムに用いる表示片
WO2020040012A1 (ja) * 2018-08-23 2020-02-27 大日本印刷株式会社 特定装置、特定システム、特定方法、生成方法、コンピュータプログラム及び学習モデル
WO2020110269A1 (ja) * 2018-11-29 2020-06-04 日本電気株式会社 個体識別装置
CN109840699A (zh) * 2019-01-23 2019-06-04 深圳壹账通智能科技有限公司 合格投资者线上评估方法、装置、计算机设备和存储介质
CN109919155B (zh) * 2019-03-13 2021-03-12 厦门商集网络科技有限责任公司 一种文本图像的倾斜角矫正方法及终端
JP2021051044A (ja) * 2019-09-26 2021-04-01 株式会社イシダ 検査装置及びラベル貼付装置
JP7146001B2 (ja) * 2021-02-26 2022-10-03 株式会社日立物流 作業支援システム、作業支援方法及びプログラム
CN113837030B (zh) * 2021-09-06 2024-03-22 中国福利会国际和平妇幼保健院 用于疫情防控的人员智能管控方法、系统及计算机设备
CN114155374B (zh) * 2022-02-09 2022-04-22 深圳爱莫科技有限公司 冰激凌图像训练方法、检测方法及处理设备
CN114933176A (zh) * 2022-05-14 2022-08-23 江苏经贸职业技术学院 一种采用人工智能的3d视觉码垛系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039847B2 (ja) * 2001-11-12 2008-01-30 オリンパス株式会社 画像処理装置およびプログラム
JP4480388B2 (ja) 2002-12-05 2010-06-16 芳光 鍵和田 物流管理システムおよび方法、並びに、物流情報記録媒体
JP4430490B2 (ja) * 2004-09-06 2010-03-10 キヤノンItソリューションズ株式会社 データエントリ装置及びその制御方法、プログラム
JP2007034549A (ja) * 2005-07-26 2007-02-08 Oki Electric Ind Co Ltd 提案書設計管理システム
JP2007323381A (ja) 2006-06-01 2007-12-13 Fuji Xerox Co Ltd 画像傾き検出装置、画像処理装置、画像傾き検出プログラム、画像処理プログラム
JP4967748B2 (ja) * 2007-03-28 2012-07-04 カシオ計算機株式会社 画像処理装置及びプログラム
JP2009049886A (ja) * 2007-08-22 2009-03-05 Casio Comput Co Ltd 画像検索装置、撮影装置、画像検索方法及びプログラム
JP5198838B2 (ja) * 2007-12-04 2013-05-15 楽天株式会社 情報提供プログラム、情報提供装置、及び情報提供方法
JP5259315B2 (ja) 2008-09-16 2013-08-07 オリンパスイメージング株式会社 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム
JP5525737B2 (ja) 2009-03-18 2014-06-18 オリンパス株式会社 サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
JP2012174101A (ja) 2011-02-23 2012-09-10 Oki Electric Ind Co Ltd ラベル検査システム、ラベル検査装置及びラベル検査プログラム
JP5483467B2 (ja) * 2011-04-28 2014-05-07 富士通フロンテック株式会社 帳票読取装置、角印検出方法、および、角印検出プログラム
JP5502821B2 (ja) 2011-08-30 2014-05-28 東芝テック株式会社 コード読取装置、販売データ処理装置およびプログラム
JP5830338B2 (ja) 2011-10-07 2015-12-09 株式会社日立情報通信エンジニアリング 帳票認識方法および帳票認識装置

Also Published As

Publication number Publication date
US9836665B2 (en) 2017-12-05
WO2015064107A1 (ja) 2015-05-07
JPWO2015064107A1 (ja) 2017-03-09
US20160275368A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
JP6569532B2 (ja) 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム
JP6025522B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
US9785627B2 (en) Automated form fill-in via form retrieval
US20120070086A1 (en) Information reading apparatus and storage medium
CN107403128B (zh) 一种物品识别方法及装置
JP6278276B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JP6458239B1 (ja) 画像認識システム
JP6831951B2 (ja) 画像認識システム
JP4574503B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9575935B2 (en) Document file generating device and document file generation method
JP7437837B2 (ja) 仮想セルを用いたocrベースの文書分析システム及び方法
CN107403179B (zh) 一种物品包装信息的注册方法及装置
US20220415008A1 (en) Image box filtering for optical character recognition
TW202013239A (zh) 影像處理系統、影像處理方法及程式產品
TW202006597A (zh) 影像處理系統、影像處理方法及程式產品
JP2018042067A (ja) 画像処理システム、画像処理方法、情報処理装置
JP7449505B2 (ja) 情報処理システム
WO2019181441A1 (ja) 情報処理装置、制御方法、及びプログラム
JP7318289B2 (ja) 情報処理装置およびプログラム
US9152885B2 (en) Image processing apparatus that groups objects within image
JP6941331B2 (ja) 画像認識システム
WO2023171132A1 (ja) 情報処理システム
JP7316479B1 (ja) 画像処理システム、画像処理方法、及びプログラム
US20210358114A1 (en) Method for preflighting a graphics artwork file
JP5257061B2 (ja) 画像処理装置、方法、プログラム、および発送物区分装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150