JP7215485B2 - 物体照合装置 - Google Patents

物体照合装置 Download PDF

Info

Publication number
JP7215485B2
JP7215485B2 JP2020537980A JP2020537980A JP7215485B2 JP 7215485 B2 JP7215485 B2 JP 7215485B2 JP 2020537980 A JP2020537980 A JP 2020537980A JP 2020537980 A JP2020537980 A JP 2020537980A JP 7215485 B2 JP7215485 B2 JP 7215485B2
Authority
JP
Japan
Prior art keywords
image
registered
tablet
data
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020537980A
Other languages
English (en)
Other versions
JPWO2020039567A1 (ja
Inventor
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020039567A1 publication Critical patent/JPWO2020039567A1/ja
Application granted granted Critical
Publication of JP7215485B2 publication Critical patent/JP7215485B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/007Marking tablets or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00General identification or selection means
    • A61J2205/30Printed labels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00General identification or selection means
    • A61J2205/40General identification or selection means by shape or form, e.g. by using shape recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Description

本発明は、物体照合装置、物体照合方法、物体印刷装置、物体印刷方法、および記録媒体に関する。
近年、医薬品の偽造品問題が深刻化している。また、途上国・新興国では、パッケージから錠剤を取り出して販売している。そのため、錠剤単位での真贋判定が要望されている。
錠剤単位で真贋判定を行う技術の一例が特許文献1に記載されている。特許文献1に記載される技術(以下、本発明の関連技術と記す)は、錠剤に文字を印刷する装置において、錠剤の周縁部に近い、文字を含まない所定領域に分布する錠剤表面の微細な凹凸に起因するランダムパターンを取得して登録データとして事前に登録する。そして、照合時には、照合対象の錠剤の同じ所定領域から取得したランダムパターンの画像データと登録データとを比較することにより真贋判定(真偽判定)を実施する。なお、本発明の関連技術が文字を含まない錠剤表面を所定領域とする理由は、錠剤に対して文字を印刷する装置において、文字印刷前の画像または文字印刷後の画像のうちの一方から照合データを取得し、他方から登録データを取得し、両者の相関値を計算しているためである。
特開2017-97389号公報
本発明の関連技術では、個々の錠剤の製造過程で錠剤表面に形成される微細な凹凸によるランダムパターンを真贋判定に利用する。しかし、錠剤表面の微細な凹凸によるランダムパターンは、そもそも視覚的に見えにくいため、鮮明に撮像するのは基本的に難しい。本発明の関連技術では、リング照明ユニットを使用して中央部に比較して陰影が強く表れる周縁部からランダムパターンを取得するようにして改善を図っている。しかし、リング照明ユニットなどの特殊な照明装置が必要である。また、カメラの位置も正確である必要がある。そのため、リング照明ユニットなどの特殊な照明装置を所持していない一般人が、スマートフォンのカメラなどを利用して、照合対象の錠剤から鮮明なランダムパターンを取得するのは困難である。その結果、照合精度が低下する、という課題があった。かかる課題は、錠剤だけでなく物体固有のランダムパターンを有する任意の物体においても生じ得る。
本発明の目的は、上述した課題を解決する物体照合装置を提供することにある。
本発明の一形態に係る物体照合装置は、
文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する判定手段と、
を備える。
また、本発明の他の形態に係る物体印刷装置は、
登録対象の物体に文字を印刷する印刷手段と、
前記文字が印刷された前記物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出する抽出手段と、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶する記憶手段と、
を備える。
また、本発明の他の形態に係る物体照合方法は、
文字が印刷された照合対象の物体を撮像した画像を取得し、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出し、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する。
また、本発明の他の形態に係る物体印刷方法は、
登録対象の物体に文字を印刷し、
前記文字が印刷された前記物体を撮像した画像を取得し、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出し、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶する。
また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する判定手段と、
して機能させるためのプログラムを記録する。
また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータを、
文字が印刷された登録対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出する抽出手段と、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶手段に登録する登録手段と、
して機能させるためのプログラムを記録する。
本発明は、上述した構成を有することにより、照合精度の高い物体照合が行える。
本発明の第1の実施形態に係る錠剤印刷装置の構成を示す図である。 本発明の第1の実施形態において印刷用データとして使用する画像データの例を示す図である。 本発明の第1の実施形態においてインクジェットプリンタにより錠剤に印刷が行われる様子を示す図である。 本発明の第1の実施形態において、プリントヘッドに正対する姿勢を有する錠剤に対して長さWの線分パターンを印刷してできる印刷部位を示す模式図である。 本発明の第1の実施形態において、プリントヘッドに対して正対しない姿勢を有する錠剤に対して長さWの線分パターンを印刷してできる印刷部位を示す模式図である。 錠剤の形状の例を示す図である。 本発明の第1の実施形態において、画像データを印刷した錠剤の上面図の例を示す図である。 本発明の第1の実施形態において、錠剤に印刷された画像データ中の一部の文字部分の拡大図である。 本発明の第1の実施形態に係る錠剤印刷装置の制御ユニットのブロック図である。 本発明の第1の実施形態に係る錠剤印刷装置の制御ユニットのハードウェア構成例を示すブロック図である。 本発明の第1の実施形態において、印刷後の錠剤を含む画像とその画像から取得された登録部分画像の例を示す図である。 本発明の第1の実施形態において、印刷後の錠剤を含む画像から取得した錠剤の輪郭データの一例を示す図である。 本発明の第1の実施形態において、印刷後の錠剤を含む画像から取得した錠剤の輪郭データの他の例を示す図である。 本発明の第1の実施形態に係る錠剤印刷装置におけるデータベースの登録情報の例を示す。 本発明の第1の実施形態に係る錠剤印刷装置における制御ユニットの処理例を示すフローチャートである。 本発明の第2の実施形態に係る錠剤照合装置の構成図である。 本発明の第2の実施形態に係る錠剤照合装置のハードウェア構成例を示す図である。 本発明の第2の実施形態に係る錠剤照合装置の処理例を示すフローチャートである。 本発明の第2の実施形態に係る錠剤照合装置における照合データ取得部の処理例を示すフローチャートである。 本発明の第2の実施形態に係る錠剤照合装置における照合データ取得部が補正画像を作成する方法の一例を示すフローチャートである。 本発明の第2の実施形態に係る錠剤照合装置における照合データ取得部が補正画像を作成する他の方法の説明図である。 本発明の第2の実施形態に係る錠剤照合装置における判定部の処理例を示すフローチャートである。 本発明の第2の実施形態に係る錠剤照合装置における判定部の他の処理例を示すフローチャートである。 本発明の第3の実施形態に係る物体印刷装置のブロック図である。 本発明の第4の実施形態に係る物体照合装置のブロック図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
先ず、本発明の第1の実施形態に係る錠剤印刷装置について説明する。
本実施の形態に係る錠剤印刷装置は、登録対象の錠剤にインクジェット印刷により文字を印刷するように構成されている。また、錠剤印刷装置は、文字が印刷された錠剤を撮像した画像を取得するように構成されている。また、錠剤印刷装置は、上記画像から文字を含む所定サイズの部分画像を登録部分画像として抽出するように構成されている。また、錠剤印刷装置は、上記画像から錠剤の輪郭データを登録輪郭データとして抽出するように構成されている。また、錠剤印刷装置は、上記登録部分画像と上記登録輪郭データとを、錠剤の同一性を判定するためのデータとして記憶するように構成されている。
図1は本実施形態に係る錠剤印刷装置の構成を示す図である。図1を参照すると、本実施形態に係る錠剤印刷装置は、錠剤1を供給するためのホッパ2と、ホッパ2により供給された錠剤1を搬送するためのベルトコンベア3とを備えている。ベルトコンベア3は、搬送中の錠剤1の姿勢(向き)を安定させるための図示しないガイドを有していてよい。例えば、ベルトコンベア3は、搬送方向に沿って整列配置された凹部からなるガイドを有していてよい。ホッパ2から供給された錠剤1は、その一部がガイドの凹部に収容されることにより、姿勢が安定する。
また、本実施形態に係る錠剤印刷装置は、ベルトコンベア3上の錠剤1を検出するための検出用カメラ4と、検出用カメラ4で検出された錠剤1に対して文字を印刷するインクジェットプリンタ5と、インクジェットプリンタ5による印刷が行われた錠剤1の画像を取得する登録用カメラ6と、データベース7と、制御ユニット8と、良品格納ボックス9と、不良品排出ユニット12と、不良品格納ボックス13とを備えている。
検出用カメラ4は、ベルトコンベア3上を搬送される錠剤1を、ベルトコンベア3の所定の場所の上方から撮像する撮像手段である。制御ユニット8は、検出用カメラ4の画像を解析することにより、ベルトコンベア3の所定の場所に錠剤1が存在するか否か、存在する場合には錠剤1の正確な位置および姿勢(向き)等を検出することができる。
インクジェットプリンタ5は、錠剤1に所定の文字を印刷する印刷手段である。印刷する文字は、予め定められている。また、本明細書において、「文字」とは、カタカナ、ひらがな、アルファベットなどの狭義の意味の文字に限定されず、記号や図形などを含む。文字の色は、錠剤1の表面色と明確に区別できる色に設定される。また、文字のサイズ、形状は、錠剤1に全ての文字の全体が収まるように設定される。インクジェットプリンタ5は、制御ユニット8により印刷動作が制御される。
制御ユニット8は、検出用カメラ4により撮像された画像に基づいて、錠剤1の位置や姿勢等を検出し、検出した情報に基づいてベルトコンベア3上の錠剤1に対して指定された位置に指定された文字が印刷されるタイミングでインクジェットプリンタ5を制御する。
図2は、印刷用データとして使用する画像データ14の例を示す。この例の画像データ14は、「ファーマ」と「システムズ」なる文字列が所定の字体を使用して、所定の文字間隔で、2段に印刷される例である。画像データ14中の文字の色は錠剤1の表面色と異なるように設定されている。また、画像データ14中の文字の背景色は、例えば無色に設定されている。また、画像データ14の横、縦のサイズは、それぞれW、Hである。画像データ中の文字列の外接矩形の横、縦のサイズが、上記W、Hと同じになるように文字の配置が設定されていてよい。或いは、画像データ14の輪郭を表す枠が錠剤1の表面色と異なる色で設定されていてもよい。画像データ14は、文字の基準画像あるいは基準文字パターンとも呼ぶ。
図3は、インクジェットプリンタ5により錠剤1に印刷が行われる様子を示す図である。図3を参照すると、錠剤1は、ベルトコンベア3によりインクジェットプリンタ5の図示しないプリントヘッドの下を通過する際に、「ファーマ」、「システムズ」という文字が印刷されている。ここで、印刷時の錠剤1の姿勢にかかわらず、錠剤1に画像データ14を印刷した状態を直上から観察すると、錠剤1に印刷された画像データ14の横、縦のサイズ、文字の形状やサイズは、印刷用データとして使用した画像データ14に一致する。その理由は以下の通りである。
図4Aは、プリントヘッドに正対する姿勢を有する錠剤1に対して長さWの線分パターンを印刷してできる印刷部位15を示す。また、図4Bは、プリントヘッドに対して正対しない姿勢を有する錠剤1に対して長さWの線分パターンを印刷してできる印刷部位16を示す。どちらの印刷部位15、16も、プリントヘッド側から観察する限り、同じ長さWに見える。それ故、上述したように、印刷時の錠剤1の姿勢にかかわらず、錠剤1に印刷された画像データ14の横、縦のサイズ、文字の形状やサイズは、印刷用データとして使用した画像データ14のものと一致することになる。なお、錠剤1がプリントヘッドに正対するとは、例えば図5に示すように、錠剤1の形状が、文字が印刷される曲面部1aと、その反対側の曲面部1bと、それらの間に存在する側面部1cとで規定される場合、曲面部1aがプリントヘッドに正対している状態を意味するものとする。
登録用カメラ6は、インクジェットプリンタ5によって印刷が行われた後の錠剤1がカメラ6の直下に搬送されてきたタイミングで、直上から錠剤1の全体を含む画像を撮像する撮像手段である。従って、錠剤1が印刷位置から登録用カメラ6の撮像場所まで同じ姿勢を維持する場合、登録用カメラ6で撮像された錠剤1の画像中の印刷された画像データ14の横、縦のサイズ、文字の形状やサイズは、画像データ14のものと一致する。一方、同じ画像データ14を印刷した場合であっても、プリンタヘッドから噴射された微細なインク粒によって形成される印刷部位のドットの形状および配置は、インク粒が着弾する箇所の凹凸、印刷時の錠剤の姿勢、インクの浸透むら等の多くの要因によって決定され、決して同じにはなり得ず、また後に再現することも極めて困難である。そのため、インクによる印刷部位のランダムパターンは、錠剤の同一性を判定するデータとして利用することができる。そのため、登録用カメラ6は、画像データ14を印刷するためにインクジェットプリンタ5から噴射されたインクによって形成されたドットの形状および配置が判別可能な分解能で錠剤1の画像を取得するように構成されている。
図6Aは、画像データ14を印刷した3つの錠剤の上面図の例を示す。また、図6Bは、上記3つの錠剤に印刷された画像データ14中の文字「テ」の部分の拡大図を示す。図6Bに示されるように、同じ「テ」という文字であっても、それを構成する印刷部位のドットの形状および配置は互いに相違している。
再び図1を参照すると、不良品排出ユニット12は、制御ユニット8の制御に基づいて、ベルトコンベア3上を配送されている錠剤1を不良品格納ボックス13に排出するように動作する。
不良品格納ボックス13は、不良品排出ユニット12により排出された不良品の錠剤を格納するための排出場所である。良品格納ボックス9は、不良品排出ユニット12により排出されなかった良品の錠剤1を格納するための格納場所である。
制御ユニット8は、登録用カメラ6により撮像された錠剤1の画像に基づいて、錠剤1の印刷状態を確認し、印刷不良の場合には不良品排出ユニット12を制御して不良品の錠剤1が不良品格納ボックス13に排出されるように制御する。また、制御ユニット8は、印刷不良でない錠剤1については、登録用カメラ6により撮像された錠剤1の画像から錠剤の同一性を判定するためのデータを取得し、データベース7に登録する。
図7は制御ユニット8のブロック図である。図7を参照すると、制御ユニット8は、印刷制御部21と不良品検出部22と登録データ取得部23とを備えている。このような制御ユニット8は、例えば図8に示すように、通信インタフェース部31と、キーボードやマウスなどの操作入力部32と、液晶ディスプレイ等の画面表示部33と、メモリやハードディスク等の記憶部34と、1以上のマイクロプロセッサ等の演算処理部35とを有するパーソナルコンピュータ等の情報処理装置36と、プログラム37とで実現することができる。プログラム37は、情報処理装置36の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体から記憶部34に読み込まれ、演算処理部35の動作を制御することにより、演算処理部35上に、印刷制御部21、不良品検出部22、および登録データ取得部23を実現する。
印刷制御部21は、検出用カメラ4により撮像された画像から錠剤1の位置および姿勢などを検出し、検出した錠剤1の位置とベルトコンベア3の搬送速度とインクジェットプリンタ5の印刷速度等の情報から、インクジェットプリンタ5に対して印刷指示を出力するタイミングを算出し、算出したタイミングでインクジェットプリンタ5に対して印刷指示を送信する。
不良品検出部22は、登録用カメラ6により撮像された印刷後の錠剤1を含む画像から錠剤1に印刷された文字に印刷ずれや印刷のかすれなどの不具合がないか、錠剤1に欠け等の欠陥がないか否かを判定し、印刷不良または欠陥があると判定した場合、その錠剤1をベルトコンベア3から排出するよう不良品排出ユニット12を制御する。また、不良品検出部22は、不良品と判定した錠剤1を含む画像の識別情報(例えば画像のフレーム番号や撮影時刻など)を登録データ取得部23に通知する。
登録データ取得部23は、登録用カメラ6により撮像された印刷後の錠剤1を含む画像から、錠剤1に印刷された画像データ14の領域を登録部分画像として取得する。また、登録データ取得部23は、登録用カメラ6により撮像された印刷後の錠剤1を含む画像から、錠剤1の輪郭データを登録輪郭データとして取得する。また、登録データ取得部23は、上記取得した登録部分画像と登録輪郭データとの2種類の登録データをペアにして、データベース7に登録する。登録データ取得部23は、不良品排出ユニット12により不良品と判定された錠剤1を含む画像からは上記登録データは取得しない。
図9は、登録用カメラ6により撮像された印刷後の錠剤1を含む画像41とその画像から取得された登録部分画像42の例を示す。図9に示す例では、登録データ取得部23は、錠剤1の画像中に存在する全ての文字を包含する外接矩形を登録部分画像42として取得している。登録部分画像42の取得では、登録データ取得部23は、例えば、錠剤1の画像からパターンマッチング等の方法によって文字を認識し、認識した全ての文字を包含する外接矩形を生成し、外接矩形内の画像領域を登録部分画像42として取得する。或いは、登録データ取得部23は、印刷用データとして使用する画像データ14に輪郭線が存在する場合、錠剤1の画像から当該輪郭線をパターンマッチング等の方法によって認識し、認識した輪郭線内の画像領域を登録部分画像42として取得する。取得された登録部分画像42には、インクによる印刷部位および錠剤表面が露出した非印刷部位の双方が含まれている。
図10Aは、登録用カメラ6により撮像された印刷後の錠剤1を含む画像から取得した錠剤1の輪郭データ43の一例を示す。この輪郭データ43は、プリントヘッドに正対する姿勢で印刷が行われた錠剤1の輪郭データの例である。図10Bは、画像から取得した錠剤1の輪郭データ43の他の例を示す。図10Bに示す輪郭データ43は、プリントヘッドに正対せずに傾いた向きで印刷が行われた錠剤1の輪郭データの例である。傾いた向きで印刷が行われた錠剤1では、曲面部1aの輪郭だけでなく、図10Aでは現れていない側面部1cや下側の曲面部1bの輪郭の一部が取得されている。輪郭データ43は、例えば、輪郭部分が値1、それ以外が値0の2値画像であってよい。或いは、輪郭データ43は、輪郭をできるだけ忠実に多数の線分で近似し、線分と線分の接続点である頂点座標の組からなるデータであってもよい。また、登録データ取得部23は、錠剤1の輪郭データとして、図10A、図10Bに示すような錠剤1の形状の輪郭データに加えて、インクジェットプリンタ5によって錠剤1に印刷された文字の輪郭データを取得するように構成されていてよい。さらに、インクジェットプリンタ5による印刷前に錠剤1の表面に何らかの定形パターンが施されている場合、錠剤1の形状の輪郭データに加えて、上記定形パターンの輪郭データを取得するように構成されていてよい。定形パターンの例として、文字、図形、記号、デザイン画、バーコードなどがある。例えば、上下が別々の色に塗り分けられたカプセル錠剤などがその一例である。このように錠剤1に施されている定形パターンは、錠剤1の同じ場所に施されていても錠剤1の姿勢によって見え方が変化するため、錠剤1の形状の輪郭データと同様に同一性を判定するデータとして利用することができる。錠剤1の形状の輪郭データだけでなく、定形パターンを利用することにより、より高精度な真贋判定あるいは照合の枝刈りが可能になる。但し、そのような定形パターンを利用しない形態も当然本発明に含まれる。
図11は、データベース7の登録情報の例を示す。図11を参照すると、データベース7は、登録部分画像45-1~45-nと登録輪郭データ46-1~46-nとのペアが登録されている。
図12は、制御ユニット8の処理例を示すフローチャートである。ホッパ2により供給された錠剤1がベルトコンベア3上を搬送されて検出用カメラ4の直下を通過すると、検出用カメラ4によりその錠剤1の画像が撮像される。制御ユニット8の印刷制御部21は、この撮像された画像を検出用カメラ4から取得し(ステップS1)、その画像を解析して錠剤1の位置を確認する(ステップS2)。次に、印刷制御部21は、錠剤1がインクジェットプリンタ5のプリントヘッドの直下を通過するタイミングで基準文字パターンを印刷するようにインクジェットプリンタ5を制御する(ステップS3)。
次に、印刷処理が行われた錠剤1が登録用カメラ6の直下を通過すると、登録用カメラ6により印刷処理後の錠剤1の画像が撮像される。制御ユニット8の不良品検出部22および登録データ取得部23は、この撮像された画像を登録用カメラ6から取得する(ステップS4)。次に、不良品検出部22は、取得した画像から印刷の良否を判定し(ステップS5)、不良の場合(ステップS6でNO)、錠剤1を不良品排出ユニット12により不良品格納ボックス13に排出する(ステップS9)。他方、不良でない場合、登録データ取得部23は、登録用カメラ6から取得した画像から、登録部分画像と登録輪郭データとを取得する(ステップS7)。次に、登録データ取得部23は、取得した登録部分画像と登録輪郭データとを対応付けてデータベース7に登録する(ステップS8)。
次に本実施形態の効果を説明する。
第1に、錠剤の同一性を判定するための照合の精度を高めることができることである。その理由は、錠剤にインクジェット印刷したインクによる印刷部位のランダムパターンは、錠剤表面の凹凸に起因するランダムパターンに比べて、再現性良く且つ鮮明に撮像できるためである。
第2に、文字を含む部分画像である登録部分画像と共に、錠剤の姿勢を表す登録輪郭データを、錠剤の同一性を判定するためのデータとして取得するため、文字を含む部分画像だけでなく、印刷時の錠剤の姿勢に基づいて錠剤の同一性を判定することができることである。
[第2の実施形態]
次に、本発明の第2の実施形態に係る錠剤照合装置について説明する。本実施形態に係る錠剤照合装置は、例えば市場で入手した錠剤が正規に製造された本物(真の錠剤)であるのか、偽物であるのかを判定するための装置である。
図13は、本実施形態に係る錠剤照合装置の構成図である。図13を参照すると、本実施形態に係る錠剤照合装置は、カメラ51と、照合データ取得部52と、データベース53と、判定部54と、出力部55とを備えている。このような錠剤照合装置は、例えば図14に示すように、カメラ60と、通信インタフェース部61と、キーボードやマウスなどの操作入力部62と、液晶ディスプレイ等の画面表示部63と、メモリやハードディスク等の記憶部64と、1以上のマイクロプロセッサ等の演算処理部65とを有するパーソナルコンピュータあるいはスマートフォン等の情報処理装置66と、プログラム67とで実現することができる。プログラム67は、情報処理装置66の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体から記憶部64に読み込まれ、演算処理部65の動作を制御することにより、演算処理部65上に、照合データ取得部52と、データベース53と、判定部54と、出力部55とを実現する。
カメラ51は、真贋判定の対象とされる錠剤1を撮像する撮像手段である。錠剤照合装置を使用して真贋判定を行う利用者は、真贋判定の対象とされる錠剤1を文字が印刷された曲面部1aを上にしてテーブルなどの上に載置し、錠剤1全体をカメラ51で撮像する。
照合データ取得部52は、カメラ51で撮像された錠剤1を含む画像から、文字を含む所定サイズの部分画像を照合部分画像として取得するように構成されている。また、照合データ取得部52は、上記画像から錠剤1の輪郭データを照合輪郭データとして取得するように構成されている。
データベース53は、図1に示した錠剤印刷装置に備わるデータベース7と同様の2種類の登録用データ、即ち登録部分画像と登録輪郭データのペアを1以上事前に記憶している。また、データベース53は、照合対象となる錠剤1の3次元モデルを事前に記憶している。3次元モデルの表現方法は任意であり、例えばサーフェス、ソリッドを使用してよい。錠剤1の形状の輪郭データに加えて、錠剤1の表面に施されている定形パターンの輪郭データを使用する場合、照合対象となる錠剤1の3次元モデルは、錠剤1の表面に施されている定形パターンのデータを含んで構成されている。
判定部54は、照合データ取得部52により取得された照合部分画像および照合輪郭データと、データベース53に記憶されている登録部分画像および登録輪郭データとを比較して、錠剤1が正規に製造された本物(真の錠剤)であるのか、偽物であるのかを判定するように構成されている。
出力部55は、判定部54の判定結果を、画面表示部63に表示し、または、通信インタフェース部61を通じて外部の端末へ送信するように構成されている。
図15は、本実施形態に係る錠剤照合装置の処理例を示すフローチャートである。図15を参照すると、先ず、カメラ51は、利用者のカメラ操作に従って錠剤1を含む画像を撮像する(ステップS11)。次に、照合データ取得部52は、カメラ51で撮像された錠剤1を含む画像から、照合部分画像と照合輪郭データとの2種類の照合データを取得する(ステップS12)。次に、判定部54は、照合データ取得部52により取得された照合部分画像および照合輪郭データと、データベース53に事前に記憶されている登録部分画像および登録輪郭データとを比較して、錠剤1の真贋を判定する(ステップS13)。次に、出力部55は、判定部54の判定結果を出力する(ステップS14)。
続いて、照合データ取得部52および判定部54の処理を詳細に説明する。
先ず、照合データ取得部52の処理を詳細に説明する。
図16は、照合データ取得部52の処理例を示すフローチャートである。図16を参照すると、照合データ取得部52は、カメラ51によって撮像された錠剤1の画像をオリジナル画像とし、オリジナル画像から照合部分画像を抽出する(ステップS21)。照合部分画像を抽出する方法は、錠剤印刷装置の登録データ取得部23が画像から登録部分画像を抽出する方法と同じである。
次に、照合データ取得部52は、オリジナル画像から抽出した照合部分画像の横および縦のサイズ、文字の形状やサイズと、基準文字パターンである画像データ14の横および縦のサイズ、文字の形状やサイズとを比較することにより、照合部分画像と基準文字パターンとの類似度を算出する(ステップS22)。類似度の求め方は任意である。例えば、照合データ取得部52は、オリジナル画像から抽出した照合部分画像と基準文字パターンとの相関値の最大値を類似度としてよい。照合データ取得部52が使用する基準文字パターンは、錠剤印刷装置のインクジェットプリンタ5が印刷用データとして使用する画像データ14と同じである。カメラ51で撮像した際の錠剤1の姿勢が、その錠剤1に文字を印刷した際の錠剤1の姿勢と同一であるならば、照合部分画像と基準文字パターンとは一致する。しかし、カメラ51で撮像した際の錠剤1の姿勢が、その錠剤1に文字を印刷した際の錠剤1の姿勢と相違すると、照合部分画像は基準文字パターンに対して歪みが生じる。例えば図4Aの印刷部位15を、錠剤1に正対しない方向から観察すると、Wより短いW’のパターンに見える。
次に、照合データ取得部52は、類似度を閾値と比較する(ステップS23)。次に、照合データ取得部52は、類似度が閾値以上であれば(ステップS23でYES)、ステップS21で抽出した照合部分画像を判定部54に出力する(ステップS24)。また、照合データ取得部52は、オリジナル画像から錠剤1の輪郭データを抽出し、この抽出した輪郭データを照合輪郭データとして判定部54に出力する(ステップS25)。照合輪郭データを抽出する方法は、錠剤印刷装置の登録データ取得部23が画像から登録輪郭データを抽出する方法と同じである。
他方、照合データ取得部52は、類似度が閾値未満であれば(ステップS23でNO)、以下の処理を行う。
先ず、照合データ取得部52は、文字を印刷したときの錠剤1の姿勢と同じ姿勢の錠剤1をカメラ51で撮像した画像をオリジナル画像から画像処理によって作成する(ステップS26)。この作成した画像を補正画像と呼ぶ。この補正画像を作成する方法の詳細は後述する。
次に、照合データ取得部52は、ステップS21と同様の方法を使用して、補正画像から照合部分画像を取得し、この取得した照合部分画像を判定部54に出力する(ステップS27)。次に、照合データ取得部52は、補正画像から錠剤1の輪郭データを取得し、この取得した輪郭データを照合輪郭データとして判定部54に出力する(ステップS28)。
次に、オリジナル画像から補正画像を作成する方法の詳細を説明する。
図17は、補正画像を作成する方法の一例を示すフローチャートである。図17を参照すると、照合データ取得部52は、先ず、照合対象の錠剤1の3次元モデルをデータベース53から取得する(ステップS31)。次に、照合データ取得部52は、3次元モデルとオリジナル画像中の錠剤1の画像との位置合わせを行う(ステップS32)。ここで言う位置合わせとは、3次元モデルを撮像する仮想的なカメラの位置および画角を、オリジナル画像を撮像したカメラ51の位置および画角に一致させることである。即ち、オリジナル画像中の錠剤1の画像と同じように撮像できる仮想的なカメラの位置および画角を決定することである。カメラ51の位置等は未知であるため、照合データ取得部52は、例えば仮想的なカメラの位置および画角を変更しながら、3次元モデルとオリジナル画像中の錠剤1の画像のマッチング処理を行うことにより、3次元モデルとオリジナル画像中の錠剤1の画像との位置合わせを行う。
次に照合データ取得部52は、オリジナル画像中の錠剤の画像を、位置合わせした3次元モデルにテクスチャマッピングする(ステップS33)。即ち、位置合わせした3次元モデルの表面ポリゴンに対して錠剤の画像をマッピングする。
次に照合データ取得部52は、3次元モデルにテクスチャマッピングされた文字を含む照合部分画像が基準文字パターンに一致する視点、即ち仮想カメラの位置を決定する(ステップS34)。次に照合データ取得部52は、決定した視点の3次元モデルの画像、即ち決定した視点から3次元モデルを撮像した画像を補正画像として取得する(ステップS35)。
図18は、オリジナル画像から抽出した照合部分画像の歪みを補正する他の方法の説明図である。図18において、画像71がオリジナル画像から抽出した照合部分画像、画像72が印刷用データである画像データ14である。照合データ取得部52は、画像71の頂点71a、71b、71c、71dを検出し、それぞれを画像72の頂点72a、72b、72c、72dに対応付ける。次に、照合データ取得部52は、画像71を画像72と同じサイズおよび縦横比の長方形になるように画像71の歪みを補正する。このような照合データ取得部52は、歪み補正機能を有するフォトショップ(登録商標)などのソフトウェアを使用して実現することができる。
次に、判定部54の詳細を説明する。
図19は、判定部54の処理例を示すフローチャートである。図19を参照すると、判定部54は、データベース53に記憶されている登録部分画像と登録輪郭データとのペアの1つに注目する(ステップS41)。次に、判定部54は、注目中のペアの登録輪郭データと照合輪郭データとの類似度を算出する(ステップS42)。錠剤の輪郭データどうしの類似度は、2値化した輪郭データのパターンマッチングや、2値化した輪郭データから抽出した特徴量どうしの比較演算等によって、照合部分画像と登録部分画像との相関処理に比べて少ない計算量で算出できる。類似度は、互いの輪郭データが類似していればいるほど、大きな値になり、類似していなければ小さな値になる。
次に、判定部54は、類似度を予め設定された閾値TH1と比較する(ステップS43)。次に、判定部54は、類似度が閾値TH1未満であれば、注目中のペアの登録部分画像による照合処理(ステップS44、S45)を省略し、ステップS46へと進む。また判定部54は、類似度が閾値TH1以上であれば、注目中のペアの登録部分画像と照合部分画像との相関値を、位相限定相関法などを使用して算出する(ステップS44)。相関値は、登録部分画像と照合部分画像とが、同じ錠剤1から取得されている場合、1に近い値となる。次に、判定部54は、相関値を予め設定された閾値TH2と比較する(ステップS45)。次に、判定部54は、相関値が閾値TH2以上であれば、錠剤1は本物の錠剤であると判定する(ステップS49)。そして、判定部54は、図19の処理を終了する。また、判定部54は、相関値が閾値TH2未満であれば、ステップS46へと進む。
判定部54は、ステップS46では、データベース53に記憶されている登録部分画像と登録輪郭データとの次のペアの1つに注目を移す。そして、判定部54は、ステップS42に戻って、上述した処理と同様の処理を繰り返す。また、判定部54は、データベース53中の全てのペアに注目し終えると(ステップS47でYES)、錠剤1は偽物の錠剤であると判定する(ステップS48)。そして、判定部54は図19の処理を終了する。
図20は、判定部54の他の処理例を示すフローチャートである。図20を参照すると、判定部54は、データベース53に記憶されている全ての登録輪郭データと照合輪郭データとの類似度を算出する(ステップS51)。次に、判定部54は、データベース53中の登録部分画像と登録輪郭データとのペアを、その登録輪郭データと照合輪郭データとの類似度の降順にソートし、ソート後のペアをペア集合に格納する(ステップS52)。
次に判定部54は、ペア集合中の類似度の一番大きいペアに注目し(ステップS53)、その類似度を予め設定された閾値TH1と比較する(ステップS54)。次に、判定部54は、類似度が閾値TH1未満であれば、錠剤1は偽物の錠剤であると判定する(ステップS59)。そして、判定部54は図20の処理を終了する。一方、判定部54は、類似度が閾値TH1以上であれば、注目中のペアの登録部分画像と照合部分画像との相関値を、位相限定相関法などを使用して算出する(ステップS55)。次に、判定部54は、相関値を予め設定された閾値TH2と比較する(ステップS56)。次に、判定部54は、相関値が閾値TH2以上であれば、錠剤1は本物の錠剤であると判定する(ステップS60)。そして、判定部54は、図20の処理を終了する。また、判定部54は、相関値が閾値TH2未満であれば、ペア集合中の次に類似度の大きなペアの1つに注目を移す(ステップS57)。そして、判定部54は、ステップS54に戻って、上述した処理と同様の処理を繰り返す。また、判定部54は、ペア集合中の全てのペアに注目し終えると(ステップS58でYES)、錠剤1は偽物の錠剤であると判定する(ステップS59)。そして、判定部54は図20の処理を終了する。
次に本実施形態の効果を説明する。
第1に、照合精度の高い錠剤照合装置が得られることである。その理由は、文字が印刷された照合対象の錠剤を撮像した画像から上記文字を含む照合部分画像を抽出し、その照合部分画像と、真の錠剤から取得され予め登録されている登録部分画像とを比較することにより、照合対象の錠剤の同一性を判定するためである。
第2に、特殊な照明装置を所持していない一般人であってもスマートフォン等のカメラなどを使用して、手軽に鮮明なランダムパターンを撮像して真贋判定できることである。その理由は、文字が印刷された照合対象の錠剤を撮像した画像からは、手軽に鮮明なランダムパターンを得ることができるためである。
第3に、高速な真贋判定が行えることである。その理由は、文字印刷時の錠剤の姿勢を表す輪郭データを使用して錠剤照合の枝刈りをしているためである。即ち、錠剤照合装置の判定部54は、錠剤1の照合輪郭データと真の錠剤から取得され予め登録されている登録輪郭データとの類似度を算出して、閾値と比較することにより、錠剤1の文字を含む照合部分画像と登録部分画像との相関演算の要否を決定し、演算量の多い相関演算を行う回数を削減しているためである。
第4に、登録時と照合時の撮像方向の相違に頑健な真贋判定が行えることである。その理由の1つは、本発明の関連技術による錠剤の周縁部の陰影に起因するランダムパターンは、照明が照射される方向(照明方向)が多少ずれるだけでも比較的容易に変化し、それに応じて得られるランダムパターンも変化する。また、そもそも、携帯電話のカメラ等ではレンズ口径が小さいために明暗の感度が悪いため、強い照明を当てなければ、薄い陰影の濃淡を安定して撮像できないことが多い。そのため、同一の錠剤であっても、登録時と照合時の照明方向や照明機材に相違があると、得られるランダムパターンが相違し、照合精度が低下する。これに対して、文字が印刷された照合対象の錠剤を撮像した画像から取得されるランダムパターンは、濃い色のインクの付着の有無によって生じる明暗であり、元々鮮明に得られるものであるため、登録時と照合時とで撮像方向が多少相違してもランダムパターンはあまり変化しないためである。他の理由の1つは、錠剤照合装置の照合データ取得部52は、オリジナル画像の歪みを補正した補正画像を算出し、この補正画像から照合部分画像を取得するためである。
[第3の実施形態]
次に、本発明の第3の実施形態に係る物体印刷装置について説明する。図21は本実施形態に係る物体印刷装置のブロック図である。
図21を参照すると、本実施形態に係る物体印刷装置100は、印刷手段101と、取得手段102と、抽出手段103と、記憶手段104とを備えている。
印刷手段101は、登録対象の物体に文字を印刷するように構成されている。物体は、例えば錠剤であってもよいし、錠剤以外の物体、例えば菓子、半導体部品、機械部品、製品パッケージなどであってよい。印刷手段101は、例えばインクジェットプリンタによって構成することができるが、それに限定されない。取得手段102は、印刷手段101によって文字が印刷された物体を撮像した画像を取得するように構成されている。取得手段102は、例えばカメラによって構成することができるが、それに限定されない。抽出手段103は、取得手段102によって取得された画像から、上記文字を含む登録部分画像を抽出するように構成されている。抽出手段103は、例えば第1の実施形態に係る物体印刷装置の登録データ取得部23と同様に構成することができるが、それに限定されない。記憶手段104は、抽出手段103によって抽出された登録部分画像を、登録対象の物体の同一性を判定するためのデータとして記憶するように構成されている。
このように構成された物体印刷装置100は、以下のように動作する。先ず印刷手段101は、登録対象の物体に文字を印刷する。次に取得手段102は、印刷手段101によって文字が印刷された物体を撮像した画像を取得する。次に抽出手段103は、取得手段102によって取得された画像から、上記文字を含む登録部分画像を抽出する。次に記憶手段104は、抽出手段103によって抽出された登録部分画像を、登録対象の物体の同一性を判定するためのデータとして記憶する。
以上のように構成され、動作する物体印刷装置100によれば、物体の同一性を判定するための照合精度を高めることができる。その理由は、物体に印刷した文字による印刷部位のランダムパターンは、物体表面の陰影に起因するランダムパターンに比べて、特殊な照明装置を使わずとも鮮明に撮像できるため、再現性良く抽出することができるためである。
[第4の実施形態]
次に、本発明の第4の実施形態に係る物体照合装置について説明する。図22は本実施形態に係る物体照合装置のブロック図である。
図22を参照すると、本実施形態に係る物体照合装置110は、取得手段111と、抽出手段112と、判定手段113とを備えている。
取得手段111は、文字が印刷された照合対象の物体を撮像した画像を取得するように構成されている。物体は、例えば錠剤であってもよいし、錠剤以外の物体、例えば菓子、半導体部品、機械部品、製品パッケージなどであってよい。取得手段111は、例えばカメラによって構成することができるが、それに限定されない。抽出手段112は、取得手段111によって取得された画像から、上記文字を含む照合部分画像を抽出するように構成されている。抽出手段112は、例えば本発明の第2の実施形態に係る物体照合装置の照合データ取得部52と同様に構成することができるが、それに限定されない。判定手段113は、抽出手段112によって抽出された照合部分画像と、真の物体から取得され予め登録されている登録部分画像とを比較することにより、照合対象の物体の同一性を判定するように構成されている。判定手段113は、例えば本発明の第2の実施形態に係る物体照合装置の判定部54と同様に構成することができるが、それに限定されない。
このように構成された物体照合装置110は、以下のように動作する。先ず取得手段111は、文字が印刷された照合対象の物体を撮像した画像を取得する。次に抽出手段112は、取得手段111によって取得された画像から、上記文字を含む照合部分画像を抽出する。次に判定手段113は、抽出手段112によって抽出された照合部分画像と、真の物体から取得され予め登録されている登録部分画像とを比較することにより、照合対象の物体の同一性を判定する。
以上のように構成され、動作する物体照合装置110によれば、物体の同一性を判定するための照合精度を高めることができる。その理由は、物体に印刷した文字による印刷部位のランダムパターンは、物体表面の陰影に起因するランダムパターンに比べて、特殊な照明装置を使わずとも鮮明に撮像できるため、再現性良く抽出することができるためである。
[他の実施形態]
本発明の他の実施形態について説明する。
例えば、第1の実施形態に係る錠剤印刷装置および第2の実施形態に係る錠剤照合装置では、錠剤の姿勢を表すデータとして錠剤の輪郭データを使用した。しかし、錠剤の姿勢を表すデータは、錠剤の輪郭データに限定されない。例えば、錠剤の向きを表すデータを、錠剤の姿勢を表すデータとしてもよい。錠剤の向きを表すデータとしては、例えば、カメラに対して錠剤1の曲面部1bが正対している程度を表すデータとすることができるが、それに限定されない。錠剤の向きは、例えば、錠剤の輪郭データからパターンマッチングによって決定することができる。即ち、向きの異なる錠剤の輪郭データを基準輪郭データとして用意しておき、登録輪郭データまたは照合輪郭データとマッチする基準輪郭データに対応する向きを錠剤の向きに決定することができる。このように本発明では、物体の輪郭データ、および、物体の向きを表すデータを、物体の姿勢を表すデータとして用いることができる。また、物体の姿勢を表すデータは、第1および第2の実施形態において既に説明したように、物体の形状の輪郭データに加えて、物体の表面の施されている定形パターンの輪郭を含んで構成されていてもよい。例えば、商品名、絵、デザイン画などによる定形パターンが既に印刷されている直方体などの形状を有する商品パッケージに対して、インクジェット印刷などによって出荷先の名前、出荷番号、日時などの文字やバーコード等を印刷する物体印刷装置において、ベルトコンベアで搬送されてくる商品パッケージに文字を印刷した際、パッケージの形状の輪郭だけでなく、パッケージに印刷されていた定形パターンの輪郭を輪郭データとして抽出し、登録輪郭データとして登録するように構成されていてよい。また、物体照合装置では、照合対象の商品パッケージを撮像した画像から、物体の形状の輪郭データに加えて、物体の表面に施されている定形パターンの輪郭を表すデータを照合輪郭データとして抽出して照合に利用してよい。
また、第1の実施形態に係る錠剤印刷装置および第2の実施形態に係る錠剤照合装置では、文字を含む部分画像と錠剤の姿勢を表す輪郭データとを、錠剤の同一性を判定するためのデータとしたが、錠剤の姿勢を表す輪郭データを省略するように構成されていてもよい。即ち、錠剤印刷装置の登録データ取得部23は、登録輪郭データを取得しないように構成されていてよい。また、錠剤照合装置の照合データ取得部52は、照合輪郭データを取得しないように構成されていてよい。
また、第1の実施形態に係る錠剤印刷装置では、錠剤1の姿勢が印刷時と画像取得時とで殆ど変化しないことを前提としていた。また、登録用カメラ6は、インクジェットプリンタ5と同じく錠剤1の直上から錠剤1の画像を撮像するように構成されていた。しかし、錠剤1の姿勢が印刷時と画像取得時とで変化することもあり得る。また、設置スペース等の制限により、登録用カメラ6が錠剤1の直上から錠剤1の画像を撮像することができず、斜め方向から撮像しなければならない場合も考えられる。これらの場合、登録用カメラ6で撮像した錠剤1の画像から抽出される文字を含む登録部分画像は、錠剤照合装置の場合と同様に歪むことになる。そこで、本発明の他の形態として、錠剤印刷装置の登録データ取得部23は、錠剤照合装置の照合データ取得部52で行った処理と同様な補正処理(図17および図18に示される処理)を行うようにしてもよい。
本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
本発明は、錠剤単位での真贋判定など、物体の真贋判定に利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する判定手段と、
を備える物体照合装置。
[付記2]
前記抽出手段は、前記画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
前記判定手段は、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
付記1に記載の物体照合装置。
[付記3]
前記照合姿勢データは、前記物体の外形の輪郭を表すデータを含んで構成されている、
付記2に記載の物体照合装置。
[付記4]
前記照合姿勢データは、前記物体の表面に施されている定形パターンの輪郭を表すデータを含んで構成されている、
付記2または3に記載の物体照合装置。
[付記5]
前記抽出手段は、前記画像中の前記文字の領域と前記文字の基準画像とを比較して前記印刷された文字の歪みを検出し、前記検出された歪みに基づいて前記照合部分画像を補正する、
付記1乃至4の何れかに記載の物体照合装置。
[付記6]
前記抽出手段は、前記画像と予め登録されている物体3次元モデルとの位置合わせを行い、前記位置合わせ後の前記物体3次元モデルに前記画像をテクスチャマッピングし、前記物体3次元モデルにテクスチャマッピングされた前記画像中の前記文字のパターンが基準文字パターンに一致する視点を決定し、前記決定した視点の前記物体3次元モデルの画像から前記文字を含む所定サイズの部分画像を前記照合部分画像として抽出する、
付記1乃至4の何れかに記載の物体照合装置。
[付記7]
前記抽出手段は、前記位置合わせ後の前記物体3次元モデルの画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
前記判定手段は、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
付記6に記載の物体照合装置。
[付記8]
登録対象の物体に文字を印刷する印刷手段と、
前記文字が印刷された前記物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出する抽出手段と、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶する記憶手段と、
を備える物体印刷装置。
[付記9]
前記抽出手段は、前記画像から、前記物体の姿勢データを登録姿勢データとして抽出し、
前記記憶手段は、前記登録部分画像および前記登録姿勢データを、前記物体の同一性を判定するためのデータとして記憶する、
付記8に記載の物体印刷装置。
[付記10]
前記抽出手段は、前記画像中の前記文字の領域と前記文字の基準画像とを比較して前記印刷された文字の歪みを検出し、前記検出された歪みに基づいて前記登録部分画像を補正する、
付記8または9に記載の物体印刷装置。
[付記11]
前記抽出手段は、前記画像と予め登録されている物体3次元モデルとの位置合わせを行い、前記位置合わせ後の前記物体3次元モデルに前記画像をテクスチャマッピングし、前記物体3次元モデルにテクスチャマッピングされた前記画像中の前記文字のパターンが基準文字パターンに一致する視点を決定し、前記決定した視点の前記物体3次元モデルの画像から前記文字を含む所定サイズの部分画像を前記登録部分画像として抽出する、
付記8または9に記載の物体印刷装置。
[付記12]
前記抽出手段は、前記位置合わせ後の前記物体3次元モデルの画像から、前記物体の姿勢データを登録姿勢データとして抽出し、
前記記憶手段は、前記登録部分画像と前記登録姿勢データとを、前記物体の同一性を判定するためのデータとして記憶する、
付記11に記載の物体印刷装置。
[付記13]
文字が印刷された照合対象の物体を撮像した画像を取得し、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出し、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
物体照合方法。
[付記14]
前記抽出では、さらに、前記画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
前記判定では、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
付記13に記載の物体照合方法。
[付記15]
前記抽出では、前記画像中の前記文字の領域と前記文字の基準画像とを比較して前記印刷された文字の歪みを検出し、前記検出された歪みに基づいて前記照合部分画像を補正する、
付記13または14に記載の物体照合方法。
[付記16]
前記抽出では、前記画像と予め登録されている物体3次元モデルとの位置合わせを行い、前記位置合わせ後の前記物体3次元モデルに前記画像をテクスチャマッピングし、前記物体3次元モデルにテクスチャマッピングされた前記画像中の前記文字のパターンが基準文字パターンに一致する視点を決定し、前記決定した視点の前記物体3次元モデルの画像から前記文字を含む所定サイズの部分画像を前記照合部分画像として抽出する、
付記13または14に記載の物体照合方法。
[付記17]
前記抽出では、前記位置合わせ後の前記物体3次元モデルの画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
前記判定では、前記照合部分画像と前記照合姿勢データとを、登録対象の物体から取得され予め登録されている登録部分画像と登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
付記16に記載の物体照合方法。
[付記18]
登録対象の物体に文字を印刷し、
前記文字が印刷された前記物体を撮像した画像を取得し、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出し、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶する、
物体印刷方法。
[付記19]
前記抽出では、さらに、前記画像から、前記物体の姿勢データを登録姿勢データとして抽出し、
前記記憶では、前記登録部分画像および前記登録姿勢データを、前記物体の同一性を判定するためのデータとして記憶する、
付記18に記載の物体印刷方法。
[付記20]
前記抽出では、前記画像中の前記文字の領域と前記文字の基準画像とを比較して前記印刷された文字の歪みを検出し、前記検出された歪みに基づいて前記登録部分画像を補正する、
付記18または19に記載の物体印刷方法。
[付記21]
前記抽出では、前記画像と予め登録されている物体3次元モデルとの位置合わせを行い、前記位置合わせ後の前記物体3次元モデルに前記画像をテクスチャマッピングし、前記物体3次元モデルにテクスチャマッピングされた前記画像中の前記文字のパターンが基準文字パターンに一致する視点を決定し、前記決定した視点の前記物体3次元モデルの画像から前記文字を含む所定サイズの部分画像を前記登録部分画像として抽出する、
付記18または19に記載の物体印刷方法。
[付記22]
前記抽出では、前記位置合わせ後の前記物体3次元モデルの画像から、前記物体の姿勢データを登録姿勢データとして抽出し、
前記記憶では、前記登録部分画像と前記登録姿勢データとを、前記物体の同一性を判定するためのデータとして記憶する、
付記21に記載の物体印刷方法。
[付記23]
コンピュータを、
文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
前記照合部分画像と登録対象の物体から取得され予め登録されている登録部分画像とを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する判定手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
[付記24]
コンピュータを、
文字が印刷された登録対象の物体を撮像した画像を取得する取得手段と、
前記画像から、前記文字を含む所定サイズの部分画像を登録部分画像として抽出する抽出手段と、
前記登録部分画像を、前記物体の同一性を判定するためのデータとして記憶手段に登録する登録手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
1…錠剤
1a…曲面部
1b…曲面部
1c…側面部
2…ホッパ
3…ベルトコンベア
4…検出用カメラ
5…インクジェットプリンタ
6…登録用カメラ
7…データベース
8…制御ユニット
9…良品格納ボックス
12…不良品排出ユニット
13…不良品排出ボックス
14…印刷用データとして使用する画像データ
15…印刷部位
16…印刷部位
21…印刷制御部
22…不良品検出部
23…登録データ取得部
31…通信インタフェース部
32…操作入力部
33…画面表示部
34…記憶部
35…演算処理部
36…情報処理装置
37…プログラム
41…印刷後の錠剤を含む画像
42…登録部分画像
43…輪郭データ
45-1~45-n…登録部分画像
46-1~46-n…登録輪郭データ
51…カメラ
52…照合データ取得部
53…データベース
54…判定部
55…出力部
60…カメラ
61…通信インタフェース部
62…操作入力部
63…画面表示部
64…記憶部
65…演算処理部
66…情報処理装置
67…プログラム
71…画像
71a、71b、71c、71d…頂点
72…印刷用データである画像データ
72a、72b、72c、72d…頂点
100…物体印刷装置
101…印刷手段
102…取得手段
103…抽出手段
104…記憶手段
110…物体照合装置
111…取得手段
112…抽出手段
113…判定手段

Claims (6)

  1. インクジェット印刷により文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
    前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
    記照合対象の物体と登録対象の物体との同一性を判定する判定手段と、
    前記取得手段によって取得された画像から、前記文字が印刷されたときの前記照合対象の物体の姿勢と同じ姿勢の物体を撮像した画像を補正画像として作成する補正手段とを備え
    前記抽出手段は、前記補正画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
    前記判定手段は、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する物体照合装置。
  2. 前記照合姿勢データは、前記物体の外形の輪郭を表すデータを含んで構成されている、
    請求項に記載の物体照合装置。
  3. 前記照合姿勢データは、前記物体の表面に施されている定形パターンの輪郭を表すデータを含んで構成されている、
    請求項1または2に記載の物体照合装置。
  4. 前記補正手段は、前記取得手段によって取得された画像をオリジナル画像とし、前記オリジナル画像と予め登録されている物体3次元モデルとの位置合わせを行い、前記位置合わせ後の前記物体3次元モデルに前記オリジナル画像をテクスチャマッピングし、前記物体3次元モデルにテクスチャマッピングされた前記オリジナル画像中の前記文字のパターンが基準文字パターンに一致する視点を決定し、前記決定した視点の前記物体3次元モデルの画像を前記補正画像として取得する、
    請求項1乃至3の何れかに記載の物体照合装置。
  5. インクジェット印刷により文字が印刷された照合対象の物体を撮像した画像を取得し、
    前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出し、
    記照合対象の物体と登録対象の物体との同一性を判定し、
    前記取得された画像から、前記文字が印刷されたときの前記照合対象の物体の姿勢と同じ姿勢の物体を撮像した画像を補正画像として作成し、
    前記抽出では、前記補正画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
    前記判定では、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定する、
    物体照合方法。
  6. コンピュータを、
    インクジェット印刷により文字が印刷された照合対象の物体を撮像した画像を取得する取得手段と、
    前記画像から、前記文字を含む所定サイズの部分画像を照合部分画像として抽出する抽出手段と、
    記照合対象の物体と登録対象の物体との同一性を判定する判定手段と、
    前記取得手段によって取得された画像から、前記文字が印刷されたときの前記照合対象の物体の姿勢と同じ姿勢の物体を撮像した画像を補正画像として作成する補正手段として機能させるためのプログラムであって、
    前記抽出手段は、前記補正画像から、前記物体の姿勢データを照合姿勢データとして抽出し、
    前記判定手段は、前記照合部分画像および前記照合姿勢データと、登録対象の物体から取得され予め登録されている登録部分画像および登録姿勢データとを比較することにより、前記照合対象の物体と前記登録対象の物体との同一性を判定するプログラム。
JP2020537980A 2018-08-23 2018-08-23 物体照合装置 Active JP7215485B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031229 WO2020039567A1 (ja) 2018-08-23 2018-08-23 物体照合装置

Publications (2)

Publication Number Publication Date
JPWO2020039567A1 JPWO2020039567A1 (ja) 2021-08-10
JP7215485B2 true JP7215485B2 (ja) 2023-01-31

Family

ID=69592881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020537980A Active JP7215485B2 (ja) 2018-08-23 2018-08-23 物体照合装置

Country Status (3)

Country Link
US (1) US11983864B2 (ja)
JP (1) JP7215485B2 (ja)
WO (1) WO2020039567A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024334A4 (en) * 2020-03-27 2022-11-30 NEC Corporation INDIVIDUAL OBJECT IDENTIFICATION SYSTEM
WO2022085185A1 (ja) * 2020-10-23 2022-04-28 日本電気株式会社 個体識別装置
CN116429778A (zh) * 2022-01-12 2023-07-14 芝浦机械电子装置株式会社 片剂检查装置及片剂印刷装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323622A (ja) 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2011170745A (ja) 2010-02-22 2011-09-01 Burein:Kk パンの識別装置とそのプログラム
JP2012022413A (ja) 2010-07-12 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2012108752A (ja) 2010-11-18 2012-06-07 Fuji Xerox Co Ltd 画像処理システム、画像処理装置及び画像処理プログラム
WO2013018613A1 (ja) 2011-07-29 2013-02-07 日本電気株式会社 照合システム、照合サーバ、照合方法、特徴抽出装置、照合・検索装置及びプログラム
JP2015512075A (ja) 2012-01-23 2015-04-23 パーセプティメッド インコーポレイテッドPerceptimed, Inc. 自動化された医薬品錠剤の識別
JP2017208032A (ja) 2016-05-20 2017-11-24 株式会社テララコード研究所 真贋判定方法
JP2017217784A (ja) 2016-06-06 2017-12-14 フロイント産業株式会社 固形製剤印刷機及び固形製剤印刷方法
WO2018016214A1 (ja) 2016-07-21 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538967B2 (ja) * 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
KR101687613B1 (ko) * 2010-06-21 2016-12-20 엘지전자 주식회사 이동 단말기 및 이것의 그룹 생성 방법
JP6521626B2 (ja) * 2014-12-25 2019-05-29 キヤノン株式会社 被写体追跡装置、方法およびプログラム
JP6751521B2 (ja) 2015-11-18 2020-09-09 富士ゼロックス株式会社 データ取得装置、印刷装置、真贋判定装置およびプログラム
US11538276B2 (en) * 2017-07-31 2022-12-27 Ricoh Company, Ltd. Communication system, distributed processing system, distributed processing method, and recording medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323622A (ja) 2002-02-27 2003-11-14 Nec Corp 画像認識システム及びその認識方法並びにプログラム
JP2011170745A (ja) 2010-02-22 2011-09-01 Burein:Kk パンの識別装置とそのプログラム
JP2012022413A (ja) 2010-07-12 2012-02-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2012108752A (ja) 2010-11-18 2012-06-07 Fuji Xerox Co Ltd 画像処理システム、画像処理装置及び画像処理プログラム
WO2013018613A1 (ja) 2011-07-29 2013-02-07 日本電気株式会社 照合システム、照合サーバ、照合方法、特徴抽出装置、照合・検索装置及びプログラム
JP2015512075A (ja) 2012-01-23 2015-04-23 パーセプティメッド インコーポレイテッドPerceptimed, Inc. 自動化された医薬品錠剤の識別
JP2017208032A (ja) 2016-05-20 2017-11-24 株式会社テララコード研究所 真贋判定方法
JP2017217784A (ja) 2016-06-06 2017-12-14 フロイント産業株式会社 固形製剤印刷機及び固形製剤印刷方法
WO2018016214A1 (ja) 2016-07-21 2018-01-25 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US11983864B2 (en) 2024-05-14
US20210312210A1 (en) 2021-10-07
JPWO2020039567A1 (ja) 2021-08-10
WO2020039567A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
JP7215485B2 (ja) 物体照合装置
US9661216B2 (en) Automatic image capture
CA2217458C (en) Method for locating the position and orientation of a fiduciary mark
US6111984A (en) Method for matching input image with reference image, apparatus for the same, and storage medium storing program for implementing the method
KR200483242Y1 (ko) 모바일 디바이스를 이용한 신분증 인식 장치
US20050271275A1 (en) Text character identification system and method thereof
KR20150115853A (ko) 보안 문서의 인증과 그러한 인증을 행하기 위한 모바일 디바이스
US8538170B2 (en) System and method for document location and recognition
KR100691651B1 (ko) 배경 모델과 문자 모델의 결합에 의해 구조화된 배경 상의 문자를 자동 인식하는 방법
WO2022227103A1 (zh) 一种零部件智能检测与标签系统及方法
JP3018949B2 (ja) 文字読取装置およびその方法
CN110533704B (zh) 油墨标签的识别验伪方法、装置、设备及介质
CN113436180A (zh) 生产线上喷射码的检测方法、装置、系统、设备和介质
CN110619060B (zh) 一种条烟图像数据库构建方法及条烟防伪查询方法
CN110866902A (zh) 一种烟标翘曲变形的检测方法
JP3494388B2 (ja) 指紋照合方法および指紋照合装置
US12002250B2 (en) Method for processing digital images
CN110852994B (zh) 一种喷印卡片的视觉检测方法及其系统
JP3223878B2 (ja) 文字列照合装置、方法及び記録媒体
JPH06131495A (ja) 画像情報抽出方式
JP2006221431A (ja) エンボス文字読取装置
JP2006338331A (ja) 紙片登録装置及び紙片登録方法
JPH10207978A (ja) 文字等パターン照合方法及び装置
JP4852454B2 (ja) 目傾き検出装置及びプログラム
JP2023061880A (ja) 照合装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R151 Written notification of patent or utility model registration

Ref document number: 7215485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151