JP6522824B1 - 注射液用容器認識システム - Google Patents

注射液用容器認識システム Download PDF

Info

Publication number
JP6522824B1
JP6522824B1 JP2018058096A JP2018058096A JP6522824B1 JP 6522824 B1 JP6522824 B1 JP 6522824B1 JP 2018058096 A JP2018058096 A JP 2018058096A JP 2018058096 A JP2018058096 A JP 2018058096A JP 6522824 B1 JP6522824 B1 JP 6522824B1
Authority
JP
Japan
Prior art keywords
container
unit
injection
image data
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018058096A
Other languages
English (en)
Other versions
JP2019166259A (ja
Inventor
恵治 大隈
恵治 大隈
雄二 守田
雄二 守田
正義 西笛
正義 西笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ookuma Electronic Co Ltd
Original Assignee
Ookuma Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ookuma Electronic Co Ltd filed Critical Ookuma Electronic Co Ltd
Priority to JP2018058096A priority Critical patent/JP6522824B1/ja
Priority to PCT/JP2018/025674 priority patent/WO2019187179A1/ja
Priority to TW107124420A priority patent/TWI679589B/zh
Application granted granted Critical
Publication of JP6522824B1 publication Critical patent/JP6522824B1/ja
Publication of JP2019166259A publication Critical patent/JP2019166259A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】マシンサイクルを短縮化可能で効率的な注射液用容器認識システム及び注射液用容器認識方法を提供する。【解決手段】光源14と、光源14と対向する位置に配置される撮像部16と、収容物をピックアップするとともに、ピックアップした状態で垂直な軸周りに収容物を回動させるピックアップ回動部12と、ピックアップ回動部12を移動させる移動機構22と、撮像部16と光源14との間に配置される収容物の画像データと、記憶部に予め記憶された注射液用容器の基画像データとを対比することで注射液用容器1を認識する注射液用容器判定手段と、を備え、ピックアップ回動部12で収容物を回転させつつ撮像部16で収容物を撮像し、前記画像データを取得する。【選択図】図3

Description

本発明は、例えば病院等の医療現場で取り扱われる注射液用容器の外形を認識する注射液用容器認識システム及び注射液用容器認識方法に関する。
従来、病院等の医療現場において、使用済みで空になった注射器の注射筒部、アンプル本体部或いはバイアル等の注射液用空容器は、例えば安全確保等のための必要に応じた措置を施されて廃棄される。また、一旦払い出されたものの、患者の容態の変化等により開封されないままの注射液用容器(以下「未使用注射液用容器」という。)は、回収されて例えば薬局部門に戻入される。そして、使用済みか未使用かに関わらず、これらの注射液用容器の薬価点数を把握することは、医療機関における医療コスト管理や、患者への薬剤費請求の観点等から重要である。
このため、医療現場においては、これらの注射液用容器の薬価点数を集計する集計業務が行われる。この集計業務では、注射液用容器を収容した収容箱等から、様々な形状の注射液用容器を一つ一つ手にとってその外周面に貼られたラベル等の情報を目で読取り、集計するという煩雑で困難な作業を人手で行っていた。そのため、読取りミス等による集計間違いが起こることがあった。
このような課題を解決するため、注射液用容器を収容した収容箱等から注射液用容器を取出し、そこに付された情報を読取るという一連の作業を自動化する技術開発が進められている。その一例として特許文献1の注射液用容器ピッキングシステムや、特許文献2の注射液用空容器の情報読取装置が挙げられる。そして、例えば特許文献1のピッキングシステムと特許文献2の情報読取装置を組み合わせ、特許文献1のピッキングシステムによって上述した収容箱等から注射液用容器をピッキングし、ピッキングした注射液用容器を特許文献2の情報読取装置にセットし、注射液用容器の外周面のラベル等の情報を読取るシステム等が考えられる。
ところが、上述した収容箱等には、使用済みで空になった注射筒部、アンプル本体部、バイアル等の注射液用空容器等の他にも、アンプル本体部から切り離されたアンプルヘッド、バイアルから外されたバイアルキャップ或いは注射器の押子等も混入している。しかし、注射液に関する情報が記載されたラベル等は、注射筒外周面、アンプル本体部外周面やバイアル外周面等に貼着されているため、特許文献2の情報読取装置には注射筒部、アンプル本体部或いはバイアル等をセットする必要がある。
そのため、例えば特許文献2の情報読取装置にセットする前に、収容箱からピックアップした収容物から注射筒部、アンプル本体、バイアル等を選別する必要がある。
このような、容器の外形検査に関する技術の例として、特許文献3の容器の外形検査装置が挙げられる。
特開2014−8997号公報 特開2010−115339号公報 特開2007−24776号公報
特許文献3には、検査対象の容器を支持するテーブルと、前記テーブル上に支持された容器へ拡散光を照射する面光源と、容器を中間に挟んで前記面光源と対向位置させる撮像装置とから成る容器の外形検査装置が開示されている。
特許文献3の容器の外形検査装置によれば、例えば特許文献1のピッキングシステムにより収容箱からピックアップした容器を特許文献3のテーブル上に載置するステップ。次に、面光源からの光によるシルエット画像に基づき収容物が注射液用容器か否かを識別するステップ。次に、外形検査の結果で、注射筒、アンプル本体或いはバイアル等と判定されたものをテーブル上からピックアップし、次工程としての例えば特許文献2の情報読取装置に搬送するステップ。一方、外形検査の結果で、注射筒部、アンプル本体或いはバイアル等と判定されなかった収容物を、前記テーブル上から取り除いて例えば廃棄箱まで搬送するステップ等が必要になる。
この様に、特許文献3の容器の外形検査装置によれば、例えば収容箱から収容物をピックアップして、注射液用容器を認識し、次工程としての例えば特許文献2の情報読取装置に搬送し、再び収容箱から収容物をピックし始めるまで等のマシンサイクルや、収容箱から収容物をピックアップして、注射筒部、アンプル本体或いはバイアル等と判定されなかった収容物を廃棄し、再び収容箱から収容物をピックし始めるまで等のマシンサイクルが長くなる虞があるという問題があった。
そこで、本発明は、上記従来の問題に鑑みてなされたものであり、その目的は、マシンサイクルを短縮化可能で効率的な注射液用容器認識システム及び注射液用容器認識方法を提供することにある。
請求項1の発明は、注射液用容器を含む筒状の収容物が収容された収容箱から、前記収容物をピックアップし、ピックアップした前記収容物が前記注射液用容器か否かを判定する注射液用容器認識システムであって、光源と、前記光源と対向する位置に配置される撮像部と、前記収容物をピックアップするピックアップ回動部と前記ピックアップ回動部を水平面内に移動自在に支持する移動機構と、記憶部に予め記憶された前記注射液用容器の基画像データと、前記撮像部による前記収容物の画像データとを対比し、前記収容物が前記注射液用容器か否かを判定する注射液用容器判定手段と、を備え、前記ピックアップ回動部は、軸方向を略垂直方向に向けて配置され前記軸方向周りに枢支される中空軸体と、
横倒し姿勢の前記収容物を保持する保持部であり、前記中空軸体の下端に設けられる保持部と、前記中空軸体を昇降させるとともにその軸周りに回転させる昇降回転機構と、を含み、前記収容物を前記保持部で保持した状態で、前記軸周りに回転させつつ、前記撮像部で前記画像データを取得することを特徴とする注射液用容器認識システム。
請求項2の発明は、請求項1記載の注射液用容器認識システムにおいて、前記撮像部の撮像光軸と前記収容物の筒軸とが略直交するか否かを、前記画像データに基づいて判定する姿勢判定手段を備えることを特徴とする。
請求項3の発明は、請求項1又は2に記載の注射液用容器認識システムにおいて、前記保持部は、前記収容物を吸着保持することを特徴とする。
請求項4の発明は、請求項1〜3のいずれかに記載の注射液用容器認識システムにおいて、前記光源は、面状光源からなることを特徴とする。
本発明によれば、注射液用容器を含む筒状の収容物が収容された収容箱から、前記収容物をピックアップし、ピックアップした前記収容物が前記注射液用容器か否かを判定する注射液用容器認識システムであって、光源と、前記光源と対向する位置に配置される撮像部と、前記収容物をピックアップするとともに、ピックアップした状態で垂直な軸周りに前記収容物を回動させるピックアップ回動部と、前記撮像部と前記光源との間に前記収容物を配置させる移動機構と、記憶部に予め記憶された前記注射液用容器の基画像データと、前記撮像部による前記収容物の画像データとを対比し、前記収容物が前記注射液用容器か否かを判定する注射液用容器判定手段と、を備え、前記ピックアップ回動部で前記収容物を回転させつつ前記画像データを取得する構成であるから、例えば、ピックアップ回動部で収容箱からピックアップした状態の収容物を、移動機構で移動させて光源と撮像部との間の所定撮像位置に保持し、垂直な軸周りに収容物を逐次回転させながら、撮像部によって収容物の画像を逐次取得し、逐次取得した画像データと記憶部に予め記憶された注射液用容器の基画像データとを対比し、これらが略一致する場合、収容物が注射液用容器であると判定し、ピックアップしたままの収容物を移動機構によって次工程としての情報読取装置に搬送すれば良いので、収容箱から収容物をピックアップして、収容物が注射液用容器であることを判定して、当該注射液用容器を次工程としての情報読取装置に搬送し、再び収容箱から収容物をピックし始めるまで等のマシンサイクルを短縮可能な注射液用容器認識システム、を提供できる。
また、例えば上述した所定位置の下方に廃棄箱を配置しておけば、画像どうしを対比して収容物は注射液用容器では無いと判定した場合、ピックアップした状態を解除して当該収容物を廃棄箱に落下させ、再び収容箱から収容物をピックし始めれば良いので、収容箱から収容物をピックアップして、注射液用容器と判定されなかった収容物を廃棄し、再び収容箱から収容物をピックし始めるまで等のマシンサイクルを短縮可能な注射液用容器認識システム、を提供できる。
また、前記撮像部の撮像光軸と前記収容物の筒軸とが略直交するか否かを、前記画像データに基づいて判定する姿勢判定手段を備える構成であるから、収容物を撮像部の撮像光軸と前記筒軸とが直交した状態にし、その状態で撮像部によって撮像した画像データに基づき、注射液用容器判定手段で注射液用容器か否かを判定すれば良いので、当該判定に係る時間を短縮可能な注射液用容器認識システムを提供できる。
また、前記ピックアップ回動部は、軸方向を略垂直方向に向けて配置され前記軸方向周りに枢支される中空軸体と、前記中空軸体の下端に設けられて前記収容物を吸着保持する保持部と、を含む構成であるから、例えば真空ポンプのオン・オフにより、吸着部への収容物の着脱の切り替えを迅速に行うことが可能となるので、更にマシンサイクルを短縮することが可能な注射液用容器認識システムを提供できる。
また、前記光源は、面状光源からなる構成であるから、面発光により均一な光を照射できシルエット画像の取得に好適となる。
また、注射液用容器を含む筒状の収容物が収容された収容箱から、前記収容物をピックアップし、前記ピックアップした前記収容物が前記注射液用容器か否かを判定する注射液用容器認識方法であって、前記収容箱から前記収容物をピックアップするステップと、ピックアップした状態の前記収容物を、撮像部と光源との間に配置するステップと、前記ピックアップした状態で垂直な軸周りに前記収容物を回動させつつ、前記撮像部で前記収容物の画像データを取得するステップと、予め記憶部に記憶された前記注射液用容器の基画像データと、前記画像データとを対比し、前記収容物が前記注射液用容器か否かを判定する注射液用容器判定ステップと、を含む構成であるから、例えば、収容箱からピックアップした状態の収容物を、光源と撮像部との間の所定撮像位置に保持し、垂直な軸周りに収容物を回転させつつ、撮像部によって収容物の画像データを逐次取得し、逐次取得した画像に基づいて、記憶部に予め登録された注射液用容器の基画像データとを対比し、これらが略一致する場合、収容物が注射液用容器であると判定し、ピックアップしたままの収容物を次工程としての情報読取装置に搬送すれば良いので、収容箱から収容物をピックアップして、収容物が注射液用容器であることを判定して、次工程としての情報読取装置に搬送し、再び収容箱から収容物をピックし始めるまで等のマシンサイクルを短縮可能な注射液用容器認識方法を提供できる。
また、前記撮像部の撮像光軸と前記収容物の筒軸とが直交するか否かを、前記画像データに基づいて判定する姿勢判定ステップを含み、前記注射液用容器判定ステップにおいて、前記画像データは、前記撮像部の撮像光軸と前記収容物の筒軸とが略直交した状態で取得される構成であるから、収容物を撮像部の撮像光軸と前記収容物の筒軸とが直交した状態にし、その状態で撮像部によって撮像した画像データに基づき、注射液用容器判定手段で注射液用容器か否かを判定すれば良いので、当該判定に係る時間を短縮可能な注射液用容器認識方法を提供できる。
本発明の実施形態に係る収容物の例を説明する斜視図である。 本発明の実施形態に係る収容物の例を説明する斜視図である。 本発明の実施形態に係る注射液用容器認識システムを示す斜視図である。 本発明の実施形態に係る注射液用容器認識システムを示す正面図である。 本発明の実施形態に係るピックアップ回動部を説明する正面図である。 本発明の実施形態に係る注射液用容器認識システムのブロック図である。 本発明の実施形態に係る注射液用容器認識システムの動作を説明する正面図である。 本発明の実施形態に係る注射液用容器認識システムにおける処理フロー例を説明するフローチャートである。 図8に示す処理フロー例における収容物の回転及び画像例を説明する図である。 本発明の実施形態に係る注射液用容器認識システムにおける別の処理フロー例を説明するフローチャートである。 図10に示す処理フロー例における収容物の回転及び画像例を説明する図である。
以下、本発明の実施形態について図を用いて説明する。
本発明は、例えば手術室等の医療現場で使用済みとなったアンプル本体部やアンプル本体部から切り離されたアンプルキャップ等のような筒状の収容物が非整列状態で投入された収容箱から、収容物を一つずつピックアップし、アンプル本体部等を選別するための注射液用容器認識システムに係る発明である。
本明細書でいう「注射液用容器」は、図1に示す様に、アンプルキャップが切り離されたアンプル本体部1a、キャップが外されたバイアル1b、注射器のシリンジ部1c等の筒状容器を意味する。更に、「注射液用容器」は、使用済みのものに限るものではなく、図1に示す未使用のアンプル1d、或いは図示しない未使用のバイアル、未使用の注射器等も意味する。
また、これらの注射液用容器の形状は、円筒形に限られるものではなく、例えば略六角形の断面形状を有する六角筒形、略楕円形に近い長方形状の断面形状を有する筒状等の様に様々な筒状体で形成される。
次に、本明細書でいう「収容物」は、上述した「注射液用容器」に加え、図2に示すアンプルキャップ2a、バイアルキャップ2b及びガラス片(図示しない)等を意味する。
そして、これらの「注射液用容器」の側面には、注射液の名称、製薬メーカ名等の文字に加え、図1(a)〜図1(d)に示す様に、当該注射液用容器に対応する識別情報を示すバーコード5が付されている。
これらの収容物は、図3に示す様に、収容箱6に収容された後、後述するピックアップ回動部によって一個ずつ取出されて、「注射液用容器」か否かを判定され、「注射液用容器」と判定された収容物は、バーコード読取機能を備える情報読取装置100(例えば特許文献2参照)にセットされ、バーコードの情報等が読取られ、これらの情報が、薬価請求、コスト管理或いは薬剤管理に活用される。
以下、本発明の実施形態に係る注射液用容器認識システム10について図3〜図10を用いて説明する。
本実施形態の注射液用容器認識システム10は、図3及び図4に示す様に、収容箱6と、ピックアップ回動部12と、移動機構22と、面状光源14と、撮像部16と、制御部20等を備える。
まず、収容箱6は、図3に示す様に、上端が開放した箱体で形成され、所定位置に配置されるステージ7上の略中央付近に配置される。当該箱体の底部は、その全体に例えば特許文献1に示される波状面等の凹凸(図示しない)が施されている。従って、例えばアンプル本体部1aが、収容箱6に投入される際に、その底面を下側にした状態で投入されても、施された凹凸形状により、底面で自立するには不安定なため、アンプル本体部1aは横倒し姿勢となり易い。ここで横倒し姿勢は、注射液用容器1の筒軸Kが、略水平乃至水平に対して略70度程度までの姿勢を意味する。
さらに、注射液用容器認識システム10は、ステージ7を例えば横方向に振動させる振動機構(図示しない)を備えており、必要に応じて収容箱6を振動させることで、収容箱6内の注射液用容器1の横倒し姿勢を更に促進する構成としている。
この様に、本実施形態の注射液用容器認識システム10は、収容箱6に投入される注射液用容器1を横倒し姿勢とさせる構成となっている。
次に、移動機構22は、図3に示す様に、公知のリニアモーションガイドを用いたスライド機構26が採用される。
より詳しくは、横方向のスライド機構26は、図3及び図4に示す様に、真っすぐな第1ガイドレール28aと、第1ガイドレール28aに沿ってスライド自在に連結される直方体状の第1可動子28bとを備える。そして、第1ガイドレール28aは、図3に示す様に、長尺方向を横方向に向けた状態で、収容箱6の上方でしかもステージ7の奥側に配置され、ステージ7から立ち上がる支持板29で支持される。また、第1可動子28bは、制御部20の指示を受けて第1ガイドレール28aに沿ってスライドする。
次に、前後方向のスライド機構26は、図3及び図4に示す様に、真っすぐな第2ガイドレール30aと、第2ガイドレール30aに沿ってスライド自在に連結される略コ字状の第2可動子30bとを備える。第2ガイドレール30aは、図3に示す様に、長尺方向を前後方向に向けた状態で、一端を第1可動子28bに固定されて支持される。
また、第2可動子30bは、制御部20の指示により第2ガイドレール30aに沿ってスライドする。
この様に、本実施形態の移動機構22によれば、第2可動子30bは、制御部20の指示を受けて横方向、前後方向、即ち第1ガイドレール28aをx軸とし、第2ガイドレール30aをy軸とする水平面内を移動自在に構成される。従って、第2可動子30bに設けられるピックアップ回動部12(後述)も、前記水平面内を移動自在に支持される構成となっている。
なお、スライド機構は、リニアモーションガイドに限るものではなく、ガイドレールの両端付近に配置されたタイミングギヤと、これら2つのタイミングギヤと歯合したタイミングベルトと、一方のタイミングギヤを回動操作するサーボモータとを設け、ガイドレール上をスライド移動自在なキャリッジの一部を前記タイミングベルトに固定させた構成などを用いることができる。或いは、例えばランクアンドピニオン機構を用いてスライドさせる構成を用いてもよい。
次に、ピックアップ回動部12は、図3〜図5に示す様に、支柱部32、保持部33、中空軸体34と、昇降回転機構35、リング照明36、カメラ部37を備える。
先ず、支柱部32は、図3及び図5に示す様に、第2可動子30b上に立設される真っすぐなレール部材で形成される。
次に、中空軸体34は、両端を開放端とした中空円筒棒の外周に複数のネジ溝が切られた中空スプライン軸部材で形成される。そして、中空軸体34は、図3〜図5に示す様に、軸方向を略垂直方向に向けた状態で、その上端近傍を支持される。より詳しくは、図3〜図5に示す様に、支柱部32の上端近傍に固定されて略水平方向に伸びるアーム39の先端近傍に設けられる軸受40等で、中空軸体34の軸周りに回動自在に枢支される。
更に、中空軸体34の上端には、図5に示す様に、中空軸体34の中空部51に連通するチューブ38が連結されており、真空ポンプ(図示しない)に接続される。
次に、昇降回転機構35は、図5に示す様に、支柱部32の高さ方向の略中央に固設される水平な第1支持プレート41と、第1支持プレート41に固設される第1モータ43と、中空軸体34の中間に配置され中空軸体34に嵌合するボールねじナット44と、第1モータ43とボールねじナット44との間に懸架されるタイミングベルト45と、第2可動子30b上に固設される水平な第2支持プレート46と、第2支持プレート46に固設される第2モータ47と、中空軸体34の下端近傍に配置され中空軸体34に嵌合するボールスプラインナット48と、第2モータ47とボールスプラインナット48との間に懸架されるタイミングベルト49と、を備える。
第1モータ43は、中空軸体34のボールねじ溝の外周部に取り付けられたボールねじナット44をタイミングベルト45等で回動させることにより、中空軸体34を垂直方向に移動、すなわち昇降させる構成となっている。その際、ボールスプラインナット48は、中空軸体34の回り止め手段として作用する。また、第2モータ47は、中空軸体34のスプライン溝の外周部に設けられたボールスプラインナット48をタイミングベルト49等で回動させることにより、中空軸体34の軸周りに中空軸体34を回動させる構成となっている。
次に、保持部33は、例えば柔軟な蛇腹状部材からなる吸着パッドを備え、図3〜図5に示す様に、中空軸体34の下端に連結される。従って、前記真空ポンプで中空軸体34の中空部51を負圧にしつつ保持部33を収容物に接触させることで、収容物を吸着可能な構成となっている。
なお、保持部33は、本実施形態のような吸着式に限るものではなく、例えば2本の爪部材などで注射液用容器の側部を挟持し、垂直な軸周りに回動可能な任意の構成であってもよい。
次に、リング照明36は、図3及び図5に示す様に、光源の形状がリング状に形成される照明器を備える。そして、リング照明36は、図3及び図5に示す様に、中空軸体34がリング照明36の内側を通過する態様で配置され、第2支持プレート46に固設され、下方に向けて光を照射する。
カメラ部37は、例えば公知のデジタルカメラで構成される。そして、カメラ部37は、図4及び図5に示す様に、リング照明36のやや上方に配置され、第2可動子30bに固設されるアングル部材50に取り付けられ、リング照明36の下方の画像を取得する。
次に、光源としての面状光源14は、図3及び図4に示す様に、例えば、略ステージ7から第1ガイドレール28aまで高さで側面視正方形状の面状発光パネルで形成される。より詳しくは、面状光源14は、図4に示す様に、例えば板状の筐体の内側の一方の面に複数のLED53が配列され、他方の面には半透明板54が設けられ、半透明板54の略全体が発光面となっている。そして、面状光源14は、図3及び図4に示す様に、半透明板54が収容箱6に対向する状態でステージ7の右端近傍に配置され、ステージ7に固定されるL字状アングル部材55に取り付けられる。従って、面状光源14は、収容箱6の略上方の空間を照らす態様となっている。
なお、光源は、例えば点光源等であっても良いが、均一な光を照射する面状光源の方が外形を示すシルエット画像の取得に好適である。
次に、撮像部16は、例えば公知のデジタルカメラで構成される。この撮像部16は、図3及び図4に示す様に、ステージ7の左端上方近傍で半透明板54の略中央部と対向する態様で配置され、ステージ7の左端から立ち上がる階段状アングル部材57に固設される。そして、撮像部16は、撮像部16と面状光源14との間の所定の撮像位置Pに配置される収容物のシルエット画像を取得する。
本実施形態において撮像位置Pは、図3及び図4に示す様に、例えば収容箱6の左端から撮像部16までの間で、撮像部16の前近傍としている。
また、図4において、撮像部16の撮像光軸Mは、撮像部16の視野の略中心に位置している被写体と撮影レンズの略中心とを結ぶ軸を示している。
なお、図3及び図4に示す様に、撮像位置Pの下方に、廃棄ボックス19が配置されるが、注射液用容器1と判定されなかったアンプルキャップ2aやバイアルキャップ2b等を収容するためのボックスである。
次に、本実施径形態の注射液用容器認識システム10におけるシステム構成について主に図6を用いて説明する。
制御部20は、図6に示す様に、例えば主CPU60、ワーキングメモリ(図示しない)、画像処理部61、記憶部62等を備えている。また、主CPU60は、図6に示すように、例えばネットワークを介して撮像部16、カメラ部37、ピックアップ回動部12及び移動機構22に接続される。従って、主CPU60からの指示を受けて、撮像部16やカメラ部37が撮像し、ピックアップ回動部12や移動機構22が稼働する構成となっている。
次に、記憶部62は、公知のハードディスク装置で形成され、図4に示す様に、主CPU60に接続される。本実施形態の記憶部62は、注射液用容器1の基画像データが登録されている。そして、主CPU60が、記憶部62から基画像データ読み出して、後述する画像処理部61等に送信する。
次に、画像処理部61は、例えば公知の画像処理CPU等を備えて構成され、主CPU60に接続される。そして、画像処理部61は、撮像部16やカメラ部37から主CPU60を介して送られてくる画像データの解析、マッチング処理及び後述する画像幅算出処理等の画像処理を実行する。
ここで、注射薬用容器として使用されるアンプルやバイアルには様々な種類があり、色や形状、サイズが異なるものが多く存在する。また使用済みの注射薬や医療材料は、収容箱6に回収されるものの、バラバラに混在した状況である。本実施形態において、収容物が整理されない状態で混在した状況から個々の収容物を認識する方法として、公知の回転不変マッチング処理が採用され、画像処理部61によってその処理が実行される。
また、画像処理部61は、撮像部16が取得する収容物の画像データと、予め記憶部62に記憶された注射液用容器の基画像データとのパターンマッチング処理を行い、ピックアップした収容物が注射液用容器か否かの判定を行う。
このように構成される注射液用容器認識システム10の動作例について主に図3〜図5及び図7を用いて説明する。
まず、例えば撮像位置P等の所定の待機位置に配置されるピックアップ回動部12は、移動機構22によって、カメラ部37が収容箱6の略中央近傍上方になるように配置される。
次に、カメラ部37が取得する収容箱6の画像データを基にし、画像処理部61で回転不変マッチング処理が実行される。そして、ピックアップの対象となる収容物の位置情報が抽出され、その位置情報が主CPU60を介して移動機構22に送信され、移動機構22は、保持部33がピックアップの対象となる収容物の上方に来るように誘導する。図4、図5及び図7では、収容物の例としてバイアル1bが示されている。
次に、昇降回転機構35により保持部33が下降し、収容物に接触すると収容物が保持部33に吸着される。その際、注射液用容器1等の筒状の収容物は、横倒し姿勢となっているため、保持部33は、注射液用容器1の側面に接触しこれを吸着保持する。
次に、保持部33に収容物が保持されると、昇降回転機構35により収容物が所定位置まで上昇する(図4参照)。さらに、収容物は、移動機構22によって撮像位置Pまで移動し、ピックアップ回動部12が収容物を回転させつつ、撮像部16が、収容物の画像を取得する。
[処理フロー例1]
ここで、収容物を回転させつつ、注射液用容器1か否かの判定を行う、注射液用容器判定処理フロー例について、図8を用いて説明する。
まず、ステップS10において、主CPU60は、撮像部16に撮像指示を行い、撮像部16は、保持部33に吸着された収容物のシルエット画像を取得し、処理をステップS12に移す。
次に、ステップS12において、主CPU60は、前記シルエット画像を画像処理部61に送る。そして、主CPU60は、記憶部62に予め登録された注射液用容器の基画像データと、シルエット画像の外形画像データがマッチングするか否かの判断を画像処理部61に指示する。
ここで、注射液用容器1の基画像データは、例えば注射液用容器1の筒軸に対して直交方向から注射液用容器1を視た時の外形を示す外形画像データ(図9(h)参照)とすると良い。
次に、主CPU60は、画像処理部61からマッチングするとの信号を受けると処理をステップS14に移し、マッチングしないとの信号を受けると処理をステップS16に移す。
次に、ステップS14において、主CPU60は、移動機構22に搬送信号を送り、搬送信号を受けた移動機構22は、収容物としてのバイアル1bを、図7に示す様に、次の工程としての情報読取装置100の受入部102の直上に搬送する。次に、主CPU60の指示により、ピックアップ回動部12が下降し、所定の高さまで下降したところで真空ポンプをOFFにすると、バイアル1bが受入部102に載置される。次に、主CPU60の指示によりピックアップ回動部12が、例えば撮像位置P等の所定の待機位置に戻ると処理が終了する。
次に、ステップS16において、主CPU60は、収容物が撮像位置Pに配置されてから、垂直な軸63回りに回動した回動角度Θが例えば90度等の所定角度Θa以下かを判定する。回動角度が所定角度Θaより小さいと判定した場合、主CPU60は、処理をステップS18に移す。一方、回動角度が所定角度Θa以上と判定した場合、主CPU60は、処理をステップS20に移す。
次に、ステップS18において、主CPU60は、ピックアップ回動部12に回動信号を送り、回動信号を受けたピックアップ回動部12は、収容物をピックアップした状態で垂直な軸63周りに例えば30度等の所定角度分回転させ、処理をステップS10に移す。
次に、ステップS20において、主CPU60が、例えば真空ポンプをOFFにする等の収容物を保持部33から離脱させる離脱信号をピックアップ回動部12に送信すると、収容物が保持部33から外れて直下の廃棄ボックス19に落下する。次に、主CPU60の指示によりピックアップ回動部12が、所定の待機位置(例えば撮像位置P)に戻ると処理が終了する。
上述した処理フロー例1に対応した収容物(バイアル1b)の動きの例及びシルエット画像例について図9を用いて説明する。
図9(a)〜図9(d)は、撮像位置Pに配置された収容物(バイアル1b)の平面図を示す。図9(e)〜図9(h)は、収容物(バイアル1b)を撮像部16で撮像した画像例を示す。
先ず、図9(a)では、例えば収容箱6から収容物としてのバイアル1bをピックアップした際に、バイアル1bの筒軸Kが、撮像光軸Mに平行、すなわちx軸方向を向いている例を示している。
撮像部16が、図9(a)の姿勢のバイアル1bを撮像した画像例を図9(e)に示す。ステップS12において、図9(e)の画像データとバイアル1bの外形画像データとを対比するとマッチングしていない判定がされ、処理がステップS16に移る。ステップS16では、撮像光軸MからΘa=90度回動したか否かが判断されるが、回動していないため、処理がステップS18に移り、図9(b)に示す様に、バイアル1bが、垂直な軸63回りに例えばΘ=30度回転する。ステップS10で、撮像部16が、バイアル1bの画像を取得する。
撮像部16が、図9(b)の姿勢のバイアル1bを撮像した画像例を図9(f)に示す。ステップS12において、図9(f)の画像データとバイアル1bの外形画像データとを対比するとマッチングしていない判定がされ、処理がステップS16に移る。ステップS16では、撮像光軸MからΘa=90度回動したか否かが判断されるが、回動していないため、処理がステップS18に移り、図9(c)に示す様に、バイアル1bが、垂直な軸63回りに更に30度回転すると、Θ´=60度となる。ステップS10で、撮像部16が、バイアル1bの画像を取得する。
撮像部16が、図9(c)の姿勢のバイアル1bを撮像した画像例を図9(g)に示す。ステップS12において、図9(g)の画像データとバイアル1bの外形画像データとを対比するとマッチングしていない判定がされ、処理がステップS16に移る。ステップS16では、撮像光軸MからΘa=90度回動したか否かが判断されるが、回動していないため、処理がステップS18に移り、図9(d)に示す様に、バイアル1bが、垂直な軸63回りに更に30度回転すると、Θ´´=90度となる。ステップS10で、撮像部16が、バイアル1bの画像を取得する。
撮像部16が、図9(d)の姿勢のバイアル1bを撮像した画像例を図9(h)に示す。ステップS12において、図9(h)の画像データとバイアル1bの外形画像データとを対比するとマッチングする判断がされ、処理がステップS14に移り、上述した動作が実行される。
この様に、本処理フロー例では、ピックアップ回動部12で収容物を垂直な軸63回りに、所定角度づつ回転させ、撮像部16で収容物を撮像する構成となっているのである。
なお、ステップS18において垂直な軸63回りにバイアル1bを30度回転させたが、ステップS18における回転角度は30度に限るものではなく例えば10度等の様に任意に設定することができる。
[処理フロー例2]
次に、本注射液用容器認識システム10の処理フロー例2について図10及び図11を用いて説明する。
なお、処理フロー例2では、保持部33でピックアップした収容物として、光を透過するガラス素材等からなるアンプル本体部1aを例にとり説明する。
また、図11(a)〜図11(c)は、撮像位置Pに配置された収容物(アンプル本体部1a)の平面図を示す。図11(d)〜図11(f)は、収容物(アンプル本体部1a)を撮像部16で撮像したシルエット画像例を示す。図11(d)〜図11(f)において、保持部33の画像は省略している。
ピックアップした収容物が、撮像位置Pに配置されると、ステップS30において、主CPU60は、撮像部16に撮像指示を行い、撮像部16は、保持部33に吸着された収容物のシルエット画像を取得し、処理をステップS32に移す。
その際、アンプル本体部1aの縁の部分はその周辺に比較して面状光源14の光を透過し難いので、シルエット画像は、図11(d)〜図11(f)に示す様に、縁に沿って黒く現れる。
次に、ステップS32において、主CPU60は、前記シルエット画像を画像処理部61に送り、シルエット画像に基づき、シルエット画像の幅を算出させ、算出値をDとし、処理をステップS34に移す。
ここで、シルエット画像の幅Dは、図11に示す様に、シルエット画像の長手方向Lに沿った長さで、アンプル本体部1aの底面中央に相当する画像箇所から頭部中央に相当する画像箇所までの長さを意味する。言い換えると、収容物(アンプル本体部1a)を撮像部16の位置から視た時の筒軸Kに沿った長さで、アンプル本体部1aの底面中央から頭部中央までの長さに相当する。
次に、ステップS34において、主CPU60は、i=0として、処理をステップS36に移す。
ステップS36において、主CPU60は、ピックアップ回動部12に回動信号を送り、回動信号を受けたピックアップ回動部12は、収容物をピックアップした状態で垂直な軸63回りに所定角度Θc分回転させ、処理をステップS38に移す。
次に、ステップS38において、主CPU60は、撮像部16に撮像指示を行い、撮像部16は、収容物のシルエット画像を取得し、処理をステップS40に移す。
次に、ステップS40において、主CPU60は、前記シルエット画像を画像処理部61に送り、シルエット画像に基づき、シルエット画像の幅を算出させ、算出値をDi+1として、処理をステップS42に移す。
次に、ステップS42において、主CPU60は、Di+1がDより大きいか否かを判定し、大きいと判定した場合、処理をステップS44に移す。一方、Di+1がDより大きいと判定しなかった場合、処理をステップS46に移す。
次に、ステップS44において、主CPU60は、iをi+1にインクリメントし処理をステップS36に移す。
また、ステップS46において、主CPU60は、ピックアップ回動部12に回動信号を送り、回動信号を受けたピックアップ回動部12は、収容物をピックアップした状態で垂直な軸63回り所定角度Θc分逆回転させ、処理を終了する。
上述した処理フロー例2に対応した収容物(アンプル本体部1a)の動きの例及びシルエット画像例について図11を用いて説明する。
先ず、図11(a)では、例えば収容箱6から収容物としてのアンプル本体部1aをピックアップした状態で、収容物(アンプル本体部1a)の筒軸Kと撮像光軸Mとがなす角度Θbが略45度の例を示している。
撮像部16が、図11(a)の姿勢のアンプル本体部1aを撮像した画像例を図11(d)に示す。ステップS32において、図11(d)の画像データに基づいて収容物(アンプル本体部1a)のシルエット画像の幅が算出され、ステップS34において当該画像幅がDとされる。
次に、ステップS36で収容物は、ピックアップ回動部12によって、垂直な軸63を中心として例えば時計回りに45度等の所定角度Θc回転し、図11(b)に示す姿勢となる。次に、ステップS38で撮像部16により収容物の画像を撮像する。図11(b)の姿勢の収容物のシルエット画像例を図11(e)に示す。
次に、ステップS40で図11(e)の画像データに基いて収容物(アンプル本体部1a)のシルエット画像の幅が算出され、当該画像幅がDとされる。
次に、ステップS42で、DがDより大きいか否かの判定が行われる。本例では、説明の便宜上、図11(b)の姿勢では、収容物(アンプル本体部1a)の筒軸Kが、撮像光軸Mと略直交しているので、図11(a)に示す姿勢の画像幅DよりDが大きいと判定され、ステップS44で、i=0がi=0+1=1にインクリメントされる。
次に、ステップS36で収容物は、ピックアップ回動部12によって、垂直な軸63を中心として時計回りに更に所定角度Θc回転し、図11(c)に示す姿勢となる。次に、ステップS38で撮像部16により収容物の画像を撮像する。図11(c)の姿勢の収容物(アンプル本体部1a)のシルエット画像例を図11(f)に示す。
次に、ステップS40で図11(f)の画像データに基いて収容物(アンプル本体部1a)のシルエット画像の幅が算出され、当該画像幅がDとされる。
次に、ステップS42で、DがDより大きいか否かの判定が行われる。上述と同様な理由により、D>Dと判定され、ステップS46で、収容物は、垂直な軸63を中心として逆時計回りに所定角度Θc回転し、図11(b)に示す姿勢となる。
この様に、本処理フローにおいて、ピックアップ回動部12で収容物を所定角度で回転させ、撮像部16で収容物を撮像するステップを繰り返している。そして、本処理により、収容物(アンプル本体部1a)の筒軸Kが、撮像光軸Mと略直交した姿勢、言い替えると、撮像部16の撮像面と筒軸Kとが略平行となる。
すなわち、制御部20は、撮像部16の撮像光軸Mと収容物の筒軸Kとが略直交するか否かを、収容物を垂直な軸63回りに回転させつつ撮像部16で取得した画像データに基づいて判定する姿勢判定手段として機能するのである。
なお、本処理の説明の便宜上、所定の回転角度Θcを45度としたが、回転角度Θcは例えば10度等の様に任意に設定できる。
次に、本処理後は、例えば、その姿勢の収容物が撮像部16で撮像され、図11(e)に示す画像データが取得される。そして、図11(e)に示す画像データと、予め記憶部62に記憶された注射液用容器1の基画像データとの対比が行われる。その結果、アンプル本体部1aの外形画像データと、図11(e)の画像データとがマッチングするため、収容物がアンプル本体部1aであることが認識される。
その後、ステップS14と同様に、主CPU60は、移動機構22に搬送信号を送り、搬送信号を受けた移動機構22は、収容物としてのアンプル本体部1aを、図7に示す様に、次の工程としての情報読取装置100の受入部102の直上に搬送することができる。
これまで説明してきた様に、本実施形態の注射液用容器認識システム10は、注射液用容器1を含む筒状の収容物が収容された収容箱6から、収容物をピックアップし、ピックアップした収容物が注射液用容器か否かを判定する注射液用容器認識システムであって、光源(面状光源14)と、光源と対向する位置に配置される撮像部16と、収容物をピックアップするとともに、ピックアップした状態で垂直な軸周りに収容物を回動させるピックアップ回動部12と、撮像部16と光源との間に収容物を配置させる移動機構22と、記憶部62に予め記憶された注射液用容器の基画像データと撮像部16による収容物の画像データとを対比することで、注射液用容器か否かを判定する注射液用容器判定手段(制御部20)と、を備え、ピックアップ回動部12で収容物を所定角度で逐次回転させつつ撮像部16で収容物を撮像し、収容物の画像データを取得する構成となっている。
また、本実施形態の注射液用容器認識方法は、注射液用容器1を含む筒状の収容物が収容された収容箱6から、前記収容物をピックアップし、ピックアップした収容物が注射液用容器か否かを判定する注射液用容器認識方法であって、収容箱6から収容物をピックアップするステップと、ピックアップした状態の収容物を、撮像部16と光源(面状光源14)との間に配置するステップと、ピックアップした状態で垂直な軸63周りに収容物を回動させつつ、撮像部16で収容物の画像データを取得するステップと、予め記憶部に記憶された注射液用容器の基画像データと、前記画像データとを対比し、収容物が前記注射液用容器か否かを判定する注射液用容器判定ステップと、を含む構成となっている。
これまで説明してきた様に、本実施形態の注射液用容器認識システム10及び注射液用容器認識方法によれば、収容箱6から収容物をピックアップして、収容物が注射液用容器1であることを判定し、当該注射液用容器を次工程としての例えば情報読取装置100等に搬送し、再び収容箱から収容物をピックし始めるまでのマシンサイクルを短縮可能な注射液用容器認識システム10及び注射液用容器認識方法を提供できる。
以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらはあくまでも例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
1a、1b、1c 注射液用容器、収容物
2a、2b 収容物
6 収容箱
10 注射液用容器認識システム
12 ピックアップ回動部
14 面状光源(光源)
16 撮像部
20 制御部(注射液用容器判定手段、姿勢判定手段)
22 移動機構
33 保持部
34 中空軸体




Claims (4)

  1. 注射液用容器を含む筒状の収容物が収容された収容箱から、前記収容物をピックアップし、ピックアップした前記収容物が前記注射液用容器か否かを判定する注射液用容器認識システムであって、
    光源と、
    前記光源と対向する位置に配置される撮像部と、
    前記収容箱から前記収容物をピックアップするピックアップ回動部と
    前記ピックアップ回動部を水平面内に移動自在に支持する移動機構と、
    記憶部に予め記憶された前記注射液用容器の基画像データと、前記撮像部による前記収容物の画像データとを対比し、前記収容物が前記注射液用容器か否かを判定する注射液用容器判定手段と、を備え、
    前記ピックアップ回動部は、
    軸方向を略垂直方向に向けて配置され前記軸方向周りに枢支される中空軸体と、
    横倒し姿勢の前記収容物を保持する保持部であり、前記中空軸体の下端に設けられる保持部と、
    前記中空軸体を昇降させるとともにその軸周りに回転させる昇降回転機構と、を含み、
    前記保持部で保持した前記収容物を、前記移動機構で移動させて前記光源と前記撮像部の間の所定撮像位置に保持し、前記軸周りに回転させつつ、前記撮像部で前記画像データを取得することを特徴とする注射液用容器認識システム。
  2. 前記撮像部の撮像光軸と前記収容物の筒軸とが略直交するか否かを、前記画像データに基づいて判定する姿勢判定手段を備えることを特徴とする請求項1記載の注射液用容器認識システム。
  3. 前記保持部は、前記収容物を吸着保持することを特徴とする請求項1又は2記載の注射液用容器認識システム。
  4. 前記光源は、面状光源からなることを特徴とする請求項1〜3のいずれかに記載の注射液用認識システム。

JP2018058096A 2018-03-26 2018-03-26 注射液用容器認識システム Active JP6522824B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018058096A JP6522824B1 (ja) 2018-03-26 2018-03-26 注射液用容器認識システム
PCT/JP2018/025674 WO2019187179A1 (ja) 2018-03-26 2018-07-06 注射液用容器認識システム及び注射液用容器認識方法
TW107124420A TWI679589B (zh) 2018-03-26 2018-07-16 注射液用容器辨識系統及注射液用容器辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018058096A JP6522824B1 (ja) 2018-03-26 2018-03-26 注射液用容器認識システム

Publications (2)

Publication Number Publication Date
JP6522824B1 true JP6522824B1 (ja) 2019-05-29
JP2019166259A JP2019166259A (ja) 2019-10-03

Family

ID=66655794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018058096A Active JP6522824B1 (ja) 2018-03-26 2018-03-26 注射液用容器認識システム

Country Status (3)

Country Link
JP (1) JP6522824B1 (ja)
TW (1) TWI679589B (ja)
WO (1) WO2019187179A1 (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0623328A (ja) * 1992-07-08 1994-02-01 Shinko Electric Co Ltd 部品仕分装置
JP3101674B2 (ja) * 1995-12-15 2000-10-23 岡山大学長 Cad情報を用いた3次元認識手法及び装置
JPH09206700A (ja) * 1996-01-31 1997-08-12 Nkk Corp 空き瓶分別装置
JPH10192793A (ja) * 1997-01-08 1998-07-28 Ishikawajima Harima Heavy Ind Co Ltd ガラス瓶選別装置
TW200504620A (en) * 2003-06-19 2005-02-01 Yuyama Mfg Co Ltd Medicine inspection apparatus
JP5850426B2 (ja) * 2011-01-21 2016-02-03 株式会社ソルブ 容器の認識装置
JP2014008997A (ja) * 2012-06-29 2014-01-20 Ookuma Electronic Co Ltd 注射液用容器収容箱及び注射液用容器ピッキングシステム
JP6750257B2 (ja) * 2016-03-08 2020-09-02 株式会社湯山製作所 薬剤認識装置
JP6385536B2 (ja) * 2017-08-04 2018-09-05 Phcホールディングス株式会社 薬品仕分装置および薬品仕分方法

Also Published As

Publication number Publication date
WO2019187179A1 (ja) 2019-10-03
TWI679589B (zh) 2019-12-11
JP2019166259A (ja) 2019-10-03
TW201941106A (zh) 2019-10-16

Similar Documents

Publication Publication Date Title
JP7147925B2 (ja) 薬剤仕分装置及び薬剤仕分方法
JP7307373B2 (ja) 薬剤認識装置およびそれを備える薬剤仕分装置
JP2023063396A (ja) 混注装置、混注方法、混注制御プログラム
JP6364833B2 (ja) 注射針、注射器、混注装置、混注方法
JP5902023B2 (ja) ピッキング装置
JP7235145B2 (ja) 混注装置、プログラム
JP6897650B2 (ja) 混注装置
US9682796B2 (en) Injection container storage box device and injection container picking system including the device
JP6522824B1 (ja) 注射液用容器認識システム
WO2016009907A1 (ja) 混注装置
JP5959903B2 (ja) 薬品ラベル自動読取装置
TWI848753B (zh) 藥劑分類裝置
JP2022049484A (ja) 薬剤仕分装置
JP2020062074A (ja) 薬品向き判定装置、薬品向き判定方法、および薬品向き判定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250