JP7098131B2 - Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method - Google Patents

Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method Download PDF

Info

Publication number
JP7098131B2
JP7098131B2 JP2017254534A JP2017254534A JP7098131B2 JP 7098131 B2 JP7098131 B2 JP 7098131B2 JP 2017254534 A JP2017254534 A JP 2017254534A JP 2017254534 A JP2017254534 A JP 2017254534A JP 7098131 B2 JP7098131 B2 JP 7098131B2
Authority
JP
Japan
Prior art keywords
image
authentication
captured
degree
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017254534A
Other languages
Japanese (ja)
Other versions
JP2019121080A (en
Inventor
真良 登
欣也 旭野
智成 牧野
Original Assignee
シヤチハタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シヤチハタ株式会社 filed Critical シヤチハタ株式会社
Priority to JP2017254534A priority Critical patent/JP7098131B2/en
Publication of JP2019121080A publication Critical patent/JP2019121080A/en
Application granted granted Critical
Publication of JP7098131B2 publication Critical patent/JP7098131B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Input (AREA)

Description

本発明は、認証用画像の取得装置、認証用画像の取得システムおよび認証用画像の取得方法に関し、より詳細には、商品のラベル等の画像を用いて認証を行うための認証用画像の取得装置、認証用画像の取得システムおよび認証用画像の取得方法に関する。 The present invention relates to an authentication image acquisition device, an authentication image acquisition system, and an authentication image acquisition method. More specifically, the present invention acquires an authentication image for authentication using an image such as a product label. The present invention relates to an apparatus, an authentication image acquisition system, and an authentication image acquisition method.

従来から、食品、飲料、医薬、農産物等の物品の消費者に対する安全性や安心を提供する手段として、その物品を個々に識別する技術が開発されている。例えば、薬剤載置部に載置された薬剤を撮影し、撮影された薬剤の画像に基づいて薬剤の識別情報を認識する技術が知られている(特許文献1参照)。 Conventionally, a technique for individually identifying an article such as food, beverage, medicine, or agricultural product has been developed as a means for providing safety and security to consumers. For example, there is known a technique of photographing a drug placed on a drug placing portion and recognizing the identification information of the drug based on the image of the photographed drug (see Patent Document 1).

近年、個々の物品を識別するために、物品の微細な色の濃淡などを見分ける超高精細の技術が開発されている。このような技術では、同じ商品に付されたラベル等の特定の領域から人の目では見分けられない差異を把握し、ICタグなどを別途取り付けることなく個体を識別することができる。 In recent years, in order to identify individual articles, ultra-high-definition techniques for distinguishing fine color shades of articles have been developed. With such a technique, it is possible to grasp a difference that cannot be discerned by the human eye from a specific area such as a label attached to the same product, and to identify an individual without attaching an IC tag or the like separately.

画像に基づく個体の識別では高画質で撮像することが重要であり、このような観点から高画質の画像を得る技術も開発されている(例えば、特許文献2参照)。 It is important to take a high-quality image in the identification of an individual based on an image, and a technique for obtaining a high-quality image from such a viewpoint has also been developed (see, for example, Patent Document 2).

特開2017-158743号公報JP-A-2017-158743 特開2017-183792号公報JP-A-2017-1837992

識別される個々の物品の形状は曲面で構成される場合があり、識別すべき領域として曲面上の領域を使用することもあり得る。しかしながら、曲面上の領域を高精細な画像で撮像することは非常に難しい。例えば、医薬品のアンプルを識別するためにアンプル側面に付されたラベルを撮像する場合、ブレやピントのずれが生じやすいという問題があった。 The shape of the individual article to be identified may consist of a curved surface, and a region on the curved surface may be used as the region to be identified. However, it is very difficult to capture a region on a curved surface with a high-definition image. For example, when an image is taken of a label attached to the side surface of an ampoule to identify an ampoule of a drug, there is a problem that blurring or out of focus are likely to occur.

本発明はこのような問題に鑑みてなされたものであり、その目的とするところは、物品表面の画像を改善された精細度で撮像することができる認証用画像の取得装置、認証用画像の取得システムおよび認証用画像の取得方法を提供することにある。 The present invention has been made in view of such a problem, and an object thereof is an authentication image acquisition device capable of capturing an image on the surface of an article with improved fineness, and an authentication image. The purpose is to provide an acquisition system and a method for acquiring an image for authentication.

このような課題を解決するために、本発明に係る認証用画像の取得装置は認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段とを備える。 In order to solve such a problem, the authentication image acquisition device according to the present invention has a storage means that stores a template that defines an imaging position of the authentication image, and a predetermined area of an object captured by the imaging device. The image is compared with the template stored in the storage means to acquire the matching degree, and when the acquired matching degree is equal to or higher than the first threshold value, the captured image is used for authentication. As an image candidate, a holding means held in the storage means is provided.

ここで、前記取得された一致度が直前に保持された画像の一致度を超える場合、前記保持手段は前記直前に保持された認証用画像を新たに捕捉された画像で上書きするものとすることができる。 Here, when the acquired matching degree exceeds the matching degree of the image held immediately before, the holding means shall overwrite the authentication image held immediately before with the newly captured image. Can be done.

また、前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、前記保持された画像を認証用画像としてファイルに保存するファイル保存手段をさらに備えたものとすることができる。 Further, when the acquired matching degree becomes equal to or higher than the first threshold value and then becomes equal to or lower than the second threshold value, a file saving means for saving the held image as an authentication image in a file is further provided. Can be.

また、前記保持手段は、前記比較手段により取得された一致度が前記第1の閾値以上である場合、前記捕捉された画像のうちの時間的に連続する2つの画像の移動距離と一致度とに基づいて前記画像の静止状態を判定する判定手段と、前記判定手段により静止状態であることが少なくとも連続して2回判定された場合、前記捕捉された2番目以降の画像を認証用画像候補として保持するものとすることができる。 Further, when the degree of matching acquired by the comparison means is equal to or greater than the first threshold value, the holding means determines the moving distance and the degree of matching of two temporally continuous images among the captured images. When the determination means for determining the stationary state of the image and the determination means determine that the image is stationary at least twice in succession, the captured second and subsequent images are image candidates for authentication. Can be held as.

また、前記保持手段は、捕捉された前記画像内の所定の領域の暗さが第3の閾値以上である場合、前記捕捉された画像を認証用画像候補として保持することを禁止するものとすることができる。 Further, the holding means prohibits holding the captured image as an authentication image candidate when the darkness of a predetermined region in the captured image is equal to or higher than the third threshold value. be able to.

また、前記捕捉された画像を表示する表示手段をさらに備えたものとすることができる。 Further, it may be further provided with a display means for displaying the captured image.

また、前記表示手段に、前記捕捉された画像を位置決めするための案内画像を、前記捕捉された画像と重ねて表示する制御手段をさらに備えたものとすることができる。 Further, the display means may be further provided with a control means for displaying the guide image for positioning the captured image on the captured image.

また、前記表示手段は、前記取得された一致度が前記第1の閾値以上である場合、表示される画像を第1の態様で変化させるものとすることができる。 Further, the display means can change the displayed image in the first aspect when the acquired degree of matching is equal to or higher than the first threshold value.

また、前記表示手段は、前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、表示される画像を第2の態様で変化させるものとすることができる。 Further, the display means shall change the displayed image in the second aspect when the acquired degree of matching becomes equal to or more than the first threshold value and then becomes equal to or less than the second threshold value. Can be done.

また、前記表示手段は、前記捕捉された画像内の所定の領域の暗さが第3の閾値以上である場合、表示される画像を第3の態様で変化させるものとすることができる。 Further, the display means can change the displayed image in the third aspect when the darkness of the predetermined region in the captured image is equal to or higher than the third threshold value.

本発明の別の態様によれば、本発明に係る認証用画像の取得システムは、対象物の所定の領域を撮像する撮像デバイスと、認証用画像の取得装置であって、認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段とを含む認証用画像の取得装置とを備える。 According to another aspect of the present invention, the authentication image acquisition system according to the present invention is an image pickup device that captures a predetermined area of an object and an authentication image acquisition device, and captures the authentication image. A storage means that stores a template that defines a position, a comparison means that compares an image of a predetermined area of an object captured by an imaging device with a template stored in the storage means, and obtains a degree of matching. When the acquired degree of matching is equal to or higher than the first threshold value, the device includes an authentication image acquisition device including a holding means for holding the captured image as an authentication image candidate in the storage means.

本発明の他の態様によれば、本発明に係るコンピュータにより実行される認証用画像の取得方法は、認証用画像の撮像位置を画定するテンプレートを前記コンピュータの記憶部に記憶するステップと、撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得するステップと、前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶部に保持するステップとを備える。 According to another aspect of the present invention, the method for acquiring an image for authentication executed by the computer according to the present invention includes a step of storing a template defining an imaging position of the image for authentication in the storage unit of the computer and imaging. The step of comparing the image of a predetermined area of the object captured by the device with the template stored in the storage means to acquire the degree of matching, and the acquired degree of matching is equal to or higher than the first threshold value. In this case, the storage unit includes a step of holding the captured image as an image candidate for authentication.

本発明の他の態様によれば、本発明に係るコンピュータプログラムは、コンピュータを上記の認証用画像の取得装置として機能させる。 According to another aspect of the present invention, the computer program according to the present invention causes the computer to function as the above-mentioned authentication image acquisition device.

本発明の他の態様によれば、本発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに上記の認証用画像の取得装置として機能させる。 According to another aspect of the present invention, the computer-readable recording medium according to the present invention causes the computer to function as the above-mentioned authentication image acquisition device.

本発明によれば、物品を識別するために物品表面の所定の領域の画像を改善された精細度で撮像することが可能となる。 According to the present invention, it is possible to take an image of a predetermined area on the surface of an article with improved definition in order to identify the article.

物品の所定領域の画像を撮影する際に案内画像を表示することで、撮像が迅速かつ容易になる。 By displaying the guide image when taking an image of a predetermined area of the article, imaging becomes quick and easy.

本発明の一実施形態に係る撮像デバイスの外観構成を示す斜視図である。It is a perspective view which shows the appearance structure of the image pickup device which concerns on one Embodiment of this invention. 図2(a)はアンプルが設置された撮像デバイス100の外観構成の斜視図、図2(b)は図2(a)の矢印A方向から見た側面図、図2(c)は図2(a)の矢印B方向からみた側面図である。2A is a perspective view of the external configuration of the image pickup device 100 in which the ampoule is installed, FIG. 2B is a side view seen from the direction of arrow A in FIG. 2A, and FIG. 2C is FIG. It is a side view seen from the arrow B direction of (a). カメラユニットの部分の構成を示す斜視図である。It is a perspective view which shows the structure of the part of a camera unit. 本発明の一実施形態に係る認証用画像取得システムの機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the image acquisition system for authentication which concerns on one Embodiment of this invention. 本発明の一実施形態に係る認証用画像の取得方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the acquisition method of the authentication image which concerns on one Embodiment of this invention. アンプルの表面に貼られたラベルの例を示す図である。It is a figure which shows the example of the label attached to the surface of an ampoule. ラベルの所定の領域と比較されるテンプレートの例を示す。Here is an example of a template that is compared to a given area of the label. カメラによるキャプチャ画像の例を示す図であり、図(a)はカメラユニットが除去された撮像デバイスの外観を示す斜視図、図(b)はキャプチャされたラベルの画像の例を示す図である。It is a figure which shows the example of the image captured by a camera, FIG. .. アンプルの位置を調整しながらラベルを撮像する動作の概要を説明する図である。It is a figure explaining the outline of the operation of imaging a label while adjusting the position of an ampoule. 本発明の一実施形態に係る被写体のブレを防止する動作を説明する図である。It is a figure explaining the operation which prevents blurring of a subject which concerns on one Embodiment of this invention. キャプチャされた画像の例を示す図であり、(a)は良好な画像の例、(b)は失敗した画像の例を示す。It is a figure which shows the example of the captured image, (a) shows the example of a good image, (b) shows the example of a failed image. 本発明の一実施形態に係る案内画像の表示例を示す図である。It is a figure which shows the display example of the guide image which concerns on one Embodiment of this invention. 本発明の一実施形態に係るPCに表示される画像を示す図である。It is a figure which shows the image displayed on the PC which concerns on one Embodiment of this invention. 本発明の一実施形態に係る認証用画像の取得方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the acquisition method of the authentication image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像デバイスによって撮影される被写体の位置を説明するための図である。It is a figure for demonstrating the position of the subject photographed by the image pickup apparatus which concerns on one Embodiment of this invention. キャプチャされるアンプルのラベルの画像の例を示す図であり、(a)はラベルに筐体の開口縁部の影が写り込んでいない画像、(b)はラベルに筐体の開口縁部の影が写り込んだ画像の例を示す図である。It is a figure which shows the example of the image of the label of an ample to be captured, (a) is the image which the shadow of the opening edge of a housing is not reflected on the label, (b) is the image of the opening edge of a housing on a label. It is a figure which shows the example of the image which a shadow is reflected. 本発明の一実施形態に係る影を検出する領域の画像において、図16のx座標(水平方向)に対する明度の平均を示したグラフである。It is a graph which showed the average of the lightness with respect to the x coordinate (horizontal direction) of FIG. 16 in the image of the region which detects a shadow which concerns on one Embodiment of this invention. 本発明の一実施形態に係る影の有無を判定するための判定値(暗度)の求め方を説明するための図である。It is a figure for demonstrating how to obtain the determination value (darkness) for determining the presence or absence of a shadow which concerns on one Embodiment of this invention. 本発明の一実施形態に係る影の有無を判定するための判定値(暗度)の求め方を説明するための図である。It is a figure for demonstrating how to obtain the determination value (darkness) for determining the presence or absence of a shadow which concerns on one Embodiment of this invention.

以下、図面を参照し、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

本実施形態に係る認証用画像の取得装置は、認証システムにおいて認証に用いられる画像を取得する。認証システムは、例えば、印鑑の印影、サイン、商標、ロゴマーク、ブランドマーク、紙幣等に印刷された識別用のマーク、転写紙によって立体物上に付されたマーク、磁気カードやICカードに付された識別用のマーク等、紙や木や布や樹脂や金属等の薄片や立体物の表面に付されたり、顔料・染料等のインクにより印刷されたり、描かれたり、ペンキ等の塗料により塗布されたり、色材を含む樹脂により成型されるなど、なんらかの色を構成する材料が定着された平面物や立体物である標識等である認証対象が付された物体を認証するものを含むことができる。 The authentication image acquisition device according to the present embodiment acquires an image used for authentication in the authentication system. The authentication system is attached to, for example, imprints of seals, signs, trademarks, logo marks, brand marks, identification marks printed on banknotes, marks made on three-dimensional objects by transfer paper, magnetic cards and IC cards. Marks for identification, etc., can be attached to the surface of thin pieces of paper, wood, cloth, resin, metal, etc., or three-dimensional objects, printed or drawn with ink such as pigments and dyes, and painted with paint. Includes objects that are subject to certification, such as flat objects or signs that are three-dimensional objects, to which a material that constitutes some color is fixed, such as being coated or molded from a resin containing a coloring material. Can be done.

また、認証システムは、認証する対象に加工を必要とせず対象の個別の特徴を一定の構成を有する標準的なデジタル撮像機器を用いて一定の構成条件で撮影したイメージデータから抽出した対象の固有情報に関する原理、固有情報を読取画像から抽出する固有情報抽出方法および抽出された固有情報に基づいて適宜必要時に対象を認証する方法に従って、対象の同一性を判定するものを含むことができる。 In addition, the certification system is unique to the target extracted from image data taken under certain configuration conditions using a standard digital imaging device that does not require processing of the target to be certified and has a fixed configuration for the individual characteristics of the target. It can include a method for determining the identity of a target according to a principle regarding information, a unique information extraction method for extracting unique information from a scanned image, and a method for authenticating a target when necessary based on the extracted unique information.

本実施形態に係る認証用画像の取得は、認証用画像を登録する際に使用してもよく、また登録された画像と照合するための認証用画像を取得する際に使用してもよい。 The acquisition of the authentication image according to the present embodiment may be used when registering the authentication image, or may be used when acquiring the authentication image for collating with the registered image.

(第1実施形態)
本実施形態では、認証される物品として医薬品を例に用いる。また、医薬品の認証を行うために、当該医薬品のアンプルに付されたラベルを、認証用画像を取得するための領域として用いる。認証用画像取得システムにおいては、撮影の基準となるテンプレートを予め準備し、カメラによりキャプチャ(捕捉)された画像の1フレーム毎にテンプレートと一致しているか、または一致に近い状態にあるかを確認する。一致していると判断された場合には自動的に撮像を行い、ユーザへの通知を行う。一致の度合いは比較値として算出され、比較値が所定の閾値以上である場合に、認証用画像候補としてメモリ上に保持する。
(First Embodiment)
In this embodiment, a pharmaceutical product is used as an example of an article to be certified. Further, in order to certify a drug, the label attached to the ampoule of the drug is used as an area for acquiring an image for authentication. In the image acquisition system for authentication, a template that serves as a reference for shooting is prepared in advance, and it is confirmed whether or not the template matches or is close to the template for each frame of the image captured (captured) by the camera. do. If it is determined that they match, imaging is automatically performed and the user is notified. The degree of matching is calculated as a comparison value, and when the comparison value is equal to or higher than a predetermined threshold value, it is stored in the memory as an image candidate for authentication.

図1は、本実施形態に係る撮像デバイスの外観構成を示す斜視図である。撮像デバイス100は、カメラユニット102、カメラホルダー兼スタンド104、およびアンプル回転治具106を少なくとも含んでいる。カメラユニット102は、アンプル回転治具106に支持されたアンプルを撮影するためのカメラが内部に設けられている。アンプル回転治具106はカメラホルダー兼スタンド104に固定されており、カメラホルダー兼スタンド104はカメラユニット102を支持するように形成されている。また、カメラホルダー兼スタンド104の上部には把持可能に形成された取っ手が設けられており、ユーザはこの取っ手を握って撮像デバイス100を持ち運ぶことができる。 FIG. 1 is a perspective view showing an external configuration of an image pickup device according to the present embodiment. The image pickup device 100 includes at least a camera unit 102, a camera holder / stand 104, and an ampoule rotation jig 106. The camera unit 102 is provided with a camera for photographing an ampoule supported by the ampoule rotation jig 106. The ampoule rotation jig 106 is fixed to the camera holder / stand 104, and the camera holder / stand 104 is formed so as to support the camera unit 102. Further, a handle formed so as to be grippable is provided on the upper portion of the camera holder / stand 104, and the user can hold the handle and carry the image pickup device 100.

図2(a)はアンプルが設置された撮像デバイス100の外観構成の斜視図、(b)は図2(a)の矢印A方向から見た側面図、(c)は図2(a)の矢印B方向からみた側面図である。アンプル202はアンプル回転治具106の開口部に挿入されている。撮像デバイス100の利用者はアンプル202の頭部を開口部に挿入し、アンプル202の胴部を指でつまんで前後に移動させ、またはアンプル202をその軸の周りに回転させながら撮像位置を調整する。 2A is a perspective view of the external configuration of the image pickup device 100 in which the ampoule is installed, FIG. 2B is a side view seen from the direction of arrow A in FIG. 2A, and FIG. 2C is FIG. 2A. It is a side view seen from the arrow B direction. The ampoule 202 is inserted into the opening of the ampoule rotation jig 106. The user of the image pickup device 100 inserts the head of the ampoule 202 into the opening, pinches the body of the ampoule 202 with his fingers and moves it back and forth, or adjusts the image pickup position while rotating the ampoule 202 around its axis. do.

図3はカメラユニット102の構成を示す図である。カメラユニット102の内部に配置された基板302の裏側にはCCDカメラやCMOSカメラ等により構成されるカメラ306が設けられている。また、基板の開口部の周辺にLED304が多数、同図に示す例では16個並べて配置されており、開口部308付近に設置されるアンプルのラベルを照射するように構成される。カメラユニット102の筐体は、カメラ306の位置から開口部308に向かってテーパ状に形成されている。この筐体の内側は白色が好ましい。また、筐体の内壁に、吹付塗装のように細かく凹凸をつけることで、LED304から照射される光を全体に反射させ、開口部を通過する光がラベルに均一に照射される。 FIG. 3 is a diagram showing the configuration of the camera unit 102. A camera 306 composed of a CCD camera, a CMOS camera, or the like is provided on the back side of the substrate 302 arranged inside the camera unit 102. Further, a large number of LEDs 304 are arranged around the opening of the substrate, 16 of which are arranged side by side in the example shown in the figure, and are configured to illuminate the label of the ampoule installed near the opening 308. The housing of the camera unit 102 is formed in a taper shape from the position of the camera 306 toward the opening 308. The inside of this housing is preferably white. Further, by making fine irregularities on the inner wall of the housing like spray coating, the light emitted from the LED 304 is reflected as a whole, and the light passing through the opening is uniformly irradiated on the label.

図4は本実施形態に係る認証用画像取得システムの機能構成を示すブロック図である。認証用画像取得システム400は、撮像デバイス100とPC406とが接続されて構成される。撮像デバイス100のカメラユニット102は、撮像した画像等のデータやカメラユニット102を制御するためのプログラムを記憶したメモリ405、外部の端末と通信を行うための通信部404、上記プログラムを実行してカメラユニット102全体を制御する制御部402を含んでいる。このように構成されることで、制御部402により撮像処理が制御されるカメラ306のレンズ307は、開口部308の下側に配置されるアンプルのラベルを撮像するように方向づけられている。カメラ306により撮影された画像はメモリ405に記憶され、または通信部404を通じて外部の端末に送信される。 FIG. 4 is a block diagram showing a functional configuration of the authentication image acquisition system according to the present embodiment. The authentication image acquisition system 400 is configured by connecting the image pickup device 100 and the PC406. The camera unit 102 of the image pickup device 100 executes a memory 405 that stores data such as captured images and a program for controlling the camera unit 102, a communication unit 404 for communicating with an external terminal, and the above program. It includes a control unit 402 that controls the entire camera unit 102. With this configuration, the lens 307 of the camera 306 whose imaging process is controlled by the control unit 402 is oriented to image the label of the ampoule arranged below the opening 308. The image taken by the camera 306 is stored in the memory 405 or transmitted to an external terminal through the communication unit 404.

PC406は外部の端末の一例であり、本実施形態おいて認証用画像取得装置にとして機能する。PC406は、プログラムを実行してPC406を制御するプロセッサ408、各種プログラムやデータを記録するメモリ410、撮像デバイス100と通信を行うための通信部412、画像を表示するための液晶ディスプレイ等により構成される表示部414を含んでいる。本実施形態に関わる動作は、プロセッサ408がメモリ410に記録されたプログラムを読み出して実行することにより達成される。 The PC406 is an example of an external terminal, and functions as an authentication image acquisition device in the present embodiment. The PC 406 is composed of a processor 408 that executes a program to control the PC 406, a memory 410 that records various programs and data, a communication unit 412 for communicating with the image pickup device 100, a liquid crystal display for displaying an image, and the like. The display unit 414 is included. The operation according to the present embodiment is achieved by the processor 408 reading and executing the program recorded in the memory 410.

次に、図5のフローチャートS500を参照し、本実施形態に係る撮像デバイス100およびPC406により実行される認証用画像の取得方法について説明する。まず、この方法の前提として、PC406のメモリ410には、キャプチャされた画像と比較するためのテンプレートの画像が予め記憶される。また、キャプチャされた画像とテンプレートの画像との一致度と比較するための画像保存用閾値T1、および画像取得用閾値T2が記憶される。画像保存用閾値T1は、保持された認証用画像候補を認証用画像として保存するための判断に用いられる。また、画像取得用閾値T2は、キャプチャされた画像を認証用画像候補として保持するための判断に用いられる。 Next, with reference to the flowchart S500 of FIG. 5, a method of acquiring an authentication image executed by the image pickup device 100 and the PC406 according to the present embodiment will be described. First, as a premise of this method, the image of the template for comparison with the captured image is stored in advance in the memory 410 of the PC406. Further, an image storage threshold value T1 for comparing the degree of matching between the captured image and the template image and an image acquisition threshold value T2 are stored. The image storage threshold value T1 is used for determining to store the retained authentication image candidate as an authentication image. Further, the image acquisition threshold value T2 is used for determination for holding the captured image as an authentication image candidate.

ステップS502において、撮像デバイス100は画像の1フレームをキャプチャし、PC406に送信する(S504)。次いで、PC406は、キャプチャされた画像と、メモリ410に記憶されたテンプレートの画像を比較して、画像の一致度を取得する。一致度を評価する方法として、例えばSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、正規化相互相関等のマッチングのためのアルゴリズムを使用することができる。 In step S502, the image pickup device 100 captures one frame of the image and transmits it to the PC406 (S504). Next, the PC406 compares the captured image with the image of the template stored in the memory 410, and acquires the degree of matching of the images. As a method for evaluating the degree of agreement, for example, an algorithm for matching such as SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), and normalized cross-correlation can be used.

次いで、ステップS506において、算出された一致度が画像保存用閾値T1を超えているかを判定する。この判定処理において、一致度が画像保存用閾値T1以下であると判定された場合、処理はステップS518に進み、メモリ410に認証用画像候補として保持された画像が既に記憶されているかを判定する。保持された画像があれば、取得された一致度が一旦画像取得用閾値T2以上になった後に画像保存用閾値T1以下になったことを意味する。この場合、保持された画像を認証用画像としてファイルに保存し(S520)、処理を終了する。このようにして、取得された一致度が画像取得用閾値T2以上になった後に画像保存用閾値T1以下になった場合、保持された画像を認証用画像として自動的にファイルに保存する処理が行われる。 Next, in step S506, it is determined whether the calculated degree of matching exceeds the image storage threshold value T1. If it is determined in this determination process that the degree of matching is equal to or less than the image storage threshold value T1, the process proceeds to step S518, and it is determined whether or not the image held as the authentication image candidate is already stored in the memory 410. .. If there is a retained image, it means that the acquired matching degree once becomes equal to or higher than the image acquisition threshold T2 and then becomes equal to or lower than the image storage threshold T1. In this case, the retained image is saved in a file as an authentication image (S520), and the process is terminated. In this way, when the acquired matching degree becomes equal to or less than the image acquisition threshold T2 and then becomes equal to or less than the image storage threshold T1, the retained image is automatically saved as an authentication image in a file. Will be done.

ステップS506において、一致度が画像保存用閾値T1を超えていると判定された場合、処理はステップS508に進み、一致度が画像取得用閾値T2以上であるかを判定する。ここで、T2>T1である。ステップS508において一致度が画像取得用閾値T2未満であると判定された場合、処理は再びステップS502に戻り、次のフレームをキャプチャする。他方、ステップS508において一致度が画像取得用閾値T2以上であると判定された場合、処理はステップS510へ進み、メモリ410内に既に認証用画像候補として保持された画像があるかを確認する。メモリ410内に画像がない場合、処理はステップS512に進み、キャプチャされた画像を認証用画像候補としてメモリ410に保持する。このようにして、取得された一致度が画像取得用閾値T2以上である場合、捕捉された画像を認証用画像候補としてメモリ410に自動的に保持する処理が行われる。次いで、ステップS502に戻り、次のフレームをキャプチャする。 If it is determined in step S506 that the degree of matching exceeds the image storage threshold T1, the process proceeds to step S508, and it is determined whether the degree of matching is equal to or greater than the image acquisition threshold T2. Here, T2> T1. If it is determined in step S508 that the degree of coincidence is less than the image acquisition threshold value T2, the process returns to step S502 again and captures the next frame. On the other hand, if it is determined in step S508 that the degree of coincidence is equal to or higher than the image acquisition threshold value T2, the process proceeds to step S510, and it is confirmed whether or not there is an image already held as an authentication image candidate in the memory 410. If there is no image in the memory 410, the process proceeds to step S512, and the captured image is held in the memory 410 as an image candidate for authentication. In this way, when the acquired matching degree is equal to or higher than the image acquisition threshold value T2, a process of automatically holding the captured image as an authentication image candidate in the memory 410 is performed. Then, the process returns to step S502 to capture the next frame.

ステップS510において、認証用画像候補として保持された画像があると判定された場合、キャプチャされた画像とテンプレートの画像との一致度と、保持された画像とテンプレートの画像との一致度とを比較する。キャプチャされた画像とテンプレートの画像との一致度が、保持された画像とテンプレートの画像との一致度より大きい場合、処理はステップS516に進み、メモリ410に既に保持されている画像を、新たにキャプチャされた画像で上書きする。ステップS514において、キャプチャされた画像の一致度が保持された画像の一致度以下であると判定された場合、新たにキャプチャされた画像による上書きを行わず、ステップS502に戻る。 When it is determined in step S510 that there is an image retained as an image candidate for authentication, the degree of matching between the captured image and the template image is compared with the degree of matching between the retained image and the template image. do. If the degree of matching between the captured image and the image of the template is greater than the degree of matching between the captured image and the image of the template, the process proceeds to step S516, and the image already held in the memory 410 is newly added. Overwrite with the captured image. If it is determined in step S514 that the degree of matching of the captured images is equal to or less than the degree of matching of the retained images, the process returns to step S502 without overwriting with the newly captured image.

次に、本実施形態の認証用画像の取得方法について、PC406に表示される画像の例を示して説明する。 Next, the method of acquiring the authentication image of the present embodiment will be described with reference to an example of the image displayed on the PC406.

図6は、アンプルの表面に貼られたラベルの例を示す。また、図7は、メモリ410に予め保持され、上記ラベルの所定の領域と比較されるテンプレートの例を示す。図6の所定の領域をキャプチャした画像とテンプレートとが一致した場合、または一致に近い状態にある場合、カメラによりキャプチャされた画像の1フレーム分の画像を、認証用画像候補としてメモリ410上に保持する。 FIG. 6 shows an example of a label affixed to the surface of an ampoule. Further, FIG. 7 shows an example of a template that is previously stored in the memory 410 and compared with a predetermined area of the label. When the image captured in the predetermined area of FIG. 6 and the template match, or when the template is in a state close to matching, one frame of the image captured by the camera is placed on the memory 410 as an image candidate for authentication. Hold.

図8は、撮像デバイス100および当該デバイスによるキャプチャ画像の例を示す。図8(a)に示すように、撮像デバイス100のカメラホルダー兼スタンド104には、スリット802が設けられている。図8(b)に示すように、スリット802からは、アンプル202に貼付されたラベルのうち、カメラによりピントの合う部分のみが見えるようにする。このスリット820により、ユーザがおおむねの位置合わせをしやすくする。このようにして、アンプル202のラベルは、スリット802の部分の画像のみが撮影される。 FIG. 8 shows an example of the image pickup device 100 and the captured image by the device. As shown in FIG. 8A, the camera holder / stand 104 of the image pickup device 100 is provided with a slit 802. As shown in FIG. 8B, from the slit 802, only the portion of the label affixed to the ampoule 202 that is in focus can be seen by the camera. The slit 820 makes it easier for the user to roughly align the position. In this way, the label of the ampoule 202 is captured only in the image of the portion of the slit 802.

図9は、アンプルの位置を調整しながらラベルを撮影する動作の概要を示す。同図に示すアンプル回転状態は、図1の矢印Aから見たアンプル202およびカメラ306を概略的に示している。ここで、アンプル202に貼付されたラベル902は、位置関係を説明するためアンプル202から離して示されている。 FIG. 9 shows an outline of the operation of photographing the label while adjusting the position of the ampoule. The ampoule rotation state shown in the figure schematically shows the ampoule 202 and the camera 306 as seen from the arrow A in FIG. Here, the label 902 attached to the ampoule 202 is shown away from the ampoule 202 in order to explain the positional relationship.

PC406は、カメラによりキャプチャされた画像(カメラキャプチャ)とテンプレートとの比較をフレーム毎に行い、一致度が閾値以上である場合に、キャプチャされた画像を認証用画像候補としてメモリ410に保持する。アンプルの回転中、一致度が先に保存したものを超えた場合には、既にメモリ410に保持されている画像を上書きして保存する。操作1、2および4に関し、ラベル902はカメラ306の直下に位置しておらず、キャプチャされた画像はテンプレートと一致していない。この場合、PC406は画像を保持しない。これに対し、操作3の場合は、キャプチャされた画像とテンプレートの画像との一致度が所定の閾値以上である場合に該当し、キャプチャされた画像を認証用画像候補としてメモリ410に保持する。ここで、一致度が閾値以上である画像がメモリ410に上書きされる場合、PC406を通じて上書きされる旨を通知することとしてもよい。この通知は、表示部414により表示されるメッセージであってもよく、画像を点滅させる等の表示態様の変更であってもよい。 The PC 406 compares the image captured by the camera (camera capture) with the template for each frame, and when the degree of matching is equal to or higher than the threshold value, the captured image is held in the memory 410 as an image candidate for authentication. If the degree of matching exceeds the previously saved one during the rotation of the ampoule, the image already stored in the memory 410 is overwritten and saved. For operations 1, 2 and 4, label 902 is not located directly under camera 306 and the captured image does not match the template. In this case, the PC406 does not hold the image. On the other hand, in the case of operation 3, it corresponds to the case where the degree of matching between the captured image and the template image is equal to or higher than a predetermined threshold value, and the captured image is held in the memory 410 as an authentication image candidate. Here, when the image whose matching degree is equal to or higher than the threshold value is overwritten in the memory 410, it may be notified through the PC406 that the image is overwritten. This notification may be a message displayed by the display unit 414, or may be a change in the display mode such as blinking an image.

(第2実施形態)
次に、撮像される対象に動きがないこと(静止状態)を検知して、被写体のブレを防止する本発明の第2実施形態について説明する。本実施形態では、認証されるべき被写体のブレを防止するため、連続する3フレームの画像を用いて被写体が動いていないかを判定する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described, which detects that the object to be imaged has no movement (stationary state) and prevents blurring of the subject. In the present embodiment, in order to prevent blurring of the subject to be authenticated, it is determined whether or not the subject is moving by using three consecutive frames of images.

図10は、本実施形態に係る動作を示す図である。まず、PC406のメモリ410には、画像保存用閾値T1、画像取得用閾値T2に加え、画像の移動度と比較するための移動許容閾値T3が記憶される。移動許容閾値T3は、キャプチャされた画像を認証用画像候補として保持するための判断に用いられる。キャプチャされた画像とテンプレートとの一致度が画像取得用閾値T2を超えていると判定された場合、連続してキャプチャされる画像に対して以下の処理が行われる。PC406は、キャプチャされる1フレーム目の画像および2フレーム目の画像を比較し、画像の移動距離を算出する。次いで、2フレーム目の画像および3フレーム目の画像について、移動距離を算出する。そして、算出された2つの移動度が共に、メモリ410から取得された移動許容閾値T3以下である場合に、被写体のブレがないと判断し、2フレーム目のキャプチャされた画像を認証用画像候補としてメモリ410に保持する。算出された2つの移動度の一方が移動許容閾値T3を超える場合、キャプチャされた画像は保持しない。 FIG. 10 is a diagram showing an operation according to the present embodiment. First, in the memory 410 of the PC 406, in addition to the image storage threshold T1 and the image acquisition threshold T2, the movement allowance threshold T3 for comparison with the mobility of the image is stored. The movement allowable threshold value T3 is used for determination for holding the captured image as an image candidate for authentication. When it is determined that the degree of matching between the captured image and the template exceeds the image acquisition threshold value T2, the following processing is performed on the continuously captured images. The PC406 compares the captured first frame image and the second frame image, and calculates the moving distance of the image. Next, the moving distance is calculated for the image in the second frame and the image in the third frame. Then, when the two calculated mobilities are both equal to or less than the movement allowable threshold T3 acquired from the memory 410, it is determined that there is no blurring of the subject, and the captured image in the second frame is used as an image candidate for authentication. It is held in the memory 410. If one of the two calculated mobilities exceeds the movement tolerance threshold T3, the captured image is not retained.

その後、認証用画像候補を保持している状態で、時間的に隣接するフレーム同士の画像の一致度が画像保存用閾値T1以下である場合、保持されている画像を、認証用画像のファイルとしてメモリ410に保存する。このようにして、静止状態であることが少なくとも連続して2回判定された場合、捕捉された2番目以降の画像を認証用画像候補として保持する処理が行われる。 After that, when the matching degree of the images of adjacent frames in time is equal to or less than the image storage threshold value T1 while holding the authentication image candidate, the held image is used as the authentication image file. Save in memory 410. In this way, when it is determined at least twice in succession that the image is in a stationary state, a process of holding the captured second and subsequent images as authentication image candidates is performed.

本実施形態の処理は、具体的には以下のように行われる。 Specifically, the processing of this embodiment is performed as follows.

1.撮像デバイス100の利用者は、カメラホルダー兼スタンド104にアンプル202を挿入する。 1. 1. The user of the image pickup device 100 inserts the ampoule 202 into the camera holder / stand 104.

2.次いで、アンプルの胴部を手で握って回転し、おおむねの位置を合わせる。認証用画像を撮像するために適したラベルの部位がカメラのレンズ正面に来た時に、自動的にラベルを認証用画像候補としてメモリ410に保持する。 2. 2. Next, hold the body of the ampoule with your hand and rotate it to roughly align it. When the part of the label suitable for capturing the authentication image comes to the front of the lens of the camera, the label is automatically held in the memory 410 as an image candidate for authentication.

3.その後、認証用画像候補が認証用画像としてファイルに保存された場合、PC406はユーザに、認証用画像をファイルに保存できたことを通知する。例えば、PC406は認証用画像が撮像できたことを示すメッセージを表示部414に表示する。あるいは、この通知は、表示部414により表示される画像を点滅させる等の表示態様の変更であってもよい。 3. 3. After that, when the authentication image candidate is saved in the file as the authentication image, the PC406 notifies the user that the authentication image can be saved in the file. For example, the PC406 displays a message on the display unit 414 indicating that the authentication image has been captured. Alternatively, this notification may be a change in the display mode such as blinking the image displayed by the display unit 414.

4.利用者は、カメラホルダー兼スタンド104からアンプルを抜き取る。 4. The user pulls out the ampoule from the camera holder / stand 104.

5.PC406において、受信した認証用画像に基づいてアンプルの認証を実行する。 5. The PC406 authenticates the ampoule based on the received authentication image.

(第3実施形態)
次に、図11を参照し、認証用画像取得システムのPCにおいて、被写体を適切な位置に配置させるための案内画像を表示する本発明の第3実施形態について説明する。
(Third Embodiment)
Next, with reference to FIG. 11, a third embodiment of the present invention for displaying a guide image for arranging a subject at an appropriate position in a PC of an authentication image acquisition system will be described.

図11は、撮像デバイス100によりキャプチャされる画像の例を示す。図11(a)に示す画像に合わせてテンプレートを作成した場合、図11(b)に示すようにキャプチャされた画像はテンプレートとずれているため、認証用画像候補から除外される。しかし、図11(a)に示す適切な画像がキャプチャされるようにアンプルを手で回転させながら位置を調整することは難しい。そこで、本実施形態ではPC406の表示部414に、キャプチャされた画像に案内画像を重ねて表示し、位置の調整を行いやすくする。 FIG. 11 shows an example of an image captured by the image pickup device 100. When the template is created according to the image shown in FIG. 11 (a), the captured image as shown in FIG. 11 (b) is excluded from the authentication image candidates because it is out of alignment with the template. However, it is difficult to adjust the position while manually rotating the ampoule so that the appropriate image shown in FIG. 11 (a) is captured. Therefore, in the present embodiment, the guide image is superimposed on the captured image and displayed on the display unit 414 of the PC406 to facilitate the position adjustment.

図12は、本実施形態に係るPC406の表示部414に表示される画面の例を示す。同図に示すように画面には案内画像が固定された位置に表示される。PC406は撮像デバイス100によりキャプチャされるフレーム画像を連続して受信し、表示部414にフレーム画像1406の動画が表示される。このキャプチャされた動画に、テンプレートの画像の枠線1204からなる案内画像が重ねて表示される。案内画像は、カメラホルダー兼スタンド104のスリットの境界を示す枠線1202を含むものであってもよい。このようにして、利用者は画面を見ながらアンプルを移動させ、キャプチャされるラベルの画像の輪郭を案内画像に重なるように位置決めをすることが可能となる。結果として、認証用画像の取得が迅速に、かつ容易に行われ得る。 FIG. 12 shows an example of a screen displayed on the display unit 414 of the PC406 according to the present embodiment. As shown in the figure, the guide image is displayed at a fixed position on the screen. The PC406 continuously receives the frame images captured by the image pickup device 100, and the moving image of the frame image 1406 is displayed on the display unit 414. A guide image consisting of the frame line 1204 of the template image is superimposed and displayed on the captured moving image. The guide image may include a frame line 1202 indicating the boundary of the slit of the camera holder / stand 104. In this way, the user can move the ampoule while looking at the screen and position the contour of the captured label image so as to overlap the guide image. As a result, the acquisition of the authentication image can be performed quickly and easily.

図13は、PC406で本実施形態に係る認証用画像の取得方法を実行するプログラムにより表示部414上に表示される画面の一例を示す。同図に示すように、画面上には、テンプレートの画像1302、キャプチャされた画像1304、認証用画像1306が並べて表示される。ここで、中央に表示されるキャプチャされた画像1304は、案内画像1308、1310、1312を含んで表示されている。 FIG. 13 shows an example of a screen displayed on the display unit 414 by a program that executes the authentication image acquisition method according to the present embodiment on the PC406. As shown in the figure, the template image 1302, the captured image 1304, and the authentication image 1306 are displayed side by side on the screen. Here, the captured image 1304 displayed in the center includes the guide images 1308, 1310, and 1312.

(第4実施形態)
次に、図14のフローチャートS500’を参照し、本発明の第4実施形態に係る認証用画像取得システム400により実行される動作について説明する。
(Fourth Embodiment)
Next, with reference to the flowchart S500'in FIG. 14, the operation executed by the authentication image acquisition system 400 according to the fourth embodiment of the present invention will be described.

図14に示すフローチャートは、図5のフローチャートにPC406によるユーザへの通知処理が含まれている。まず、ステップS502の前に、PC406は表示部414に案内画像を表示させる(ステップS501)。ステップS502において、撮像デバイス100は画像の1フレームをキャプチャし、PC406に送信する。PC406は、受信された画像を表示させる(ステップS503)。 The flowchart shown in FIG. 14 includes a notification process to the user by the PC406 in the flowchart of FIG. First, before step S502, the PC406 causes the display unit 414 to display the guide image (step S501). In step S502, the image pickup device 100 captures one frame of the image and transmits it to the PC406. The PC406 displays the received image (step S503).

次いで、ステップS506において、算出された一致度が画像保存用閾値T1を超えていると判定された場合、PC406は表示部414に、アンプルの位置が適切な位置に近いことを通知する(ステップS507)。この処理は、ステップS508において一致度が画像取得用閾値T2を超えていると判定された場合に行うこととしてもよい。例えば、案内画像の色を変化させたり、点滅させたりすることとしてもよい。 Next, when it is determined in step S506 that the calculated degree of matching exceeds the image storage threshold value T1, the PC406 notifies the display unit 414 that the position of the ampoule is close to an appropriate position (step S507). ). This process may be performed when it is determined in step S508 that the degree of coincidence exceeds the image acquisition threshold value T2. For example, the color of the guide image may be changed or blinked.

また、ステップS512において、キャプチャされた画像を認証用画像候補としてメモリ405に保持する場合、またはステップS516において、メモリ405に既に保持されている画像を、新たにキャプチャされた画像で上書きする場合、PC406は認証用画像候補が取得されたことを通知することとしてもよい(ステップS517)。この通知処理は、例えば画面全体にカメラシャッターが開閉する画像を表示部414に表示することとしてもよい。このカメラシャッターの画像を表示する際に、カメラシャッター音を出力することとしてもよい。 Further, in step S512, when the captured image is held in the memory 405 as an image candidate for authentication, or in step S516, when the image already held in the memory 405 is overwritten with the newly captured image. The PC 406 may notify that the authentication image candidate has been acquired (step S517). In this notification process, for example, an image in which the camera shutter opens and closes may be displayed on the display unit 414 on the entire screen. When displaying the image of the camera shutter, the camera shutter sound may be output.

(第5実施形態)
次に、図15~図18を参照し、本発明の第5実施形態について説明する。
(Fifth Embodiment)
Next, a fifth embodiment of the present invention will be described with reference to FIGS. 15 to 18.

認証精度に影響を与える要因の1つとして、カメラのレンズ先端から被写体までの距離、すなわちワーキングディスタンスがある。このワーキングディスタンスの変化による影響を取り除くため、撮像デバイス100は、ワーキングディスタンスが常に一定になるように設計される。しかし、アンプルのような曲面製品の場合、カメラのファインダーの中央に被写体(撮影箇所)を配置しても、カメラから離れるに従いピントが合わなくなる。 One of the factors that affect the authentication accuracy is the distance from the tip of the camera lens to the subject, that is, the working distance. In order to remove the influence of this change in working distance, the image pickup device 100 is designed so that the working distance is always constant. However, in the case of curved products such as ampoules, even if the subject (shooting location) is placed in the center of the viewfinder of the camera, it will not be in focus as the distance from the camera increases.

図15は、撮像デバイス100によって撮影される被写体の位置を説明するための図である。アンプル回転治具106に挿入されたアンプル202は、アンプルの軸方向や円周方向に移動する他、同図の矢印に示すようにカメラからの距離が変化するように移動する場合がある。そして、被写体が沈み込んだ状態、すなわちZ軸方向に沿ってカメラから離れて移動した状態では適切な認証用画像が取得できない。曲面で精度よく認証を行うためには、被写体を常に同じ位置で撮影する必要がある。 FIG. 15 is a diagram for explaining the position of a subject photographed by the image pickup device 100. The ampoule 202 inserted in the ampoule rotation jig 106 may move in the axial direction or the circumferential direction of the ampoule, or may move so as to change the distance from the camera as shown by the arrow in the figure. Then, an appropriate authentication image cannot be obtained when the subject is submerged, that is, when the subject moves away from the camera along the Z-axis direction. In order to authenticate accurately on a curved surface, it is necessary to always shoot the subject at the same position.

図15に示す例の場合、カメラユニット102内でカメラ側からラベルに向かってLEDの光を照射していることから、カメラユニット102の筐体の開口部308の縁部の影がラベルに写り込む。そこで、本実施形態では、被写体が沈み込んだ状態を検知するために、キャプチャされた画像に写る影を使用する。 In the case of the example shown in FIG. 15, since the LED light is emitted from the camera side toward the label in the camera unit 102, the shadow of the edge of the opening 308 of the housing of the camera unit 102 is reflected on the label. Include. Therefore, in the present embodiment, a shadow reflected in the captured image is used in order to detect a state in which the subject is sunk.

図16はキャプチャされるアンプルのラベルの画像の例を示す。図16(a)および(b)に示すように、カメラはカメラユニットの筐体の開口部308の縁部までキャプチャする。本実施形態では、ラベルに写り込んだ影を検知するために、図16(a)および(b)の丸印に含まれる領域を使用する。当該領域には、筐体の開口部308の縁部と、ラベルとの境界部分が含まれている。図16(a)はアンプルがカメラユニット102の筐体の開口部に近接して配置されており、画像に影が写っていない。一方、図16(b)はアンプルが沈み込んだ状態にあり、適切な位置からZ軸方向に移動し、カメラユニット102から離れている。このため、アンプルとカメラユニット102の筐体の開口部308との間に隙間ができ、開口部308の影がラベルの画像に写っている。結果として、ラベルの画像において、丸印の部分の明度が下がることになる。PC406のメモリ410には、この画像の明度と比較する暗度閾値T4が記憶される。暗度閾値T4は、キャプチャされた画像を認証用画像候補として保持することを禁止するための判断に用いられる。 FIG. 16 shows an example of an image of the ampoule label being captured. As shown in FIGS. 16A and 16B, the camera captures up to the edge of the opening 308 of the housing of the camera unit. In the present embodiment, the areas included in the circles in FIGS. 16A and 16B are used in order to detect the shadow reflected on the label. The area includes a boundary portion between the edge of the opening 308 of the housing and the label. In FIG. 16A, the ampoule is arranged close to the opening of the housing of the camera unit 102, and no shadow is shown in the image. On the other hand, in FIG. 16B, the ampoule is in a depressed state, moves from an appropriate position in the Z-axis direction, and is separated from the camera unit 102. Therefore, a gap is formed between the ampoule and the opening 308 of the housing of the camera unit 102, and the shadow of the opening 308 is reflected in the image of the label. As a result, in the image of the label, the brightness of the circled portion is reduced. The memory 410 of the PC406 stores a darkness threshold value T4 to be compared with the brightness of this image. The darkness threshold value T4 is used for determination for prohibiting holding the captured image as an authentication image candidate.

撮像デバイス100は、開口部308の明度と、丸印の領域との明度差から、「暗さ」を判断する値(暗度)を求め、暗度が暗度閾値T4以上である場合は影ありと判断する。そして、影ありと判断された場合、撮像デバイス100は認証用画像候補の保持を禁止する。このようにして、捕捉された画像内の所定の領域の暗さが暗度閾値T4以上である場合、捕捉された画像を認証用画像候補として保持することを禁止する処理が行われる。 The image pickup device 100 obtains a value (darkness) for determining "darkness" from the difference in brightness between the brightness of the opening 308 and the area marked with a circle, and if the darkness is equal to or higher than the darkness threshold value T4, a shadow is obtained. Judge that there is. Then, when it is determined that there is a shadow, the image pickup device 100 prohibits the holding of the authentication image candidate. In this way, when the darkness of a predetermined region in the captured image is equal to or higher than the darkness threshold value T4, a process for prohibiting holding the captured image as an authentication image candidate is performed.

ここで、撮像デバイス100は認証用画像の保持を禁止したことを示す信号をPC406に送信する。PC406は、この信号の受信に応じて利用者に認証用画像が保持できないことを通知する。この通知は、例えば案内画像の表示色を変えたり、アンプルの位置をZ軸方向に調整するようメッセージを表示したりすることとしてもよい。 Here, the image pickup device 100 transmits a signal indicating that the holding of the authentication image is prohibited to the PC406. The PC406 notifies the user that the authentication image cannot be retained in response to the reception of this signal. This notification may be, for example, changing the display color of the guide image or displaying a message to adjust the position of the ampoule in the Z-axis direction.

図17は、上記の影を検出する領域の画像において、図16のx座標(水平方向)に対する明度を示したグラフである。なお、Y軸の値は特定のx座標における画像の明度の平均である。同図に示すように、影のある場合と影がない場合とでは明度の平均に差が発生する。したがって、この明度の差を使用することにより、アンプルが沈み込んだ状態を検知することができる。 FIG. 17 is a graph showing the brightness with respect to the x-coordinate (horizontal direction) of FIG. 16 in the image of the region for detecting the shadow. The value on the Y-axis is the average brightness of the image at a specific x-coordinate. As shown in the figure, there is a difference in the average brightness between the case with shadow and the case without shadow. Therefore, by using this difference in brightness, it is possible to detect the state in which the ampol is submerged.

図18は、影の有無を判定する領域の例を示す図である。カメラユニットの筐体の内壁部分の幅(カメラ枠明度判定幅)において明度を取得し、この明度を基準とする。 FIG. 18 is a diagram showing an example of a region for determining the presence or absence of a shadow. Brightness is acquired at the width of the inner wall portion of the housing of the camera unit (camera frame brightness determination width), and this brightness is used as a reference.

図19は、図17に示すグラフを用いた暗度の求め方を示す図である。上述のようにカメラ枠明度判定幅において求めた基準の明度は同図の水平方向の直線として示されている。一方、基準より下に描かれている曲線は、キャプチャされた画像のx座標上の位置に対する明度を示している。この基準とキャプチャされた画像と明度差のx座標にわたる平均が、暗度として用いられ得る。PC406は、暗度が所定の暗度閾値T4以上である場合に、認証用画像候補の保持を禁止する。 FIG. 19 is a diagram showing how to obtain the darkness using the graph shown in FIG. As described above, the reference brightness obtained in the camera frame brightness determination width is shown as a straight line in the horizontal direction in the figure. On the other hand, the curve drawn below the reference indicates the brightness of the captured image with respect to the position on the x-coordinate. The average of this criterion and the captured image and the lightness difference over the x-coordinate can be used as the darkness. The PC406 prohibits the holding of the authentication image candidate when the darkness is equal to or higher than the predetermined darkness threshold value T4.

以上、本発明の実施形態について詳細に説明してきたが、本発明はこれら実施形態に限定されるものではなく、その他の変更及び変形が特許請求の範囲によって定義された本発明の範囲から逸脱することなく、当業者によってなされ得ることに留意されたい。 Although the embodiments of the present invention have been described in detail above, the present invention is not limited to these embodiments, and other modifications and modifications deviate from the scope of the present invention defined by the claims. Note that it can be done by one of ordinary skill in the art without.

100 撮像デバイス
102 カメラユニット
104 カメラホルダー兼スタンド
106 アンプル回転治具
202 アンプル
302 基板
304 LED
306 CCDカメラ
308 開口部
400 認証用画像取得システム
402 制御部
404 通信部
405 メモリ
406 PC
408 プロセッサ
410 メモリ
412 通信部
414 表示部
100 Imaging device 102 Camera unit 104 Camera holder and stand 106 Ampoule rotation jig 202 Ampoule 302 Board 304 LED
306 CCD camera 308 Aperture 400 Authentication image acquisition system 402 Control unit 404 Communication unit 405 Memory 406 PC
408 Processor 410 Memory 412 Communication unit 414 Display unit

Claims (15)

認証用画像の取得装置であって、
認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段と
前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、前記保持手段に保持されている画像を認証用画像としてファイルに保存するファイル保存手段と、を備えたことを特徴とする認証用画像の取得装置。
It is an image acquisition device for authentication.
A storage means that stores a template that defines the image capture position of the authentication image, and
A comparison means for obtaining a degree of agreement by comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage means.
When the acquired degree of matching is equal to or higher than the first threshold value, the holding means for holding the captured image as an authentication image candidate in the storage means, and the holding means.
When the acquired matching degree becomes equal to or higher than the first threshold value and then becomes equal to or lower than the second threshold value, a file saving means for saving the image held by the holding means in a file as an authentication image, and a file saving means. An image acquisition device for authentication, which is characterized by being equipped with.
認証用画像の取得装置であって、It is an image acquisition device for authentication.
認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、A storage means that stores a template that defines the image capture position of the authentication image, and
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、A comparison means for obtaining a degree of agreement by comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage means.
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段と、を備え、When the acquired degree of matching is equal to or higher than the first threshold value, a holding means for holding the captured image as an authentication image candidate in the storage means is provided.
前記保持手段は、The holding means is
前記比較手段により取得された一致度が前記第1の閾値以上である場合、When the degree of matching obtained by the comparison means is equal to or higher than the first threshold value,
前記捕捉された画像のうちの時間的に連続する2つの画像の移動距離と一致度とに基づいて前記画像の静止状態を判定する判定手段と、A determination means for determining the stationary state of the image based on the movement distance and the degree of coincidence of two temporally continuous images of the captured images.
前記判定手段により静止状態であることが少なくとも連続して2回判定された場合、前記捕捉された2番目以降の画像を認証用画像候補として保持することを特徴とする認証用画像の取得装置。An authentication image acquisition device comprising holding the captured second and subsequent images as authentication image candidates when it is determined by the determination means to be in a stationary state at least twice in succession.
前記取得された一致度が直前に保持された画像の一致度を超える場合、前記保持手段は前記直前に保持された認証用画像を新たに捕捉された画像で上書きすることを特徴とする請求項1または2に記載の認証用画像の取得装置。 The claim is characterized in that when the acquired matching degree exceeds the matching degree of the immediately held image, the holding means overwrites the authentication image held immediately before with the newly captured image. The authentication image acquisition device according to 1 or 2 . 前記保持手段は、捕捉された前記画像内の所定の領域の暗さが第3の閾値以上である場合、前記捕捉された画像を認証用画像候補として保持することを禁止することを特徴とする請求項1ないし3のいずれかに記載の認証用画像の取得装置。 The holding means is characterized in that when the darkness of a predetermined region in the captured image is equal to or greater than a third threshold value, the captured image is prohibited from being retained as an image candidate for authentication. The authentication image acquisition device according to any one of claims 1 to 3 . 前記捕捉された画像を表示する表示手段をさらに備えたことを特徴とする請求項1または2に記載の認証用画像の取得装置。 The authentication image acquisition device according to claim 1 or 2 , further comprising a display means for displaying the captured image. 前記表示手段に、前記捕捉された画像を位置決めするための案内画像を、前記捕捉された画像と重ねて表示する制御手段をさらに備えたことを特徴とする請求項に記載の認証用画像の取得装置。 The authentication image according to claim 5 , wherein the display means further includes a control means for displaying a guide image for positioning the captured image on the captured image. Acquisition device. 前記表示手段は、前記取得された一致度が前記第1の閾値以上である場合、表示される画像を第1の態様で変化させることを特徴とする請求項またはに記載の認証用画像の取得装置。 The authentication image according to claim 5 or 6 , wherein the display means changes the displayed image in the first aspect when the acquired degree of matching is equal to or higher than the first threshold value. Acquisition device. 前記表示手段は、前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、表示される画像を第2の態様で変化させることを特徴とする請求項ないしのいずれかに記載の認証用画像の取得装置。 The display means is characterized in that when the acquired degree of coincidence becomes equal to or greater than the first threshold value and then becomes equal to or less than a second threshold value, the displayed image is changed in the second aspect. Item 5. The image acquisition device for authentication according to any one of Items 5 to 7 . 前記表示手段は、前記捕捉された画像内の所定の領域の暗さが第3の閾値以上である場合、表示される画像を第3の態様で変化させることを特徴とする請求項ないしのいずれかに記載の認証用画像の取得装置。 The display means is characterized in that, when the darkness of a predetermined area in the captured image is equal to or greater than a third threshold value, the displayed image is changed in the third aspect. An image acquisition device for authentication described in any of the above. 認証用画像の取得システムであって、
対象物の所定の領域を撮像する撮像デバイスと、
認証用画像の取得装置であって、
認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段と
前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、前記保持手段に保持されている画像を認証用画像としてファイルに保存するファイル保存手段と、を含む認証用画像の取得装置と
を備えたことを特徴とする認証用画像の取得システム。
It is an image acquisition system for authentication.
An imaging device that captures a predetermined area of an object, and
It is an image acquisition device for authentication.
A storage means that stores a template that defines the image capture position of the authentication image, and
A comparison means for obtaining a degree of agreement by comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage means.
When the acquired degree of matching is equal to or higher than the first threshold value, the holding means for holding the captured image as an authentication image candidate in the storage means, and the holding means.
When the acquired matching degree becomes equal to or higher than the first threshold value and then becomes equal to or lower than the second threshold value, a file saving means for saving the image held by the holding means in a file as an authentication image, and a file saving means. Image acquisition device for authentication , including
An image acquisition system for authentication, which is characterized by being equipped with.
認証用画像の取得システムであって、It is an image acquisition system for authentication.
対象物の所定の領域を撮像する撮像デバイスと、An imaging device that captures a predetermined area of an object, and
認証用画像の取得装置であって、It is an image acquisition device for authentication.
認証用画像の撮像位置を画定するテンプレートを記憶した記憶手段と、A storage means that stores a template that defines the image capture position of the authentication image, and
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶手段に記憶されたテンプレートとを比較して一致度を取得する比較手段と、A comparison means for obtaining a degree of agreement by comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage means.
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶手段に保持する保持手段と、を含む認証用画像の取得装置と、を備え、When the acquired matching degree is equal to or higher than the first threshold value, a holding means for holding the captured image as an authentication image candidate in the storage means, and an authentication image acquisition device including the holding means are provided.
前記保持手段は、The holding means is
前記比較手段により取得された一致度が前記第1の閾値以上である場合、When the degree of matching obtained by the comparison means is equal to or higher than the first threshold value,
前記捕捉された画像のうちの時間的に連続する2つの画像の移動距離と一致度とに基づいて前記画像の静止状態を判定する判定手段を備え、A determination means for determining the stationary state of the image based on the movement distance and the degree of coincidence of two temporally continuous images in the captured image is provided.
前記判定手段により静止状態であることが少なくとも連続して2回判定された場合、前記捕捉された2番目以降の画像を認証用画像候補として保持するWhen the determination means determines that the image is in a stationary state at least twice in succession, the captured second and subsequent images are retained as authentication image candidates.
ことを特徴とする認証用画像の取得システム。An image acquisition system for authentication, which is characterized by this.
コンピュータにより実行される認証用画像の取得方法であって、
認証用画像の撮像位置を画定するテンプレートを前記コンピュータの記憶部に記憶するステップと、
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶部に記憶されたテンプレートとを比較して一致度を取得するステップと、
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶部に保持するステップと
前記取得された一致度が前記第1の閾値以上になった後に第2の閾値以下になった場合、前記保持するステップにおいて保持されている画像を認証用画像としてファイルに保存するステップと、を備えたことを特徴とする認証用画像の取得方法。
A method of acquiring authentication images performed by a computer.
A step of storing a template for defining an imaging position of an authentication image in the storage unit of the computer, and a step of storing the template.
A step of comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage unit to obtain a degree of agreement, and
When the acquired degree of matching is equal to or higher than the first threshold value, the step of holding the captured image as an authentication image candidate in the storage unit, and the step of holding the captured image in the storage unit .
When the acquired matching degree becomes equal to or greater than the first threshold value and then becomes equal to or lower than the second threshold value, the step of saving the image held in the holding step as an authentication image in a file is performed. A method of acquiring an image for authentication, which is characterized by being prepared.
コンピュータにより実行される認証用画像の取得方法であって、A method of acquiring authentication images performed by a computer.
認証用画像の撮像位置を画定するテンプレートを前記コンピュータの記憶部に記憶するステップと、A step of storing a template for defining an imaging position of an authentication image in the storage unit of the computer, and a step of storing the template.
撮像デバイスにより捕捉された対象物の所定の領域の画像と、前記記憶部に記憶されたテンプレートとを比較して一致度を取得するステップと、A step of comparing an image of a predetermined area of an object captured by an imaging device with a template stored in the storage unit to obtain a degree of agreement, and
前記取得された一致度が第1の閾値以上である場合、前記捕捉された画像を認証用画像候補として前記記憶部に保持するステップと、を含み、When the acquired degree of matching is equal to or higher than the first threshold value, the step of holding the captured image as an authentication image candidate in the storage unit is included.
前記保持するステップは、The holding step is
前記取得された一致度が前記第1の閾値以上である場合、When the acquired degree of matching is equal to or higher than the first threshold value,
前記捕捉された画像のうちの時間的に連続する2つの画像の移動距離と一致度とに基づいて前記画像の静止状態を判定するステップを含み、A step of determining the stationary state of the image based on the movement distance and the degree of coincidence of two temporally continuous images in the captured image is included.
前記判定するステップにより静止状態であることが少なくとも連続して2回判定された場合、前記捕捉された2番目以降の画像を認証用画像候補として保持することを特徴とする認証用画像の取得方法。A method for acquiring an authentication image, which comprises holding the captured second and subsequent images as authentication image candidates when it is determined at least twice in succession by the determination step. ..
コンピュータを請求項1ないしのいずれかに記載の認証用画像の取得装置として機能させるコンピュータプログラム。 A computer program that causes a computer to function as an authentication image acquisition device according to any one of claims 1 to 9 . コンピュータに請求項1ないしのいずれかに記載の認証用画像の取得装置として機能させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which a computer program that causes a computer to function as an authentication image acquisition device according to any one of claims 1 to 9 is recorded.
JP2017254534A 2017-12-28 2017-12-28 Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method Active JP7098131B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017254534A JP7098131B2 (en) 2017-12-28 2017-12-28 Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017254534A JP7098131B2 (en) 2017-12-28 2017-12-28 Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method

Publications (2)

Publication Number Publication Date
JP2019121080A JP2019121080A (en) 2019-07-22
JP7098131B2 true JP7098131B2 (en) 2022-07-11

Family

ID=67307815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254534A Active JP7098131B2 (en) 2017-12-28 2017-12-28 Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method

Country Status (1)

Country Link
JP (1) JP7098131B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046911A (en) 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2005227957A (en) 2004-02-12 2005-08-25 Mitsubishi Electric Corp Optimal face image recording device and optimal face image recording method
JP2008027086A (en) 2006-07-19 2008-02-07 Sony Computer Entertainment Inc Facial expression inducing device, facial expression inducing method, and facial expression inducing system
JP2008040827A (en) 2006-08-07 2008-02-21 Fujitsu Ltd Image authentication device, image authentication method, image authentication program, recording medium, and electronic apparatus
JP2008071158A (en) 2006-09-14 2008-03-27 Fujitsu Ltd Living body guide control method for biometrics authentication device, and biometrics authentication device
JP2008253598A (en) 2007-04-06 2008-10-23 Seiko Epson Corp Biometric authentication device and biometric authentication method
WO2011061862A1 (en) 2009-11-17 2011-05-26 株式会社日立製作所 Authentication system using organism information, and authentication device
JP2012133477A (en) 2010-12-20 2012-07-12 Nec Corp Authentication card, authentication system, guidance method and program
WO2015194017A1 (en) 2014-06-19 2015-12-23 日立マクセル株式会社 Wearable device and authentication method
JP2016071591A (en) 2014-09-30 2016-05-09 アズビル株式会社 Collation apparatus and collation method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046911A (en) 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd Monitoring recording system and method therefor
JP2005227957A (en) 2004-02-12 2005-08-25 Mitsubishi Electric Corp Optimal face image recording device and optimal face image recording method
JP2008027086A (en) 2006-07-19 2008-02-07 Sony Computer Entertainment Inc Facial expression inducing device, facial expression inducing method, and facial expression inducing system
JP2008040827A (en) 2006-08-07 2008-02-21 Fujitsu Ltd Image authentication device, image authentication method, image authentication program, recording medium, and electronic apparatus
JP2008071158A (en) 2006-09-14 2008-03-27 Fujitsu Ltd Living body guide control method for biometrics authentication device, and biometrics authentication device
JP2008253598A (en) 2007-04-06 2008-10-23 Seiko Epson Corp Biometric authentication device and biometric authentication method
WO2011061862A1 (en) 2009-11-17 2011-05-26 株式会社日立製作所 Authentication system using organism information, and authentication device
JP2012133477A (en) 2010-12-20 2012-07-12 Nec Corp Authentication card, authentication system, guidance method and program
WO2015194017A1 (en) 2014-06-19 2015-12-23 日立マクセル株式会社 Wearable device and authentication method
JP2016071591A (en) 2014-09-30 2016-05-09 アズビル株式会社 Collation apparatus and collation method

Also Published As

Publication number Publication date
JP2019121080A (en) 2019-07-22

Similar Documents

Publication Publication Date Title
US10762334B2 (en) System and method for entity recognition
CN105488782B (en) Gloss determination device and gloss determination method
US10922512B2 (en) Contactless fingerprint recognition method using smartphone
CN107368774A (en) Gaze detection equipment and gaze detection method
TWI616822B (en) Facial spoofing detection in image based biometrics
CN104956377B (en) For acquiring the device of special messenger's data
JP3810782B2 (en) Personal recognition device
KR20190094352A (en) System and method for performing fingerprint based user authentication using a captured image using a mobile device
EP2945372A1 (en) Electronic mirror device
US10346682B2 (en) Method of authenticating documents by means of a mobile telecommunications terminal
CN107862274A (en) U.S. face method, apparatus, electronic equipment and computer-readable recording medium
JP2010092121A (en) Imaging device, imaging program, imaging method, authentication device, authentication program and authentication method
JP4501003B2 (en) Face posture detection system
EP3885982A2 (en) Hand biometrics system and method using digital fingerprints
JP2007072861A (en) Impersonation detector and face authentication device
JP2004094491A (en) Face orientation estimation device and method and its program
JP2018522223A (en) System and method for measuring hair diameter
JP2021047448A (en) Imaging system, method for imaging, and program
JP2019053626A (en) Contour detection apparatus, drawing apparatus, contour detection method, and contour detection program
KR20150139183A (en) Wrist-type wearable device for vein recognition
JP2020518920A (en) Method and apparatus for determining information about a drug container
JP3970573B2 (en) Facial image recognition apparatus and method
JP6904624B1 (en) Club head measurement mark and image processing device
JP7098131B2 (en) Authentication image acquisition device, authentication image acquisition system, and authentication image acquisition method
JP6446676B1 (en) Identity authentication system, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R150 Certificate of patent or registration of utility model

Ref document number: 7098131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150