JP6797046B2 - 画像処理装置及び画像処理プログラム - Google Patents
画像処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP6797046B2 JP6797046B2 JP2017031321A JP2017031321A JP6797046B2 JP 6797046 B2 JP6797046 B2 JP 6797046B2 JP 2017031321 A JP2017031321 A JP 2017031321A JP 2017031321 A JP2017031321 A JP 2017031321A JP 6797046 B2 JP6797046 B2 JP 6797046B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- color boundary
- card
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 164
- 239000013598 vector Substances 0.000 claims description 86
- 238000003702 image correction Methods 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 51
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012015 optical character recognition Methods 0.000 description 54
- 238000012937 correction Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 16
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000036541 health Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1〜図21を用いて、本発明の実施の形態の画像処理装置について説明する。
図1は、実施の形態の画像処理装置を含む、システムの構成を示す。実施の形態の画像処理装置は、OCR装置1として構成されている。このシステムは、OCR装置1、カメラ2を有する。ユーザは、OCR装置1、カメラ2を使用する。ユーザは、健康保険証等の本人確認証のカード3を所持している。なお、OCR装置1及びカメラ2の2つの装置を使用するユーザは、同一ユーザでも別ユーザでもよい。例えば、住民が自分のカード3をカメラ2で撮像し、行政機関の職員がその撮像画像データをOCR装置1に入力してもよい。
実施の形態の画像処理装置は、カード3の画像データにおいて、背景領域とカード領域との間に色の差があることに着目する。画像処理装置は、背景領域とカード領域との境界線(四角形の4つの辺)を探索、推定することで、画像内のカード領域の位置を検出する。画像処理装置は、画像の枠の端点と中心点とを結ぶ探索線上で、色の差の境界点である色境界点を探索する。画像処理装置は、探索で得た複数の色境界点を集めてグループ化する。画像処理装置は、グループ毎に、カード領域の辺に対応付けられる近似直線を引く。画像処理装置は、4つの近似直線を用いて、カード領域の4つの角点を検出する。画像処理装置は、検出したカード領域の4つの角点に基づいて、公知の射影変換を行うことで、カード領域の台形状の歪みが直角四角形になるように変換する。これにより、高精度の俯瞰画像、即ちカード表面に対して垂直方向から撮像したような画像が得られる。
図2は、対象のカード3の表面のレイアウトの構成例として、健康保険証の場合を示す。なお、図2では、レイアウトをモノクロで簡略化して示しているが、実際のカードでは、所定のカラーのデザインを有する。このカード3では、文字項目が多く、罫線、マーク、写真等の特徴情報が少ない。カード3は、表面において直角四角形であり、規定のサイズを有し、縦の長さV0、横の長さH0、厚さを有し、4つの角点はアール加工で丸くなっている。
図3は、実施の形態の画像処理装置を含むシステムにおける利用概要を示す。図3の(A)は、ユーザがカメラ2によってカード3を撮像する例を示す。カードとして、例えば運転免許証の場合、カード面内に、罫線等の特徴情報が多い。カード3として、例えば図2のように健康保険証の場合、カード3の表面内に、罫線等の特徴情報が少ない。実施の形態では、このような特徴情報が少ない種類のカード3の場合にも、有効な画像補正を実現する。
図4は、実施の形態の画像処理装置であるOCR装置1における画像処理機能の各部の処理の概要を示す。画像データ入力部12は、ユーザ操作に基づいて、画像処理の対象となる画像データ4Aを入力する。例えば、画像データ入力部12は、カメラ2の画像データ4Aを、通信インタフェース装置104や入出力インタフェース装置105を通じて入力し、記憶装置102に画像データ122、特に補正前画像データ4Bとして格納する。画像データ入力部12は、記憶装置102の画像データ122から必要に応じて補正前画像データ4Bを読み出し、画像補正部13に入力する。
図5は、OCR装置1における画像処理のフローを示す。本フローは、画像補正処理後にOCR処理を行って文字データを出力する場合の流れを示す。図5は、ステップS1〜S5を有する。ステップS2は、ステップS2A〜S2Cを含む。ステップS2Aは、ステップS21〜S27を含む。以下、ステップの順に説明する。
図6は、S21に係わる、入力の画像データ4A(補正前画像データ4B)に対応する画像5の例を示す。画像5は、矩形を有し、左上の点を、位置座標の原点(0,0)とする。画像5内の画素の位置座標を(x,y)で表す。X方向は面内水平方向(横方向)、Y方向は面内垂直方向(縦方向)である。画像の横の長さX1、縦の長さY1とする。右上の角点の位置座標が(X1,0)、左下の角点が(0,Y1)、右下の角点が(X1,Y1)である。画像5の中心点を点G0とし、位置座標が(X1/2,Y1/2)である。また、説明上、画像5内でのカード領域7の中心点を点C0とする。画像5内には、背景領域6とカード領域7とがある。画像5は、説明のためモノクロで簡略化して示しているが、実際にはフルカラーであり、撮像時の照明等の状況に応じて、グラデーションやムラも有する。
図7は、他の画像5の例を示す。本例では、画像5内で、背景領域6とカード領域7との境界線、即ちカード3の表面の縁である4つの辺が、不鮮明になっている部分が多い場合を示す。例えば、カード領域7の上辺や下辺は、殆ど映っていない。このような画像の場合、従来技術では、カード領域7の正確な検出が難しい。
図8は、他の画像5の例を示す。本例では、画像5内で、カード領域7の台形状の歪みは小さいが、カード領域7が左上寄りの位置で、面内で斜めに回転した状態で配置されており、画像5のサイズに対してカード領域7のサイズが比較的小さい。このような画像5の場合、補正処理として、拡大、位置シフト、回転等の処理を行う必要がある。
図9は、S21の画像端点計算処理に係わる画像5の状態として、端点及び探索線を設定した状態を示す。画像補正部13は、画像5の矩形枠の4つの枠線上に、所定の端点(画像端点ともいう)を設定する。端点をpiで表し、小さい四角で示す。本例では、座標系において、画像5の右辺中間点を端点p1(位置座標としては(X1,Y1/2))とし、その点から上に4つの辺上を反時計周りに進んで、各々の端点を設定してゆく。画像補正部13は、各端点の位置座標を計算する。本例では、合計32個の端点p1〜p32が設定される場合を示すが、これに限らず可能である。例えば、原点(0,0)の付近に第1の端点p1が設定されてもよい。
図11は、S22の色境界点探索処理に係わる画像5の状態を示す。各々の探索線上で、端点から中心点G0への方向で、色境界点を探索する様子を示す。背景領域6とカード領域7との色境界点をqiで表し、小さい菱形で示す。中心点G0と端点piとの間の探索線Li上における色境界点qiとする。端点p1の探索線L1から順に、反時計回りで端点p32の探索線L32まで、探索が行われる。32本の探索線L1〜L32において、色境界点q1〜q32が得られている。本例では、32個の色境界点がうまく検出できた場合を示すが、一部の色境界点がうまく検出できない場合もあり得る。
図12は、S23のベクトル計算処理に係わる画像5の状態として、ベクトル等を示す。複数の色境界点{q1〜q32}における、位置が近い隣り合う色境界点同士の間が、ベクトルで接続されている。色境界点間のベクトルを、ベクトルv1〜v32で示す。本例では、32個のベクトルがうまく検出できた場合を示す。例えば、ベクトルv1は、色境界点q1を始点とし、色境界点q2を終点とするベクトルであり、面内での角度の情報を持つ。
図13は、S24のグループ化処理に係わる画像5の状態として、グループ等を示す。4つのグループをg1〜g4で示す。本例では、カード領域7の右辺の付近において、6個の色境界点q1〜q4,q31,q32を有し、それらを結ぶ5個のベクトルv1〜v3,v31,v32を有する。5個のベクトルv1〜v3,v31,v32は、角度が類似である(言い換えると角度の差が所定値未満である)。そのため、それらに対応する6個の色境界点が、1つのグループg1としてグループ化されている。同様に、カード領域7の上辺の付近では、9個の色境界点q5〜q13を有し、それらを結ぶ8個のベクトルv5〜v12を有し、それらの9個の色境界点が1つのグループg2としてグループ化されている。カード領域7の左辺の付近では、6個の色境界点q14〜q19を有し、それらを結ぶ5個のベクトルv14〜v18を有し、それらの6個の色境界点が1つのグループg3としてグループ化されている。カード領域7の下辺の付近では、10個の色境界点q20〜q30を有し、それらを結ぶ9個のベクトルv20〜v29を有し、それらの10個の色境界点が1つのグループg4としてグループ化されている。
図14は、S25の近似直線計算処理、及びS26の交点計算処理に係わる画像5の状態として、近似直線及び交点等を示す。画像補正部13は、グループ毎の色境界点を用いて近似直線を引く。図14では、画像5内で、グループg1の色境界点を用いて、近似直線M1が設定されている。同様に、グループg2の色境界点を用いて、近似直線M2が設定されている。グループg3の色境界点を用いて、近似直線M3が設定されている。グループg4の色境界点を用いて、近似直線M4が設定されている。近似直線は、例えば公知の最小二乗法(残差の二乗和を最小とする方法)を用いて計算できる。
画像補正部13は、近似直線の交点を計算する。図14の画像5では、4つの近似直線M1〜M4を用いて、それらの4つの交点Q1〜Q4が計算されている。例えば、近似直線M1と近似直線M2との交点Q1等である。交点を二重丸で示す。これらの4つの交点Q1〜Q4が、カード領域7の4つの角点として推定される点である。
図15は、S27の射影変換に係わる画像5の状態を示す。画像補正部13は、4つの交点Q1〜Q4を用いて、公知の射影変換を行う。変換前の4点で示される台形は、変換後の4点で示される直角四角形になる。図15の(A)は、射影変換前の画像5における4つの交点Q1〜Q4を示す。点C0aは、変換前のカード領域7の交点Q1〜Q4に対する中心点を示す。
各ステップの処理の詳細について説明する。
図18は、S23のベクトル計算処理の詳細についての説明図である。以下では、変形例を含め、いくつかの可能な処理例を示す。
図20は、S24のグループ化処理の詳細についての説明図である。画像補正部13は、前述の図13の例のように得られた複数のベクトルを用いて、ベクトルに対応付けられた色境界点を、ベクトルの角度の類似性に基づいて、グループに分類する。分類されたグループが、カード領域7の辺に対応付けられる。図20では、ある画像の例(多数の色境界点を含む場合)におけるベクトルの角度のヒストグラムを示す。横軸はベクトルの角度(0〜360度)を示す。縦軸は頻度値を示す。破線円は、ベクトルの角度に関するグループとして、グループ201〜204を示す。グループ201は、角度が90度付近であるベクトルを含むグループであり、図13のカード領域7の右辺のグループg1に対応する。グループ202は、角度が180度付近であるベクトルを含むグループであり、上辺のグループg2に対応する。グループ203は、角度が270度付近であるベクトルを含むグループであり、左辺のグループg3に対応する。グループ204は、角度が360度(0度)付近であるベクトルを含むグループであり、下辺のグループg4に対応する。
図21は、更に、ノイズ低減のための処理例についての説明図を示す。実施の形態の画像処理装置は、この処理を行うことにより、画像5内のノイズを低減し、より精度を高めることができる。図21の(A)は、画像5の一部における明るさムラやノイズの例を示す。本例では、画像5内のX方向で明るさにムラがある場合を簡略的な表現で示す(カード領域7でのムラは省略する)。X方向右側の領域ほど明るく(即ち色が白に近い)、左側の領域ほど暗い(即ち色が黒に近い)。また、本例では、画像5内にノイズが含まれている。ノイズ箇所を白や黒の点で示す。
上記のように、実施の形態の画像処理装置によれば、本人確認証のカード3の撮像画像データに関する画像処理に関して、カード領域7に対する正確な俯瞰画像が得られるように高精度の補正処理ができる。特に、カメラ2によるカード3の撮像時の方向や照明状態等が適切ではなく、カード領域7に台形状の歪みがある画像の場合でも、カード領域7の検出精度を高くでき、歪み補正処理の精度を高くできる。特に、レイアウトにおける特徴情報が少ない種類のカード3の場合でも、カード領域7の検出精度及び歪み補正処理の精度を高くできる。実施の形態の画像処理装置によれば、カード3の表面のレイアウトや色、撮影時の背景の色等に関して、バリエーションが多い場合や、明るさにムラがある画像の場合でも、俯瞰画像への補正の精度を従来技術よりも高くすることができる。
実施の形態の画像処理装置に対する比較例として、従来例の画像処理装置では、画像からカード領域の4つの辺を検出する場合、以下のような処理を行う。その画像処理装置は、入力画像であるフルカラー画像から、二値画像(画素値を白黒の二値に変換した画像)を生成する。その画像処理装置は、二値画像から、カード領域の4つの辺の直線部分を検出し、それらの直線の交点を、カード領域の4つの角点として検出する。その画像処理装置は、それらの4つの角点を用いて、射影変換を行うことで、カード領域の形状が直角四角形になるように補正する。しかしながら、二値画像においてカード領域の4つの辺が明瞭に写っていない場合、その補正ができない、または精度が低下する。例えば、カード領域と背景領域との明るさの差が小さい場合や明るさにムラがある場合、4つの辺の直線が写った二値画像が生成できない。
実施の形態の画像処理装置の変形例として以下が挙げられる。図5のS2B,S2Cの公知の処理は、必要に応じて、S2Aの処理よりも前に行ってもよい。
Claims (5)
- 入力された本人確認証のカードの撮像画像データの画像に対し、画像補正処理を行って、カード表面を垂直方向から俯瞰した状態の補正後画像データを出力する、画像補正部を備え、
前記画像補正部は、前記画像補正処理で、前記画像から、カード領域と背景領域との色の差に基づいた色境界点を検出し、前記色境界点に基づいて、前記カード領域を検出し、前記カード領域の台形状の歪みが直角四角形になるように変換を行うことで、前記俯瞰した状態の補正後画像データを取得し、
前記画像補正部は、
前記画像内の一点と前記画像の枠線上の複数の各々の端点との間を結ぶ、複数の探索線を設定し、
前記複数の各々の探索線上で、前記色境界点を探索して、複数の色境界点を検出し、
前記複数の色境界点における前記色境界点同士を結ぶベクトルの類似性に基づいて、前記複数の色境界点を、4つのグループに分類し、
前記4つのグループの各々のグループ毎に、属する色境界点を用いて近似直線を引くことで、4つの近似直線を検出し、
前記4つの近似直線に基づいて、4つの交点を検出し、
前記4つの交点に基づいて、射影変換を行うことで、前記俯瞰した状態の補正後画像データを得る、
画像処理装置。 - 請求項1記載の画像処理装置において、
前記画像補正部は、
前記探索線上に画素のブロックを設定し、
前記ブロック毎に代表色を計算し、
前記ブロック毎の代表色の変化度合いが大きいブロックを含む探索範囲を決定し、
前記背景領域の背景色を設定し、
前記カード領域のカード色を設定し、
前記探索範囲のブロックの前記探索線上で、画素毎に、前記背景色との第1色差、及び前記カード色との第2色差を計算し、
前記第1色差と前記第2色差との交点を、前記色境界点として決定する、
画像処理装置。 - 請求項1記載の画像処理装置において、
前記画像補正部は、
前記複数の色境界点において、隣り合う色境界点同士、または、N個ずつ飛ばした色境界点同士を結ぶ前記ベクトルを計算し、
前記ベクトルの向きを表す角度のヒストグラムに基づいて、前記4つのグループに分類する、
画像処理装置。 - 請求項3記載の画像処理装置において、
前記画像補正部は、
前記N個ずつ飛ばした色境界点同士を結ぶ前記ベクトルの中間点の画素を、新たな色境界点として置き換える、
画像処理装置。 - 画像処理装置に画像処理を実行させる画像処理プログラムであって、
入力された本人確認証のカードの撮像画像データの画像に対し、画像補正処理を行って、カード表面を垂直方向から俯瞰した状態の補正後画像データを出力する、画像補正部を実現するプログラムを備え、
前記画像補正部は、前記画像補正処理で、前記画像から、カード領域と背景領域との色の差に基づいた色境界点を検出し、前記色境界点に基づいて、前記カード領域を検出し、前記カード領域の台形状の歪みが直角四角形になるように変換を行うことで、前記俯瞰した状態の補正後画像データを取得し、
前記画像補正部は、
前記画像内の一点と前記画像の枠線上の複数の各々の端点との間を結ぶ、複数の探索線を設定し、
前記複数の各々の探索線上で、前記色境界点を探索して、複数の色境界点を検出し、
前記複数の色境界点における前記色境界点同士を結ぶベクトルの類似性に基づいて、前記複数の色境界点を、4つのグループに分類し、
前記4つのグループの各々のグループ毎に、属する色境界点を用いて近似直線を引くことで、4つの近似直線を検出し、
前記4つの近似直線に基づいて、4つの交点を検出し、
前記4つの交点に基づいて、射影変換を行うことで、前記俯瞰した状態の補正後画像データを得る、
画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031321A JP6797046B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031321A JP6797046B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018137636A JP2018137636A (ja) | 2018-08-30 |
JP6797046B2 true JP6797046B2 (ja) | 2020-12-09 |
Family
ID=63365810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017031321A Active JP6797046B2 (ja) | 2017-02-22 | 2017-02-22 | 画像処理装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6797046B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2715515C2 (ru) * | 2018-03-30 | 2020-02-28 | Акционерное общество "Лаборатория Касперского" | Система и способ выявления изображения, содержащего идентификационный документ |
JP7211238B2 (ja) * | 2019-04-16 | 2023-01-24 | 株式会社リコー | エッジ検出装置、傾き補正装置、読取装置、画像処理装置およびエッジ検出方法 |
CN110929684B (zh) * | 2019-12-09 | 2023-04-18 | 北京光年无限科技有限公司 | 用于绘本的内容识别方法及装置 |
CN111311504A (zh) * | 2020-01-03 | 2020-06-19 | 上海锦商网络科技有限公司 | 手机小程序用图像处理方法、标签识别方法及装置 |
-
2017
- 2017-02-22 JP JP2017031321A patent/JP6797046B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018137636A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6797046B2 (ja) | 画像処理装置及び画像処理プログラム | |
KR101390756B1 (ko) | 안면 특징 검출 방법 및 장치 | |
CN112330526B (zh) | 一种人脸转换模型的训练方法、存储介质及终端设备 | |
US7606439B2 (en) | Method for extracting raw data from an image resulting from a camera shot | |
JP4847592B2 (ja) | 歪み文書画像を補正する方法及びシステム | |
US7301564B2 (en) | Systems and methods for processing a digital captured image | |
JP4868530B2 (ja) | 画像認識装置 | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
JP6688277B2 (ja) | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 | |
CN110400278B (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
WO2011052276A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 | |
WO1994023390A1 (en) | Apparatus for identifying person | |
US10007846B2 (en) | Image processing method | |
CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
CN108830133B (zh) | 合同影像图片的识别方法、电子装置及可读存储介质 | |
US20130336597A1 (en) | Image stabilization apparatus, image stabilization method, and document | |
CN110765992B (zh) | 印章鉴别方法、介质、设备及装置 | |
KR101692227B1 (ko) | Fast를 이용한 파노라마 영상 생성 방법 | |
JP2006119817A (ja) | 画像処理装置 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
JP4993615B2 (ja) | 画像認識方法および装置 | |
JPH10149449A (ja) | 画像分割方法、画像識別方法、画像分割装置および画像識別装置 | |
JP6006675B2 (ja) | マーカ検出装置、マーカ検出方法、及びプログラム | |
US8824734B2 (en) | Device, method and recording to determine depressed portions of image regions using shortcut line analysis | |
CN115410191A (zh) | 文本图像识别方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6797046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |