JP7109398B2 - 画像表示媒体、画像処理装置、画像処理方法、及びプログラム - Google Patents
画像表示媒体、画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7109398B2 JP7109398B2 JP2019049464A JP2019049464A JP7109398B2 JP 7109398 B2 JP7109398 B2 JP 7109398B2 JP 2019049464 A JP2019049464 A JP 2019049464A JP 2019049464 A JP2019049464 A JP 2019049464A JP 7109398 B2 JP7109398 B2 JP 7109398B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- image
- symbol
- unit
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Description
本実施形態では、座標を示すM系列信号に対応するシンボル列を、対応する位置に配置して画像表示媒体7とする。まず、M系列信号について説明する。
図1(A)は、6ビット線形帰還シフトレジスタを例示し、図1(B)は、シフト量から6ビット値(M系列信号)に変換する変換テーブルを例示し、図1(C)は、6ビット値(M系列信号)からシフト量に変換する逆変換テーブルを例示する。
適切にタップ位置を選定した線形帰還シフトレジスタ(以下LFSR)の出力は、M系列信号となることが知られている。M系列信号は、生成LFSRのビット数nにより2^n-1の周期を持つ1ビット幅のビット列である。以下、具体例として6ビットLFSRとその出力のM系列信号を説明する。
「11111100000100001100010100111101000111001001011011101100110101011111100000100…」
が得られる。
このM系列信号の特徴は、1周期中の任意の連続した6ビットは同じ値の重複がないということである。すなわち、1ビットシフトすることで、別の6ビット値が得られるため、バイナリや10進と比較して高密度に複数の値を表現可能である。バイナリでは、6ビット値を2つ表現するには12シンボル(12個の0,1)が必要になるが、M系列信号ならば、7シンボルから2値を取り出せる。全63値を表現するにも、たった68シンボル(63+5)で足りる。10進表記をしたとしても1~63をすべて表現するには117文字必要となる。
M系列信号の0,1を等間隔に配置して実体化する。任意の位置から6文字分の0,1列を抽出し、6ビット値に変換し、さらに図1(C)の逆変換テーブルにより原点からのシフト量(距離)を得ることができる。
M系列信号を異なる倍率で逓倍した2種の数列を作成する。例えば、1倍を数列Aとし、2倍を数列Bとした場合は以下となる。
数列A:111111000001000011000101001111010001110010010110111011001101010
数列B:222222000002000022000202002222020002220020020220222022002202020
図2(A)に例示するように、数列Aを縦方向に配列し、数列Bを横方向に配列して、2つの行列を作成し、これら2つの行列を加算する。この行列は、横のM系列信号と縦のM系列信号を含んでおり、かつ、縦横の成分が分離可能である。行列の要素が0である場合は、(横,縦)=(0,0)であり、同じく1,2,3の場合は以下となる。
1の場合:(横、縦)=(0、1)
2の場合:(横、縦)=(1、0)
3の場合:(横、縦)=(1、1)
本例では、シンボルとして数字を使用しているが、縦横の0,1が識別できる4値を取れれば文字でも図形でも構わない。より方向性を持たせるには、N、E、T、Dなどのアルファベットでもよい。数字や文字を用いることで、既存ソフトウェアであるOCR(Optical Character Recognition)にて画像データからテキスト化が可能な点も利点となる。
印刷する数字や文字自体に方向性があるため、画像表示媒体の方向検出が容易である。また、図2(B)に例示するように、画像データが一部分だけであっても、紙の座標を抽出できる。
解像度は、オフセット印刷でも1mm程度の文字は印刷可能であり、紙幣などに用いられるマイクロ文字などの技術を使えば0.3mm程度まで微細化可能となる。
画像表示媒体を小片に切断しても、小片に残されたM系列パターンから元の紙中における座標が抽出でき、トレーサビリティ等の観点からも好適である。
必要な解像度が高い場合は、LFSRの幅を広げれば表現できる値の範囲も広くなる。例えば、10ビット幅のLFSRであれば1023値を取ることができる。これはA4用紙の縦長297mmを0.5mm間隔で分割して余りある値の範囲である。
図3(A)は、回転時のM系列信号をシフト量に変換する逆変換テーブルである。図3(A)の逆変換テーブルは、図1(B)の変換テーブルに下記(1)~(3)の操作を加えることで作成できる。
(1)6ビット値の上位下位ビットを反転させる。
(2)画像表示媒体の右端に相当する111110をシフト量原点としてシフト量の大小を逆転させる。
(3)6ビット値をキーにしてソートする。
なお、上記(2)の操作を実施すれば読み取り方向に合わせて修正された座標(右ほど大)となり、(2)の操作を実施しなければテスト媒体の座標(右ほど小)となる。なお、図1(B)の変換テーブルに、(3)の操作のみ加えると図1(C)の逆変換テーブルとなる。
このように、画像表示媒体を回転して読み取った場合でも、回転を検出できれば回転用の逆変換テーブル(図3(A))によって適正座標に変換可能である。
(例1)同じ位置情報の埋め込み
図3(B)に例示するように、0,1,2,3の各シンボルに1対1で対応する色を付与する。これにより、仮に画像ゆがみやゴミなどでシンボルが特定できない場合でも、色が認識でれば0,1,2,3の情報を復元できる。
(例2)別の位置情報の埋め込み
画像表示媒体の対角を原点とした回転用の色を付ける。文字の向きで回転を検出した場合は色を基準にM系列値を抽出する。
(例3)パリティの埋め込み
図4(A)に例示するように、丸印が付された注目座標は、(横、縦)=(”100010”,”000001”)である。横縦それぞれ6ビットのデータであり、連結することで12ビットのデータ”100010000001”が得られる。この12ビットデータのパリティを色に変えて丸印位置に付加することが可能である。仮に、パリティが1ならグレーの背景にするなどルールを適宜決めて付与することが可能となる。パリティなので誤り検出能力は低いが、カラー化しなくても埋め込みが可能である。
(4)ECC(Error-Correction Code)の埋め込み
ECCはサーバメモリなどで利用される宇宙線によるデータ化けや素子故障を検出し誤動作を防ぐ機能である。複数の冗長ビットを付与することで通常は1ビット化けを修正し、2ビット化けを検出可能である。
図4(B)に示すように、12ビットデータについては、5ビットのチェックビットを付与することでSEC-DEDが可能となる。この5ビット幅で表現できる値域は、32値である。32値を32色として各座標のシンボルに付与すれば、色をチェックビットとすることが可能となる。
実用的と考えらえる10ビット幅のM系列値であっても横縦合計20ビットであり、図4(B)から、必要なチェックビットは5ビットで足りる。
また図4(B)から、5ビットのチェックビットで26ビットのデータまで対応可能である。長尺媒体において、短手方法に10ビット、長手方向に16ビットを割り当てた場合、長手方向に2の16乗にあたる約65万文字が埋め込み可能となり、0.3mm刻みで文字列を埋め込んだとしても約21mまでECCを埋め込み可能である。
X座標、Y座標それぞれの1ビットを、文字(シンボル)に割り当てるなら4文字種を識別できればよい。これまでの例では、0~3の数字を使用した。
0=(0,0) 1=(1,0) 2=(0,1) 3=(1,1)
使用する文字種を増やすと1文字あたりに埋め込めるビット数が増える。例えば、16文字種を使った場合、1文字で4ビット(X、Y各2ビット)を表現できる。
これにより、6ビットM系列信号を得るために必要な文字数が、6文字から3文字に減少する。図2(B)の左上端において、X方向「333333」、Y方向「333333」のそれぞれ6文字必要だったものが、16文字種表現では、「FFF」の3文字で表現できる。図2(B)の4文字表現を16文字表現に変換したものが、図5(A)となる。
ただし1文字で2ビットの情報を埋め込こんでいるため、最小で2ビット分しかシフトできない。表現できる値の数も、6ビットM系列の63値から、5ビットM系列相当の31値に減る。
ここで注目したいのは、4文字種表現では5ビットM系列を表現するには5文字必要だが、16文字種表現を使用すると3文字で5ビットM系列相当の表現力が得られることである。
1文字にX方向2ビット分の情報を載せれば、2048+5文字にて半分の2048値を表現できる。
したがって、座標を解析するための必要文字数が半分になり、解像度も半分になる。
4文字種であれば、11ビットM系列を解析するに11文字が必要だが、16文字種ならば、11ビットの解像度を得るために6文字で足りる。このように、効率よく解像度を上げることができる。
このように使用する文字種を増やし、情報を多ビット化することで解析に必要なシンボル数を効率よく減らすことができる。
もちろん直線によるM系列表現でも太さや色で直線の種類を増やして1直線当たりの埋め込みビット数を増やすことができる。だが直線では文字に比べて表現のバリエーションが圧倒的に少ない。種類を増やせば増やすほどセンサの種類が必要になったり、解析ソフトウェアが複雑化することは避けられない。
逆に、文字種を増やすことは、OCRが判別できる範囲においてコストに一切影響しない。図5(B)に示すように、64文字種程度(6ビット埋め込み)なら比較的容易に実装可能である。
図6(A)に示すように、M系列信号を1ビット左にシフトしながら縦に並べた平面を作成する。この平面は、どの点も縦方向と横方向にスキャンした値が等しく原点からのマンハッタン距離となる。
図2(A)のX座標M系列平面と、このマンハッタンM系列平面を各要素加算すると、図6(B)の画像表示媒体7となる。画像表示媒体7に配置された各文字は、それぞれX座標成分と、マンハッタン距離成分とを含んでいる。例えば、図6(B)の画像表示媒体7において、上方の注目位置から横方向に6文字取得すると「200112」が得られる。これを分解すると、X座標成分=(100001)、マンハッタン成分=(000110)となる。これを図1(C)の逆変換テーブルで数値化し、(X座標、マンハッタン距離)=(11,13)が得られる。マンハッタン距離は、原点からのX距離とY距離の和であるので、X座標とY座標の和でもある。したがって、Y座標は、マンハッタン距離からX座標を減算して求められる。上方の注目位置の座標は(X,Y)=(11,2)となる。
同様に、下方の注目位置では、読み取り値「200103」から、(X座標,マンハッタン距離)=(11,18)が得られ、計算からY座標=7を得ることができる。
マンハッタン距離をM系列平面にすると、図6(A)の右側の様に、シフトした分だけ数列が足りなくなり、同じM系列値に戻ってしまう。本例では、説明の便宜上6ビットM系列で統一しているためビット列が不足しているが、10ビットM系列値やそれ以上の多ビットM系列値を使用すれば一周することもない。
図7は、画像処理システム1の全体構成を例示する図である。
図7に例示するように、画像処理システム1は、画像処理装置2と、スキャナ装置3と、カメラ4とを有し、これらがネットワーク8を介して互いに接続している。
画像処理装置2は、本発明に係る画像処理装置の一例であり、画像処理プログラム22(後述)が動作するコンピュータ端末である。本例では、スタンドアロンのコンピュータ端末である画像処理装置2を具体例として説明するが、これに限定されるものではなく、例えば、クラウド上の仮想マシン等であってもよい。
本例の画像処理装置2は、スキャナ装置3又はカメラ4により撮影された画像(画像表示媒体7の画像)に基づいて、画像表示媒体7上の座標を算出し、算出された座標に基づいて、補正処理を行う。
カメラ4は、撮影機能が有するカメラである。
図8に例示するように、画像処理装置2は、CPU200、メモリ202、HDD204、ネットワークインタフェース206(ネットワークIF206)、表示装置208、及び入力装置210を有し、これらの構成はバス212を介して互いに接続している。
CPU200は、例えば、中央演算装置である。
メモリ202は、例えば、揮発性メモリであり、主記憶装置として機能する。
HDD204は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム(例えば、図9の画像処理プログラム22)やその他のデータファイルを格納する。
ネットワークIF206は、有線又は無線で通信するためのインタフェースである。
表示装置208は、例えば、液晶ディスプレイである。
入力装置210は、例えば、キーボード及びマウスである。
図9に例示するように、画像処理装置2には、画像処理プログラム22がインストールされ、テーブルデータベース260(テーブルDB260)が構成されている。画像処理プログラム22は、例えば、CD-ROM等の記録媒体に格納されており、この記録媒体を介して、画像処理装置2にインストールされる。
なお、画像処理プログラム22の一部又は全部は、ASICなどのハードウェアにより実現されてもよく、また、OS(Operating System)の機能を一部借用して実現されてもよい。また、これらのプログラム全てが一台のコンピュータ端末にインストールされてもよいし、クラウド上の仮想マシンにインストールされてもよい。
画像処理プログラム22において、画像取得部220は、スキャナ装置3又はカメラ4により撮影された画像表示媒体7の画像データを取得する。
図10に例示するように、ステップ100(S100)において、画像処理装置2の画像取得部220は、スキャナ装置3又はカメラ4から画像表示媒体7の画像データを受信するまで待機し(S100:No)、画像データを受信すると(S100:Yes)、画像上に注目位置を設定し、注目位置の座標特定処理を開始する。
ステップ115(S115)において、画像処理プログラム22は、誤り検知部224により誤りが検出された場合に、この注目位置に関する座標特定処理を終了し、誤りが検出されなかった場合に、S120の処理に移行する。
抽出部228は、シンボル特定部222により特定されたシンボル値列から、X座標成分と、マンハッタン距離成分とを抽出する。抽出部228は、テーブル選択部226により選択された逆変換テーブルを参照して、抽出されたX座標成と、マンハッタン距離成分とを、X座標値と、マンハッタン距離とに変換する。
上記の座標特定処理(S10)を複数の注目位置について実施することにより、画像上の複数の位置の座標が特定される。
また、逆向きスキャン用の逆変換テーブルがテーブルDB260に用意されているため、上下を逆にスキャンする作業ミスがあった場合であっても、媒体座標を正しく得ることができる。
また、文字そのものや文字の背景に色を付与することで、上下を逆にスキャンした場合でも正常方向でスキャンした場合と同一のM系列値を取得することができる。さらに、文字そのものや文字の背景に色を付与することで、パリティ又はECC等の誤り検出機能を追加することができる。
また、文字種を増やすことで埋め込みビット数を増やし、位置情報埋め込みに必要な文字数を効率よく減らすことができる。
次に、上記実施形態の変形例を説明する。
図11に例示するように、使用する文字種を増やし、マンハッタン距離とX座標とY座標との3成分を重畳して、変形例1の画像表示媒体72としてもよい。
この場合、横スキャン時は、X座標成分とマンハッタン距離成分を抽出し、縦スキャン時は、Y座標成分とマンハッタン距離成分を抽出すればよい。すなわち、単一方向の文字列スキャンで、X座標及びY座標を得られ、かつ、スキャン方向の冗長化が可能となる。これによって以下の利点を得られる。
(1)画像表示媒体の右端近傍又は下端近傍のように、必要文字数のスキャンができない場合であっても、単一方向のスキャンのみでX座標及びY座標の双方が得られる。
(2)印刷つぶれ、異物付着等で文字列データが得られない場合、スキャン方向を変えて文字列データを得ることができる。
(3)縦横から得られた2つの座標を比較することでデータの信頼性を検証できる。
変形例1の画像処理プログラム23は、図9の画像処理プログラム22に、方向決定部234を追加した構成をとる。
方向決定部234は、読取り可能なシンボル列の数に基づいて、採用するシンボル列の方向を決定する。例えば、方向決定部234は、シンボル特定部222により連続して特定可能なシンボルの数が基準値以上となる方向を特定する。
本変形例では、マンハッタン距離とX座標とY座標との3成分が互いに分離可能に重畳されているため、方向決定部234が、座標算出に必要な数だけシンボル値を特定可能な方向を決定し、シンボル特定部222は、決定された一方向のシンボル値列を特定し、抽出部228は、特定されたシンボル値列から、X座標成分、Y座標成分、及び、マンハッタン距離成分を抽出し、逆変換テーブルを参照して、X座標、Y座標及びマンハッタン距離を特定する。座標特定部230は、抽出部228により特定されたX座標及びマンハッタン距離から、Y座標を算出し、抽出部228により特定されたY座標及びマンハッタン距離から、X座標を算出し、これらを比較して、正確な座標が算出されたか否かを判定する。
このように、3成分が重畳された画像表示媒体72を用いることにより、データの信頼性を検証できる。
2…画像処理装置
22,23…画像処理プログラム
7,72…画像表示媒体
Claims (10)
- 画像上のX座標を示すM系列信号と、画像上のY座標を示すM系列信号とに対して、互いに異なる倍率で逓倍した数列を加算し、加算した値それぞれに対応するシンボルが、これらに対応する画像上の座標に配置されている画像表示媒体。
- 画像上のX座標を示すM系列信号、Y座標を示すM系列信号、及び、マンハッタン距離を示すM系列信号を、互いに分離可能な状態で重畳し、重畳した重畳値それぞれに対応するシンボルが、これらに対応する画像上の座標に配置されている画像表示媒体。
- 前記シンボルの種類数は、X座標成分及び他の成分のそれぞれについて、2ビット以上のM系列信号を埋め込むことができる数である
請求項1又は2に記載の画像表示媒体。 - 入力された画像に含まれるシンボルを特定するシンボル特定部と、
前記シンボル特定部により特定されたシンボルの列に基づいて、X座標成分及び他の成分を抽出する抽出部と、
前記抽出部により抽出されたX座標成分及び他の成分に基づいて、前記画像上のX座標及びY座標を特定する座標特定部と
を有する画像処理装置。 - 前記抽出部は、他の成分として、マンハッタン距離を抽出し、
前記座標特定部は、前記抽出部により抽出されたX座標成分及びマンハッタン距離に基づいて、Y座標成分を特定する
請求項4に記載の画像処理装置。 - 前記シンボルの色、又は、シンボルの背景色に基づいて、前記シンボル特定部による特定結果の正否を検出する誤り検出部
をさらに有する請求項4に記載の画像処理装置。 - 前記シンボルは、文字であり、
シンボルの列を座標値に変換する変換テーブルを、文字の向きに関連付けて格納するテーブル格納部
をさらに有し、
前記抽出部は、入力された画像における文字の向きに対応する変換テーブルを前記テーブル格納部から読み出し、読み出された変換テーブルを用いて、シンボルの列を座標値に変換する
請求項4に記載の画像処理装置。 - 読取り可能なシンボル列の数に基づいて、採用するシンボル列の方向を決定する方向決定部
をさらに有し、
前記抽出部は、前記方向決定部により決定された方向のシンボル列に基づいて、X座標成分又はY座標成分と、マンハッタン距離とを抽出し、
前記座標特定部は、前記抽出部により抽出されたX座標成分又はY座標成分と、マンハッタン距離とに基づいて、他方の座標成分を特定する
請求項4に記載の画像処理装置。 - 入力された画像に含まれるシンボルを特定するシンボル特定ステップと、
前記シンボル特定ステップにより特定されたシンボルの列に基づいて、X座標成分及び他の成分を抽出する抽出ステップと、
前記抽出ステップにより抽出されたX座標成分及び他の成分に基づいて、前記画像上のX座標及びY座標を特定する座標特定ステップと
を有する画像処理方法。 - 入力された画像に含まれるシンボルを特定するシンボル特定ステップと、
前記シンボル特定ステップにより特定されたシンボルの列に基づいて、X座標成分及び他の成分を抽出する抽出ステップと、
前記抽出ステップにより抽出されたX座標成分及び他の成分に基づいて、前記画像上のX座標及びY座標を特定する座標特定ステップと
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049464A JP7109398B2 (ja) | 2019-03-18 | 2019-03-18 | 画像表示媒体、画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049464A JP7109398B2 (ja) | 2019-03-18 | 2019-03-18 | 画像表示媒体、画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154367A JP2020154367A (ja) | 2020-09-24 |
JP7109398B2 true JP7109398B2 (ja) | 2022-07-29 |
Family
ID=72558957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049464A Active JP7109398B2 (ja) | 2019-03-18 | 2019-03-18 | 画像表示媒体、画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7109398B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070199990A1 (en) | 2006-02-24 | 2007-08-30 | Fuji Xerox Co., Ltd. | Printed material with identification function, image generating apparatus, image processing apparatus, image generating method, image processing method, and program product therefor |
JP2012221260A (ja) | 2011-04-08 | 2012-11-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
-
2019
- 2019-03-18 JP JP2019049464A patent/JP7109398B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070199990A1 (en) | 2006-02-24 | 2007-08-30 | Fuji Xerox Co., Ltd. | Printed material with identification function, image generating apparatus, image processing apparatus, image generating method, image processing method, and program product therefor |
JP2007226678A (ja) | 2006-02-24 | 2007-09-06 | Fuji Xerox Co Ltd | 同定機能付き印刷物、画像生成装置、画像処理装置及びその方法 |
JP2012221260A (ja) | 2011-04-08 | 2012-11-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020154367A (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6929183B2 (en) | Reconstruction of virtual raster | |
US20060193522A1 (en) | Printed material having location identification function, two-dimensional coordinate identification apparatus, image-forming apparatus and the method thereof | |
US8391607B2 (en) | Image processor and computer readable medium | |
US8456486B2 (en) | Image processing apparatus and image processing program | |
US9100518B2 (en) | Information processing apparatus, information processing method, and computer-readable medium | |
US7911653B2 (en) | Device using low visibility encoded image to manage copy history | |
US8019181B2 (en) | Image generation apparatus, image processing apparatus, computer readable medium and computer data signal | |
JP4893643B2 (ja) | 検出方法および検出装置 | |
US9147142B2 (en) | Information processing apparatus, information processing program, information processing method, and computer-readable medium | |
JP7109398B2 (ja) | 画像表示媒体、画像処理装置、画像処理方法、及びプログラム | |
US8353461B2 (en) | Image processing apparatus, identification apparatus, electronic writing instrument, method for determining bit sequence and computer readable medium | |
JP5720182B2 (ja) | 画像処理装置及び画像処理プログラム | |
US8657205B2 (en) | Image processing apparatus, identification apparatus, method for determining bit sequence and computer readable medium | |
US8374385B2 (en) | Method of embedding information in input image, method of extracting information from input image, and related apparatus | |
JP6164018B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5592234B2 (ja) | 二次元コード生成装置、二次元コード読取装置、二次元コード、二次元コード生成方法、二次元コード読取方法及びプログラム | |
JP4973316B2 (ja) | 画像処理装置及びプログラム | |
JP6268888B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2014164362A (ja) | 情報処理装置及び情報処理プログラム | |
US8611663B2 (en) | Computer-readable medium storing an information image and apparatus and computer-readable medium for generating and detecting an information image with five pixel series | |
JP3858052B6 (ja) | ドットパターンを用いた情報入出力方法 | |
JP5115213B2 (ja) | 画像生成装置、画像処理装置、プログラム、及び印刷媒体 | |
JP2009176250A (ja) | 画像処理装置及びプログラム | |
JP2008112218A (ja) | 画像処理装置及びプログラム | |
JP2009176251A (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |