JP6650717B2 - 読取装置、画像処理装置および読取方法 - Google Patents
読取装置、画像処理装置および読取方法 Download PDFInfo
- Publication number
- JP6650717B2 JP6650717B2 JP2015193825A JP2015193825A JP6650717B2 JP 6650717 B2 JP6650717 B2 JP 6650717B2 JP 2015193825 A JP2015193825 A JP 2015193825A JP 2015193825 A JP2015193825 A JP 2015193825A JP 6650717 B2 JP6650717 B2 JP 6650717B2
- Authority
- JP
- Japan
- Prior art keywords
- reading
- analysis
- correction
- document
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
以下では、本発明の一実施形態に係る画像処理装置の構成と、その動作について説明する。以下の形態では、画像の読み取りと解析を同時に行い、早期に解析を完了する例を実現する例を説明する。
図2は本発明の一実施形態に係る画像処理装置の一例としてのMFP(多機能プリンター)201の外観を示す模式図である。MFP201は、ホストコンピュータ(以下、PC)から受信したデータを印刷するプリンタとしての機能、原稿を読み取って得られるスキャン画像をPCに供給するスキャナとしての機能を有す。さらに、MFP201単体の機能として、原稿から読み取ったスキャン画像を印刷するコピー機能、メモリカードなどの記憶媒体から画像データを読み出して印刷する機能、ディジタルカメラから受信した画像データを印刷する機能を備える。MFP201はフラットベットスキャナなどの読取装置202、インクジェット方式や電子写真方式などの印刷装置203からなる。また、MFP201の背面などにはPCと通信するためのUSB(不図示)ポートがある。あらに表示パネル204や各種キースイッチなどを備える操作パネル205から構成される。さらに、各種メモリカードからデータを読み出すためのカードスロット206、ディジタルカメラとデータ通信を行うためのカメラポート207、などを有する。
図4は、本実施形態に係る原稿の読み取りから補正処理までの流れを示したフローチャートである。まず、ユーザは、褪色した写真を読取装置202の原稿台209にセットし、操作部305より褪色補正処理の指示を行う。指示を受け付けたCPU301は、駆動部314を制御して、読取部208のCCDセンサを備えたセンサユニットを所定量だけ移動させ、センサユニットを走査させることによりCCDセンサで原稿を読み取る(S401)。CPU301は、読み取り得られた画像の画像データ対し解析処理を行い(S402)、解析情報をRAM303に記憶する。解析処理の詳細については、後述する。そして、解析処理と並行して、読取画像データもRAM303に記憶する(S403)。その後、その後、センサユニットが所定の位置まで移動したかどうかを判定することで、原稿の読取ページの全域が読み取られたかどうかを判定する(S404)。判定した結果、全域読み取りが完了していなければ、継続して原稿の読み取りを行う。そして、原稿の全域が読み取られた後、補正処理を実施する(S405)。補正処理は、CPU301がRAM303から解析情報及び読取画像データを取得して処理を実施する。補正処理の詳細については後述する。コピーモードが実行されていれば、補正後の画像データに基づく画像を、印刷部308が印刷してもよく、スキャナモードが実行されていれば、補正後の画像データをPC I/F311を介して外部装置であるPCに送信してもよい。また、補正後の画像データを外部メモリに送信してもよくこのときにはカードI/F312が用いられる。
S405の補正処理では褪色補正を実行する。褪色補正では、入力された原稿の褪色度合いに応じて、動的に補正パラメータを生成し、補正する。つまり、入力された原稿の読取値を解析することで、各入力原稿に応じて最適な補正パラメータを生成する必要がある。そのため、入力原稿の読取値を、入力される単位毎に、順次、解析する。前述したとおり、褪色処理は入力原稿の全体色の傾きを補正し、褪色前の原稿に復元する処理である。これを実現するための方法として、無彩色に該当する色の傾向を探索し、全体色の傾きの傾向を取得し、補正すればよい。具体的には、読取原稿の中で、黒色に該当する色(以下、褪色黒色)と白に該当する色(褪色白色)を決定することで、全体の傾きを推定する。この探索は、例えば、褪色黒色の決定の場合、読取信号をsRGB色空間に変換しL*、a*、b*を取得し、L*が予め設定された第2の明度(L*_k)以下となる複数画素の信号値を平均化すれば良い。L*_kは黒色近傍の明度を適宜設定すればよい。予め設定されたL*_k値以下であれば、無彩色の暗い色と限定しやすいため、的確に無彩色を特定することができる。例えば、図5は、色再現ガマット501に対し、予め設定されたL*_k以下の領域502とした場合に、褪色していたとしても褪色黒色を限定しやすいことが分かる。同様に、所定の第1の明度(L*_w)値以上(第1の明度は第2の明度より高い)となる信号値を平均化することで、褪色白色を決定することができる。L*_wは白色近傍の明度を適宜設定すればよい。その他の解析方法として、ヒストグラムを用いて褪色黒色と褪色白色を特定しても構わない。
ここでは、褪色補正について具体的に述べる。褪色補正は、L*,a*,b*空間の色情報の傾きを用いて算出する。したがって、読み取った原稿のRGB信号値をスキャナガマットで表現されるL*,a*,b*値に変換し、補正を行う。補正後L*,a*,b*値に対し、スキャナガマット内で実現するRGB信号値に変換を行う。具体的な褪色補正の方法は、まず褪色黒点を目標の黒点に並行移動する。そして、解析処理で取得した褪色黒点と褪色白点から推定した色再現全体の傾きを補正する回転量を算出すればよい。この並行移動量と回転角が補正パラメータとなり、このパラメータを用いて補正を行う。以上を踏まえ、具体的に図6のフローチャートを用いて褪色補正を説明する。補正処理の全体フローは、図6(a)に示すように補正式の作成(S601a)を行い、その後、補正処理(S602a)を実施する流れとなる。始めに、補正式の作成のフローについて図6(b)を参照して述べる。補正式の作成に際し、まず、解析処理によって得られた褪色黒点と褪色白点を取得する(S601b)。その後、目標の黒色と褪色黒色を比較して、並行移動量を算出する(S602b)。ここで、目標の黒色は、例えばグレイライン軸上のニュートラルな黒点(a*値及びb*値がともに0である。)であってもよいし、スキャナ色域で表現可能な最も明度の低い黒点であってもよい。ここでは、ニュートラルな黒点を目標の黒色として説明する。次に褪色黒点と褪色白点の関係から、L*a*b*空間上の傾きを算出し、その傾きを垂直に補正するための、a*軸を中心として回転量の算出(S603b)とb*軸を中心として回転量の算出(S604b)を行う。そして、以上で算出した並行移動量及び、回転量を元に補正式を作成する(S605b)。補正式は、例えば、黒点のa方向、b方向の並行移動量da,dbとa*軸回りの回転量をθ、b*軸回りの回転量をφとした場合、下記の式(1)、(2)、(3)のようになる。
以下、本実施形態の効果について図7を用いて説明する。横軸は図7(a)〜(d)で共通で時間(t)であり、時間の経過と行われる処理の関係を示している。図7(a)は、逐次処理を実施せず、原稿全域の読み取りが終了してから解析処理を実行する比較形態の場合の処理に係る時間を示している。図7(b)は本実施形態を示している。図7(b)に示すように、画像の読取処理と解析処理を並行して行うことで、図7(a)と比較し、解析を完了するまでにかかる時間を短縮することができる。よって、褪色処理全体としての処理時間を短縮するという効果を得ることができる。
本実施形態では、画像の読取処理と解析処理を同時に行い、かつ解析処理を途中で停止することでさらに早期に処理を完了することを実現する形態を説明する。なお特段の断りがない限り、以下の第2〜第5の実施形態で行われる各ステップの処理については、第1の実施形態と同様にして行うことができるものとする。
第1の実施形態と同様のハードウェア構成をとる。
図8は、本実施形態に係る読み取りから補正処理までの流れを示したフローチャートである。S801での原稿の読み取りについては第1の実施形態のS401と同様である。続いてCPU301は、読み取られたて得た画像データ対して解析処理の継続判定を行う(S802)、解析処理が継続と判定された場合に解析処理を実施し(S803)、解析情報をRAM303に記憶する。解析処理の継続判定の詳細については、後述する。そして、解析処理とともに読取画像データをRAM303で記憶する(S804)。その後、センサユニットが所定の位置まで移動したかどうかを判定することで、原稿の全域に対し読み取り完了したかどうかを判定(S805)する。判定の結果、原稿の全域の読み取りが完了していないとなった場合は、継続して原稿の読み取りを行う。そして、原稿の全面が読み取られた後、RAM303から画像データを読み出し補正処理を実施する(S806)。なお、解析処理及び補正処理は、実施形態1と同様の処理であり、以下では、解析処理における継続判定について、詳細を述べる。
ここでは、解析処理の継続判定について(以下、解析継続判定)詳細を述べる。第1の実施形態では、褪色黒点と褪色白点の判定は、L*によって設けられた所定の閾値によって判定することを説明した。解析継続判定では、例えば、閾値によって判定された褪色黒点の候補画素と褪色白点の候補画素を、読取画像の全画素に対して所定の比率(以下、判定比率)となる数以上検出した時点で解析を継続しないと判断する。例えば所定の明度以下である画素と、所定の明度以上である画素とを所定数検出した時点で解析を中止する。
以下、本実施形態の効果について図7を用いて説明する。図7(c)は、第2の実施形態の処理速度を表現している。図7(c)に示すように、画像の読取処理と解析処理を並行して行い、条件に応じて解析を停止することで、第1の実施形態と比較して、さらに補正処理の開始時間を早めることができる。よって、褪色処理全体として処理時間を短縮するという効果をさらに高めることができる。
本実施形態では、画像の読取処理と解析処理を同時に行い、かつ解析処理を途中で停止し、さらに解析停止と同時に補正処理を実施することでさらなる早期処理を実現する例を説明する。
第1の実施形態と同様のハードウェア構成をとる。
図9は、第3の実施形態に係る読み取りから補正処理までの流れを示したフローチャートである。S901での原稿の読み取りについては第1の実施形態のS401と同様である。CPU301は、原稿が読み取られることで得られた画像データ対して解析処理の継続判定を行う(S902)。解析処理を継続すると判定された場合には、解析処理を実施(S903)する。そしてS905に進み、解析処理で得た情報および画像データをRAM303に記憶する。また、S902で解析処理を継続しないと判定された場合は、既にRAM303より解析情報及び既に読み取りが完了した画像データを取得し、画像データに対して画像の補正処理を行う(S904)。そしてS905に進み、解析処理で得た情報および画像データをRAM303に記憶する。
第2の実施形態では、解析処理の継続判定は固定値を条件として判定するものであった。具体的には、解析により褪色黒点の候補画素と褪色白点の候補画素と判定された画素が共に、全体読取画素の10%となった場合といった具合である。本実施形態で説明する構成では、解析処理の継続判定により、継続しないと判断されたと同時に補正処理を開始する。つまり、解析処理の停止が早ければ早ほど、全体の処理速度を早くすることができる。よって、例えば、継続判定の条件をユーザ好みによって、変更する構成をとればよい。具体的には、図10の例のようにユーザの選択に合わせて判定比率が変更する。ユーザが急いで処理したい場合は、速いモードを選択することで、より補正処理の開始を早めることができる。
以下、本実施形態の効果について図7を用いて説明する。図7(d)は、本実施形態の処理速度の例を示している。図7(d)に示すように、画像を読取処理と解析処理を並行して行い、条件に応じて解析を停止し、解析を停止したと同時に補正処理を行うことで、実施形態2の図7(c)の構成と比較し、補正処理完了までの処理時間を短縮することができる。よって、褪色処理全体として処理時間を短縮するという効果を得ることができる。
本実施形態では、読取装置が画像をメモリに記憶する際に、非可逆圧縮をする構成を説明する。
実施形態1と同様のハードウェア構成であり、図3に示すMFPの機能構成例を示すブロック図のうちCPU301が、読み込取った画像に非可逆圧縮処理をすることが異なる。
図11は、第4の実施形態に係る読み取りから補正処理までの流れを示したフローチャートである。S1101での原稿の読み取りについては第1の実施形態のS401と同様である。CPU301は、原稿が読み取られることで得られた画像データ対して解析処理行い(S1102)、解析情報をRAM303に記憶する。そして、読取画像データを、CPU301にて非可逆圧縮(S1103)した後にRAM303に記憶する(S1104)。その後、原稿の全域が読み取られたかどうかを判定し(S1105)、読み取られていなければ、S1101に戻って原稿の読み取りを行う。そして、原稿の全域が読み取られた後、第1の実施形態と同様に補正処理を実施する(S1107)。なお、褪色補正について、実施形態2及び3で解析処理の継続判定の構成を含めることも可能である。
読み取った画像をメモリに記憶する場合、画像のデータ量が膨大になるため、非可逆圧縮によりデータ量を圧縮し、記憶することが可能である。よって、プレスキャンをせずに一度ページデータとしてメモリに記憶し、解析及び補正を行う場合、解析処理は圧縮データで行わなければならない。その結果、褪色補正で判定処理する黒点探索処理の際、誤判定が発生する。本実施形態では、逐次処理で解析し、解析後のデータを非可逆圧縮しメモリに記憶することで、黒点探索処理の誤判定を回避しつつ、処理の高速化を図ることが可能となる。
本実施形態では、原稿である写真画像に対し補正処理が必要ない場合と判定された場合に、解析処理を停止し、補正処理を行わない場合の実施形態について説明する。
実施形態1と同様のハードウェア構成であり、写真原稿をコピーする形について説明する。
図12は、第5の実施形態に係る読み取りから補正処理までの流れを示したフローチャートである。まず、ユーザは、原稿台209にコピーするための元原稿をセットし、操作部305より原稿のコピーおよび褪色補正処理の指示を行う。次いで行われるS1201での原稿の読み取りについては第1の実施形態のS401と同様である。CPU301は、読み取られた画像データ対し褪色色域外判定(S1202)を実施する。褪色色域外判定は、読み取られた原稿が褪色していないかどうかを判定するために実施する。褪色した場合の色域は、図1(a)の褪色していない色域に対し、図1(b)の色域のようになる。つまり、図1(b)に存在しない色(以下、褪色色域外色)を検出した場合は、その原稿は褪色していないと判断できる。褪色色域外判定(S1202)により、褪色色域外色が存在した場合は、非褪色画像と判断し、補正処理(S1207)を経ずに直ちに印刷部308にコピー印刷物を印刷させるための印字処理(S1203)を開始する。また、褪色色域外判定(S1202)により、褪色色域外色が存在しない場合は、解析処理(S1204)に移る。その後、原稿の全域が読み取られたかどうかを判定し(S1205)、上記のフローを原稿の全域が読み取られるまで実施する。そしてS1206で原稿全域にて褪色色域外色が存在しないとされた場合には、補正処理(S1207)を実施して褪色補正を行う。そして補正後の画像の印字処理(S1208)を行う。S1203で既に印字処理を開始している場合には、S1208では、褪色色域外色が存在した場合には、残りの読取データを印字する。
褪色補正処理をユーザが選択した場合、褪色の程度がほとんどない原稿の読取データに対しても補正を適用することはできる。その際には補正量はわずかであるが、処理時間は褪色が大きい画像と同様の時間がかかってしまう。本実施形態の形態では、逐次処理にて褪色色域外色を判定するため、最速であれば、1ライン目の読取情報により、解析処理及び補正処理の中止に切り替えることができるため、印刷速度面でのメリットが大きい。とりわけ、大量の写真原稿を読み取り、コピーなど読み取り後に処理が必要な場合は、読み取り後すぐに次の処理へと移行することができる。
Claims (11)
- 原稿の読み取りを行う読取手段と、読取手段によって原稿を読み取り得られた読取画像の褪色補正を行うためのパラメータを決定するために、前記読取画像の領域毎の画像データを、順次、解析する解析手段と、前記解析手段による解析結果に基づく前記パラメータを用いて、前記読取画像の褪色補正がなされるように前記画像データの補正を行う補正手段と、を備えた読取装置であって、
前記読取手段による原稿の読み取りの途中で前記解析手段による前記画像データの解析を始め、前記読取手段による原稿の読み取りと並行して前記解析手段による前記画像データの解析を行い、さらに、前記読取手段による原稿の読み取りの途中に、前記解析手段による前記解析結果に基づいて前記解析手段による解析を継続するか否かを決定する決定手段を備え、前記決定手段により前記解析を継続しないと決定された場合には、前記解析手段は前記読取手段による原稿の読み取りの途中に前記解析を中止することを特徴とする読取装置。 - 前記決定手段により前記解析を継続しないと決定された場合には、前記解析手段は前記読取手段による原稿の読み取りの途中に前記解析を終了し、前記補正手段は前記読取手段による読み取りが終了するのに応じて前記画像データの補正を開始することを特徴とする請求項1に記載の読取装置。
- 前記決定手段により前記解析を継続しないと決定された場合には、前記解析手段は前記読取手段による原稿の読み取りの途中に前記解析を終了し、前記補正手段は前記解析の終了に応じて、前記読取手段による原稿の読み取りの途中に前記画像データの補正を開始することを特徴とする請求項1に記載の読取装置。
- 前記解析手段は、前記読取画像の黒点および白点を決定し、前記補正手段は、決定された前記黒点および白点に基づいて前記パラメータを決定することを特徴とする請求項1乃至3のいずれか1項に記載の読取装置。
- 前記解析手段は、前記読取画像において、前記白点を決定するための、第1の明度以上の明度の画素が第1の数以上検出されたこと、および、前記黒点を決定するための、前記第1の明度より小さい第2の明度以下の明度の画素が第2の数以上検出されたことに応じて前記解析を終了することを特徴とする請求項4に記載の読取装置。
- 前記第1の数と前記第2の数は異なることを特徴とする請求項5に記載の読取装置。
- 前記補正手段によって補正された補正後の画像データを記憶する記憶手段と、前記記憶手段に記憶された補正後の画像データを外部装置に送信する送信手段と、を有することを特徴とする請求項1乃至6のいずれか1項に記載の読取装置。
- 前記補正手段によって補正された画像データに基づいて画像を記録媒体に記録するための記録手段を備えることを特徴とする請求項1乃至7のいずれか1項に記載の読取装置。
- 褪色色域外の色の画素を検知する検知手段をさらに有し、前記検知手段が前記読取画像において褪色色域外の色の画素を検知したことに応じて、前記解析手段は前記解析を実行せず、かつ、前記補正手段による前記読取画像の褪色補正のための前記画像データの補正を行わず、前記記録手段は前記画像データに基づく画像を記録媒体に記録することを特徴とする請求項8に記載の読取装置。
- 原稿の読み取りを行う読取手段によって原稿を読み取り得られた読取画像の褪色補正を行うためのパラメータを決定するために、前記読取画像の領域毎の画像データを、順次、解析する解析手段と、前記解析手段による解析結果に基づく前記パラメータを用いて、前記読取画像の褪色補正がなされるように前記画像データの補正を行う補正手段と、を備えた画像処理装置であって、
前記読取手段による原稿の読み取りの途中で前記解析手段による前記画像データの解析を始め、前記読取手段による原稿の読み取りと並行して前記解析手段による前記画像データの解析を行い、さらに、前記読取手段による原稿の読み取りの途中に、前記解析手段による前記解析結果に基づいて前記解析手段による解析を継続するか否かを決定する決定手段を備え、前記決定手段により前記解析を継続しないと決定された場合には、前記解析手段は前記読取手段による原稿の読み取りの途中に前記解析を中止することを特徴とする画像処理装置。 - 原稿の読み取りを行う読取工程と、前記読取工程において原稿を読み取り得られた読取画像の褪色補正を行うためのパラメータを決定するために、前記読取画像の領域毎の画像データを、順次、解析する解析工程と、前記解析工程による解析結果に基づく前記パラメータを用いて、前記読取画像の褪色補正がなされるように前記画像データの補正を行う補正工程と、を含む読取方法であって、
前記読取工程における原稿の読み取りの途中で前記解析工程を始め、前記読取工程による原稿の読み取りと並行して前記画像データの解析を行い、さらに前記読取工程の途中に、前記解析工程を継続するか否かを決定し、前記解析工程を継続しないと決定しない場合には、前記原稿の読み取りの途中に前記解析を中止することを特徴とする読取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193825A JP6650717B2 (ja) | 2015-09-30 | 2015-09-30 | 読取装置、画像処理装置および読取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015193825A JP6650717B2 (ja) | 2015-09-30 | 2015-09-30 | 読取装置、画像処理装置および読取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017069785A JP2017069785A (ja) | 2017-04-06 |
JP6650717B2 true JP6650717B2 (ja) | 2020-02-19 |
Family
ID=58492980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015193825A Active JP6650717B2 (ja) | 2015-09-30 | 2015-09-30 | 読取装置、画像処理装置および読取方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6650717B2 (ja) |
-
2015
- 2015-09-30 JP JP2015193825A patent/JP6650717B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017069785A (ja) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8432586B2 (en) | Image reading apparatus | |
US11308318B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR102553581B1 (ko) | 멀티 크롭 처리를 행하는 화상 처리 장치, 멀티 크롭 처리에 의해 문서 단위의 화상을 생성하는 방법 및 저장 매체 | |
US8199357B2 (en) | Image processing apparatus and method detecting and storing areas within band images and cutting out an image from the resulting stored partial image | |
US8553250B2 (en) | Printing device, system and method for image forming | |
US20220337717A1 (en) | Image reading apparatus and image reading method | |
US8941900B2 (en) | Image forming apparatus and method of processing image thereof | |
US20190268580A1 (en) | Image processing apparatus, image forming apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4743180B2 (ja) | 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム | |
US9413914B2 (en) | Image reading control apparatus, image reading apparatus, and image reading control method | |
US20090073463A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US20100091312A1 (en) | Smart copy function enhancements | |
US7420717B2 (en) | Method and apparatus for scanning image | |
US8189235B2 (en) | Apparatus, method and program product that calculates a color blending ratio so security dots reproduced in a monochrome image are substantially undetectable | |
US8390880B2 (en) | Printing apparatus, method and program for automatic image quality adjustment based on combination of correction amounts and display of image and correction information | |
JP5228705B2 (ja) | 画像読み取り装置、画像読み取り方法、画像読み取りプログラム、画像読み取りプログラムが記憶された記憶媒体 | |
JP6650717B2 (ja) | 読取装置、画像処理装置および読取方法 | |
US11720299B2 (en) | Printing apparatus, control method for the printing apparatus, and storage medium for controlling a copy process | |
JP2011135320A (ja) | 画像処理方法、画像処理装置およびプログラム | |
EP1986415B1 (en) | Image processing device and image processing method | |
US20080094648A1 (en) | Raw data processing apparatus and raw data processing method | |
US8416469B2 (en) | Image processing apparatus, image processing method and computer program | |
JP2007324648A (ja) | 画像読取システムおよび画像読取システムの制御方法 | |
KR20200092198A (ko) | 스케일 팩터를 고려한 스큐 보정 | |
US11863717B2 (en) | Image reading apparatus and image reading method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6650717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |