JP6828473B2 - 撮像システム、画像形成装置、撮像方法およびプログラム - Google Patents

撮像システム、画像形成装置、撮像方法およびプログラム Download PDF

Info

Publication number
JP6828473B2
JP6828473B2 JP2017017456A JP2017017456A JP6828473B2 JP 6828473 B2 JP6828473 B2 JP 6828473B2 JP 2017017456 A JP2017017456 A JP 2017017456A JP 2017017456 A JP2017017456 A JP 2017017456A JP 6828473 B2 JP6828473 B2 JP 6828473B2
Authority
JP
Japan
Prior art keywords
imaging
image pickup
image
system clock
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017017456A
Other languages
English (en)
Other versions
JP2017175603A (ja
Inventor
佐藤 信行
信行 佐藤
淳一 森部
淳一 森部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP17160923.3A priority Critical patent/EP3223504B1/en
Priority to US15/459,266 priority patent/US10412268B2/en
Priority to CN201710153984.0A priority patent/CN107205099A/zh
Publication of JP2017175603A publication Critical patent/JP2017175603A/ja
Application granted granted Critical
Publication of JP6828473B2 publication Critical patent/JP6828473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Or Security For Electrophotography (AREA)
  • Color Electrophotography (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像システム、画像形成装置、撮像方法およびプログラムに関する。
従来、画像形成装置が記録媒体に形成したカラーパターン(撮像対象物)を撮像装置により撮像し、撮像により得られたカラーパターンのRGB値あるいはRGB値から変換した測色値に基づいて、画像形成装置の色調整を行う技術が知られている(例えば、特許文献1参照)。
上述のような技術によれば、LED光源の分光分布やセンサの分光感度の経時変動によるばらつきなどに対する自己校正処理を、低コストで高精度に行える特長がある。
ところで、低コストのCMOS(Complementary MOS)二次元センサ等を用いた撮像装置では、フレームレートが固定であり、フレームレートが低くなってしまう。このような撮像装置を用いて撮像対象物を測色又は計測する場合、撮像対象物に対する撮像のタイミングが合わず、撮像対象物の画像を取得できない場合が発生してしまうという問題があった。
本発明は、上記に鑑みてなされたものであって、撮像対象物における目的の箇所を高精度に撮像することができる撮像システム、画像形成装置、撮像方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、撮像対象物に対して相対的に移動し、当該撮像対象物を撮像する撮像手段と、前記撮像手段と前記撮像対象物の所定の相対位置を検知する検知手段と、前記検知手段による前記所定の相対位置の検知に応じ、前記撮像手段による撮像開始のタイミングを制御するシステムクロックの停止から供給への切替えを行う制御手段と、を備え、前記制御手段は、前記撮像手段における撮像期間の完了を受信して前記撮像手段に対する前記システムクロックの供給を停止した後、前記撮像手段の撮像範囲の中央に前記撮像対象物が到達するまでの時間を予測して、前記検知手段による前記所定の相対位置の検知に基づいて前記撮像対象物の相対移動に合わせて前記撮像手段に対するシステムクロックの供給を再開する。
本発明によれば、撮像対象物における目的の箇所を高精度に撮像することができる、という効果を奏する。
図1は、実施形態の画像形成装置の外観図である。 図2は、撮像システムの外観を示す斜視図である。 図3は、撮像システムの分解斜視図である。 図4は、図2中のX1方向から見た撮像システムの縦断面図である。 図5は、図2中のX2方向から見た撮像システムの縦断面図である。 図6は、撮像システムの平面視図である。 図7は、基準チャートの具体例を示す図である。 図8は、撮像システムの機能的な構成例を示すブロック図である。 図9は、システムクロック(SCLK)と水平同期信号(HSYNC)の関係について説明する図である。 図10は、水平同期信号(HSYNC)と垂直同期信号(VSYNC)の関係について説明する図である。 図11は、垂直同期信号(VSYNC)と撮像(フレーム)周期の関係について説明する図である。 図12は、1画面の撮像(フレーム)周期内に、移動体検出センサからタイミング信号が供給された場合の各信号の関係を示すタイミングチャートである。 図13は、移動体検出センサと移動体との位置関係を示す模式図である。 図14は、1画面の撮像(フレーム)周期内に、移動体検出センサからタイミング信号が供給された場合の各信号の関係の変形例を示すタイミングチャートである。 図15は、1画面の撮像(フレーム)周期内に、移動体検出センサからタイミング信号が供給された場合の各信号の関係の別の変形例を示すタイミングチャートである。 図16は、画像形成装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照して、撮像システム、画像形成装置、撮像方法およびプログラムの実施の形態を詳細に説明する。なお、以下で説明する実施の形態では、本発明を適用した画像形成装置の一例としてプロダクションプリンティング機として構成された電子写真方式の画像形成装置を例示するが、本発明は、記録媒体に画像を形成する様々なタイプの画像形成装置に対して広く適用可能であり、インクジェット方式にも当然適用可能である。
<画像形成装置>
図1は、実施形態の画像形成装置100の外観図である。本実施形態の画像形成装置100は、図1に示すように、記録媒体M(図5参照)に対して電子写真方式による画像形成を行う本体ユニット101を備える。すなわち、本体ユニット101は、画像形成手段として機能する。
そして、この本体ユニット101に対し、記録媒体Mの供給を行う大容量給紙ユニット102、表紙などを供給するために利用されるインサータ103、画像が形成された記録媒体Mに対して折り加工を行う折りユニット104、ステープルやパンチなどを行うフィニッシャ105、裁断を行う裁断機106などの周辺機を用途に合わせて組み合わせた構成とされる。
また、この画像形成装置100には、DFE(Digital Front End)と呼ばれる外部コントローラ200が接続されている。
本体ユニット101は、外部コントローラ200によりRIP(Raster Image Processing)処理されたラスタイメージデータに基づき、電子写真方式の画像形成プロセスにより、本体ユニット101内部の給紙トレイあるいは大容量給紙ユニット102から供給される記録媒体Mに画像を形成する。
本体ユニット101により画像が形成された記録媒体Mは、本体ユニット101の後段へと搬送される。記録媒体Mは、例えば、インサータ103から供給される表紙などとともに必要に応じて折りユニット104による折り加工、フィニッシャ105によるステープルやパンチ、裁断機106による裁断などが行われて製本される。なお、本体ユニット101で実行される電子写真方式の画像形成プロセスや、本体ユニット101に接続された各周辺機での処理はいずれも公知のため、詳細な説明は省略する。
本体ユニット101により記録媒体Mに形成される画像の色味は、本体ユニット101に固有の特性や経時的な特性変化によって、必ずしも所望の色味とならない場合がある。そこで、本実施の形態の画像形成装置100は、本体ユニット101による画像形成の色再現性を高めるために、所定のタイミングで色調整などのキャリブレーションを行う。
画像形成装置100は、キャリブレーション時には、本体ユニット101により記録媒体M上に所定色のカラーパターン(撮像対象物の一例)を形成し、このカラーパターンを後述の撮像システム10(図2参照)により読み取る。そして、画像形成装置100は、得られたカラーパターンのRGB値、あるいはこのRGB値をもとに算出されるカラーパターンの測色値(RGB値や測色値は色情報の一例)に基づいて、画像形成プロセスの種々のパラメータを調整することにより、本体ユニット101が形成する画像の色を目標とする色に近づける。
本体ユニット101が記録媒体M上に形成したカラーパターンを読み取る撮像システム10は、カラーパターンが形成された記録媒体Mの搬送経路に配置された二次元センサ15a(図4参照)を備える。本実施の形態では、二次元センサ15aが、後述の撮像手段である撮像装置15(図3参照)の主体として構成されている。この撮像装置15は、詳細を後述するように、撮像装置15によりカラーパターンを含む画像を撮像し、撮像した画像に基づいてカラーパターンの測色値を算出する構成である。
撮像装置15を構成する二次元センサ15aにより算出されたカラーパターンの測色値は、本体ユニット101に送られる。
そして、本体ユニット101では、二次元センサ15aから送られるカラーパターンの測色値に基づいて、画像形成プロセスにおける各種パラメータを調整する。これにより、色材として用いるトナーの記録媒体Mへの付着量を調整する色調整が行われ、本体ユニット101が形成する画像の色が目標とする色に近づけられる。
なお、本実施の形態の画像形成装置100における本体ユニット101は、カラーパターンの測色値に基づいて画像形成プロセスにおける各種パラメータを調整する構成であるが、これに限るものではない。例えば、本体ユニット101は、カラーパターンのRGB値に基づいて画像形成プロセスにおける各種パラメータを調整する構成であってもよい。この場合、撮像装置15を構成する二次元センサ15aは、カラーパターンを含む画像を撮像してRGB値を出力する構成であればよく、カラーパターンの測色値を算出する機能を持たなくてもよい。
また、本実施の形態では、カラーパターンを読み取る撮像装置15として二次元センサ15aを用いているが、これに限るものではない。例えば、撮像装置15は、少なくともカラーパターンの色情報を取得できる構成であればよい。したがって、二次元センサ15aの代わりに、反射光を受光する受光素子を備えた単純な構成の検出器を用い、このような検出器をカラーパターンが形成された記録媒体Mの搬送経路に配置して撮像装置15を構成してもよい。
また、本実施の形態では、カラーパターンを読み取る撮像システム10を画像形成装置100に組み込んだ構成、つまり画像形成装置100が撮像システム10を備える構成を例示するが、これに限らない。例えば、画像形成装置100とは別の装置として、画像形成装置100が記録媒体M上に形成したカラーパターンを読み取る撮像システムを構成してもよい。この場合も撮像システムは、カラーパターンが形成された記録媒体Mの搬送経路に配置された撮像装置または検出器により構成される。
なお、本実施の形態においては、撮像装置15が停止していて撮像対象物(記録媒体Mに形成されるカラーパターン)が搬送方向に動く態様を説明したが、これに限るものではない。撮像対象物(記録媒体Mに形成されるカラーパターン)が停止していて撮像装置15が主走査方向に動く態様であっても良い。すなわち、撮像対象物(記録媒体Mに形成されるカラーパターン)に対して撮像装置15が相対的に移動し、当該撮像対象物を撮像するものであれば良い。
加えて、本実施の形態では、本体ユニット101は、記録媒体M(図5参照)の搬送経路上であって撮像システム10に対して搬送方向上流側の所定位置に、検知手段である移動体検出センサ80(図8参照)を備えている。
移動体検出センサ80は、撮像システム10に向けて搬送経路上の所定位置を通過する記録媒体M(移動体)の先端を光学的に検知するフォトセンサである。
詳しくは、移動体検出センサ80は、搬送された記録媒体Mの先端が検知されると、その情報(タイミング信号)を撮像システム10に出力する。
<撮像システム>
次に、本実施形態の撮像システム10の具体例について説明する。図2は撮像システム10の外観を示す斜視図、図3は撮像システム10の分解斜視図、図4は図2中のX1方向から見た撮像システム10の縦断面図、図5は図2中のX2方向から見た撮像システム10の縦断面図、図6は撮像システム10の平面視図である。
撮像システム10は、例えば矩形の箱状に形成された筐体11を備える。筐体11は、例えば、所定の間隔を空けて対向する底板部11aおよび天板部11bと、これら底板部11aと天板部11bとを繋ぐ側壁部11c,11d,11e,11fを有する。筐体11の底板部11aと側壁部11d,11e,11fは、例えばモールド成形により一体に形成され、これに対して天板部11bと側壁部11cとが着脱可能な構成とされる。図3では天板部11bと側壁部11cとを取り外した状態を示している。
撮像システム10は、例えば筐体11の一部が所定の支持部材に支持された状態で、カラーパターンが形成された記録媒体Mの搬送経路に設置される。このとき、撮像システム10は、図4および図5に示すように、搬送される記録媒体Mに対して筐体11の底板部11aが間隙dを介して略平行な状態で対向するように、所定の支持部材に支持される。
カラーパターンが形成された記録媒体Mと対向する筐体11の底板部11aには、筐体11の外部のカラーパターンを筐体11の内部から撮像可能にするための開口部13が設けられている。
また、筐体11の底板部11aの内面側には、支え部材23を介して開口部13と隣り合うようにして、基準チャート30が配置されている。基準チャート30は、カラーパターンの測色やRGB値の取得を行う際に、後述の撮像装置15によりカラーパターンとともに撮像されるものである。なお、基準チャート30の詳細については後述する。
一方、筐体11内部の天板部11b側には、回路基板14が配置されている。図6に示すように、回路基板14には、回路基板14側の面が開放されている四角の箱形状の筐体11が、締結部材14bによって固定されている。なお、筐体11は、四角の箱形状に限るものではなく、例えば、開口部13が形成されている底板部11aを有する円筒の箱形状や楕円筒の箱形状等であってもよい。
また、筐体11の天板部11bと回路基板14との間には、画像を撮像する撮像装置15が配置されている。撮像装置15は、図4に示すように、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサなどの二次元センサ15aと、撮像装置15の撮像範囲の光学像を二次元センサ15aの受光面(撮像領域)に結像するレンズ15bとを備える。二次元センサ15aは、被写体からの反射光を受光する受光素子が二次元に並ぶ受光素子アレイである。
撮像装置15は、例えば、筐体11の側壁部11eと一体に形成されたセンサホルダ16により保持される。センサホルダ16には、回路基板14に形成された貫通孔14aと対向する位置にリング部16aが設けられている。リング部16aは、撮像装置15のレンズ15b側の突出した部分の外形形状に倣った大きさの貫通孔を有する。撮像装置15は、レンズ15b側の突出した部分をセンサホルダ16のリング部16aに挿通することで、レンズ15bが回路基板14の貫通孔14aを介して筐体11の底板部11a側を臨むようにして、センサホルダ16により保持される。
このとき、撮像装置15は、図4中の一点鎖線で示す光軸が筐体11の底板部11aに対して略垂直となり、且つ、開口部13と後述の基準チャート30とが撮像範囲に含まれるように、センサホルダ16により位置決めされた状態で保持される。これにより、撮像装置15は、二次元センサ15aの撮像領域の一部で、筐体11外部のカラーパターンを、開口部13を介して撮像する。加えて、撮像装置15は、二次元センサ15aの撮像領域の他の一部で、筐体11の内部に配置された基準チャート30を撮像することができる。
なお、撮像装置15は、各種の電子部品が実装される回路基板14に対して、例えばフレキシブルケーブルを介して電気的に接続される。また、回路基板14には、画像形成装置100のメイン制御基板に対して撮像システム10を接続するための接続ケーブルが装着される外部接続コネクタ17が設けられている。
撮像システム10には、撮像装置15の中心を通る副走査方向の中心線Lo上であって、撮像装置15の中心からそれぞれ副走査方向に所定量だけ等間隔で離れた位置の回路基板14に、一対の光源18が配設されている。光源18は、撮像装置15による撮像時にその撮像範囲を略均一に照明する。光源18としては、例えば省スペース/省電力に有利なLED(Light Emitting Diode)が用いられる。
本実施形態においては、図5や図6に示すように、レンズ15bの中心を基準として、開口部13と基準チャート30が並ぶ方向と直交する方向に均等に配置された一対のLEDを光源18として用いている。
光源18として用いる2つのLEDは、例えば回路基板14の底板部11a側の面に実装される。ただし、光源18は、撮像装置15の撮像範囲を拡散光により略均一に照明できる位置に配置されればよく、必ずしも回路基板14に直接実装されていなくてもよい。また、2つのLEDの位置は、二次元センサ15aを中心として対称位置に配置することにより、基準チャート30側と同一照明条件での撮像面の撮像を可能にしている。また、本実施形態では、光源18としてLEDを用いたが、光源18の種類はLEDに限定されるものではない。例えば、有機ELなどを光源18として用いるようにしてもよい。有機ELを光源18として用いた場合は、太陽光の分光分布に近い照明光が得られるため、測色精度の向上が期待できる。
また、図6に示すように、撮像装置15は、光源18と二次元センサ15aの直下に、光吸収体15cを備えている。光吸収体15cは、光源18からの光を二次元センサ15a以外の方向に反射または吸収する。光吸収体15cは、鋭角な形状で、光源18からの入射光が、光吸収体15c内面へ反射するように形成されており、入射方向へは反射しない構造になっている。
また、筐体11の内部には、撮像装置15と該撮像装置15により開口部13を介して撮像される筐体11外部のカラーパターンとの間の光路中に、光路長変更部材19が配置されている。光路長変更部材19は、光源18の光に対して十分な透過率を有する屈折率nの光学素子である。光路長変更部材19は、筐体11外部のカラーパターンの光学像の結像面を筐体11内部の基準チャート30の光学像の結像面に近づける機能を持つ。つまり、この撮像システム10では、撮像装置15と筐体11外部の被写体との間の光路中に光路長変更部材19を配置することによって光路長を変更する。これにより、撮像システム10は、筐体11外部のカラーパターンの光学像の結像面と、筐体11内部の基準チャート30の結像面とを、ともに撮像装置15の二次元センサ15aの受光面に合わせるようにしている。したがって、撮像装置15は、筐体11外部のカラーパターンと筐体11内部の基準チャート30との双方にピントの合った画像を撮像することができる。
光路長変更部材19は、例えば図4に示すように、一対のリブ20,21によって、底板部11a側の面の両端部が支持されている。また、光路長変更部材19の天板部11b側の面と回路基板14との間に押さえ部材22が配置されることで、光路長変更部材19が筐体11内部で動かないようになっている。光路長変更部材19は、筐体11の底板部11aに設けられた開口部13を塞ぐように配置される。そのため、光路長変更部材19は、筐体11外部から開口部13を介して筐体11内部に進入するインクミストや塵埃などの不純物が、撮像装置15や光源18、基準チャート30などに付着するのを防止する機能も有することになる。
なお、以上説明した撮像システム10の機械的な構成はあくまで一例であり、これに限らない。撮像システム10は、少なくとも、筐体11内部に設けられた光源18が点灯している間に、筐体11内部に設けられた撮像装置15により、筐体11外部のカラーパターンを開口部13を介して撮像する構成であればよい。撮像システム10は、上記の構成に対して様々な変形や変更が可能である。
例えば、上述した撮像システム10では、筐体11の底板部11aの内面側に基準チャート30を配置している。しかしながら、筐体11の底板部11aの基準チャート30が配置される位置に開口部13とは別の開口部を設けるとともに、この開口部が設けられた位置に筐体11の外側から基準チャート30を取り付ける構成であってもよい。この場合、撮像装置15は、開口部13を介して記録媒体M上に形成されたカラーパターンを撮像するとともに、開口部13とは別の開口部を介して、筐体11の底板部11aに外側から取り付けられた基準チャート30を撮像することになる。この例では、基準チャート30に汚れなどの不良が生じた場合に、交換を容易に行える利点がある。
次に、図7を参照しながら、撮像システム10の筐体11に配置される基準チャート30の具体例について説明する。図7は、基準チャート30の具体例を示す図である。
図7に示す基準チャート30は、測色用の測色パッチを配列した複数の測色パッチ列31〜34、距離計測用ライン35、およびチャート位置特定用マーカ36を有する。
測色パッチ列31〜34は、YMCKの1次色の測色パッチを階調順に配列した測色パッチ列31と、RGBの2次色の測色パッチを階調順に配列した測色パッチ列32と、グレースケールの測色パッチを階調順に配列した測色パッチ列(無彩色の階調パターン)33と、3次色の測色パッチを配列した測色パッチ列34と、を含む。
距離計測用ライン35は、複数の測色パッチ列31〜34を囲む矩形の枠として形成されている。チャート位置特定用マーカ36は、距離計測用ライン35の四隅の位置に設けられていて、各測色パッチの位置を特定するためのマーカとして機能する。撮像装置15により撮像される基準チャート30の画像から、距離計測用ライン35とその四隅のチャート位置特定用マーカ36を特定することで、基準チャート30の位置および各測色パッチの位置を特定することができる。
測色用の測色パッチ列31〜34を構成する各測色パッチは、撮像装置15の撮像条件を反映した色味の基準として用いられる。なお、基準チャート30に配置されている測色用の測色パッチ列31〜34の構成は、図7に示す例に限定されるものではなく、任意の測色パッチ列を適用することが可能である。例えば、可能な限り色範囲が広く特定できる測色パッチを用いてもよいし、また、YMCKの1次色の測色パッチ列31や、グレースケールの測色パッチ列33は、画像形成装置100に使用される色材の測色値のパッチで構成されていてもよい。また、RGBの2次色の測色パッチ列32は、画像形成装置100で使用される色材で発色可能な測色値のパッチで構成されていてもよく、さらに、Japan Colorなどの測色値が定められた基準色票を用いてもよい。
なお、本実施形態では、一般的なパッチ(色票)の形状の測色パッチ列31〜34を有する基準チャート30を用いているが、基準チャート30は、必ずしもこのような測色パッチ列31〜34を有する形態でなくてもよい。基準チャート30は、測色に利用可能な複数の色が、それぞれの位置を特定できるように配置された構成であればよい。
基準チャート30は、上述したように、筐体11の底板部11aの内面側に開口部13と隣り合うように配置されているため、撮像装置15によって、筐体11外部のカラーパターンと同時に撮像することができる。なお、ここでの同時に撮像とは、筐体11外部のカラーパターンと基準チャート30とを含む1フレームの画像データを取得することを意味する。つまり、画素ごとのデータ取得に時間差があっても、筐体11外部のカラーパターンと基準チャート30とが1フレーム内に含まれる画像データを取得すれば、筐体11外部のカラーパターンと基準チャート30とを同時に撮像したことになる。すなわち、筐体11外部のカラーパターンと基準チャート30とは同時に撮像可能な位置に配置されていれば良く、また、筐体11外部のカラーパターンと基準チャート30とを同時に撮像した画像を使用する必要はない。
次に、図8を参照しながら、撮像システム10の機能的な構成について説明する。図8は、撮像システム10の機能的な構成例を示すブロック図である。
図8に示すように、撮像システム10は、制御部50を備える。制御部50は、システムクロック(SCLK)の供給と、撮像装置15からの垂直同期信号(VSYNC)、水平同期信号(HSYNC)と画像データを受け取り、受信した画像データを処理する。
制御部50は、光源駆動制御部51、クロック信号発生部52、フレームメモリ53、平均化処理部54、測色演算部55および不揮発性メモリ56を備える。これらの各部は、例えば、プロセッサやメモリを含むコンピュータシステム、あるいは、FPGAやASICなどの専用ハードウェアを用いて実現される。これらの各部の機能を実現するハードウェアは、例えば、撮像システム10の筐体11内部に配置された回路基板14に実装される。
撮像装置15は、レンズ15bを介して入射した光を二次元センサ15aにより電気信号に変換して、光源18により照明された撮像範囲の画像データを出力する。撮像装置15は、二次元センサ15aの光電変換により得られたアナログ信号をデジタルの画像データにAD変換する。撮像装置15は、画像データに対してシェーディング補正やホワイトバランス補正、γ補正、画像データのフォーマット変換などの各種の画像処理を行った後に出力する。二次元センサ15aの各種動作条件の設定は、例えば、画像形成装置100のメイン制御基板に実装されたCPU110からの各種設定信号に従って行われる。なお、画像データに対する各種の画像処理は、その一部あるいは全部を撮像装置15の外部で行うようにしてもよい。
光源駆動制御部51は、撮像装置15による画像の撮像時に、光源18を点灯させるための光源駆動信号を生成して、光源18に供給する。
クロック信号発生部52は、撮像装置15による撮像開始のタイミングを制御するシステムクロック(SCLK)信号を生成し、撮像装置15に供給する。クロック信号発生部52は、撮像装置15による撮像開始のタイミングを制御するシステムクロック(SCLK)信号の停止から供給への切替えを行う制御手段として機能する。
ここで、図9はシステムクロック(SCLK)と水平同期信号(HSYNC)の関係について説明する図である。図9に示すように、クロック信号発生部52から供給される水平画素分のシステムクロック数に従って、水平同期信号(HSYNC)が撮像装置15から出力される。
図10は、水平同期信号(HSYNC)と垂直同期信号(VSYNC)の関係について説明する図である。図10に示すように、垂直画素数分の水平同期信号クロック数で、垂直同期信号(VSYNC)が撮像装置15から出力される。
図11は、垂直同期信号(VSYNC)と撮像(フレーム)周期の関係について説明する図である。図11に示すように、垂直同期信号(VSYNC)の1周期が、撮像装置15における1画面の撮像(フレーム)周期となっている。図11に示すように、フレーム周期は、垂直同期信号=H(実質画像撮像機関)と、垂直同期信号=L(アイドル期間)とから構成されている。アイドル期間では、フレームデータに対して、センサ内部でのガンマ変換等の内部的な演算処理が行われる。本実施の形態では、フレーム周期は33.3[ms]=30[fps(frame per sec)]としている。
フレームメモリ53は、撮像装置15から出力された画像を一時的に格納する。
平均化処理部54は、カラーパターンに対する測色を行う際に、撮像装置15から出力されてフレームメモリ53に一時的に格納された画像から、筐体11の開口部13により区切られる画像領域(以下、この画像領域を「被写体画像領域」という)と、基準チャート30を映した画像領域(以下、この画像領域を「基準チャート画像領域」という)とを抽出する。そして、平均化処理部54は、被写体画像領域の中央部の予め定められた大きさの領域の画像データを平均化して、得られた値をカラーパターンのRGB値として出力する。また、平均化処理部54は、基準チャート画像領域内の各測色パッチの領域の画像データを平均化して、得られた値を各測色パッチのRGB値として出力する。これらカラーパターンのRGB値や基準チャート30の各測色パッチのRGB値は、測色演算部55に渡される。
測色演算手段である測色演算部55は、平均化処理部54から取得したカラーパターンのRGB値と基準チャート30の各測色パッチのRGB値とに基づいて、カラーパターンの測色値を算出する。測色演算部55が算出したカラーパターンの測色値は、画像形成装置100のメイン制御基板上に実装されたCPU110へと送られる。なお、測色演算部55は、例えば特許文献1にて開示される方法によりカラーパターンの測色値を算出できるため、ここでは測色演算部55の処理の詳細な説明は省略する。また、基準チャート30の各測色パッチのRGB値は、光源18の変動などに起因する誤差補正などの駆動制御に利用されたり、CMOSセンサなどの二次元センサ15aにおける積分時間、ホワイトバランス調整、ガンマ補正に利用されたりしても良い。
不揮発性メモリ56は、測色演算部55がカラーパターンの測色値を算出するために必要な各種データなどを記憶する。
以上のように構成される撮像システム10は、画像形成装置100の本体ユニット101によってカラーパターンが形成された記録媒体Mの搬送経路に配置される。例えば画像形成装置100のフィニッシャ105内の記録媒体Mの搬送経路に、撮像システム10が配置される。そして、カラーパターンが形成された記録媒体Mが本体ユニット101から排出されると、撮像システム10は光源18を点灯する。そして、撮像システム10は、記録媒体Mの搬送に伴って記録媒体M上のカラーパターンが筐体11に設けられた開口部13と対向する位置にきたタイミングで、撮像装置15による撮像を行う。そして、撮像装置15の撮像により得られた画像に基づいて測色演算部55によりカラーパターンの測色値を算出し、算出した測色値を画像形成装置100のメイン制御基板に実装されたCPU110などに送る。そして、CPU110の制御に従って、カラーパターンの撮像結果に基づく測色値に応じた画像形成装置100の本体ユニット101における色調整が行われる。
なお、画像形成装置100の本体ユニット101における色調整は、上述したように、撮像により得られたカラーパターンのRGB値を用いて実施することもできる。この場合、撮像システム10は、カラーパターンを基準チャート30とともに撮像装置15により撮像する。そして、撮像システム10は、撮像画像から得られるカラーパターンのRGB値に対し、基準チャート30の各測色パッチのRGB値を用いて、光源18の変動などに起因する誤差を補正する処理を行う。補正されたカラーパターンのRGB値は、例えば、画像形成装置100のメイン制御基板に実装されたCPU110などに送られ、本体ユニット101における色調整に用いられる。
次に、クロック信号発生部52によるシステムクロック(SCLK)信号の停止/再開の制御について説明する。
図12は、1画面の撮像(フレーム)周期内に、移動体検出センサ80からタイミング信号が供給された場合の各信号の関係を示すタイミングチャートである。なお、図12は、移動体検出センサ80からのタイミング信号が実質撮像期間内に制御部50に対して供給された場合の各信号の関係を示している。また、図13は移動体検出センサ80と移動体(記録媒体M)との位置関係を示す模式図である。
図12に示すタイミング信号は、図13に示すように、記録媒体Mが移動体検出センサ80上を通過したタイミングを表している。このとき、記録媒体Mは既知の速度である速度V(mm/s)で移動している。また、撮像装置15から記録媒体Mの先端までの間隔は、Lseである。
図12に示すように、クロック信号発生部52は、移動体検出センサ80からタイミング信号が供給されると、次のフレームキャプチャ終了(実質撮像期間の完了)の割り込みに待機する。
ここで、図13に示すように、記録媒体Mの先端から先頭の測色パッチ1の位置までの距離はLspである。制御部50に対してタイミング信号が移動体検出センサ80から供給された際、撮像装置15による撮像対象となる測色パッチ1は、撮像装置15からLse+Lspの距離にあり、一定速度Vで移動中である。すなわち、クロック信号発生部52に対するタイミング信号の供給があってから、測色パッチ1が撮像装置15の中心位置に到達する時間Tは、下記の式で表される。
T=(Les+Lsp)/V
したがって、クロック信号発生部52に対するタイミング信号の供給があってからT秒後に次の実質撮像期間が開始されれば、撮像装置15の撮像範囲の中央に測色パッチ1が撮影されることになる。
実質撮像期間の完了を受信すると、クロック信号発生部52は、クロック信号発生部52からの撮像装置15に対するシステムクロック(SCLK)の供給を停止する。このとき、撮像装置15は、垂直同期信号(VSYNC)におけるL(アイドル期間)に入っている。なお、アイドル期間は、固定期間である。そのため、アイドル期間内であればどのタイミングで停止してもよいが、本実施の形態では、簡単のため、即時停止としている。
この際、クロック信号発生部52は、タイミング信号の供給があってから、フレームキャプチャ終了割込みによって撮像装置15に対するシステムクロック(SCLK)を停止するまでの時間(停止待機時間:tw)を記憶する(正確には、CPUのシステムクロックのクロック数)。
クロック信号発生部52は、システムクロック(SCLK)の供給が開始されてから、何パルス後に撮像(フレーム)周期が開始されるかについて管理している(本実施例では、アイドル期間taに入って即時停止しているため、システムクロック(SCLK)の供給開始から撮像(フレーム)開始までの期間をアイドル期間taとする)。ここで、撮像装置15に対するシステムクロックを停止する時間tsとすると、測色パッチ1が撮像装置15の中心位置に到達が予測される時間Tは、下記の式で表される。
T=(Les+Lsp)/V=tw+ts+ta
すなわち、システムクロック停止時間tsは、下記の式で表される。
ts=(Les+Lsp)/V−tw−ta
クロック信号発生部52は、撮像装置15に対するシステムクロック(SCLK)の供給を停止した後、上記計算処理を行い、システムクロック停止時間ts経過後、撮像装置15に対するシステムクロック(SCLK)の供給を再開する。
これにより、クロック信号発生部52は、システムクロック(SCLK)の供給再開後、撮像装置15の撮像範囲の中央に測色パッチ1を到達させることができる。すなわち、撮像装置15は、1フレーム目の画像として、測色パッチ1を中央に位置させて撮像することができる。
なお、2つめ以降の測色パッチは以下のように形成される。
上述したように、フレーム周期は33.3[ms]であることから、速度Vで記録媒体Mが移動する距離Lpは下記の式から求めることができる。
Lp=0.033*V[mm]
すなわち、カラーパターンは、測色パッチ列31〜34の2つめ以降のパッチ間隔を、速度Vで記録媒体Mが移動する距離Lpとして形成される。これにより、クロック信号発生部52は、なんら特殊なタイミング制御を行うことなく、測色パッチ列31〜34の2つめ以降の測色パッチを、撮像装置15の撮像範囲の中央に順次到達させることができる。
なお、本実施の形態においては、タイミング信号は、移動体検出センサ80から直接供給されるようにした。しかしながら、これに限るものではなく、他のCPUを介して、SPI(シリアルペリフェラルインターフェース)などの通信規格で通信されるものであっても良い。
このように本実施の形態によれば、システムクロックの供給を停止した後、移動体検出センサ80による所定の相対位置の検知に基づいて撮像対象物(記録媒体Mに形成されるカラーパターンの測色パッチ1)の相対移動に合わせて撮像装置15に対するシステムクロックの供給を再開する。これにより、撮像対象物(記録媒体Mに形成されるカラーパターン)と撮像装置15の撮像タイミングの同期を取ることができるので、撮像対象物における目的の箇所を高精度に撮像することができる。
なお、本実施の形態においては、図12に示したように、クロック信号発生部52は、実質撮像期間の完了を受信すると、撮像装置15に対するシステムクロック(SCLK)の供給を即時停止するようにしたが、これに限るものではない。
ここで、図14は、1画面の撮像(フレーム)周期内に、移動体検出センサ80からタイミング信号が供給された場合の各信号の関係の変形例を示すタイミングチャートである。例えば、図14に示すように、クロック信号発生部52は、撮像装置15における実質撮像期間ではないアイドル期間に入ってから撮像装置15に対するシステムクロック(SCLK)の供給を停止するようにしても良い。
この際、クロック信号発生部52は、タイミング信号の供給があってから、フレームキャプチャ終了割込みによって撮像装置15に対するシステムクロック(SCLK)を停止するまでの時間(停止待機時間:tw)を記憶する(正確には、CPUのシステムクロックのクロック数)。
また、クロック信号発生部52は、アイドル期間に入ってから何パルス後にシステムクロック(SCLK)を停止したかを管理している(便宜上、期間ta´´とする)。アイドル期間taは既知であるため、クロック信号発生部52は、次にシステムクロック(SCLK)の供給が開始されてから、何パルス後に撮像(フレーム)周期が開始されるかについても、管理していることとなる(システムクロック(SCLK)の供給開始から撮像(フレーム)開始までの期間をta´とする)。つまり、アイドル期間taは、下記の式で表される。
ta=ta´+ta´´
ここで、撮像装置15に対するシステムクロックを停止する時間tsとすると、測色パッチ1が撮像装置15の中心位置に到達が予測される時間Tは、下記の式で表される。
T=(Les+Lsp)/V=tw+ts+ta´
すなわち、システムクロック停止時間tsは、下記の式で表される。
ts=(Les+Lsp)/V−tw−ta´
クロック信号発生部52は、撮像装置15に対するシステムクロック(SCLK)の供給を停止した後、上記計算処理を行い、システムクロック停止時間ts経過後、撮像装置15に対するシステムクロック(SCLK)の供給を再開する。
これにより、クロック信号発生部52は、システムクロック(SCLK)の供給再開後、撮像装置15の撮像範囲の中央に測色パッチ1を到達させることができる。すなわち、撮像装置15は、1フレーム目の画像として、測色パッチ1を中央に位置させて撮像することができる。
また、本実施の形態においては、図12に示したように、クロック信号発生部52が撮像装置15に対するシステムクロック(SCLK)を供給している際に、移動体検出センサ80からタイミング信号を受信するようにしたが、これに限るものではない。
図15は、1画面の撮像(フレーム)周期内に、移動体検出センサ80からタイミング信号が供給された場合の各信号の関係の別の変形例を示すタイミングチャートである。例えば、図15は、クロック信号発生部52が撮像装置15に対するシステムクロック(SCLK)の供給を停止中(すなわち、撮像装置15で撮像していない状態)にタイミング信号が供給された状態を示している。
上述したように、アイドル期間taは、下記の式で表される。
ta=ta´+ta´´
図15に示す例によれば、ta´´=0であることから、ta=ta´となる。
この場合、タイミング信号の供給後に撮像装置15に対するシステムクロックを停止する時間tsとすると、測色パッチ1が撮像装置15の中心位置に到達が予測される時間Tは、下記の式で表される。
T=(Les+Lsp)/V=ts+ta´
すなわち、システムクロック停止時間tsは、下記の式で表される。
ts=(Les+Lsp)/V−ta´
クロック信号発生部52は、撮像装置15に対するシステムクロック(SCLK)の供給を停止した後、タイミング信号が供給された場合に、上記計算処理を行い、システムクロック停止時間ts経過後、撮像装置15に対するシステムクロック(SCLK)の供給を再開する。
これにより、クロック信号発生部52は、システムクロック(SCLK)の供給再開後、撮像装置15の撮像範囲の中央に測色パッチ1を到達させることができる。すなわち、撮像装置15は、1フレーム目の画像として、測色パッチ1を中央に位置させて撮像することができる。
図16は、画像形成装置100のハードウェア構成例を示すブロック図である。上述した実施の形態において説明した画像形成装置100は、例えば図16に示すように、コントローラ210と、オペレーションパネル220と、USB(Universal Serial Bus)デバイス240と、MLB(Media Link Board)250と、画像形成手段であるプリンタ260とを備える。
オペレーションパネル220は、画像形成装置100を使用するユーザが各種の設定入力を行ったり、ユーザに提示する各種情報を表示したりするユーザインタフェースである。
コントローラ210は、画像形成装置100の動作を制御する制御装置である。コントローラ210は、図16に示すように、CPU(Central Processing Unit)211と、システムメモリ213と、HDD3と、PHY(Physical Layer:通信系回路の物理階層)214と、ASIC(Application Specific Integrated Circuit)215とを含む。オペレーションパネル220は、コントローラ210のASIC215に接続されている。また、USBデバイス240、MLB250、プリンタ260は、データ転送バス280を介してコントローラ210のASIC215に接続されている。
本実施の形態において説明した画像形成装置100では、上述の制御部50としての機能的な構成要素の一部または全部が、主にコントローラ210によって実現される。すなわち、本実施の形態において説明した機能的な構成要素のうち、制御部50の一部は、例えば、コントローラ210のASIC215により実現される。また、制御部50の一部は、例えば、コントローラ210のCPU211がシステムメモリ213を利用して所定のプログラム(ソフトウェア)を実行することにより実現される。
なお、上記プログラムは、画像形成装置100にインストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVDなどのコンピュータで読み取り可能な記録媒体に記録して提供される。また、上記プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由で画像形成装置100にダウンロードさせることにより提供するように構成してもよい。さらに、上記プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。また、上記プログラムを、例えば画像形成装置100内のシステムメモリ213やHDD3などに予め組み込んで提供するようにしてもよい。
以上、本発明の具体的な実施形態について詳細に説明したが、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えながら具体化することができる。
例えば、上述した実施形態は電子写真方式の画像形成装置100に本発明を適用した例であるが、本発明は、例えばラインヘッド方式のインクジェットプリンタ、シリアルヘッド方式のインクジェットプリンタなど、他の方式の画像形成装置に対しても有効に適用可能である。
10 撮像システム
15 撮像手段
52 制御手段
55 測色演算手段
80 検知手段
100 画像形成装置
101 画像形成手段
特許第5625666号公報

Claims (12)

  1. 撮像対象物に対して相対的に移動し、当該撮像対象物を撮像する撮像手段と、
    前記撮像手段と前記撮像対象物の所定の相対位置を検知する検知手段と、
    前記検知手段による前記所定の相対位置の検知に応じ、前記撮像手段による撮像開始のタイミングを制御するシステムクロックの停止から供給への切替えを行う制御手段と、
    を備え、
    前記制御手段は、
    前記撮像手段における撮像期間の完了を受信して前記撮像手段に対する前記システムクロックの供給を停止した後、前記撮像手段の撮像範囲の中央に前記撮像対象物が到達するまでの時間を予測して、前記検知手段による前記所定の相対位置の検知に基づいて前記撮像対象物の相対移動に合わせて前記撮像手段に対するシステムクロックの供給を再開する、
    ことを特徴とする撮像システム。
  2. 撮像対象物に対して相対的に移動し、当該撮像対象物を撮像する撮像手段と、
    前記撮像手段と前記撮像対象物の所定の相対位置を検知する検知手段と、
    前記検知手段による前記所定の相対位置の検知に応じ、前記撮像手段による撮像開始のタイミングを制御するシステムクロックの停止から供給への切替えを行う制御手段と、
    を備え、
    前記制御手段は、
    前記撮像手段に対してシステムクロックを供給している際に、前記検知手段による前記所定の相対位置の検知信号を受信し、
    前記撮像手段における撮像期間の完了を受信して前記撮像手段に対する前記システムクロックの供給を停止した後、前記検知手段による前記所定の相対位置の検知に基づいて前記撮像対象物の相対移動に合わせて前記撮像手段に対するシステムクロックの供給を再開する、
    ことを特徴とする撮像システム。
  3. 前記制御手段は、前記撮像対象物が前記撮像手段の撮像範囲の中央に前記撮像対象物を到達するまでの時間を予測する、
    ことを特徴とする請求項記載の撮像システム。
  4. 前記撮像対象物は、記録媒体に形成されたカラーパターンであり、
    前記撮像手段が撮像した画像に基づいて前記カラーパターンの測色値を算出する測色演算手段を更に備える、
    ことを特徴とする請求項1ないし3の何れか一記載の撮像システム。
  5. 前記検知手段は、前記撮像対象物の所定の相対位置として、前記撮像対象物が形成される記録媒体の先端を検知する、
    ことを特徴とする請求項1ないしの何れか一記載の撮像システム。
  6. 前記制御手段は、前記撮像手段における撮像期間の完了を受信後、即時に、前記撮像手段に対するシステムクロックの供給を停止する、
    ことを特徴とする請求項1または2記載の撮像システム。
  7. 前記制御手段は、前記撮像手段における撮像期間の完了を受信後、前記撮像手段における撮像期間ではないアイドル期間に入ってから前記撮像手段に対するシステムクロックの供給を停止する、
    ことを特徴とする請求項1または2記載の撮像システム。
  8. 前記制御手段は、前記撮像手段に対するシステムクロックを供給している際に、前記検知手段による前記所定の相対位置の検知信号を受信する、
    ことを特徴とする請求項記載の撮像システム。
  9. 前記制御手段は、前記撮像手段に対するシステムクロックの供給を停止している際に、前記検知手段による前記所定の相対位置の検知信号を受信する、
    ことを特徴とする請求項1ないし7の何れか一記載の撮像システム。
  10. 請求項1ないし9の何れか一記載の撮像システムと、
    前記撮像システムによる撮像結果に基づいて色調整を行って、画像形成する画像形成手段と、
    を備えることを特徴とする画像形成装置。
  11. 撮像対象物に対して相対的に移動し、当該撮像対象物を撮像する撮像手段と、前記撮像手段と前記撮像対象物の所定の相対位置を検知する検知手段と、を備える撮像システムにおける撮像方法であって、
    前記撮像手段における撮像期間の完了を受信して前記撮像手段による撮像開始のタイミングを制御するシステムクロックの供給を停止し、前記撮像手段の撮像範囲の中央に前記撮像対象物が到達するまでの時間を予測し、前記検知手段による前記所定の相対位置の検知に基づいて前記撮像対象物の相対移動に合わせて前記撮像手段に対するシステムクロックの供給を再開する、
    ことを特徴とする撮像方法。
  12. 撮像対象物に対して相対的に移動し、当該撮像対象物を撮像する撮像手段と、前記撮像手段と前記撮像対象物の所定の相対位置を検知する検知手段と、を備える撮像システムを制御するコンピュータを、
    前記撮像手段における撮像期間の完了を受信して前記撮像手段による撮像開始のタイミングを制御するシステムクロックの供給を停止し、前記撮像手段の撮像範囲の中央に前記撮像対象物が到達するまでの時間を予測し、前記検知手段による前記所定の相対位置の検知に基づいて前記撮像対象物の相対移動に合わせて前記撮像手段に対するシステムクロックの供給を再開する手段として機能させるプログラム。
JP2017017456A 2016-03-18 2017-02-02 撮像システム、画像形成装置、撮像方法およびプログラム Active JP6828473B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17160923.3A EP3223504B1 (en) 2016-03-18 2017-03-14 Image capturing system, image forming device, image capturing method, and computer-readable recording medium
US15/459,266 US10412268B2 (en) 2016-03-18 2017-03-15 Image capturing system including a controller to control supply of a system clock to an imager
CN201710153984.0A CN107205099A (zh) 2016-03-18 2017-03-15 图像捕获系统、图像形成装置以及图像捕获方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016054779 2016-03-18
JP2016054779 2016-03-18

Publications (2)

Publication Number Publication Date
JP2017175603A JP2017175603A (ja) 2017-09-28
JP6828473B2 true JP6828473B2 (ja) 2021-02-10

Family

ID=59972319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017017456A Active JP6828473B2 (ja) 2016-03-18 2017-02-02 撮像システム、画像形成装置、撮像方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6828473B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6847007B2 (ja) 2017-09-13 2021-03-24 株式会社日立製作所 半導体装置およびその製造方法

Also Published As

Publication number Publication date
JP2017175603A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
US9906688B2 (en) Image capturing apparatus, color measuring device, image forming apparatus, and color measuring system for capturing a reference chart and a subject
US9118874B2 (en) Image capturing device, color measuring device, color measuring system, image forming apparatus, and color measuring method
JP6424586B2 (ja) 撮像装置、媒体種別判定装置および画像形成装置
US8817329B2 (en) Color measuring device, image forming apparatus, color measuring method, and color measuring system
US10252517B2 (en) Image forming apparatus and method for calculating actual distance of deviation
US9406000B2 (en) Imaging device, colorimetry device, and image forming apparatus
US9367013B2 (en) Imaging device, image forming apparatus, and contamination inspection method
JP6350158B2 (ja) 撮像装置、媒体種別判定装置および画像形成装置
JP2013224924A (ja) 撮像ユニット、測色装置、画像形成装置、測色システムおよび測色方法
US10412268B2 (en) Image capturing system including a controller to control supply of a system clock to an imager
JP6471437B2 (ja) 撮像装置、測色装置および画像形成装置
JP2014181907A (ja) 撮像ユニット、測色装置、画像形成装置、測色システムおよび距離測定方法
JP6828473B2 (ja) 撮像システム、画像形成装置、撮像方法およびプログラム
JP2017003570A (ja) 撮像装置、画像形成装置、距離計測方法およびプログラム
JP6156174B2 (ja) 画像読取装置
JP6891463B2 (ja) 画像形成装置、およびプログラム
JP6623694B2 (ja) 画像読取装置および画像形成装置
US20150381846A1 (en) Image reading apparatus, image forming apparatus and computer readable medium storing program
JP6471436B2 (ja) 撮像装置、測色装置および画像形成装置
JP6064345B2 (ja) 撮像装置、測色装置、測色システム及び画像形成装置
JP2014181909A (ja) 撮像ユニット、測色装置、画像形成装置、測色システムおよび距離測定方法
US20110216334A1 (en) Image processing device, image forming apparatus and image processing method
JP2017183795A (ja) 画像読取装置、画像形成装置、及びプログラム
JP2022049509A (ja) 測色装置、記録装置、測色方法、およびプログラム
JP2016115998A (ja) 画像読取装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R151 Written notification of patent or utility model registration

Ref document number: 6828473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151