JP7487260B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP7487260B2
JP7487260B2 JP2022082531A JP2022082531A JP7487260B2 JP 7487260 B2 JP7487260 B2 JP 7487260B2 JP 2022082531 A JP2022082531 A JP 2022082531A JP 2022082531 A JP2022082531 A JP 2022082531A JP 7487260 B2 JP7487260 B2 JP 7487260B2
Authority
JP
Japan
Prior art keywords
image
positional deviation
misalignment
print
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022082531A
Other languages
English (en)
Other versions
JP2023170637A (ja
Inventor
利幸 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022082531A priority Critical patent/JP7487260B2/ja
Priority to EP23163867.7A priority patent/EP4280584A1/en
Priority to US18/317,624 priority patent/US20230379414A1/en
Publication of JP2023170637A publication Critical patent/JP2023170637A/ja
Application granted granted Critical
Publication of JP7487260B2 publication Critical patent/JP7487260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00068Calculating or estimating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00034Measuring, i.e. determining a quantity by comparison with a standard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1208Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1234Errors handling and recovery, e.g. reprinting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1259Print job monitoring, e.g. job status
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00029Diagnosis, i.e. identifying a problem by comparison with a normal state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00031Testing, i.e. determining the result of a trial
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00037Detecting, i.e. determining the occurrence of a predetermined state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00047Methods therefor using an image not specifically designed for the purpose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00074Indicating or reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00477Indicating status, e.g. of a job
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

本発明は、印刷装置が出力した印刷物を検査するための画像処理に関する。
印刷装置により出力される印刷物は、インクやトナー等の色材が意図しない箇所に付着することに起因する汚れや、用紙の搬送速度や印刷開始位置のずれに起因する印刷対象の用紙に対する印刷位置のずれ(以下、印刷位置ずれと呼ぶ)を有することがある。これら印刷欠陥の有無を検査するため、印刷装置にて出力される印刷物をカメラやスキャナのラインセンサ等で読み取り、印刷が正常に行われているか否かを、読取画像を用いて自動で検査する手法がある。このような手法では、欠陥の無い印刷物の画像データを示す基準画像と、検査対象となる印刷物の読取データを示す読取画像との差分に基づき、検査対象における印刷欠陥の有無を検出する。特許文献1には、原稿データを用いて基準エッジを抽出し、検査用画像データから基準エッジに対応するエッジ画像データを抽出し、抽出した基準エッジとエッジ画像データとの間の画像データのずれに基づいて位置ずれの有無を判定する方法が開示されている。
特許第5287272号公報
しかしながら、特許文献1に記載の方法では、検査用画像データには印刷時やスキャナ読取時の搬送に起因する位置の変動やずれが含まれており、原稿データの理想座標に対するずれを算出すると、当該ずれ量は読取画像同士のずれ量と比較して大きな値となる。
検査を終えた印刷物を重ねたまま断裁する場合など、理想座標に対するずれが重要ではなく、用紙間の相対的なずれが基準値以内に収まっていることが重要となる場合がある。この場合、特許文献1に記載の方法では、算出される印刷位置ずれが用紙間の相対的なずれより大きくなってしまうため、印刷位置ずれの判定に使用する閾値を大きく設定せざるを得ず、結果として印刷位置ずれの判定精度が低下してしまう課題がある。
本発明は、原稿データと読取画像との比較において、用紙間の相対的な位置ずれの有無を精度よく検査することを目的とする。
本発明に掛かる画像処理装置は、印刷物の基準となる基準画像と前記印刷物の第一を読み取った第一の読取画像との位置ずれを基準位置ずれに設定する設定手段と、前記基準画像と前記印刷物の第二を読み取った第二の読取画像との位置ずれから前記基準位置ずれを差し引くことで、前記第二の読取画像の位置ずれの有無を判定する判定手段と、を有する。
原稿データと読取画像との比較において、用紙間の相対的な位置ずれの有無を精度よく検査することができる。
印刷検査システムの構成を示す図。 画像処理装置の構成を示すブロック図。 画像処理のフローチャート。 実施形態1におけるUIの例を示す図。 第一位置ずれ量算出部204における処理のフローチャート。 基準画像と読取画像の例を示す図。 第二位置ずれ量算出部205における処理のフローチャート。 実施形態2における画像処理のフローチャート。 実施形態3におけるUIの例を示す図。 印刷位置ずれの基準値を更新するタイミングを設定するUIの例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また、フローチャートにおける各工程(ステップ)についてはSで始まる符号を用いて示す。
[実施形態1]
実施形態1に係る画像処理装置は、基準画像と1頁目の読取画像とから印刷位置ずれの基準値を算出し、算出した基準値に基づいて2頁目以降の読取画像の印刷位置ずれの有無を判定する。理想座標からのずれ量に基づき判定するのではなく、理想座標からずれ量を基準値として算出し、2頁目以降の印刷位置ずれの判定時に基準値をオフセットさせることで用紙間の印刷位置ずれの有無を精度よく検査することができる。
(印刷検査システムの構成)
図1は、実施形態1に係る画像処理装置100を含む、印刷物の出力と検査とを行う印刷検査システム全体の構成を示す図である。実施形態1に係る印刷検査システムは、画像処理装置100と、印刷装置190と、を備えている。実施形態1に係る印刷検査システムは、さらに印刷用サーバ180を備えていてもよい。本実施例では、画像処理装置100と印刷装置190とを別体として説明するが、印刷装置190の中に画像処理装置100が備えられてもよい。
印刷用サーバ180は、印刷される原稿を含む印刷ジョブを生成し、印刷装置190へ印刷ジョブを投入する。印刷装置190は、印刷用サーバ180から投入された印刷ジョブに基づき、印刷媒体上に画像を形成する。印刷装置190は給紙部191を有しており、ユーザはあらかじめ印刷用紙を給紙部191に供給することができる。印刷装置190は、印刷ジョブが投入されると、給紙部191に供給されている印刷媒体を搬送路192に沿って搬送しながら、印刷媒体の片面又は両面に画像を形成し、画像処理装置100へと送出する。
画像処理装置100は、印刷が行われた印刷媒体(検査対象媒体)に対する欠陥の検査を行う。検査対象媒体は、印刷装置190が印刷媒体上に画像を形成することにより得られ、印刷装置190内部の搬送路192を通じて搬送されている。画像処理装置100は、内部にCPU101、RAM102、及びROM103を有していてもよい。また、画像処理装置100は、画像読取装置105、印刷装置インターフェース(I/F)106、汎用インターフェース(I/F)107、ユーザインターフェース(UI)パネル108、及びメインバス109を有していてもよい。さらに、画像処理装置100は、印刷装置190の搬送路192と接続された印刷媒体の搬送路110を有していてもよい。また、画像処理装置100は、検査により合格と判定された検査対象媒体が出力される出力トレー111、及び検査により不合格と判定された検査対象媒体が出力される出力トレー112を備えていてもよい。図1の例において、出力トレー111及び出力トレー112はメインバス109を介してCPU101に接続されている。検査対象媒体に対する検査結果に応じて、検査対象媒体の搬送先が出力トレー111又は出力トレー112に設定される。
後述する各実施形態に係る画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。例えば、CPU101のようなプロセッサが、RAM102又はROM103のようなメモリに格納されたプログラムを実行することにより、各部の機能を実現することができる。CPU101のようなプロセッサは、画像処理装置100内の各モジュールを必要に応じて制御することもできる。なお、また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の処理装置によって構成されていてもよい。
CPU101は画像処理装置100内の各部を制御するプロセッサである。RAM102は、CPU101によって実行されるアプリケーション、又は画像処理に用いられるデータ等を一時的に保持する。ROM103は、CPU101によって実行されるプログラム群を格納する。
画像読取装置105は、印刷装置190から送られてきた印刷媒体の片面又は両面を、搬送路110上でスキャンし読み取り、画像データとして取得する。搬送路110は、画像読取装置105が印刷媒体の画像を読み取る際の背景となるので、画像上で印刷媒体との区別が容易な色(例えば黒)を有するように搬送路110を構成することができる。印刷装置I/F106は印刷装置190と接続されており、画像処理装置100は印刷装置I/F106を通して印刷装置190と通信することができる。例えば、印刷装置I/F106を介して、印刷装置190と画像処理装置100とを同期させ、稼働状況を互いに通知させることができる。UIパネル108は、ユーザに対して情報を出力することができる。UIパネル108は、液晶ディスプレイ等の表示装置であってもよく、画像処理装置100のユーザインターフェースとして機能することができる。UIパネル108は、例えば、現在の画像処理装置100の状況又は設定をユーザに伝えることができる。また、UIパネル108はタッチパネル又はボタン等の入力装置を備えていてもよく、こうしてユーザからの指示を受け付けることができる。メインバス109は画像処理装置100の各モジュールを接続する伝送路である。
画像処理装置100は、印刷装置190から出力された印刷媒体を搬送路110が搬送する間に、画像読取装置105が取得する印刷媒体の画像データに基づき、印刷媒体の欠陥の有無を調べる検査処理を行う。検査処理の結果、合格と判定されると、印刷媒体は出力トレー111へと搬送される。検査処理の結果、不合格と判定されると、印刷媒体は出力トレー112へと搬送される。このような動作により、出力トレー111上には、欠陥が存在しないと判定された印刷媒体のみが出力される。
(画像処理装置の構成)
図2は、本実施形態に係る画像処理装置100の構成を示すブロック図である。
基準画像取得部201は、印刷物の元データである原稿データをRAM102またはROM103に読み出すことで取得する。読取画像取得部202は、印刷装置190により印刷が行われた検査対象媒体の読取画像を取得する。取得した画像データはRAM102またはROM103に保持する。本実施形態において、読取画像取得部202は、画像読取装置105が搬送路110上の印刷媒体を読み取ることにより得られた画像データを取得する。検査情報取得部203はUIパネル108を介して取得したユーザからの操作などに基づき、検査設定に関わる情報を取得する。第一位置ずれ量算出部204は、原稿データと読取画像の比較に基づいて理想位置に対する読取画像の位置ずれ量を算出する。第二位置ずれ量算出部205は、第一位置ずれ量算出部で算出した位置ずれに基づいて読取画像の位置ずれ量を算出する。位置ずれ判定部206は、読取画像の位置ずれ量とUIパネル108を介して設定された印刷位置ずれに関する検査設定値とを比較し、検査対象の読取画像に印刷位置ずれがあるかどうかを判定する。表示部207は、ユーザに情報を報知するため、また、処理に必要な情報をユーザに入力してもらうためのUIをUIパネル108表示する。
(画像処理装置が実行する処理)
以上のような構成を備える、本実施形態に係る画像処理装置100が行う処理について、以下説明する。図3は、画像処理装置100が行う処理の流れを示すフローチャートである。
S11において検査情報取得部203は、ユーザに検査に必要な情報を入力してもらうためにユーザからの指示を受けつけるUIをUIパネル108に表示し、ユーザからの操作などに基づき、検査情報を取得する。図4にS11で表示するUIを例示する。
図4において基準画像設定ボタン1101は基準画像を設定するためのボタンであり、ユーザは1101を押下し、検査に使用する基準画像として印刷元データである原稿データを指定する。指定された画像はRAM102またはROM103に保持される。
検査ジョブ設定ボタン1102は印刷ジョブと検査対象の画像データ、及び検査設定情報が対応付けられた検査ジョブの情報を設定するためのボタンであり、ユーザは1102を押下し、印刷ジョブと検査設定が対応付けられた検査ジョブを指定する。指定された検査ジョブはRAM102またはROM103に保持される。
検査パラメータ設定部1103は検査に使用する検査パラメータを設定する画面であり、ユーザは画面上のエディットボックスに数値を入力することで印刷位置ずれの検査パラメータを設定し、設定された値はRAM102またはROM103に保持される。尚、本実施例では印刷位置ずれを検出するための閾値である印刷位置ずれの閾値設定を行うものとするが、例えば、汚れや濃度変化などの他の印刷欠陥に対応する検査パラメータなどの設定が加えられてもよい。また、検査パラメータの設定はエディットボックスに数値を入力するのではなく、プルダウンメニューから予め定められた所定の値を選択することで設定してもよい。また、数値ではなく、検査の設定レベルを設け、予め設定レベル毎に印刷位置ずれの閾値を対応付けて保持させ、ユーザの選択したレベルに合わせて検査パラメータの値を取得してもよい。
検査実行ボタン1104は、検査処理を実行するためのボタンであり、1104が押下されると設定した情報に基づいて検査処理が実行される。
S12において基準画像取得部201は、印刷物の元データである原稿データを取得し、RAM102に格納する。
S13において読取画像取得部202は、検査ジョブに登録されている検査対象画像の先頭1頁目の読取画像を取得する。画像読取装置105が搬送路110上の検査対象媒体を読み取ることにより得られた読取画像を取得し、RAM102に格納する。尚、画像読取装置105は、検査対象媒体を読み取ることにより読取画像を生成するが、別の装置を用いて取得された画像を用いる場合にも適用可能である。例えば、画像読取装置105とは異なる装置によって得られた読取画像が、補助記憶装置(不図示)に格納されていてもよい。この場合、読取画像取得部202は、補助記憶装置から読取画像を取得することができる。
S14において第一位置ずれ量算出部204は、S12で取得した基準画像とS13で取得した読取画像との印刷位置ずれを算出する。S14における処理の詳細は後述する。
S15において第一位置ずれ量算出部204は、S14で算出した印刷位置ずれ量を基準位置ずれ量に設定する。基準位置ずれ量は基準画像と読取画像との印刷位置ずれの比較においてオフセットの基準値として使用される。
S16において画像処理装置100は、検査対象の読取画像が1頁目であるかどうかを判定し、1頁目であればS17の処理へ進み、1頁目でなければS21の処理へ進む。
S17において画像処理装置100は、1頁目の読取画像の印刷位置ずれを判定するための閾値を設定する。1頁目の印刷位置ずれの判定は、原稿データと読取画像の比較となり、原稿データと読取画像では画像に含まれる位置ずれ特性が異なるため、算出されるずれが大きくなりやすい。ユーザの設定した閾値をそのまま適用すると用紙間ではずれがないのにNGと判定されてしまう可能性が大きいため、本実施例ではユーザの設定した閾値に印刷検査システムの最大印刷位置ずれ量を加算した値を使用する。最大印刷位置ずれ量は印刷時やスキャナ読取時の搬送に起因する印刷位置ずれ量の最大値を設定する。
2頁目以降の検査では後述の方法により、基準位置ずれ量がオフセットされた状態で検査されるが、1頁目はオフセットが適用できないため当該ずれ量を閾値に加算することで問題ない印刷位置ずれを検査NGと判定されてしまう誤判定を防止する。尚、本実施例では印刷検査システムのシステム設計値の最大ずれ量を加算しているが、平均値や中心値など他の統計値を用いてもよいし、システム設計値ではなく、他の検査ジョブで算出された印刷位置ずれ量の基準値を参照し閾値に加算してもよい。
S18において位置ずれ判定部206は、1頁目の読取画像の位置ずれ量がS17で設定された閾値と比較し、閾値よりも大きければS19の処理へ進み、閾値以下であればS20の処理へ進む。
S19において画像処理装置100は、印刷位置ずれが閾値よりも大きいと判定された検査対象媒体を、検査不合格として不合格専用の出力トレー112へ搬送するように制御を行う。
S20において画像処理装置100は、印刷位置ずれが閾値以下と判定された検査対象媒体を、検査合格として合格専用の出力トレー111へ搬送するように制御を行う。
S21において読取画像取得部202は、検査ジョブに登録されている検査対象画像の先頭から2頁目以降の読取画像を取得する。取得した画像はRAM102に格納する。
S22において第二位置ずれ量算出部205は、S14で算出した基準位置ずれ量、及びS12で取得した基準画像とS21で取得した読取画像との印刷位置ずれ量に基づいて印刷位置ずれ量を算出する。S22における処理の詳細は後述する。
S23において位置ずれ判定部206は、S21で取得した読取画像の印刷位置ずれ量と、S11で取得した印刷位置ずれの閾値とを比較し、閾値よりも大きければS24の処理へ進み、閾値以下であればS25の処理へ進む。
S24において画像処理装置100は、印刷位置ずれが閾値よりも大きいと判定された検査対象媒体を、検査不合格として不合格専用の出力トレー112へ搬送するように制御を行う。
S25において画像処理装置100は、印刷位置ずれが閾値以下と判定された検査対象媒体を、検査合格として合格専用の出力トレー111へ搬送するように制御を行う。
S26において画像処理装置100は、検査ジョブに登録されている全ての読取画像について印刷位置ずれの判定を行ったかどうかを判定し、未判定の画像があればS21の処理へ戻り読取画像を取得し、全て判定済であれば処理を終了する。
(S14における第一位置ずれ量算出部204の動作)
図5は第一位置ずれ量算出部204における処理に関するフローチャートである。
S141において第一位置ずれ量算出部204は、基準画像と読取画像の用紙四頂点を算出し、位置合わせを行うための幾何変換行列を算出する。図6は基準画像(A)と読取画像(B)の例を示す図である。読取画像301には印刷媒体が写っている印刷媒体領域303と、印刷媒体が写っていない背景領域302とを含む。本実施形態において搬送路110は黒色を有しているため、背景領域302は黒くなっている。読取画像から用紙四頂点を算出するには、まず読取画像を2値化し、白画素と黒画素との境界となる画素を追跡することにより、印刷媒体の輪郭を示す4つの辺を直線近似し、印刷媒体の輪郭を示す四本の直線を推定する。次に推定した四本の直線の交点を算出することにより、用紙四頂点を算出する。算出した読取画像の用紙四頂点と基準画像の四頂点の座標に基づいて下式(1)により幾何変換行列を算出する。
Figure 0007487260000001
式(1)におけるXはアフィン変換行列であり、基準画像の四頂点の点群Aと読取画像の用紙四頂点の点群Bとから算出する。
S142において第一位置ずれ量算出部204は、画像特徴点に基づき幾何変換行列を算出する。画像特徴点は、公知の手法であるSIFTやSURFなどを用いて、画像の特徴点を表す位置合わせの座標を算出し、特徴点の座標に基づいて画像特徴点に基づいた幾何変換行列を算出する。本実施例ではアフィン変換行列X_fを算出する。
S143において第一位置ずれ量算出部204は、位置ずれ量算出用の仮想点を設定する。仮想点は紙四隅から内側に5mm(検査解像度300dpiの場合は60pix)離れた座標4点を用いる。なお、基準点の座標位置や点数はこれに限定されるものではないが、幾何変換時の拡大縮小成分や回転成分を考慮すると少なくとも紙四隅近傍の座標を採用すると精度が安定する。
S144において第一位置ずれ量算出部204は、位置ずれ量を算出する。(xi,yi)はi個の仮想点であり、(xfi,yfi)はS142で算出した変換行列X_fを用いて変換した点である。(xci,yci)は用紙の四隅から算出した変換行列X_cを用いて変換した点であり、印刷位置ずれ量はi個の仮想点における位置の差分(|xfi-xci|,|yfi-yci|)の最大値を使用する。
印刷位置ずれ量(Δxd,Δyd) Δxd=max(|xfi-xci|)、Δyd=max(|yfi-yci|)
(xfi,yfi)= X_f(xi,yi)、(xci,yxi)= X_c(xi,yi)
尚、本実施例では印刷位置ずれ量としてi個の差分の最大値を使用するが、i個の差分の平均値や最頻値など他の統計値を用いてもよい。
(S22における第二位置ずれ量算出部205の動作)
図7は第二位置ずれ量算出部205における処理に関するフローチャートである。
S221において第二位置ずれ量算出部204は、S15で算出した基準位置ずれ量(Δxd,Δyd)を取得する。
S222において第二位置ずれ量算出部204は、S21で取得した読取画像の位置ずれ量(Δxs,Δys)を算出する。位置ずれ量の算出方法はS14と同様の方法で算出するため説明は省略する。
S223において第二位置ずれ量算出部204は、S221及びS222で取得した値に基づき下記の式により、位置ずれ量(Δx、Δy)を算出する。
Δx=|xs-xd|、Δy=|ys-yd|
以上、実施形態1の方法によれば、基準画像と1頁目の読取画像とから印刷位置ずれ量の基準値を算出し、2頁目以降の印刷位置ずれの判定時に基準値をオフセットさせることで用紙間の印刷位置ずれの有無を精度よく検査することができる。
[実施形態2]
実施形態1においては、検査対象画像の印刷位置ずれ量を算出する際に1頁目の読取画像の印刷位置ずれ量を基準に印刷位置ずれの相対的なずれを判定した。実施形態1においては、1頁目の読取画像の特徴点が少ない場合、例えば1頁目の画像特徴点が1点のみだと平行移動量の成分しか算出できず、拡縮成分や回転成分が算出できないため、印刷位置ずれ量を精度よく算出することができない場合がある。このため、実施形態2においては基準画像との印刷位置ずれを算出する読取画像の特徴点の数を算出し、特徴点の数が閾値以下であれば1頁目ではなく、所定の数を超える特徴点を有する2頁目以降n(nは自然数)頁目までの読取画像を選択する方法について説明する。尚、実施形態1との差分である特徴点の数を算出し、閾値判定する部分を中心に説明し、その他の処理は実施形態1と同様であるため説明を省略する。
図8は、画像処理装置100が行う処理の流れを示すフローチャートである。
S31において表示部207は、ユーザに検査に必要な情報を入力してもらうためにユーザからの指示を受けつけるUIをUIパネル108に表示する。UIは実施例1と同様であるため説明を省略する。
S32において基準画像取得部201は、印刷物の元データである原稿データを取得し、RAM102に格納する。
S33において読取画像取得部202は、RAM102に格納されている用紙の先頭頁からの頁数を表すカウンターNを読み出し、Nに1を設定する。
S34において読取画像取得部202は、RAM102からカウンターNを読み出し、N頁目の読取画像を取得する。
S35において第一位置ずれ量算出部204は、前述のS14における処理方法と同様の方法により基準画像とN頁目の読取画像の印刷位置ずれを算出する。
S36において読取画像取得部202は、S34で取得した読取画像の画像特徴点を算出する。本実施例では特徴点として画像のコーナー情報を利用し、Harrisのコーナー検出などの公知のアルゴリズムによってコーナー検出を行い、特徴量が大きいものから順に複数の特徴点を抽出する。尚、特徴点の算出はSIFTなど他のアルゴリズムを使用してもよいし、ユーザが画像データから手動で設定した値を用いてもよい。
S37において読取画像取得部202は、S36で算出した特徴点の数と所定の閾値とを比較し、閾値よりも大きければS39の処理へ進み、閾値以下であればS38の処理へ進む。尚、本実施例では特徴点は6点以上の特徴点を抽出するように所定の閾値として5を設定するが、この数値に限定されるものではなくより多くの特徴点を設定してもよいし、少ない数値を設定してもよい。但し、幾何変換行列の性質上、少なくとも3点以上の特徴点がないと拡縮・回転成分の係数が算出できないため、最低でも2以上の閾値が設定されることが望ましい。
S38において読取画像取得部202は、用紙の先頭頁からの頁数を表すカウンターNをインクリメントする。インクリメント後は、特徴点の数が条件を満たさないため、S34の処理へ戻り、特徴点が閾値を超える読取画像を見つけるまで読取画像の特徴点の数の判定処理を繰り返す。尚、特徴点が閾値以下となった読取画像についてはS41の処理へ進み、S17で説明した閾値にて印刷位置ずれの有無を判定する。
S39において第一位置ずれ量算出部204は、特徴点の数が閾値を超えた読取画像に対してS35で算出した印刷位置ずれ量を基準位置ずれ量に設定する。
S40において画像処理装置100は、RAM102からカウンターNを読み出し、検査対象の読取画像がN頁目であるかどうかを判定し、N頁目であればS41の処理へ進み、N頁目でなければS45の処理へ進む。
S41において画像処理装置100は、N頁目の読取画像の印刷位置ずれを判定するための閾値を設定する。閾値設定はS17で説明した方法と同様である。
S42において位置ずれ判定部206は、N頁目の読取画像の位置ずれ量がS41で設定された閾値と比較し、閾値よりも大きければS43の処理へ進み、閾値以下であればS44の処理へ進む。
S43において画像処理装置100は、位置ずれが閾値よりも大きいと判定された検査対象媒体を、検査不合格として出力トレー112へ搬送するように制御を行う。
S44において画像処理装置100は、位置ずれが閾値以下と判定された検査対象媒体を、検査合格として出力トレー111へ搬送するように制御を行う。
S45において読取画像取得部202は、RAM102からカウンターNを読み出し、N+1頁目の読取画像を取得する。
S46において第二位置ずれ量算出部205は、S39で設定された位置ずれ量、及びS32で取得した基準画像とS45で取得した読取画像との印刷位置ずれ量に基づいて前述のS22の方法で印刷位置ずれ量を算出する。
S47において位置ずれ判定部206は、S45で取得した読取画像の位置ずれ量と、ユーザが設定した閾値とを比較し、閾値よりも大きければS48の処理へ進み、閾値以下であればS49の処理へ進む。
S48において画像処理装置100は、位置ずれが閾値よりも大きいと判定された検査対象媒体を、検査不合格として出力トレー112へ搬送するように制御を行う。
S49において画像処理装置100は、位置ずれが閾値以下と判定された検査対象媒体を、検査合格として出力トレー111へ搬送するように制御を行う。
S50において画像処理装置100は、全ての読取画像について印刷位置ずれの判定を行ったかどうかを判定し、未判定の画像があればS51の処理へ進み、全て判定済であれば処理を終了する。
S51において画像処理装置100は、用紙の先頭頁からの頁数を表すカウンターNをインクリメントする。
以上、実施形態2の方法によれば、特徴点の数が少ない画像の場合は印刷位置ずれの算出精度が低下するため、基準位置ずれ量を算出する際の画像に対して特徴点の数で閾値判定を設定することで、印刷位置ずれの有無を精度よく検査することができる。
[実施形態3]
実施形態1及び2においては、印刷位置ずれの基準値を算出する際に使用する読取画像は画像処理装置内の処理によって決定されていたが、実施例3ではユーザに基準値を算出する際に使用する対象の読取画像を選択させる方法について説明する。実施例3の方法を説明するにあたり、前述の実施形態との差分であるS11で表示するUI部について図9を用いて説明する。その他の処理は前述の実施形態と同様であるため説明を省略する。
図9において基準画像設定ボタン2101は基準画像を設定するためのボタンであり、ユーザはボタン2101を押下し、検査に使用する基準画像として印刷元データである原稿データを指定する。検査ジョブ設定ボタンは検査対象の画像データがまとめられたジョブ情報を設定するためのボタンであり、ユーザはボタン2102を押下し、複数の印刷画像と印刷設定が対応付けられた検査ジョブを指定する。検査パラメータ設定部2103は検査に使用する検査パラメータを設定する画面であり、ユーザは画面上のエディットボックスに数値を入力することで印刷位置ずれの検査パラメータを設定する。位置ずれ判定の基準画像設定ボタン2103は位置ずれ判定の基準値算出に使用する画像を設定するためのボタンであり、ユーザはボタン2104を押下すると、検査ジョブ設定ボタンで設定された検査対象の画像データが表示ウィンドウ部2105に表示される。表示ウィンドウ部2105は、検査ジョブで設定されている検査対象の読取画像を表示するウィンドウであり、ユーザがボタン2104を押下すると、検査ジョブで設定されている検査対象の読取画像が1頁目から順に一覧表示される。位置ずれ基準適正報知部2106は、表示ウィンドウ部2105で表示された各画像について位置ずれ判定の基準画像として適性の有無を表示するテキストボックスであり、適正があれば候補画像として〇を、適正がなければ×を表示される各画像について下部に表示する。尚、適正の有無の判定については実施形態2で説明した読取画像の特徴点の数が所定の数よりも多いか否かによって判定される。判定の方法は実施形態2と同様であるため説明を省略する。基準画像選択部2107は基準画像を選択するためのチェックボックスであり、ユーザは位置ずれ判定に使用する基準画像について対応するチェックボックスにチェックを入力することで基準画像を設定する。ここでユーザが設定した基準画像に基づいて実施形態1及び2で説明した基準位置ずれ量の算出に使用される読取画像が決定される。検査実行ボタン2108は、検査処理を実行するためのボタンであり、ボタン2108が押下されると設定した情報に基づいて検査処理が実行される。
以上、実施形態3の方法によれば、印刷位置ずれの基準値を算出する際に使用する画像をユーザに選択させることで、印刷位置ずれの有無を精度よく検査することができる。
[その他の実施形態]
[印刷位置ずれの基準値の算出方法]
実施形態1では印刷位置ずれの基準値として1頁目の読取画像と原稿データの比較によって算出していたが、1頁目から所定の頁までの印刷位置ずれを算出し、算出した位置ずれの値の平均値や最頻値などの統計値から基準値を算出してもよい。
[印刷位置ずれの基準値を更新するタイミング]
実施形態1及び2では印刷位置ずれの基準値を検査実行時に毎回検査ジョブを参照し、毎回原稿データと読取画像とから算出していたが、初回検査実行時に算出した基準値をROM103に保存させ、これを必要な場合に読み出して検査に使用してもよい。例えば、基準値を更新するタイミングを設定するUIを図10のように設け、ここで設定されたタイミングで基準値を更新してもよい。図10ではユーザが更新するタイミングをラジオボタンにより選択し、選択されたタイミングで基準値を更新することができる。
ラジオボタン3101の検査処理実行時は前述の実施形態の通り、検査実行時に毎回印刷位置ずれの基準値を算出・設定を行う。ラジオボタン3102の検査ジョブ更新時は一度実行した検査ジョブについては使用した基準値をROM103に保存させ、同一ジョブを実行する際に保存させておいた基準値を使用する。検査ジョブが更新された場合は、検査に使用する読取画像が変更されたとみなして新たに印刷位置ずれの基準値を算出・設定するが、検査ジョブが更新されない限りは以前の検査に使用した基準値を使用する。
ラジオボタン3103の表裏レジ調整時は検査ジョブに関わらず、印刷物の表面と裏面の印刷位置にずれがある場合に印刷範囲全体を上下左右に動かして調整する表裏レジ調整が実行されたタイミングで基準位置ずれ量の更新が実行される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
201 基準画像取得部
202 読取画像取得部
203 検査情報取得部
204 第一位置ずれ量算出部
205 第二位置ずれ量算出部
206 位置ずれ判定部
207 表示部

Claims (8)

  1. 印刷物の基準となる基準画像と前記印刷物の第一を読み取った第一の読取画像との位置ずれを基準位置ずれに設定する設定手段と、
    前記基準画像と前記印刷物の第二を読み取った第二の読取画像との位置ずれから前記基準位置ずれを差し引くことで、前記第二の読取画像の位置ずれの有無を判定する判定手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第一の読取画像は、前記印刷物を印刷するための印刷ジョブで設定された一頁目の読取画像であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記位置ずれの有無は、前記印刷物を印刷するための印刷ジョブで設定された一頁からn(nは自然数)頁目までの位置ずれ量の統計値から算出することを特徴とする請求項1に記載の画像処理装置。
  4. 前記第一の読取画像は、前記第一の読取画像の特徴点の数を算出した結果、閾値よりも多い特徴点を有する画像であることを特徴とする請求項1に記載の画像処理装置。
  5. 前記第一の読取画像のうちの特徴点の多い画像は、前記第一の読取画像の候補画像としてユーザに報知されることを特徴とする請求項1に記載の画像処理装置。
  6. 前記判定手段は、前記基準画像と前記第一の読取画像との位置ずれを閾値に最大印刷位置ずれ量を加算した値と比較することで、前記第一の読取画像の位置ずれの有無を判定することを特徴とする請求項1に記載の画像処理装置。
  7. 印刷物の基準となる基準画像と前記印刷物の第一を読み取った第一の読取画像との位置ずれを基準位置ずれに設定する設定工程と、
    前記基準画像と前記印刷物の第二を読み取った第二の読取画像との位置ずれから前記基準位置ずれを差し引くことで、前記第二の読取画像の位置ずれの有無を判定する判定工程と、
    を有することを特徴とする画像処理方法。
  8. コンピュータが読み込み実行することで、前記コンピュータに、請求項7に記載の方法の各工程を実行させるためのプログラム。
JP2022082531A 2022-05-19 2022-05-19 画像処理装置、画像処理方法、及び、プログラム Active JP7487260B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022082531A JP7487260B2 (ja) 2022-05-19 2022-05-19 画像処理装置、画像処理方法、及び、プログラム
EP23163867.7A EP4280584A1 (en) 2022-05-19 2023-03-23 Apparatus, method and storage medium for determining the presence of position shift in printed images
US18/317,624 US20230379414A1 (en) 2022-05-19 2023-05-15 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022082531A JP7487260B2 (ja) 2022-05-19 2022-05-19 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2023170637A JP2023170637A (ja) 2023-12-01
JP7487260B2 true JP7487260B2 (ja) 2024-05-20

Family

ID=85726637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022082531A Active JP7487260B2 (ja) 2022-05-19 2022-05-19 画像処理装置、画像処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US20230379414A1 (ja)
EP (1) EP4280584A1 (ja)
JP (1) JP7487260B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027570A (ja) 2019-08-09 2021-02-22 コニカミノルタ株式会社 レポート作成装置及びレポート作成方法
JP2021041619A (ja) 2019-09-11 2021-03-18 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2021130219A (ja) 2020-02-18 2021-09-09 キヤノン株式会社 検査装置、検査方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5039422B2 (ja) * 2006-06-19 2012-10-03 キヤノン株式会社 印刷装置、印刷装置の制御方法、コンピュータプログラム
JP5287272B2 (ja) 2009-01-13 2013-09-11 株式会社リコー 画像検査装置、画像検査方法及びプログラム
JP2011152745A (ja) * 2010-01-28 2011-08-11 Canon Inc 印刷装置、印刷装置の制御方法、及び、プログラム
JP5867216B2 (ja) * 2012-03-22 2016-02-24 株式会社リコー 画像検査方法、画像検査装置、画像検査装置の制御プログラム
JP6232999B2 (ja) * 2013-03-15 2017-11-22 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP2022065551A (ja) * 2020-10-15 2022-04-27 株式会社リコー 検査装置、画像形成システム、検査方法およびプログラム
JP2023086219A (ja) * 2021-12-10 2023-06-22 キヤノン株式会社 印刷装置、検査装置、検査方法、印刷システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021027570A (ja) 2019-08-09 2021-02-22 コニカミノルタ株式会社 レポート作成装置及びレポート作成方法
JP2021041619A (ja) 2019-09-11 2021-03-18 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP2021130219A (ja) 2020-02-18 2021-09-09 キヤノン株式会社 検査装置、検査方法

Also Published As

Publication number Publication date
EP4280584A1 (en) 2023-11-22
US20230379414A1 (en) 2023-11-23
JP2023170637A (ja) 2023-12-01

Similar Documents

Publication Publication Date Title
JP7468716B2 (ja) 検査システム、検査方法及び検査プログラム
JP2020006603A (ja) 画像検査システム、画像検査方法、および画像検査プログラム
US11551350B2 (en) Inspecting for a defect on a print medium with an image aligned based on an object in the image and based on vertices of the inspection target medium and the reference medium
CN111669470B (zh) 图像检查装置、图像检查方法和图像检查程序
JP2023001203A (ja) 画像検査システム、画像検査方法、画像検査装置および画像検査プログラム
JP2022169642A (ja) 画像検査装置、画像検査方法、および画像検査プログラム
JP2022094791A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP7487568B2 (ja) 画像検査装置、表示方法及びプログラム
JP2021158583A (ja) 画像処理装置、画像処理方法及びプログラム
US11354799B2 (en) Image processing for inspecting an inspection target image so that a difference in the difference image greater than a threshold value is reduced
JP7487260B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP7183636B2 (ja) 画像検査装置、画像形成システム、画像検査方法、及びプログラム
JP2022041718A (ja) 画像処理装置、その制御方法、及びプログラム
JP2023183106A (ja) 画像処理装置、画像処理方法、及びプログラム
US20230398776A1 (en) Inspection apparatus, inspection method, and storage medium
JP2024051445A (ja) 印刷媒体の検品システム、制御方法、及び制御プログラム
JP2022094555A (ja) 画像処理装置、画像処理方法、及びプログラム
US20240169516A1 (en) Image processing apparatus, image processing method, and storage medium
US20210321006A1 (en) Inspection device, program, and inspection system
US20230401695A1 (en) Inspection apparatus, method of controlling the same, and storage medium
JP2022094794A (ja) 画像処理装置、画像処理方法、プログラム
JP2022132991A (ja) 画像処理装置、その制御方法、及びプログラム
JP2024014720A (ja) 検査装置とその制御方法、及び検査システムとプログラム
JP2023047896A (ja) 検査装置及びプログラム
JP2022159639A (ja) 画像処理装置および画像処理方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240508

R150 Certificate of patent or registration of utility model

Ref document number: 7487260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150