JPWO2015114833A1 - 画像検査装置及び画像検査プログラム - Google Patents

画像検査装置及び画像検査プログラム Download PDF

Info

Publication number
JPWO2015114833A1
JPWO2015114833A1 JP2014534849A JP2014534849A JPWO2015114833A1 JP WO2015114833 A1 JPWO2015114833 A1 JP WO2015114833A1 JP 2014534849 A JP2014534849 A JP 2014534849A JP 2014534849 A JP2014534849 A JP 2014534849A JP WO2015114833 A1 JPWO2015114833 A1 JP WO2015114833A1
Authority
JP
Japan
Prior art keywords
image
inspection
difference
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014534849A
Other languages
English (en)
Other versions
JP6470567B2 (ja
Inventor
秀樹 川端
秀樹 川端
明良 木島
明良 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prosper Creative Co Ltd
Original Assignee
Prosper Creative Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prosper Creative Co Ltd filed Critical Prosper Creative Co Ltd
Publication of JPWO2015114833A1 publication Critical patent/JPWO2015114833A1/ja
Application granted granted Critical
Publication of JP6470567B2 publication Critical patent/JP6470567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00015Reproducing apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32272Encryption or ciphering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

画像検査装置10は、検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、第1画像データと第2画像データとの相違点を自動的に抽出するもので、基準画像及び検査画像を記憶する記憶手段と、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行う画像処理手段と、画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する差分検出手段と、複数のしきい値と差分とを比較してしきい値毎のエラー表示画像データを生成する画像生成手段と、生成されたしきい値毎のエラー表示画像データを用いて画像検査処理を行う画像検査手段とを備える。

Description

この発明は、基準画像と検査画像の画像検査を行う画像検査装置及び画像検査プログラムに関する。
従来より、校了紙や印刷物等の画像検査においては、両画像の検査箇所における相違点について、検出された差分に対し一つのしきい値を適用して画像表示を行ったりすることが行われていた。そして、このしきい値を操作入力等により変動させて、相違点の画像表示を変化させるようにして、容易に相違点を検出可能にする画像比較装置が知られている(例えば、下記特許文献1参照)。
特開2013−80524号公報
しかしながら、上述した特許文献1に開示された従来技術の画像比較装置では、検査精度が好ましくない場合はその都度しきい値を変えて画像検査を行う必要があり、一度の画像検査で所望の検査結果を得ることは難しかった。
この発明は、上述した従来技術による問題点を解消し、安全で且つ安価に構成可能で簡便な処理により一度の画像検査で所望の検査結果を得ることができる画像検査装置及び画像検査プログラムを提供することを目的とする。
本発明に係る画像検査装置は、検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出する画像検査装置であって、前記基準画像及び検査画像を記憶する記憶手段と、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行う画像処理手段と、画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する差分検出手段と、検出された差分に対して設定された複数のしきい値毎の相違点表示画像データを生成して画像検査処理を行う画像検査手段とを備えたことを特徴とする。
本発明の一実施形態においては、前記画像処理手段は、前記記憶手段に記憶された基準画像及び検査画像を前記画像重合処理する前又は前記画像重合処理した後に、複数の領域画像に分割する画像分割処理を行い、各領域画像を前記第1及び第2画像データとして以後の処理単位とする。
本発明の他の実施形態においては、前記画像処理手段は、前記記憶手段に記憶された基準画像及び検査画像の対応する部分画像を抽出及び関連付けて、これら関連付けた部分画像を前記第1及び第2画像データとして前記画像重合処理する。
本発明の更に他の実施形態においては、前記画像処理手段は、前記第1及び第2画像データを画像重合処理する際に、画像の補正機能を用いて、当該第1及び第2画像データのいずれか一方をいずれか他方に合わせる。
本発明の更に他の実施形態においては、前記差分検出手段は、前記第1及び第2画像データの濃度及び色調を分離して比較し、前記差分を検出する。
本発明の更に他の実施形態においては、前記画像検査手段は、前記複数のしきい値と前記差分との比較結果に基づいて限界しきい値を決定し、この限界しきい値に基づく相違点表示画像データを生成する。
本発明の更に他の実施形態においては、前記画像検査手段は、異なるしきい値の前記相違点表示画像データ同士の比較結果に基づく相違点表示画像データを生成する。
本発明の更に他の実施形態においては、前記画像検査手段は、複数の前記相違点表示画像データを、相違点表示画像に相違点表示箇所を前記相違点表示画像データ毎に異なる表示形態で視認可能に切り替え表示する。
また、本発明に係る画像検査装置は、検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出する画像検査装置であって、前記基準画像及び検査画像を記憶する記憶手段と、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行う画像処理手段と、画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する差分検出手段と、検出された差分に対して部分領域毎に異なるしきい値を用いて相違点表示画像データを生成して画像検査処理を行う画像検査手段とを備えたことを特徴とする。
本発明の一実施形態においては、前記差分検出手段は、前記第1及び第2画像データの色調について、CIEXYZ又はRGB画像からL*a*b*値に変換した後に、色差ΔE又はCMYK変換して差分を検出する。
本発明に係る画像検査プログラムは、検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出するための画像検査プログラムであって、コンピュータに、前記基準画像及び検査画像を記憶手段に記憶させる記憶工程と、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行わせる画像処理工程と、画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出させる差分検出工程と、検出された差分に対して設定された複数のしきい値毎の相違点表示画像データを生成して画像検査処理を行わせる画像検査工程とを含む処理を実行させることを特徴とする。
本発明の一実施形態においては、前記画像処理工程では、前記記憶手段に記憶された基準画像及び検査画像を前記画像重合処理する前又は前記画像重合処理した後に、複数の領域画像に分割する画像分割処理を行わせ、各領域画像を前記第1及び第2画像データとして以後の処理単位とする。
本発明の他の実施形態においては、前記画像処理工程では、前記記憶手段に記憶された基準画像及び検査画像の対応する部分画像を抽出及び関連付けて、これら関連付けた部分画像を前記第1及び第2画像データとして前記画像重合処理する。
本発明の更に他の実施形態においては、前記画像処理工程では、前記第1及び第2画像データを画像重合処理する際に、画像の補正機能を用いて、当該第1及び第2画像データのいずれか一方をいずれか他方に合わせる。
本発明の更に他の実施形態においては、前記差分検出工程では、前記第1及び第2画像データの濃度及び色調を分離して比較し、前記差分を検出させる。
本発明の更に他の実施形態においては、前記画像検査工程では、前記複数のしきい値と前記差分との比較結果に基づいて限界しきい値を決定し、この限界しきい値に基づく相違点表示画像データを生成させる。
本発明の更に他の実施形態においては、前記画像検査工程では、異なるしきい値の前記相違点表示画像データ同士の比較結果に基づく相違点表示画像データを生成させる。
本発明の更に他の実施形態においては、前記画像検査工程では、複数の前記相違点表示画像データを、相違点表示画像に相違点表示箇所を前記相違点表示画像データ毎に異なる表示形態で視認可能に切り替え表示させる。
また、本発明に係る画像検査プログラムは、検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出するための画像検査プログラムであって、コンピュータに、前記基準画像及び検査画像を記憶手段に記憶させる記憶工程と、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行わせる画像処理工程と、画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出させる差分検出工程と、検出された差分に対して部分領域毎に異なるしきい値を用いて相違点表示画像データを生成させて画像検査処理を行わせる画像検査工程とを含む処理を実行させることを特徴とする。
本発明の一実施形態においては、前記差分検出工程では、前記第1及び第2画像データの色調について、CIEXYZ又はRGB画像からL*a*b*値に変換した後、色差ΔE又はCMYK変換して差分を検出させる。
本発明の他の実施形態においては、前記画像検査工程では、前記しきい値は単独のしきい値で評価を行うための単純しきい値と、複数のしきい値の組み合わせ条件での評価を行うための条件しきい値とを含む。
本発明によれば、安全で且つ安価に構成可能で簡便な処理により一度の画像検査で所望の検査結果を得ることができる。
本発明の第1の実施形態に係る画像検査装置の全体構成を示す図である。 同画像検査装置の機能的なブロック図である。 同画像検査装置の構成的なブロック図である。 同画像検査装置における画像検査の概念を説明するための図である。 同画像検査装置に適用可能な2カメラ入力方式を説明するための図である。 同画像検査装置に適用可能な媒体保持板を示す図である。 同画像検査装置における複数のしきい値と差分情報との関係を示す図である。 同画像検査装置におけるしきい値を変化させた場合の相違点の数の変化を示す図である。 同画像検査装置にて生成されるしきい値毎の相違点表示画像データ及び限界しきい値を説明するための図である。 同画像検査装置による具体的な画像検査例を説明するための図である。 本発明の第2の実施形態に係る画像検査装置における画像検査を説明するための図である。 本発明の第3の実施形態に係る画像検査装置の検査作業情報シートの構成内容について説明するための図である。 同検査作業情報シートを用いた検査フロー図である。 同検査作業情報シートの検査結果レポートにおける色評価画面を表す図である。 検査結果レポートの検査評価レポートの裏ページを示す図である。 検査結果レポートの検査評価レポートの表ページを示す図である。 本発明の第4の実施形態に係る画像検査システムを示す図である。 画像検査システムにおける検査する画像データ等の暗号化及び分散保存を表す図である。 画像検査システムにおける暗号化及び分散保存された検査する画像データ等の復元を表す図である。 画像検査システムにおける印刷ワークフロー図である。 画像検査システムにおける検査形態を説明するための図である。
以下、添付の図面を参照して、この発明の実施形態に係る画像検査装置及び画像検査プログラムを詳細に説明する。なお、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像検査装置の全体構成を示す図である。また、図2は、画像検査装置の機能的なブロック図である。更に、図3は、画像検査装置の構成的なブロック図である。
図1に示すように、第1の実施形態に係る画像検査装置10は、パーソナルコンピュータ本体(以下、「PC」と呼ぶ。)11と、このPC11に接続された液晶(LCD)やTFT、有機ELなどからなるディスプレイ12とを備えている。また、画像検査装置10は、マウス13、キーボード14、ポインティングデバイス15などからなる操作入力デバイスを備えている。
更に、画像検査装置10は、撮像手段としてのカメラ16や走査手段としてのスキャナ17からなる画像入力デバイスと、任意の構成である画像出力デバイスとしてのプリンタ19と、照明光源16a下でのカメラ16により撮像される各種の被写体が載置されるワークテーブル18とを備えている。
なお、カメラ16やスキャナ17は、PC11に複数台が接続されるように構成しても、いずれか一方のみを備えるように構成してもよい。カメラ16は、例えばワークテーブル18や照明光源16aに対して、任意の距離及び角度等で各種の被写体を撮像可能に、設置や移動自在に支持フレーム18aを介して取り付けられている。スキャナ17には、同一位置に読み込むための図示しない媒体読み込みテーブルを取り付け、排紙するためのテーブル或いは機構を取り付けるとよい。
画像検査装置10は、例えば検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、第1画像データと第2画像データとの相違点(ゴミ、汚れ等を含む)を自動的に抽出するものである。第1画像データは、RIP(Raster Image Processor)装置により出力された二値或いは多値の印刷用画像データ(印刷用デジタルデータ)を含む。第1画像データと第2画像データは、刷り出しの色調整中の印刷画像或いは本刷中の印刷画像、また印刷される前のDTPソフトウェアにより作成された画像データ或いは印刷用画像データを含む。
基準画像は、各種媒体のうち、例えば印刷会社と顧客との印刷校正が終了した校了紙としての基準媒体に、プリント(印刷)された画像、或いは印刷用画像データにより構成される画像のことをいう。検査画像は、例えば印刷物等の検査媒体に印刷される前の画像データ或いは印刷用画像データにより構成される画像又は検査媒体に印刷された画像のことをいう。これら基準画像及び検査画像には、文字、数字、図形、記号、紋様、写真、コード等及びIT8の色チャートや色調整用のカラーコントロールストリップ等の視認可能なあらゆる画像が含まれる。但し、不可視の電子透かし等のデータにより構成される画像を含む場合がある。
基準媒体及び検査媒体としては、上記校了紙及び印刷物の他に、例えば各種の素材で形成された平面物又は僅かな凹凸のある紙、ビニール、セロハン、PET、PP(ポリプロピレンフィルム)貼り、布、金属、蒸着紙、樹脂、木材、石材などがある。また、色材、色光、発光体等には、油性インキ・塗料などの顔料、水性インク・染色液などの染料、或いは液晶やEL、レーザ等のカラーディスプレイを含めた発光物体がある。
更に、その他の媒体の形状には、印刷や塗布等の加工可能な各種のビン、缶、PETボトル、壺・皿・家電など、また薬の錠剤や、機器のプレート部品、電子ボードなど直接印字や溶接等取り付け加工されたものがあり、媒体は様々な素材で作られた立体物に描かれた或いは貼られた色帯・文様・イラスト・写真・絵画・文字などの画像を有する製品等の物体であってもよい。以下、一般的な印刷工程での活用事例として示す。
画像検査装置10は、機能的には図2に示すように構成される。すなわち、図2に示すように、画像検査装置10は、記憶部2、画像処理部3、差分検出部4、画像生成部5、画像検査部6及び検査結果処理部7の機能構成となっている。記憶部2は、基準画像及び検査画像を一時的或いは恒久的に記憶する。画像検査装置10の比較検査ソフトウェアの機能は、検査領域設定機能、しきい値設定機能、画像重合機能、検査結果画像保存機能及び検査作業情報シート機能を有する。
画像処理部3は、記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を、第1及び第2画像データとして画素レベルで対応させて重ね合わせる画像重合処理を行う。差分検出部4は、画像重合された第1及び第2画像データを任意のしきい値で比較して、これらの画像データ間での差分を検出する。なお、画像重合とはイメージマッチングと同義語とする。また、しきい値には、単独のしきい値で評価を行う「単純しきい値」と、複数のしきい値の組み合わせ条件(例えば、上限、下限、色毎に異なるしきい値など)での評価を行うための「条件しきい値」とがある。以下、単に「しきい値」と記したときにはこの両方を含むものとする。なお、「単純しきい値」には、一つの「単しきい値」と二つ以上の「多重しきい値」がある。また、「条件しきい値」には、一つの「条件しきい値」と二つ以上の「多重条件しきい値」がある。また、検査をしない領域に対してはしきい値を設定しなかったり、しきい値を0にすることができる。
画像処理部3では、カメラ16から取得された画像データの場合で、例えば、印刷用デジタルデータとの比較検査を行う際に、レンズの収差等で入力画像の歪みが生じて、基準画像と検査画像の画像重合において左右上下部分等で画像の位置がズレて合わない場合がある。また、スキャナ17から取得された画像データも同様にレンズの収差等やスキャニングのムラにより基準画像と検査画像を画像重合させても画像の位置がズレて合わない場合がある。
この場合、誤差が少なければ入力し比較検査する画像をマトリックス分割して画像重合したり、画像を拡大縮小、或いは回転等させて(複合的に)画像重合したりすることができるが、画像のサイズや画像部分の位置が大きく不規則に異なっていたりする場合は画像重合できないこともある。
そこで、印刷物の、見当調整用の上下左右のトンボや中心点の4〜15箇所程度の箇所を重なるように指示を行うか、四隅の角トンボ(断裁マーク)のL字又は十字部分のクロス部分を選択し、台形などの変形補正による画像調整処理を行うことで容易に画像重合を可能にする。或いは入力画像をマトリックス状に分割し又は自在に画像を分割し、マトリックス状に分割された単位で画像重合をしたり、またそれぞれ画像の特徴点を自動選択し、画像歪曲補正を行う処理をしてもよい。なお、スキャナ画像でも上述と同様に読取速度ムラが起こり易いことから読取画像の補正を行う必要がある。しかし、画像のズレ量が一定以上の場合、画像重合させない仕組みを取り入れてもよい。
画像生成部5は、複数のしきい値(TH1〜THn)で差分を生成した複数の相違点表示画像同士を更に比較するために、しきい値毎の相違点表示画像データを生成する。画像検査部6は、生成されたしきい値毎の相違点表示画像データを用いて画像検査処理を行う。なお、画像処理部3での画像重合処理に伴う画像調整は、例えば線や画像の太らせ細らせ処理や階調補正の各種の画像補正処理や、プロファイルを用いた色変換などの画像色補正処理等も含まれる。
これにより、上記画像補正処理が行われた画像データは、直接画像検査部6において正確な文字や色調等の検査が可能となる。検査結果処理部7は、画像生成部5にて生成された相違点表示画像データの相違点表示画像と、画像検査部6での画像検査処理において選択された最適なしきい値に応じた相違点表示箇所の差分画像表示や差分画像にマーキング枠を加えた検査結果相違点表示画像データに基づく画像や、相違点の箇所数等を一つにまとめた検査結果レポートを生成する。
なお、相違点とは以下のものを指す。すなわち、相違点とは文字・写真・図形などの画像において相違があるもの全てを指し、文字欠け・ゴミ・汚れなどの印刷エラー、重合不良やRIP処理の違いで生じる出力された画像の僅かな線や文字又は画像の形状のズレやノイズの画像エラー、文字や図柄の修正箇所等を含む。これらを以後一括して相違点とする。
画像重合に際しては画素レベルで対応が行われるが、例えば画像におけるドットを画像を構成する最小単位とし、単なる物理的な点情報とする。また、画像における1画素(ピクセル)は一般的には画像を構成する最小単位としてドットと同義語として使用されるが、ここではPC11で画像を取り扱うときの色情報(色調や階調等)を持つ最小単位又は最小要素とする。従って、単色の場合は1ドットが1画素で、カラーの場合はRGBで1画素、CMYKで1画素又はXYZで1画素、L*a*b*で1画素となる。また、画素以下のレベルでも画像重合するので、1画素レベルでは濃淡によるディザリング処理を行うことで、1画素レベル以下の誤差範囲まで正確に位置合わせを行った画像表示を行うことができる。
色情報は、例えばCIELAB(L*a*b*)値や、CIEXYZ値、マンセル表示値、分光反射波形、分光画像、RGB値、CMYK値、フィルタで得られた濃度値、反射透過率、赤外波長、紫外波長又はX線波長等であってもよい。なお、L*a*b*表色系では、L*で明度を表し、色相と彩度をa*b*を使って色調として表したりすることもできる。また、それぞれa*とb*は色の方向を示し、+a*は赤方向、−a*は緑方向、+b*は黄方向、−b*は青方向のそれぞれの色方向を示している。L*a*b*表色系では、これら各パラメータの数値が大きくなるに従って、色が鮮やかになる。
また、基準画像と検査画像との色差は、これら前述の数値を比較することで算出できるが、CIE1976のΔEやCIEDE2000等で表すこともできる。また、印刷機や印刷の画像データとしてCMYK各版の網点%値で表すことで、印刷機への色調整のフィードバック情報として利用したり、デザイン部門やプリプレス部門、印刷工場において製版データの色修正等に利用することが可能である。
検査結果画像は、HDD29に保存される。検査結果画像には、基準画像と検査画像とを重合した後の二つの画像及び複数の異なるしきい値毎に生成された差分画像が、二つの画像のそれぞれのレイヤ構造としてリンクされ、データ保存される。また、或いは基準画像と検査画像とを互いに重合し、一つの画像として合成し、複数の異なるしきい値毎に生成された差分画像が、一つの画像のレイヤ構造としてリンクされ、データ保存されてもよい。また、各しきい値で生成された差分画像に識別色を指定した場合は、識別色の情報が検査結果画像のヘッダに記録される。
検査結果画像は、比較検査ソフトウェアを持たないPCでも、別途開発した簡易表示ビュアソフトウェアをダウンロードして実行することにより、閲覧することが可能である。また、検査結果画像は、上記ビュアソフトウェアによってしきい値による相違点を確認することが可能に構成される。これにより、検査結果画像からでも基準画像と検査画像をあおり表示したり、基準画像と検査画像をオーバーラップ表示したり、両画像が完全に一致する箇所を半調表示させたりすることが可能である。また、複数の差分画像の中から特定のしきい値で生成された差分画像を選択し、相違点を色表示させたり、異なるしきい値で生成された複数の差分画像それぞれに異なる識別色で交互表示したり、識別色を変更したりした後に交互表示したりすることが可能である。更に、マーキング表示のしきい値を設定することができ、更にしきい値を変更することで、しきい値に伴い差分画素の大きさ(画素数)を選択してマーキング表示させることが可能である。
図3に示すように、PC11には、CPU21が内蔵されている。CPU21は、例えばメインメモリ22上に格納されたプログラムを読み込んでPC11に各種の動作を実行させる。メインメモリ22に一時的に格納されたり或いは恒久的に記憶されたりするプログラムには、例えば画像検査のための各種のソフトウェアが含まれている。ソフトウェアは、専用コンピュータシステムの他、ネットワークWeb対応のアプリケーションソフトウェアやDTPソフトウェア、データベースソフトウェア、シーケンスプログラムなどが利用される。
CPU21には、バス20を介して画像制御部23やデータ入力部24、操作入力部25、データ出力部26、及び通信モジュール27等が接続されており、外部周辺機器や遠隔地設置機器等のPC11に対する外部機器との間で各種のデータやプログラムのやりとりが可能に構成されている。
また、CPU21には、画像メモリ28やハードディスクドライブ(HDD)29が接続されている。画像メモリ28は画像データを記憶する他に画像処理全般においてワークメモリとしても使用され、HDD29は画像データ等の各種のデータや前述の種々のプログラムなどを読み出し可能に一時的に格納、記憶するように構成されている。
画像制御部23は、主にディスプレイ12の表示画面の表示制御を行う。データ入力部24は、例えばカメラ16によって撮像された撮像画像の画像データやスキャナ17によって走査された走査画像の画像データ、RIPやその他外部機器等から取得された画像データ等をPC11内に入力して画像メモリ28やHDD29に記憶等させる。なお、データ入力部24は、カメラ16やスキャナ17等の動作制御も行う。
画像制御部23は、カメラ16の光量調整、RGBやCIEXYZ画像入力のホワイトバランス調整、ディスプレイ12の表示画面全体のシェーディング(ムラ)補正、全画像の画素数指定、白と黒のレベル補正(レンジ補正)、スキャナ17のRGBやCIEXYZ色域補正、入力解像度指定、スキャニングスピードの管理、プロファイルによる色変換、画像階調補正などを行う。
また、画像制御部23は、外部機器等から取得された画像データの入力に関しては、解像度の変換や、またPDFデータはTIFF−CMYK画像又はTIFF−RGB画像に変換することを行い、様々な画像データを同じデータ形式に変換することで、画像検査装置10が比較検査を行えるようにする。
操作入力部25は、マウス13、キーボード14、ポインティングデバイス15等からの入力信号をCPU21に伝達し、画像検査装置10に対する動作指令を伝達・制御・記録(一時記憶)する役割を担っている。データ出力部26は、CPU21によって作成された各種の画像データや検査結果に関するデータ、検査作業情報シートに関するデータ、その他のデータ等をプリンタ19や外部機器に出力する。なお、データ出力部26は、プリンタ19等の動作制御も行う。
通信モジュール27は、上述した各種の画像データや検査結果に関するデータ等と併せて、PC11で取り扱い可能な各種のデータをネットワーク回線を通じて有線/無線で送受信可能に構成されている。なお、カメラ16には、一般的なCCDカメラ、CMOSカメラの他に、CCDや密着センサなどの各種ラインセンサ、及び赤外線、紫外線用の特殊イメージセンサなどがあり、更にアナログカメラからの画像をデジタル変換可能な入力装置等も採用することができる。
なお、校了紙や印刷物で、オフセットなどの印刷機や他の出力機でインキ等が未乾燥のものがある。印刷直後のウェット状態とインキが乾燥した後のドライ状態とでは、例えば印刷媒体に付着する油性インキの表面をミクロ的に見た場合の形状が異なることから光の反射等によりインキの色が異なって見える場合がある。カメラ16には、このような影響を抑制するためにPL(偏光)フィルタを装着するようにしてもよい。PLフィルタを装着しない場合には、PLフィルタと同様の効果を有する画像処理やウェット状態とドライ状態(乾燥済状態)の色変換テーブルを用意して対応するようにしてもよい。スキャナ17での印刷直後のインキがウェット状態での検査については後述する。
また、カメラ16を、例えばRGB、CIEXYZ、CIEXYZ等価、分光などのフィルタを用いた画像取得手段として利用してもよい。例えばカラーフィルタを用いた場合、CIELABやマンセルなどの表色系で画像の色を表すことができる。その他、カメラ16を、赤外線・紫外線カメラやレーザ画像、磁気画像、超音波画像をデジタル変換可能な入力装置等を用いた画像取得手段として利用してもよい。
なお、CIEXYZ等価フィルタは、CIEXYZ分光特性を満足する各分光特性(s1,s2,s3)が負の値をもたない、単独ピークをもつ山形であり、それぞれの分光曲線のピーク値が等しく、かつ分光曲線のピーク値が等しく分光曲線のすその部分での重なりはできるだけ少なくするという条件を満たしたフィルタである。
上述した機能的な構成の記憶部2は、例えばメインメモリ22、画像メモリ28及びHDD29によって構成され、画像処理部3は、例えばCPU21及び画像制御部23によって構成される。また、差分検出部4、画像生成部5、画像検査部6及び検査結果処理部7は、例えばCPU21、画像制御部23、メインメモリ22及び画像メモリ28によって構成される。
なお、このように構成された画像検査装置10においては、画像検査のための基準画像及び検査画像については検査する全体画像又は部分(領域)画像のいずれでもよく、PC11内で処理可能な画像データを想定している。すなわち、以降における画像データ(印刷用基画像データを含む)とは、DTPでのポストスクリプトデータはRIP等からの画像データ、また、CPUと各種のアプリケーションソフトウェアで作成された画像データ、カメラやスキャナにより入力された画像、更にはネットワーク回線を通じて受信された画像データ等をいう。画像データ形式は、PDF,TIFF,Bitmap,JPEG,PICT等にファイル変換されたものや、CIP3/PPFやCIP4/PPFファイル等のPPFデータの画像データを含む。
また、画像データとは、デジタルカメラやスキャナを始め、DXFファイルなどCAD装置等から画像データとして変換したもの、その他の画像入力装置、例えば医療用画像入力装置により入力されたDICOM(Digital Imaging and Communication in Medicine)フォーマットなどがある。更には入力後に変換されたりCPUによって補正されたりした二次元、三次元の画像のファイルも含む。
次に、第1の実施形態に係る画像検査装置10を用いた画像検査の内容について、図1〜図10を用いて説明する。ここで、図4は、画像検査装置における画像検査の概念を説明するための図である。また、図5は、画像検査装置に適用可能な2カメラ入力方式を説明するための図である。
また、図6は、画像検査装置に適用可能な媒体保持板を示す図である。図7は、画像検査装置における複数のしきい値と差分情報との関係を示す図である。図8は、画像検査装置におけるしきい値を変化させた場合の相違点の数の変化を示す図である。図9は、画像検査装置にて生成されるしきい値毎の相違点表示画像データ及び限界しきい値を説明するための図である。更に、図10は、画像検査装置による具体的な画像検査例を説明するための図である。
まず、図1及び図4に示すように、第1の実施形態に係る画像検査装置10では、検査基準となる基準画像が印刷された校了紙や印刷物等の基準媒体30Aをワークテーブル18上の所定の位置に載置する。そして、カメラ16と照明光源16aによって基準画像を撮像し、この撮像画像から得られる基準画像(第1画像データ31)を画像メモリ28に記憶する。
次に、ワークテーブル18上から基準媒体30Aを取り外して、検査対象となる検査画像が印刷された校了紙や印刷物等の検査媒体30Bをワークテーブル18上の所定の位置に基準媒体30Aのときと同様に載置し、カメラ16と照明光源16aによって検査画像を撮像して、この撮像画像から得られる検査画像(第2画像データ32)を画像メモリ28に記憶する。
ここで、図4に示す単純しきい値での検査例では、第1画像データ31の画像に比べて、第2画像データ32の画像には上述したようないくつかの相違点(エラー)Eが含まれている。なお、1カメラ入力方式で第1及び第2画像データ31,32を取得し、これら二つの画像データ31,32を一つのペアファイルとして検査ジョブのジョブコードと関連付けてHDD29等のホットフォルダに保存するようにしてもよい。同様にすれば、保存した一つのペアファイルを用いて単純しきい値や条件しきい値での連続自動検査を行うことが可能となる。
上記のように、画像読取手段或いは画像取得手段として機能するPC11と一つのカメラ16とを用いることによって、最初に基準画像及び検査画像を取得して第1画像データ31と第2画像データ32とを生成して記憶する。このような一つのカメラ16を用いて別々に撮像画像を得る方式を1カメラ入力方式と呼び、撮像時には基準画像と検査画像とを、ほぼ同一のサイズ及び解像度で読み取るようにすると更によい。
なお、これら第1及び第2画像データ31,32については、図5に示すように、画像検査装置10に二つのカメラ16とワークテーブル18とを装備して、同一条件の照明光源16a(図示せず)の下、基準媒体30Aの基準画像を一方のカメラ16で撮像し、検査媒体30Bの検査画像を他方のカメラ16で同時に撮像して、PC11により二つの撮像画像を得て重ね合わせて表示する2カメラ入力方式により生成するようにしてもよい。この2カメラ入力方式では、ディスプレイ12の表示画面(モニタ画面)上に表示する入力画像の濃度や色は加色混合となるので、減色混合に変換する装置を含む。
二つのカメラ16で撮像される画像は、画像サイズの縮尺を同一に調整することが望ましい。すなわち、例えば一方のカメラ16で基準画像を撮像し、他方のカメラ16で同様に基準画像を撮像して、これらの撮像画像を比較して画像の拡大縮小比率を得てから同一サイズに調整して、一方のカメラ16のレンズにズームレンズを採用し、サイズを変更したり、レンズと撮影面までの距離を変更したりして調整し、またXY方向に移動させる距離をカメラ個別に調整する移動機構を取り付けたりしてもよい。
また、この2カメラ方式においては、ワークテーブル18上に載置される基準媒体30A及び検査媒体30Bのサイズ違い入力や位置ズレが起こっても、入力画像の重合処理の際に両者の基準画像及び検査画像を画素レベルで位置補正とサイズ調整することで、画像重合し、画像同士を検査することができる。
なお、2カメラ入力方式では、一度の撮像で基準画像及び検査画像を取得することができるので、これらを一つのペアファイルとして検査ジョブのジョブコードと関連付けてHDD29等に保存するようにしてもよい。このようにすれば、保存した一つのペアファイルを用いて、1カメラ入力方式と同様に連続自動検査を行うことが可能となる。
また、基準画像と検査画像を一つのスキャナ17を用いて連続して入力し、又は別々に入力して、二つの走査画像を得る1スキャナ入力方式、或いは一つのカメラ16と一つのスキャナ17とを用いて連続して入力し、又は別々に入力し、二つの撮像画像と走査画像を得る1カメラ1スキャナ入力方式で画像を得ると共に、データ入力部24に入力されたPS(ポストスクリプト)データからRIP処理をして得られた印刷用デジタル(画像)データや、PDFデータ等の画像を得て、比較する異機種や画像データから入力画像によるハイブリッド方式で検査するために、第1及び第2画像データ31,32を生成するようにしてもよい。なお、これらの方式においても、縦・横それぞれ同一サイズに調整して、又は二つの入力画像の角度補正をして、個別に検査或いは連続自動検査を行うことができる。
基準画像と検査画像のいずれか一方が面付け状態で他方が単ページの場合は、面付けページを単ページに分割するか、単ページ画像と対応する画像を面付けページの中から画像検索して抽出し、各単ページを面付けし、面付けページとして重合してもよい。
また、スキャナ入力やカメラ入力を行う際の入力媒体において、例えば8ページ面付けを構成する個別のページ画像が正確な位置に正しい角度で目で見られずに手でバラバラの位置に貼られている場合がある。更に貼り合わせた各ページのプリントサイズの誤差がある場合もある。この場合の画像重合や差分検査をする場合は、貼り合わせた画像を各ページ毎に画像領域を分割して、各ページ単位としてページ毎に画像重合し、差分検査を行う。
印刷物の画像入力において、薄紙に両面印刷された場合について述べる。この場合はいわゆる裏面透かし写り現象が印刷検査画像面に出て、検査に影響が出る。その検査のための裏面透かし写り除去のための画像補正として、裏面透かし写りのミラー画像から媒体の透過分を減じて差し引き、検査用画像とする。このとき表面画像に裏面の透かし写り画像が重なっている部分は表面の画像も裏面の画像の影響を受けるので、裏面の画像をミラー画像として取り込み、更に表面の画像の全量から媒体の透過分を減じて差し引き、検査画像面が白地の部分画像マスクを加えて検査する。
また、両面印刷物において、カメラ入力やスキャナ入力の場合は裏面透かし写りを減じるために基準媒体と検査媒体を画像入力する場合に、媒体の裏面に黒や濃灰色の紙を置いて画像入力を行うと裏面透かし写りが減じる効果をもたらす。またスキャナ入力の場合で、検査媒体が搬送ローラを通過した後、スキャナのCCDやCMOSや密着画像センサの受光部の部分(スリッド面或いは面)を通過する構造のとき、スキャナ受光部面を印刷媒体を通過させるため、印刷媒体を挟んだスキャナ受光部面の反対側に、印刷媒体送り機能を備えた印刷媒体押さえローラ或いは押さえ板がある。この印刷媒体押さえローラ或いは押さえ板の色を黒或いは濃灰色とすることで、前記裏面に黒や濃灰色の紙の代用となり、裏写りを軽減して媒体の画像を入力することができる。
以下その他の活用例として、基準画像と検査画像の第1及び第2画像データ31,32については、予めPC11の画像メモリ28やHDD29に基準画像及び検査画像を保存しておき、CPU21及び画像制御部23によって画像メモリ28やHDD29、或いはネットワーク回線を通じて、基準画像や検査画像若しくは両方の画像を読み込んだり呼び出したりして取得し生成したり、外部機器により生成された第1及び第2画像データ31,32そのものを読み込んだり呼び出したりして取得することもできる。
更に、例えば画像検査する二つの画像(基準画像、検査画像)をカメラ16から取り込み、メインメモリ22に一時的に格納された比較検査ソフトウェアを用いて濃度(明度)、色調(彩度、色相)、或いはコントラスト、或いはガンマを含めることもできる。そして、位置ずれ等の検査精度値を予め検査設定テーブル画面で設定し、例えば生成された第1及び第2画像データ31,32を多値化又は二値化のデータに変換してこれらを比較するように構成してもよい。
なお、基準画像及び検査画像の入力データの種類が違う場合で、印刷機やレーザプリンタ、インクジェットプリンタ等からの出力物の画像である場合は、出力機器の種類、装置の出力設定や出力精度の他、出力材表面の色や材質、反射率と検査する検査波長領域、画像の種類等の様々な要因のばらつきなどにより、生成された第1及び第2画像データ31,32の画像や線分の太さや鮮鋭度が異なってしまうという事態が発生する場合がある。
このような、比較する第1及び第2画像データ31,32の画質や線分の太さが異なる場合には、例えば第1画像データ31と第2画像データ32の二つの画像を(別画像レイヤ又は別レイヤで)画像重合(イメージマッチング)し、ディスプレイ12の表示画面上に表示させ、表示された画像の全体或いは1箇所又は複数の特定部分をポインティングデバイス15等で指示することにより、画像の調整、すなわち濃度(明度)、色調(彩度、色相)、或いはコントラスト、ガンマ等の画質調整、及び画像や線分のそれぞれを太らせたり、画像角度の回転処理で画像を太らせ調整したり、或いは線状画像の中心部だけの骨文字等にしたライン処理化をしたりするといった細らせ調整、画像の歪み調整を行う。また、所定のフィルタリング処理や画像調整処理を行い、更には色調調整のためのカラーマネジメント処理等の各種の画像補正処理や画像調整処理等を含む所定の画像処理を行うようにしてもよい。
すなわち、英文小文字のaとeや、数字の6と8など、文字部分を撮像した機器のレンズなどの画像の鮮鋭度が悪い場合に、比較検査の精度が劣る現実がある。二つの検査する画像において、例えば文字などの太さが違っている場合は、文字の線画像部分の中心線を取り出す画像処理をして、いわゆる骨文字にしてテキストの比較検査を行う。
また、検査する二つの画像の文字の画像領域において、検査者が画像重合して二つの画像のあおり(交互)表示を見ながら、太さが違っても同じ文字群か目視確認して同じ文字群と認められる画像領域をポインティングデバイスで枠囲みして限定し、PC及び比較検査ソフトウェアに同一の大きさのドット画像として認識させる。そして、線分の太さを基準画像或いは検査画像に合わせる画像補正処理を行うことで二つの画像に対し同一評価ができる画像処理を行う。
異なるRIPによる二つの画像の文字領域部分の線の太さや、画像解像度の異なる画像同士、又は印刷用画像データとカメラ入力(撮影)による画像など、異なるシャープネスの画像同士を比較する場合、僅かな画像の輪郭の違いにより検査画像エラーとなる相違点の表示が出てしまう。
そこで、こうした画像の輪郭で発生する微細な違いを検知し過ぎないよう曖昧処理を加えることで、ある一定画素が連結した例えば数十画素以上画素が長く連結した線画の輪郭のみ検査しきい値を制御する。しかし、画素の接続が短かったり、例えば濃度が50%以下の画素の連続で形成されているものが一方の画像に単独で検知された場合は、ゴミなどの可能性として検知し、曖昧処理が掛からないように検査ステップをプログラムすることで、線画とゴミなどの印刷エラー(検査不純物)との分離が可能である。また、文字と色の曖昧処理の値は個別に設定する。
このような所定の画像処理は、例えば事前にPC11を利用することで、第1及び第2画像データ31,32を太さ差分の中間値で調整したり、いずれか一方の画像データにいずれか他方の画像データを合わせたり、例えばトーンカーブ補正又はカラーテーブル(プロファイル)や色変換エンジンを用いて、少なくともいずれか一方の画像データに合わせるようにする画像補正機能で画像を調整したりする方法も採用できる。プロファイルは、例えば入力機器別ICCカラープロファイルやJAPANCOLOR等の共通プロファイルを用いることができる。このようにすれば、色調差による相違点(エラー)Eの数を少なくしてより精度の高い画像検査を行うことができる。
また、印刷の網点を表す1ビットデータを基準画像又は検査画像として利用する場合は、例えば画像データが例えば2400dpiと非常に高解像且つデータ容量が大きく、解像度変換の際にモアレである紋様発生現象を起こし易い網点情報を持っている場合がある。この場合、データ容量が大きいので画像重合を行う前に、8ビットの階調を持つ画像に変換すると共にモアレ防止のために例えば網点を一旦暈かす処理と同時に画像の再鮮鋭処理を行い、又解像度変換を行うことにより網点画像によるモアレ発生を解消する。
更に画像重合処理を行う前に正確な撮像時の入力画像の角度補正のための回転処理を行い、且つ二つの画像を同サイズにするためのリサイジング処理をして、CMYK4色コンポジットカラー画像にする。これらを印刷用の最終出力画像として、校了紙や印刷の基データ(PDF又はTIFF−CMYK画像)と比較するための検査画像に利用する。勿論、印刷の基画像としての基準画像として利用することで、例えば印刷中の刷り出し印刷物の抜き取り検査のために利用してもよい。
画像入力装置の白レベルと黒レベルの変化や色再現に変化が起こった場合は、同じ検査しきい値で検査を行っても同じ結果にならない。こうした原因は、主に画像入力装置であるカメラやスキャナの変動による場合が多く、専用のチャートを用い入力装置の調整やキャリブレーション等を行うことで、一定な画像再現が行えるようにする必要がある。
専用のチャートは、例えばどこの場所で検査を行っても同じ検査結果を得るため、限界しきい値が一定の値になるようにするための検査基準となる検査画像調整チャートである。チャートの内容は、文字を検査するため、文字の太さや形状(書体)や文字サイズ(ポイント数)の異なるものを段階的に並べたものの中に文字の違いや僅かなズレ又は太さの違いを含ませておき、その部分領域がどの文字サイズで発見されるかを自動的に検出し、文字サイズを予め指定しておくことで検査しきい値を自動的に検出するものである。
検査機器で検査者が求める精度での検査品質の確認をするために、検査における適正なしきい値設定を簡便にするための検査画像調整チャートを作成する。この画像検査調整チャートとは、例えば第1の画像と第2の画像の比較検査を行うために求める検査精度において、最適なしきい値を簡便に得る効果をもたらす。
また、この検査画像調整チャートは、基準チャートと検査チャートの比較する二種のチャートで構成する。更に、このチャートは検査する同一の媒体で印刷或いは出力する。また、この検査画像調整チャートには、文字の検査サイズと色の差分と、印刷欠陥である印刷物の汚れや文字の欠け、画像のピンホール、また検査時におけるゴミなどの要素を入れたものにする。
また、この検査画像調整チャートは、一枚が基準となる画像データ或いはそのデータから出力された基準チャートで、文字列は例えば4ポイントから20ポイント程度の文字サイズを変えた日本語と英語などの外国語の白バックと黒バックの文字及び句読点・疑問符・括弧・アクセント等の約物、また表などの罫線が入ったものと、IT8などのカラーチャートや平網やグラデーションを配置し、更に写真やイラストレーションなどの画像、例えば人の顔や風景や花、白黒の陶磁器、キャラクターデザインやロゴマークサンプルなどが配置される。
更に、検査画像調整チャートの基準チャートに対し、検査チャートは文字や画像の書体や大きさや色が異なる箇所、文字が差し替わっている箇所、一字或いは数文字を削除又は挿入した箇所、文字や画像が差し替わっている箇所、文字や画像の位置や向きが異なる箇所、イエローベタ濃度や薄色の特色ベタや網点などを白地に、或いは黒地バック上に上乗せ、抜き文字として配置することで、更に色々な検査物に対しての検査精度を設定する場合に役立つものとする。
以上のように基準チャートと検査チャートの差分として検知したい文字サイズや濃度、色相・彩度等を何段階か階調を持つ差異の検査画像調整チャートを作成し、チャートの校正用の文字や画像精度について、検知したい濃度差や色調差が検知できるしきい値レベルを設定する。
そして、基準画像と検査画像としての各検査画像調整チャートとその印刷画像データとを基に、例えば良品と判断したい許容レベルのしきい値で比較検査することにより、検査ができる文字のポイントサイズや色の色調差がΔEやCMYK%で確認できる。また、このしきい値による文字サイズ検査可能しきい値と色調差許容しきい値を、印刷工程で関係する印刷工場やプリプレス部門又は営業部門に伝達を行う。
更に画像入力装置で取り込んだ画像を用いる場合、各部門に個別に設置された入力装置の特性に合わせて個別に画像の大きさや歪みを補正する重合前処理設定を行うことで、また最適な検査しきい値を活用することにより、印刷会社が全社内或いは外注先との間での品質管理基準を統一できる利点がある。また、最適な検査しきい値を活用することにより、営業所等別に設置された画像入力装置で取り込んだ画像を用いることもできる。
また、印刷網点を有する第1又は第2画像データ31,32がスキャナ17の走査画像やカメラ16により得られた撮像画像から生成されたものである場合は、スキャナ17やカメラ16の読み込み解像度によっていわゆるモアレを起こす場合がある。この場合は、印刷網点に対するスキャニング解像度の調整でモアレを起こしにくい解像度で走査するか、入力時或いは入力した画像をモアレ除去ソフトウェアで基準画像及び検査画像のアンシャープ処理による網点暈かしとシャープネス強調を行う。或いはモアレが目立たないFMスクリーン等に印刷網点を変えて印刷するか、或いはまたデジタル化した後で検査用画像を得るようにすればよい。
また、第1画像データ31や第2画像データ32が、印刷機により基準媒体30Aや検査媒体30B上に印刷された基準画像や検査画像をスキャナ17で読み取ることで生成されるものである場合は、上記のように印刷直後でインキが乾いていないウェット状態のときに不具合が生じることがある。
すなわち、基準媒体30Aや検査媒体30B上のウェット状態のインキがスキャナ17の読み込み時にスキャナ17の搬送ローラや画像読取部に接触して、印刷物が汚れた状態で読み取られてしまう場合がある。このような場合には、正確な画像検査を行うことができなくなってしまう。
そこで、図6に示すように、基準媒体30Aや検査媒体30Bをスキャナ17の搬送ローラや画像読取部と非接触で読み取り可能となるように保持できる媒体保持板39を用いる。そして、この媒体保持板39に基準媒体30Aや検査媒体30Bを着脱自在の吸着材や接着剤を塗布したり、再剥離可能な両面テープ等により貼着し、媒体の周辺をマスク枠で囲むようにする。このような媒体保持板39を使うことで、搬送ローラが検査媒体を汚さずに非接触で搬送できるようにする。
これにより、媒体保持板39をスキャナ17の読取部にセットすることでスキャナ17の読取面に合わせて、例えば画像面を下向きにしてもプルーフや印刷物が媒体保持板39のボードから剥がれ落ちずに読み取りを行い、走査画像を得るようにする。
なお、この媒体保持板39全面に微細な孔を開けて、検査媒体を乗せて下面からエアー吸着することで、空気抜けが完全な吸着ボードとなる。併せて媒体保持板39は、吸着機能を持った吸着紙をボードに貼り付けてあるため、高価な吸着機器が不要となり、安価で簡便な媒体保持ボードとなる。また、ボードの下側から強いエアーを吹き付けることで、用紙を上板に押し付けてムラなく密着させる方式でもよい。このため、検査が必要な全ての装置でも活用できる利便がある。
次に、画像メモリ28に記憶された第1及び第2画像データ31,32の少なくとも一部同士、すなわち、基準画像の全体や部分及び検査画像の全体や部分を、前述のように例えば画素レベルで対応させるように画像重合(イメージマッチング)処理を行う。なお、第1の実施形態に係る画像検査装置10では、画像重合された第1及び第2画像データ31,32の画像をディスプレイ12の表示画面上に比較する相違点画像同士を異なる色で画像重合させたり交互に切り替え(あおり)表示させたり、更にマーキング枠を同色や異なる色で表示したり、或いはマーキング枠の有無(ON/OFF)を表示画面上に交互表示したりする。また、更に相違点画像と相違点をマーキング枠で囲った画像とを交互に切り替え(あおり)表示させることもでき、検査者に相違点画像を確認させ易くなる。
画像重合処理は、具体的には第1及び第2画像データ31,32が精密に画像重合するため、画素レベルで画像重合対応するように、画像重合処理においては重合処理の内部処理として連続して2ステップで行う。第1ステップでは重合環境の整備のための前処理を行う。すなわち、上述したような太らせ調整や細らせ調整等の補正及び両画像の共通座標軸上での解像度調整を行い、更に縦と横の相対的画像サイズ差調整や相対的画像歪みの除去、画像位置補正、画像サイズ補正、画像角度補正により行われる。また、第2ステップの画像重合処理は、例えば特徴点重合、1点重合、多点重合、マトリックス分割重合や任意分割重合等の種々の既知の手法を用いて位置合わせの重合を行う。
運用上、前述のように一回の操作で画像の異なる位置調整や回転角度調整、リサイズ調整が大き過ぎて、一回の調整許容範囲から外れて調整できないときは、二回以上に分けて追加調整(追い込み調整)処理としてプログラムされている。また、画像制御部23は基準画像と検査画像の入力画像の向きを合わせたり、モニタ画面に正像の向きで表示させたりするために、90°単位を原則に画像を自由に一定角度回転させる機能で、例えば装置の特性や面付けページを分割した場合や、基準画像と角度を変えて検査画像が多丁付けした場合に、画像の向きを同一に合わせるものである。このように検査の前後に角度設定したり、検査時にその場で角度回転を行ったり、また裏面からしか入力できない印刷物等に対してミラー機能により、基準画像と検査画像の向きや方向を一致させることができる。
なお、詳しくは後述するが、画像メモリ28やHDD29に記憶された基準画像及び検査画像を画像重合処理する前や、画像重合処理した後に、画像を複数の領域画像に分割する画像分割処理を行うようにしてもよい。そして、分割された各領域画像を表す第1及び第2画像部分領域群データを第1及び第2画像データ31,32として以後の各処理の処理単位とし、分割した部分を、一つのしきい値或いは複数のしきい値で検査し、表示し、保存する。
また運用上、基準画像と検査画像の一方或いは両方がそれぞれ手貼りなどで、画像の各部分が対応する画像と、サイズや画像貼り込み角度がそれぞれ異なる場合は、それぞれ対応する部分領域毎に、自動で或いはポインティングデバイスで画像を部分領域に分割して、部分領域毎に画像重合処理を行う。
また、例えば面付けされたA1判の画像をA4判に分割する分割情報と面付けページ情報が入ったテンプレートに基づき、検査する画像双方の部分領域画像にページ番号とその後に基準画像にはAと付けて、また検査画像にはBと付けてホットフォルダに保存すれば、検査の自動連続バッチ処理を可能にすることもできる。また、その逆に分割されたファイルをページ面付情報に従って、単ページ順や見開きページ順或いは印刷ジョブの面付け画像に合わせて画像結合を行い、全面で検査する。
更に、画像メモリ28やHDD29に記憶された基準画像及び検査画像においてテキストや絵柄等画像の同一の部分画像、すなわち同じ位置或いは後述する部分領域のコンテンツ画像に対応する位置にあるテキストや絵柄等を構成する同一のコンテンツ要素を持つ部分の画像を、画像検査用のコマンドや、或いは更に後述する同一部分に対応する画像を、画像検査処理により画像抽出して、基準画像と検査画像を関連付けて、これら関連付けた部分画像を第1及び第2画像データ31,32として画像重合を行うようにしてもよい。
続いて、第1の実施形態に係る画像検査装置10は、例えば比較検査ソフトウェアを用いることによって、画像重合された第1及び第2画像データ31,32を比較して、これら両画像データ31,32間での濃度(明度)と色調(彩度、色相、或いはL*a*b*値、或いはΔE値)、位置ずれ等を抽出し、差分を検出する。
差分は、画像の色データであるRGB値、CMYK値、CIEXYZ値、L*a*b*値、及び濃度値、マンセル表色値、分光値、反射透過率、に基づく色差(ΔE、CIEDE2000等)或いは赤外波長、紫外波長及びX線波長等から得られた画像であってもよい。また、差分は、第1及び第2画像データ31,32の色の濃度と色調とを分離して比較し、それぞれ検出するようにしてもよい。
濃度と色調とを分離する具体例としては、例えば第1及び第2画像データ31,32をL*a*b*データに変換した後、L値とa*b*値に分離或いは明度、彩度、色相で分離することが挙げられる。なお、データ比較は、上述したように例えば多値或いは二値のデータ同士で行うようにしてもよい。
変更前と変更後の画像の色の検査は、入力機器のプロファイルと出力機器のモニタプロファイルを使って、CIEXYZ画像やRGB画像をL*a*b*変換してCMYKの網点%やインキ量を表すデータとして表示してもよい。なお、上記差分検出手段として機能する差分検出部4を構成するCPU21は、第1及び第2画像データ31,32の色調について、CIEXYZ又はRGB画像からL*a*b*値に変換した後に、色差ΔEやCMYK変換して差分を検出するようにしてもよい。
差分は、一例として、図4に示すように、例えば第1及び第2画像データ31,32における線分Sで示す検査画像ライン上に相違点(エラー)Eが存在する場合に検出される。図4に示す画像重合済みの検査結果相違点表示画像データ33による相違点表示画像においては、線分Sの検査画像ライン上に相違点があるので、例えばこの相違点表示箇所(エラー表示箇所)を視認可能に囲むようにマーキング枠34が表示されている。
差分を検出したら、図7に示すように、例えば複数のしきい値(TH1〜THn)で検出した第1の差分画像と第2の差分画像の差分を比較する。なお、これら複数のしきい値は、例えば検査者がマウス13、キーボード14、ポインティングデバイス15等を用いた操作入力により、任意に設定・変更することが可能である。或いは基本設定したしきい値の前後の数段階のしきい値で検査することも可能である。また、前述したように単純しきい値でも条件しきい値でも活用することが可能である。
検査する全体画像の中の一部領域の検査精度を厳しくした検査が必要な場合、例えばルビや二次元バーコードなどの部分領域だけを事前に精密な検査箇所として厳しいしきい値を設定しておくことで、その箇所だけ全体とは異なるしきい値で設定し、複数のしきい値で同時に一括検査を行うものである。また単に検査画像エリアの分割をして、各分割された特に指定した部分に別のしきい値を設定し、その他の未設定部分は標準として登録した同一のしきい値として、複数のしきい値で検査することも可能である。
そして、全体画像を複数のしきい値を設定して得た複数の差分画像同士を比較する場合、しきい値毎に連続して表示していくと相違点表示箇所数が増減変動する様子がわかる。この相違点表示箇所が増減するしきい値毎の第1及び第2画像データ31,32同士に対して相違点を検出することができるので、上述のようにこの相違点を相違点表示箇所としてマーキング枠34等により相違点表示画像に枠囲み表示することが可能となる。なお、図8に示すように、複数のしきい値による差分との比較結果による相違点(エラー)の数は、例えばしきい値の数値が小さめになる(検査精度が厳しくなる)ほど多くなり、しきい値の数値が大きくなる(検査精度が緩くなる)ほど少なくなる。前述のように検査をしない領域は、しきい値を設定しないか、しきい値を0にする。
また、全体画像の部分領域を選択(設定)し、複数のしきい値で同時に一括検査を行い、二つ又は三つ以上のしきい値による検査結果の相違点表示画像をあおり表示を併用して見ると、複数のしきい値の中で部分領域画像として最適なしきい値を容易に選択することができる。また同様に、まず基準となる検査物(メディア)の画像の部分領域毎に最適のしきい値で検査をしたいときは、基準画像と検査画像を同一に分割して、例えば初めに設定した検査しきい値と併せて強弱数段階のしきい値で一括同時に検査し、分割した部分領域の画像毎に、一括で強弱数段階の複数のしきい値で検査された検査結果の相違点表示画像の中からそれぞれ最適な検査結果の相違点表示画像を選択するために、単独で或いは一覧で表示し、選択し保存する。選択された部分領域のしきい値は、次の検査においてデフォルト値として保存・利用されるとよい。
検査する画像の個別の部分領域に対する複数の検査しきい値レベル毎の相違点画像ファイルに、相違点の識別色の表示画像をそれぞれレイヤを付加設定して検査結果の相違点表示画像(以下、「相違点表示画像」と称する。)として保存することができる。また、保存された検査結果の相違点表示画像は、いつでも各検査しきい値の切替表示と色分け表示を容易に行うことができる。
これで個別の検査のための画像入力の場合でも、印刷機に入力装置を取り付ける等の連続入力によるインライン自動検査を行った場合などでも、それぞれの複数のしきい値毎の相違点の個数から最適なしきい値を選択することが容易になる。また併せて前記における検査結果の相違点表示画像を、比較検査ソフトウェアを持たないPCでも、別途開発した簡易(表示)ビュアソフトウェアをダウンロードして、しきい値による違いを確認可能にすることができる。
第1の実施形態に係る画像検査装置10では、このような複数のしきい値を用いることに着目し、しきい値毎の相違点表示画像から相違点表示箇所を視認可能にする相違点表示画像データを生成する。図9に示すように、しきい値毎の相違点表示画像データ41〜45は、例えばしきい値に応じた相違点表示箇所を視認可能にマーキング枠34で相違点表示画像に表示するものである。
従って、図9に示す例では、しきい値毎の相違点表示画像におけるこのマーキング枠34の数や、相違点部分の面積等の表示態様が異なる相違点表示画像データ41〜45が生成される。なお、これら生成されたしきい値毎の相違点表示画像データ41〜45は、例えばレイヤ構造の検査結果相違点表示画像データ33として画像メモリ28やHDD29に保存されてもよい。
検査画像を部分領域に分けて、その部分領域毎のしきい値を付け、濃度差と色差や色調差を、部分領域毎に検査結果の合否表示や○×判定表示する検査結果表示を行う。
検査画像内の必要な部分を分割して、分割部分領域毎に指定したしきい値で検査し、分割した部分画像のしきい値を修正した場合は、その修正したしきい値で保存することができる。以降の検査も変更後のしきい値で検査でき、この分割した部分の位置情報としきい値を保存・登録して、いつでも呼び出して活用できる。
また、画像検査装置10は、上記のような複数のしきい値とマーキング枠の個数による差分画像との比較結果に基づいて、例えばしきい値毎に連続して見ていく場合、相違点箇所数がしきい値を変更する毎に急に増加することがあり、しきい値毎に相違点箇所数が急増する直前のしきい値を演算する所定のアルゴリズムを用いて限界しきい値として決定し、この限界しきい値に基づく相違点表示画像データ44を生成するようにしてもよい。
ここで、限界しきい値とは、相違点が検出できる(最適の)しきい値であり、且つ相違点ではない箇所の微細な相違点を検出しない条件における限界のしきい値のことをいう。また、それぞれ異なるしきい値の相違点表示画像データ同士(例えば相違点表示画像データ41と相違点表示画像データ43)を比較し、この比較結果に基づく相違点表示画像データを生成するようにしてもよい。
更に画像検査装置10は、例えば比較検査ソフトウェアを用いることによって、生成されたしきい値毎の相違点表示画像データ41〜45を用いて、各種の画像検査処理を行う。画像検査処理は、例えば各相違点表示画像データ41〜45の相違点表示画像をディスプレイ12の表示画面上に、相違点表示画像に異なる識別色(赤色、青色、黄色等)を用いて、相違点表示箇所を視認可能に、二つ以上のしきい値毎の相違点表示画像を交互に或いは順次切り替え表示するようにしたり、複数の検査しきい値毎の相違点画像をマーキング表示したり、更に相違点画像のマーキング枠のON/OFF表示をしたり、また同時にあおり表示とマーキング表示を併せて表示したりすることが挙げられる。また更に、識別色で識別された複数の相違点画像を重畳又は一覧表示したり、マーキング枠のON/OFF機能が付加された複数の相違点画像を一覧で表示することにより、相違点画像を識別し易くすると更によい。
このように、しきい値を変えて不要な相違点の検出を極限まで少なくし、必要な文字欠けやゴミ・傷が発見できる最適なしきい値を見出すため、しきい値を上げたり下げたりするが、その結果どう変わったかを容易に確認するためには、初めの検査しきい値の相違点表示箇所のマーキングの状態と、別のしきい値のマーキングの状態を自動で交互に画面を切り替えて表示したり、或いはポインティングデバイスでワンタッチで交互に画面を切り替えて表示させたりする必要がある。
また、しきい値毎の相違点表示画像データ41〜45を用いることで、画像検査装置10では複数のしきい値で同時に一括して画像検査を行い、適正な検査結果を得ることが可能となる。これにより、検査者は、例えば図4に示すディスプレイ12の表示画面上に表示された検査結果相違点表示画像データ33の相違点表示画像を見ることによって、容易に基準画像及び検査画像間(第1及び第2画像データ31,32間)の相違点を検出することができるようになる。従って、誰にでも一回の画像検査で一定レベルの画像検査をミスなく容易に行わせることが可能となる。
これまで述べてきたのは、基準画像と検査画像の文字や色調等を比較し、その対応する部分の画像の差分を一つのしきい値により表示する相違点画像と、それをマーキング枠で囲うように表示するものである。しかし、例えば検査する用紙の薄い汚れや、ビニールなどの気泡など検査媒体として不適切なものが生じることがある。この場合は、印刷された部分を検査する第1及び第2のしきい値と、用紙などの媒体素材の部分を検査する第3のしきい値とが必要になる。更に、例えば色などの検査では赤や青、黄色などの色毎に汚れや色の変化を検査確認する必要が生じて、第nのしきい値が必要となる場合がある。
また、一方、若干違っているにもかかわらず、相違点表示をさせないためのシミュレーション検査を可能にするためにも複数のしきい値を活用する。例えば、マーキング枠表示の数を制限させるためにしきい値を設ける。これは、例えば太さの異なる文字(ゴシックと明朝体等)や、同じ文字でもデジタル画像とカメラなどから入力した画像との文字の濃度差がある。これを相違点画像として認識させないように、同一の画像としてシミュレーション検査を行うため、例えば濃い濃度の文字に対して高いしきい値を設定すると共に高い濃度をカットオフして一定以上の濃度の評価をしないことなどして文字の違いによる濃度差を評価しない検査を可能にすることで対応する。
その上で、低い濃度レンジとなったカットインされた評価領域の画像のコントラストを元に戻す場合、直線的にコントラストを高めてもよいが、中間の階調があまり変化しないようにLog変換又は二乗変換(y=x)等で濃度を変換し、ノイズレベルと検査画像の濃度差を広げる。これにより、低い方のしきい値を更に高めてノイズを多めに削除しても相違点画像の検出に影響を与えない検査が可能となる。
このように、基準画像と検査画像の文字と色調の差分から生成された相違点画像を枠で囲うようにマーキング表示するが、このマーキング表示を制限させる別のしきい値を設けることで、例えば相違点としてカウントする必要のない相違点画像に対してマーキング枠が表示されないようにすることができる。また、相違点画像を生成するための検査しきい値とは別の評価を行うためのしきい値を設定することで、例えば相違点画像の表示がなくともゴミや汚れを発見し、マーカー表示させたりすることもできる。
なお、例えば相違点表示画像において相違点が存在する相違点表示箇所にマーキング枠34が表示されていない場合や、所望としない相違点や必要としない相違点を示す相違点表示箇所にマーキング枠34が表示されているような場合には、例えばポインティングデバイス15等を操作することによって、ディスプレイ12の表示画面上に表示された検査結果相違点表示画像データ33の相違点表示画像に相違点表示箇所を示すマーキング枠34を追加したり、削除したりすることも可能である。
そして、マーキング枠34を追加する場合には、相違点の表示が必要な部分の画像検査範囲を指定し、マーキング枠34を追加することにより、そのマーキング枠34に対応する相違点表示箇所の領域の相違点を検出できるしきい値が自動で得られるよう、画像全体の中から必要な画像部分領域の差分を自動的にしきい値を補正し抽出・生成することもできる。また、反対に、マーキング枠34を削除した場合には、相違点の表示が不要な部分の画像検査領域を指定し、マーキング枠34を削除することで、削除されたマーキング枠34に対応する相違点表示箇所の領域の相違点を検出しないマーキング結果が得られるよう、自動的にしきい値を補正し画像全体の中から必要な画像部分のマーキング枠34も削除させることもできる。このとき、マーキング枠34の追加や削除の形跡を表示することもできるようにする。
なお、例えば画像検査が文字を表す画像の第1及び第2画像データにおいて行われる場合、例えば文字の直し作業で一文字や数文字分の過不足が発生した場合、その後の文字列が同じであっても、以下全て違っている部分として表示され、実用上、文字検査できない。このため、画像検査装置10は、必要な場合に自動的に文字列領域を抽出し、或いはポインティングデバイスで過不足文字数分の画像を含む検査範囲を第1及び第2画像データとして再生成し、画像検査を再度行うようにしてもよい。
また、画像検査装置10は、特定色を重視した画像検査を行うこともできる。特にY(黄色)系の色や100%のベタ濃度でも目で見ると薄い特色等は、目視でも機器検査でも画像検査が難しいので、このような場合は下記の濃度値、或いはL*a*b*として画像検査を行う。この場合、具体的には、例えばカメラ16などの入力機器により入力された画像については、撮像画像からの第1画像データと第2画像データとを画像重合し、PPFデータやPDF、1ビットtiff印刷データ等から検査範囲(検査部分)の濃度やL*a*b*を検出した上で、前述のPPFデータ等からの濃度データと第2画像データの濃度データとの差分比較をして、画像検査を行うことで確実な検査ができる。
なお、上述した各処理は、例えば画像処理手段、差分検出手段、画像生成手段、画像検査手段としてのPC11と、CPU21、メインメモリ22にインストールや格納された比較検査ソフトウェア等によって実現される。検査結果相違点表示画像データ33や各部分領域毎の相違点表示画像データ41〜45は検査結果に関するデータに含まれ、これら表示画像データ33,41〜45による相違点表示画像は、例えば所定のGUI構成で検査結果を示す文字や数字等を含むデータと共にディスプレイ12の表示画面上に表示することができる。
第1の実施形態に係る画像検査装置10では、上述したように第1及び第2画像データ31,32を画像重合して差分を検出し、検出された差分に対して設定された複数のしきい値毎の相違点表示画像データを生成する。そして、これらの相違点表示画像データを用いて画像検査を行うので、例えば次のような特殊な画像検査を行うこともできる。
図10に示すように、例えばディスプレイ12の表示画面上に表示された検査結果相違点表示画像データ33の相違点表示画像は、複数の検査部分領域1〜8に対応する複数の領域画像に基づく相違点表示画像51〜58に8つのマトリックス画像に画像分割されて表示されたものである。上述したように、これら各領域画像は、それぞれ第1及び第2画像データ31,32として処理単位を構成している。従って、各検査部分領域1〜8には、例えばそれぞれ異なるしきい値の相違点表示画像データによる相違点を表すマーキング枠34(図示せず)等を表示する相違点表示画像51〜58を表示することができる。
すなわち、図示の例では検査部分領域1,6,7にはしきい値Aの相違点表示画像データによる相違点表示画像51,56,57を相違点表示箇所をマーキング枠34により視認可能に表示し、同様に検査部分領域2,4,5にはしきい値Bの相違点表示画像データによる相違点表示画像52,54,55を、検査部分領域3,8にはしきい値Cの相違点表示画像データによる相違点表示画像53,58を表示することができる。
各検査部分領域1〜8における相違点表示画像51〜58のマーキング枠34は、上記のように例えばしきい値A〜C毎にそれぞれ赤色、青色、黄色等の異なる識別色を付与した状態で表示することなどができる。なお、各検査部分領域1〜8の位置や範囲は、例えばマウス13、キーボード14、ポインティングデバイス15等を用いた操作入力により、検査者が任意に設定・変更することもできる。
このように、基準画像及び検査画像の二つの画像データ31,32の検査結果を示すディスプレイ12の表示画面上に表示された検査結果相違点表示画像データ33による相違点表示画像には、検査部分領域1〜8毎に異なるしきい値A〜Cに応じた相違点(画像エラーや印刷エラー、修正箇所等を含む)を示す相違点表示箇所が、例えばマーキング枠34等により表示される。これにより、検査者はディスプレイ12の表示画面を見ることによって、容易に各検査部分領域1〜8における第1及び第2画像データ31,32間での相違点を検出することができる。
また、上述したように複数の部分領域画像を処理単位として相違点表示画像データを生成し画像検査処理を行っているので、検査者が操作入力によって検査部分領域1〜8毎のしきい値を適宜変動させることにより、相違点表示画像51〜58に表示されるマーキング枠34等の表示態様を自在に変更させて表示することも可能である。
例えば、検査部分領域1のしきい値Aの検査精度を弱めに変更すれば相違点表示画像51上のマーキング枠34の表示数や表示面積が減ったり、逆にしきい値Aの検査精度を厳しく強めに変更すれば相違点表示画像51上のマーキング枠34の表示数や表示面積が増えたりする。このような画像検査を各検査部分領域1〜8において自在に行うことができる。
そして、上述したように第1及び第2画像データ31,32の処理単位は分割された部分領域画像とすることができるので、各検査部分領域1〜8内の所望の箇所に更に検査部分領域1a〜1eを自在に或いはマトリックス分割して設定し、各検査部分領域1a〜1eにおいてそれぞれ異なるしきい値の相違点表示画像データを用いた画像検査を行うことも可能である。
図10には、例えば相違点表示画像51が表示されていた検査部分領域1内に、更に検査部分領域1a〜1eが設定されて相違点表示画像61〜65を含む相違点表示画像59が表示された状態が示されている。各検査部分領域1a〜1eにもそれぞれ異なるしきい値の相違点表示画像データによる相違点を表すマーキング枠34等を表示することができる。
図示の例では、検査部分領域1aには色しきい値Bの数値及び濃度しきい値Bの数値の相違点表示画像データによる相違点表示画像61を、相違点表示箇所をマーキング枠34により視認可能に表示し、同様に検査部分領域1bには色しきい値Aの数値及び濃度しきい値Bの数値の相違点表示画像データによる相違点表示画像62を、検査部分領域1cには色しきい値Cの数値及び濃度しきい値Bの数値の相違点表示画像データによる相違点表示画像63を、検査部分領域1dには色しきい値Bの数値及び濃度しきい値Aの数値の相違点表示画像データによる相違点表示画像64を、検査部分領域1eには色しきい値Bの数値及び濃度しきい値Aの数値の相違点表示画像データによる相違点表示画像65を表示することができる。このようにしても、容易に基準画像及び検査画像間の相違点を検出することができるようになる。
なお、画像検査装置10では、基準画像及び検査画像は、上述したように全体や部分を表す画像であっても、部分画像を更に分割した小さな狭い領域画像であっても、対応付けられた部分画像であっても第1及び第2画像データとして取り扱うことが可能である。従って、HDD29内に各種の検査前の基準画像を表す画像データ格納しておき、検査対象としての一つの画像を表す画像データを基に、HDD29内の多くの画像の中から被検査対象となる画像を表す画像データを自動的に検索及び抽出し、第1及び第2画像データとして処理を行うこともできる。
具体的には、例えば検査対象として文字、図形、絵柄等の画像を表す画像データをPC11に入力すると、入力された画像データに基づく画像が第1画像データとして生成される。そして、この入力された画像データに基づく画像と検査対応する同一形状の文字、図形、絵柄等の被検査対象となる画像を表す画像データを自動的に画像検索し、或いは予め対応したジョブ名等で紐付けされた画像データを検索して抽出し、この画像データに基づく画像を第2画像データとして生成した上で、これらの第1及び第2画像データを画像重合処理等して画像検査する。
画像検索については、例えば印刷物を検査する媒体の文字列や図形・画像の部分を選択すると、比較する媒体画像の文字列や写真画像などから類似画像をジョブデータコマンドや、直接画像検索処理技術で自動抽出し、差分を検査し、表示する。画像検索処理は、PCや携帯情報端末機器を介して撮影した画像の固有の情報(画像や映像の色情報、映像内オブジェクトの形状などの映像が持っている固有の特徴)、或いは画像データをハッシュ化したものを検索して抽出してもよい。また類似又は同じオブジェクトを格納している映像や情報を検索する技術を使用する。HP・電子ブック、電子チラシ、電子新聞などの電子化された画像においても同様に検索する。
印刷中でのインライン検査を行う場合は、校了紙や検査済みのOKシート又は印刷物の基画像であるPDFやJPEG、TIFFなどの画像を基準画像とし、それらに対して印刷中の検査画像を連続して入力し、重合して比較できるようにする方式が用いられる。インライン検査の場合は複数のしきい値で多重に設定して、複数の検査結果をリアルタイムでモニタ画面に表示させて、検査設定条件において自動的判断、或いはモニタ画面に異常を表示させて検査者(印刷オペレータ)に判断を仰ぐ表示をしてもよい。
自動連続バッチ処理検査を行う場合は、検査対応する同じジョブ名同士のジョブ番号順などで連続しているジョブ名に、例えば基準画像をA画像としてジョブ名にAを付加し、検査画像をB画像としてジョブ名にBを付加し、一つの画像として或いは各ページ毎の画像として、或いは更に各ページの部分領域毎の画像にそれぞれ複数の検査基準のしきい値設定を行い、自動バッチ処理で連続検査を行う。この場合、例えば複数の検査しきい値を±1等のしきい値で多重に設定してもよい。
その際、バッチの前処理として印刷機でのページ面付けされた入力画像を面付けレイアウト情報に基づき、それぞれ各単ページに分割し1ページ単位の分割画像をスタック状態に分割ページ画像を並べて同じファイルに保存しておき、また基準画像と検査画像を同じフォルダに保存して、1ページ単位で自動連続バッチ処理で比較検査が行えるようにしてもよい。
この場合、基準画像は一つの検査中は同じ画像を使用するが、検査画像は印刷状況の変動により、印刷濃度や汚れ、文字欠けなどが生じた場合に画像が変化することもあるため、基準画像は元画像として保存し、保存した元画像を基準画像として用いて検査画像とリアルタイムで画像重合を行うことで、常に正確な画像の比較検査が行えるようにする。また、しきい値は最適と思われる前後のしきい値のものも同時に取得して、その中から選択するとなおよい。続いて、以下に運用事例を記す。
検査作業の効率を高めるためには、対応するジョブ単位で複数連続して自動で処理する必要がある。しかし、比較する基準画像と検査画像の双方が単ページではなく、他方が(印刷用紙の折りを考慮した)ページ面付けされた状態の画像であったり、もう一方も単ページではなく見開き状態で面付けされていたりする場合がある。
その工程は、(1)面付けページを単ページに分割する工程を含む。分割の際は、(2)ページの周囲の不要な画像(印刷物としては使われない裁ち落としされる部分)を削除するためのトリミング工程も必要である。この工程を自動で行うためには、各ページに断ちトンボの設定があるとなおよい。更に、(3)分割方法の設定を行う。例えば、左右2分割、上下分割、上下2分割と左右4分割、折りが「天(上部)合わせ」なのか「地(下部)合わせ」なのか、そして開始ページの指定や、何折り目なのか等の指示入力が必要である。
更に、(4)自動重合を行う場合、基準画像又は検査画像のどちらかを基準にして、ファイル名又はサムネイル画像から自動検索を行ってペア画像とする。もし、一方がDTPソフトウェアで作成されたデジタル画像で、他方がスキャナやカメラで入力した画像などの場合、両画像の濃度に違いが生じる。濃度に違いがある場合は後述する画像面測色機能で測色して網点面積率(%)に変換し、一方のデータの中間調の濃度を他方と同じになるようにデータの階調補正を行うことで、(5)両方の画像の色調差のために画像の相違が発生しないようにしておく必要がある。
更に、検査する画像を(6)縦横の格子状のマトリックスに分割して画像重合を行う。また、入力機器のレンズやセンサ素子などの原因による細かな文字や線のボケ具合(不鮮明度の具合(level of unsharpness))の違いや線の太さの違いがあると、文字や線の画像部分の検査画像濃度が違って見える。このような場合も、ボケ部分画像の濃度補正処理により画像濃度や文字や線のボケによる太さを合わせることで、文字や線の違いを正確に検査できるようにする。このような工程を経て、画像補正の後で、比較検査を行うことでより正確なオフライン画像検査や連続画像検査を行うことが可能である。
印刷絵柄面(area of printed image)の画像をマトリックス分割して、マトリックス部分(セル)単位での画像面測色(color measurement of image area)により検査する二つの画像の色の階調の違いを検出するための二つの方法がある。第一の方法は、絵柄全体を例えば10mm各のマトリックス状のセルに分割して、周辺に隣接するセルへの色の影響を排除し、正確に測色するために、分割された各セル部分領域の中心を基準に設定した面積率(例えば、60%)で各セル部分領域内を更に細かく分割して測色する。例えば、色として認識可能な1mmから3mm程度(自由に設定可能)の読取アパーチャサイズ単位でセル部分領域内の色差値を算出する。このとき、セル部分領域内のアパーチャ毎に算出したRGB値からL*a*b*値に変換し、全てのマトリックス分割されたセルの領域内のアパーチャサイズ単位のL*a*b*値を加算集計した色差をアパーチャ数で割り平均化し、CMYK%を算出して色評価してもよい。
また、第二の方法は、モニタ画面を見ながら絵柄面の中の任意の特定箇所を例えば1mmから3mm角程度のスポット領域をポインティングデバイスで選択し、測色するものである。例えばこの場合は、モニタ画面を見ながら予め中間調及びベタ(網点100%)部となる絵柄部分をグレー部や肌色、単色(C、M、Y、K)や、二次色(R、G、B)に近い部分の色の平網部やグラデーション部又は絵柄部の各色を測色することで、基準画像と検査画像の差分値が算出され、画像階調全域の違いを自動分析することで、各階調に対する補正値を算出する。
前述の二つの方法のどちらかを用い色調(tonality of the color)を比較分析した結果を用いて、画像全体の階調の違いから階調の補正方法が算出されるため、同じジョブの色再現を自動的に補正することが可能となり、文字検査エラーをなくすことが可能である。もし、画像の中の写真やイラスト、図形などの絵柄領域と、文字領域とで階調再現に大きな違いが生じた場合や、階調補正の濃度や色調の違いの方向が逆の場合は、補正領域を個別に分けて異なる濃度や色調の補正を行ってもよい。一方、色検査を行う場合は、色調差を検出する必要があるため、濃度階調や色調の補正を行う前の画像同士を比較することで、色検査精度を保つことができる。
一片の画像部分(一丁)を基準画像とし、比較する一片の同じ画像が多丁付けにレイアウトされた検査画像とで同じかどうかを判定する自動検査を行う場合、基準画像の一丁画像を一時的にメモリから呼び出して多丁付けにレイアウトされた画像を一丁(single image)ずつ画像重合と比較検査を連続して行う。また、入れ子(食い込み)多丁(step and repeat)付けされた画像からなる場合も同様に、基準画像の一丁画像を食い込みの画像の切り出しにより抽出して、基準画像の一丁画像を一時的にメモリから呼び出して検査画像の多丁付け画像の同位置毎に画像重合と比較検査を連続して行う。
この際、基準画像と検査画像の向きと大きさが異なれば、重合処理の段階で画像回転、リサイズ処理を行い、一丁ずつ順次連続して全ての画像重合を行う。検査画像の向きと拡大率、画像位置の差が明確な場合は、事前に重合する画像の特徴点と移動距離及び画像の向き(回転方向や角度)と拡大縮小率(%)のパラメータ指示を、基準画像或いは検査画像に与えて、多丁付けされた各画像の順番に画像重合と比較検査を行う。明確な画像特徴点が2点以上ある場合は、その箇所を指定して重合させてもよい。勿論、これらの画像重合を自動特徴点抽出を行って、全ての作業を自動で行ってもよい。また、前述の一丁画像(single image)を多丁(step and repeat)画像の配列に合わせて対象画像を貼り付けて、基本画像を多丁画像として、検査画像の多丁画像と画像重合を行い、検査してもよい。
また、ギャンギング(gang job)といわれる、異なる複数の印刷ジョブを一つの印刷版の中に付け合わせを行ったり多丁付けを行って、印刷の刷版に画像をレーザで書き込んで印刷する手法がある。これは、複数の印刷作業を一括して行うと共に無駄な紙の余白を少なくし、時間とコスト削減を図る手法である。
ギャンギング多丁割り付け(以下、単に「ギャンギング」という。)の場合の印刷物検査作業においては、印刷する一つの版を複数の顧客のジョブで構成する場合が多い。そこで、ギャンギングの版単位で検査する画像を入力し、一つのファイルに保存することが望ましい。また、一つの版にはバラバラの単ページの配列の場合もあるため、それぞれの印刷データを個別に画像入力した後、基準画像と検査画像の配置順番を同一に対応させて、自動又はポインティングデバイスで検査する画像を配置移動し、画像重合と比較検査処理を連続で同時に行う。ギャンギング画像検査においては、基準画像もギャンギング配列と同じ配列で一つの検査画像とすることで、例えば印刷中のインライン検査にも適用することができる。
前述したように、ギャンギングによる複数ジョブの多丁付けでは、複数ジョブの基準画像と、更に複数ジョブの各ジョブ毎に一丁付け或いは多丁付けにした検査画像とを検査する必要がある。例えば、カード印刷物の15種類のジョブがそれぞれ15枚の基準画像として、一方、15枚の各ジョブ毎に同一ジョブが多丁付けされ、合計15種の画像が40面にギャンギングされているとする。この場合、複数の基準画像の一つと対応する検査画像が一丁或いは多丁付けされた画像を自動的に検索し、重合して検査を行う。また、連続して次の基準画像の一つと対応する検査画像が一丁或いは多丁付けされた画像を自動的に検索し、重合して検査を行い、以後最後の基準画像と検査画像の検査が行われるまでこれを繰り返す。また、後述する検査作業情報シートで予めジョブコマンドを指示することで、顧客毎の異なるジョブを多丁付けして印刷した場合でも、容易に検査しきい値などの指定を変えることができる。また、顧客毎に個別の検査結果レポートを出力し、適切な担当者に検査結果を伝達することもできる。
また、前述の基準画像を検査画像と同一配列に多丁付けして、画像重合し検査してもよい。更に、前述したギャンギング検査に対応する基準画像と、一丁或いは多丁付けされた検査画像を自動的に検索し画像配列するために、基準画像とする個別のジョブ画像毎に単ページ画像又は多丁に面付けされた画像毎の位置情報を取得することで、検査位置を自動指定して多丁付け画像として、画像重合と検査を行うことができる。
以上のように、第1の実施形態に係る画像検査装置10は、例えば検査人が、外国語の文字や図形であっても、またその内容を理解できなかった場合でも、基準画像と検査画像として比較し差分を検出するために、簡便に正確に検査が行えるという利便性を有する。また、画像からOCR(optical character recognition)などの手段でテキストを抽出して、テキストデータ同士の検査も行うとよい。
[第2の実施形態]
図11は、本発明の第2の実施形態に係る画像検査装置における画像検査を説明するための図である。第2の実施形態に係る画像検査装置は、第1の実施形態に係る画像検査装置10と同様の構成及び機能で実現することができる。この第2の実施形態においては、次のような画像検査を行うことができる。
第2の実施形態は、入力されてモニタ画面上に表示されている第1及び第2画像データの基準画像と検査画像が同じ内容であっても部分領域が異なるレイアウトで構成されている場合に関する。また、ページ面付けされた多ページ画像と対応する個別のページ画像において、或いは前述のギャンギング画像との比較検査においても、同様の技術を用いて検査する。以下、部分領域画像での説明を行う。
異なるレイアウトで構成されているが、基準画像の部分領域画像に対応する検査画像の部分領域画像71〜73を、相互に関連付けて画像重合処理を行う。例えば画像検査用のコマンドCMM1をM1部分領域画像、CMM2をM2部分領域画像、CMMnをMn部分領域画像として紐付けし関連付ける。そして、関連付けた部分領域画像毎に第1及び第2画像データとして画像重合処理し、以降の処理を行う。
前述のように、コンテンツ要素は同じであるが、レイアウトが異なる基準画像及び検査画像の場合の検査において、第1及び第2画像データにおける対応する文字や写真や図などの各種部分領域画像71,72,73のコンテンツ要素同士を比較するときは、画像重合のために例えば基準画像内の対応比較する各部分をポインティングデバイスで領域囲みし、検査画像の対応する領域部分を自動で画像検索したり、基準画像の領域枠囲みの枠を抽出複製して、検査画像の対応する部分領域に枠囲みで指定し、紐付けをする。このとき、ポインティングデバイスでその各種部分領域を枠で囲み、関連付けるためにジョブ名と部分領域の枝番号名で紐付けをして、部分領域レイアウト毎に対応付けて枠で囲まれた画像と検査を行う。また、検査画像と併せて部分領域の位置情報を付加してもよい。検査結果はそれぞれ基準画像及び検査画像のどちらかを自在に画面表示できる。
すなわち、また基準画像の検査箇所をポインティングデバイスで範囲指定するとき、その範囲を表す枠を基準画像で指定した枠をコピーして、検査画像の同じ検査領域にコピーすることで、二つの領域画像を同サイズ枠での部分領域とすることができ、自動重合を行い差分の比較検査を行うことができる。
また、基準画像の検査箇所をポインティングデバイスで範囲指定するとき、検査画像の同じ検査領域の画像サイズや指定領域内の画像位置が異なるときは、サイズや位置を補正して自動的に重合して差分の比較検査を行うことができる。
これで、図11に示すように、基準画像及び検査画像において、例えば画像検査用に付されたコマンドCMM1からCMMnが、レイアウトが異なる同じデザイン要素で構成されている部分領域画像同士を対応付けすることで画像を比較検査することができる。
なお、画像重合後は、各画像検査用のコマンドCMM1〜CMMnと抽出及び関連付けられた各部分領域画像71〜73を構成する全体レイアウト画像に情報を付加して、HDD29内に格納する。このようにすれば、基準媒体30Aや検査媒体30B上の異なるデザインのレイアウト構成における基準画像と検査画像のそれぞれの部分領域画像71〜73を、自動的に抽出して上述したような画像検査を行うことが可能になる。
また、後述する検査作業情報シートで、異なるデザインのレイアウト構成における検査を行う場合、ジョブコマンドでジョブ名の後に例えば#と#の間に、関連付けるためのジョブ名と部分領域の枝番号名を書き込み、紐付けをして関連付けを登録し、検査作業情報シートのコマンドから自動検査を行う。また、ジョブ単位にレイアウトテンプレートとして複数保存して再活用するとよい。
HDD29内には、基準画像及び検査画像を構成する文字や写真など各種の部分領域画像71,72,73が、第1及び第2レイアウトテンプレート36,37のレイアウト枠に対応付けられてそれぞれ格納されている。CPU21は、画像検索イメージをパターンマッチング手法での画像重合処理等により画像の抽出及び関連付けをして、画像重合処理し、以降の処理を行うこともできる。CPU21は、コマンドCMM1に基づいて、レイアウト領域81の部分領域画像71をHDD29から抽出し、この部分領域画像71が表示されている第2レイアウトテンプレート37のレイアウト領域84を抽出して部分領域画像71に関連付ける。そして、関連付けた部分領域画像71同士を第1及び第2画像データとして画像重合し、以降の処理を行う。
同様に、画像検査用のコマンドCMM2についても、レイアウト領域82の部分領域画像72をHDD29から抽出し、この部分領域画像72が表示されている第2レイアウトテンプレート37内のレイアウト領域85を抽出して部分領域画像72に関連付ける。
第1レイアウトテンプレート36のレイアウト領域83の部分領域画像73を抽出して第2レイアウトテンプレート37のレイアウト領域86に関連付ける。なお、画像重合後は、各画像検査用のコマンドCMM1〜CMMnと抽出及び関連付けられた各部分領域画像71〜73とを紐付けて(関連付けて)HDD29内に格納する。
このようにすれば、基準媒体30Aや検査媒体30B上の異なるデザインのレイアウト構成における基準画像と検査画像のそれぞれの部分領域画像71〜73に対して、適正なしきい値を自動的に抽出することができ、以降は同じしきい値で画像検査を行ってもよい。
更に、印刷物と関連して作成するホームページや電子ブック、電子チラシ、電子新聞などの電子化されたコンテンツ画像において、データベース(DB)から元のレイアウトと、変更された異なるレイアウトテンプレートに、テキストや画像を流し込みレイアウトされた組版データにそれぞれ、元のレイアウトと変更されたレイアウト間での、対応する文字や図形・画像を設定コマンドで自動認識し、或いは紐付けて、差分を検査し、表示する。
その一例としては、組版用のテキストや図形・画像等に、TEXT01やPICT01などの検索用タグを付けて保存し、DTPやHTMLやXML、VML等の組版テンプレートから呼び出してレイアウトを行うことが挙げられる。検査用タグはデザインが変更されても有効に移動するので、デザイン修正前後の検査や全く異なるデザイン間での検査が実現できる。
[第3の実施形態]
図12は、本発明の第3の実施形態に係る画像検査装置の検査作業情報シートの構成内容について説明するための図、図13は検査作業情報シートを用いた検査フロー図である。また、図14は、検査作業情報シートの検査結果レポートにおける色評価画面を表す図、図15は検査結果レポートの検査評価レポートの裏ページを示す図、図16は検査結果レポートの検査評価レポートの表ページを示す図である。第3の実施形態に係る画像検査装置は、第1及び第2の実施形態に係る画像検査装置10と同様の構成及び機能で実現することができる。この第3の実施形態においては、画像検査は、図12に示すような検査作業情報シート49に基づき行われる。なお、検査作業情報シートとは、印刷業務の作業をコマンド及びテキスト、画像、映像、音声で、必要工程の作業者や機器に指示を行うための情報電子伝票である。
より速くより正確で便利な印刷ワークフローを構築するためには、ネットワーク回線を活用したデジタルワークフローを活用する。そのために印刷物の制作製造過程における社内及び顧客へのより確実で有効な業務コミュニケーションを実現し、印刷物等の校正から納品時検査までの一貫した品質管理を行うためのデジタルネットワークフローを実現する。このために受注ジョブ毎にデジタルの検査作業情報シートを使う。
検査作業情報シート49は、図12に示すように、(1)ジョブ情報シート、(2)基準画像・検査画像、(3)検査指示書、(4)検査結果レポート、(5)修正指示書、(6)修正終了レポート、(7)検査修正履歴(ログ)、(8)顧客提出用レポート、(9)ジョブ進捗管理レポート、及び(10)音声・映像連絡情報システムで構成されている。また、検査作業情報シート49は、検査ジョブの(A)伝票機能、(B)進捗情報管理機能、(C)検査結果表示機能、(D)修正コマンド機能、及び(E)連絡機能を持つものである。以下、検査作業情報シート49の機能を述べる。
検査作業情報シート49の第1の機能には、画像入力装置で入力した検査用の画像の第1画像データと第2画像データとにジョブ指示コマンドを付けて、同一或いは別々のPCから同一の検査用サーバに送信し、前記基準画像及び検査画像を記憶する記憶手段で記憶する。検査場所では、以下ジョブ指示コマンドにより画像検査装置で記憶された検査用サーバから前記第1画像データと前記第2画像データの少なくとも一部を基準画像及び検査画像として呼び出して、少なくとも対応する画像の一部を画素レベルで対応させて画像重合処理を行う。また、更に前記画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する。その際、前記しきい値と前記差分とを比較して前記しきい値での相違点表示画像データを生成し、生成されたしきい値の相違点表示画像データを用いて画像検査処理を行うことが含まれる。
検査作業情報シート49の第2の機能には、検査指示情報をジョブ指示コマンドとして、前記入力画像の画像重合の前或いは後に基準画像及び検査画像を分割し、基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして複数のしきい値で検査を行うことが含まれる。
検査作業情報シート49の第3の機能には、検査指示情報をジョブ指示コマンドとして発生させ、記憶された基準画像及び検査画像を、ジョブ指示コマンドに基づいて抽出及び関連付けて、これら関連付けた画像を第1及び第2画像データとして画像重合する機能が含まれる。
検査作業情報シート49の第4の機能には、検査作業情報シート49の修正ジョブ指示コマンドに基づいて、指示されたPCの指定とモニタ表示に必要な修正データと修正指示のコマンドとを含めた情報を生成し、或いは作成し、必要なときはサーバ保存し、或いはクライアントPCに送信・表示することが含まれる。
検査作業情報シート49の第5の機能には、画像相違点検査結果の検査評価情報に基づいて、検査済みの画像の修正表示箇所を、ジョブ指示コマンドに基づいて修正(領域)箇所に対応するコンテンツの(領域)箇所を、例えばDTPアプリケーションソフトウェアのプラグインソフトウェア等で修正可能にするための自動制御コマンドや手動修正の連絡コメント情報を付加して、色やテキストや写真・図形等の変更・削除・追加をしたり、位置変更を自動修正或いは手動で修正したりすることが含まれる。
検査作業情報シート49の第6の機能には、修正前の画像と修正された画像を検査作業情報シート49の修正ジョブ指示コマンドに基づいて、修正済み画像が指示コマンド通りに修正されたかの再確認チェックを行い、その結果を表示することが含まれる。
検査作業情報シート49の第7の機能には、検査作業情報シート49のジョブ指示コマンドに基づいて、ジョブ毎及び検査指定領域毎の、検査結果を検査結果証として自動作成することが含まれる。また、検査結果証には、検査内容により例えば「再検査」或いは「検査済み」の印を付ける。
検査作業情報シート49の第8の機能には、ジョブ指示コマンドに基づいて、PCの画像検査処理のジョブ名、検査場所、検査人、検査内容と検査開始日時分と検査終了日時分などのログ情報を発生させて、ジョブ毎の検査進捗情報として検査情報サーバに送信し、各端末装置で表示することが含まれる。
前述したように、ギャンギング画像検査を行う場合は、基準画像としてギャンギングした複数のジョブ画像を用意する。また、複数の検査画像はジョブ毎に、同一ジョブ画像が一丁(単丁)或いは多丁付けされている。このため、検査作業情報シート49で基準画像とする個別のジョブ画像毎に、検査画像としてギャンギングされた単ページ画像又は多丁付け画像毎の位置情報を取得し、これをもとに検査作業情報シート49でコマンドが作成される。或いはこれら全てのジョブの基準画像と検査画像の紐付けを行っておくことで、画像重合と検査を自動で行うことができる。また、或いは全てのジョブの基準画像と検査画像の文字や絵柄や図形などの画像内容の指定と、多丁付けされている検査画像のリピート個数の指示と、自動検索指示を検査作業情報シート49でコマンド指示しておくだけで、自動的に基準画像と検査画像の紐付けが行われ、ギャンギングされた全ての基準画像と検査画像の画像重合と検査を自動的に実行してもよい。また、検査作業情報シート49でのコマンドには検査箇所や検査精度をはじめ検査に必要な全ての内容の指示情報を入力しておくことが可能である。
このように構成された検査作業情報シート49を用いた、図13に示すような基本的な検査と修正作業の一連の流れは、次のようになる。まず、(1)検査作業情報シート49に対するジョブ情報やジョブ指示コマンドの入力が行われる(ステップS100)。入力されるジョブ情報は、専用の印刷業務管理システムやMIS(Management Information System:経営情報管理システム)からのジョブデータと作業指示を行う電子伝票から、検査作業のPCの画面を選択して、検査作業情報シート49に必要な情報を取得する。取得される情報は、例えば営業担当者、顧客情報(会社名、担当者名と部署や役職)、受注ジョブに関する情報(ジョブ名、受注日、納品予定日時、入稿データ、入稿物(色見本など)、仕上り寸法、インキ色数、印刷部数、用紙の種類、ページ数、表面加工、折り方法、綴じ方法)等の情報である。検査作業者は、検査者名、検査ジョブ名を選択する。
次に、検査日時、検査場所、検査作業工程を選択すると共に、(2)基準画像・検査画像を選択し(ステップS102)、(3)検査指示書を選択して(ステップS104)、実際に検査を行う。基準画像・検査画像の選択は、例えばPDF又は印刷物をカメラやスキャナでデジタル入力した画像を選択して検査作業情報シート49の画像ファイルに保存することにより行われる。また、検査指示の中には社内や顧客との校正情報を含む。
検査指示書には、検査物或いは検査用デジタルデータの検査エリアを特定する別レイヤが用意され、検査エリアにはジョブ指示コマンドに基づき検査指示コマンドがリンクされている。また、検査指示書には、前述の検査指示コマンドと共に、検査指示コメントが書き込まれている。検査を行う場合は、比較検査ソフトウェアで、選択された(2)の基準画像と検査画像とを画像重合し、その上で(3)の検査指示書が別レイヤで書き込まれたしきい値で検査精度の強弱を決定する検査指示コマンドに基づき比較検査が行われる。また、ポインティングデバイスを用いて手動で或いは自動で検査内容を指定することができる。
こうして検査が行われたら、(4)検査結果レポートが出力される(ステップS106)。検査結果レポートには、検査画像とは別のレイヤに分けられ、(2)の基準画像と検査画像との差分を表すマーカー枠で検査結果が表示される。その内容には、検査ジョブ情報に加え、検査日時、検査部署、検査者、差分検知箇所と検査エラー箇所を特定する検査場所の番号及び差分検知箇所と検査エラーの内容、検査エリアとしきい値と検査結果などが記載される。
検査結果レポートにおいて、検査がNGとされると、(5)修正指示書が出力される(ステップS108)。修正指示書は、(a)内校直し指示と(b)顧客校正直し・変更指示とが含まれる。もし、検査結果レポートに検査エラー(検査不合格印)が記録されている場合、(3)の検査指示書の検査指示欄に従って検査箇所の文字や色を確認し、不良箇所があれば(4)の検査結果レポートの修正指示欄又は検査画像とは別レイヤに、修正箇所と修正内容(ドットゲイン補正量、絵柄の階調補正方法やCMYK各版の網点%による補正量、L*a*b*の数値差分や色差ΔE等)を、テキスト文や自動補正のための指示コマンドで記載し、前工程のプリプレス部門のCTP出力への指示を自動又は手動で行う。
また、前述の修正指示の内容を連携するDTPアプリケーションソフトウェア及び別に開発したプラグインソフトウェアを立ち上げて、検査作業情報シート49の修正指示コマンドに基づき手動及び自動修正を行う。一方、自動処理ができないような修正に関しては、修正指示テキストの内容に従いポインティングデバイスで手動修正を行う。
そして、検査前の(2)の基準画像と自動・手動修正後の検査画像とを画像検査装置で画像重合・比較検査し、両画像に差分がなくなれば(6)修正終了レポートが出力される(ステップS110)。例えば、一部でも未修正の部分があるときは、ステップS108に戻って修正指示書に自動表記され、修正が行われる。
修正に際しては、(7)検査修正履歴(ログ)が出力される(ステップS112)。検査修正履歴には、検査や修正作業をいつ、どの工程で、誰が、何回行ったか、作業完了なのか或いは校了なのかをジョブ指示コマンドに基づき自動的にログとして検査作業情報シート49のファイルに或いは別の記憶ファイルにリンク付けして書き出す。また、(8)顧客提出用レポートが出力される(ステップS114)。顧客提出用レポートには、最終の(4)の検査結果レポート内の一部の情報が反映されており、顧客に提出される。顧客提出用レポートが責了/NGである場合は、ステップS108の(5)修正指示書に記載され、修正作業が再開される。
最後に、ジョブ指示コマンドに基づき(9)ジョブ進捗管理レポートが出力される(ステップS116)。ジョブ進捗管理レポートにより、検査用画像フォルダの確認から、検査画像に初校から最終校正までの進捗管理表が自動作成される。これらの情報は、進捗管理システム等に伝達されることで、各ジョブが作業工程のどの程度まで処理が完了したかを確認するために用いられる。
また、業務管理システムやMISに伝達されることで、文字修正回数や、画像の色修正回数から、また印刷の色調整回数や、印刷時間や、コスト管理や、電力や、使用インキの種類や、二酸化炭素削減効果などから、デザイン部門、プリプレス部門、印刷工場部門で運用効果改善の視える化を可能にする。また、校了となったら、作業ミスによる画像の相違点と印刷発注者による入稿後の修正変更を種分けし、作業コストの原因がどちらにあるかで、コストを工場になるか営業になるかの振り分けを行いMIS等に伝達する。
次に、検査作業情報シート49に含まれる重要な検査指示方法と検査作業から種々の業務管理レポートを出力する仕組みとその効果について説明を行う。まず、(3)検査指示書について説明する。(3)の検査指示書の検査指示は、顧客が特に重要とする文字や画像など検査確認すべき重要な箇所を記録し、各工程の作業者が仕上りを(自動)検査する際や検査結果を確認する際の重要確認ポイントと検査精度のレベル等のしきい値を指示するものである。具体的には、次のような指示が行われる。
画像検査システムや画像検査装置10で使用するPC11と比較検査ソフトウェアを立ち上げ、第1及び第2画像データ31,32を画像重合し、しきい値などの検査画像とは別レイヤに記録された検査コマンドで比較検査を行う。また、ポインティングデバイスを使って手動でも検査内容の指定が可能である。
検査結果は、図15に示すように、例えば(4)の検査結果レポートの検査評価レポートの裏ページ70に、第1及び第2画像データ31,32を画像重合と差分検査した結果生成された検査結果相違点表示画像データ33の相違点表示画像におけるマーキング枠34によって表示され、色の違いは異なる色の枠71で表示される。なお、検査結果は、検査作業情報シート49の例えば裏ページ又は2ページ目や、検査結果レポートの2ページ目などに表示されてもよい。
また、図16に示すように、例えば検査結果レポートの表ページ72に、各検査領域のしきい値により検査された文字と色の相違点個数と各々の検査しきい値とが記録される。更に、色の相違点は、RGBからプロファイル変換を行ったL*a*b*値から色差(ΔE)又は色調差として別途表示する。なお、色調差とは、ここではL*a*b*値からL*値を除いたΔaとΔb値のことであるが、色差と用語を分ける意味で色調差という表現にした。これらは検査作業情報シート49の例えば表ページ又は1ページ目や、検査結果レポートの1ページ目などに表示されてもよい。
また、検査作業情報シート49は、単ページものは単ページ毎に、面付けしたものは面付けジョブ単位で出力される。但し、面付けジョブを単ページに分割して検査した場合は、単ページ単位或いは面付けページとして検査作業情報シート49を出力(発行)する。
次に、(4)検査結果レポートについて説明する。(4)の検査結果レポートには、図14に示すように、画像検査の後に得られた以下の情報が含まれている。
(検査結果レポートの主な内容)
(a)検査ジョブ表示画像とエラー表示箇所:エラー等の相違点の表示画像を表示、
(b)色品質検査グラフと数値色評価:色品質検査結果を示す、
(c)個別検査結果:個別の相違点表示箇所の画像検査結果を示す、
(d)総合検査結果:総合的な画像検査結果(良否判定や平均色差等)を示す、
(e)メッセージ:検査結果に対する修正内容や修正方法等のコメントを示す、
また、これらの画面表示は、画像検査装置10の操作によって各種の検査画像がエラー表示画面やメッセージエリアの表示に切り替わる。
図14に示すように、検査結果レポート49Aは検査作業情報シート49の一部であり、その内容は図示のようにディスプレイ12の表示画面上に表示することも、図15及び図16に示すように、印刷出力やデータ出力することも可能なものであり、画像検査装置10の画像検査の検査結果における各種の評価を表すレポートと一緒に表示することも可能である。この検査結果レポート49Aは、検査者の事前設定値に基づき自動的に或いは検査者の操作入力によって、例えばHDD29内に格納された検査指示データ又は以前の検査修正履歴データに基づき自動的に作成される。
これに対して、DTP制作中のデータやプルーフは、前回の初校や再校若しくは顧客のカラーカンプ又は顧客から持ち込まれたPDFなどのデータに対して指示通りに修正が行われているかの確認が必要なため、これまで目視で確認していた。これらを機器検査で自動化するためには、個別の基準画像と検査画像を一対にした入力或いはファイル保存、画像重合、検査、レポートを連続処理するためのバッチ処理機能に加え、検査箇所と内容と検査しきい値が記録され検査コマンドとして記録された(3)の検査指示書が必要である。
そこで、例えば基準画像をジョブ名の後ろに奇数番号にしてジョブ名登録し、検査画像を偶数番号になるように入力原稿又はデータのファイル名が付くようにしてジョブ名登録する。更に、自動連続バッチ処理プログラムを事前にセットしておくことで、同じフォルダに入力されたデータをジョブ名とページ番号とファイル番号だけで、自動的にペア画像を作成し、画像重合し、(3)の検査指示書に基づき全ての検査作業を自動で実行する仕組みとする。更に、検査結果は、検査作業情報シート49の一部として、ファイル名(基準画像をA画像、検査画像をB画像などとしたファイル名)と検査順の版に番号が付加され、プリント出力及びデータ保存される。
すなわち、作成された検査作業情報シート49には、検査ジョブに関する情報を示す検査ジョブ単位の内容データ、マーキング枠等で相違点表示箇所を示す相違点表示画像等の画像、色品質検査結果を示す色品質検査グラフ、画像検査結果をL*a*b*値や色差ΔEの数値で示す数値色評価、総合的な画像検査結果を示す総合検査結果、個別の相違点表示箇所の画像検査結果を示す個別検査結果等が表示される。また、検査結果レポート49Aが表示される表示画面上には、同時に各種表示切り替えボタンや画像読み出しボタン、後述する情報処理装置110のサーバや上記(10)の音声・映像連絡情報システム(マルチメディア情報システム)への接続指示ボタン等が表示されてもよい。
例えば、DTP作業工程で、修正箇所が正しく修正されているかどうかは、修正箇所を表す指示レイヤ上の指示マークと検査によるマーキングが重なって表示されるが、修正が実施されていない箇所では、検査によるマーキングがないため、容易に判断され、全ての修正が完了している場合はOK、一つでも修正されていない箇所があればNGと、或いは未修正箇所を表示して検査結果レポート49Aに記録される。
印刷物の文字領域の検査においては、ゴミや汚れ、傷などが検査した画像の相違点表示から相違点を検出する場合、画素が繋がっている大きさを相違点ブロックとして捉え、ブロックのトータルの画素数が大きいものは、文字の違いと判断する。一方、文字の直し修正箇所のマーキングがあれば、修正済みとレポートに記載され、文字の直し修正箇所のマーキングがなければ、エラーとして捉え、NGがレポートに記載される。
相違点の画素数や相違点ブロックが線状になっていて数画素以下のものや目視により印刷物上で十分確認できる最小点のゴミは、200dpiの解像度の画像の場合では5画素のブロック位の大きさであるが、それ以上、例えば20画素のブロック以上の場合でも全体の濃度が薄いものはゴミとしてカウントし、ゴミの数量がレポート記載される。また、ゴミ・傷・かすれ・染み汚れなどの相違点は、異なるマーキング色で指示することで、修正作業を容易にすることができる。
また、検査結果レポート49Aは、文字画像だけではなく、ΔEは数値(例えば、1.3、2.0、3.5、4.0、5.9など)や評価用記号(例えば、AAA、AA、A、B、C、Dなど)を用いて段階的に分けて表示し、一般的に把握し易いと思われる表記方法(例えば、OK/NGや○/×など)を採用するようにしてもよい。また、このレポート結果の一部を、上述したように、顧客向けの提出レポートとして(8)顧客提出用レポートとしてもよい。
最終的には、「MISや印刷作業伝票等に付けられたバーコードからの印刷ジョブの内容」と、「顧客や品質管理者からの印刷指示及び校正による直し修正指示内容」の情報が反映され、更に検査担当者による判定結果が記載される。次の(ア)〜(キ)の情報の全て又は一部が検査作業情報シート49に統合され、その工程における検査結果がOKと入力された場合に、その工程までの作業が終了したことになる。
但し、最終的には、印刷発注担当者又は責任者の了解が得られるまでは、検査結果がOKであっても作業工程の作業は完了とはならないため、検査終了と作業完了とを分けて以下の情報を検査結果レポート49Aに記載するとよい。
(ア)検査者、検査ジョブ、検査回数(1,2,3,…,n回検査)、
(イ)日時、検査場所、検査作業工程、検査回数、検査しきい値、検査印刷面画像、
(ウ)従来の検査時間、今回の検査時間、
(エ)検査範囲枠毎の修正箇所の指示とOK/NGの判定、
(オ)誤字とゴミの検出とゴミの数量検査
(カ)顧客に指定された重要な測色箇所の色評価(色調差ΔEとCMYK%の差分)を数値とプリセットした色差(ΔE等の値)を表す色枠で表示、
(キ)検査結果の状況(OK/NG)。
次に、(5)修正指示書について説明する。図12に示す検査作業情報シート49に含まれる図14に示す検査結果レポート49Aにおける個別検査結果表示欄に(5)の修正指示書を表示させると、その検査で修正漏れとなっている箇所や検査画像のゴミや汚れと言ったエラー(相違点)と検知した箇所が表示される。
修正指示書は、マーキング枠等で示された相違点表示画像における相違点表示箇所について、どのような修正を行えばよいかを指示するもので、検査作業情報シート49に基づき各部門の担当者が容易に修正を行えるようにするものである。なお、修正指示書には、該当する修正指示に応じて実際に画像検査装置10のCPU21に自動的に修正を行わせる修正コマンドが含まれていてもよい。
また、検査結果レポート49Aに設定されたしきい値以上の差分があった箇所を、画像の上にマーキング枠と色で表すと共に、自動的に差分を判断しづらい部分は例えば修正箇所の文字が正しく修正されたかどうかの判断は検査担当者が行い、OKであればその部分のマーキング枠に承認確認要請を行う。この場合の色分けは他の色で行ってもよい。
更に、判断権限者の判断を仰ぐ場合は、直接或いは音声・映像連絡情報システムやEメールなどの通信方法で検査結果レポート49Aを送信し、即座にフィードバックを受けられる仕組みを構築する。色の差を修正する指示を確認した箇所は、測定ポイントと測定番号が画像の上に記され、別の画面にCMYK%表示され、事前に決められた差分よりも大きい場合も差の大きさによりプリセットされた色差を一目で視認し易い表示色で表される。
校正による直し修正箇所の指定は、画像と一緒に或いは画像とは別のレイヤを作成してレイヤ上にマーキングを行うが、修正箇所と修正内容を事前に記した情報を透明なオーバーレイのように表示画像に重ねても指示情報を読み取ることができる。これにより、修正が行われるべき箇所が正しく修正されているかどうかも間違いなく判別できる。文字修正の場合は、最終的に目視で文字を確認するが、直し修正の結果を素早く判断できるようにレイヤ上のマーキング枠を選択してOK又はNGなのかを即座に検査結果レポート49Aに反映することができる。
また、例えばDTP作業工程で、修正箇所に修正が実施されているかどうかは、修正箇所を表す指示レイヤ上の指示マークと検査によるマーキングが重なって表示されるが、修正が実施されていない箇所では、検査によるマーキングがないため容易に判断され得る。更に、文字の修正内容は、マーキングをクリックすることで吹き出し内に表示することもできるため、正しい修正が行われているかどうかの判断が即座に行える。全ての修正が完了している場合はOK、一つでも修正されていない箇所があればNGと検査結果レポート49A及び進捗管理データとして保存され、記録され或いは進捗管理を示す情報としてディスプレイ12の表示画面上に表示される。そして、全ての作業履歴はPCに送られて、進捗管理データとして反映される。
印刷工程では、最終面付けデータ或いは校了紙と、抜き取った印刷物とを比較することで、試し刷り印刷で生じた画像の差異やゴミや汚れなどの相違点個数が検査結果レポート49Aに記録される。また、画像の濃度又は色調で差分を検知した箇所が、図14の左側の印刷物を縮小した画像79上にマーキングされ、検査結果レポート49Aに記録される。これらの修正が必要な箇所のコメントと共に、情報は、修正指示情報コマンドとして変換され、次の修正処理を指示する(5)の修正指示書となり、修正箇所を自動的にモニタ画面上にクローズアップ表示させることも可能となる。
修正指示書は、例えば検査結果レポート49Aとは別レイヤのファイルに、JPEG,TIFF画像等の相違点表示画像をPDF形式に変換して書き込み、校正や修正等の指示の確認/未確認をレ点や○囲み及び担当者名記入等により行えるようにしたものであってもよい。
また、検査作業情報シート49に含まれる各種のデータは、例えば後述する画像検査システムにおける情報処理装置のサーバに保存し、社内LAN、WAN、専用回線網を用いることで、印刷機の操作者の手元で即座に確認して印刷機の色調整に利用したり、直接印刷機とのインタフェースを構築しておけば、印刷機のインキキーを直接制御したりすることが可能となる。
但し、この場合は印刷機にセットされたインキ量がインキキーの開閉量のダイヤル値と印刷物の絵柄面積率との関係を表すインキ特性曲線を事前に作成しておくことで、より正確にインキ補正量を算出することが可能となる。
また、検査をした画像の色修正指示は、DTPアプリケーションソフトウェアを立ち上げて或いはRIPに搭載されている画像補正機能を活用して行う。その場合、顧客のPCモニタや携帯情報端末のモニタに表示された画像を見ながら次のような方法で行う。
・トーンカーブ補正機能でカーブや中間調の修正量を数値(CMYK%)で指定、
・異なる明るさで表示された画像から最適なものを選択、
・スポイト機能など色修正ツールを使って直接修正、
・表示された各種のグレーバランスの画像から最適なものを選択する。
更に、修正作業について述べる。修正する市販のDTPアプリケーションソフトウェアを立ち上げておき、修正作業者は検査作業情報シート49で修正された箇所と番号及びその修正方法がコマンドで記載されているのを確認して、この修正番号をポインティングデバイス等でクリックすると、その内容が表示される。また、修正するアプリケーションソフトウェアのプラグインとして別に開発したソフトウェアを用いて、修正された箇所を指定すると、修正コマンドによりDTPプラグインソフトウェアが自動的に色やテキストの修正作業を行う。修正作業が終了したときは、修正確認のため修正前と修正後の表示データを比較するアプリケーションソフトウェアも用意する。
このとき、修正確認差分表示を視認し易くするために、データ差分だけではなく、交互表示ができると更によい。また、修正結果は、サーバデータにも作業者と作業日時情報と共に自動追記保存される。
次に、(6)修正終了レポートについて説明する。上記の検査結果レポート49Aでエラーが発見されなかった場合や(5)の修正指示書に従って修正された検査画像を(3)の検査指示書の情報を基に検査したときに絵柄に相違点が発見されなかった場合は、或いは検査結果レポート49Aにエラーがない場合は、(6)の修正終了レポートが出力(発行)され、(7)の検査修正履歴にログとして記録される。
そして、検査をパスしたことを証明する検査証明書が顧客用に発行され、顧客との初校検査から再校やn校まで、また顧客の受入検査への品質検査証としても利用される。これにより、顧客は安心して仕上がった納品物を受け取ることができる。もし、更に修正や変更が必要な場合は、責了やNGとして扱われ、(5)の修正指示書に追加修正の指示を行う。
次に、(9)ジョブ進捗管理レポートについて説明する。(9)のジョブ進捗管理レポートは、上記のような検査作業を行う中で得られた情報から、デザイン制作、DTP作業、RIP処理、プルーフ出力、発注者によるプルーフに対する校正作業での校了/責了、刷版(CTPデータ)出力、印刷作業等、どの工程で誰が作業し、どの工程まで作業が完了したかを各工程別又は各ジョブ単位で作業の進行状況を確認する情報として抽出することが可能である。
更に、各工程での作業時間をジョブ進捗管理でレポート可能にするため、作業の進捗管理とコスト管理を別に処理する機能を持たせる。また、DTP作業やRIP処理とCTP出力や印刷の色調整と本刷りなど、例えば各工程の作業前にバーコードリーダで作業指示書を読み取るかMISを用いている場合は、電子作業指示書をJDF/JMF情報を読み込むことで、作業開始時間を記録し、作業終了後にPDFデータを画像検査システムに入力することで、作業終了を自動的に記録することもできる。
更に、プリプレス工程において、プルーフ画像を画像検査システムに検査データとして入力して検査を行ったり、検査結果を基に検査担当者が修正箇所や印刷品質に対するOKを出した時点で、作業の進捗状況が記録される。印刷工程では、印刷機での色調整中に印刷画像の検査を始めると同時に印刷の色調整時間の測定が開始され、数回繰り返される色調整の、最後の刷り出し印刷物の測色までの時間が計測される。
また、最後の測色から本刷りの最後の抜き取り検査が終了するまで、又はジョブ終了を入力するまでを印刷時間として計測する。これら全ての計測時間と印刷機の色調整時に測色を行った回数が色調整回数として計測され、作業の進捗管理とコスト管理を行う装置又は進捗管理のソフトウェア(プログラム)に伝達される。
検査履歴データは、検査ジョブ毎に保存された画像検査の内容を示すデータであり、例えば画像検査装置10における画像検査の担当者名、日時、検査場所、検査において用いられた基準画像及び検査画像等の画像データ、画像検査処理の処理内容のログ等を含んでいる。この検査履歴データは、グラフやテキスト等でディスプレイ12の表示画面上に表示することもできる。
また、これらの情報から、DTP作業を行うデザイン部門、RIP処理やプルーフ出力を行うプリプレス部門、発注者に各受注ジョブ毎の校了のサインや、発注者が印刷会社に修正を委託する責任校了(責了)、刷版(CTPプレート)出力完了、印刷開始や終了など、どの工程で誰が作業し、現在はどの工程まで進んでいるかを各工程の段階で検査を行うことで、各ジョブの作業進行情報を得られるようにリアルタイムで工程管理ソフトウェアに伝達することにより、状況を確認することが可能である。
予め受注したジョブの印刷方法や用紙の種類やサイズ、インキの種類などとそれらのコスト及び検査精度別に標準の作業時間を入力しておき、これら画像検査システムの運用の中で得られた上記の作業進捗情報を基に、コスト削減効果のレポートが作られ、進捗管理システムのディスプレイの表示画面や携帯情報端末のモニタ画面上にレポートを表示する。
更に、各受注ジョブの進捗状況を確認したり、最終的に仕事が完了し納品される時点では、作業見積時間に対する生産効率の良し悪しや見積コストに対するコスト削減効果のある進捗結果であったかどうかと、併せて環境対策への効果を確認することも可能である。このとき、検査作業を行う毎に検査状況の進捗をリアルタイムでモニタ画面に表示するための作業コマンドを自動で或いはマニュアル作業で入力することにより、校正や検査の進捗状況及び製造効率とコスト削減効果を容易に確認するためのデータを得ることができる。また、検査結果レポート49Aもジョブ単位に出力され得る。
検査結果レポート49Aは、各工程での検査により得られた作業の進捗工程と作業時間から、予め登録した標準作業時間との差を分析して、作業時間を算出することで、そのジョブ作業に費やした各工程の作業時間を評価し、作業内容や、直し修正作業や、検査内容や検査精度の難易度のレベルを考慮する。また、ジョブ進行コストに見合った売上利益が得られた受注ジョブであったのか、作業時間と効率的な受注ジョブであったのか、そして材料や電力消費量等のECO効果に貢献できているかどうかを確認するツールとして利用可能なことが本システムで評価される。また、ジョブ効果を以下の方法で実現することができる。
すなわち、検査結果レポート49Aの総合検査結果には、次のようなレポート欄が含まれていてもよい。まず、(A)用紙削減効果レポートとして、(a)用紙代削減表示と、(b)ヤレ紙削減表示とが含まれる。これら(a)及び(b)の表示は、主に削減費用についてのレポートであり、(a)には例えば「菊判→A列本紙にした場合、菊判用紙価格の△7.9%」というような表示が行われ、(b)には例えば「刷り出し1回用紙削減数75枚×用紙種類別1枚単価設定@12/円=△900円(1job削減)」というような表示が行われる。
また、(B)要求品質分類レポートとして、(c)要求品質度(ΔE値別)によるインキ調整目標所要時間表示が含まれる。この(c)には例えば「ΔE1.0=90分、ΔE2.0=45分、ΔE3.0=35分、ΔE4.0=30分、ΔE5.0=25分、ΔE6.0=20分」というような目標所要時間の表示が行われる。
更に、(C)時間削減効果レポートとして、(d)作業時間削減表示と、(e)残業時間削減表示とが含まれる。これら(d)及び(e)の表示は、主に削減時間とコスト換算についてのレポートであり、(d)には例えば「△50円/分」というような表示が行われ、(e)には例えば「△62.5円/分」というような表示が行われる。
その他、(D)電力削減効果レポートとして、(f)電力削減表示が含まれる。この(f)には例えば「{機械等電力W+照明電力W+空調電力W(その場所の配分)}×円/分」というような表示が行われる。また、(E)環境効果レポートとして、(g)CO削減表示と、(h)植物インキ使用率表示とが含まれる。(g)の表示は電力削減に伴うCO削減量についてのレポートであり、(h)には例えば「_%(植物インキ量÷全インキ量×100)使用インキ×印刷数量」というような表示、及び「植物インキ=(1)大豆インキ、(2)…:一般油性インキ=(11)カラー4色セット、(12)特色、(13)…」というような表示が行われる。
最後に、(F)総合評価レポートとして、(i)一日当たりの総合評価表示が含まれる。この(i)の表示は、画像検査の総合評価についてのレポートであり、(i)には例えば前述の「AAA,AA,A,B,C,D,E,F,G,H」等の評価段階表示と、「10,7,4,2,1,−1,−2,−4,−7,−10」等の評価段階に応じた評価ポイント表示が行われる。その他、総合評価レポートには、(j)品質度+印刷数別想定作業時間表示が含まれ、オフセット印刷、グラビア印刷、フレキソ印刷等における刷り出し調整時間の表示や、枚葉印刷、オフ輪印刷、フォーム印刷、ラベル印刷等における印刷想定時間の表示が行われる。
そして、これらの情報を進捗管理情報として検査作業情報シート49に書き込み、PCにより作業の進捗管理や工場の運営の効率化と視える化を実現することができるが、社内の業務管理システムやMISにデータとして伝達することで、容易に集計して経営改善にも利用することが可能となる。
[第4の実施形態]
図17は、本発明の第4の実施形態に係る画像検査システムを示す図、図18は画像検査システムにおける検査する画像データ等の暗号化及び分散保存を表す図、図19は画像検査システムにおける暗号化及び分散保存された検査する画像データ等の復元を表す図、図20は画像検査システムにおける印刷ワークフロー図である。第4の実施形態に係る画像検査システム100は、パーソナルコンピュータやワークステーション等を含む複数の情報処理装置110や、携帯電話、スマートフォン、ノートブック、タブレット等の複数の携帯情報端末120を、ネットワーク101を介して相互に通信可能に接続したものである。なお、情報処理装置110や携帯情報端末120は、音声・映像連絡情報システムとして電話(通話機能)や映像送受信機能を備え、マルチメディア通信システムを構築することができる。
各情報処理装置110は、それぞれ上述した画像検査装置10を備え、例えば少なくとも一つの情報処理装置110はサーバとしての機能を備えると共に、他の情報処理装置110や携帯情報端末120はクライアントとしての機能を備えている。このように構成された画像検査システム100によれば、ネットワーク101を介して、印刷会社本社、印刷工場、営業所或いは顧客など、それぞれ異なるロケーションに設けられた各情報処理装置110や携帯情報端末120において、例えば前述のマルチメディア通信システムを利用して基準画像や検査画像の画像検査結果を確認することができる。
前述したように、より速くより正確で便利な印刷ワークフローを構築するためには、ネットワーク回線を最大活用した安全な情報通信手段で印刷物等の校正から納品時検査までの一貫した品質管理を行うためのデジタルネットワークフローを実現する必要がある。このために受注ジョブ毎にデジタルの検査作業情報シート49を活用する。
検査作業情報シート49の第9の機能には、検査作業情報シート49のジョブ指示コマンドを用いて、ネットワークで安全に検査用の画像データ及び検査作業情報シート49(以下、必要に応じて「検査用画像データ等」と称する。)の送受信を行うことが含まれる。また、送受信するデータは、検査する或いは検査する前のテキストデータ、HTML(Hyper Text Markup Language)データ、XML(eXtensible Markup Language)データなどの記述言語、写真やイラストレーションなどの画像データを含むドキュメントデータ、或いは検査画像データ等とする。
また、安全に検査用画像データ等を送受信するために、図18、図19に示すように、ドキュメントデータ毎に或いは検査用画像データ等を検査する画像毎に、情報復元の安全性が保たれる数に複製して、文字列や写真、図柄等に分割し、暗号化する。更に、検査用画像データ等のデータを細分割するにあたり、一片の細分割データ毎に乱数を使用して細分割データから画像に戻すための復元タグを付与して、細分割データを単独のサーバに保存したり或いは複数のサーバに分散保存したりする。なお、より安全性を高めるため、一つのサーバからの情報でデータが復元されないように、複製数mよりもサーバの数nを多くしておくことが望ましい。また、ドキュメントデータ或いは検査用画像データ等は、文字列や写真、図柄等に分割しなくてもよい。また、画像の暗号化は画像を複製する前或いは後でもよいし、分割する前でも分割した後でもよい。更に、公開鍵と秘密鍵を使用する場合の秘密鍵は相手側に別途送信するものとする。
受信側では、保存されたサーバから受信して細分割され暗号化されたドキュメントデータや検査用画像データ等を検査する画像毎に或いは一括で、乱数を使用して復元タグにより復元し、更に暗号の復号をして基のドキュメントデータ或いは検査用画像データ等として運用管理する。なお、ここでいうサーバは、個別のサーバ又はクラウド型のサーバを指し、サーバを自在に組み合わせて分散保存し、サーバの故障やサイバーテロなどの外部情報攻撃からのデータ保護対処を行い活用することができるものとする。なお、複製、暗号化、細分割、乱数を使用した復元コード付け、分散保存までの指示は事前にプログラム動作を指示設定することで一回の操作で自動的に行われるものとする。また、その逆の保存ファイルの呼び出し、分割データの復元、暗号の乱数を使用した復号も一回の操作で自動的に行われるものとする。
一例として、まず、検査する二つ以上の画像を個々の文字列や写真や図柄の単位で分割し、分割単位で或いは分割しないで画像を暗号化し、更に暗号化した画像をマトリックス状に細分割し、1KB程度のデータサイズに細分割した画像断片全てに画像復元のための乱数を使用した復元コードを付ける。そして、前記細分割を一括して或いは分割して必要なサーバやクライアントPCに送信する。
受信側ではそれぞれの細分割された断片画像を、保存した単独の或いは複数のサーバやクライアントPCから、個別の検査対応する画像を構成する複数の細分割ファイルを呼び出して、一つに集合した細分割ファイルにまとめる。その細分割集合ファイルの断片画像を乱数を使用した復元コードで画像復元し、更にそれぞれ暗号化されたデータの復号化を行い一つの検査する画像としてまとめて視認可能にすることにより、検査用画像データ等の分散保存と情報通信手段で安全な情報管理を行う。
また、検査作業情報シート49の第10の機能には、社内校正チェックや顧客との校正チェックにおいて通信手段を使って、基準画像と検査画像や検査済みの相違点データ及び相違点修正コマンドの送受信をはじめ、相違点箇所についての報告連絡相談のためのコミュニケーションを簡便に行うことが含まれる。すなわち、その基本機能は、音声機能付き映像通信や検査する画像のデータ通信、検査コマンドの通信、検査状況のログ情報など、検査連絡はマルチメディア通信で行う。前述したように、この場合の情報漏洩が起こらない対策として、検査に係る画像は、前述の例えば文字写真や図柄などの領域に分割して、更に分割単位で別の暗号化を行い必要なサーバやクライアントPCに送信し、受信側では復号復元できるシステムを持つと更によい。また、関連する検査作業情報シート49の情報についても同様に行う。
すなわち、一例として、ある場所の情報処理装置110の画像検査装置10に画像入力して生成した第1及び第2画像データ31,32及び検査作業情報シート49をネットワーク101を介して別の場所にある情報処理装置110の画像検査装置10に送信する。送信された第1及び第2画像データ31,32を受信した情報処理装置110の画像検査装置10にて画像検査処理を行い、これらの画像データ31,32及び検査結果に関するデータを含む検査作業情報シート49を更に別の場所にあるサーバ機能を備えた情報処理装置110に送信する。
送信された検査結果に関するアクセスコードや検査結果データ等を含む検査作業情報シート49を受信した情報処理装置110において、他の情報処理装置110や携帯情報端末120とマルチメディア通信システムによって閲覧自在に検査結果に関するデータ等の検査作業情報シート49を共有する。マルチメディア通信システムでは、コンピュータ機能の他に電話や映像、メール、検査校正、修正指示コマンドなどの相互送受信機能を有することから、送受信端末間できめ細かいコミュニケーション伝達が可能になる。
このようにネットワーク101で接続された各種の情報機器を単独或いは組み合わせて活用すれば、例えば遠隔地の情報処理装置110からネットワーク101を介して保存された検査結果や校正(修正)指示に関するデータ等を含む検査作業情報シート49を利用して印刷データの修正を行ったり、画像検査や再検査を行ったり、検査結果を他の情報処理装置110に通知したり、映像や音声で記録を取りながら連絡を取り合ったりすることで伝達ミスを防ぎ、校正情報から進捗情報及び生産効率やコスト削減効果等を容易に確認することも可能となる。
また、比較検査する二つ以上の画像と検査結果の画像をサーバである情報処理装置110に保存することで、ネットワーク101を介してどこからでも閲覧したり、再検査したりすることも可能となる。例えば、印刷会社本社に基準となるプルーフ画像があり、それをデジタル化或いはDBとして保存することで、検査者がネットワーク101を介して、全国の各印刷工場の現場の情報処理装置110における画像検査装置10で画像入力或いは検査した画像を、検査結果ビュアに転送し、各印刷工場の情報処理装置110に画像入力した印刷物の画像を個別に画像検査装置10で画像重合し不良箇所を検査することで、各印刷工場間でのしきい値を加味した相違点検出のレベルを揃え、統一規格での検査を可能にする。更に、顧客へも検査結果に関するデータ等を送信したり、顧客からのサーバ機能を有する情報処理装置110へのアクセスも可能にする。
検査作業情報シート49では、最初の検査ジョブの保存日時、ファイルの変更日時、顧客名、ジョブ名、テキスト、サムネイルによるデータ検索機能を持たせることで、顧客毎のデータ管理をリアルタイムに処理できるため、社内のデータ準備作業の効率を高めると共に、顧客とのレイアウトや文字や、画像の修正等の、指示に関するコミュニケーションを行う際、必要な情報を瞬時に提供できるため、双方が効率よく作業を進めることができる。
画像検査システム100では、工程管理ソフトウェアやMISなどのスケジューラ機能を活用し、印刷結果を即座に監視するために、画像検査装置10から差分の個数と直しや修正箇所のチェックポイントの完了箇所の個数をカウントして、レポート出力したり、ネットワーク101を介してオンラインで送信する。これにより、各情報処理装置110間での直し修正箇所の確認と次の工程へのジョブの受け渡しを確実にする。
更には、画像検査システム100における色管理部門や営業部門等でも印刷中や印刷後の画像検査の結果の画像の色を数値で差分として確認できるため、顧客が印刷立ち会いで遠隔地の印刷工場に出向く機会を少なくすることができる。これにより、印刷の作業効率を高め印刷コストを削減することが可能である。
但し、この場合は、画像入力デバイスとして、カメラやスキャナのフィルタをRGBではなくCIEXYZフィルタを用いることで高精度に画像をL*a*b*値でデジタル化できる画像入力デバイスを採用することが最も望ましい。また、色の測色精度、繰り返し測色精度、面内ムラの標準偏差がΔEで0.1以下であることが望ましい。その他にも、モニタ、ディスプレイやプルーファーの色管理が正確に行われていることが重要である。
また、比較検査をする一つの基準画像と、検査対象の画像をネットワーク101を介してサーバ機能を有する情報処理装置110に保存された画像の中から自動検索して選択し、検査画像とする。特に長期に亘って印刷されていて何度も改訂が行われている印刷物のDTP(Desk Top Publishing)データは、間違って古い画像を呼び出してしまう(先祖返りをしてしまう)と最後に利用したものとデータベースに記録されてしまうことがあり、自動検索を行ったときに最終ページデータが呼び出されずに修正間違え等した画像が先祖返りしてしまう。そこで、常に関連する近似した画像やページデータが存在するかどうかを検索時に同時に表示させることで、先祖返りのミスをなくす。画像ファイルの変更、修正には一連の変更履歴を保存し表示させたりして、確実に必要な最終画像やページデータを準備することを行う検索エンジンを画像検査システム100は備えていることが望ましい。
また、印刷会社本社内の情報処理装置110にデータベースサーバ(DBサーバ)を構築し、顧客(発注者)にはパスワードを渡すことと、顧客専用のDB領域をフォルダ単位で提供することで、他の顧客のものと安全に分離して利用することが可能である。更に、全てのデータには入稿の段階からファイル名に顧客専用のコードを付加すると共に、データを間違えて他の顧客に転送できない仕組みを持たせたり、且つ前述或いは後述の検査用画像データ等の暗号化、複製化と細分割分散保存処理を加えることで、高度なセキュリティ機能を持たせたDB管理を行うことができる。
但し、間違ってデータを送信した場合に意図せず第三者にデータが閲覧されてしまうこと等の情報漏洩対策を図ることが必要となる。この対策としてデータの暗号化を行ったものを送信し、解読コードやパスワードは直接顧客や担当部門に手渡すことで、データ送受信の安全を確保する。
すなわち、比較検査する基準画像や検査画像を、又は顧客との校正情報や校正画像を、ネットワーク101内で活用する場合に、(a)情報漏洩を起こさないようにする。また、当該画像を記憶する(b)PCや携帯情報端末の記憶装置、或いはクラウド等のサーバが故障しても、直ちに復元できるシステムの構築が必要である。上記(a)及び(b)の機能を実現するためには、例えば前述した以下の方法を取ればよい。
ネットワーク101内で閲覧或いは送信するドキュメント、画像、指示伝票、その他当事者が必要とするあらゆるデータについて、当該データを暗号化し、更に当該データを完全可逆できる形で細分割して、たとえ情報機器の故障やサイバー攻撃があっても、他の情報機器からこのデータを復元できるように複製して複数の記憶装置に秘密分散保存する。
例えば、PCやHDDの一箇所や複数箇所が故障しても、更に多く複製された検査用画像データ等を保存した複数のHDDから復元される。また、外部に情報流出しても細分割されたデータの復元ができないので、漏洩とならない。このように、復元のために個々の画像を例えばマトリックス状に細分割断片にした全ての断片情報に復元コードを付けておく。また、更に復元できても暗号化されている情報の解読キーがないと解読することができない。この一連の運用作業について、上記検査作業情報シート49の(3)の検査指示書に機能を加えてもよい。更にはこのデータの細分割方式は、一般の情報管理にも幅広く活用する。
次に、より具体的な画像検査システム100の運用について、印刷会社に適用したものを例に挙げて、図20を参照しながら以下に説明する。なお、図20においては、括弧付き英字は各関係部門の種別を示し、(A)は顧客、(B)は営業拠点、(C)は本社、(D)は工場を表している。また、括弧付き数字(1)〜(14)は工程を表している。従って、以下においては括弧付き数字と括弧付き英字の組み合わせからそれぞれ括弧を除いたもの又は括弧付き数字の数字のみでフローの工程を表して説明する。
まず、顧客(クライアント)が(1−A)基準画像と見本プリントを営業所等の営業拠点に持ち込む。営業拠点ではこれに基づき(1−B)受注伝票の作成、顧客情報やジョブの内容を含む検査作業情報シート49の作成、及び検査用の基準(基本)しきい値や重要な文字や写真や図形等の検査エリアと要求精度を指示する検査指示書の作成を経て、(2−B)営業拠点から暗号化後(2−C)印刷会社の本社営業管理部へ送信する。(2−C)印刷会社の本社営業管理部では、ある営業所から送信された受注伝票データと顧客からの色見本プリントデータやその元データである画像データやPDFデータ等を暗号化して本社に送信し、これらのデータに基づくデザイン及びDTP作業(3−C)をデザイン部に依頼する。
依頼を受けた(3−C)デザイン部では、受信したPDFデータを基にデザイン及びDTP作業を行い、色見本プリントデータを参照して、各種の画像の修正や制作、またテキスト等のレイアウトデザインを行ったDTPデータを作成し、このDTPデータと共に(C−3)プリプレス部にプリプレスの初校データ作成を依頼する。そして、(3−C)プリプレス部では、DTPデータをレイアウト・組み版に基づきRIP処理し、例えば1ビット画像データの他、色検査に必要な8ビット校正プリントデータや初校PDFデータを作成し、見本プリントとの比較検査を行う。検査の際は、営業所から依頼された検査指示書を用い、基本検査精度を決定する基準しきい値や検査エリアに対する要求精度を設定することで、顧客の要求に対応する検査が行える。
まず、初校の段階においては、(4−B)営業所の担当者は、情報処理装置110の画像検査装置10を用いて(3−C)本社のプリプレス部から送信された校正プリントデータを用いて校正紙をプリンタ19により印刷出力する。次に、(4−B)営業所の担当者は、携帯情報端末120に暗号化された校正PDFデータと出力した校正紙を持って(4−A)クライアントの所へ行き、クライアントキーで復号化し校正を行って貰う。
(5−A)クライアントでの校正においては、マルチメディア通信システムを用いて携帯情報端末120の校正PDFデータに直接校正を行う。また、指示通りに修正されているかを確認する中で、未だ不良箇所があれば、直接検査画像のデータのレイヤに特定の色でマーキングして暗号化し、携帯情報端末120をネットワーク101に接続してマルチメディア通信システムを介して(5−A)その場から直接(5−C)本社のデザイン部或いは特定のサーバに送信する。
なお、このとき画像検査システム100において暗号化したデータとしてマルチメディア通信システムを利用することで、安全で詳細な情報が伝達される。例えばマルチメディア通信システムのモニタ画面上には、顧客から校正され営業がその指示をした印刷物を表す画像(印刷物画面)が暗号化されて表示され、復号化により印刷物を表す画像と修正箇所に番号が付されており、その番号の修正内容がテキスト表示や音声ファイル保存されており、表示された画像上の番号をクリックすると、上記テキスト表示や音声ファイルが表示・再生される。また、音声と映像を利用したTV電話で現場作業者とのコミュニケーションを図る。
次に、再校段階においては、(5−B)営業所の担当者から暗号化された画像がネットワーク101を介してマルチメディア通信システムにより携帯情報端末120から送られてきたデータに基づき、(6−C)本社のデザイン部で復号化し基本デザイン画像の変更箇所のテキストや色の修正指示テキストや修正コマンドを用いた自動修正又は手動による修正を行い、修正後のDTPデータを作成して(6−C)暗号化してプリプレス部に検査依頼を行う。
(6−C)プリプレス部では、暗号化されたDTPデータを復号化してRIP処理し、PDFデータに変換した修正済みの再校正データと修正前の画像データとを画像重合し、修正指示レポートの修正コマンドを用い自動又は手動で比較して確認する。検査物画像の例えば右上部に検査済み印を入れて暗号化し(6−B)各営業所若しくは担当者のPC又は携帯情報端末120にマルチメディア通信システムを用いて送信すると共に、再校正データと前の校正データとの差分を情報処理装置110の画像検査装置10におけるディスプレイ12の表示画面上であおり表示等可能な検査結果である相違点表示画像データを含む検査結果レポートの暗号化したファイルを送信し、再校正紙をプリンタ19により印刷出力できるようにする。
(6−B)営業所では、情報処理装置110の画像検査装置10若しくは携帯情報端末120を用いて再校正データに基づき修正箇所を確認する。営業所の担当者は、再校正の確認を終えたら再校正データ及び検査結果に関するデータをもとに出力し、更にこのデータを暗号化し、情報処理装置110又は携帯情報端末120からネットワーク101を介して(6−A)クライアントの情報処理装置110や携帯情報端末120にマルチメディア通信システムを介して送信し、再校正紙と共に(7−A)クライアントの所へ行き、暗号化された再校正画像を復号化して校正を行って貰い、再校正後のデータを(7−C)本社のデザイン部に送信する。
また、マルチメディア通信システムを携帯情報端末120で活用する場合は、予め情報処理装置110を用い既に処理済みのしきい値毎の検査結果のデータと限界しきい値及び確認結果を検査結果の画像にマーキング表示した状態で暗号化し、営業所やクライアントに渡すことで、安全に且つ正確に検査結果が確認できる。もし、より精度を高めて検査をしたい場合(例えば、ルビや二次元バーコードなど)は、情報処理装置110で設定しきい値で作成された検査画像より更に厳しいしきい値に変えたときの検査結果のマーキング情報を携帯情報端末120の表示画面上に表示させることで、再検査を行うことが可能である。
そして、(7〜8)再々校正の作業工程においては、上記の作業を(9−A)校了或いは責任校了になるまで繰り返し、これらの作業履歴データを業務管理データとして活用可能にサーバ機能を有する情報処理装置110のHDD29に自動的に保存すると共に、校了となった(9−B)校了/責了データを暗号化し、(9−C)本社のプリプレス部に送信する。
(10−C)プリプレス部では、送信された印刷用のデータを復号化してRIP処理を行い、例えば暗号化した1ビットTIFFの画像データ或いはそれをPDFデータ化して、(10−D)印刷工場へ送信する。印刷工場では、受信した1ビットTIFF又はPDFデータを復号化し、(11−D)CTPレコーダにより出力した刷版を用い、(12−D)印刷機による印刷インキの調整において刷り出し印刷物と校了紙/責了紙との色の差及び文字欠けやゴミ・傷等の検査を行い、検査エラーがなくなったら(14−D)本刷りを開始する。(13−D)本刷り中も抜き取り検査を行うことで、全品検査を行わずに信頼度の高い印刷物を作ることが可能となる。(14−D)印刷が終了すると、加工等を行い、(14−A)顧客へ印刷物の納品が完了する。
以上説明したように、上述した実施形態に係る画像検査装置、画像検査プログラム及び画像検査システムによれば、安全で且つ安価に構成可能で簡便な処理により基準画像と検査画像との画像検査を行うことが可能となる。なお、本発明の画像検査装置、画像検査プログラム及び画像検査システムにおいては、図21に示すような大まかな画像検査の検査形態を実現することができる。
前述したように、「単純しきい値」と「条件しきい値」の違いは、一対の検査する基準画像と検査画像において、「単純しきい値」は一つのしきい値で検査値を設定し、一つの検査結果を得る場合に用いられるしきい値であり、「条件しきい値」は二つ以上の組み合わせしきい値で検査条件を設定し、一つの検査結果を得る場合に用いられるしきい値であるということである。以下の図19に示す事例は、「単純しきい値」と「条件しきい値」の両方に当てはまるものとする。なお、「単純しきい値」には、一つの検査結果を得るために、一つの検査しきい値として設定する「単しきい値」と、複数の検査結果を得るために、複数の検査しきい値として設定する「多重しきい値」がある。また、「条件しきい値」には、二つ以上のしきい値を条件設定して一つの検査結果を得るための「単条件しきい値」と、二つ以上のしきい値を組み合わせて条件設定して複数の検査結果を得るための「多重条件しきい値」がある。
すなわち、同一検査においては、例えば第1画像データを画像1A、第2画像データを画像1Bとして画像1A,1Bの全面/部分を重合し比較検査を単しきい値或いは単条件しきい値で行った場合は一つの検査結果の差分画像Δ1ABを得ることができ、多重しきい値或いは多重条件しきい値で行った場合は複数の(多重の)差分画像Δ1ABを得ることができる。なお、Δは差分を表している。
また、部分領域画像2A,3Aを含む画像1Aと部分領域画像2B,3Bを含む画像1Bとを全面/部分を重合して比較検査をそれぞれの部分領域を異なる単しきい値或いは単条件しきい値で行うと、差分画像Δ1ABと共に部分領域の差分画像Δ2AB,Δ3ABを得ることができる。また、これらを多重しきい値或いは多重条件しきい値で行った場合は複数の差分画像Δ1AB,Δ2AB,Δ3ABを得ることができる。更に、またこれらを組み合わせて多重しきい値或いは多重条件しきい値で全体を比較して差分画像Δ1ABを得たり、部分領域を比較して単しきい値の差分画像Δ2ABを得たり、更には一部の部分領域を多重条件しきい値で比較して複数の差分画像Δ3ABを得たりして、複合したしきい値で画像検査を行うことが可能である。
また、対応検査においては、例えば画像A,Bにおいてそれぞれ異なるレイアウトでも対応する部分の部分領域画像2A,3Aを重合し比較検査を行った場合、例えば表示例1では、画像Aにおける部分領域画像2Aの部分領域においては差分画像Δ2ABを得て、部分領域画像3Aの部分領域においては差分画像Δ3ABを得ることができる。また、例えば表示例2では、画像Bにおける部分領域画像3Bの部分領域においては差分画像Δ3ABを得て、部分領域画像2Bの部分領域においては差分画像Δ2ABを得ることができる。
また、例えば画像Aにおける一部である部分領域画像2Aについて多重条件しきい値を適用して複数の差分画像Δ2ABを得ると共に部分領域画像3Aについては更に他の単しきい値を用いて差分画像Δ3ABを得る。また、部分領域画像3Aについても多重条件しきい値を適用して複数の差分画像Δ3ABを得ることもできる。
更に、例えば画像Aにおける部分領域画像3A,2A及びその他の画像領域の全てに多重条件しきい値を適用してそれぞれ複数の差分画像B,Δ3AB,Δ2ABを得て画像検査を行うようにしてもよい。このように、本発明によれば、検査する画像Bの一部が移動したり、配置箇所が入れ替わったりした場合であっても、画像の全体や部分を分けて個別に画像重合と検査を行うことで、様々な表示形態で比較検査の結果を表示することができる。
なお、以上の実施形態で説明した画像検査装置10のPC11に用いられる比較・検査プログラムは、各種のコンピュータ装置で実行することにより実現可能であり、比較・検査プログラムは、HD、DVD、Blu−ray(登録商標)DISC、メモリーカード等のコンピュータ装置で読み取り可能な各種の記録媒体に記録され、コンピュータ装置によって記録媒体から読み出されることによって実行されると共に、インターネット等の伝送媒体を介して配布することができる。
印刷物は製品パッケージとしても活用されるため、基準画像となる平面の印刷物画像と、検査画像となる立体の製品媒体に貼り付けた或いは熱加工などで密着させて立体化された製品の印刷画像との検査が必要となる。この検査を実現するため、立体物の製品の印刷面をラインスキャンカメラなどを使って画像入力(撮影)し平面の検査画像として、基準画像となる平面の印刷物画像とを画像重合し比較検査する。また、或いは基準印刷物の平面画像を、比較検査する三次元の製品立体物画像データに対応して画像マッピングして基準画像とし、三次元の各面領域単位で三次元立体の検査画像と、三次元で画像重合し、検査する。
三次元画像を二次元化して比較検査する場合、画像重合のための重合基準ポイントを選択することが重要となる。そのため、製品の三次元立体物を前述のラインスキャンカメラなどを使って入力して二次元画像化した画像を、製品の形状面別の部分領域の二次元画像として平面展開した画像を重合し易いように画像分割した輪郭線或いは画像を基に、二次元の平面画像を前述の輪郭線状に画像分割し或いは画像を変形調整してマッピングを行うことで、立体物を撮影した画像との比較検査を行えるようにする。
また、逆に二次元画像を比較検査する立体製品の三次元画像に二次元画像をマッピングし易い領域毎に分割し、画像調整重合させて、製品形状に合わせた立体形状での画像補正を行い、部分形状毎に重合調整をして検査する。更に、このとき、製品のCAD情報を基に二次元画像をCAD画像にマッピングしてもよい。また、各種の立体物の形状を表す座標はCAD情報として保存しておき、それらを対象となる同一形状の立体物の基準画像データにして画像マッピングを行う。
例えば、缶やPETボトルなどの印刷は平面の紙やプラスチックフィルム等にグラビア印刷やフレキソ印刷或いはオフセット印刷で行われる。例えば、平面媒体に印刷された印刷物は、立体物の製品に貼られて製品となるが、貼られた状態で印刷面を検査する場合、基準画像が平面の印刷物で、立体製品に貼られたものが検査画像となることが多い。
そこで、立体製品に貼られた場合、或いは直接立体物に印字され成形加工されたものとの形状補正比較のための検査チャートが必要となる。この場合、立体として貼られて平面の図形が変化しても検査ができるよう、予め平面印刷の状態で立体物画像変形補正チャート(test chart for correction of distorted 3D image)としてマトリックス罫線等を入れて検査する製品と同一の素材にプリント又は印刷する。
このとき、立体の製品に貼られた立体物画像変形補正チャートをラインスキャナやエリアスキャンカメラ等で画像入力し、平面の立体物画像変形補正チャート画像と立体で入力した画像とを重合できるよう画像変形補正処理をする。そして、画像変形補正処理プログラムを使って平面画像を立体物画像に置き換えて、或いは立体物画像を平面画像に置き換えて、対応する形状の画像に変形補正させ、同じ部分同士の画像を位置補正して検査を行う。
このときの立体物画像変形補正チャートには、予め縦横にマトリックス罫線が付与されており、マトリックス白黒チェックの格子画像を画像変形補正のテーブルチャートとして、画像変形補正処理を行い、この変形テーブルの画像変換データを活用して画像の比較検査を行う。なお、前述の場合の画像入力はフラットな均一の天空光のような間接照明によるものとする。
医療用の画像診断のための自動検査において、例えばPACS(Picture Archiving and Communication System)と呼ばれる、CTやMRI、レントゲンなどの各種画像診断用の撮像装置(モダリティ)がある。このPACSで入力された画像を電子化してデータベースに保存し、閲覧できる管理システムについて述べる。
医療現場において、X線CT(コンピュータ断層撮影法)やMRI(磁気共鳴映像法)のような高度医療用機器が各病院に普及し、医療現場では医師が画像による病気診断や手術のために利用する重要な情報となっている。
このような自動検査装置による画像診断では、一検査毎に数十枚の断層画像が必要となるので、全ての画像を診断する場合に医師が見落としたりする場合も生じてしまう。そこで、断層画像の比較検査により得られた検査結果に関するデータ及び関連する医療サポート情報を提供し、医師の的確な診断を迅速に行うシステムことが求められている。
そのために画像検査システム100を医療用目的で活用する場合には、被検査者の画像から病巣部分画像の抽出と、病巣の位置、大きさ、病巣の種類、検査施設、検査人、検査日時など、医師の診断作業に必要な情報を画像や診断サポート情報と共に表示することが求められる。
また、関連する医療情報や診断結果も含めて全てのコンピュータに蓄積して、診断作業に活用できる情報システムとして管理する。これらの情報は医師のPC表示画面上に表示し、診断作業を行うための患者カルテ情報、断層画像及び立体加工画像、サポート情報などで校正される。断層画像表示画面では動画及び静止画の連続表示を行い、各断層画像のスライス情報をPC表示画面に順次連続表示する。更に、PC表示画面にはテキストや音声などでの連絡機能や保存機能、或いは医療事例照会検索機能を付けるとなおよい。医師は被検査者の原画像及び情報サポートシステムから提供された補助情報や患者カルテからの情報を統合して診断を行う。
また、脳外科手術のためのナビゲーションシステムについて述べる。本システムは、画像入力部と画像重合部、画像解析部と画像診断ナビゲーションサポート部からなる。画像入力部では、CTやMRIの二次元入力画像から三次元立体モデル画像を作成し、別に構築されている画像や診断情報データベースを参照しながら、被検査者の各同部位毎の画像を画像重合して、画像解析部で解析を行い、比較診断を行う。更に画像診断ナビゲーションサポート情報を作成する。
すなわち、被検査者の各部位組織の形状、存在位置、検査施設、検査人、検査日時などの基本情報と、データベースの参照によって得られた解剖名称、重要度といった共通情報を画像診断ナビゲーションサポート部に提供する。画像診断ナビゲーションサポート部では、二次元画像を基に立体的に三次元画像表示し、立体視などの表示ソフトウェア及びGUI(Graphic User Interface)を用いて、被検査者の必要な身体の部位から患部までの経路を設定し、画像解析部及びデータベースから提供された情報を基に、その画像検査及び診断情報の表示を行う。
システム操作用のUI(User Interface)は操作メニュー、三次元表示画面及び一方向画面からなる。操作メニューには、表示画像の選択、表示方法の選択などがある。三次元表示画面には、ナビゲーションサポート画面での患部の色表示・拡大・縮小、回転のための調整機構がある。
各担当等(医師や専任医療関係者)は主にこれらの画像情報をPC表示画面に表示して、患部の観察を行う。また、併せて観察者に位置センサ技術を用いて身体全体の位置関係情報も提供する。更に、各医師等の存在する実空間とコンピュータ内患者データの存在する仮想空間とを三次元画像内に融合して、あたかも実際の患者の病巣内部及び周辺を観察、手術するようにするとよい。
また、画像データとして管理・保存することにより、従来のフィルムの保管場所を削減することができ、空きスペースとして有効活用できる。また、フィルムの収納・検索・搬出作業もデジタル化により軽減できて時間やコスト削減に貢献する。更に、これまでのフィルムの紛失の防止も図ることができる。また、例えば基本画像情報に、直線や矢印、コメントの情報記入ができ、更に必要に応じて画像データとしても保存することが可能となる。これにより、患者や検査に関する様々な情報から、参照したい検査データを簡単に検索することが可能となる。
10 画像検査装置
11 コンピュータ本体(PC)
12 ディスプレイ
13 マウス
14 キーボード
15 ポインティングデバイス
16 カメラ
17 スキャナ
18 ワークテーブル
19 プリンタ
20 バス
21 CPU
22 メインメモリ
23 画像制御部
24 データ入力部
25 操作入力部
26 データ出力部
27 通信モジュール
28 画像メモリ
29 ハードディスクドライブ(HDD)
30A 基準媒体
30B 検査媒体
31 第1画像データ
32 第2画像データ
33 検査結果エラー表示画像データ
34 マーキング枠

Claims (21)

  1. 検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出する画像検査装置であって、
    前記基準画像及び検査画像を記憶する記憶手段と、
    記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行う画像処理手段と、
    画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する差分検出手段と、
    複数のしきい値と前記差分とを比較して前記しきい値毎の相違点表示画像データを生成する画像生成手段と、
    生成されたしきい値毎の相違点表示画像データを用いて画像検査処理を行う画像検査手段と
    を備えたことを特徴とする画像検査装置。
  2. 前記画像処理手段は、前記記憶手段に記憶された基準画像及び検査画像を前記画像重合処理する前又は前記画像重合処理した後に、複数の領域画像に分割する画像分割処理を行い、各領域画像を前記第1及び第2画像データとして以後の処理単位とする
    ことを特徴とする請求項1記載の画像検査装置。
  3. 前記画像処理手段は、前記記憶手段に記憶された基準画像及び検査画像の対応する部分画像を抽出及び関連付けて、これら関連付けた部分画像を前記第1及び第2画像データとして前記画像重合処理する
    ことを特徴とする請求項1記載の画像検査装置。
  4. 前記画像処理手段は、前記第1及び第2画像データを画像重合処理する際に、画像の補正機能を用いて、当該第1及び第2画像データのいずれか一方をいずれか他方に合わせる
    ことを特徴とする請求項1〜3のいずれか1項記載の画像検査装置。
  5. 前記差分検出手段は、前記第1及び第2画像データの濃度及び色調を分離して比較し、前記差分を検出する
    ことを特徴とする請求項1〜4のいずれか1項記載の画像検査装置。
  6. 前記画像検査手段は、前記複数のしきい値と前記差分との比較結果に基づいて限界しきい値を決定し、この限界しきい値に基づく相違点表示画像データを生成する
    ことを特徴とする請求項1〜5のいずれか1項記載の画像検査装置。
  7. 前記画像検査手段は、異なるしきい値の前記相違点表示画像データ同士の比較結果に基づく相違点表示画像データを生成する
    ことを特徴とする請求項1〜5のいずれか1項記載の画像検査装置。
  8. 前記画像検査手段は、複数の前記相違点表示画像データを、相違点表示画像に相違点表示箇所を前記相違点表示画像データ毎に異なる表示形態で視認可能に切り替え表示する
    ことを特徴とする請求項1記載の画像検査装置。
  9. 検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出する画像検査装置であって、
    前記基準画像及び検査画像を記憶する記憶手段と、
    記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行う画像処理手段と、
    画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出する差分検出手段と、
    検出された差分に対して部分領域毎に異なるしきい値を用いて相違点表示画像データを生成して画像検査処理を行う画像検査手段と
    を備えたことを特徴とする画像検査装置。
  10. 前記差分検出手段は、前記第1及び第2画像データの色調について、CIEXYZ又はRGB画像からL*a*b*値に変換した後に、色差ΔE又はCMYK変換して差分を検出する
    ことを特徴とする請求項1〜9のいずれか1項記載の画像検査装置。
  11. 検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出するための画像検査プログラムであって、
    コンピュータに、
    前記基準画像及び検査画像を記憶手段に記憶させる記憶工程と、
    記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行わせる画像処理工程と、
    画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出させる差分検出工程と、
    複数のしきい値と前記差分とを比較して前記しきい値毎の相違点表示画像データを生成させる画像生成工程と、
    生成されたしきい値毎の相違点表示画像データを用いて画像検査処理を行わせる画像検査工程と
    を含む処理を実行させることを特徴とする画像検査プログラム。
  12. 前記画像処理工程では、前記記憶手段に記憶された基準画像及び検査画像を前記画像重合処理する前又は前記画像重合処理した後に、複数の領域画像に分割する画像分割処理を行わせ、各領域画像を前記第1及び第2画像データとして以後の処理単位とする
    ことを特徴とする請求項11記載の画像検査プログラム。
  13. 前記画像処理工程では、前記記憶手段に記憶された基準画像及び検査画像の対応する部分画像を抽出及び関連付けて、これら関連付けた部分画像を前記第1及び第2画像データとして前記画像重合処理する
    ことを特徴とする請求項11記載の画像検査プログラム。
  14. 前記画像処理工程では、前記第1及び第2画像データを画像重合処理する際に、画像の補正機能を用いて、当該第1及び第2画像データのいずれか一方をいずれか他方に合わせる
    ことを特徴とする請求項11〜13のいずれか1項記載の画像検査プログラム。
  15. 前記差分検出工程では、前記第1及び第2画像データの濃度及び色調を分離して比較し、前記差分を検出させる
    ことを特徴とする請求項11〜14のいずれか1項記載の画像検査装置。
  16. 前記画像検査工程では、前記複数のしきい値と前記差分との比較結果に基づいて限界しきい値を決定し、この限界しきい値に基づく相違点表示画像データを生成させる
    ことを特徴とする請求項11〜15のいずれか1項記載の画像検査プログラム。
  17. 前記画像検査工程では、異なるしきい値の前記相違点表示画像データ同士の比較結果に基づく相違点表示画像データを生成させる
    ことを特徴とする請求項11〜15のいずれか1項記載の画像検査プログラム。
  18. 前記画像検査工程では、複数の前記相違点表示画像データを、相違点表示画像に相違点表示箇所を前記相違点表示画像データ毎に異なる表示形態で視認可能に切り替え表示させる
    ことを特徴とする請求項11記載の画像検査プログラム。
  19. 検査基準となる基準画像を表すデータとして作成された第1画像データと、検査対象となる検査画像を表すデータとして作成された第2画像データとを比較することで、前記第1画像データと前記第2画像データとの相違点を自動的に抽出するための画像検査プログラムであって、
    コンピュータに、
    前記基準画像及び検査画像を記憶手段に記憶させる記憶工程と、
    記憶された基準画像の少なくとも一部及び検査画像の少なくとも一部を第1及び第2画像データとして画素レベルで対応させて画像重合処理を行わせる画像処理工程と、
    画像重合された第1及び第2画像データを比較して両画像データ間での差分を検出させる差分検出工程と、
    検出された差分に対して部分領域毎に異なるしきい値を用いて相違点表示画像データを生成させて画像検査処理を行わせる画像検査工程と
    を含む処理を実行させることを特徴とする画像検査プログラム。
  20. 前記差分検出工程では、前記第1及び第2画像データの色調について、CIEXYZ又はRGB画像からL*a*b*値に変換した後に、色差ΔE又はCMYK変換して差分を検出させる
    ことを特徴とする請求項11〜19のいずれか1項記載の画像検査プログラム。
  21. 前記画像検査工程では、前記しきい値は単独のしきい値で評価を行うための単純しきい値と、複数のしきい値の組み合わせ条件での評価を行うための条件しきい値とを含む
    ことを特徴とする請求項11〜20のいずれか1項記載の画像検査プログラム。
JP2014534849A 2014-02-03 2014-02-03 画像検査装置及び画像検査プログラム Active JP6470567B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/052448 WO2015114833A1 (ja) 2014-02-03 2014-02-03 画像検査装置及び画像検査プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014150517A Division JP6416531B2 (ja) 2014-07-24 2014-07-24 画像検査装置及び画像検査プログラム

Publications (2)

Publication Number Publication Date
JPWO2015114833A1 true JPWO2015114833A1 (ja) 2017-03-23
JP6470567B2 JP6470567B2 (ja) 2019-02-13

Family

ID=53755106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014534849A Active JP6470567B2 (ja) 2014-02-03 2014-02-03 画像検査装置及び画像検査プログラム

Country Status (7)

Country Link
US (2) US9495736B2 (ja)
EP (1) EP3076366A4 (ja)
JP (1) JP6470567B2 (ja)
KR (1) KR20150104022A (ja)
CN (1) CN104982026B (ja)
IN (1) IN2014DN06211A (ja)
WO (1) WO2015114833A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020026091A (ja) * 2018-08-13 2020-02-20 コニカミノルタ株式会社 画像検査装置、画像形成装置、及びプログラム
JP2022058701A (ja) * 2018-01-31 2022-04-12 コニカミノルタ株式会社 画像形成装置
JP2022140540A (ja) * 2018-08-13 2022-09-26 コニカミノルタ株式会社 画像検査装置、画像検査プログラム、画像検査システム、及び画像検査方法

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127199B2 (en) * 2014-03-28 2018-11-13 Adobe Systems Incorporated Automatic measure of visual similarity between fonts
JP5821994B2 (ja) * 2014-04-21 2015-11-24 富士ゼロックス株式会社 画像処理装置、画像形成装置およびプログラム
WO2015182061A1 (ja) * 2014-05-27 2015-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 空気調和装置が実行するセンサの制御方法
CN107076684B (zh) 2014-09-02 2021-04-02 株式会社尼康 测量处理装置、测量处理方法和测量处理程序
EP3190403B1 (en) 2014-09-02 2023-03-15 Nikon Corporation Measurement processing device, measurement processing method, measurement processing program, and structure production method
US20160098824A1 (en) * 2014-10-03 2016-04-07 Tyco Electronics Corporation Three dimensional printing inspection apparatus and method
SG11201704188TA (en) * 2014-11-26 2017-06-29 Tlv Co Ltd Device management system and maintenance work method using the system
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6474334B2 (ja) * 2015-07-30 2019-02-27 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム
EP3392872A4 (en) * 2015-12-15 2019-08-14 Seiko Epson Corporation CIRCUIT-FORMING DEVICE, ELECTRO-OPTICAL DEVICE, ELECTRONIC APPARATUS, MOBILE BODY, AND ERROR DETECTION METHOD
US10235547B2 (en) * 2016-01-26 2019-03-19 Hand Held Products, Inc. Enhanced matrix symbol error correction method
KR102508831B1 (ko) * 2016-02-17 2023-03-10 삼성전자주식회사 원격 이미지 전송 시스템, 디스플레이 장치 및 그의 가이드 표시 방법
JP6683502B2 (ja) * 2016-02-29 2020-04-22 Jfeシステムズ株式会社 版下管理システム
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
JP6642161B2 (ja) * 2016-03-18 2020-02-05 株式会社リコー 検査装置、検査方法及びプログラム
JP6804022B2 (ja) * 2016-05-02 2020-12-23 富士ゼロックス株式会社 変化度合い導出装置、変化度合い導出方法及びプログラム
EP3246160A1 (en) * 2016-05-19 2017-11-22 KBA-NotaSys SA Measuring and correcting print-to-print register of a multicolour print formed on printed material
CN106248212B (zh) * 2016-07-13 2018-09-14 凌云光技术集团有限责任公司 滚筒式颜色校准检测平台基体、校准平台及检测平台
CN109643446B (zh) * 2016-08-15 2023-07-04 精工爱普生株式会社 电路装置、电子设备以及错误检测方法
JP6902843B2 (ja) * 2016-10-07 2021-07-14 キヤノン株式会社 画像処理装置および制御方法
JP6907508B2 (ja) * 2016-11-10 2021-07-21 オムロン株式会社 検査システム、検査装置の制御方法及びプログラム
US11282040B2 (en) * 2016-11-28 2022-03-22 Imatrix Holdings Corp. Evaluation device, evaluation method, evaluation program, and evaluation system
EP3333770A1 (en) * 2016-12-09 2018-06-13 Fujitsu Limited Matching graph entities in graph data
US10304174B2 (en) * 2016-12-19 2019-05-28 Datamax-O'neil Corporation Printer-verifiers and systems and methods for verifying printed indicia
KR101895848B1 (ko) * 2016-12-29 2018-09-06 주식회사 에이치앤비트 문서 보안 방법
EP3349149A1 (en) * 2017-01-11 2018-07-18 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciencia Method and device for color similarity evaluation
JP6938935B2 (ja) * 2017-02-08 2021-09-22 大日本印刷株式会社 画像比較装置、画像比較方法及び画像比較プログラム
CN207051946U (zh) * 2017-03-31 2018-02-27 腾讯科技(深圳)有限公司 二维码和印刷物
JP6569697B2 (ja) * 2017-04-11 2019-09-04 コニカミノルタ株式会社 検査装置及び検査プログラム
JP2018176546A (ja) * 2017-04-13 2018-11-15 大日本印刷株式会社 色調確認システム、及び色調確認方法
US20190012782A1 (en) * 2017-07-05 2019-01-10 Integrated Vision Systems LLC Optical inspection apparatus and method
US11268910B2 (en) * 2017-07-07 2022-03-08 Koh Young Technology Inc. Apparatus for optimizing inspection of exterior of target object and method thereof
US11485101B2 (en) 2017-07-14 2022-11-01 Georgia-Pacific Corrugated Llc Controls for paper, sheet, and box manufacturing systems
US20190016551A1 (en) 2017-07-14 2019-01-17 Georgia-Pacific Corrugated, LLC Reel editor for pre-print paper, sheet, and box manufacturing systems
US10642551B2 (en) * 2017-07-14 2020-05-05 Georgia-Pacific Corrugated Llc Engine for generating control plans for digital pre-print paper, sheet, and box manufacturing systems
US11449290B2 (en) 2017-07-14 2022-09-20 Georgia-Pacific Corrugated Llc Control plan for paper, sheet, and box manufacturing systems
US11520544B2 (en) 2017-07-14 2022-12-06 Georgia-Pacific Corrugated Llc Waste determination for generating control plans for digital pre-print paper, sheet, and box manufacturing systems
WO2019054999A1 (en) * 2017-09-13 2019-03-21 Google Llc EFFICIENT AUGMENTATION OF IMAGES WITH RELATED CONTENT
JP2019084743A (ja) * 2017-11-07 2019-06-06 コニカミノルタ株式会社 画像形成システム、画像形成装置及びプログラム
KR102429557B1 (ko) * 2017-11-10 2022-08-05 삼성전자주식회사 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
JP7006163B2 (ja) * 2017-11-16 2022-01-24 コニカミノルタ株式会社 画像処理装置およびプログラム
CN108195855B (zh) * 2017-12-27 2023-11-03 同方威视技术股份有限公司 安全检查系统及其方法
US10795618B2 (en) 2018-01-05 2020-10-06 Datamax-O'neil Corporation Methods, apparatuses, and systems for verifying printed image and improving print quality
US10803264B2 (en) 2018-01-05 2020-10-13 Datamax-O'neil Corporation Method, apparatus, and system for characterizing an optical system
US10834283B2 (en) 2018-01-05 2020-11-10 Datamax-O'neil Corporation Methods, apparatuses, and systems for detecting printing defects and contaminated components of a printer
US10546160B2 (en) 2018-01-05 2020-01-28 Datamax-O'neil Corporation Methods, apparatuses, and systems for providing print quality feedback and controlling print quality of machine-readable indicia
CN111656168A (zh) * 2018-01-31 2020-09-11 3M创新有限公司 用于对制成的幅材进行检测的虚拟相机阵列
CN108389234B (zh) * 2018-02-05 2021-10-08 深圳市恒晨电器有限公司 一种平板lcd异色检测方法、存储装置和移动终端
JP7155530B2 (ja) 2018-02-14 2022-10-19 セイコーエプソン株式会社 回路装置、電子機器及びエラー検出方法
JP6635274B2 (ja) * 2018-02-23 2020-01-22 株式会社安川電機 製品品質管理システム
CN108391140B (zh) * 2018-02-28 2021-06-01 北京奇艺世纪科技有限公司 一种视频帧的分析方法及装置
JP2019158555A (ja) * 2018-03-13 2019-09-19 株式会社Screenホールディングス 欠陥確認装置、欠陥確認方法およびプログラム
WO2019193912A1 (ja) * 2018-04-03 2019-10-10 富士フイルム富山化学株式会社 薬剤判定装置及び薬剤判定方法
JP2019184319A (ja) * 2018-04-04 2019-10-24 コニカミノルタ株式会社 画像形成装置、画像検査装置、管理装置およびプログラム
CN108444386B (zh) * 2018-04-14 2019-05-17 阮豪杰 人体位置偏离测量平台
DE102018207725B3 (de) 2018-05-17 2019-06-06 Heidelberger Druckmaschinen Ag Auflösungsbereinigte Druckvorschau
EP3807456A1 (en) 2018-06-15 2021-04-21 NIKE Innovate C.V. Tool for design and fabrication of knitted components
IL260417B (en) 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
CN108960226B (zh) * 2018-07-12 2021-12-17 南方电网电力科技股份有限公司 一种指针仪类表示值读数方法及装置
KR20200044252A (ko) * 2018-10-18 2020-04-29 삼성디스플레이 주식회사 표시 패널 검사 시스템, 표시 패널 검사 방법 및 이를 이용한 표시 패널.
CN109304739B (zh) * 2018-12-05 2020-09-08 金江海 电动剃须刀控制系统
JP2020091792A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 画像検査装置、画像検査方法、および画像検査プログラム
US20220012404A1 (en) * 2018-12-11 2022-01-13 Tasmit, Inc. Image matching method and arithmetic system for performing image matching process
US10771655B2 (en) * 2018-12-20 2020-09-08 HCL Technologies Italy S.p.A. System and method for transferring a document
JP7363035B2 (ja) 2019-01-21 2023-10-18 コニカミノルタ株式会社 画像検査装置、プログラム、画像処理装置及び画像形成装置
CN109829904B (zh) * 2019-01-29 2022-01-14 京东方科技集团股份有限公司 检测屏幕上灰尘的方法、装置、电子设备、可读存储介质
CN109903605B (zh) * 2019-04-03 2022-02-11 北京字节跳动网络技术有限公司 一种在线学习的分析和回放方法、装置、介质及电子设备
US11262317B2 (en) * 2019-05-21 2022-03-01 Columbia Insurance Company Methods and systems for measuring the texture of carpet
CN112100122B (zh) * 2019-06-18 2022-11-04 珠海金山办公软件有限公司 一种存储图片的方法及装置
IL267563A (en) * 2019-06-20 2019-11-28 HYATT Yonatan Establishing a process for visual inspection
JP6809567B2 (ja) * 2019-06-21 2021-01-06 大日本印刷株式会社 判定装置、判定装置の制御方法、判定システム、判定システムの制御方法、及び、プログラム
JP7451098B2 (ja) * 2019-06-26 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110688889B (zh) * 2019-08-06 2023-04-18 珠海格力电器股份有限公司 一种图文内容比对方法及装置
EP3779665A1 (en) 2019-08-08 2021-02-17 Ricoh Company, Ltd. Information processing apparatus, information processing system, and computer-readable medium
CN110503596A (zh) * 2019-08-12 2019-11-26 北京中科寒武纪科技有限公司 视频处理方法、装置、电子设备以及计算机可读存储介质
WO2021035105A1 (en) * 2019-08-21 2021-02-25 Sun Chemical Corporation Metal deco digital proofing process
US11080514B2 (en) * 2019-09-13 2021-08-03 Citrix Systems, Inc. Facial recognition based auto zoom
JP7363347B2 (ja) * 2019-10-16 2023-10-18 コニカミノルタ株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN110853751B (zh) * 2019-11-25 2023-04-14 安徽名流健康管理有限公司 多普勒超声诊断实时显示系统
JP7400433B2 (ja) * 2019-12-17 2023-12-19 コニカミノルタ株式会社 画像検査装置、画像形成装置、画像管理方法及びプログラム
US11816827B2 (en) 2020-02-13 2023-11-14 Inspekto A.M.V. Ltd. User interface device for autonomous machine vision inspection
US20230186043A1 (en) * 2020-05-21 2023-06-15 Hewlett-Packard Development Company, L.P. Determining color responses
TWI773996B (zh) * 2020-05-29 2022-08-11 正修學校財團法人正修科技大學 畫作缺陷辨識系統及方法
JP2021196475A (ja) * 2020-06-12 2021-12-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2022038652A (ja) * 2020-08-27 2022-03-10 株式会社リコー 情報処理装置、プログラム及び情報処理システム
CN112165853A (zh) * 2020-09-28 2021-01-01 怀化建南机器厂有限公司 一种pcb板锡膏印刷品检方法、装置及系统
CN112537148A (zh) * 2020-09-30 2021-03-23 湖北合信智能包装科技有限公司 一种数字印刷与柔版印刷色彩匹配的方法
WO2022079064A1 (en) * 2020-10-12 2022-04-21 Esko Software Bvba System and method for visualization of variances observed on substrate surfaces
JP2022086455A (ja) * 2020-11-30 2022-06-09 富士フイルムビジネスイノベーション株式会社 検査装置、画像形成装置、及び検査プログラム
JP2022131232A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置および画像処理システム
KR20230148849A (ko) * 2021-03-04 2023-10-25 어플라이드 머티어리얼스, 인코포레이티드 기판 이미지들의 프로세싱에 기초한 필름 불균일의 픽셀 및 영역 분류
CN112702165B (zh) * 2021-03-23 2021-06-25 北京惠风智慧科技有限公司 一种图像加密方法及装置
JP7136271B1 (ja) * 2021-05-13 2022-09-13 東洋製罐株式会社 検査装置及び検査方法
TWI783667B (zh) * 2021-09-03 2022-11-11 由田新技股份有限公司 自動影像檢測方法、設備、內儲程式之電腦可讀取記錄媒體、以及電腦程式產品
JP7465307B2 (ja) 2021-10-01 2024-04-10 キヤノン株式会社 シミュレーション装置、シミュレーション装置の制御方法、およびプログラム
CN113984764A (zh) * 2021-10-28 2022-01-28 四川科伦药业股份有限公司 一种检测装置及适用于崩解仪的自动观测系统
CN114298254B (zh) * 2021-12-27 2024-03-15 亮风台(上海)信息科技有限公司 一种获取光学设备的显示参数测试信息的方法与设备
IT202200005147A1 (it) * 2022-03-16 2023-09-16 Stevanato Group Spa Interfaccia grafica di programmazione per programmare un procedimento di ispezione campioni e relativo metodo di programmazione.
CN114862793A (zh) * 2022-05-06 2022-08-05 深圳市微特智能系统有限公司 Pcb喷墨打印图像的比对方法及系统
US20230377309A1 (en) * 2022-05-17 2023-11-23 Fmr Llc Methods and systems for automated cross-browser user interface testing
CN114677373A (zh) * 2022-05-27 2022-06-28 广州青莲网络科技有限公司 一种印刷品内容检错方法、装置、电子设备及介质
CN114863147B (zh) * 2022-05-30 2023-05-02 中科芯云图像视觉技术(北京)有限公司 一种拼大版印刷图像的智能比对方法、系统及其应用
CN115655576B (zh) * 2022-12-13 2023-03-10 成都千嘉科技股份有限公司 一种指针式压力表位移异常的自动感知方法
CN116071356B (zh) * 2023-03-06 2023-06-16 中国市政工程西南设计研究总院有限公司 用于设计企业的设计图缺陷智慧检查平台及检查方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304842A (ja) * 2000-04-25 2001-10-31 Hitachi Ltd パターン検査方法及びその装置並びに基板の処理方法
JP2005092826A (ja) * 2003-09-19 2005-04-07 Dainippon Printing Co Ltd 品質レベル判定表示装置および方法
JP2007173912A (ja) * 2005-12-19 2007-07-05 Glory Ltd 印刷検査装置
JP2012103225A (ja) * 2010-11-15 2012-05-31 Ricoh Co Ltd 検査装置、検査方法、検査プログラム、及びそのプログラムを記録した記録媒体
JP2013080524A (ja) * 2013-02-07 2013-05-02 Hideki Kawabata 画像比較装置および画像比較プログラム
JP2013120170A (ja) * 2011-12-09 2013-06-17 Canon Inc 検査装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0912042B1 (en) 1997-10-23 2004-08-04 Xerox Corporation Method for embedding signals in a color image
US6975754B2 (en) * 2000-10-26 2005-12-13 Hitachi, Ltd. Circuit pattern inspection method and apparatus
US6809809B2 (en) * 2000-11-15 2004-10-26 Real Time Metrology, Inc. Optical method and apparatus for inspecting large area planar objects
JP3788279B2 (ja) * 2001-07-09 2006-06-21 株式会社日立製作所 パターン検査方法及び装置
US7162073B1 (en) 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US20030222976A1 (en) * 2002-02-04 2003-12-04 Mel Duran Methods and apparatus using algorithms for image processing
DE10331593A1 (de) * 2003-07-11 2005-02-03 Leica Microsystems Semiconductor Gmbh Verfahren zur Defektsegmentierung in Strukturen auf Halbleitersubstraten
JP2007071678A (ja) * 2005-09-07 2007-03-22 Hitachi High-Technologies Corp 検査システム
US7904845B2 (en) 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
JP5047051B2 (ja) 2008-05-02 2012-10-10 キヤノン株式会社 画像処理装置及び画像符号化方法
JP2010256242A (ja) 2009-04-27 2010-11-11 Hitachi High-Technologies Corp 欠陥検査装置及び欠陥検査方法
US20110040660A1 (en) * 2009-08-10 2011-02-17 Allison Damon R Monitoring And Management Of Lost Product
JP5364002B2 (ja) * 2010-01-25 2013-12-11 株式会社Pfu 画像読取装置
US8306274B2 (en) * 2010-05-25 2012-11-06 The Aerospace Corporation Methods for estimating peak location on a sampled surface with improved accuracy and applications to image correlation and registration
JP6135059B2 (ja) 2011-08-16 2017-05-31 株式会社リコー 画像検査装置、画像形成装置、画像検査装置の制御方法及び画像形成システム
JP5767963B2 (ja) * 2011-12-28 2015-08-26 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
EP2733917B1 (en) * 2012-11-16 2020-03-11 Canon Kabushiki Kaisha Color image processing apparatus, control method therefor, and program for executing image processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304842A (ja) * 2000-04-25 2001-10-31 Hitachi Ltd パターン検査方法及びその装置並びに基板の処理方法
JP2005092826A (ja) * 2003-09-19 2005-04-07 Dainippon Printing Co Ltd 品質レベル判定表示装置および方法
JP2007173912A (ja) * 2005-12-19 2007-07-05 Glory Ltd 印刷検査装置
JP2012103225A (ja) * 2010-11-15 2012-05-31 Ricoh Co Ltd 検査装置、検査方法、検査プログラム、及びそのプログラムを記録した記録媒体
JP2013120170A (ja) * 2011-12-09 2013-06-17 Canon Inc 検査装置
JP2013080524A (ja) * 2013-02-07 2013-05-02 Hideki Kawabata 画像比較装置および画像比較プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022058701A (ja) * 2018-01-31 2022-04-12 コニカミノルタ株式会社 画像形成装置
JP2022163104A (ja) * 2018-01-31 2022-10-25 コニカミノルタ株式会社 画像形成装置
JP2020026091A (ja) * 2018-08-13 2020-02-20 コニカミノルタ株式会社 画像検査装置、画像形成装置、及びプログラム
JP2022140540A (ja) * 2018-08-13 2022-09-26 コニカミノルタ株式会社 画像検査装置、画像検査プログラム、画像検査システム、及び画像検査方法

Also Published As

Publication number Publication date
KR20150104022A (ko) 2015-09-14
CN104982026A (zh) 2015-10-14
US9495736B2 (en) 2016-11-15
US20150220809A1 (en) 2015-08-06
IN2014DN06211A (ja) 2015-10-23
US20150221077A1 (en) 2015-08-06
CN104982026B (zh) 2018-06-05
US9542737B2 (en) 2017-01-10
EP3076366A4 (en) 2017-05-24
EP3076366A1 (en) 2016-10-05
JP6470567B2 (ja) 2019-02-13
WO2015114833A1 (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
JP6470567B2 (ja) 画像検査装置及び画像検査プログラム
JP6416531B2 (ja) 画像検査装置及び画像検査プログラム
CN105354281B (zh) 图像检查装置和图像检查方法
EP2902966A1 (en) Image inspecting apparatus and image inspecting program
US9088673B2 (en) Image registration
EP2713596B1 (en) Image evaluation device, image evaluation method and program storage medium
US6873435B1 (en) Print having encoded metadata coupled thereto
CN101539996B (zh) 图像处理方法及图像处理装置、图像形成装置
CN101388073B (zh) 图像核对装置、图像核对方法及图像数据输出处理装置
EP2713597B1 (en) Image evaluation device, image evaluation method and program storage medium
JP6140665B2 (ja) 色変換テーブル作成装置及び方法、並びにプログラム
CN105073426B (zh) 测定装置、测定方法、信息处理装置和测定程序
US8976428B2 (en) Image information managing method, image information managing apparatus and image information managing system for preparing and measuring an evaluation chart
CN114863147B (zh) 一种拼大版印刷图像的智能比对方法、系统及其应用
JP2017032572A (ja) 画像評価装置、画像評価方法、及びプログラム
JP5960320B2 (ja) 画像評価装置、画像評価方法、及びプログラム
JP7171269B2 (ja) 画像照合システム、画像照合方法、及びプログラム
WO2020251579A1 (en) Printing management
JP3549478B2 (ja) 紙メディアの記載修正検出支援方法および支援装置
Goff Digital examination techniques and Considerations
JP2010102639A (ja) 画像処理システム、画像処理方法、および画像処理プログラム
FR3090865A1 (fr) Procédé de contrôle colorimétrique et spectrométrique sur un support physique pourvu d’une mire
JP2006065486A (ja) 印刷データ編集装置、印刷システム、印刷データ編集方法、およびプログラム
JP2008258951A (ja) 校正システム、校正方法、プログラム、記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190118

R150 Certificate of patent or registration of utility model

Ref document number: 6470567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250