JP6325520B2 - むら検査システム、むら検査方法およびむら検査プログラム - Google Patents

むら検査システム、むら検査方法およびむら検査プログラム Download PDF

Info

Publication number
JP6325520B2
JP6325520B2 JP2015504227A JP2015504227A JP6325520B2 JP 6325520 B2 JP6325520 B2 JP 6325520B2 JP 2015504227 A JP2015504227 A JP 2015504227A JP 2015504227 A JP2015504227 A JP 2015504227A JP 6325520 B2 JP6325520 B2 JP 6325520B2
Authority
JP
Japan
Prior art keywords
image
unevenness
luminance
inspection
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015504227A
Other languages
English (en)
Other versions
JPWO2014136561A1 (ja
Inventor
冨岡 聡
聡 冨岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Publication of JPWO2014136561A1 publication Critical patent/JPWO2014136561A1/ja
Application granted granted Critical
Publication of JP6325520B2 publication Critical patent/JP6325520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/506Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by screens, monitors, displays or CRTs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

本開示は、カラー映像等におけるむら検査(色むら検査および輝度むら検査)を行うむら検査システム、むら検査方法およびむら検査プログラムに関する。
従来、カラー映像表示が可能なCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等を用いた表示装置の量産工程における色むらや輝度むらの検査は、主に、限度見本との比較による官能検査を用いて行われている。この手法は、検査対象としての表示装置の表示画面を人間が直接視認することにより行われるため、実際の使用状態に近い検査であり、かつ簡便な手法である。
ところが、この手法では、個々の検査員の能力に頼る部分が大きいことから、検査員間の個人差や検査員の疲労の度合いなどによって検査品質が左右されてしまい、安定した検査をすることが困難である。
そこで、検査員の能力に頼らない客観的なむら検査の手法が、いくつか提案されている(例えば、特許文献1〜5および非特許文献1〜3)。
特開平1−225296号公報 特開平10−2800号公報 特開2003−57146号公報 特開平10−96681号公報 特開2007−198850号公報
SID06 DIGEST 31.1 Information Display 2007 1 pp2-6 Proc. IS&T and SID Ninth Color Imaging Conference, 2001: p153-157.
ところで、このようなむら検査(色むら検査および輝度むら検査)では、一般に、更なる適切な手法が求められており、そのような手法の提案が望まれる。
したがって、適切なむら検査を行うことが可能なむら検査システム、むら検査方法およびむら検査プログラムを提供することが望ましい。
本開示のむら検査システムは、検査対象の撮像画像を取得するための撮像部と、撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する画像生成部と、色むら検査用画像および輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出部と、算出された評価パラメータを用いてむら検査を行う検査部とを備えたものである。上記画像生成部は、撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、これらの色成分画像および輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、このフィルタ処理後の色成分画像および輝度成分画像に基づいて色むら検査画像および輝度むら検査用画像をそれぞれ生成する。上記算出部は、色および輝度の双方に対するむら視感度を考慮して、評価パラメータを算出する。また、上記画像生成部は、上記画像分離処理の際に、撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる上記色成分画像と、(XL,YL,ZL)信号からなる上記輝度成分画像とを、それぞれ生成する。
本開示のむら検査方法は、検査対象の撮像画像を取得するステップと、撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、色むら検査用画像および輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、算出した評価パラメータを用いてむら検査を行う検査ステップとを含むようにしたものである。上記生成ステップでは、撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、これらの色成分画像および輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、このフィルタ処理後の色成分画像および輝度成分画像に基づいて色むら検査画像および輝度むら検査用画像をそれぞれ生成する。上記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、評価パラメータを算出する。また、上記生成ステップでは、上記画像分離処理の際に、撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる上記色成分画像と、(XL,YL,ZL)信号からなる上記輝度成分画像とを、それぞれ生成する。
本開示のむら検査プログラムは、検査対象の撮像画像を取得するステップと、撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、色むら検査用画像および輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、算出した評価パラメータを用いてむら検査を行う検査ステップとをコンピュータに実行させるようにしたものである。上記生成ステップでは、撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、これらの色成分画像および輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、このフィルタ処理後の色成分画像および輝度成分画像に基づいて色むら検査画像および輝度むら検査用画像をそれぞれ生成する。上記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、評価パラメータを算出する。また、上記生成ステップでは、上記画像分離処理の際に、撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる上記色成分画像と、(XL,YL,ZL)信号からなる上記輝度成分画像とを、それぞれ生成する。
本開示の一実施の形態のむら検査システム、むら検査方法およびむら検査プログラムでは、検査対象の撮像画像に基づいて色むら検査用画像および輝度むら検査用画像がそれぞれ生成され、これらの色むら検査用画像および輝度むら検査用画像の双方を用いて評価パラメータが算出され、この評価パラメータを用いてむら検査が行われる。ここで、評価パラメータを算出する際には、色および輝度の双方に対するむら視感度を考慮して算出される。これにより、そのような視感度を考慮せずにむら検査を行う場合と比べ、人間の感覚により合致した客観的なむら検査(色むら検査および輝度むら検査)が実現される。また、色むら検査用画像および輝度むら検査用画像を生成する際には、撮像画像に対して色成分と輝度成分との画像分離処理が行われた後に、視覚の空間周波数特性を考慮したフィルタ処理が行われる。これにより、このような画像分離処理を行わずに上記フィルタ処理を行う場合とは異なり、偽の色むら成分や偽の輝度むら成分が発生してしまうことが回避され、より正確なむら検査が実現される。
本開示の一実施の形態のむら検査システム、むら検査方法およびむら検査プログラムによれば、色むら検査用画像および輝度むら検査用画像の双方を用いて評価パラメータを算出する際に、色および輝度の双方に対するむら視感度を考慮して算出するようにしたので、人間の感覚により合致した客観的なむら検査を実現することができる。また、色むら検査用画像および輝度むら検査用画像を生成する際には、色成分と輝度成分との画像分離処理を行った後に視覚の空間周波数特性を考慮したフィルタ処理を行うようにしたので、偽の色むら成分や偽の輝度むら成分の発生を回避し、より正確なむら検査を実現することができる。よって、適切なむら検査を行うことが可能となる。
本開示の一実施の形態に係るむら検査システムの概略構成例を検査対象としての表示装置と共に表す模式図である。 図1に示した画像処理装置において行うむら検査処理の一例を表す流れ図である。 図2に示したフィルタ処理・色むら検査用画像の生成の際のステップの詳細を表す流れ図である。 図2に示した彩度の算出手法の一例を表す特性図である。 色グループごとの色むら領域の面積率と色むらの主観評価値との関係の一例を表す特性図である。 色むら領域における最大彩度と色むらの主観評価値との関係の一例を表す特性図である。 色むら検査処理用に作成される画像の一例を表す図である。 色むら検査処理用に作成される画像の他の例を表す図である。 色むら検査処理用に作成される画像の他の例を表す図である。 色むら検査処理用に作成される画像の他の例を表す図である。 彩度エッジ領域および輝度エッジ領域の定義について説明するための模式図である。 図2に示したフィルタ処理・輝度むら検査用画像の生成の際のステップの詳細を表す流れ図である。 輝度むら検査処理用に作成される画像の一例を表す図である。 輝度むら検査処理用に作成される画像の他の例を表す図である。 輝度むら検査処理用に作成される画像の他の例を表す図である。 輝度むら検査処理用に作成される画像の他の例を表す図である。 実施例1に係る各種の主観評価値と色むら評価値との関係を表す特性図である。 実施例1に係る各種の主観評価値と輝度むら評価値との関係を表す特性図である。 実施例1に係る各種の主観評価値と総合評価値との関係を表す特性図である。 実施例2に係る評価条件について説明するための図である。 実施例2に係る評価条件について説明するための他の図である。 実施例2に係る輝度エッジ画像を表す図である。 比較例および実施例3に係る彩度エッジ画像および2値化色むら画像を表す図である。 比較例および実施例3に係る輝度エッジ画像および2値化輝度むら画像を表す図である。 単位視角当たりの変化量をエッジ閾値として用いた場合の効果について説明するための図である。 変形例1に係るむら検査システムの概略構成例を検査対象と共に表す模式図である。 変形例2に係るむら検査システムの概略構成例を検査対象と共に表す模式図である。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態(色成分・輝度成分の画像分離処理後にフィルタ処理を行うむら検査例)
2.変形例1,2(画像処理機能をサーバ内に設けてネットワークに接続した構成例)
3.その他の変形例
<実施の形態>
[構成]
図1は、本開示の一実施の形態に係るむら検査システム(むら検査システム1)の概略構成例を、検査対象としての表示装置4と共に模式的に表したものである。このむら検査システム1は、表示装置4等において表示されるカラー映像について、色むらの検査および輝度むらの検査を含めた総合的なむら検査を行うものであり、画像処理装置2および撮像装置3(撮像部)を備えている。ここで、表示装置4としては、例えば、CRTやLCD、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)ディスプレイなどの各種のディスプレイを適用することが可能である。なお、本開示の一実施の形態に係るむら検査方法およびむら検査プログラムは、本実施の形態のむら検査システム1において具現化されるため、以下併せて説明する。
(撮像装置3)
撮像装置3は、上記したむら検査における検査対象である、表示装置4の表示画面(カラー表示画面)を撮像するためのものである。この撮像装置3は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などからなる撮像素子を用いて構成されている。撮像装置3による撮像により得られた撮像画像(撮像データDin)は、接続配線10を介して画像処理装置2へ出力されるようになっている。なお、図1では、接続配線10が有線の配線である場合について示しているが、撮像装置3と画像処理装置2との間を無線で接続するようにしてもよい。
(画像処理装置2)
画像処理装置2は、撮像装置3から出力される撮像データDinに基づいてむら検査を行い、その検査結果としての検査結果データDoutを出力するものであり、例えば図に示したようなPC(Personal Computer)などを用いて構成されている。この画像処理装置2は、画像生成部21、パラメータ算出部22(算出部)および検査処理部23(検査部)を有している。
画像生成部21は、撮像データDinに基づいて所定の画像処理を行うことにより、後述する色むら検査用画像および輝度むら検査用画像をそれぞれ生成するものである。具体的には、色むら検査用画像として、ここでは後述する、色むら画像(色むら画像データD11)、彩度エッジ画像(彩度エッジ画像データD12)および2値化色むら画像(2値化色むら画像データD13)をそれぞれ生成する。また、輝度むら検査用画像として、ここでは後述する、輝度むら画像(輝度むら画像データD21)、輝度エッジ画像(輝度エッジ画像データD22)および2値化輝度むら画像(2値化輝度むら画像データD23)をそれぞれ生成する。このようにして色むら検査用画像および輝度むら検査用画像を生成する際に、画像生成部21は、後述する色成分と輝度成分との画像分離処理を行った後に、視覚の空間周波数特性を考慮した所定のフィルタ処理を行う。また、画像生成部21は、色による色むら視感度の相違を考慮した補正処理(後述するゲイン補正処理)を行いつつ、上記した色むら検査用画像を生成するようになっている。なお、この画像生成部21における画像処理(画像生成処理)の詳細については後述する。
パラメータ算出部22は、画像生成部21により生成された色むら検査用画像(上記した各種の画像データD11〜D13)および輝度むら検査用画像(上記した各種の画像データD21〜D23)の双方を用いて、後述するむら検査の際の各種の評価パラメータを算出するものである。具体的には、色むら検査用画像(各種の画像データD11〜D13)を用いて、後述する色むら評価値Ec(色むらパラメータ)を算出する。また、輝度むら検査用画像(各種の画像データD21〜D23)を用いて、後述する輝度むら評価値El(輝度むら評価パラメータ)を算出する。そして、これらの色むら評価値Ecと輝度むら評価値Elとを重み付け加算することにより、上記した評価パラメータとしての総合評価値E(総合評価パラメータ)を算出する。この際、本実施の形態では、パラメータ算出部22は、色および輝度の双方に対するむら視感度を考慮して、総合評価値Eを算出するようになっている。なお、このパラメータ算出部22における算出処理の詳細についても後述する。
検査処理部23は、パラメータ算出部22において算出された総合評価値Eを用いて、検査対象である表示装置4の表示画面についてのむら検査(色むらの検査および輝度むらの検査を含めた総合的なむら検査)を行うものである。これにより、その検査結果としての検査結果データDoutが、検査処理部23から出力されるようになっている。なお、この検査処理部23におけるむら検査処理の詳細についても後述する。
[作用・効果]
続いて、本実施の形態のむら検査システム1の作用および効果について説明する。
(1.基本動作)
このむら検査システム1では、撮像装置3によって検査対象である表示装置4の表示画面が撮像されると、撮像画像(撮像データDin)が得られる。この撮像データDinは、接続配線10を介して画像処理装置2内の画像生成部21へ入力される。
画像生成部21は、撮像データDinに基づいて所定の画像処理を行うことにより、色むら検査用画像(各種の画像データD11〜D13)および輝度むら検査用画像(各種の画像データD21〜D23)をそれぞれ生成する。次いで、パラメータ算出部22は、これらの色むら検査用画像および輝度むら検査用画像の双方を用いて、むら検査の際の評価パラメータである統合評価値Eを算出する。そして、検査処理部23は、この総合評価値Eを用いて、検査対象である表示装置4の表示画面についてのむら検査を行う。これにより、その検査結果としての検査結果データDoutが、検査処理部23から出力される。
(2.むら検査処理の詳細)
次に、本実施の形態のむら検査システム1における画像処理装置2によるむら検査処理について、詳細に説明する。図2は、この画像処理装置2において行うむら検査処理の一例を流れ図で表したものである。
(2−1.前処理)
まず、画像生成部21は、上記したように、撮像装置3から接続配線10を介して、検査対象の撮像画像(撮像データDin)を取得する(図2のステップS101)。
次に、画像生成部21は、撮像データDinの信号を、三刺激値X,Y,Zからなる(Xi,Yi,Zi)信号に変換する(ステップS102)。具体的には、例えば撮像データDinがsRGB規格の映像信号である場合、以下の(1)式を用いて変換を行う。また、他の規格の映像信号の場合も、同様に規格に従って変換を行うことにより、(Xi,Yi,Zi)信号を生成する。なお、ここでは、撮像データDinの信号を(Xi,Yi,Zi)信号に変換する場合について説明しているが、撮像装置3によって直接、(Xi,Yi,Zi)信号を取得するようにしてもよい。
続いて、画像生成部21は、この(Xi,Yi,Zi)信号に対して、前処理としての所定のノイズ除去処理を行う(ステップS103)。具体的には、例えばMedian Filter等の空間フィルタを用いることにより、撮像装置3の種類や撮像条件に起因したノイズを除去する処理を行う。ただし、場合によっては、そのようなノイズ除去処理を行わないようにしてもよい。また、撮像データDinがsRGB規格の映像信号である場合には、この撮像データDinに対して直接ノイズ除去処理を行うようにしてもよい。
(画像分離処理)
そして、画像生成部21は、このようなノイズ除去処理後の(Xi,Yi,Zi)信号に対して、以下説明する色成分と輝度成分との画像分離処理を行うことにより、色成分画像(色成分画像データD10)および輝度成分画像(輝度成分画像データD20)をそれぞれ生成する(ステップS104)。
具体的には、画像生成部21は、ノイズ除去処理後の(Xi,Yi,Zi)信号に基づいて、以下のようにして色成分画像データD10を生成する。すなわち、ノイズ除去処理後の(Xi,Yi,Zi)信号から、色分布情報を保持しつつ輝度分布情報を欠落させることにより、(XC,YC,ZC)信号からなる色成分画像データD10を生成する。このとき、輝度分布情報を欠落させるため、YCを算出する際には、Yiの平均値または最頻値を全ての撮像画素(表示画素)に対して付与するようにする。ただし、付与する値としては、Yiの平均値または最頻値には限られず、一定の値であればよい。また、色分布情報を保持するため、XC,ZCを算出する際には、以下の(2)式を用いて(X,Y,Z)から算出される(a,b)の値が変わらないように、上記したYcを用いて算出する。
ここで、(a,b)の値とは、CIE(国際照明委員会)により1976年に勧告されたCIE1976 L色空間(CIELAB色空間)における値である。このCIELAB色空間は、均等色空間として勧告されており、人間の知覚的な色の見えに対して均等性を考慮した空間となっている。また、(2)式中のXn,Yn,Znは、完全拡散反射面の三刺激値である。
より具体的には、画像生成部21は以下の(3)式および(4)式を用いて、XC,ZCを算出する。
・a(Xi,Yi,Zi)=a(XC,YC,ZC)となるように、
500×[f(Xi/Xn)−f(Yi/Yn)]
=500×[f(XC/Xn)−f(YC/Yn)] ……(3)
・b(Xi,Yi,Zi)=b(XC,YC,ZC)となるように、
200×[f(Yi/Yn)−f(Zi/Zn)]
=200×[f(YC/Yn)−f(ZC/Zn)] ……(4)
一方、画像生成部21は、ノイズ除去処理後の(Xi,Yi,Zi)信号に基づいて、以下のようにして輝度成分画像データD20を生成する。すなわち、ノイズ除去処理後の(Xi,Yi,Zi)信号から、輝度分布情報を保持しつつ色分布情報を欠落させることにより、(XL,YL,ZL)信号からなる輝度成分画像データD20を生成する。このとき、輝度分布情報を保持するため、YLを算出する際には、Yiの値をそのまま全ての撮像画素(表示画素)に対して付与するようにする。また、色分布情報を欠落させるため、XL,ZLを算出する際には、上記した(a,b)の値が0(ゼロ)となるように、上記したYLを用いて算出する。
より具体的には、画像生成部21は以下の(5)式および(6)式を用いて、XL,ZLを算出する。
・a(XL,YL,ZL)=0となるように、
500×[f(XL/Xn)−f(YL/Yn)]=0 ……(5)
・b(XL,YL,ZL)=0となるように、
200×[f(YL/Yn)−f(ZL/Zn)]=0 ……(6)
(2−2.フィルタ処理・色むら検査用画像の生成)
続いて、画像生成部21は、このようにして生成された色成分画像(色成分画像データD10)に対して所定のフィルタ処理を行うと共に、フィルタ処理後の色成分画像データD10に基づいて色むら検査用画像(各種の画像データD11〜D13)を生成する(ステップS11)。
図3は、このフィルタ処理・色むら検査用画像の生成の際のステップの詳細(ステップS111〜S119)を、流れ図で表わしたものである。
(フィルタ処理)
このステップでは、まず、画像生成部21は、(XC,YC,ZC)信号からなる色成分画像データD10に対して、以下の(7)式により規定される(w/k,r/g,b/y)変換を行う(図3のステップS111)。これにより、(X,Y,Z)座標から(w/k,r/g,b/y)座標への座標変換が行われる。そして、このような座標変換後の(w/k,r/g,b/y)に対し、3つの軸(成分)ごとにそれぞれ2次元フーリエ変換を行い、空間周波数に展開する。なお、(w/k)は(白/黒)を意味し、(r/g)は(赤/緑)を意味し、(b/y)は(青/黄)を意味している。
次いで、画像生成部21は、2次元フーリエ変換後のデータに対して、視覚の空間周波数特性(Contrast Sensitivity Factor)を考慮したフィルタ処理を行う(ステップS112)。ここで、この視覚の空間周波数特性は、主観評価実験によって求められたものであり、人間の物体認識における反対色空間によって規定されていると共に、(w/k,r/g,b/y)の3つの軸に対応したものとなっている。このような視角の空間周波数特性を考慮したフィルタを行うことにより、画像を人間の感性により近づける処理が可能となる。なお、このフィルタ処理後は、2次元逆フーリエ変換を行うことにより、(w/k,r/g,b/y)座標へと戻す。
次に、画像生成部21は、フィルタ処理後の(w/k,r/g,b/y)信号に対して、以下の(8)式により規定される(X,Y,Z)変換を行う(ステップS113)。これにより、(w/k,r/g,b/y)座標から(X,Y,Z)座標への座標変換が行われる。
このようにして本実施の形態では、撮像画像データDinに対して色成分と輝度成分との画像分離処理が行われた後に、視覚の空間周波数特性を考慮したフィルタ処理が行われる。これにより、このような画像分離処理を行わずに上記フィルタ処理を行う場合とは異なり、偽の色むら成分が発生してしまうことが回避され、より正確なむら検査が実現される。
ここで、このような偽の色むら成分が発生するのは、以下の理由によるものである。すなわち、上記したフィルタ処理の際の空間周波数特性において、輝度成分の軸である(w/k)と色成分の軸である(r/g),(b/y)とでは、その低周波特性が大きく異なっている。そして、前述した(2)式から分かるように、Lは基本的にYのみから算出される一方、(a,b)の算出にはYの値も使用される。このため、視角の空間周波数特性が大きく異なるフィルタ処理が施された(w/k)の影響を大きく受けたY値を用いると、元々存在しなかった色度分布情報が生成され、画像に偽の色むらが発生し易くなるのである。そこで本実施の形態では、上記したように画像分離処理を行った後に視覚の空間周波数特性を考慮したフィルタ処理を行うことで、このような色成分と輝度成分とでの空間周波数特性(低周波特性)の相違に起因した、偽の色むら成分の発生を回避するようにしている。
続いて、画像生成部21は、上記した(X,Y,Z)変換により得られる(X,Y,Z)信号に基づいて、前述した(2)式を用いることにより、前述した(a,b)を算出する(ステップS114)。
次に、画像生成部21は、各撮像画素において、色による色むら視感度の相違を考慮した補正処理(ゲイン補正処理)を行いつつ、前述した各種の色むら検査用画像を生成する。詳細には、各撮像画素においてそのような補正処理を行いつつ、彩度Cを算出する。具体的には、まず、画像生成部21は、ステップS114において算出したaに対し、色むら視感度の相違を考慮した補正処理として、以下の(9)式により表わされるゲイン補正処理(ゲインαを用いた補正処理)を行う(ステップS115)。そして、画像生成部21は、ステップS114,S115において算出した(a’,b)を用いて、以下の(10)式により、彩度Cを撮像画素ごとに算出する(ステップS116)。
’=(α×a
(a>0のとき:ゲインα>1、a≦0のとき:ゲインα=1) ……(9)
C={(a’)+(b1/2
={(α×a+(b1/2 ……(10)
このようなゲイン補正処理は、例えば図4に示したような(a,b)座標系を考えると、(a,b)=(a1,b1)の点を、(a,b)=(α×a1,b1)の点に変換(補正)することに対応する。これにより、ゲイン補正処理前後における彩度Cを示す曲線は、図4中に示したようになる。すなわち、ゲイン補正処理前における彩度Cを示す曲線は円形状となっているのに対し、ゲイン補正処理後における彩度Cを示す曲線は、a>0の領域において、図4中の矢印で示したように、円形状ではなく惰円形状となっている。
ここで、このようなゲイン補正処理を行った後に彩度Cを算出するようにしているのは、以下の理由によるものである。すなわち、人間が感じる色むらの視感度(色むら視感度)が、色むらを構成する色の種類に応じて変化してしまうためである。
具体的には、まず、色むら視感度(ME値;人間によるむら(ここでは色むら)の主観評価値)には、色グループごとの色むら領域の面積率(検査対象の全領域(表示画面内の全ての表示画素領域)に対する色グループごとの色むら領域の面積率)によって、差異が生じる。すなわち、例えば図5Aに示したように、赤(R)系、オレンジ(O)系およびマゼンダ(M)系の色に対応する色グループでの面積率ではそれぞれ、黄緑(YG)系、緑(G)系および水色(LB)系の色に対応する色グループでの面積率と比べ、同一の面積率の値におけるME値(色むら視感度)が高くなる。
また、色むら視感度(ME値)には、後述する最大彩度Cmax(色むら領域の全領域における最大彩度)を示す色が属する色グループによっても、差異が生じる。すなわち、例えば図5Bに示したように、赤(R)系、オレンジ(O)系またはマゼンダ(M)系の色に対応する色グループに属する色が最大彩度Cmaxを示す場合には、黄緑(YG)系、緑(G)系または水色(LB)系の色に対応する色グループに属する色が最大彩度Cmaxを示す場合と比べ、同一の最大彩度Cmaxの値におけるME値(色むら視感度)が高くなる。
そこで、本実施の形態では画像生成部21において、上記したような色による色むら視感度の相違を考慮したゲイン補正処理を行いつつ、彩度Cを算出している。具体的には、色むら視感度が相対的に高い色グループ(赤(R)系、オレンジ(O)系およびマゼンダ(M)系の色に対応する色グループ)に対応するa>0の領域について、選択的にaの値を増加させる補正(ゲイン補正)を行う。これにより、色による色むら視感度の相違を考慮せずにむら検査(色むら検査)を行う場合と比べ、人間の感覚により合致した客観的なむら検査が実現される。
(色むら検査用画像の生成)
次に、画像生成部21は、このようにして算出された彩度Cを用いて、撮像画像から、色むら検査用画像の1つである色むら画像(色むら画像データD11)を生成する(ステップS117)。すなわち、撮像画素ごとの彩度Cの値からなる色むら画像を生成する。これにより、例えば図6Aに示したような、色むら画像データD11からなる色むら画像が生成される。
次いで、画像生成部21はまた、算出された彩度Cを用いて、撮像画像から、色むら検査用画像の1つである彩度エッジ画像(彩度エッジ画像データD12)を生成する(ステップS118)。具体的には、例えばSobelフィルタ処理等を行うことによって彩度エッジ領域を特定し、彩度エッジ画像を生成する。これにより、例えば図6Bに示したような、彩度エッジ画像データD12からなる彩度エッジ画像が生成される。
ここで、このときに特定される彩度エッジ領域とは、例えば、検査対象(表示画面)における単位長さ当たりの彩度変化量(彩度エッジ強度)、または、単位視角当たりの彩度変化量が、所定の閾値(彩度エッジ閾値)以上となっている領域として定義される。具体的には、例えば図7(A)に示したように、人間が感じる色むらの感度に合うように表示画面40上の単位長さ当たりに対して定められた彩度エッジ閾値(例えば、(dC/mm)=2.0)以上となっている領域(例えば図7(A)中の領域Ae)を、彩度エッジ領域として特定する。あるいは、例えば図7(B)に示したように、人間が感じる色むらの感度に合うように観察者(眼Ey)による単位視角θ当たりに対して定められた彩度エッジ閾値(例えば、(dC/arcmin)=0.873)以上となっている領域(例えば図7(B)中の領域Ae)を、彩度エッジ領域として特定する。なお、このときの視角θとしては、例えば以下のようにして定義されたものを用いるのが望ましい。すなわち、人間の視力が1.0の場合には、人間が判別可能な角度の分解能は、1度の1/60である1分と定義されていることから、このような人間の視覚特性を考慮して1分を用いて定義されたものを用いるのが望ましい。この点は以下同様であるが、このような定義に限定されるものではない。
続いて、画像生成部21は更に、生成された色むら画像(色むら画像データD11)を用いて2値化色むら画像(2値化色むら画像データD13)を生成し、色むら領域を特定する(ステップS119)。この際、各撮像画素における彩度Cの大きさに基づいて、色むら領域を特定する。具体的には、彩度Cの値が所定の閾値(例えば、2.0)以上である撮像画素については、色むら領域に属する撮像画素であると判断する一方、彩度Cの値が上記閾値未満である撮像画素については、色むら領域に属しない撮像画素であると判断することにより、色むら領域を特定する。これにより、例えば図6Cに示した2値化色むら画像(2値化色むら画像データD13)のように、色むら領域が特定される。なお、この図6Cに示した2値化色むら画像では、色むら領域が赤表示されると共に、それ以外の領域が黒表示されている(2値化画像となっている)。
(2−3.色むら評価値Ecの算出)
続いて、パラメータ算出部22は、以下のようにして色むら評価値Ecを算出する(図2のステップS121〜S122)。
まず、パラメータ算出部22は、上記のようにして生成された各種の色むら検査用画像(色むら画像データD11、彩度エッジ画像データD12および2値化色むら画像データD13)を用いて、以下説明する各種のパラメータを算出する(ステップS121)。
具体的には、パラメータ算出部22は、彩度エッジ画像(彩度エッジ画像データD12)を用いて、検査対象の全領域(表示画面内の全ての表示画素領域)に対する彩度エッジ領域の面積率である、彩度エッジ面積率Sceを算出する。
また、パラメータ算出部22は、2値化色むら画像(2値化色むら画像データD13)を用いて、検査対象の全領域(表示画面内の全ての表示画素領域)に対する色むら領域の面積率である、色むら面積率Scを算出する。
更に、パラメータ算出部22は、色むら画像(色むら画像データD11)を用いて、色むら領域の全領域における最大彩度Cmaxを算出する。例えば、図6Aに示した色むら画像の例では、図6D中に「×」印で示した撮像画素において、最大彩度Cmaxを示している。
そして、パラメータ算出部22は、このようにして算出された、彩度エッジ面積率Sceと色むら面積率Scと最大彩度Cmaxとを重み付け加算することにより、色むら評価値Ecを算出する(ステップS122)。具体的には、パラメータ算出部22は、例えば以下の(11)式を用いることにより、色むら評価値Ecを算出する。なお、この(11)式において、定数(係数)k1,k2,k3はそれぞれ重み付け係数を表し、c1は所定の定数(0(ゼロ)を含む)を表している。
Ec=k1×Sce+k2×Sc+k3×Cmax+c1 ……(11)
(2−4.フィルタ処理・輝度むら検査用画像の生成)
また、画像生成部21は、前述のステップS104(画像分離処理)において生成された輝度成分画像(輝度成分画像データD20)に対して、以下の処理を行う。すなわち、前述した所定のフィルタ処理を行うと共に、フィルタ処理後の輝度成分画像データD20に基づいて輝度むら検査用画像(各種の画像データD21〜D23)を生成する(ステップS13)。
図8は、このフィルタ処理・輝度むら検査用画像の生成の際のステップの詳細(ステップS131〜S138)を、流れ図で表わしたものである。
(フィルタ処理)
このステップでは、まず、画像生成部21は、(XL,YL,ZL)信号からなる輝度成分画像データD20に対して、前述した(7)式により規定される(w/k,r/g,b/y)変換を行う(図8のステップS131)。これにより、(X,Y,Z)座標から(w/k,r/g,b/y)座標への座標変換が行われる。そして、このような座標変換後の(w/k,r/g,b/y)に対し、3つの軸ごとにそれぞれ2次元フーリエ変換を行い、空間周波数に展開する。
次いで、画像生成部21は、2次元フーリエ変換後のデータに対して、前述したステップS112と同様にして、視覚の空間周波数特性を考慮したフィルタ処理を行う(ステップS132)。なお、このフィルタ処理後は、2次元逆フーリエ変換を行うことにより、(w/k,r/g,b/y)座標へと戻す。
次に、画像生成部21は、フィルタ処理後の(w/k,r/g,b/y)信号に対して、前述した(8)式により規定される(X,Y,Z)変換を行う(ステップS133)。これにより、(w/k,r/g,b/y)座標から(X,Y,Z)座標への座標変換が行われる。
ここでも本実施の形態では、撮像画像データDinに対して色成分と輝度成分との画像分離処理が行われた後に、視覚の空間周波数特性を考慮したフィルタ処理が行われる。これにより、このような画像分離処理を行わずに上記フィルタ処理を行う場合とは異なり、前述した色成分と輝度成分とでの空間周波数特性(低周波特性)の相違に起因した偽の輝度むら成分が発生してしまうことが回避され、より正確なむら検査が実現される。
次に、画像生成部21は、上記した(X,Y,Z)変換により得られる(X,Y,Z)信号に基づいて、L(明度)を算出する(ステップS134)。具体的には、画像生成部21は前述した(2)式を用いることにより、Lを撮像画素ごとに算出する。
次いで、画像生成部21は、白色画像の全領域(ここでは、表示装置4の表示画面に表示された白色画像の全ての表示画素領域)におけるLの平均値である、平均輝度Laveを算出する(ステップS135)。
(輝度むら検査用画像の生成)
次に、画像生成部21は、このようにして算出されたLおよび平均輝度Laveを用いて、撮像画像から、輝度むら検査用画像の1つである輝度むら画像(輝度むら画像データD21)を生成する(ステップS136)。具体的には、撮像画素ごとのLと平均輝度Laveとの差分値の絶対値である輝度差ΔL(=|L−Lave|)を撮像画素ごとに算出し、この輝度差ΔLからなる輝度むら画像を生成する。これにより、例えば図9Aに示したような、輝度むら画像データD21からなる輝度むら画像が生成される。なお、このとき、上記のように輝度差ΔLを用いて輝度むら画像を生成する代わりに、Lの値を用いて輝度むら画像を生成するようにしてもよい。
次いで、画像生成部21はまた、算出されたLを用いて、撮像画像から、輝度むら検査用画像の1つである輝度エッジ画像(輝度エッジ画像データD22)を生成する(ステップS137)。例えばSobelフィルタ処理等を行うことによって輝度エッジ領域を特定し、輝度エッジ画像を生成する。これにより、例えば図9Bに示したような、輝度エッジ画像データD22からなる輝度エッジ画像が生成される。
ここで、このときに特定される輝度エッジ領域とは、例えば、検査対象(表示画面)における単位長さ当たりの輝度変化量(輝度エッジ強度)、または、単位視角当たりの輝度変化量が、所定の閾値(輝度エッジ閾値)以上となっている領域として定義される。具体的には、ここでも例えば図7(A)に示したように、表示画面40上の単位長さ当たりに対して定められた輝度エッジ閾値(例えば、(dL/mm)=0.5)以上となっている領域(例えば図7(A)中の領域Ae)を、輝度エッジ領域として特定する。あるいは、例えば図7(B)に示したように、観察者(眼Ey)による単位視角θ当たりに対して定められた輝度エッジ閾値(例えば、(dL/arcmin)=0.218)以上となっている領域(例えば図7(B)中の領域Ae)を、輝度エッジ領域として特定する。
続いて、画像生成部21は更に、生成された輝度むら画像(輝度むら画像データD21)を用いて2値化輝度むら画像(2値化輝度むら画像データD23)を生成し、輝度むら領域(明暗部領域)を特定する(ステップS138)。この際、各撮像画素における輝度差ΔLの大きさに基づいて、輝度むら領域を特定する。具体的には、輝度差ΔLの値が所定の閾値(例えば、0.3)以上である撮像画素については、輝度むら領域に属する撮像画素であると判断する一方、輝度差ΔLの値が上記閾値未満である撮像画素については、輝度むら領域に属しない撮像画素であると判断することにより、輝度むら領域を特定する。これにより、例えば図9Cに示した2値化輝度むら画像(2値化輝度むら画像データD23)のように、輝度むら領域が特定される。なお、この図9Cに示した2値化輝度むら画像では、輝度むら領域が白表示されると共に、それ以外の領域が黒表示されている(2値化画像となっている)。
(2−5.輝度むら評価値Elの算出)
続いて、パラメータ算出部22は、以下のようにして輝度むら評価値Elを算出する(図2のステップS141〜S142)。
まず、パラメータ算出部22は、上記のようにして生成された各種の輝度むら検査用画像(輝度むら画像データD21、輝度エッジ画像データD22および2値化輝度むら画像データD23)を用いて、以下説明する各種のパラメータを算出する(ステップS141)。
具体的には、パラメータ算出部22は、輝度エッジ画像(輝度エッジ画像データD22)を用いて、検査対象の全領域(表示画面内の全ての表示画素領域)に対する輝度エッジ領域の面積率である、輝度エッジ面積率Sleを算出する。
また、パラメータ算出部22は、2値化輝度むら画像(2値化輝度むら画像データD23)を用いて、検査対象の全領域(表示画面内の全ての表示画素領域)に対する輝度むら領域の面積率である、輝度むら面積率Slを算出する。
更に、パラメータ算出部22は、輝度むら画像(輝度むら画像データD21)を用いて、輝度むら領域の全領域における輝度(L)と平均輝度Laveとの差分値の絶対値の最大値である、最大輝度差ΔLmax(=Max|L−Lave|)を算出する。例えば、図9Aに示した輝度むら画像の例では、図9D中に「×」印で示した撮像画素において、最大輝度差ΔLmaxを示している。
そして、パラメータ算出部22は、このようにして算出された、輝度エッジ面積率Sleと輝度むら面積率Slと最大輝度差ΔLmaxとを重み付け加算することにより、輝度むら評価値Elを算出する(ステップS142)。具体的には、パラメータ算出部22は、例えば以下の(12)式を用いることにより、輝度むら評価値Elを算出する。なお、この(12)式において、定数(係数)k4,k5,k6はそれぞれ重み付け係数を表し、c2は所定の定数(0を含む)を表している。
El=k4×Sle+k5×Sl+k6×ΔLmax+c2 ……(12)
(2−6.総合評価値Eの算出・むら検査処理)
次に、パラメータ算出部22は、このようにして求められた色むら評価値Ecおよび輝度むら評価値Elに基づいて、例えば以下の(13)式を用いることにより、むら検査の際の総合評価値Eを算出する(ステップS151)。すなわち、色むら評価値Ecと輝度むら評価値Elとを重み付け加算することにより、総合評価値Eを算出する。これにより、以下説明するむら検査の際に、色むら評価値Ecと輝度むら評価値Elとの重み付けを反映させた検査を行うことが可能となる。なお、この(13)式において、定数(係数)A,Bはそれぞれ重み付け係数を表し、c3は所定の定数(0を含む)を表している。
E=A×Ec+B×El+c3 ……(13)
ここで本実施の形態では、パラメータ算出部22は、色および輝度の双方に対するむら視感度を考慮して、総合評価値Eを算出する。具体的には、上記した重み付け係数A,Bがそれぞれ、色および輝度の双方に対するむら視感度を考慮して決定されるようになっている。このように、総合評価値Eを算出する際に、色および輝度の双方に対するむら視感度を考慮して算出されることにより、そのような視感度を考慮せずにむら検査を行う場合と比べ、人間の感覚により合致した客観的なむら検査が実現される。
続いて、検査処理部23は、このようにして求められた総合評価値Eを用いて、検査対象である表示装置4の表示画面についてのむら検査を行い、その検査結果としての検査結果データDoutを生成する(ステップS152)。具体的には、例えば、総合評価値Eが大きくなるのに応じて、検査対象におけるむら(色むらおよび輝度むらのうちの少なくとも一方)の度合いが大きいと判断する。一方、総合評価値Eが小さくなるのに応じて、検査対象におけるむらの度合いが小さいと判断する。あるいは、総合評価値Eが所定の閾値以上である場合には、検査対象が不良品であると判断する一方、総合評価値Eが上記閾値未満である場合には、検査対象が良品であると判断する。以上により、画像処理装置2によるむら検査処理が終了となる。
(実施例1)
ここで、図10は、これまで説明した各種の評価値と人間による主観評価値(ME値)との関係(相間)を示す一実施例(実施例1)を表したものである。具体的には、図10Aは、実施例1に係る色むら評価値Ecと主観評価値(ME値)との相間を表し、図10Bは、実施例1に係る輝度むら評価値Elと主観評価値(ME値)との相間を表し、図10Cは、実施例1に係る総合評価値Eと主観評価値(ME値)との相間を表している。なお、これらの図中に示した、線形直線における決定係数Rは、その値が「1」により近い大きい値となるのに従って、むら検査の精度がより高くなっていることを示す。
まず、図10(A)に示した例は、主観評価は被験者として19歳〜24歳の男女各25名に対するマグニチュード推定法による評価結果に基づくものとなっている。また、この例では、彩度エッジ面積率Sceに対する重み付け係数k1=12.8、色むら面積率Scに対する重み付け係数k2=4.0、最大彩度Cmaxに対する重み付け係数k3=0.02として、色むら評価値Ecを算出している。この例では決定係数R=0.94となっており、非常に高い相関を示していることが分かる。
一方、図10(B)に示した例は、図10(A)の場合と同様の条件によるマグニチュード推定法による評価結果に基づくものとなっている。また、この例では、輝度エッジ面積率Sleに対する重み付け係数k4=19.9、輝度むら面積率Slに対する重み付け係数k5=1.9、最大輝度差ΔLmaxに対する重み付け係数k6=0.19として、輝度むら評価値Elを算出している。この例においても決定係数R=0.94となっており、非常に高い相関を示していることが分かる。
他方、図10(C)に示した例も、図10(A)の場合と同様の条件によるマグニチュード推定法による評価結果に基づくものとなっている。また、この例では、色むら評価値Ecに対する重み付け係数A=0.63、輝度むら評価値Elに対する重み付け係数B=0.71として、総合評価値Eを算出している。この例においても決定係数R=0.95となっており、非常に高い相関を示していることが分かる。
(実施例2)
また、図11A,図11Bおよび図12は、前述した単位長さ当たりの変化量または単位視角当たりの変化量と所定のエッジ閾値との比較によってエッジ領域(輝度エッジ領域)を特定する際の、エッジ領域の相違を対比して示す一実施例(実施例2)を表したものである。
具体的には、図11Aは、実施例2に係る、検査対象である表示画面のサイズ[inch]と、各サイズ(8,40,80inch)における観察者の適正視距離[mm]および1mm当たりの視角[°]との関係を表したものである。また、図11Bは、図9A中に示した各適正視距離と1mm当たりの視角との関係を、模式的に表したものである。
一方、図12は、図11A,図11B中に示した各適正視距離(表示画面の各サイズ)について、輝度エッジ閾値として前述した(dL/mm)=0.5を用いた場合の輝度エッジ画像(輝度エッジ画像データD22)と、前述した(dL/arcmin)=0.218を用いた場合の輝度エッジ画像とを対比して表したものである。すなわち、輝度エッジ領域を、表示画面における単位長さ当たりの輝度変化量(輝度エッジ強度)を用いて定義した場合と、単位視角当たりの輝度変化量を用いて定義した場合とについて、特定されるエッジ領域の相違を対比して示している。
これらの図11A,図11Bおよび図12に示した実施例2により、単位視角当たりの輝度変化量を用いて輝度エッジ領域を定義した場合(輝度エッジ閾値:(dL/arcmin)=0.218の場合)には、以下の効果も得られることが分かる。すなわち、表示画面における単位長さ当たりの輝度変化量を用いて輝度エッジ領域を定義した場合(輝度エッジ閾値:(dL/mm)=0.5の場合)とは異なり、表示画面のサイズ(観察者の適正視距離)に依存せずに一定の輝度エッジ領域を特定することが可能となる。よって、むら検査の際の精度を向上させることができる。
なお、この実施例2では、輝度エッジ領域を特定する際のエッジ領域の相違について示したが、彩度エッジ領域を特定する際のエッジ領域の相違についても同様のことが言える。すなわち、単位視角当たりの彩度変化量を用いて彩度エッジ領域を定義した場合には、表示画面における単位長さ当たりの彩度変化量を用いて彩度エッジ領域を定義した場合とは異なり、表示画面のサイズ(観察者の適正視距離)に依存せずに一定の彩度エッジ領域を特定することが可能となる。
(実施例3)
図13は、比較例および実施例3に係る彩度エッジ画像(彩度エッジ画像データD12)および2値化色むら画像(2値化色むら画像データD13)をそれぞれ、対比して表したものである。また、図13は、比較例および実施例3に係る輝度エッジ画像(輝度エッジ画像データD22)および2値化輝度むら画像(2値化輝度むら画像データD23)をそれぞれ、対比して表したものである。
ここで、実施例3は、本実施の形態の画像分離処理を行った後に前述のフィルタ処理を行う場合の一実施例に対応し、比較例は、本実施の形態の画像分離処理を行わずに前述のフィルタ処理を行う場合の例に対応している。また、図13では、色むらのない画像を検査対象としている一方、図14では、輝度むらのない画像を検査対象としている。
図13に示した例では、検査対象が色むらのない画像であるのにもかかわらず、比較例においては、彩度エッジ画像および2値化色むら画像ともに、前述した偽の色むら成分が発生してしまっている(判定結果:×)。したがって、この比較例では、正確な色むら検査の実施が困難である。これに対して実施例3では、そのような偽の色むら成分の発生が回避されている(判定結果:○)。つまり、本実施の形態の画像分離処理を行った後に前述のフィルタ処理を行うことにより、色空間変換における偽の色むら情報が紛れ込むことなく、より正確な色むら検査を行うことが可能となると言える。
また、図14に示した例では、検査対象が輝度むらのない画像であるのにもかかわらず、比較例においては、2値化輝度むら画像に前述した偽の輝度むら成分が発生してしまっている(判定結果:×)。したがって、比較例では正確な輝度むら検査の実施が困難である。これに対して実施例3では、そのような偽の輝度むら成分の発生が回避されている(判定結果:○)。つまり、本実施の形態の画像分離処理を行った後に前述のフィルタ処理を行うことにより、色空間変換における偽の輝度むら情報が紛れ込むことなく、より正確な輝度むら検査を行うことが可能となると言える。
以上のように本実施の形態では、色むら検査用画像(各種の画像データD11〜D13)および輝度むら検査用画像(各種の画像データD21〜D23)の双方を用いて総合評価値Eを算出する際に、色および輝度の双方に対するむら視感度を考慮して算出するようにしたので、人間の感覚により合致した客観的なむら検査(色むらの検査および輝度むらの検査を含めた総合的なむら検査)を実現することができる。また、そのような色むら検査用画像および輝度むら検査用画像を生成する際に、色成分と輝度成分との画像分離処理を行った後に視覚の空間周波数特性を考慮したフィルタ処理を行うようにしたので、偽の色むら成分や偽の輝度むら成分の発生を回避し、より正確なむら検査を実現することができる。よって、適切なむら検査を行うことが可能となる。
また、色むら検査用画像を生成する際に、撮像画像の各撮像画素において、色による色むら視感度の相違を考慮した補正処理(aに対するゲイン補正処理)を行いつつ彩度Cを算出するようにしたので、人間の感覚に更に合致した客観的なむら検査を実現することができ、更に適切なむら検査を行うことが可能となる。
また、人間の感覚により合致した客観的なむら検査が実現されるため、開発や設計段階での品質評価に用いることにより、開発や設計の効率化を図ることが可能となる。
更に、本実施の形態のむら検査を、例えば、製品を量産する際の検査工程に導入することにより、安定かつ迅速なむら検査を行うことが可能となり、検査工程の効率改善や、製品の品質の安定化を図ることが可能となる。
加えて、単位視角当たりの変化量(輝度変化量および彩度変化量)を用いてエッジ領域(輝度エッジ領域および彩度エッジ領域)を定義するようにしたので、以下説明するように、表示画面上における微小のエッジ領域を特定することも可能となる。すなわち、まず、例えば図15に示したように、例えば0.1[rad]以上の視角に相当する幅だけ離れた画素間での輝度差や彩度差等を用いてエッジ領域を特定する場合には、例えば表示画面のサイズが40[inch]や80[inch]の大型になると、微小のエッジ領域の特定ができなくなる。これは、図15中に示したように、0.1[rad]の視角に相当する表示画面上の幅が、数100[mm]もの大きさになってしまうからである。これに対して、単位視角当たりの変化量を用いてエッジ領域を定義する場合、例えば図15中に示したように単位視角=1[’]とすると、表示画面のサイズが大型になっても、この単位視角に相当する表示画面上の幅を1[mm]未満に抑えることができる。これらのことから、例えば、表示画面サイズが大型となったり、高精細な携帯型ディスプレイを適正な視距離から観察する場合等を考慮しても、微小のエッジ領域を特定することができ、むら検査の際の精度を向上させることが可能となる。
なお、上記したように単位視角当たりの変化量を用いてエッジ領域を定義する代わりに、視距離に応じて表示画面における単位長さ当たりの変化量(輝度変化量および彩度変化量)の閾値(エッジ閾値)を変化させることによって、エッジ領域を定義するようにしてもよい。具体的には、例えば以下の(14)式および(15)式を用いて、輝度エッジ閾値および彩度エッジ閾値を規定するようにしてもよい。なお、これらの式において、Dは視距離[mm]を、Lth(=0.5)は、D=1500[mm]のときの単位長さ当たりの輝度エッジ閾値を、Cth(=2.0)は、D=1500[mm]のときの単位長さ当たりの彩度エッジ閾値を、それぞれ表している。このように、視距離に応じて単位長さ当たりのエッジ閾値を変化させることによってエッジ領域を定義するようにした場合にも、単位視角当たりの変化量を用いてエッジ領域を定義する場合と同様に、微小のエッジ領域を特定することができ、むら検査の際の精度を向上させることが可能となる。
輝度エッジ閾値:(dL/dx)=Lth×(1500/D) ……(14)
彩度エッジ閾値:(dC/dx)=Cth×(1500/D) ……(15)
<変形例>
続いて、上記実施の形態の変形例(変形例1,2)について説明する。これらの変形例1,2は、実施の形態で説明した画像処理部2の機能(画像生成部21、パラメータ算出部22および検査処理部22の機能)のうちの少なくとも一部をサーバ内に設け、ネットワーク接続するようにした例(クラウド化された構成例)に対応している。なお、実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
[変形例1]
(構成)
図16は、変形例1に係るむら検査システム(むら検査システム1A)の概略構成例を、検査対象4A〜4Dと共に模式的に表したものである。本変形例のむら検査システム1Aは、サーバ2Aと、このサーバ2Aと有線または無線のネットワークNWを介して接続された、複数組(この例では4組)の撮像装置(撮像部)3A〜3Dおよび制御装置5A〜5Dと管理装置(管理部)6と、を備えている。
また、これら4組の撮像装置3A〜3Dおよび制御装置5A〜5Dは、検査対象4A〜4Dを製造する際の工程(製造工程)A〜Dごとに配置されており、後述するように、これらの工程A〜Dごとに個別に、上記実施の形態で説明したむら検査が行われるようになっている。ここで、工程Aは、検査対象4A(バックライト)の製造工程に対応し、工程Bは、検査対象4B(液晶パネル)の製造工程に対応している。また、工程Cは、検査対象4C(パネルモジュール)の製造工程に対応し、工程Dは、検査対象4D(最終製品である液晶表示装置)の製造工程に対応している。
なお、本変形例に係るむら検査方法およびむら検査プログラムは、本変形例のむら検査システム1Aにおいて具現化されるため、以下併せて説明する。
サーバ2Aは、画像生成部21、パラメータ算出部22および検査処理部22の各々を含んで構成されている。換言すると、画像生成部21、パラメータ算出部22および検査処理部22がいずれも、サーバ2A内に設けられている。このサーバ2Aは、例えば、制御装置5A〜5Dの個体識別記号、撮像装置3A〜3Dの個別認識記号、またはユーザの個別認識記号を認識する機能を有している。また、例えば、転送される撮像データDinの保存およびむら検査処理を行い、検査結果データDoutを自身に保存する機能、または制御装置5A〜5D側へ転送する機能を有している。このようなサーバ2Aは、例えば、高速かつ大規模にクラスタ化された画像処理・データ保存装置により構成されている。
制御装置5A〜5Dはそれぞれ、上記したネットワークNWを介してサーバ2Aに接続されており、撮像装置3A〜3Dの動作およびデータ送受信の制御を行うと共に、むら検査結果を表示する機能も有している。具体的には、撮像装置3A〜3Dから得られる撮像データDinをネットワークNWを介してサーバ2Aへ送信すると共に、サーバ2Aから供給される検査結果データDoutを受信して自身の表示部に表示することが可能となっている。また、この際、例えば、ネットワークNWの回線容量等の設備の必要に応じて、撮像データDinを圧縮転送することも可能となっている。このように本変形例では、撮像装置3A〜3Dはそれぞれ、サーバ2Aと間接的に(制御装置5A〜5Dを介して)ネットワーク接続されている。なお、このような制御装置5A〜5Dはそれぞれ、例えばPC(Personal Computer)などを用いて構成されている。
管理装置6は、詳細は後述するように、上記した工程4A〜4Dごとに行われるむら検査の結果(検査結果データDout)を一括して管理する機能を有している。
(作用・効果)
ここで、例えば、上記実施の形態で説明したPC等からなる画像処理装置2を用いて、工程A〜Dごとに別々にむら検査を行うようにした場合、以下の問題が生じ得る。
まず、1つ目の問題点として、以下のものが挙げられる。すなわち、例えば、工程Aで使用された撮像装置3AがXYZフィルタタイプであると共に、データ点数が100万画素であるものとすると、100万ドットのデータ列が、3つの撮像データDinとしてそれぞれ得られることになる。これは、通常のテキストファイルとしても約40MBのデータ量となる。このような撮像データDinに基づいて上記実施の形態で説明した一連のむら検査処理を行う場合、画像分離処理だけでも2倍のデータ量に膨らみ、1ステップの作業用の確保メモリ量は、その10倍程度まで膨らむことになる。
また、仮に、色むら検査用画像(各種の画像データD11〜D13)および輝度むら検査用画像(各種の画像データD21〜D23)を後の管理用に保存する場合、ビットマップデータとして保存しても、1回の検査工程で100万画素のデータが6枚となり、約6MB必要となる。加えて、数値列データとして保存する場合には、約100MB程度の容量となる。このように、トレーサビリティを保持した管理を行う場合、1台1工程で150MB近い保存領域と、400MBのデータ展開を連続して行うだけの作業メモリとが必要となる。例えば、年間100万台の製造を行う場合は、1台あたりの製造タクトは約30秒となり、1日あたり約430GBもの保管容量が必要となる。
こうした膨大なデータ処理と保管とを工程ごとに行うことは非常にコストがかかり、更に工程B,工程C,工程Dと進むにつれてデータ量は増大し、その検査のどこかで不良判定が発生しても、トレーサビリティを確保することは容易でない。
また、2つ目の問題点として、以下のものが挙げられる。すなわち、例えば最近の表示装置の製造手法としては、1か所で最終製品まで製造されることは稀であり、部材組み立てごとに製造工場、更には国を跨いだ輸送がなされているのが現状である。ところが、途中の出荷検査や入荷検査での検査体制は未だ不備が多く、むらの様な不具合がどの段階で発生したかの管理を行うことは、現実的には困難である。
そこで本変形例のむら検査システム1Aでは、上記したように、画像処理部2の各機能(画像生成部21、パラメータ算出部22および検査処理部22)をサーバ2A内に設け、各工程A〜Dに配置された撮像装置3A〜3Dおよび制御装置5A〜5Dとネットワーク接続するようにしている。これにより、高速演算処理が可能な高額な画像処理装置2は、例えばデータ圧縮・転送の機能を有する安価なPC等へ置き換えることが可能となり、生産コストの削減が見込まれる。つまり、各工程A〜Dでは、撮像装置3A〜3Dによる撮像画像Dinの取得および検査結果データDoutの表示のみが行われることとなり、製造コストが削減されると共に、検査による製造タクトを圧迫することも回避される。したがって、より適切なむら検査を高速かつ安価に実現し、品質管理を容易に行うことが可能となる。
また、各工程A〜Dでの検査情報が一元管理されるようになれば、検査工程で判明した不具合のトレーサビリティが確保され、不具合の原因調査および対策策定も速やかに行うことが可能となる。例えば、工程Dでの検査で不良が発生した場合に、ひも付された他の工程のデータを参照することにより、累積されて発生した不良なのか、あるいは突発的に工程D内のみで発生した不良なのかを判断する、といったことが可能となる。よって、不良の発生原因の早急な究明が可能となり、製造不良を最小限に食い止めることが可能となる。また、累積されて発生した不良の場合には、早急にその設計にフィードバックをかけることも可能となり、不良品が累積してしまう事も防ぐことが可能となる。更に、出荷および着荷で同一の検査を行うようにすれば、輸送による不具合も見出すことが容易となり、全体にわたる品質管理が容易となる。加えて、評価結果算出のための作業が一元管理されることから、各工程での作業ミスや意図的な改ざん等を防ぐことができ、品質管理が容易になる。このようにして品質管理が容易となり、一般消費者へ提供する製品の品質保持、ひいては品質の向上および在庫管理調整も容易に行えるようになる。
更に、例えば、ネットワークNW上のサーバ管理者が、画像処理装置2の削減可能な費用の代わりに、管理費用としてユーザに課金し管理を行うようにすれば、ユーザは常時高速な演算処理とデータの管理保存の恩恵とを享受することが可能となる。したがって、安価になった検査コストを活かして出荷および着荷での検査を行うようにすれば、輸送中に起きた不具合等についても管理することが可能となる。なお、この際の課金手法としては、例えば、画像サイズ、画像データサイズもしくは処理時間、またはこれらの組合せに応じて、ユーザ認識記号を有するユーザに課金・請求する、といったものが挙げられる。
なお、本変形例では、画像生成部21、パラメータ算出部22および検査処理部22がいずれもサーバ2A内に設けられている場合を例に挙げて説明したが、これには限られない。すなわち、画像生成部21、パラメータ算出部22および検査処理部22のうちの少なくとも1つが、単一のサーバ2A内に設けられているようにしてもよい。また、むら検査システム1A内に、複数の撮像装置(撮像部)ではなく1つの撮像装置のみが設けられているようにしてもよい。
[変形例2]
図17は、変形例2に係るむら検査システム(むら検査システム1B)の概略構成例を、検査対象4A〜4Dと共に模式的に表したものである。本変形例のむら検査システム1Bは、サーバ2Aと、このサーバ2Aと有線または無線のネットワークNWを介して接続された、複数(この例では4つ)の撮像装置3A〜3Dと管理装置6と、を備えている。すなわち、変形例1のむら検査システム1Aにおいて、工程A〜Dごとの制御装置5A〜5Dを省いた(設けないようにした)ものに対応し、他の構成は基本的に同様となっている。なお、本変形例に係るむら検査方法およびむら検査プログラムは、本変形例のむら検査システム1Aにおいて具現化されるため、以下併せて説明する。
本変形例では、撮像装置3A〜3DがそれぞれネットワークNWを介してサーバ2Aに接続されており、データ送受信を行う機能も有している。具体的には、得られた撮像データDinをネットワークNWを介してサーバ2Aへ送信すると共に、サーバ2Aから供給される検査結果データDoutを受信することが可能となっている。また、この際、例えば、ネットワークNWの回線容量等の設備の必要に応じて、撮像データDinを圧縮転送することも可能となっている。このように本変形例では、撮像装置3A〜3Dはそれぞれ、サーバ2Aと直接的に(制御装置5A〜5Dを介さずに)ネットワーク接続されている。
このような構成の本変形例においても、基本的には上記変形例1と同様の作用により、同様の効果を得ることが可能である。
また、特に本変形例では、制御装置5A〜5Dが不要とすることができるため、各工程でのコストを更に削減することが可能となる。
なお、本変形例においても、画像生成部21、パラメータ算出部22および検査処理部22のうちの少なくとも1つが、単一のサーバ2A内に設けられているようにしてもよい。また、むら検査システム1B内に、複数の撮像装置(撮像部)ではなく1つの撮像装置のみが設けられているようにしてもよい。
<その他の変形例>
以上、実施の形態および変形例を挙げて本開示の技術を説明したが、本技術はこれらの実施の形態等に限定されず、種々の変形が可能である。
例えば、上記実施の形態等では、色むら評価値Ecとして、彩度エッジ面積率Sce、色むら面積率Scおよび最大彩度Cmaxの3つのパラメータを用いる場合について説明したが、これらに加えて(あるいはこれらの代わりに)、他のパラメータを用いるようにしてもよい。加えて、これらの3つのパラメータのうちの少なくとも1つ以上のパラメータを、色むら評価値Ecとして用いるようにしてもよい。ただし、これらの3つのパラメータのうち、特に、彩度エッジ面積率Sceおよび色むら面積率Scの2つのパラメータを少なくとも用いるようにするのが望ましい。これは、人間が色むらの程度を判断する際に、特に空間的な広がりを重視する傾向にあるため、これらの2つのパラメータが、色むら評価値Ecにおける寄与が相対的に大きいからである。
また、上記実施の形態等では、輝度むら評価値Elとして、輝度エッジ面積率Sle、輝度むら面積率Slおよび最大輝度差ΔLmaxの3つのパラメータを用いる場合について説明したが、これらに加えて(あるいはこれらの代わりに)、他のパラメータを用いるようにしてもよい。加えて、これらの3つのパラメータのうちの少なくとも1つ以上のパラメータを、輝度むら評価値Elとして用いるようにしてもよい。ただし、これらの3つのパラメータのうち、特に、輝度エッジ面積率Sleおよび輝度むら面積率Slの2つのパラメータを少なくとも用いるようにするのが望ましい。これは、人間が輝度むらの程度を判断する際に、特に空間的な広がりを重視する傾向にあるため、これらの2つのパラメータが、輝度むら評価値Elにおける寄与が相対的に大きいからである。
更に、上記実施の形態等では、色むら検査用画像および輝度むら検査用画像の例をそれぞれ具体的に挙げて説明したが、色むら検査用画像および輝度むら検査用画像としては、上記実施の形態で挙げたものには限られない。
加えて、上記実施の形態等では、色むら検査用画像を生成する際に、色による色むら視感度の相違を考慮した補正処理(ゲイン補正処理)を行いつつ彩度Cを算出する場合について説明したが、場合によってはそのようなゲイン補正処理を行わないようにしてもよい。
また、上記実施の形態等では、むら検査の検査対象が、カラー映像表示を行う表示装置における表示画面である場合について説明したが、本技術の検査対象は、表示装置以外のもの(例えば、照明装置(バックライトなど))であってもよい。
更に、上記実施の形態等では、主に、むら検査システムにおいて撮像装置と画像処理装置とが別体となっている場合について説明したが、これらの装置がそれぞれ、同一の装置内に設けられているようにしてもよい。
加えて、上記実施の形態等で説明した一連の処理(画像生成部、算出部、検査部および管理部等の各機能)は、ハードウェア(回路)で行われるようにしてもよいし、ソフトウェア(プログラム)で行われるようにしてもよい。ソフトウェアで行われるようにした場合、そのソフトウェアは、上記した各機能をコンピュータ(PCやサーバ内のマイクロコンピュータ等)により実行させるためのプログラム群で構成される。各プログラムは、例えば、上記コンピュータに予め組み込まれて用いられてもよいし、ネットワークや記録媒体から上記コンピュータにインストールして用いられてもよい。
なお、本技術は以下のような構成を取ることも可能である。
[1]
検査対象の撮像画像を取得するための撮像部と、
前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する画像生成部と、
前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出部と、
算出された評価パラメータを用いてむら検査を行う検査部と
を備え、
前記画像生成部は、
前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
前記算出部は、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出する
むら検査システム。
[2]
前記算出部は、
前記色むら検査用画像を用いて色むら評価パラメータを算出すると共に、前記輝度むら検査用画像を用いて輝度むら評価パラメータを算出し、
前記色むら評価パラメータと前記輝度むら評価パラメータとを重み付け加算することにより、前記評価パラメータとしての総合評価パラメータを算出する
上記[1]に記載のむら検査システム。
[3]
前記色むら評価パラメータをEc、前記輝度むら評価パラメータをEl、重み付け係数をA,Bとしたとき、
前記総合評価パラメータEは、以下の(1)式により表わされると共に、
前記重み付け係数A,Bはそれぞれ、前記むら視感度を考慮して決定される
上記[2]に記載のむら検査システム。
E=A×Ec+B×El …(1)
[4]
前記検査部は、
前記総合評価パラメータが大きくなるのに応じて、前記検査対象におけるむらの度合いが大きいと判断すると共に、
前記総合評価パラメータが小さくなるのに応じて、前記検査対象におけるむらの度合いが小さいと判断する
上記[2]または[3]に記載のむら検査システム。
[5]
前記画像生成部は、前記フィルタ処理後の色成分画像に対して、色による色むら視感度の相違を考慮した補正処理を行ったうえで、前記色むら検査用画像を生成する
上記[1]ないし[4]のいずれかに記載のむら検査システム。
[6]
前記画像生成部は、
前記フィルタ処理後の色成分画像の各単位領域において、前記補正処理を行った後に彩度を算出し、
算出された彩度を用いて、前記色むら検査用画像を生成する
上記[5]に記載のむら検査システム。
[7]
前記画像生成部は、
前記フィルタ処理後の色成分画像の各単位領域において、CIELAB色空間における(a,b)をそれぞれ算出し、
算出されたaに対して、前記補正処理としての以下の(2)式により表わされるゲイン補正処理を行った後に、以下の(3)式を用いて彩度Cを算出する
上記[6]に記載のむら検査システム。
’=(α×a
(a>0のとき:ゲインα>1、a≦0のとき:ゲインα=1) …(2)
C={(a’)+(b1/2 …(3)
[8]
前記色むら評価パラメータとして、
前記検査対象の全領域に対する彩度エッジ領域の面積率である彩度エッジ面積率と、
前記検査対象の全領域に対する色むら領域の面積率である色むら面積率と
を少なくとも用いる
上記[2]ないし[7]のいずれかに記載のむら検査システム。
[9]
前記色むら評価パラメータとして、
前記彩度エッジ面積率と、前記色むら面積率と、前記色むら領域の全領域における最大彩度とを用いる
上記[8]に記載のむら検査システム。
[10]
前記算出部は、
前記色むら検査用画像を用いて、前記彩度エッジ面積率、前記色むら面積率および前記最大彩度をそれぞれ算出し、
前記彩度エッジ面積率と前記色むら面積率と前記最大彩度とを重み付け加算することにより、前記色むら評価パラメータを算出する
上記[9]に記載のむら検査システム。
[11]
前記輝度むら評価パラメータとして、
前記検査対象の全領域に対する輝度エッジ領域の面積率である輝度エッジ面積率と、
前記検査対象の全領域に対する輝度むら領域の面積率である輝度むら面積率と
を少なくとも用いる
上記[2]ないし[10]のいずれかに記載のむら検査システム。
[12]
前記輝度むら評価パラメータとして、
前記輝度エッジ面積率と、前記輝度むら面積率と、前記輝度むら領域の全領域における輝度と白色画像における平均輝度との差分値の絶対値の最大値である最大輝度差とを用いる
上記[11]に記載のむら検査システム。
[13]
前記算出部は、
前記輝度むら検査用画像を用いて、前記輝度エッジ面積率、前記輝度むら面積率および前記最大輝度差をそれぞれ算出し、
前記輝度エッジ面積率と前記輝度むら面積率と前記最大輝度差とを重み付け加算することにより、前記輝度むら評価パラメータを算出する
上記[12]に記載のむら検査システム。
[14]
前記画像生成部、前記算出部および前記検査部のうちの少なくとも1つが、単一のサーバ内に設けられると共に、
前記撮像部が、前記サーバと直接または間接的にネットワークを介して接続された1または複数の撮像装置内に設けられている
上記[1]ないし[13]のいずれかに記載のむら検査システム。
[15]
前記検査対象を製造する際の複数の工程ごとに、前記撮像装置が配置され、
前記複数の工程ごとに個別に、前記検査部によるむら検査が行われる
上記[14]に記載のむら検査システム。
[16]
前記ネットワークに接続されると共に、前記複数の工程ごとに行われる前記むら検査の結果を一括して管理する管理部を更に備えた
上記[15]に記載のむら検査システム。
[17]
前記画像生成部、前記算出部および前記検査部がいずれも前記サーバ内に設けられると共に、前記撮像部が前記1または複数の撮像装置内に設けられており、
前記撮像画像が、前記撮像装置から前記ネットワークを介して前記サーバへ供給されると共に、前記むら検査の結果データが、前記サーバから前記ネットワークを介して前記撮像装置側へ供給される
上記[14]ないし[16]のいずれかに記載のむら検査システム。
[18]
前記検査対象が、カラー映像表示を行う表示装置における表示画面である
上記[1]ないし[17]のいずれかに記載のむら検査システム。
[19]
検査対象の撮像画像を取得するステップと、
前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、
前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、
算出した評価パラメータを用いてむら検査を行う検査ステップと
を含み、
前記生成ステップでは、
前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
前記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出する
むら検査方法。
[20]
検査対象の撮像画像を取得するステップと、
前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、
前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、
算出した評価パラメータを用いてむら検査を行う検査ステップと
をコンピュータに実行させると共に、
前記生成ステップでは、
前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
前記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出する
むら検査プログラム。
本出願は、日本国特許庁において2013年3月4日に出願された日本特許出願番号2013−41573号を基礎として優先権を主張するものであり、これらの出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 検査対象の撮像画像を取得するための撮像部と、
    前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する画像生成部と、
    前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出部と、
    算出された評価パラメータを用いてむら検査を行う検査部と
    を備え、
    前記画像生成部は、
    前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
    前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
    前記算出部は、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出し、
    前記画像生成部は、前記画像分離処理の際に、前記撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる前記色成分画像と、(XL,YL,ZL)信号からなる前記輝度成分画像とを、それぞれ生成する
    むら検査システム。
  2. 前記算出部は、
    前記色むら検査用画像を用いて色むら評価パラメータを算出すると共に、前記輝度むら検査用画像を用いて輝度むら評価パラメータを算出し、
    前記色むら評価パラメータと前記輝度むら評価パラメータとを重み付け加算することにより、前記評価パラメータとしての総合評価パラメータを算出する
    請求項1に記載のむら検査システム。
  3. 前記色むら評価パラメータをEc、前記輝度むら評価パラメータをEl、重み付け係数をA,Bとしたとき、
    前記総合評価パラメータEは、以下の(1)式により表わされると共に、
    前記重み付け係数A,Bはそれぞれ、前記むら視感度を考慮して決定される
    請求項2に記載のむら検査システム。
    E=A×Ec+B×El …(1)
  4. 前記検査部は、
    前記総合評価パラメータが大きくなるのに応じて、前記検査対象におけるむらの度合いが大きいと判断すると共に、
    前記総合評価パラメータが小さくなるのに応じて、前記検査対象におけるむらの度合いが小さいと判断する
    請求項2に記載のむら検査システム。
  5. 前記画像生成部は、前記フィルタ処理後の色成分画像に対して、色による色むら視感度の相違を考慮した補正処理を行ったうえで、前記色むら検査用画像を生成する
    請求項1に記載のむら検査システム。
  6. 前記画像生成部は、
    前記フィルタ処理後の色成分画像の各単位領域において、前記補正処理を行った後に彩度を算出し、
    算出された彩度を用いて、前記色むら検査用画像を生成する
    請求項5に記載のむら検査システム。
  7. 前記画像生成部は、
    前記フィルタ処理後の色成分画像の各単位領域において、CIELAB色空間における(a*,b*)をそれぞれ算出し、
    算出されたa*に対して、前記補正処理としての以下の(2)式により表わされるゲイン補正処理を行った後に、以下の(3)式を用いて彩度Cを算出する
    請求項6に記載のむら検査システム。
    *’=(α×a*
    (a*>0のとき:ゲインα>1、a*≦0のとき:ゲインα=1) …(2)
    C={(a*’)2+(b*21/2 …(3)
  8. 前記色むら評価パラメータとして、
    前記検査対象の全領域に対する彩度エッジ領域の面積率である彩度エッジ面積率と、
    前記検査対象の全領域に対する色むら領域の面積率である色むら面積率と
    前記色むら領域の全領域における最大彩度と、
    のうちの少なくとも1つを用いる
    請求項2に記載のむら検査システム。
  9. 前記色むら評価パラメータとして、
    前記彩度エッジ面積率と、前記色むら面積率と、前記最大彩度とを用いる
    請求項8に記載のむら検査システム。
  10. 前記算出部は、
    前記色むら検査用画像を用いて、前記彩度エッジ面積率、前記色むら面積率および前記最大彩度をそれぞれ算出し、
    前記彩度エッジ面積率と前記色むら面積率と前記最大彩度とを重み付け加算することにより、前記色むら評価パラメータを算出する
    請求項9に記載のむら検査システム。
  11. 前記輝度むら評価パラメータとして、
    前記検査対象の全領域に対する輝度エッジ領域の面積率である輝度エッジ面積率と、
    前記検査対象の全領域に対する輝度むら領域の面積率である輝度むら面積率と
    前記輝度むら領域の全領域における輝度と白色画像における平均輝度との差分値の絶対値の最大値である最大輝度差と、
    のうちの少なくとも1つを用いる
    請求項2に記載のむら検査システム。
  12. 前記輝度むら評価パラメータとして、
    前記輝度エッジ面積率と、前記輝度むら面積率と、前記最大輝度差とを用いる
    請求項11に記載のむら検査システム。
  13. 前記算出部は、
    前記輝度むら検査用画像を用いて、前記輝度エッジ面積率、前記輝度むら面積率および前記最大輝度差をそれぞれ算出し、
    前記輝度エッジ面積率と前記輝度むら面積率と前記最大輝度差とを重み付け加算することにより、前記輝度むら評価パラメータを算出する
    請求項12に記載のむら検査システム。
  14. 前記画像生成部、前記算出部および前記検査部のうちの少なくとも1つが、単一のサーバ内に設けられると共に、
    前記撮像部が、前記サーバと直接または間接的にネットワークを介して接続された1または複数の撮像装置内に設けられている
    請求項1に記載のむら検査システム。
  15. 前記検査対象を製造する際の複数の工程ごとに、前記撮像装置が配置され、
    前記複数の工程ごとに個別に、前記検査部によるむら検査が行われる
    請求項14に記載のむら検査システム。
  16. 前記ネットワークに接続されると共に、前記複数の工程ごとに行われる前記むら検査の結果を一括して管理する管理部を更に備えた
    請求項15に記載のむら検査システム。
  17. 前記画像生成部、前記算出部および前記検査部がいずれも前記サーバ内に設けられると共に、前記撮像部が前記1または複数の撮像装置内に設けられており、
    前記撮像画像が、前記撮像装置から前記ネットワークを介して前記サーバへ供給されると共に、前記むら検査の結果データが、前記サーバから前記ネットワークを介して前記撮像装置側へ供給される
    請求項14に記載のむら検査システム。
  18. 前記検査対象が、カラー映像表示を行う表示装置における表示画面である
    請求項1に記載のむら検査システム。
  19. 検査対象の撮像画像を取得するステップと、
    前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、
    前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、
    算出した評価パラメータを用いてむら検査を行う検査ステップと
    を含み、
    前記生成ステップでは、
    前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
    前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
    前記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出し、
    前記生成ステップでは、前記画像分離処理の際に、前記撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる前記色成分画像と、(XL,YL,ZL)信号からなる前記輝度成分画像とを、それぞれ生成する
    むら検査方法。
  20. 検査対象の撮像画像を取得するステップと、
    前記撮像画像に基づいて、色むら検査用画像および輝度むら検査用画像をそれぞれ生成する生成ステップと、
    前記色むら検査用画像および前記輝度むら検査用画像の双方を用いて、評価パラメータを算出する算出ステップと、
    算出した評価パラメータを用いてむら検査を行う検査ステップと
    をコンピュータに実行させると共に、
    前記生成ステップでは、
    前記撮像画像に対して色成分と輝度成分との画像分離処理を行うことにより、色成分画像および輝度成分画像をそれぞれ生成すると共に、
    前記色成分画像および前記輝度成分画像に対して視覚の空間周波数特性を考慮したフィルタ処理を個別に行い、前記フィルタ処理後の色成分画像および輝度成分画像に基づいて前記色むら検査画像および前記輝度むら検査用画像をそれぞれ生成し、
    前記算出ステップでは、色および輝度の双方に対するむら視感度を考慮して、前記評価パラメータを算出し、
    前記生成ステップでは、前記画像分離処理の際に、前記撮像画像の各単位領域において、三刺激値(X,Y,Z)の座標系における(Xi,Yi,Zi)信号を用いて、(XC,YC,ZC)信号からなる前記色成分画像と、(XL,YL,ZL)信号からなる前記輝度成分画像とを、それぞれ生成する
    むら検査プログラム。
JP2015504227A 2013-03-04 2014-02-18 むら検査システム、むら検査方法およびむら検査プログラム Active JP6325520B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013041573 2013-03-04
JP2013041573 2013-03-04
PCT/JP2014/053706 WO2014136561A1 (ja) 2013-03-04 2014-02-18 むら検査システム、むら検査方法およびむら検査プログラム

Publications (2)

Publication Number Publication Date
JPWO2014136561A1 JPWO2014136561A1 (ja) 2017-02-09
JP6325520B2 true JP6325520B2 (ja) 2018-05-16

Family

ID=51491085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015504227A Active JP6325520B2 (ja) 2013-03-04 2014-02-18 むら検査システム、むら検査方法およびむら検査プログラム

Country Status (7)

Country Link
US (1) US10089754B2 (ja)
EP (1) EP2966430A4 (ja)
JP (1) JP6325520B2 (ja)
KR (1) KR20150120975A (ja)
CN (1) CN105008889B (ja)
TW (1) TWI627854B (ja)
WO (1) WO2014136561A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105008889B (zh) 2013-03-04 2019-02-15 索尼公司 不均匀度检查系统、不均匀度检查方法、及不均匀度检查程序
JP6591176B2 (ja) * 2015-03-02 2019-10-16 池上通信機株式会社 保護フィルムのギラツキ評価値算出方法及び保護フィルムのギラツキ評価値算出装置
CN109073503B (zh) * 2016-04-28 2020-10-09 株式会社宜科思 不均匀性评价方法和不均匀性评价装置
JP6338069B2 (ja) * 2016-10-31 2018-06-06 ソリッドビジョン株式会社 画像処理システム及び画像処理方法
JP7135318B2 (ja) * 2017-12-26 2022-09-13 大日本印刷株式会社 パネル付き表示装置
CN108877740B (zh) * 2018-07-25 2020-09-22 昆山国显光电有限公司 获取Mura补偿数据的方法、装置、计算机设备及存储介质
JP7331648B2 (ja) * 2019-11-12 2023-08-23 セイコーエプソン株式会社 分光測定方法および分光測定装置
TWI710778B (zh) 2019-12-04 2020-11-21 瑞軒科技股份有限公司 自動化測試系統及其裝置
TWI748297B (zh) * 2019-12-04 2021-12-01 瑞軒科技股份有限公司 自動化測試方法
KR102419806B1 (ko) * 2020-05-14 2022-07-14 (주)에이앤아이 필터유닛을 포함하는 색상 및 휘도 측정장치
KR20220114794A (ko) 2021-02-09 2022-08-17 이레이노베이션 주식회사 바실러스 균주를 이용한 발효소금 및 그의 제조방법
US11763758B2 (en) * 2021-05-27 2023-09-19 Sharp Kabushiki Kaisha Luminance unevenness correction system and luminance unevenness correction method
CN113720583B (zh) * 2021-09-03 2023-10-20 王斌 一种基于图像可辨识度的显示屏可视角测量方法
CN113834785A (zh) * 2021-10-13 2021-12-24 康佳集团股份有限公司 一种屏幕色彩均匀性检测方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4963828A (en) 1988-03-04 1990-10-16 Hitachi, Ltd. Picture quality testing method and apparatus for color cathode-ray tube
JP2528929B2 (ja) 1988-03-04 1996-08-28 株式会社日立製作所 カラ―ブラウン管の白色均一性自動評価方法
JPH102800A (ja) 1996-06-17 1998-01-06 Hitachi Ltd カラーディスプレイ装置の画質評価方法と画質評価装置およびカラーディスプレイ装置の製造方法
JP4000632B2 (ja) 1996-07-30 2007-10-31 旭硝子株式会社 表示装置の検査方法および検査装置
JP3618998B2 (ja) * 1998-01-26 2005-02-09 日本放送協会 画像処理に伴う画質劣化を評価するための画質評価装置
JP2001028059A (ja) 1999-07-15 2001-01-30 Dainippon Printing Co Ltd 色ムラ検査方法及び装置
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
JP2003057146A (ja) 2001-08-09 2003-02-26 Toshiba Corp カラーディスプレイ装置の評価方法および評価装置
DE10239801A1 (de) * 2002-08-29 2004-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Extrahieren von Texturmerkmalen aus einem mehrkanaligen Bild
JP2006119073A (ja) 2004-10-25 2006-05-11 Matsushita Electric Ind Co Ltd ディスプレイパネルの点灯画像検査方法
JP4645174B2 (ja) 2004-11-29 2011-03-09 横河電機株式会社 固体撮像素子検査システム
KR20070071277A (ko) * 2005-12-29 2007-07-04 엘지.필립스 엘시디 주식회사 액정표시소자의 중력불량 검사시스템 및 방법
CN100565630C (zh) 2006-01-04 2009-12-02 台湾薄膜电晶体液晶显示器产业协会 显示器多角度测量系统与方法
JP2007198850A (ja) 2006-01-25 2007-08-09 Fujifilm Corp むら検査方法及びむら検査装置
JP5471306B2 (ja) 2009-10-28 2014-04-16 ソニー株式会社 色むら検査装置および色むら検査方法
JP5867268B2 (ja) * 2011-06-21 2016-02-24 ソニー株式会社 むら検査装置およびむら検査方法
CN105008889B (zh) 2013-03-04 2019-02-15 索尼公司 不均匀度检查系统、不均匀度检查方法、及不均匀度检查程序

Also Published As

Publication number Publication date
JPWO2014136561A1 (ja) 2017-02-09
TWI627854B (zh) 2018-06-21
US20160011121A1 (en) 2016-01-14
EP2966430A1 (en) 2016-01-13
EP2966430A4 (en) 2017-01-11
KR20150120975A (ko) 2015-10-28
US10089754B2 (en) 2018-10-02
CN105008889A (zh) 2015-10-28
WO2014136561A1 (ja) 2014-09-12
CN105008889B (zh) 2019-02-15
TW201444340A (zh) 2014-11-16

Similar Documents

Publication Publication Date Title
JP6325520B2 (ja) むら検査システム、むら検査方法およびむら検査プログラム
JP5867268B2 (ja) むら検査装置およびむら検査方法
US9601060B2 (en) Image processing method and apparatus
JP4021366B2 (ja) ディスプレー装置の画質分析方法及びシステム
JP5471306B2 (ja) 色むら検査装置および色むら検査方法
US8941730B2 (en) Color-unevenness inspection apparatus and method
JP2013065215A (ja) 画像処理装置及び画像処理方法
KR102064695B1 (ko) 불균일 평가 방법 및 불균일 평가 장치
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP2017203622A (ja) 色むら検査方法及び色むら検査装置
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
CN110047421B (zh) 一种显示面板的分类方法
JP2012185030A (ja) 色ムラ判別装置、色ムラ判別方法及び表示装置
JP2004170109A (ja) 色むら検査装置および検査方法
JP3914910B2 (ja) ディスプレイ検査方法および装置
JP6015606B2 (ja) 検査方法および検査装置
JP2001283192A (ja) 画像評価システムおよび誘導灯評価システム
EP3721407A1 (en) Method and system for inspecting a display device
JP2005173250A (ja) 表示パネルの製造方法および表示パネル

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180412

R150 Certificate of patent or registration of utility model

Ref document number: 6325520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150