KR101834812B1 - 비전 검사를 이용한 디스플레이 불량 검출 방법 및 시스템 - Google Patents

Abstract

비전 검사를 이용한 디스플레이 불량 검출 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 디스플레이 불량 검출 방법은 본 발명의 일 실시예에 따른 디스플레이 불량 검출 방법은 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 단계; 상기 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑하는 단계; 및 상기 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 단계를 포함한다.

Description

비전 검사를 이용한 디스플레이 불량 검출 방법 및 시스템 {METHOD AND SYSTEM FOR DETECTING DEFECT OF DISPLAY USING VISION INSPECTION}

본 발명은 디스플레이 불량을 검출하기 위한 방법 및 시스템에 관한 것으로서, 보다 상세하게는 사람의 색 시각인지 모델을 이용하여 디스플레이 컬러 불량(또는 색 불량)을 정량화하고, 자동으로 불량 디스플레이를 검출할 수 있는 디스플레이 불량 검출 방법 및 시스템에 관한 것이다.

시각 기반 측정(VBM; Vision-Based Measurement)은 육안으로 볼 수 있는 물리적 현상을 검사하고 측정하기 위해 카메라를 이용하는 기술을 말한다. VBM을 주요 산업에 적용하는 일 예는, 제조 과정에서 자동적으로 제품불량을 검출하는 것이다. 현재까지 유리, 고무, 용접비드(bead) 등의 다양한 제품 형태에 맞추어 다양한 자동 시각 검사를 위한 여러 가지 방법이 제시되어 왔다. 이러한 시각 기반 측정 또는 검사는 수동과정보다 낮은 비용으로 빠르고 강력한 검사를 할 수 있는 장점이 있고, 또한 수치 오류 메트릭(metric)을 사용하여 결함의 정량적인 분석을 할 수 있게 해준다.

평판 패널 디스플레이(FPD; Flat Panel Display)와 같은 디스플레이의 제조 및 조립 시에 다양한 결함이 발생할 수 있으며, 결함의 종류는 무채색 결함과 유채색 결함의 두 가지로 분류될 수 있다.

여기서, 무채색 결함은 흔히 mura라고 불리며, mura는 인간의 눈으로 지각할 수 있는 불균일한 휘도(luminance)의 영역으로 정의될 수 있다.

FPD 제조 공정에서는 불균일한 박막 트랜지스터(TFT; thin-film-transistor)의 두께, 회로기판 사이의 의도치 않은 공간, 공간적으로 변하는 백라이트, 불균일한 광학 필터, 부품조립에서의 에러 등에 의하여 mura를 일으킬 수 있다.

이러한 mura를 자동 검출하기 위한 다수의 방법이 제시되어 왔으며, 실제 일부 제조업체들이 생산비용을 감소시키고 생산품질을 향상시키기 위해 이러한 방법을 채택하고 있다.

하지만, 기존의 대부분 mura 검출 방법은 FPD에서 휘도의 변화만을 고려하기 때문에 유채색 결함을 검출할 수 없는 문제점이 있다

FPD 결함의 다른 유형은 일치하지 않는 색 재현이라는 색 결함이다. 색 결함은 디스플레이상에서 색상의 비정상적인 재현이나 인지할 수 있는 부분적인 색상 변화로 정의되며, FPD의 가장 일반적인 색 결함은 yellow tint이다. Yellow tint는 화면 전체를 덮거나 노란 스팟(spot)으로 나타난다. 색 결함의 원인으로는 다음과 같을 수 있다. 예를 들어, 광학 부품과 투명 필름의 접합에 사용되는 접착 재료의 경화를 위해 자외선을 필요로 하는데, 접착 재료는 고분자이기 때문에 자외선에 노출되면 약간 불투명해 질 수가 있다. 만약 자외선 에너지가 과도하게 되면, 이 물질은 화면에 yellow tint 결함을 일으키는 갈색이나 노란색이 된다. 색 결함의 또 다른 이유는 다음과 같다. TFT-LCD 패널 내의 컬러 필터의 배열이 균일하게 제조되지 않은 경우 색 변화가 화면을 가로질러 발생한다. 또한, 부품 조립에서의 결함도 색 변화를 일으킬 수 있다. 예를 들어, 가장자리에 너무 강하게 조여진 나사는 그 가장자리 부근에 노란 영역을 발생시킬 수 있다. 이러한 색 결함은 FPD 제조 공정에서 불가피하다.

FPD의 조립 라인에는, 조사원들이 디스플레이 패널의 색 결함을 찾아내기 위해 고용되어 있으며, 수동 검사의 느리고 비용이 많이 드는 점을 배제하더라도, 다음과 같은 근본적인 한계가 있다. 색상을 지각하는 것은, 비록 그것이 물리적 빛 방사(physical radiation)에 의해 발생하는 것이라도, 인간의 두뇌 내부에서 발생하는 심리적 현상이므로, 서로 다른 조사원들(workers)에 의해 인식되는 색상이 동일하다는 것은 보장할 수 없다는 점이다. 즉, 눈의 피로도, 관찰조건, 적응도, 개인적 경험, 심지어 문화가 색상에 대한 인간의 인식(또는 지각)에 영향을 줄 수 있다. 이와 같이, 색 결함 검사는 사람마다 달라지는 조사원의 시각적 인식에 의존하기 때문에 같은 디스플레이를 보더라도 검사하는 사람에 따라 색 불량으로 판별할 수도 있고, 정상으로 판별할 수도 있다. 따라서, 사람에 의한 조사는 색 결함의 정량적인 분석을 저해하고, 이러한 이유로 평판 패널 디스플레이 분야를 선도하는 제조업체에서도 색 결함 측정의 산업 자동화는 심하게 제한되어 왔다.

따라서, 디스플레이의 색 결함을 자동으로 검출할 수 있는 방안의 필요성이 대두된다.

본 발명의 실시예들은, 사람의 색 시각인지 모델을 이용하여 디스플레이 색 불량을 정량화하고, 자동으로 불량 디스플레이를 검출할 수 있는 디스플레이 불량 검출 방법 및 시스템을 제공한다.

본 발명의 실시예들은, HDR 이미지(high dynamic range image)를 사용하여 컬러 비전 검사의 정확도를 높일 수 있는 색 결함의 측정과 정량화에 대한 체계적인 프레임워크(framework)를 제공한다.

본 발명의 일 실시예에 따른 디스플레이 불량 검출 방법은 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 단계; 상기 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑하는 단계; 및 상기 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 단계를 포함한다.

상기 변환하는 단계는 분광기(spectroradiometer)에 의해 측정되는 상기 디스플레이의 색상에 대한 분광 분포를 상기 색 공간의 3자극(tristimuli) 값으로 변환하는 단계; 카메라에 의해 캡쳐된 상기 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성하는 단계; 및 상기 변환된 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 상기 디스플레이의 HDR 색 신호를 상기 색 공간의 색 좌표 값으로 변환하는 단계를 포함한다.

상기 변환하는 단계는 상기 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 선형 문제를 최적화함으로써, 상기 디스플레이의 HDR 색 신호를 상기 색 공간의 색 좌표 값으로 변환할 수 있다.

상기 디스플레이의 색상은 상기 분광기와 상기 카메라에 의해 동시에 캡쳐될 수 있다.

상기 색 벡터로 맵핑하는 단계는 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 함수를 이용하여 색조-선형(hue-linear) 색 공간으로 변환시키고, 미리 결정된 공간 필터를 적용함으로써, 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 색 벡터로 맵핑할 수 있다.

상기 디스플레이의 불량 여부를 검출하는 단계는 상기 맵핑된 색 벡터와 상기 기준 색 벡터 간의 색 공간에서 색 차이를 계산하고, 상기 계산된 색 차이에 기초하여 상기 디스플레이의 불량 여부를 검출할 수 있다.

본 발명의 일 실시예에 따른 디스플레이 불량 검출 시스템은 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 변환부; 상기 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑하는 맵핑부; 및 상기 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 검출부를 포함한다.

상기 변환부는 분광기(spectroradiometer)에 의해 측정되는 상기 디스플레이의 색상에 대한 분광 분포를 상기 색 공간의 3자극(tristimuli) 값으로 변환하는 제1 변환부; 카메라에 의해 캡쳐된 상기 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성하는 맵 생성부; 상기 변환된 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 상기 디스플레이의 HDR 색 신호를 상기 색 공간의 색 좌표 값으로 변환하는 제2 변환부를 포함할 수 있다.

상기 제2 변환부는 상기 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 선형 문제를 최적화함으로써, 상기 디스플레이의 HDR 색 신호를 상기 색 공간의 색 좌표 값으로 변환할 수 있다.

상기 디스플레이의 색상은 상기 분광기와 상기 카메라에 의해 동시에 캡쳐될 수 있다.

상기 맵핑부는 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 함수를 이용하여 색조-선형(hue-linear) 색 공간으로 변환시키고, 미리 결정된 공간 필터를 적용함으로써, 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 색 벡터로 맵핑할 수 있다.

상기 검출부는 상기 맵핑된 색 벡터와 상기 기준 색 벡터 간의 색 공간에서 색 차이를 계산하고, 상기 계산된 색 차이에 기초하여 상기 디스플레이의 불량 여부를 검출할 수 있다.

본 발명의 실시예들에 따르면, 사람의 색 시각인지 모델을 이용하여 디스플레이 색 불량을 정량화하고, 자동으로 불량 디스플레이를 검출함으로써, 컬러 비전 검사의 정확도를 향상시킬 수 있다.

본 발명의 실시예들에 따르면, HDR 이미지(high dynamic range image)를 사용하여 색 결함의 측정과 정량화에 대한 체계적인 프레임워크(framework)를 제공할 수 있다.

이러한 본 발명의 실시예들은, 평면 디스플레이 뿐만 아니라 곡면 디스플레이와 같은 모든 디스플레이의 색(또는 컬러) 불량 검사를 자동으로 수행할 수 있을 뿐만 아니라 디스플레이가 들어가는 제품 예를 들어, TV, 스마트폰, 모니터 등에 대한 불량 검사를 자동으로 수행할 수 있기 때문에 불량 검사를 자동화하고 무인화하여 제품 생산원가를 절감할 수 있다.

도 1은 본 발명의 일 실시예에 따른 디스플레이 불량 검출 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 도 1에 도시된 단계 S110에 대한 일 실시예에 동작 흐름도를 나타낸 것이다.
도 3은 HDR 특성화 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 이미지 외형 모델을 이용하여 디스플레이 불량 검출을 수행하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 기존 휘도 차이에 의한 디스플레이 불량 검출과 본 발명에 따른 디스플레이 불량 검출 결과에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 불량 검출 시스템에 대한 구성을 나타낸 것이다.
도 7은 도 6에 도시된 변환부에 대한 일 실시예 구성을 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 실시예들은, 사람의 색 시각인지 모델을 이용하여 디스플레이 색 불량을 정량화하고, 자동으로 불량 디스플레이를 검출하는 것을 그 요지로 한다.

여기서, 본 발명은 HDR 이미지(high dynamic range image)를 사용하여 컬러 비전 검사의 정확도를 높일 수 있는 색 결함의 측정과 정량화에 대한 체계적인 프레임워크(framework)를 제공할 수 있다.

본 발명은 FPD 뿐만 아니라 모든 디스플레이에 적용할 수 있으며, 이하에서는 본 발명의 설명 편의를 위하여 FPD의 불량을 검출하는 것으로 설명한다.

FPD는 FPD의 품질유지를 위해 SPWG 3.5, ISO 13406-2 and TCO' 05 등과 같은 여러 산업 표준들이 있다. 특히, 비디오전자표준협회(VESA; Video Electronics Standards Association)의 평면 패널 디스플레이 측정(FPDM; Flat Panel Display Measurement) 기준은 사실상의 표준으로 인식되고 있다. 국제반도체장비재료협회(SEMI; Semiconductor Equipment and Materials International)는 휘도 콘트라스트와 결함영역의 관점에서 mura의 차이역(JND; just noticeable difference)을 표준화하였다. SEMI JND는 FPD mura 검출 연구에서 현재 가장 많이 이용된다. 비록, 이러한 표준들이 엄격한 측정 방법론을 제공하거나 휘도 측면에서 평면 패널 디스플레이의 단색 결함을 정의하고 정량화하지만, 부분적(regional) 색 결함과 관련 측정 프로토콜을 무시한다.

이런 디스플레이 불량 검출에 대해 간략하게 설명하면 다음과 같다.

FPD의 많은 mura의 유형들(예를 들어, 라인형 mura, 밝은/어두운 영역 mura, 가장자리에서의 빛 누출 등)은 일정 레벨의 높은 주파수로 나타난다. 입력 이미지로부터 배경을 정확하게 측정하는 것이 중요하기 때문에levelset 기법, low-pass filtering, linear regression models, discrete cosine transform 등 다양한 방법이 제시되어 있다. Kostal 등은 mura를 확인하기 위해 HVS(human visual system)에 기반한 공간 표준 관찰자(SSO; spatial standard observer)를 이용하였으며, SSO는 NASA의 정신물리학적 실험 데이터를 사용하여 HVS의 공간 콘트라스트 민감도 함수를 만들어 내었다. 최근에, Gan과 Zhao는 mura를 검출하기 위한 능동 형상(contour) 모델을 제시하였으며, 그들은 그들의 방법이 초기형상추측을 강건하게(robust) 만들고, 미묘한 mura 경계를 찾는데 적합하도록 형상 검출 방법을 수정하였지만, 이러한 방법은 휘도 변화를 조사하는 것으로 한정되어 왔기 때문에 색 결함 검출에는 부적합한 면이 있다.

색 결함 검출은 mura 검출과는 달리, 거의 논의되어지지 않았으며, 색 결함을 검출하기 위한 방법으로 불균일한 색 결함을 검출하기 위하여 신경망 기반의 접근법을 도입하기도 하였고, 라인 스캔 카메라의 두 입사픽셀(incident pixels)의 회절선 사이의 차이를 측정함으로써 작은 색 결함영역을 검출하는 방법이 제시되기도 하였다. 또한, 화면 전체에 걸쳐 색 균일성을 검사하기 위한 시스템을 제시하기도 하였다. 하지만, 이러한 방법들은 인간의 색상에 대한 인지(또는 지각)을 무시하면서 RGB 채널의 균일성 정도를 측정하는데 초점을 맞추어 전술한 표준들을 구현한 것으로, 색 결함의 인지라는 측면을 무시하였다.

최근, 공간적으로 변화하는 색 공간인 S-CIELAB을 이용하여, 색 결함을 수치적으로 양자화(numerically quantizes)하는 독창적인 방법이 제시된 바 있으나, FPD에서 색 결함을 측정하는 방법과 색 결함 영역을 검출하는 방법에 대해서는 정확하게 제시하지 않았으며, 또한 차용된 색 차이 메트릭(

)은 1976년에 만들어진 것으로 최신의 색 차이 모델보다 균일성이 떨어진다.

HDR 이미징(HDR imaging)은 통상의 카메라에서 캡쳐된 래디언스(radiance)의 제한된 범위를 극복하기 위해 사용되어 왔으며, HDR 이미징은 높은 밀도의 래디언스 샘플링을 가능하게 하고, 그 결과 높은 신호 대 잡음 비를 얻을 수 있다. 현대의 디스플레이 기술은 1:16,384(=

)보다도 높은 명암비(contrast ratio)를 가능하게 하기 때문에 12 비트나 14비트 ADC인 통상적인 카메라의 동적 범위(dynamic range)를 초과한다.

HDR imaging을 이용하여 디스플레이 제품들을 조사하는 한 방법으로, HDR 이미징을 위한 카메라 특성화 방법이 제시된 바 있으며, 이런 HDR 특성화 방법은 색상을 물리적으로 정확하게 측정할 수 있다. HDR 이미징의 적용은 높은 정밀도의 절대 스케일(absolute scales)인 래디언스 맵으로 FPD의 모든 미세한 색상 결함들을 검출할 수 있도록 해주고, HDR 이미지가 특성화되면, 대상 FPD의 휘도 레벨과 무관하게 절대 래디언스를 측정할 수 있다.

본 발명의 실시예들은, 장치 의존적 HDR RGB 신호를 CIE XYZ의 장치 독립적 색 좌표로 변환하는 HDR 특성화 방법을 이용할 수 있다.

색 외양 모델(color appearance model)은 직관적인 균일 좌표 상에서 실제 색 자극을 나타내는 벡터 공간이며, 두 색 좌표의 유클리드 거리(Euclidean distance)는 두 점간의 인지 색 차이를 나타낸다. 따라서, 이미지 외양 모델링은 주파수에 대하여 주변 색의 공간적 콘텍스트(context)를 차지하기 위하여, 이미지에서 인식된 색 외양을 예측하기 위해 실행된다. 이미지 외양 모델의 예로, CIELAB 색 공간의 공간적인 확장인 S-CIELAB, iCAM이라 불리는 이미지 외양 프레임워크, 구조적 유사성(SSIM)이라 불리는 멀티스케일 프레임워크(multiscale framework) 등이 있으며, S-CIELAB은 콘트라스트 민감도 함수(CSF; contrast sensitivity function)를` 이용한 이미지 외양 모델이다. 구조적 유사성의 아이디어를 색 이미지로 확장한 예도 있으며, 이 프레임워크는 LAB2000HL이라 불리는 직관적인 균일 색 공간을 이용하고, 이 색 공간은 CIEDE2000의 수정된 색 차이 공식을 기반으로 하고 있다. 이 좌표에서 Euclidean distance는 색 차이 평가에서 지각 균일성을 향상시킨다.

본 발명에서의 프레임워크는 LAB2000HL 공간을 주 색 공간으로 선택할 수 있고, iCAM 프레임워크의 콘트라스트 민감도 함수를 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 디스플레이 불량 검출 방법에 대한 동작 흐름도를 나타낸 것이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 방법은 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 HDR 특성화 과정을 수행한다(S110).

여기서, 단계 S110은 도 2에 도시된 바와 같이, 분광기(spectroradiometer)에 의해 측정되는 디스플레이의 색상에 대한 분광 분포를 색 공간의 3자극(tristimuli) 값으로 변환하는 단계(S210), 카메라에 의해 캡쳐된 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성하는 단계(S220)와 변환된 색 공간의 3자극 값과 HDR 래디언스 맵을 이용하여 디스플레이의 HDR 색 신호를 색 공간의 색 좌표 값으로 변환하는 단계(S230)를 포함할 수 있다.

이런 단계 S110에 대해 도 3을 참조하여 설명하면 다음과 같다.

도 3에 도시된 바와 같이, FPD 상에 대상 색상의 각 색 패치(Digital ColorChecker)가 순차적으로 표시되고, 24개의 색상 패치들은 분광기(spectroradiometer)와 machine vision camera에 의해 동시에 캡쳐된다.

카메라는 서로 다른 노출로 복수의 이미지를 캡쳐하고, HDR 이미징 알고리즘은 입력된 이미지들(LDR images)을 FPD의 HDR 이미지로 결합함으로써, HDR 래디언스 맵을 생성한다. 이 때, HDR 래디언스 맵은 아래 <수학식 1>과 같이 재구성될 수 있다.

여기서, L은 재구성된 HDR 래디언스 맵을 의미하고,

는 노출이 k 인 LDR(Low Dynamic Range) 이미지를 의미하며, N은 노출 횟수를 의미하고,

는 입력 LDR 이미지의 잡음과 포화를 나타내는 사다리꼴 가중 함수를 의미한다.

분광기로 측정되는 색상 패치의 분광 분포(spectral power distribution)는 CIE 색상매치함수인

,

를 사용하여 CIE XYZ 3자극(tristimulus) 값으로 변환된다. HDR 특성화 프로세스(HDR characterization)는 24쌍의 HDR RGB 신호들과 CIE XYZ 3자극(tristimulus) 값을 이용하여 선형 문제를 최적화함으로써, 선형 매트릭스 M을 산출(또는 생성)하며, 산출된 선형 매트릭스 M은 아래 <수학식 2>와 같이 나타낼 수 있다.

여기서, A는 HDR RGB 신호 매트릭스를 의미하고, B는CIE XYZ 3자극 매트릭스를 의미한다.

매트릭스 M은 새로운 HDR 카메라 신호 A와 보정 매트릭스 X를 곱함으로써, FPD의 래디언스 레벨을 XYZ 3자극 값으로 획득할 수 있도록 해준다. 이와 같이, HDR 특성화 방법은 2D 분광기처럼 색의 물리적으로 의미 있는 양을 참조하여 RGB 카메라 신호들을 CIE XYZ 값으로 선형 변환할 수 있다. 특히, HDR 특성화 방법은 FPD에서의 색상 측정치의 래디언스 절대값을 높은 정확성과 절대 스케일(absolute scales)로 산출해낼 수 있으며, 일 예로 Y 채널에 대해 FPD의 픽셀 당 휘도 강도[unit: cd/m2]를 측정할 수 있다. 즉, 이러한 프로토콜은 적용된 RGB 카메라 함수를 2D 분광기처럼 만들 수 있다.

다시 도 1을 참조하면, 단계 S110에 의해 색 좌표 값이 변환되면 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑한다(S120).

이 때, 단계 S120은 단계 S110에 의해 래디언스의 물리적으로 의미 있는 양이 CIE XYZ 좌표에서 얻어지면, CIE XYZ 값 들은 이미지 외양 모델 예를 들어, LAB2000HL의 색 벡터로 맵핑될 수 있다.

이러한 색 공간을 이용하는 이점은, 색 벡터 좌표간의 유클리드 거리(Euclidian distance)가 지각적으로 균등한 색 차이를 나타낸다는 것이다.

본 발명의 실시예들은, 완성된 디스플레이 제품들에 대하여 특이하게 인식될 수 있는 색 결함들을 검출하는 것으로, 이를 위해, 기준 디스플레이 즉, 색 결함이 없는 것으로 판단된 디스플레이의 이미지(여기서, 해당 이미지는 CIE XYZ에 보정된 이미지일 수 있음)가 캡쳐된다.

이 때, 캡쳐되는 이미지에는 백라이트의 공간적 변화와 상관 색 온도(CCT; correlated color temperature)가 포함될 수 있다.

또한, 본 발명은 FPD에서 색 결함을 측정하고 정량화하여 조사원들이 하는 것처럼 결함들을 자동으로 검출하는 것을 목적으로 한다. 따라서, 본 발명은 색 결함에 대한 인간시지각(human visual perception)을 예측하게 해주는 통합적인 시각 차이 예측기(synthetic visual difference predictor)를 적용할 수 있다. 인식된 색 차이가 주파수 측면에서 색의 공간 구조에 의해 영향을 받는다는 것은 이미 잘 알려져 있다. 즉, 중간 정도 크기의 색 결함은 매우 작은 크기의 색 결함과는 달리 조사원에 의해 쉽게 검출될 수 있다. 인간 눈의 콘트라스트 민감도를 FPD의 색 결함으로 설명하기 위하여, 시각 차이 예측기의 이미지 외양 모델링 함수가 부분적으로 적용될 수 있으며, 해당 함수는 색상 즉, CIE XYZ에 보정된 HDR 래디언스 이미지를 색조-선형(hue-linear) 색 공간으로 변환시킴으로써, 다양한 주파수로 색 결함의 시각 차이를 예측할 수 있다.

도 4b와 도 4c에 도시된 바와 같이, FPD의 색상이 색조-선형 색 공간으로 변환되면 이미지 좌표들은 각각 세 가지 콘트라스트 민감도 함수와 컨볼루션(convolution)될 수 있다. 즉, 색조-선형 색 공간으로 변환된 이미지 좌표들에 공간 필터를 적용한다.

이 때, 적용되는 공간 필터에 대한 일 예로, 아래 <수학식 3>과 같을 수 있다.

여기서,

은 휘도 채널(luminance channel)에 대한 콘트라스트 민감도 함수(CSF)를 의미하고,

은 두 색 대립 채널에 대한 CSF를 의미한다.

의 파라미터 a, b, c는 0.63, 0.085, 0.616이 될 수 있다. Red-Green 채널에서

의 파라미터 a1, b1, c1, a2, b2, c2는 91.228, 0.0003, 2.803, 74.907, 0.0038, 2.601 이 될 수 있고, Blue-Yellow 채널에서

의 파라미터 a1, b1, c1, a2, b2, c2는 5.623, 0.00001, 3.4066, 41.9363, 0.083, 1.3684 이 될 수 있다.

이러한 공간필터들은 주파수 도메인에서 크게 증대된 후, 각 LAB2000HL 채널에서 퓨리에 변환(Fourier Transform)될 수 있다. 이 때, 이러한 필터들이 각 채널의 서로 다른 레벨에서 높은 주파수 정보를 압축하는 저역 통과 필터일 수 있으며, 저역 통과 필터는 높은 주파수를 가시성 임계값(threshold) 미만으로 약화시키는 반면, 특정 주파수의 평균 강도를 유지하고 부자연스러운 과장을 방지할 수 있다.

다시 도 1을 참조하면, 단계 S120에 의해 이미지 외양 모델의 색 벡터로 맵핑되면 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 디스플레이의 불량 여부를 검출한다(S130).

구체적으로, 단계 S130은 도 4c에 의해 각 채널에 공간 필터링이 적용된 후 기준 장치 즉, 기준 디스플레이에 대한 픽셀 당 색 차이에 대응하는 LAB2000HL 색 공간에 있는

의 유클리드 거리 값을 계산한다. LAB2000HL 공간의 유클리드거리

는 CIELAB 공간에서 표준 색 차이

와 동일하게 되도록 설계될 수 있으며, 아래 <수학식 4>와 같이 나타낼 수 있다.

여기서,

이고,

이며,

일 수 있고,

과

은 LAB2000HL 공간의 무색과 색 대립 채널을 의미한다.

그리고, 본 발명은 도 4e에 도시된 바와 같이, 임계 레벨(threshold level)에서의 차이 맵(difference map)의 필터링을 수행함으로써, FPD의 색 결함 영역을 나타내는 이진 맵(binary map)을 산출하고, 이를 통해 디스플레이의 불량을 검출할 수 있다.

이와 같이, 본 발명의 실시예에 따른 방법은 물리적으로 의미 있는 이미징과 인식된 색 결함의 이미지 외양 모델을 통해 디스플레이의 색 결함을 검출하는 것으로, 도 5에 도시된 일 예와 같이, 기준 디스플레이(도 5a)와 색 결함이 있는 디스플레이(도 5c) 간의 휘도 차이를 이용한 기존 방법이 명확하게 구별되지 않은 반면, 본 발명에 따른 방법(도 5d)은 색상 차이가 미묘함에도 불구하고 효과적으로 색 결함을 구별할 수 있는 것을 알 수 있다.

도 6은 본 발명의 일 실시예에 따른 디스플레이 불량 검출 시스템에 대한 구성을 나타낸 것으로, 상술한 도 1 내지 도 5의 방법을 수행하는 시스템에 대한 구성을 나타낸 것이다.

도 6을 참조하면, 본 발명의 실시예에 따른 시스템(600)은 변환부(610), 맵핑부(620) 및 검출부(630)를 포함한다.

변환부(610)는 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환함으로써, HDR 특성화 과정을 수행한다.

이 때, 변환부(610)는 도 7에 도시된 일 예와 같이, 제1 변환부(710), 맵 생성부(720) 및 제2 변환부(730)를 포함할 수 있다.

제1 변환부(710)는 분광기(spectroradiometer)에 의해 측정되는 디스플레이의 색상에 대한 분광 분포를 색 공간의 3자극(tristimuli) 값으로 변환한다.

여기서, 제1 변환부(710)는 분광기를 포함하고, 디스플레이 상에 대상 색상의 각 색 패치가 순차적으로 표시되면 분광기를 이용하여24개의 색상 패치들을 캡쳐하며, 분광기로 측정되는 색상 패치의 분광 분포(spectral power distribution)를 CIE 색상매치함수를 이용하여 CIE XYZ 3자극 값으로 변환할 수 있다.

맵 생성부(720)는 카메라에 의해 캡쳐된 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성한다.

여기서, 맵 생성부(720)는 카메라 예를 들어, machine vision camera를 포함하고, 디스플레이 상에 대상 색상의 각 색 패치가 순차적으로 표시되면 카메라를 이용하여 분광기와 동시에 24개의 색상 패치들을 캡쳐하며, HDR 이미징 알고리즘을 이용하여 캡쳐된 이미지들(LDR images)을 HDR 이미지로 결합함으로써, HDR 래디언스 맵을 생성할 수 있다.

제2 변환부(730)는 제1 변환부(710)에 의해 변환된 색 공간의 3자극 값과 맵 생성부(720)에 의해 생성된 HDR 래디언스 맵을 이용하여 디스플레이의 HDR 색 신호를 색 공간의 색 좌표 값으로 변환한다.

여기서, 제2 변환부(730)는 색 공간의 3자극 값과 HDR 래디언스 맵을 이용하여 선형 문제를 최적화함으로써, 디스플레이의 HDR 색 신호를 색 공간의 색 좌표 값으로 변환할 수 있다.

맵핑부(720)는 변환부(710)에 의해 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑한다.

이 때, 맵핑부(720)는 변환부(710)에 의해 변환된 색 좌표 값을 이미지 외양 모델의 함수를 이용하여 색조-선형(hue-linear) 색 공간으로 변환시키고, 미리 결정된 공간 필터를 적용함으로써, 변환된 색 좌표 값을 이미지 외양 모델의 색 벡터로 맵핑할 수 있다.

검출부(730)는 맵핑부(720)에 의해 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 디스플레이의 불량 여부를 검출한다.

이 때, 검출부(730)는 맵핑된 색 벡터와 기준 색 벡터 간의 색 공간에서 색 차이 예를 들어, 유클리드 거리 값을 계산하고, 계산된 색 차이에 기초하여 디스플레이의 불량 여부를 검출할 수 있다.

본 발명의 실시예에 따른 시스템은 도 6과 도 7의 기능 뿐만 아니라 도 1 내지 도 5에서 상술한 기능들을 모두 수행할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

1. 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 단계;
   상기 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑하는 단계; 및
   상기 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 단계를 포함하고,
   상기 변환하는 단계는,
   분광기(spectroradiometer)에 의해 측정되는 상기 디스플레이의 색상에 대한 분광 분포를 상기 색 공간의 3자극(tristimuli) 값으로 변환하는 단계;
   카메라에 의해 캡쳐된 상기 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성하는 단계;
   상기 변환된 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 선형 매트릭스를 산출하는 단계; 및
   상기 선형 매트릭스를 이용하여, 상기 카메라에 의해 캡쳐된 이미지들로부터 생성된 HDR RGB 신호를 색 좌표 값으로 변환하는 단계를 포함하는 것을 특징으로 하는 디스플레이 불량 검출 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 디스플레이의 색상은
   상기 분광기와 상기 카메라에 의해 동시에 캡쳐되는 것을 특징으로 하는 디스플레이 불량 검출 방법.
5. 제1항에 있어서,
   상기 색 벡터로 맵핑하는 단계는
   상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 함수를 이용하여 색조-선형(hue-linear) 색 공간으로 변환시키고, 미리 결정된 공간 필터를 적용함으로써, 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 색 벡터로 맵핑하는 것을 특징으로 하는 디스플레이 불량 검출 방법.
6. 제1항에 있어서,
   상기 디스플레이의 불량 여부를 검출하는 단계는
   상기 맵핑된 색 벡터와 상기 기준 색 벡터 간의 색 공간에서 색 차이를 계산하고, 상기 계산된 색 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 것을 특징으로 하는 디스플레이 불량 검출 방법.
7. 디스플레이의 색 신호를 색 공간의 색 좌표 값으로 변환하는 변환부;
   상기 변환된 색 좌표 값을 미리 결정된 이미지 외양 모델(image appearance model)의 색 벡터로 맵핑하는 맵핑부; 및
   상기 맵핑된 색 벡터와 미리 결정된 기준 디스플레이의 기준 색 벡터 간의 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 검출부를 포함하고,
   상기 변환부는
   분광기(spectroradiometer)에 의해 측정되는 상기 디스플레이의 색상에 대한 분광 분포를 상기 색 공간의 3자극(tristimuli) 값으로 변환하는 제1 변환부;
   카메라에 의해 캡쳐된 상기 디스플레이의 색상에 대한 이미지들을 이용하여 HDR(high dynamic range) 래디언스 맵(radiance map)을 생성하는 맵 생성부; 및
   상기 변환된 색 공간의 3자극 값과 상기 HDR 래디언스 맵을 이용하여 선형 매트릭스를 산출하고, 상기 선형 매트릭스를 이용하여, 상기 카메라에 의해 캡쳐된 이미지들로부터 생성된 HDR RGB 신호를 색 좌표 값으로 변환하는 제2 변환부를 포함하는 것을 특징으로 하는 디스플레이 불량 검출 시스템.
8. 삭제
9. 삭제
10. 제7항에 있어서,
    상기 디스플레이의 색상은
    상기 분광기와 상기 카메라에 의해 동시에 캡쳐되는 것을 특징으로 하는 디스플레이 불량 검출 시스템.
11. 제7항에 있어서,
    상기 맵핑부는
    상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 함수를 이용하여 색조-선형(hue-linear) 색 공간으로 변환시키고, 미리 결정된 공간 필터를 적용함으로써, 상기 변환된 색 좌표 값을 상기 이미지 외양 모델의 색 벡터로 맵핑하는 것을 특징으로 하는 디스플레이 불량 검출 시스템.
12. 제7항에 있어서,
    상기 검출부는
    상기 맵핑된 색 벡터와 상기 기준 색 벡터 간의 색 공간에서 색 차이를 계산하고, 상기 계산된 색 차이에 기초하여 상기 디스플레이의 불량 여부를 검출하는 것을 특징으로 하는 디스플레이 불량 검출 시스템.

Images