KR20080103715A - 영상 처리 장치 및 그 방법 - Google Patents

영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20080103715A
KR20080103715A KR1020070050790A KR20070050790A KR20080103715A KR 20080103715 A KR20080103715 A KR 20080103715A KR 1020070050790 A KR1020070050790 A KR 1020070050790A KR 20070050790 A KR20070050790 A KR 20070050790A KR 20080103715 A KR20080103715 A KR 20080103715A
Authority
KR
South Korea
Prior art keywords
pixel
luminance
interest
weight
level
Prior art date
Application number
KR1020070050790A
Other languages
English (en)
Other versions
KR100901353B1 (ko
Inventor
강봉수
Original Assignee
주식회사 코아로직
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코아로직 filed Critical 주식회사 코아로직
Priority to KR1020070050790A priority Critical patent/KR100901353B1/ko
Priority to US12/154,640 priority patent/US8055092B2/en
Publication of KR20080103715A publication Critical patent/KR20080103715A/ko
Application granted granted Critical
Publication of KR100901353B1 publication Critical patent/KR100901353B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 영상 처리 장치 등에 관한 것이다.
이러한 본 발명에 따른 영상 처리 장치는 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 관심픽셀로부터 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 관심픽셀의 휘도 변화 레벨을 분류하는 휘도 변화 레벨 분류부와, 관심픽셀의 휘도 변화 레벨에 따라 서로 다른 동적 가중치를 연산하는 동적 가중치 연산부 및 동적 가중치에 기초하여 관심픽셀의 휘도를 보정하는 휘도 보정부를 포함한다.
이러한 본 발명에 따르면, 영상의 평면 부분의 잡음을 최소화 하면서도 윤곽 부분을 적절히 강조하여 영상의 선명도를 향상시키는 등의 효과가 있다.
윤곽, 잡음, 휘도 변화 레벨 분류부, 동적 가중치 연산부, 휘도 보정부

Description

영상 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면.
도 2는 도 1에 포함된 휘도 변화 레벨 분류부를 나타낸 도면.
도 3 내지 도 6은 관심픽셀이 포함된 5×5 픽셀영역의 8가지 방향으로의 휘도 변화량을 연산하는 방법을 나타낸 도면.
도 7은 도 1에 포함된 동적 가중치 연산부를 나타낸 도면.
도 8은 도 7에 포함된 1차 가중치 연산부의 동작을 설명하기 위한 도면.
도 9는 도 7에 포함된 2차 가중치 부가부의 동작을 설명하기 위한 도면.
도 10은 도 1에 포함된 휘도 보정부를 나타낸 도면.
도 11 내지 도 13은 본 발명의 일 실시 예에 따른 영상 처리 장치의 실험 예를 나타낸 도면.
***** 도면의 주요 부분에 대한 부호의 설명 *****
1: 휘도 변화 레벨 분류부
2: 동적 가중치 연산부
3: 휘도 보정부
12: 휘도 변화량 연산부
14: 문턱값 연산부
16: 비교/분류부
22: 1차 가중치 연산부
24: 2차 가중치 부가부
34: 휘도차 연산부
36: 보정 휘도 연산부
본 발명은 영상 처리 장치 및 그 방법에 관한 것으로, 보다 상세하게는 영상의 평면 부분의 잡음을 줄이면서 에지 부분의 윤곽을 강조하는 영상 처리 장치 및 그 방법에 관한 것이다.
일반적으로 휴대폰용 디지털 카메라 등과 같은 영상 처리 장치로부터 출력되는 영상에 포함된 피사체의 경계 즉, 영상의 윤곽이 뭉개져서 보여지는 경우가 있다. 영상의 윤곽은 물체의 위치, 모양, 크기 등이 변경되는 경계선을 의미한다. 이러한 영상의 윤곽은 그 영상의 많은 정보를 가지고 있으며, 영상의 밝기가 낮은 곳에서 높은 곳으로 또는 높은 곳에서 낮은 값으로 변하는 지점에 존재한다.
이러한 영상의 윤곽을 강조를 위한 방법으로 영상 신호에 대해 적절한 샤프 닝 필터(sharpening filter)를 이용하는 방안이 제안되었다. 그러나 이 방안에 따르면, 영상의 평면 부분에서의 잡음이 강화되는 문제점이 있다.
이러한 문제점을 해결하기 위한 본 발명은 영상의 평면 부분의 잡음을 최소화 하면서도 윤곽 부분을 적절히 강조하여 영상의 선명도를 향상시키는 것을 목적으로 한다.
또한 본 발명은 영상 내의 상세 정보를 검사한 후 그 상세 정보를 반영하여 영상을 처리함으로써, 출력 영상의 품위를 보다 효율적으로 향상시킬 수 있다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 영상 처리 장치는 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 상기 관심픽셀로부터 상기 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 분류하는 휘도 변화 레벨 분류부와, 상기 관심픽셀의 휘도 변화 레벨에 따라 서로 다른 동적 가중치를 연산하는 동적 가중치 연산부 및 상기 동적 가중치에 기초하여 상기 관심픽셀의 휘도를 보정하는 휘도 보정부를 포함한다.
상기 휘도 변화 레벨 분류부는 5×5 픽셀영역 중 상기 관심픽셀이 포함된 3×3 픽셀영역으로부터 상기 관심픽셀이 포함된 3×3 픽셀영역을 제외한 8개의 3×3 픽셀영역 방향의 8개의 휘도 변화량을 연산하는 휘도 변화량 연산부 및 상기 8개의 휘도 변화량을 평균한 휘도 변화 평균값과 상기 하한 문턱값 및 상기 상한 문턱값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 3단계로 분류하는 비교/분류부를 포함하는 것이 바람직하다.
상기 3×3 픽셀영역들의 중심에 위치한 중심픽셀들에는 기 설정된 가중치가 부여되는 것이 바람직하다.
상기 비교/분류부는 상기 휘도 변화 평균값이 상기 하한 문턱값보다 작은 경우 상기 관심픽셀의 휘도 변화 레벨을 제1 레벨로 분류하고, 상기 휘도 변화 평균값이 상기 하한 문턱값 이상이고 상기 상한 문턱값 이하인 경우 상기 관심픽셀의 휘도 변화 레벨을 제2 레벨로 분류하고, 상기 휘도 변화 평균값이 상기 상한 문턱값보다 큰 경우 상기 관심픽셀의 휘도 변화 레벨을 제3 레벨로 분류하는 것이 바람직하다.
상기 동적 가중치 연산부는 상기 관심픽셀의 휘도 변화 레벨에 기초하여 1차 가중치를 연산하는 1차 가중치 연산부 및 상기 관심픽셀의 휘도에 기초하여 상기 1차 가중치에 2차 가중치를 부가하는 2차 가중치 부가부를 포함하는 것이 바람직하다.
상기 1차 가중치 연산부는 상기 관심픽셀의 휘도 변화 레벨이 제1 레벨로 분류된 경우 로우 레벨의 1차 가중치를 연산하고, 상기 관심픽셀의 휘도 변화 레벨이 제3 레벨로 분류된 경우 하이 레벨의 1차 가중치를 연산하고, 상기 관심픽셀의 휘도 변화 레벨이 제2 레벨로 분류된 경우 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 점진적으로 상승하는 중간 레벨의 1차 가중치를 연산하는 것이 바람직하다.
상기 중간 레벨의 1차 가중치는 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 선형적으로 상승하는 것이 바람직하다.
상기 2차 가중치 부가부는 상기 관심픽셀의 휘도가 최대계조의 20% 이상 80% 이하인 경우 1의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고, 상기 관심픽셀의 휘도가 최대계조의 20% 이하인 경우 상기 관심픽셀의 휘도에 비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고, 상기 관심픽셀의 휘도가 최대계조의 80% 이상인 경우 상기 관심픽셀의 휘도에 반비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하는 것이 바람직하다.
상기 휘도 보정부는 상기 관심픽셀의 휘도에서 상기 5×5 픽셀영역의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크를 상기 5×5 픽셀영역에 부가하여 구한 평균 휘도를 감산하여 휘도차를 연산하는 휘도차 연산부 및 상기 동적 가중치 연산부로부터 출력되는 동적 가중치에 상기 휘도차 연산부로부터 출력되는 휘도차를 승산하고 상기 5×5 픽셀영역의 평균 휘도를 가산하여 보정 휘도를 연산하는 보정 휘도 연산부를 포함하는 것이 바람직하다.
본 발명에 따른 영상 처리 방법은 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 상기 관심픽셀로부터 상기 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 분류하는 휘도 변화 레벨 분류단계와, 상기 관심픽셀의 휘도 변화 레 벨에 따라 서로 다른 동적 가중치를 연산하는 동적 가중치 연산단계 및 상기 동적 가중치에 기초하여 상기 관심픽셀의 휘도를 보정하는 휘도 보정단계를 포함한다.
상기 휘도 변화 레벨 분류단계는 5×5 픽셀영역 중 상기 관심픽셀이 포함된 3×3 픽셀영역으로부터 상기 관심픽셀이 포함된 3×3 픽셀영역을 제외한 8개의 3×3 픽셀영역 방향의 8개의 휘도 변화량을 연산하는 휘도 변화량 연산단계 및 상기 8개의 휘도 변화량을 평균한 휘도 변화 평균값과 상기 하한 문턱값 및 상기 상한 문턱값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 3단계로 분류하는 비교/분류단계를 포함하는 것이 바람직하다.
상기 3×3 픽셀영역들의 중심에 위치한 중심픽셀들에는 기 설정된 가중치가 부여되는 것이 바람직하다.
상기 비교/분류단계에서, 상기 휘도 변화 평균값이 상기 하한 문턱값보다 작은 경우 상기 관심픽셀의 휘도 변화 레벨을 제1 레벨로 분류하고, 상기 휘도 변화 평균값이 상기 하한 문턱값 이상이고 상기 상한 문턱값 이하인 경우 상기 관심픽셀의 휘도 변화 레벨을 제2 레벨로 분류하고, 상기 휘도 변화 평균값이 상기 상한 문턱값보다 큰 경우 상기 관심픽셀의 휘도 변화 레벨을 제3 레벨로 분류하는 것이 바람직하다.
상기 동적 가중치 연산단계는 상기 관심픽셀의 휘도 변화 레벨에 기초하여 1차 가중치를 연산하는 1차 가중치 연산단계 및 상기 관심픽셀의 휘도에 기초하여 상기 1차 가중치에 2차 가중치를 부가하는 2차 가중치 부가단계를 포함하는 것이 바람직하다.
상기 1차 가중치 연산단계에서, 상기 관심픽셀의 휘도 변화 레벨이 제1 레벨로 분류된 경우 로우 레벨의 1차 가중치를 연산하고, 상기 관심픽셀의 휘도 변화 레벨이 제3 레벨로 분류된 경우 하이 레벨의 1차 가중치를 연산하고, 상기 관심픽셀의 휘도 변화 레벨이 제2 레벨로 분류된 경우 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 점진적으로 상승하는 중간 레벨의 1차 가중치를 연산하는 것이 바람직하다.
상기 중간 레벨의 1차 가중치는 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 선형적으로 상승하는 것이 바람직하다.
상기 2차 가중치 부가단계에서, 상기 관심픽셀의 휘도가 최대계조의 20% 이상 80% 이하인 경우 1의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고, 상기 관심픽셀의 휘도가 최대계조의 20% 이하인 경우 상기 관심픽셀의 휘도에 비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고, 상기 관심픽셀의 휘도가 최대계조의 80% 이상인 경우 상기 관심픽셀의 휘도에 반비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하는 것이 바람직하다.
상기 휘도 보정단계는 상기 관심픽셀의 휘도에서 상기 5×5 픽셀영역의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크를 상기 5×5 픽셀영역에 부가하여 구한 평균 휘도를 감산하여 휘도차를 연산하는 휘도차 연산단계 및 상기 동적 가중치 연산단계에서 출력되는 동적 가중치에 상기 휘도차 연산단계에서 출력되는 휘도차를 승산하고 상기 5×5 픽셀영역의 평균 휘도를 가산하여 보정 휘도를 연산하는 보정 휘도 연산단계를 포함하는 것이 바람직하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 영상 처리 장치는 휘도 변화 레벨 분류부(1)와 동적 가중치 연산부(2) 및 휘도 보정부(3)를 포함한다.
휘도 변화 레벨 분류부(1)는 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 관심픽셀로부터 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 관심픽셀의 휘도 변화 레벨을 분류한다.
이러한 휘도 변화 레벨 분류부(1)는 도 2에 개시된 바와 같이 구성될 수 있다.
도 2를 참조하면, 휘도 변화 레벨 분류부(1)는 휘도 변화량 연산부(12), 문턱값 연산부(14) 및 비교/분류부(16)를 포함한다.
휘도 변화량 연산부(12)는 5×5 픽셀영역(PA) 중 관심픽셀(y33)이 포함된 3×3 픽셀영역(PVV)으로부터 관심픽셀이 포함된 3×3 픽셀영역(PVV)을 제외한 8개의 3×3 픽셀영역 방향의 8개의 휘도 변화량(H1, H2, V1, V2, S1, S2, B1, B2)을 연산한다.
이러한 휘도 변화량 연산부(12)의 구체적인 동작을 도 3 내지 도 6을 참조하 여 설명한다.
도 3을 참조하면, 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 좌측 3×3 픽셀영역(PUU1) 방향의 휘도 변화량(H1)과 우측 3×3 픽셀영역(PWW1) 방향의 휘도 변화량(H2)이 연산된다.
이를 수식으로 표현하면 다음 수학식 1 및 수학식 2와 같다.
Figure 112007038270764-PAT00001
, H1은 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 좌측 3×3 픽셀영역(PUU1) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, UU1은 좌측 3×3 픽셀영역(PUU1)의 평균 휘도이다. 한편, 3×3 픽셀영역의 평균 휘도는 각 3×3 픽셀영역의 중심픽셀에 소정의 가중치를 부여한 후 연산된다. 예를 들어 도 3에 도시된 바와 같이 VV의 연산과정에서, 3×3 픽셀영역(PVV)의 중심픽셀인 y33에 부여되는 가중치는 주변픽셀들인 y22, y23, y24, y32, y34, y42, y43, y44에 부여되는 가중치의 8배일 수 있다. 이와 같이 3×3 픽셀영역의 평균 휘도를 구하는 과정에서 중심픽셀에 부여되는 가중치는 수학식 2 내지 수학식 8에 있어서도 동일하게 적용될 수 있다.
Figure 112007038270764-PAT00002
, H2은 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 우측 3×3 픽셀영역(PWW1) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, WW1은 우측 3×3 픽셀영역(PWW1)의 평균 휘도이다.
Figure 112007038270764-PAT00003
, V1은 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 상측 3×3 픽셀영역(PUU2) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, UU2는 상측 3×3 픽셀영역(PUU2)의 평균 휘도이다.
Figure 112007038270764-PAT00004
, V2 WW2 V2는 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 하측 3×3 픽셀영역(PWW2) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, WW2는 하측 3×3 픽셀영역(PWW2)의 평균 휘도이다.
Figure 112007038270764-PAT00005
, S1은 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 우상측 3×3 픽셀영역(PUU3) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, UU3는 우상측 3×3 픽셀영역(PUU3)의 평균 휘도이다.
Figure 112007038270764-PAT00006
, S2는 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 좌하측 3×3 픽셀영역(PWW3) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, WW3는 좌하측 3×3 픽셀영역(PWW3)의 평균 휘도이다.
Figure 112007038270764-PAT00007
, B1은 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 좌상측 3×3 픽셀영역(PUU4) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, UU3는 좌상측 3×3 픽셀영역(PUU4)의 평균 휘도이다.
Figure 112007038270764-PAT00008
, B2는 관심픽셀이 포함된 3×3 픽셀영역(PVV)으로부터 우하측 3×3 픽셀영역(PWW4) 방향의 휘도 변화량이고, VV는 관심픽셀이 포함된 3×3 픽셀영역(PVV)의 평균 휘도이고, UU3는 우하측 3×3 픽셀영역(PWW4)의 평균 휘도이다.
문턱값 연산부(14)는 관심픽셀(y33)이 포함된 3×3 픽셀영역(PVV)의 평균 휘 도(C)에 기초하여 하한 문턱값(TCTLM)과 상한 문턱값(TCTHM)을 연산한다. 이를 보다 상세히 설명하면 다음과 같다. 즉, 문턱값 연산부(14)는 3×3 픽셀영역(PVV)의 평균 휘도(C)에 기 설정된 2개의 비례상수(TCRLM, TCRHM)를 각각 곱하여 하한 문턱값(TCTLM)과 상한 문턱값(TCTHM)을 연산한다.
비교/분류부(16)는 8가지 방향의 휘도 변화량(H1, H2, V1, V2, S1, S2, B1, B2)을 평균한 휘도 변화 평균값을 하한 문턱값(TCTLM) 및 상한 문턱값(TCTHM)과 비교하여 관심픽셀(y33)의 휘도 변화 레벨을 3단계로 분류하여 휘도 변화 레벨 신호(S)를 출력한다.
비교/분류부(16)에서 연산되는 휘도 변화 평균값을 수식으로 표현하면 다음 수학식 9와 같다.
Figure 112007038270764-PAT00009
, EMV는 휘도 변화 평균값이다.
비교/분류부(16)는 이러한 휘도 변화 평균값(EMV)을 하한 문턱값(TCTLM) 및 상한 문턱값(TCTHM)과 비교하여 다음과 같이 3단계의 휘도 변화 레벨을 갖는 휘도 변화 레벨 신호(S)를 출력한다.
1) 휘도 변화 평균값(EMV)이 하한 문턱값(TCTLM)과 같거나 작은 경우, 비교/ 분류부(16)는 관심픽셀의 휘도 변화 레벨을 제1 레벨로 분류한다.
2) 휘도 변화 평균값(EMV)이 상한 문턱값(TCTHM)과 같거나 큰 경우, 비교/분류부(16)는 관심픽셀의 휘도 변화 레벨을 제3 레벨로 분류한다.
3) 휘도 변화 평균값(EMV)이 하한 문턱값(TCTLM)보다 크고 상한 문턱값(TCTHM)보다 작은 경우, 비교/분류부(16)는 관심픽셀의 휘도 변화 레벨을 중간레벨로 분류한다.
동적 가중치 연산부(2)는 관심픽셀의 휘도 변화 레벨에 따라 서로 다른 동적 가중치를 연산한다.
이러한 동적 가중치 연산부(2)는 도 7에 개시된 바와 같이 구성될 수 있다.
도 7을 참조하면, 동적 가중치 연산부(2)는 1차 가중치 연산부(22) 및 2차 가중치 부가부(24)를 포함한다.
1차 가중치 연산부(22)는 관심픽셀의 휘도 변화 레벨에 기초하여 1차 가중치를 연산한다.
이러한 1차 가중치 연산부(22)의 동작을 도 8을 참조하여 상세히 설명한다.
도 8을 참조하면, 1) 관심픽셀의 휘도 변화 레벨이 제1 레벨로 분류된 경우, 1차 가중치 연산부(22)는 로우 레벨의 1차 가중치(LowWeight)를 연산하여 출력하고, 2) 관심픽셀의 휘도 변화 레벨이 제3 레벨로 분류된 경우, 1차 가중치 연산부(22)는 하이 레벨의 1차 가중치(HighWeight)를 연산하여 출력하고, 3) 관심픽셀의 휘도 변화 레벨이 제2 레벨로 분류된 경우, 1차 가중치 연산부(22)는 로우 레벨 의 1차 가중치(LowWeight)로부터 하이 레벨의 1차 가중치(HighWeight)로 점진적으로 상승하는 중간 레벨의 1차 가중치를 연산하여 출력한다. 중간 레벨의 1차 가중치는 로우 레벨의 1차 가중치(LowWeight)로부터 하이 레벨의 1차 가중치(HighWeight)로 선형적으로 상승하는 값일 수 있다.
2차 가중치 부가부(24)는 관심픽셀의 휘도에 기초하여 1차 가중치에 2차 가중치를 부가한다.
이러한 2차 가중치 부가부(24)의 동작을 도 9를 참조하여 상세히 설명한다.
도 9를 참조하면, 1) 관심픽셀의 휘도(y33)가 최대계조(예를 들어 1023)의 20% 이상 80% 이하인 경우, 2차 가중치 부가부(24)는 1의 값을 갖는 2차 가중치를 1차 가중치에 부가하고, 2) 관심픽셀의 휘도가 최대계조의 20% 이하인 경우, 2차 가중치 부가부(24)는 관심픽셀의 휘도에 비례하고 1 이하의 값을 갖는 2차 가중치를 1차 가중치에 부가하고, 3) 관심픽셀의 휘도가 최대계조의 80% 이상인 경우, 2차 가중치 부가부(24)는 관심픽셀의 휘도에 반비례하고 1 이하의 값을 갖는 2차 가중치를 1차 가중치에 부가한다. 이와 같이 관심픽셀의 휘도가 너무 높거나 너무 낮은 경우 1차 가중치에 1이하의 2차 가중치를 추가적으로 부가함으로써, 영상의 에지 부분을 강조하는 동시에 불필요한 노이즈를 효율적으로 저감할 수 있다.
휘도 보정부(3)는 동적 가중치에 기초하여 관심픽셀의 휘도를 보정한다.
이러한 휘도 보정부(3)는 도 10에 개시된 바와 같이 구성될 수 있다.
도 10을 참조하면, 휘도 보정부(3)는 휘도차 연산부(34)와 보정 휘도 연산부(36)를 포함한다.
휘도차 연산부(34)는 관심픽셀의 휘도(y33)에서 5×5 픽셀영역(PA)의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크(5×5 Mask)를 5×5 픽셀영역(PA)에 부가하여 구한 평균 휘도를 감산하여 휘도차를 연산한다. 이를 수식으로 표현하면 다음 수학식 10과 같다.
Figure 112007038270764-PAT00010
, DV는 휘도차이고, y33은 관심픽셀의 휘도이고, BV는 마스크(5×5 Mask)를 부가하여 구한 5×5 픽셀영역(PA)의 평균 휘도이다.
도면부호 32는 5×5 픽셀영역(PA)의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크(5×5 Mask)를 5×5 픽셀영역(PA)에 부가하여 5×5 픽셀영역의 평균 휘도(BV)를 구하는 5×5 픽셀영역(PA) 평균 휘도 연산부를 가르킨다.
보정 휘도 연산부(36)는 동적 가중치 연산부(2)로부터 출력되는 동적 가중치(boostWeight)에 휘도차 연산부(34)로부터 출력되는 휘도차(DV)를 승산하고 5×5 픽셀영역의 평균 휘도(BV)를 가산하여 보정 휘도(Boosted Value)를 연산한다. 이를 수식으로 표현하면 다음 수학식 11과 같다.
Figure 112007038270764-PAT00011
, Boosted Value는 보정 휘도이고, boostedWeight는 동적 가중치이다.
이후, 관심픽셀의 휘도(y33)를 보정 휘도(Boosted Value)로 치환함으로써, 휘도 변화량에 적응적인 강도로 영상의 에지 부분을 강조할 수 있다.
이상에서 상세히 설명한 바와 같이 본 발명의 일 실시 예에 따른 영상 처리 장치에 따르면, 영상의 평면 부분의 잡음을 최소화하면서도 윤곽 부분을 적절히 강조하여 영상의 선명도를 향상시키는 효과가 있다. 이러한 본 발명의 일 실시 예에 따른 영상 처리 장치에 의한 영상 처리 결과가 도 11 내지 도 13에 나타나 있다.
본 발명의 일 실시 예에 따른 영상 처리 방법의 작동 원리는 앞서 상세히 설명한 본 발명의 일 실시 예에 따른 영상 처리 장치와 실질적으로 동일하므로 본 발명의 일 실시 예에 따른 영상 처리 방법에 대한 상세한 설명은 본 발명의 일 실시 예에 따른 영상 처리 장치에 대한 상세한 설명으로 대체한다.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 영상의 평면 부분의 잡음을 최소화하면서도 윤곽 부분을 적절히 강조하여 영상의 선명도를 향상시키는 효과가 있다.
또한 본 발명에 따르면, 영상 내의 상세 정보를 검사한 후 그 상세 정보를 반영하여 영상을 처리함으로써, 출력 영상의 품위를 보다 효율적으로 향상시키는 효과가 있다.

Claims (18)

  1. 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 상기 관심픽셀로부터 상기 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 분류하는 휘도 변화 레벨 분류부;
    상기 관심픽셀의 휘도 변화 레벨에 따라 서로 다른 동적 가중치를 연산하는 동적 가중치 연산부; 및
    상기 동적 가중치에 기초하여 상기 관심픽셀의 휘도를 보정하는 휘도 보정부;
    를 포함하는, 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 휘도 변화 레벨 분류부는
    5×5 픽셀영역 중 상기 관심픽셀이 포함된 3×3 픽셀영역으로부터 상기 관심픽셀이 포함된 3×3 픽셀영역을 제외한 8개의 3×3 픽셀영역 방향의 8개의 휘도 변화량을 연산하는 휘도 변화량 연산부; 및
    상기 8개의 휘도 변화량을 평균한 휘도 변화 평균값을 상기 하한 문턱값 및 상기 상한 문턱값과 비교하여 상기 관심픽셀의 휘도 변화 레벨을 3단계로 분류하는 비교/분류부;
    를 포함하는, 영상 처리 장치.
  3. 제2 항에 있어서,
    상기 3×3 픽셀영역들의 중심에 위치한 중심픽셀들에는 기 설정된 가중치가 부여되는, 영상 처리 장치.
  4. 제2 항에 있어서,
    상기 비교/분류부는
    상기 휘도 변화 평균값이 상기 하한 문턱값보다 작은 경우 상기 관심픽셀의 휘도 변화 레벨을 제1 레벨로 분류하고,
    상기 휘도 변화 평균값이 상기 하한 문턱값 이상이고 상기 상한 문턱값 이하인 경우 상기 관심픽셀의 휘도 변화 레벨을 제2 레벨로 분류하고,
    상기 휘도 변화 평균값이 상기 상한 문턱값보다 큰 경우 상기 관심픽셀의 휘도 변화 레벨을 제3 레벨로 분류하는, 영상 처리 장치.
  5. 제1 항에 있어서,
    상기 동적 가중치 연산부는
    상기 관심픽셀의 휘도 변화 레벨에 기초하여 1차 가중치를 연산하는 1차 가중치 연산부; 및
    상기 관심픽셀의 휘도에 기초하여 상기 1차 가중치에 2차 가중치를 부가하는 2차 가중치 부가부;
    를 포함하는, 영상 처리 장치.
  6. 제5 항에 있어서,
    상기 1차 가중치 연산부는
    상기 관심픽셀의 휘도 변화 레벨이 제1 레벨로 분류된 경우 로우 레벨의 1차 가중치를 연산하고,
    상기 관심픽셀의 휘도 변화 레벨이 제3 레벨로 분류된 경우 하이 레벨의 1차 가중치를 연산하고,
    상기 관심픽셀의 휘도 변화 레벨이 제2 레벨로 분류된 경우 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 점진적으로 상승하는 중간 레벨의 1차 가중치를 연산하는, 영상 처리 장치.
  7. 제6 항에 있어서,
    상기 중간 레벨의 1차 가중치는 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 선형적으로 상승하는, 영상 처리 장치.
  8. 제5 항에 있어서,
    상기 2차 가중치 부가부는
    상기 관심픽셀의 휘도가 최대계조의 20% 이상 80% 이하인 경우 1의 값을 갖 는 2차 가중치를 상기 1차 가중치에 부가하고,
    상기 관심픽셀의 휘도가 최대계조의 20% 이하인 경우 상기 관심픽셀의 휘도에 비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고,
    상기 관심픽셀의 휘도가 최대계조의 80% 이상인 경우 상기 관심픽셀의 휘도에 반비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하는, 영상 처리 장치.
  9. 제1 항에 있어서,
    상기 휘도 보정부는
    상기 관심픽셀의 휘도에서 상기 5×5 픽셀영역의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크를 상기 5×5 픽셀영역에 부가하여 구한 평균 휘도를 감산하여 휘도차를 연산하는 휘도차 연산부; 및
    상기 동적 가중치 연산부로부터 출력되는 동적 가중치에 상기 휘도차 연산부로부터 출력되는 휘도차를 승산하고 상기 5×5 픽셀영역의 평균 휘도를 가산하여 보정 휘도를 연산하는 보정 휘도 연산부;
    를 포함하는, 영상 처리 장치.
  10. 관심픽셀의 휘도에 기초하여 설정된 상한 문턱값 및 하한 문턱값과 상기 관심픽셀로부터 상기 관심픽셀 주변의 주변픽셀들 방향의 휘도 변화를 반영하는 휘도 변화 평균값을 비교하여 상기 관심픽셀의 휘도 변화 레벨을 분류하는 휘도 변화 레 벨 분류단계;
    상기 관심픽셀의 휘도 변화 레벨에 따라 서로 다른 동적 가중치를 연산하는 동적 가중치 연산단계; 및
    상기 동적 가중치에 기초하여 상기 관심픽셀의 휘도를 보정하는 휘도 보정단계;
    를 포함하는, 영상 처리 방법.
  11. 제10 항에 있어서,
    상기 휘도 변화 레벨 분류단계는
    5×5 픽셀영역 중 상기 관심픽셀이 포함된 3×3 픽셀영역으로부터 상기 관심픽셀이 포함된 3×3 픽셀영역을 제외한 8개의 3×3 픽셀영역 방향의 8개의 휘도 변화량을 연산하는 휘도 변화량 연산단계; 및
    상기 8개의 휘도 변화량을 평균한 휘도 변화 평균값을 상기 하한 문턱값 및 상기 상한 문턱값과 비교하여 상기 관심픽셀의 휘도 변화 레벨을 3단계로 분류하는 비교/분류단계;
    를 포함하는, 영상 처리 방법.
  12. 제11 항에 있어서,
    상기 3×3 픽셀영역들의 중심에 위치한 중심픽셀들에는 기 설정된 가중치가 부여되는, 영상 처리 방법.
  13. 제11 항에 있어서,
    상기 비교/분류단계에서,
    상기 휘도 변화 평균값이 상기 하한 문턱값보다 작은 경우 상기 관심픽셀의 휘도 변화 레벨을 제1 레벨로 분류하고,
    상기 휘도 변화 평균값이 상기 하한 문턱값 이상이고 상기 상한 문턱값 이하인 경우 상기 관심픽셀의 휘도 변화 레벨을 제2 레벨로 분류하고,
    상기 휘도 변화 평균값이 상기 상한 문턱값보다 큰 경우 상기 관심픽셀의 휘도 변화 레벨을 제3 레벨로 분류하는, 영상 처리 방법.
  14. 제10 항에 있어서,
    상기 동적 가중치 연산단계는
    상기 관심픽셀의 휘도 변화 레벨에 기초하여 1차 가중치를 연산하는 1차 가중치 연산단계; 및
    상기 관심픽셀의 휘도에 기초하여 상기 1차 가중치에 2차 가중치를 부가하는 2차 가중치 부가단계;
    를 포함하는, 영상 처리 방법.
  15. 제14 항에 있어서,
    상기 1차 가중치 연산단계에서,
    상기 관심픽셀의 휘도 변화 레벨이 제1 레벨로 분류된 경우 로우 레벨의 1차 가중치를 연산하고,
    상기 관심픽셀의 휘도 변화 레벨이 제3 레벨로 분류된 경우 하이 레벨의 1차 가중치를 연산하고,
    상기 관심픽셀의 휘도 변화 레벨이 제2 레벨로 분류된 경우 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 점진적으로 상승하는 중간 레벨의 1차 가중치를 연산하는, 영상 처리 방법.
  16. 제15 항에 있어서,
    상기 중간 레벨의 1차 가중치는 상기 로우 레벨의 1차 가중치로부터 상기 하이 레벨의 1차 가중치로 선형적으로 상승하는, 영상 처리 방법.
  17. 제14 항에 있어서,
    상기 2차 가중치 부가단계에서,
    상기 관심픽셀의 휘도가 최대계조의 20% 이상 80% 이하인 경우 1의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고,
    상기 관심픽셀의 휘도가 최대계조의 20% 이하인 경우 상기 관심픽셀의 휘도에 비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하고,
    상기 관심픽셀의 휘도가 최대계조의 80% 이상인 경우 상기 관심픽셀의 휘도에 반비례하고 1 이하의 값을 갖는 2차 가중치를 상기 1차 가중치에 부가하는, 영 상 처리 방법.
  18. 제10 항에 있어서,
    상기 휘도 보정단계는
    상기 관심픽셀의 휘도에서 상기 5×5 픽셀영역의 중앙으로 갈수록 증가하는 가중치를 갖는 마스크를 상기 5×5 픽셀영역에 부가하여 구한 평균 휘도를 감산하여 휘도차를 연산하는 휘도차 연산단계; 및
    상기 동적 가중치 연산단계에서 출력되는 동적 가중치에 상기 휘도차 연산 출력되는 휘도차를 승산하고 상기 5×5 픽셀영역의 평균 휘도를 가산하여 보정 휘도를 연산하는 보정 휘도 연산단계;
    를 포함하는, 영상 처리 방법.
KR1020070050790A 2007-05-25 2007-05-25 영상 처리 장치 및 그 방법 KR100901353B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070050790A KR100901353B1 (ko) 2007-05-25 2007-05-25 영상 처리 장치 및 그 방법
US12/154,640 US8055092B2 (en) 2007-05-25 2008-05-23 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070050790A KR100901353B1 (ko) 2007-05-25 2007-05-25 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20080103715A true KR20080103715A (ko) 2008-11-28
KR100901353B1 KR100901353B1 (ko) 2009-06-05

Family

ID=40072457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070050790A KR100901353B1 (ko) 2007-05-25 2007-05-25 영상 처리 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8055092B2 (ko)
KR (1) KR100901353B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687522B1 (ko) * 2015-06-25 2016-12-20 주식회사 뷰웍스 X선 검출기

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595298B2 (en) * 2012-07-18 2017-03-14 Microsoft Technology Licensing, Llc Transforming data to create layouts
US9967481B2 (en) * 2013-03-13 2018-05-08 Intel Corporation Techniques for image sensor pixel correction
JP6245886B2 (ja) * 2013-08-08 2017-12-13 キヤノン株式会社 画像撮像方法及び画像撮像装置
CN103824520B (zh) * 2014-01-26 2016-08-31 北京京东方光电科技有限公司 像素阵列及其驱动方法、显示面板和显示装置
CN104217703B (zh) * 2014-08-25 2016-08-31 京东方科技集团股份有限公司 像素阵列的驱动方法、像素阵列驱动模块和显示装置
CN104375302B (zh) * 2014-10-27 2020-09-08 上海中航光电子有限公司 一种像素结构、显示面板及其像素补偿方法
TWI584642B (zh) * 2016-04-19 2017-05-21 瑞昱半導體股份有限公司 影像濾波裝置及其影像濾波方法
CN108259819B (zh) * 2016-12-29 2021-02-23 财团法人车辆研究测试中心 动态影像特征加强方法与系统
US10129458B2 (en) * 2016-12-29 2018-11-13 Automotive Research & Testing Center Method and system for dynamically adjusting parameters of camera settings for image enhancement
US10380228B2 (en) 2017-02-10 2019-08-13 Microsoft Technology Licensing, Llc Output generation based on semantic expressions
KR102622123B1 (ko) * 2018-02-22 2024-01-09 삼성전자주식회사 전자 장치의 움직임에 따라 관심 영역에 움직이는 피사체에 대한 움직임과 관련된 임계값을 조정하여 동영상을 촬영하는 전자 장치 및 그 작동 방법
CN114005185B (zh) * 2021-10-12 2023-07-21 红石阳光（北京）科技股份有限公司 一种基于物联网的智慧园区管理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04334178A (ja) * 1991-05-10 1992-11-20 Canon Inc ビデオカメラ
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US6636646B1 (en) * 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
EP1788795A4 (en) * 2004-09-01 2010-08-04 Nec Corp IMAGE CORRECTION DEVICE AND IMAGE CORRECTION
FR2885717B1 (fr) * 2005-05-16 2007-08-03 Gen Electric Procede d'estimation de correction d'une image et dispositif d'angiographie le mettant en oeuvre
TWI285863B (en) * 2005-08-30 2007-08-21 Delta Electronics Inc Apparatus and method for enhancing image contrast
KR100809346B1 (ko) * 2006-07-03 2008-03-05 삼성전자주식회사 엣지 보정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687522B1 (ko) * 2015-06-25 2016-12-20 주식회사 뷰웍스 X선 검출기

Also Published As

Publication number Publication date
US20080292207A1 (en) 2008-11-27
US8055092B2 (en) 2011-11-08
KR100901353B1 (ko) 2009-06-05

Similar Documents

Publication Publication Date Title
KR100901353B1 (ko) 영상 처리 장치 및 그 방법
EP2833317B1 (en) Image display device and/or method therefor
CN101951523B (zh) 一种自适应彩色图像处理方法及系统
US9336581B2 (en) Method for correcting gradations and device or method for determining threshold of epsilon filter
KR100951254B1 (ko) 이미지의 선명도 향상 장치
US7853095B2 (en) Apparatus, method, recording medium and program for processing signal
US8320701B2 (en) Picture processing apparatus and method
US8831346B2 (en) Image processing apparatus and method, and program
KR100621414B1 (ko) 채도 적응적인 영상 향상장치 및 그 방법
JP6052902B2 (ja) ディジタル画像中のハイライト領域および飽和領域を処理するための方法
US8532428B2 (en) Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality
US20140153820A1 (en) Image processing apparatus and method of processing image
US20090087092A1 (en) Histogram stretching apparatus and histogram stretching method for enhancing contrast of image
US8526736B2 (en) Image processing apparatus for correcting luminance and method thereof
US8737762B2 (en) Method for enhancing image edge
KR102404557B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP4109001B2 (ja) 画質補正方法
US20110096986A1 (en) Image processing apparatus and image processing method
JP2012108898A (ja) 画像処理装置、画像処理方法
US8559750B2 (en) Method of performing adaptive contrast enhancement using hyperbolic tangent curve and image histogram
CN108090887B (zh) 一种视频图像处理方法及装置
JP5648849B2 (ja) 画像処理装置、画像処理方法
KR101715489B1 (ko) 화상 생성 장치 및 화상 생성 방법
JP4550016B2 (ja) 輝度変換装置
KR20100029647A (ko) 차량용 카메라의 야간 영상 개선 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070525

A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20080605

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20070525

Comment text: Patent Application

A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20080701

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20070525

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080829

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20081226

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20080829

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20090128

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20081226

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20090401

Appeal identifier: 2009101000662

Request date: 20090128

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20090227

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20090128

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20081029

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20080605

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20090401

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20090306

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20090601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20090602

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120406

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130503

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20140402

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151202

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151202

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20160404

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20170403

Start annual number: 9

End annual number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190312