KR101706453B1 - 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치 - Google Patents

기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치 Download PDF

Info

Publication number
KR101706453B1
KR101706453B1 KR1020150073754A KR20150073754A KR101706453B1 KR 101706453 B1 KR101706453 B1 KR 101706453B1 KR 1020150073754 A KR1020150073754 A KR 1020150073754A KR 20150073754 A KR20150073754 A KR 20150073754A KR 101706453 B1 KR101706453 B1 KR 101706453B1
Authority
KR
South Korea
Prior art keywords
pixel
slope
edge
interpolation
pixels
Prior art date
Application number
KR1020150073754A
Other languages
English (en)
Other versions
KR20160139227A (ko
Inventor
이동호
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020150073754A priority Critical patent/KR101706453B1/ko
Priority to PCT/KR2016/005612 priority patent/WO2016190695A1/ko
Publication of KR20160139227A publication Critical patent/KR20160139227A/ko
Application granted granted Critical
Publication of KR101706453B1 publication Critical patent/KR101706453B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 보간 방법은 제1 화소 주변의 미리 결정된 화소들 간 상관도를 계산하는 단계; 상기 계산된 상관도에 기초하여 에지의 기울기를 갱신하는 단계; 및 상기 갱신된 기울기를 이용하여 상기 제1 화소를 보간하는 단계를 포함하고, 상기 상관도를 계산하는 단계는 상기 화소들 중 두 화소들 간의 절대 차이 값들을 계산하고, 상기 기울기를 갱신하는 단계는 상기 계산된 절대 차이 값들 중 최소 값에 해당하는 기울기와 상기 에지의 이전 기울기에 기초하여 상기 에지의 기울기를 갱신할 수 있다.

Description

기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치 {IMAGE INTERPOLATION METHOD AND APPARATUS BASED ON EDGE USING SLOPE TRACING}
본 발명은 기울기 추적을 이용한 에지 기반 영상 보간에 관한 것으로서, 6개의 화소를 이용하여 이전의 기울기를 갱신하고 갱신된 기울기를 이용하여 에지 기반의 영상을 보간함으로써, 고해상도의 영상을 제공할 수 있는 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치에 관한 것이다.
영상 보간을 위해 가장 많이 적용되는 기법이나 장치로는 같은 값을 반복하여 표현해주거나 주변 값들의 평균을 적용하는 Bilinear 장치를 들 수 있고, 고가의 디스플레이에는 Bilinear 장치보다 성능이 우수한 Bicubic 같은 방법을 적용하기도 한다.
기존에 많이 적용되는 영상 보간 방법은 반복법, Bilinear 방법, Bicubic 방법들을 들 수 있다. 이러한 방법들은 구현하는 데 그리 복잡하지는 않지만 보간 하였을 때 사람 눈에 민감한 에지 영역을 재생하는 데 한계를 가지는 등의 성능에서 많은 문제점들을 갖고 있다. 특히, 완만하게 변하는 에지 영역을 보간 하였을 때 자연스러운 에지를 복원하지 못하고 계단 모양의 패턴이 생기거나 초점이 맞지 않는 것과 같은 흐릿한 결과를 초래하게 된다. 이러한 낮은 해상도의 출력 영상은 사람 눈에 민감한 부분이기 때문에 사람 눈을 피곤하게 하고, 결과적으로 제품의 성능을 떨어뜨리는 한계를 가지게 된다.
본 발명의 실시예들은, 6개의 화소를 이용한 기울기 추적 방법을 이용하여 간단한 구현을 통해 성능이 우수하면서 고해상도의 영상을 제공할 수 있는 에지 기반의 영상 보간 방법 및 장치를 제공한다.
본 발명의 실시예들은, 양방향 보간 방법을 이용한 에지 보간을 통해 보간 성능을 향상시킬 수 있는 에지 기반의 영상 보간 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 보간 방법은 제1 화소 주변의 미리 결정된 화소들 간 상관도를 계산하는 단계; 상기 계산된 상관도에 기초하여 에지의 기울기를 갱신하는 단계; 및 상기 갱신된 기울기를 이용하여 상기 제1 화소를 보간하는 단계를 포함한다.
상기 상관도를 계산하는 단계는 상기 에지의 이전 기울기에 기초하여 상기 제1 화소 주변의 화소들을 결정하는 단계; 및 상기 결정된 화소들 중 상기 이전 기울기에 의해 결정된 두 화소들 간 상관도를 계산하는 단계를 포함할 수 있다.
상기 상관도를 계산하는 단계는 상기 화소들 중 두 화소들 간의 절대 차이 값들을 계산하고, 상기 기울기를 갱신하는 단계는 상기 계산된 절대 차이 값들 중 최소 값에 해당하는 기울기와 상기 에지의 이전 기울기에 기초하여 상기 에지의 기울기를 갱신할 수 있다.
상기 제1 화소를 보간하는 단계는 상기 갱신된 기울기를 이용하여 두 화소들을 선택하고, 상기 선택된 두 화소들의 평균 값으로 상기 제1 화소를 보간할 수 있다.
나아가, 본 발명의 일 실시예에 따른 영상 보간 방법은 상기 제1 화소에서 미리 설정된 각도들 중 적어도 하나의 에지 가능성 여부를 판단하는 단계; 및 상기 적어도 하나의 에지 가능성이 있는 것으로 판단되면 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 이용하여 상기 제1 화소를 보간하는 단계를 더 포함할 수 있다.
더 나아가, 나아가, 본 발명의 일 실시예에 따른 영상 보간 방법은 상기 제1 화소에서 가는 에지 가능성 여부를 판단하는 단계; 및 상기 가는 에지 가능성이 있는 것으로 판단되면 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 이용하여 상기 제1 화소를 보간하는 단계를 더 포함할 수 있다.
상기 가는 에지 가능성 여부를 판단하는 단계는 상기 에지의 이전 기울기, 부호가 반대인 상기 이전 기울기, 수직 기울기의 화소 차이 값들을 계산하고, 상기 계산된 화소 차이 값들 중 2개 이상의 화소 차이 값들이 미리 결정된 임계값보다 작은 경우 상기 가는 에지 가능성이 있는 것으로 판단할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 영상 보간 방법은 상기 계산하는 단계 내지 상기 보간하는 단계에 대해 왼쪽에서 오른쪽으로의 포워드 보간(forward interpolation)을 수행하여 제1 보간 값을 획득하는 단계; 상기 계산하는 단계 내지 상기 보간하는 단계에 대해 오른쪽에서 왼쪽으로의 백워드 보간(backward interpolation)을 수행하여 제2 보간 값을 획득하는 단계; 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 획득하는 단계; 및 상기 제1 보간 값과 상기 평균 값의 차이 및 상기 제2 보간 값과 상기 평균 값의 차이에 기초하여 상기 제1 보간 값과 상기 제2 보간 값 중 어느 하나의 값으로 상기 제1 화소를 보간하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 보간 장치는 제1 화소 주변의 미리 결정된 화소들 간 상관도를 계산하는 계산부; 상기 계산된 상관도에 기초하여 에지의 기울기를 갱신하는 갱신부; 및 상기 갱신된 기울기를 이용하여 상기 제1 화소를 보간하는 보간부를 포함한다.
나아가, 본 발명의 일 실시예에 따른 영상 보간 장치는 상기 에지의 이전 기울기에 기초하여 상기 제1 화소 주변의 화소들을 결정하는 결정부를 더 포함하고, 상기 계산부는 상기 결정된 화소들 중 상기 이전 기울기에 의해 결정된 두 화소들 간 상관도를 계산할 수 있다.
상기 계산부는 상기 화소들 중 두 화소들 간의 절대 차이 값들을 계산하고, 상기 갱신부는 상기 계산된 절대 차이 값들 중 최소 값에 해당하는 기울기와 상기 에지의 이전 기울기에 기초하여 상기 에지의 기울기를 갱신할 수 있다.
상기 보간부는 상기 갱신된 기울기를 이용하여 두 화소들을 선택하고, 상기 선택된 두 화소들의 평균 값으로 상기 제1 화소를 보간할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 영상 보간 장치는 상기 제1 화소에서 미리 설정된 각도들 중 적어도 하나의 에지 가능성 여부 또는 가는 에지 가능성 여부를 판단하는 판단부를 더 포함하고, 상기 보간부는 상기 적어도 하나의 에지 가능성 또는 상기 가는 에지 가능성이 있는 것으로 판단되면 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 이용하여 상기 제1 화소를 보간할 수 있다.
상기 판단부는 상기 에지의 이전 기울기, 부호가 반대인 상기 이전 기울기, 수직 기울기의 화소 차이 값들을 계산하고, 상기 계산된 화소 차이 값들 중 2개 이상의 화소 차이 값들이 미리 결정된 임계값보다 작은 경우 상기 가는 에지 가능성이 있는 것으로 판단할 수 있다.
상기 보간부는 상기 제1 화소의 왼쪽에서 오른쪽으로의 포워드 보간(forward interpolation)을 수행하여 제1 보간 값을 획득하고, 상기 제1 화소의 오른쪽에서 왼쪽으로의 백워드 보간(backward interpolation)을 수행하여 제2 보간 값을 획득하며, 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 획득하는 획득부; 및 상기 제1 보간 값과 상기 평균 값의 차이 및 상기 제2 보간 값과 상기 평균 값의 차이에 기초하여 상기 제1 보간 값과 상기 제2 보간 값 중 어느 하나의 값으로 상기 제1 화소를 보간하는 영상 보간부를 포함할 수 있다.
본 발명의 실시예들은, 6개의 화소를 이용한 기울기 추적 방법을 이용하여 간단한 구현을 통해 성능이 우수하면서 고해상도의 영상을 제공할 수 있다.
본 발명의 실시예들은, 양방향 보간 방법을 이용한 에지 보간을 통해 보간 성능을 향상시킬 수 있다.
본 발명에 따르면, 기울기 추적에 따른 영상 보간을 이용함으로써, 저해상도의 영상을 고해상도의 영상을 출력할 수 있다. 즉, 본 발명은 단지 화소 수를 많게 해주는 것이 아니라 사람 눈으로 봤을 때도 영상의 품질이 높아진 것을 확인 할 수 있도록 고해상도의 영상을 제공할 수 있다. 특히, 본 발명은 SD 급 영상을 HD나 UD로 변환하여 출력했을 때 SD 보다는 고해상도의 영상을 시청할 수 있으며, 이러한 본 발명을 적용하면 HDTV나 UDTV의 성능과 상품 경쟁력을 높일 수 있다.
따라서, 본 발명은 영상과 관련된 모든 장치 예를 들어, Digital TV (HDTV, UDTV)를 포함하여 영상을 출력하는 LCD, OLED 등의 모든 디스플레이와 프린터나 복사기와 같은 출력 장치에 적용함으로써, 영상과 관련된 제품의 경쟁력을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 기술적 사상은 인터레이스 영상을 프로그레시브 영상으로 변환하는 데에도 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 기울기를 갱신하는 방법을 설명하기 위한 예시도를 나타낸 것이다.
도 3은 도 1에 도시된 단계 S1000에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 4는 본 발명에 따른 영상 보간 장치가 적용된 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 보간 장치에 대한 구성을 나타낸 것이다.
도 6은 도 5에 도시된 보간부에 대한 일 실시예 구성을 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, 기울기 추적 방법을 이용한 에지를 보간함으로써, 낮은 복잡도를 가지면서 고해상도의 영상을 제공하는 것을 그 요지로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 방법은 영상이 입력 또는 수신되면 입력 영상에 대해 영상 보간을 수행하기에 앞서, 미리 결정된 복수의 각도들 예를 들어, 90도 에지 가능성 또는 ±75도 에지 가능성 또는 가는 에지(thin edge) 가능성 여부를 판단한다(S110).
기울기 추적을 이용한 에지를 보간하는 과정에서 제약 조건이 있을 수 있으며, 단계 S110은 이러한 제약 조건을 해결하기 위한 과정이다. 예를 들어, 기울기를 추적할 때 에지의 패턴에 따라서 비정상적인 기울기 값으로 발산하는 경우도 발생하고 에지의 방향이 바뀌는 경우나 가는 에지 같은 경우는 추적에 실패할 수 있다. 이와 같은 경우, 비정상적인 값으로 영상을 보간하게 될 수 있기 때문에 보간된 출력 영상이 심하게 왜곡되거나 기존의 방법들보다 훨씬 성능이 떨어질 수 있다. 단계 S110은 이러한 제약 조건을 해결하기 위한 구성으로, 기울기 추적 방식을 적용하기 전에 90도, ±75도 에지 가능성 여부, 가는 에지 가능성 여부를 판단한다. 수직 에지 가능성 여부는 위쪽 화소와 아래쪽 화소의 차이 값들을 이용하여 판단할 수 있으며, 가는 에지의 가능성 여부는 현재 기울기(또는 이전 기울기), 부호가 반대인 현재 기울기, 수직 기울기에 대한 화소의 차이 값들 중 2개 이상의 차이 값들이 미리 결정된 임계값보다 작은 경우에 가는 에지로 판단할 수 있다.
단계 S110 판단 결과, 90도, ±75도 에지 가능성 또는 가는 에지 가능성이 있는 것으로 판단되면, 보간하고자 하는 제1 화소의 수직으로 존재하는 위쪽 화소와 아래쪽 화소의 평균 값을 이용하여 제1 화소를 보간한다(S160).
반면, 단계 S110 판단 결과, 90도, ±75도 에지 가능성 또는 가는 에지 가능성이 없는 것으로 판단되면 기울기 추적 방식을 이용하여 영상을 보간하는 과정을 수행한다(S1000).
구체적으로, 단계 S1000은 기울기 추적 방식을 이용하여 제1 화소를 보간하기 위하여, 제1 화소의 주변 화소들을 결정하고, 결정된 주변 화소들 간 상관도를 계산한다(S120, S130).
이 때, 단계 S120은 제1 화소 이전의 화소에서의 기울기 즉, 에지의 이전 기울기에 기초하여 제1 화소 주변의 화소들 예를 들어, 6개의 화소들을 결정할 수 있으며, 단계 S130은 결정된 화소들 중 이전 기울기에 의해 선택 또는 결정된 두 화소들 간 상관도를 계산할 수 있고, 두 화소들 간 상관도는 두 화소들 간의 절대 차이 값들을 의미할 수 있다.
두 화소들 간 상관도는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure 112015050762202-pat00001

여기서, Smid는 제1 화소 I(i,j)에 대해 이전 기울기(kprev)에 대한 두 화소들 간의 절대 차이 값들을 의미하고, Sleft는 제1 화소에 대해 이전 기울기(kprev)의 왼쪽(-1)에 대한 두 화소들 간의 절대 차이 값들을 의미하고, Sright는 제1 화소에 대해 이전 기울기(kprev)의 오른쪽(+1)에 대한 두 화소들 간의 절대 차이 값들을 의미한다.
단계 S130에 의해 주변 화소들 간 상관도가 계산되면, 계산된 상관도에 기초하여 에지의 기울기를 갱신한다(S140).
즉, 단계 S140은 이전 화소에서의 에지 기울기와 단계 S130에서 계산된 상관도를 이용하여 제1 화소에서의 에지 기울기를 결정할 수 있다.
이 때, 단계 S140은 계산된 두 화소들 간의 절대 차이 값들 중 가장 작은 절대 차이 값을 가지는 기울기와 이전 기울기에 기초하여 제1 화소에서의 에지 기울기를 갱신할 수 있다.
제1 화소에서의 갱신된 에지 기울기(kcur)는 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure 112015050762202-pat00002

상기 수학식 2를 통해 알 수 있듯이, 세 개의 절대 차이 값들 중 최소 값이 이전 기울기에 대한 왼쪽(-1)에 해당하는 경우 제1 화소에서의 에지 기울기는 이전 기울기에 -1을 더하고, 최소 값이 이전 기울기에 대한 오른쪽(+1)에 해당하는 경우 제1 화소에서의 에지 기울기는 이전 기울기에 +1을 더하며, 최소 값이 이전 기울기에 해당하는 경우 제1 화소에서의 에지 기울기는 이전 기울기 그대로 갱신될 수 있다.
예를 들어, 도 2는 이전 화소의 기울기(이전 기울기)를 갱신하는 방법의 예를 나타낸 것으로, 기울기가 0일 때는 수직으로 존재하는 화소들의 상관도가 가장 높다는 것을 의미하고, 기울기가 -1일 경우에는 위쪽에서는 왼쪽 화소와 아래쪽에서는 오른쪽 화소의 상관도가 높다는 것을 의미하며, 기울기가 1일 경우에는 반대의 경우로 위쪽에서는 오른쪽 화소와 아래쪽에서는 왼쪽 화소의 상관도가 높다는 것을 의미한다. 이렇게 이전 기울기를 기준으로 제1 화소에서의 현재 기울기(또는 이전 기울기)에 대한 상관도, 왼쪽 (-1)에 대한 상관도, 오른쪽(+1)에 대한 상관도를 비교하여 상관도가 가장 높을 것을 선택하여 이전 화소의 기울기를 갱신한다.
따라서, 제1 화소에서의 에지 기울기는 상술한 수학식 2와 같이 이전 기울기와 같거나 -1 이나 +1 정도 변할 수 있다. 예컨대, 이전 기울기가 1인 경우 도 2a는 이전 기울기와 같은 기울기 1로 갱신되며, 도 2b는 이전 기울기에서 왼쪽(-1)으로 이동된 0으로 갱신되며, 도 2c는 이전 기울기에서 오른쪽(+1)으로 이동된 2로 갱신된다. 이와 같이, 본 발명은 매우 간단하게 에지의 기울기를 적응적으로 추적하면서 정확하게 계산할 수 있다.
단계 S140에 의해 에지의 기울기가 갱신되면, 갱신된 에지의 기울기를 이용하여 제1 화소를 보간한다(S150).
이 때, 단계 S150은 갱신된 기울기를 이용하여 제1 화소 주변의 두 화소들을 선택하고, 선택된 두 화소들의 평균 값으로 제1 화소를 보간할 수 있으며, 보간된 제1 화소는 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3]
Figure 112015050762202-pat00003

이와 같이, 본 발명의 일 실시예에 따른 영상 보간 방법은 6개의 화소들을 이용한 기울기 추적 방식을 통해 에지의 기울기를 갱신하고, 갱신된 에지의 기울기를 이용하여 화소를 간단하게 보간할 수 있기 때문에 낮은 복잡도를 가지면서 고해상도의 영상을 제공할 수 있다.
또한, 본 발명의 실시예에 따른 영상 보간 방법은 기울기 추적을 못하게 되는 경우를 보완하기 위하여 기울기 추적과 보간을 서로 다른 방향으로 적용할 수 있으며, 이에 대해 도 3을 참조하여 설명한다.
도 3은 도 1에 도시된 단계 S1000에 대한 일 실시예의 동작 흐름도를 나타낸 것으로, 포워드 보간(forward interpolation)과 백워드 보간(backward interpolation)의 양방향 기울기 추적 및 보간을 이용하여 제1 화소를 보간하는 과정을 나타낸 것이다.
도 3을 참조하면, 제1 화소를 보간하는 과정(S1000)은 왼쪽에서 오른쪽으로의 기울기 추적 방식을 이용하여 제1 보간 값을 획득하는 포워드 보간 과정(S310)을 수행하고, 오른쪽에서 왼쪽으로의 기울기 추적 방식을 이용하여 제2 보간 값을 획득하는 백워드 보간 과정(S320)을 수행한다.
여기서, 포워드 보간 과정(S310)과 백워드 보간 과정(S320)은 병렬적으로 수행될 수도 있고, 순차적으로 수행될 수도 있다.
포워드 보간 과정(S310)은 도 1에서 설명한 S120 내지 S150의 과정을 제1 화소를 기준으로 왼쪽에서 오른쪽으로의 기울기 추적 방식을 통해 제1 화소의 제1 보간 값(ILR)을 획득한다.
백워드 보간 과정(S320) 또한 도 1에서 설명한 S120 내지 S150의 과정을 제1 화소를 기준으로 오른쪽에서 왼쪽으로의 기울기 추적 방식을 통해 제1 화소의 제2 보간 값(IRL)을 획득한다.
그리고, 제1 화소의 수직으로 존재하는 위쪽 화소와 아래쪽 화소의 평균 값(ILA)을 획득한다(S330).
단계 S330 또한 단계 S310, S320과 병렬적으로 수행될 수도 있고, 순차적으로 수행될 수도 있다.
그리고, 제1 보간 값(ILR)과 평균 값(ILA)의 차이(DLR = ILR - ILA), 제2 보간 값(IRL)과 평균 값(ILA)의 차이(DRL = IRL - ILA)를 계산하고, 두 차이의 비교 결과에 기초하여 제1 보간 값(ILR) 또는 제2 보간 값(IRL)으로 제1 화소를 보간한다(S340, S350).
이 때, 단계 S350은 두 차이 값 중 작은 값에 해당하는 제1 보간 값(ILR) 또는 제2 보간 값(IRL)으로 제1 화소를 보간할 수 있다.
이러한 본 발명의 실시예에 따른 영상 보간 방법은 다양한 영상 출력 장치에 이용될 수 있으며, 도 4a에 도시된 일 예와 같이 디지털 TV에 적용될 수도 있고, 도 4b에 도시된 일 예와 같이 저해상도의 영상을 고해상도 영상으로 변환하는 장치에 적용될 수도 있다.
도 4a에 적용된 경우를 설명하면 다음과 같다. 현재 방송되고 있는 디지털 방송의 주 영상 포맷은 1080 라인의 비월주사식 영상이다. 즉 1080 라인의 프레임이 두 필드로 나누어 전송이 되기 때문에 이러한 영상을 수신하여 1080 라인의 순차주사식 TV에 출력하기 위해서는 하나의 필드(540 라인)를 하나의 프레임(1080 라인)으로 변환해 주어야 한다. 본 발명의 실시예에 따른 영상 보간 방법이 탑재된 영상 보간 장치(400)는 540 라인의 필드가 1080 라인의 프레임이 되도록 수직으로 보간을 해주는 Deinterlacer에 적용됨으로써, 고해상도의 순차주사식 영상을 출력할 수 있다. 즉, 튜너를 통해 전송된 신호를 수신한 다음 디코더를 통해 비월주사식 영상을 복원하게 되면, 영상 보간 장치가 적용된 Deinterlacer에서 비월주사식 영상을 순차주사식 영상으로 변환하여 디스플레이한다.
도 4b에 적용된 경우를 설명하면 다음과 같다. 예를 들어, SD 급 영상(480 라인)을 HD 영상(1080 라인)으로 변환 하거나 HD 영상을(1080 라인) UD 영상(2000 라인)으로 변환 할 때, 본 발명의 실시예에 따른 영상 보간 방법이 탑재된 영상 보간 장치(400)를 적용하면 저해상도의 영상으로부터 고해상도의 영상을 출력할 수 있다. 예컨대, 도 4b에 도시된 바와 같이, M×N 영상을 2M×2N 영상으로 출력하기 위하여 수직으로 보간하는 장치에 한 번 적용하고 그 결과를 수평으로 적용하기 위해서는 2차원 영상을 90도로 회전하여 수직과 수평을 바꿔주는 Transpose를 해주어야 한다. 그리고, 본 발명의 영상 보간 장치(400)를 다시 적용하면 수평으로 보간하게 되고 마지막으로 Transpose를 해주면 제 방향으로 보간된 출력 영상(2M×2N)을 얻게 된다.
이러한 본 발명의 실시예에 따른 영상 보간 장치(400)의 상세한 구성에 대해 도 5와 도 6에서 설명한다.
도 5는 본 발명의 일 실시예에 따른 영상 보간 장치에 대한 구성을 나타낸 것으로, 상술한 도 1 내지 도 3의 동작을 수행하는 장치를 나타낸 것이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 보간 장치(400)는 판단부(510), 결정부(520), 계산부(530), 갱신부(540) 및 보간부(550)를 포함한다.
판단부(510)는 제1 화소에서 미리 설정된 각도들 예를 들어, 90도, ±75도 중 적어도 하나의 에지 가능성 여부 또는 가는 에지 가능성 여부를 판단한다.
이 때, 판단부(510)는 위쪽 화소와 아래쪽 화소의 차이 값들을 이용하여 수직 에지 가능성 여부를 판단할 수 있으며, 현재 기울기(또는 이전 기울기), 부호가 반대인 현재 기울기, 수직 기울기에 대한 화소의 차이 값들 중 2개 이상의 차이 값들이 미리 결정된 임계값보다 작은 경우 가는 에지로 판단할 수 있다.
결정부(520)는 에지의 이전 기울기에 기초하여 보간하고자 하는 제1 화소 주변의 화소들을 결정한다.
이 때, 결정부(520)는 이전 기울기에 기초하여 제1 화소의 위쪽 3개의 화소들과 아래쪽 3개의 화소들을 결정할 수 있다.
나아가, 결정부(520)는 포워드 보간 과정과 백워드 보간 과정 각각에 대한 제1 화소 주변의 화소들을 결정할 수도 있다.
계산부(530)는 결정된 주변 화소들 간 상관도를 계산한다
이 때, 계산부(530)는 결정된 주변 화소들 중 이전 기울기에 의해 선택 또는 결정된 두 화소들 간 상관도 예를 들어, 두 화소들 간 상관도는 두 화소들 간의 절대 차이 값들을 계산할 수 있으며, 상술한 수학식 1을 이용하여 계산할 수 있다.
나아가, 계산부(530)는 포워드 보간 과정과 백워드 보간 과정 각각에 대한 상관도를 계산할 수도 있다.
갱신부(540)는 주변 화소들 간 상관도가 계산되면, 계산된 상관도에 기초하여 에지의 기울기를 갱신한다.
이 때, 갱신부(540)는 이전 화소에서의 에지 기울기와 계산부(530)에 의해 계산된 상관도를 이용하여 이전 기울기를 제1 화소에서의 기울기로 갱신할 수 있다.
갱신부(540)는 계산된 두 화소들 간의 절대 차이 값들 중 가장 작은 절대 차이 값을 가지는 기울기와 이전 기울기에 기초하여 제1 화소에서의 에지 기울기를 갱신할 수 있으며, 상술한 수학식 2에 의해 갱신될 수 있다.
나아가, 갱신부(540)는 포워드 보간 과정과 백워드 보간 과정 각각에 대한 에지 기울기를 갱신할 수도 있다.
보간부(550)는 갱신부(540)에 의해 갱신된 기울기를 이용하여 제1 화소를 보간한다.
이 때, 보간부(550)는 갱신된 기울기를 이용하여 제1 화소 주변의 두 화소들을 선택하고, 선택된 두 화소들의 평균 값으로 제1 화소를 보간할 수 있다.
나아가, 보간부(550)는 판단부(510)에 의한 판단 결과 90도, ±75도 에지 가능성 또는 가는 에지 가능성이 있는 것으로 판단되면, 제1 화소의 수직으로 존재하는 위쪽 화소와 아래쪽 화소의 평균 값을 이용하여 제1 화소를 보간할 수 있다.
이러한 보간부(550)는 도 3의 기능을 수행하기 위한 구성을 포함할 수 있으며, 도 6에 도시된 바와 같이 획득부(610) 및 영상 보간부(620)를 포함할 수 있다.
획득부(610)는 제1 화소의 왼쪽에서 오른쪽으로의 포워드 보간(forward interpolation)을 수행하여 제1 보간 값을 획득하고, 제1 화소의 오른쪽에서 왼쪽으로의 백워드 보간(backward interpolation)을 수행하여 제2 보간 값을 획득하며, 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 획득한다.
영상 보간부(620)는 제1 보간 값과 평균 값의 차이 및 제2 보간 값과 평균 값의 차이에 기초하여 제1 보간 값과 제2 보간 값 중 어느 하나의 값으로 제1 화소를 보간한다.
이 때, 영상 보간부(620)는 두 차이 값 중 작은 값에 해당하는 제1 보간 값 또는 제2 보간 값으로 제1 화소를 보간할 수 있다.
상술한 본 발명의 기술적 사상은 인터레이스 영상을 프로그레시브 영상으로 변환하는 데에도 적용될 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 제1 화소 주변의 미리 결정된 화소들 간 상관도를 계산하는 단계;
    상기 계산된 상관도에 기초하여 에지의 기울기를 갱신하는 단계;
    상기 갱신된 기울기를 이용하여 상기 제1 화소를 보간하는 단계;
    상기 제1 화소에서 상기 에지의 이전 기울기, 부호가 반대인 상기 이전 기울기 및 수직 기울기의 화소 차이 값들을 계산하고, 상기 계산된 화소 차이 값들 중 2개 이상의 화소 차이 값들이 미리 결정된 임계값보다 작은 경우 미리 정의된 제1 에지로 판단하는 단계; 및
    상기 제1 에지로 판단되면 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 이용하여 상기 제1 화소를 보간하는 단계
    를 포함하고,
    상기 계산하는 단계 내지 상기 보간하는 단계에 대해 왼쪽에서 오른쪽으로의 포워드 보간(forward interpolation)을 수행하여 제1 보간 값을 획득하는 단계;
    상기 계산하는 단계 내지 상기 보간하는 단계에 대해 오른쪽에서 왼쪽으로의 백워드 보간(backward interpolation)을 수행하여 제2 보간 값을 획득하는 단계;
    상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 획득하는 단계; 및
    상기 제1 보간 값과 상기 평균 값의 차이 및 상기 제2 보간 값과 상기 평균 값의 차이 중 작은 값에 해당하는 상기 제1 보간 값과 상기 제2 보간 값 중 어느 하나의 값으로 상기 제1 화소를 보간하는 단계
    를 더 포함하는 영상 보간 방법.
  2. 제1항에 있어서,
    상기 상관도를 계산하는 단계는
    상기 에지의 이전 기울기에 기초하여 상기 제1 화소 주변의 화소들을 결정하는 단계; 및
    상기 결정된 화소들 중 상기 이전 기울기에 의해 결정된 두 화소들 간 상관도를 계산하는 단계
    를 포함하는 영상 보간 방법.
  3. 제1항에 있어서,
    상기 상관도를 계산하는 단계는
    상기 화소들 중 두 화소들 간의 절대 차이 값들을 계산하고,
    상기 기울기를 갱신하는 단계는
    상기 계산된 절대 차이 값들 중 최소 값에 해당하는 기울기와 상기 에지의 이전 기울기에 기초하여 상기 에지의 기울기를 갱신하는 영상 보간 방법.
  4. 제1항에 있어서,
    상기 제1 화소를 보간하는 단계는
    상기 갱신된 기울기를 이용하여 두 화소들을 선택하고, 상기 선택된 두 화소들의 평균 값으로 상기 제1 화소를 보간하는 영상 보간 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1 화소 주변의 미리 결정된 화소들 간 상관도를 계산하는 계산부;
    상기 계산된 상관도에 기초하여 에지의 기울기를 갱신하는 갱신부;
    상기 갱신된 기울기를 이용하여 상기 제1 화소를 보간하는 보간부; 및
    상기 제1 화소에서 상기 에지의 이전 기울기, 부호가 반대인 상기 이전 기울기, 수직 기울기의 화소 차이 값들을 계산하고, 상기 계산된 화소 차이 값들 중 2개 이상의 화소 차이 값들이 미리 결정된 임계값보다 작은 경우 미리 결정된 제1 에지로 판단하는 판단부
    를 더 포함하고,
    상기 보간부는
    상기 제1 에지로 판단되면 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 이용하여 상기 제1 화소를 보간하며,
    상기 보간부는
    상기 제1 화소의 왼쪽에서 오른쪽으로의 포워드 보간(forward interpolation)을 수행하여 제1 보간 값을 획득하고, 상기 제1 화소의 오른쪽에서 왼쪽으로의 백워드 보간(backward interpolation)을 수행하여 제2 보간 값을 획득하며, 상기 제1 화소의 수직으로 존재하는 위 화소와 아래 화소의 평균 값을 획득하는 획득부; 및
    상기 제1 보간 값과 상기 평균 값의 차이 및 상기 제2 보간 값과 상기 평균 값의 차이 중 작은 값에 해당하는 상기 제1 보간 값과 상기 제2 보간 값 중 어느 하나의 값으로 상기 제1 화소를 보간하는 영상 보간부
    를 포함하는 영상 보간 장치.
  10. 제9항에 있어서,
    상기 에지의 이전 기울기에 기초하여 상기 제1 화소 주변의 화소들을 결정하는 결정부
    를 더 포함하고,
    상기 계산부는
    상기 결정된 화소들 중 상기 이전 기울기에 의해 결정된 두 화소들 간 상관도를 계산하는 영상 보간 장치.
  11. 제9항에 있어서,
    상기 계산부는
    상기 화소들 중 두 화소들 간의 절대 차이 값들을 계산하고,
    상기 갱신부는
    상기 계산된 절대 차이 값들 중 최소 값에 해당하는 기울기와 상기 에지의 이전 기울기에 기초하여 상기 에지의 기울기를 갱신하는 영상 보간 장치.
  12. 제9항에 있어서,
    상기 보간부는
    상기 갱신된 기울기를 이용하여 두 화소들을 선택하고, 상기 선택된 두 화소들의 평균 값으로 상기 제1 화소를 보간하는 영상 보간 장치.
  13. 삭제
  14. 삭제
  15. 삭제
KR1020150073754A 2015-05-27 2015-05-27 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치 KR101706453B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150073754A KR101706453B1 (ko) 2015-05-27 2015-05-27 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치
PCT/KR2016/005612 WO2016190695A1 (ko) 2015-05-27 2016-05-27 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150073754A KR101706453B1 (ko) 2015-05-27 2015-05-27 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160139227A KR20160139227A (ko) 2016-12-07
KR101706453B1 true KR101706453B1 (ko) 2017-02-14

Family

ID=57392840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073754A KR101706453B1 (ko) 2015-05-27 2015-05-27 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101706453B1 (ko)
WO (1) WO2016190695A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100323664B1 (ko) * 1999-07-10 2002-02-07 구자홍 디인터레이싱 장치
KR20060104817A (ko) * 2005-03-31 2006-10-09 엘지전자 주식회사 영상 디인터레이싱 보간 필터링 장치 및 보간 필터링 방법
KR20080057867A (ko) * 2006-12-21 2008-06-25 엘지전자 주식회사 디인터레이싱을 위한 보간 장치
KR100931110B1 (ko) * 2007-10-23 2009-12-10 한양대학교 산학협력단 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI, Xin, et al. New edge-directed interpolation. Image Processing, IEEE Transactions on, 2001, Vol.10. No.10: 1521-1527.
손주영, et al. 보간된 이진 영상으로부터 검출된 정확한 에지를 이용한 효율적인 디인터레이싱 알고리즘. 한국통신학회논문지, 2009년 5월, Vol.34. No.5: 514-520.
이청언, et al. 이진영상을 이용한 효율적인 에지 기반의디인터레이싱 보간 알고리즘. 한국통신학회논문지, 2005년 8월, Vol.30. No.8C. 801-809.

Also Published As

Publication number Publication date
WO2016190695A1 (ko) 2016-12-01
KR20160139227A (ko) 2016-12-07

Similar Documents

Publication Publication Date Title
CN104469379B (zh) 生成用于包括在视频序列中的输出帧
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
EP2008240B1 (en) Method and apparatus for robust super-resolution video scaling
US9153010B2 (en) Image processing device and image processing method generating a high-resolution image from a low-resolution image
WO2009081529A1 (ja) 画像処理装置、画像処理方法、画像伸張装置、画像圧縮装置、画像伝送システムおよび記憶媒体
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
US9984442B2 (en) Method and device for enhancing quality of an image
US9471958B2 (en) Image processing method and apparatus
JP2008147951A (ja) 補間フレーム作成方法および補間フレーム作成装置
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
JP2012513719A (ja) 画像スケーリング曲線の生成
US20120155550A1 (en) Auto-regressive edge-directed interpolation with backward projection constraint
KR20150127597A (ko) 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성
KR20150127598A (ko) 이미지 특징들에 의한 주파수 리프팅 초해상도의 제어
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
US20100039517A1 (en) Film cadence detection
US8704945B1 (en) Motion adaptive deinterlacer
JP5682454B2 (ja) 映像処理装置及び補間フレーム生成方法
KR101706453B1 (ko) 기울기 추적을 이용한 에지 기반 영상 보간 방법 및 장치
US9749579B2 (en) Apparatus and method for frame rate conversion
JP2009157449A (ja) 画像処理システム、画像処理方法および画像処理用プログラム
IL255870A (en) Method, device and device for assembling a video signal
JP4492100B2 (ja) 画像信号の処理装置および処理方法
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
US20090161978A1 (en) Halo Artifact Removal Method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant