KR100323663B1 - 디인터레이싱 장치 및 방법 - Google Patents

디인터레이싱 장치 및 방법 Download PDF

Info

Publication number
KR100323663B1
KR100323663B1 KR1019990026084A KR19990026084A KR100323663B1 KR 100323663 B1 KR100323663 B1 KR 100323663B1 KR 1019990026084 A KR1019990026084 A KR 1019990026084A KR 19990026084 A KR19990026084 A KR 19990026084A KR 100323663 B1 KR100323663 B1 KR 100323663B1
Authority
KR
South Korea
Prior art keywords
pixel
value
interpolated
field data
field
Prior art date
Application number
KR1019990026084A
Other languages
English (en)
Other versions
KR20010005277A (ko
Inventor
신창용
한동일
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019990026084A priority Critical patent/KR100323663B1/ko
Priority to US09/608,219 priority patent/US6630961B1/en
Publication of KR20010005277A publication Critical patent/KR20010005277A/ko
Application granted granted Critical
Publication of KR100323663B1 publication Critical patent/KR100323663B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F7/007—Heating or cooling appliances for medical or therapeutic treatment of the human body characterised by electric heating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
    • A61H39/06—Devices for heating or cooling such points within cell-life limits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N5/0613—Apparatus adapted for a specific treatment
    • A61N5/0625—Warming the body, e.g. hyperthermia treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0635—Radiation therapy using light characterised by the body area to be irradiated
    • A61N2005/0643—Applicators, probes irradiating specific body areas in close proximity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/065—Light sources therefor
    • A61N2005/0654—Lamps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0658—Radiation therapy using light characterised by the wavelength of light used
    • A61N2005/0659—Radiation therapy using light characterised by the wavelength of light used infrared
    • A61N2005/066—Radiation therapy using light characterised by the wavelength of light used infrared far infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0664—Details
    • A61N2005/0665—Reflectors
    • A61N2005/0666—Reflectors for redirecting light to the treatment area

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Rehabilitation Therapy (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Television Systems (AREA)

Abstract

디인터레이싱 장치 및 방법에 관하여 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환할 때에 보간 후의 화질의 성능을 종전 보다 향상시키면서도 구성회로는 복잡하지 않도록 하는 것이 목적으로서, 티브이 영상을 구현하는 필드 데이터 중에서 n 번째 필드 데이터를 기준으로 n 번째 필드 데이터를 포함하여 전후 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부와, n 번째 필드에서 보간할 영역의 화소값이 변화되는 방향을 산출하여 그 방향에 따른 필드내 보간값을 출력하는 제 1 필터부와, n 번째 필드 데이터의 이전 필드 데이터에서 보간할 영역의 화소값과 n 번째 필드 데이터의 이후 필드 데이터에서 보간할 영역의 화소값을 평균하여 필드간 화소 평균값을 출력하는 제 2 필터부와, 필드 저장부에 저장된 각 필드 데이터 간에 존재하는 특정 라인들의 화소값과 윤곽패턴의 차이를 검출하여 동영상의 움직임 정도값을 계산하는 움직임 결정부, 움직임 결정부에서 계산된 움직임 정도값을 참조하여 제 1 필터부에서 출력된 방향에 따른 필드내 보간값과 제 2 필터부에서 출력된 필드간 화소 평균값을 혼합하여 출력하는 소프트 스위치부를 포함하여 구성된 것이 특징이며, 종래의 라인반복이나, 움직임 보상없는 필드간 보간 및 필드내 보간법에 비해 움직임을 감안하여 필드를 보간하므로 화질이 더 깨끗해지는 효과가 있다.

Description

디인터레이싱 장치 및 방법{Deinterlacing method and apparatus}
본 발명은 영상처리방법, 특히 인터레이스 필드(interlace field) 영상 데이터를 프로그레시브(progressive) 영상 데이터로 변환하는 방법 및 장치에 관한 것이다.
인터레이스 방식의 영상데이터는 한 프레임(frame)의 화면을 도 1에 도시된 것과 같이 홀수 필드(odd field)와 짝수 필드(even field), 두 필드(field)의 화면으로 구현하는 것이다.
그런데, 디스플레이 장치에 따라서 인터레이스(interlace) 방식의 영상데이터를 처리하지 않고, 컴퓨터 모니터 등에서 사용되는 프로그레시브(progressive) 방식의 영상데이터를 처리하여 화면을 구현한다. 이 때, 인터레이스 방식의 영상신호가 프로그레시브 방식의 영상데이터를 처리하는 디스플레이 장치에서 정상적으로 처리되려면, 그러한 디스플레이 장치의 내부에 인터레이스 방식의 영상신호를 프로그레시브 신호로 변환시키는 별도의 시스템이 설치되어야 한다.
인터레이스 방식의 신호를 프로그레시브 방식의 신호로 변환하는 방법은 도 2a 내지 도 2c에 도시된 것과 같이 여러 방법으로 구현될 수 있다.
먼저, 도 2a에 도시된 것과 같은 라인반복(line repetition) 방법은 현재 필드(field)의 라인(line) 정보를 단순하게 반복시켜 한 프레임(frame)을 구현하는 것이다. 이러한 라인반복 방법은 단순한 하드웨어(hardware)로써 구현할 수 있지만, 보간 후에 화질이 떨어지는 단점이 있다.
또한, 도 2b에 도시된 것과 같은 움직임 보상없는 필드간 보간법(inter-field interpolation without motion-compensation)은 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 끼움으로써 한 프레임(frame)을 구현하는 것이다. 이러한 움직임 보상없는 필드간 보간법 역시, 단순한 하드웨어로써 구현할 수 있지만, 움직임이 있는 영상은 보간하더라도 오류가 발생하거나 화면이 열화되어 화질이 떨어지는 단점이 있다.
마지막으로, 도 2c에 도시된 것과 같은 필드내 보간법(intra-field interpolation)은 하나의 필드에서 두 라인 사이의 영역에 그 두 라인의 데이터를이분한 데이터를 삽입함으로써 새로운 한 필드(field)를 구현하는 것이다. 이러한 필드내 보간법은 라인반복 방법보다 화질이 깨끗해지고 움직임 보상없는 필드간 방법보다 오류 발생 비율은 낮지만, 정지 영상이 보간 후에 화면이 열화되어 화질이 떨어지는 단점이 있다.
상술한 바와 같이 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환하기 위한 종래의 방법은 보간 후의 화질이 떨어지는 단점이 있다. 이러한 문제점을 해결하기 위하여 미국특허번호 5027201에 제시된 Bernard 방식과, 동 특허번호 5159451에 제시된 Faroudja 방식이 있으나, 이러한 방식들은 보간 후의 화질은 개선된 반면, 다수의 필드메모리(field memory)를 사용하고 과정이 복잡하여 구현하기 위한 회로의 제조비용이 상승하는 문제점을 가지고 있다.
본 발명은 이러한 문제점을 해결하기 위한 것으로, 인터레이스 방식의 화면을 프로그레시브 방식의 화면으로 변환할 때에 보간 후의 화질의 성능을 종전 보다 향상시키면서도 구성회로는 복잡하지 않도록 하는 데에 그 목적이 있다.
도 1은 일반적인 인터레이싱 방법에 따른 화면을 도시한 도면
도 2a 내지 도 2c는 라인을 보간하여 필드를 생성하는 종래의 방법을 도시한 도면
도 3은 본 발명에 의한 디인터레이싱 장치를 개략적으로 도시한 도면
도 4는 본 발명에서 사용하는 윤곽패턴을 도시한 도면
도 5는 예로써 윤곽패턴으로 나타날 수 있는 가능한 경우를 도시한 도면
도 6은 4 장의 필드를 이용하여 라인을 보간하는 것을 도시한 도면
도 7은 본 발명의 제 1 필터의 구성요소를 도시한 도면
도 8은 제 1 필터부의 에지(edge)방향검출부가 필터링된 신호에서 영상의 움직임을 검출하는 동작을 도시한 도면
도 9는 그라디언트(gradient)와 룰(rule)에 의한 화소값의 변화방향 검출방법을 도시한 도면
도 10은 i+1 번째 라인의 j 번째 화소가 포함되어 있는 에지(edge) 방향의 i 번째 화소각의 변화방향을 검출하는 경우를 도시한 도면
도 11a는 화소값의 y 축 방향의 변화량을 구하기 위하여 이용하는 소벨마스크를 도시한 도면
도 11b는 화소값의 x축 방향변화량를 구하기 위하여 이용하는 소벨마스크를 도시한 도면
도 12는 에지부분의 방향이 소정의 영역으로 매핑된 것을 도시한 도면
* 도면의 주요부분에 대한 기호설명 *
100 : 필드저장부 200 : 움직임 결정부
210 : BD&BPPD 검출부 220 : BD&BPPD 합성부
300 : 제 1 필터부 310 : 수평필터
320 : 신호지연부 330 : 에지(edge)방향검출부
340 : 보간부 400 : 제 2 필터부
500 : 소프트 스위치부 600 : 메디안 필터부
700 : 움직임 확장부 800 : 수직라인 변환부
본 발명에 의한 디인터레이싱 장치 및 방법은 보간될 화소의 대각 방향의 화소를 참조하여 필드 화면을 보간하는 것이 특징이다.
더 상세한 본 발명의 디인터레이싱 장치 및 방법의 특징은 보간될 화소 주위 일정한 영역에 위치한 화소들의 밝기 차이를 검출하여 필드 화면을 보간하는 것이다.
본 발명에 의한 디인터레이싱 장치는 n 번째 필드 데이터를 포함하여 전후 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부와, 보간할 영역의 화소값이 변화되는 방향을 산출하여 그 방향에 따른 필드내 보간값을 출력하는 제 1 필터부와, 보간할 영역의 이전 필드와 이후 필드의 화소값을 평균하는 제 2 필터부, 보간할 영역의 화소값과 윤곽패턴의 차이를 검출하는 움직임 결정부, 그리고 제 1 필터부와 제 2 필터부의 출력값을 혼합하는 소프트 스위치부를 포함하여 구성되어 있다.
도 3은 본 발명에 의한 디인터레이싱 장치를 개략적으로 도시한 블록도이다.
필드 저장부(100)는 출력 영상을 구현하는 다수 개의 필드 데이터 중에서 현재 필드, 즉 n 번째 필드를 기준으로 n 번째 필드에 해당하는 영상 데이터와 이전 필드 및 이후 필드 등, 시간적으로 연속적인 m 개의 필드에 해당하는 영상 데이터를 저장한다. 즉, 필드 저장부(100)는 n 번째 필드 데이터를 포함하여 그 이전의 필드 데이터와 그 이후의 필드 데이터를 저장한다.
움직임 결정부(200)는 필드 저장부(100)에 저장된 각 필드 데이터 간에 존재하는 특정 라인들의 화소값과 밝기윤곽패턴의 차이를 검출하여 동영상의 움직임 정도값을 계산한다. 이러한 움직임 결정부(200)는 도 3에 도시된 것과 같이 각 필드 데이터 간의 밝기 차이(BD : Brightness Difference)와 각 필드 데이터 간의 밝기윤곽 패턴차이(PD : Brightness Profile Pattern Difference)를 산출하는 BD&BPPD 검출부(210)(BD&BPPD Finder)와, 밝기 차이와 밝기윤곽 패턴차이가 소정의 한계치 이상이면 기설정된 값으로 매핑하여 움직임 정도를 측정하는 BD&BPPD합성부(220)(BD&BPPD Combiner)를 포함하여 구성되어 있다.
밝기 차이는 디지털 티브이 등에서 라인 보간을 실시하기 위해 이미 많은 분야에서 사용되고 있는 개념이나, 밝기윤곽 패턴차이(PD : brightness Profiles pattern Difference)는 본 출원인이 이전의 출원건에서 제안한 개념이다. 본 출원인은 이러한 디인터레이싱(deinterlacing)을 위하여 밝기윤곽 패턴차이(BPPD) 개념을 1997년 경에 출원된 특허출원 97-80719의 특허명세서에서 제안한 바 있다.
도 5는 본 출원인이 제안했던 밝기윤곽 패턴차이를 설명하기 위한 밝기윤곽 패턴의 개념을 도시한 것으로서, 밝기윤곽 패턴의 가능한 몇몇 경우를 나타낸 것이다. 이러한 밝기윤곽 패턴을 이용하여 밝기윤곽 패턴차이를 계산하는 방법과 기존의 밝기 차이를 계산하기 위한 방법은 다음과 같다.
임의의 시각, Ti 에서 화소 a 의 밝기가 Ba 일 때, 도 4에 도시된 밝기윤곽 패턴을 정량적으로 표시하면 수학식 1과 같이 나타낼 수 있다.
이러한 밝기윤곽 패턴의 정량화는 라인 보간을 실시할 여러 라인에 대하여 실시된다. 이렇게 정량화된 값을 이용하여 밝기윤곽 패턴차이와 밝기 차이를 산출한다. 도 6은 본 발명이 윤곽패턴을 정량화하기 위해 사용하는 시간적으로 연속적인 4 장의 필드를 도시한 것이다.
먼저, 본 발명에 의한 디인터레이싱 장치의 움직임 결정부(200)는 n-2 번째 필드 데이터의 화소값을 이용하여 n-2 번째 필드 데이터의 밝기윤곽 패턴을 상기수학식 1을 통하여 추출한다. 즉, n-2 번째 필드가 입력된 시각, Ti 일때의 윤곽패턴이 추출되는 것이다.
그리고, n 번째 필드 데이터의 화소값을 이용하여 n 번째 필드 데이터의 밝기윤곽 패턴을 상기 수학식 1을 통하여 추출한다. 즉, n 번째 필드가 입력된 시각, Tk 일때의 밝기윤곽 패턴이 추출되는 것이다.
상술한 바와 같이 n-2 번째 필드의 밝기윤곽 패턴과 n 번째 필드의 밝기윤곽 패턴이 추출되면, 다음의 수학식 2를 이용하여 n-2 번째 필드와 n 번째 필드의 밝기윤곽 패턴의 차이, 즉 밝기윤곽 패턴차이(BPPD : Brightness Profile Pattern Difference)를 산출한다.
또, 다음의 수학식 3을 이용하여 n-2 번째 필드와 n 번째 필드의 밝기 차이를 산출한다.
그리고, 상술한 과정을 응용하여 n-1 번째 필드와 n+1 번째 필드의 밝기 차이와 밝기윤곽 패턴차이를 산출한다. n-1 번째 필드와 n+1 번째 필드의 밝기 차이와 밝기윤곽 패턴차이를 산출하는 것은 다음의 수학식 4 및, 수학식 5에 도시된 것과 같다.
본 발명에 의한 디인터레이싱 장치는 움직임 결정부(200), 특히 BD&BPPD 합성부(220)의 출력값을 정확하게 설정하기 위하여 BD&BPPD 합성부(220)의 출력값에서 잡음성분을 제거하여 군집화(grouping)하는 메디안 필터부(600)(Median Filter)와, BD&BPPD 합성부(220)의 출력값에 따라 움직임이 있는 화소로부터 인접한 다른 화소로 움직임 정도값을 확장시키는 움직임 확장부(700)(Expander)를 부가적으로 포함하여 구성된다.
방송신호에 의해 전송된 화상은 부호단계, 또는 전송단계에서 필연적으로 잡음이 섞이게 된다. 메디안 필터부(600)는 이러한 잡음성분을 제거하고, 화상 중에 움직임이 검출된 영역을 군집화한다.
움직임 확장부(700)(Expander)는 메디안 필터부(600)에서 출력된 움직임 정도값을 인접한 다른 화소로 확장시킨다.
본 발명의 움직임 확장부(700)가 움직임 정도값을 인접한 화소로 확장시키는 이유는 다음과 같다. 일반적으로 동영상의 움직임은 특정 화소에서만 이루어지는 것이 아니라 일정 영역의 화소군들에서 이루어진다. 따라서, 특정 화소에 움직임 정도값이 감지되었다면, 그 화소의 잡음성분에 의한 것이거나, 아니면 그 특정 화소 및 인접한 주변 화소가 움직임에 있을 수 있다. 그런데, 이미 메디안 필터부(600)에 잡음성분에 해당하는 움직임 정도값이 제거된 상태이므로, 이 주변화소들이 움직임 상태에 있을 가능성이 높다. 따라서, 움직임 확장부(700)는 메디안 필터부(600)에서 출력된 움직임 정도값을 그 움직임 정도값이 감지된 화소의 주변으로 확산시키는 것이다.
그리고, 제 1 필터부(300)는 라인보간을 실시할 영역에 해당하는 n 번째 필드 데이터의 화소값과 필드내 주변화소들을 검출하고, 보간할 화소 주변의 화소값들이 포함되어 있는 에지(edge)의 방향을 산출하여 그 방향에 따른 적정한 보간값을 추출한다. 예를 들어, n 번째 필드 영상을 새로 생성하기 위하여 k 번째 라인을 보간해야 한다면, 제 1 필터부(300)는 k-1 번째 라인의 영상 데이터와 k+1 번째 라인의 영상 데이터의 화소값을 검출하여 그 화소값들이 포함되어 있는 에지(edge)의 방향을 산출하여 그 방향에 따른 적절한 보간값을 추출하는 것이다.
제 1 필터부(300)가 보간값을 추출하는 방법은 다음과 같이 구간매치방법과 그라디언트(gradient)와 룰(rule)에 의한 방향추출방법의 2 가지가 있다.
(구간매치방법: Region Matching Method)
이 방법은 보간할 영역의 에지(edge) 부분의 화소값이 에지방향에 따라 연속적이라는 성질을 이용하여 보간값을 추출하는 방법이다. 구간매치방법을 이용하여 보간값을 추출하는 제 1 필터부는 도 7에 도시된 것과 같이 신호의 잡음을 제거하는 필터부(310)와, 필터링된 신호를 수평주기 하나만큼 지연시키는 신호지연부(320) 필터링된 신호에서 에지의 방향을 검출하는 에지(edge)방향 검출부(330), 그리고 보간값을 출력하는 보간부(interpolator)(340)를 포함하여 구성되어 있다.
제 1 필터부(300)의 에지(edge)방향 검출부(340)가 필터링된 신호에서 해당 화소에서의 에지방향을 검출하는 동작은 도 8에 도시된 것과 같다.
먼저, 보간할 화소가 포함된 임의의 에지 상에 존재하는 이동영역 내에 존재하는 화소값을 검출한다. 이 때, 이동 영역의 크기는 상술한 바와 같이 시스템에 따라 적정하게 조절해야 한다.
그리고, 상하의 이동 영역을 일정한 간격으로 서로 반대방향으로 쉬프트(shift) 시키면서 그 쉬프트 된 양에 해당되는 다양한 에지방향에 대해 상, 하 이동영역 내의 서로 상응하는 화소간의 차이를 지속적으로 검출한다. 동시에 지속적으로 검출된 화소값의 변화량을 참조하여 보간하고자 하는 화소가 포함되어 있는 에지의 방향을 감지한다.
먼저 보간할 라인이 k 번째 라인이라면, 일정한 관측 영역(observation window) 내에서 k+1 번째 라인과 k-1 번째 라인에 소정의 이동 영역(sliding window)을 설정한다. 그리고, k-1 번째 라인의 이동 영역은 왼쪽에서 오른쪽으로 이동시키고, k+1 번째 라인의 이동영역은 오른쪽에서 왼쪽으로 이동시킨다. 그리고, 이동 영역 간의 서로 대각선 상에 위치한 화소들의 차이값을 검출하여 그 차이를 합산하여 화소값의 변화량을 산출한다. 이 때, 본 발명은 이동영역의 이동 간격이 인접한 화소 간격의 절반 단위로 설정된 경우를 예로 하였다. 보다 정밀하게 하기 위해서 1/4, 1/8 ... 등의 더욱 세밀한 간격으로 이동영역의 이동간격을 조절할 수 있다.
이 때, 관측 영역의 서로 인접한 화소들의 화소값을 선형적으로 보간하고,그 선형적으로 보간된 화소값을 상기 관측 영역의 서로 인접한 화소들 사이에 써넣는다. 이러한 과정 및 다음의 수학식 6에 의해 이동영역 내에 위치한 화소들이 가진 화소값의 차이가 산출된다. 이 때, 이동영역의 크기는 응용에 따라 임의로 설정하여 사용할 수 있다.
이 때, m 은 응용하기에 따라 구하고자 하는 대각선의 방향까지로 정할 수 있다. 한 예로써 m의 범위를 -3에서 +3까지로 정할 수 있고, -3에서 +3사이의 m값의 간격을 이동영역의 이동간격에 의해 정의된다.
그 후, 상기값들 중에서 최소값을 구하고,의 최소값에 대한 mmin값을 추출한다. 그리고, 한 예로써 m의 범위를 -3에서 +3으로 정하고 이동영역의 이동간격을 반화소로 정의한 경우, mmin에 따라 다음의 수학식 7 내지 수학식 15에 따라 보간값(Ps) 를 산출한다. 보간값(Ps)을 산출하는 과정을 단계적으로 설명하면 다음과 같다.
먼저, 이동영역 내에 포함된 각 화소들의 화소값을 서로 인접한 화소끼리 선형적으로 보간한다. 그리고, 서로 인접한 화소끼리 보간한 화소값을 상기 인접한 화소 사이에 삽입시키고, 이동 영역 간의 화소들 간의 차이를 산출하여 합산한다. 그 후, 이 합산값들 중, 최소값을 산출하고, 최소값이 산출된 대각선 상에 있는 상,하의 이동영역의 중심에 존재하는 보간값(Ps)이 산출된다.
예를 들어, 만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -3이면, 수학식 7에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -5/2이면, 수학식 8에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -2이면, 수학식 9에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -3/2이면, 수학식 10에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -1이면, 수학식 11에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 -1/2이면, 수학식 12에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 0이면, 수학식 13에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 1/2이면, 수학식 14에 따라 보간값(Ps)을 산출한다.
만일 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 1이면, 수학식15에 따라 보간값(Ps)을 산출한다.
등과 같이 나머지의 mmin의 경우도 동일하게 구할 수 있다. 즉,이다.
만일 이 때, 상기 수학식 6에 의해 산출된 값이 최소로 되는 mmin이 두 개 이상 산출되면, m이 0 인 경우를 기준점으로 하여 가장 가까운 지점의 보간값을 우선으로 한다. 드문 경우이지만, 만약 m이 0 인 경우를 기준점으로 하여 두 개의 mmin이 동일한 거리의 지점에서 산출되면, 두 개의 mmin이 존재하는 이동 영역의 중심에 위치한 화소값을 필터링하여 보간값을 산출한다.
그러나, 각 대각선 방향에 따른 이동영역 간의 화소값들의 차이의 합인이 소정의 문턱치(Threshold) 이상의 값을 가지게 되면, 보간값은 mmin가 0 인 경우, 즉 수직방향으로 선형 보간할 때의 값과 동일하게 된다.
본 발명의 특허명세서는 한 라인에 대하여 관측 영역에 7 개의 화소가 포함되어 있는 경우를 예로 들었으나, 관측 영역의 크기는 더 커질 수도 있고, 화소의 개수도 더 많아질 수 있다. 물론, 관측 영역의 범위 내에서 이동 영역의 크기도 변동될 수 있으며, 이동 영역에 포함된 화소의 개수 역시, 제한적인 것은 아니다.
따라서, 이동 영역의 움직임은 상술한 바와 같이 화소 간격의 절반으로 제한되지 않고, 화소 간격의 3 분의 1 또는, 4 분의 1 등, 임의로 설정될 수 있다.
(기울기와 규칙을 기반으로 한 방향 검출방법 : Gradient 와 Rule 을 기반으로 한 에지방향검출방법)
또한, 본 발명의 제 1 필터부(300)는 입력된 영상의 보간될 화소가 포함되어 있는 에지값의 보간방향을 검출하도록 동작할 수도 있다.
도 9은 기울기에 의한 화소값의 보간방향 검출방법을 도시한 흐름도이다.
기울기에 의한 방향 검출방법은 먼저 수평라인 영상데이터를 입력받은 후(S10)에, 그 수평라인 영상데이터가 평탄영역인 지에 대한 여부를 판단한다(S20). 평탄영역에 대한 판단은 다음과 같은 과정을 거쳐 실시된다.
도 10에 도시된 것과 같이 i+1 번째 라인의 j 번째 화소값의 변화방향을 검출하는 경우에 i+1 번째 라인의 j 번째 화소의 평탄영역에 대한 판단과정은 다음과 같다.
먼저, i 번째 라인에서 j 번째 화소 주변의 화소값과 i+2 번째 라인에서 j 번째 화소 주변의 화소값에 대해 수평방향 및 수직방향으로 화소값들 간의 차이들을 구한다. 그리고, 그 차이들의 최대값을 산출하여 최대값과 소정의 문턱치를 비교한다. 만약, 화소값 간의 차이들의 최대값이 문턱치보다 작으면 평탄영역으로 판단하고, 문턱치보다 크면 평탄영역이 아닌 것으로 판단한다.
이 때, 평탄영역은 평탄영역 뿐만 아니라, 수직방향의 에지(edge)부분과 수평방향의 에지(edge) 부분도 포함하여 화소값의 에지방향을 0°로 간주한다.
만약 화소값의 에지방향이 평탄영역이 아닌 경우, 도 10에 도시된 것과 같이3×3 마스크를 이용하여 화소값의 기울기를 산출한다(S30). 본 특허에서는 일례로 소벨 마스크를 사용하였으나, 응용하기에 따라 여러가지 다양한 마스크를 사용할 수 있다. 소벨마스크는 보간될 화소의 상하 라인에 설정된 관측 영역(observation windows)의 일부를 소정의 연산구역(operator area)으로 설정하고, 그 연산구역에 위치한 화소에 소정의 가중치를 참조하여 화소값의 기울기(그라디언트 : gradient)을 산출하는 것이다.
도 11a는 화소값의 y축 기울기(Δy)를 구하기 위하여 이용하는 3×3 소벨마스크를 도시한 것이고, 도 11b는 화소값의 x축 기울기(Δx)를 구하기 위하여 이용하는 3×3 소벨마스크를 도시한 것이다.
이러한 소벨마스크 내의 화소값을 다음의 수학식 16와 수학식 17에 대입하여 화소값의 기울기를 산출한다.
이 때, 각 α는 x 축에 대하여 측정된 각도이다. 따라서 그라디언트의 방향은 에지의 방향에 대하여 수직이므로, 에지의 방향 αe(y,x)는 다음의 수학식 18과같이 쓸 수 있다.
상기 수학식 들에서 산출되어진 αe는 도 12에 도시된 각 영역으로 매핑을 고려하여 변환되어진 에지방향각이다. 예를 들어, αe가 60°이면 45°영역으로 매핑되고, αe가 89°이면 0°영역으로 매핑된다.
상술한 과정을 j-1, j, j+1, j+2, j+3 의 위치 상에 놓이는 화소에 대하여 수행하여 각 화소의 방향값들, Dir(j-1), Dir(j), Dir(j+1), Dir(j+2), Dir(j+3), 등을 산출한다. 이 때, 소벨마스크 내의 입력영상에 포함되어 있지 않은 화소의 화소값은 수직방향으로 선형 보간한 값으로 설정한다.
그 후에, 상기 각 화소의 방향값을 모두 참조하여 원래 방향값을 산출하려던 화소에 수평방향으로 인접하여 위치한 화소의 방향값을 추정한다(S40). 이 때, 각 화소의 방향값을 참조하여 인접한 화소의 방향값을 추정하는 규칙은 일례로서 다음의 제 1 프로그램 모듈처럼 구성될 수 있다.
* 제 1 프로그램 모듈 *
if n(Dir 0°) > 2, NewDir(j+1) = 0° ①
elseif n(Dir 45°) > 3, NewDir(j+1) = 45° ②
elseif n(Dir -45°) > 3, NewDir(j+1) = -45° ③
elseif [n(Dir 45°) = 3] or [n(Dir -45°) =3], ④
if[(Dir(j-1) = Dir(j+1) = Dir(j+3)) and, (Dir(j) ≠ Dir(j+2) or (Dir(j) ≠ 0°)] or [(Dir(j-1) = Dir(j) = Dir(j+3)) and, (Dir(j+1) ≠ 0°)] or [(Dir(j-1) = Dir(j+2) = Dir(j+3)) and, Dir(j+1) ≠ 0°] or [(Dir(j-1) = Dir(j+1) ≠ 0°) and, (Dir(j) = Dir(j+2) = Dir(j+3))] or [(Dir(j-1) = Dir(j) = Dir(j+2)) and, (Dir(j+1) = Dir(j+3) ≠ 0°], NewDir(j+1) = 0° ⑤
elseif n(Dir 45°= 3), NewDir(j+1) = 45° ⑥
else NewDir(j+1) = -45° ⑦
elseif (Dir(j) = Dir(j+2)) and, (Dir(j-1) ≠ Dir(j+1)) and, (Dir(j+1) ≠ Dir(j+3)), NewDir(j+1) = Dir(j) ⑧
elseif (Dir(j) = 45°and, Dir(j+1) = -45°) or (Dir(j) = -45°and, Dir(j+1) = 45°) or (Dir(j+1) = 45°and, Dir(j+2) = -45°) or ( Dir(j+1) = -45°and Dir(j+2) = 45°), NewDir(j+1) = 0° ⑨
else NewDir(j+1) = Dir(j+1) ⑩
endif
endif.
상술한 프로그램에서 n(Dir α)는 방향값이 α인 화소의 개수를 의미하는 것이다.
상기 제 1 프로그램 모듈의 동작원리를 설명하면 다음과 같다.
만약, 0°인 방향값을 가지는 화소의 개수가 2 개를 초과하면 현재 보간할화소(j 번째 화소)의 다음 화소의 방향값(NewDir(j+1))을 0°로 설정하고(①), 45°인 방향값을 가지는 화소의 개수가 3 개를 초과하면 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 45°로 설정하며(②), -45°인 방향값을 가지는 화소의 개수가 3 개를 초과하면 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 -45° 로 설정한다(③).
그런데, 만약 45°인 방향값을 가지는 화소, 또는 -45°인 방향값을 가지는 화소의 개수가 3 개이면(④), 다음의 조건에 의해 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 설정한다.
만약, 현재 보간할 화소의 이전 화소(j-1 번째 화소)와 다음 화소(j+1 번째 화소)과 현재 보간할 화소로부터 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일하면서 동시에 현재 보간할 화소의 방향값과 두번째 이후의 화소(j+2 번째 화소)의 방향값이 동일하지 않는 경우, 또는, 현재 보간할 화소의 이전 화소(j-1 번째 화소)와 다음 화소(j+1 번째 화소)와 현재 보간할 화소으로부터 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일하면서 현재 보간할 화소의 방향값이 0°가 아닌 경우에는 현재 보간할 화소의 다음 화소(j+1 번째 화소)의 방향값(NewDir(j+1))을 0°로 설정한다(⑤).
또는, 현재 보간할 화소의 이전 화소(j-1 번째 화소)와 현재 보간할 화소 및, 현재 보간할 화소로부터 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일하면서 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값이 0°가 아닌 경우에는 현재 보간할 화소의 다음 화소(j+1 번째 화소)의 방향값(NewDir(j+1))을0°로 설정한다(⑤).
또는, 현재 보간할 화소의 이전 화소(j-1 번째 화소)와 현재 보간할 화소로부터 두번째 이후의 화소(j+2 번째 화소) 및 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일하면서 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값이 0°가 아닌 경우에는 현재 보간할 화소의 다음 화소(j+1 번째 화소)의 방향값(NewDir(j+1))을 0°로 설정한다(⑤).
또는, 현재 보간할 화소의 이전 화소(j-1 번째 화소)과 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값이 0°가 아니면서 현재 보간할 화소(j 번째 화소)의 방향값과 현재 보간할 화소으로부터 두번째 이후의 화소(j+2 번째 화소)의 방향값과 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일한 경우에는 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 0°로 설정한다(⑤).
또는, 현재 보간할 화소의 이전 화소(j-1 번째 화소)의 방향값과 현재 보간할 화소(j 번째 화소)의 방향값과 현재 보간할 화소의 두번째 이후(j+2 번째 화소)의 방향값이 모두 동일하면서 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값과 현재 보간할 화소의 세번째 이후의 화소(j+3 번째 화소)의 방향값이 모두 동일하고 0°가 아닐 경우에는 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 0°로 설정한다(⑤).
또 만약, 45°인 방향값을 가지는 화소의 개수가 3 개이면서 상기 제 1 프로그램 모듈에서 ⑤ 에 기술된 경우 이외의 경우에는 모두 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 45°로 설정하고(⑥), -45°인 방향값을 가지는 화소의 개수가 3 개이면서 제 1 프로그램 모듈에서 ⑤, ⑥ 에 기술된 경우 이외의 경우에는 모두 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 -45°로 설정한다(⑦).
또한, 현재 보간할 화소(j 번째 화소)의 방향값과 현재 보간할 화소로부터 두번째 이후의 화소(j+2 번째 화소)의 방향값이 동일하고, 동시에 현재 보간할 화소의 이전 화소(j-1 번째 화소)의 방향값과 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값이 동일하지 않으며, 동시에 현재 보간할 화소의 이후 화소(j+1 번째 화소)의 방향값과 현재 보간할 화소로부터 세번째 이후의 화소(j+3 번째 화소)의 방향값이 동일하지 않으면, 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 현재 보간할 화소의 방향값(Dir(j))으로 설정한다(⑧).
또, 현재 보간할 화소의 방향값(Dir(j))이 45°이고 다음 화소의 방향값(Dir(j+1))이 -45°이거나, 현재 보간할 화소의 방향값(Dir(j))이 -45°이고 다음 화소의 방향값(Dir(j+1))이 45°이거나, 현재 보간할 화소의 다음 화소의 방향값(Dir(j+1))이 45°이고 두번째 이후 화소의 방향값(Dir(j+2))이 -45°이거나, 현재 보간할 화소의 다음 화소의 방향값(Dir(j+1))이 -45°이고 두번째 이후 화소의 방향값(Dir(j+2))이 45°인 경우에는 현재 보간할 화소의 다음 화소의 방향값을 0°로 설정한다(⑨).
마지막으로, 상기 서술한 ①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧, 그리고 ⑨ 의 경우 이외의 경우에는 모두 현재 보간할 화소의 다음 화소의 방향값(NewDir(j+1))을 변경하지 않고 그대로 Dir(j+1)을 사용한다(⑩).
본 발명의 제 1 필터부(300)는 상기 제 1 프로그램 모듈에서 산출된 방향값들(NewDir(j+1), NewDir(j), ...)과, 현재 방향값을 구하려는 화소의 이전 화소의 방향값들(OutDir(j-2), OutDir(j-1))을 이용하여 현재 화소의 방향값(OutDir(j))을 확정한다(S50). 이 때, 현재 화소의 방향값을 확정하는 방법은 가능한 일례로서 다음의 제 2 프로그램 모듈과 같이 구성될 수 있다.
* 제 2 프로그램 모듈 *
if {OutDir(j-1) = NewDir(j+1) and, OutDir(j-2) ≠ NewDir(j)}, OutDir(j) = OutDir(j-1) ⓐ
elseif {OutDir(j-2) = NewDir(j+1) ≠ OutDir(j-1) = NewDir(j)} or [[{(OutDir(j-1) = 45°and, NewDir(j) = -45°} or {OutDir(j-1) = -45°and, NewDir(j) = 45°}] and, [{NewDir(j) ≠ NewDir(j+1)}]] or [{NewDir(j) = 45°and, NewDir(j+1) = -45°} or {NewDir(j) = -45°and, NewDir(j+1) = 45°}] and, {OutDir(j-1) ≠ NewDir(j)}, OutDir(j) = 0° ⓑ
else OutDir(j) = NewDir(j) ⓒ
endif.
상기 제 2 프로그램 모듈의 동작원리는 다음과 같다.
만약, 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))이 이후 화소의 방향값(NewDir(j+1))과 동일하고 동시에 현재 보간할 화소의 두번째 이전 화소의 확정된 방향값(OutDir(j-2))이 현재 보간할 화소의 방향값(NewDir(j))과 상이하면, 현재 보간할 화소의 확정된 방향값(OutDir(j))을 이전 화소의방향값(OutDir(j-1))으로 결정한다(ⓐ).
또한, 현재 보간할 화소의 두번째 이전 화소의 확정된 방향값(OutDir(j-2))이 현재 보간할 화소의 이후 화소의 방향값(NewDir(j+1))과 동일하고, 동시에 현재 보간할 화소의 이후 화소의 방향값(NewDir(j+1))이 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))과 상이하며, 동시에 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1)이 현재 보간할 화소의 방향값(NewDir(j))과 동일할 경우에는 현재 보간할 화소의 확정된 방향값(OutDir(j))을 0°로 결정한다(ⓑ).
또는, 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))이 45°이고 동시에 현재 보간할 화소의 방향값(NewDir(j))이 -45°이고, 동시에 현재 보간할 화소의 방향값(NewDir(j))과 이후 화소의 방향값(NewDir(j+1))이 상이할 경우에는 현재 보간할 화소의 확정된 방향값(OutDir(j))을 0°로 결정한다(ⓑ).
또는, 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))이 -45°이고 동시에 현재 보간할 화소의 방향값(NewDir(j)이 45°이고, 동시에 현재 보간할 화소의 방향값(NewDir(j))과 이후 화소의 방향값(NewDir(j+1))이 상이할 경우에는 현재 보간할 화소의 확정된 방향값(OutDir(j))을 0°로 결정한다(ⓑ).
또는, 현재 보간할 화소의 방향값(NewDir(j))이 45°이고 동시에 현재 보간할 화소의 이후 화소의 방향값(NewDir(j+1))이 -45°이고, 동시에 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))과 현재 보간할 화소의 방향값(NewDir(j))이 상이할 경우에는 현재 보간할 화소의 확정된 방향값(OutDir(j))을 0°로 결정한다(ⓑ).
또는, 현재 보간할 화소의 방향값(NewDir(j))이 -45°이고 동시에 현재 보간할 화소의 이후 화소의 방향값(NewDir(j+1))이 45°이고, 동시에 현재 보간할 화소의 이전 화소의 확정된 방향값(OutDir(j-1))과 현재 보간할 화소의 방향값(NewDir(j))이 상이할 경우에는 현재 보간할 화소의 확정된 방향값(OutDir(j))을 0°로 결정한다(ⓑ).
또한, 상기 ⓐ 와 ⓑ 의 경우를 제외한 경우에는 현재 보간할 화소의 확정된 방향값을 상기 제 1 프로그램 모듈에서 산출된 방향값으로 결정한다(ⓒ).
본 발명의 제 1 필터부(300)는 더욱 정교한 처리를 위하여 상기 제 1, 제 2 프로그램모듈 외에 더 많은 계층 구조의 프로그램 모듈을 구성할 수도 있다. 또, 본 발명의 명세서에 기술된 0°, 45°, -45°의 경우 뿐만 아니라, 더 많은 방향으로 세분화하여 프로그램 모듈을 구성할 수 있다. 게다가 관측 영역(Observation Window)의 크기를 변경할 수도 있는데, 관측 영역이 넓어질수록 제 1 프로그램 모듈에서 필요로 하는 방향값(Dir)의 개수가 많아진다. 이러한 경우에는 제 1 프로그램 모듈을 적은 수의 방향값의 개수로 분할하여 계층적으로 구성하여 사용할 수 있다.
이러한 프로그램 모듈들은 현재 보간할 화소를 기준으로 하여 이전 화소의 방향값 및, 이후 화소의 방향값을 고려하여 현재 보간할 화소의 방향값을 결정하는 것이다. 그리고, 그라디언트를 구하는 방법으로 소벨마스크를 사용했으나, 기존의 프리위트(prewitt), 컴패스(compass), 로버트 연산자(Roberts operator) 등 기타의 모든 방법을 사용할 수 있다.
현재 보간할 화소의 방향값(OutDir(j))이 결정되면, 제 1 필터부(300)는 그 방향값을 참조하여 현재 보간할 화소의 보간값을 산출한다. 만약, 0°, 45°, -45°의 방향값을 참조하여 현재 보간하고자 하는 화소를 보간한다면, 그 화소를 보간하는 방법은 다음의 제 3 프로그램 모듈과 같이 구성될 수 있다.
* 제 3 프로그램 모듈 *
if OutDir(j) = -45°,㉮
elseif OutDir(j) = 45°,㉯
else,㉰
endif.
제 3 프로그램 모듈의 동작원리는 다음과 같다.
만약, 제 2 프로그램 모듈에 의해 산출된 현재 보간할 화소(j 번째 화소)의 확정된 방향값(OutDir(j))이 -45°이면, 도 8에 도시된 것과 같이 현재 보간될 화소(i+1,j)의 대각방향으로 왼쪽 위의 화소(i, j-1)와 오른쪽 아래 화소(i+2, j+1)를 평균하여 현재 보간될 화소(i+1,j)를 보간한다(㉮).
그리고, 제 2 프로그램 모듈에 의해 산출된 현재 보간할 화소(j 번째 화소)의 확정된 방향값(OutDir(j))이 45°이면, 도 8에 도시된 것과 같이 현재 보간될 화소(i+1,j)의 대각방향으로 오른쪽 위의 화소(i, j+1)와 왼쪽 아래 화소(i+2, j-1)를 평균하여 현재 보간될 화소(i+1,j)를 보간한다(㉯).
마지막으로 상기 ㉮ 와 ㉯의 경우를 제외한 경우에는 현재 보간될 화소(i+1, j)의 상하 화소[(i, j), (i+2, j)]를 평균하여 현재 보간될 화소(i+1,j)를 보간한다.
그라디언트와 룰(rule)을 이용하여 화소값의 에지의 방향값을 산출하는 방법을 정리하여 설명하면 다음과 같다.
먼저, 보간할 화소가 포함된 관측 영역의 에지(edge) 근방의 화소값을 검출한다. 그 후, 에지 근방의 화소값들의 변화량을 참조하여 보간할 화소가 포함된 관측 영역의 그라디언트를 산출한다. 그리고, 상기 관측 영역의 그라디언트를 참조하여 화소값의 에지방향을 감지하여 방향값을 산출한다.
이 때, 관측 영역의 그라디언트를 산출하는 단계는 관측 영역을 일정한 간격으로쉬프트(shift) 시키고, 쉬프트 되는 관측 영역의 에지 근방에 위치한 화소값들의 변화량에 따라 임시 그라디언트를 지속적으로 검출한다. 이러한 임시 그라디언트는 상기 수학식 16과 수학식 17에 의해 산출된다. 그 후, 상기 임시 그라디언트 값들을 제 1 프로그램 모듈과, 제 2 프로그램 모듈, 그리고 제 3 프로그램 모듈에 대입하여 보간할 화소의 에지 방향을 결정하여 그 방향에 따른 보간값을 확정짓는다.
그리고, 제 2 필터부(400)는 라인보간을 실시할 영역에 해당하는 그 이전 필드 데이터의 화소값과 그 이후 필드 데이터의 화소값을 평균하여 필드평균값을 추출한다. 예를 들어, n 번째 필드 영상을 새로 생성하기 위하여 k 번째 라인을 보간해야 한다면, 제 2 필터부(400)는 k 번째 라인의 영상 데이터를 가지고 있는 n-1번째 필드 데이터의 화소값과 n+1 번째 필드 데이터의 화소값을 평균하여 필드평균값을 추출한다. 제 2 필터부에서 출력된 필드평균값은 다음의 수학식 19와 같이 산출되어진다.
소프트 스위치부(500)는 움직임 결정부(200)에서 실시되는 상기 수학식 11 내지 수학식 12의 과정을 통해 산출된 밝기 차이와 밝기윤곽 패턴차이를 참조하여 제 1 필터부(300)에서 출력된 에지방향을 고려한 필드내 보간값과 제 2 필터부(400)에서 출력된 필드 평균값을 혼합하여 출력한다. 이러한 소프트 스위치부(500)는 다음의 수학식 20에 의해 산출된 값을 출력한다.
이 때, α는 움직임 확장부에서 출력된 움직임 정도값으로서, 0 이상이며, 1 이하의 범위 내의 값을 가진다.
또, 본 발명에 의한 디인터레이싱 장치는 소프트 스위치부(500)에서 출력된 보간된 값과 필드저장부(100)에 저장된 필드 데이터값들을 참조하여 디스플레이 장치에 맞는 보간된 라인을 생성하기 위하여 현재 필드 화면의 수직라인 수를 변환하는 수직라인 변환부(800)(Verticle Converter)를 부가적으로 포함하여 구성된다.
수직라인 변환부(800)은 현재 수신된 필드 데이터와 보간된 필드 데이터를이용하여 수직라인의 수를 변환한다. 만약 디인터레이싱된 필드 데이터만 필요하고, 라인이 변환될 필요는 없을 경우, 수직라인 변환부(800)는 소프트 스위치부(500)에서 출력된 값을 그대로 통과시켜 출력한다.
본 발명에 의한 디인터레이싱 방법을 정리하여 설명하면 다음과 같다.
먼저, 비월주사(interlace) 형식으로 연속하여 입력되는 m 개의 필드데이터를 저장한다. 그 후, 기 저장된 필드데이터에서 보간할 화소가 포함된 일정한 영역의 화소값을 검출한다.
그리고, 상기 영역의 화소값의 에지방향을 추출한다. 이 때, 화소값의 에지방향을 추출하는 방법은 기 서술했던 바와 같이 '구간매치방법'과 '그라디언트와 룰을 기반으로 한 방향검출방법' 등이 있다.
그 후, 화소값의 에지방향을 참조하여 화소의 보간값을 산출한다. 화소의 보간값은 상기 수학식 20을 이용하여 산출한다.
마지막으로 화소의 보간값을 이용하여 현재 보간할 화소의 필드데이터를 보간함으로써, 인터레이스 신호를 디인터레이싱 변환한다.
본 발명에 의한 디인터레이싱 방법 및 장치는 종래의 라인반복이나, 움직임 보상없는 필드간 보간 및 선형 필드내 보간법에 비해 움직임을 감안하여 필드를 보간하므로, 화질이 더 깨끗해지는 장점이 있다. 또한, 기존에 제안되었던 버나드(Bernard) 특허 및, 페이로자(Faroudja) 특허에 비해 구성회로가 복잡해지지 않으면서도 화질을 향상시킬 수 있는 효과가 있다.

Claims (14)

  1. 영상을 구현하는 필드 데이터 중에서 n 번째 필드 데이터를 기준으로 n 번째 필드 데이터를 포함하여 전후 연속적인 m 개의 필드 데이터를 저장하는 필드 저장부;
    상기 n 번째 필드에서 보간할 영역의 화소값이 변화되는 방향을 산출하고 산출된 방향에 따른 필드내 보간값을 산출하여 출력하는 제 1 필터부;
    상기 n 번째 필드 데이터의 이전 필드 데이터에서 상기 보간할 영역의 화소값과 상기 n 번째 필드 데이터의 이후 필드 데이터에서 상기 보간할 영역의 화소값을 평균하여 화소 평균값을 출력하는 제 2 필터부;
    상기 필드 저장부에 저장된 각 필드 데이터 간에 존재하는 특정 라인의 화소값의 밝기 차이와 밝기윤곽 패턴 차이를 검출하여 동영상의 움직임 정도값을 계산하는 움직임 결정부;
    상기 움직임 결정부에서 계산된 움직임 정도값을 군집화(grouping)하는 메디안 필터부;
    상기 메디안 필터부에서 군집화된 움직임 정도값에 따라 상기 특정 라인의 움직임이 있는 화소로부터 인접한 다른 화소로 움직임 정도값을 확장하는 움직임 확장부; 그리고
    상기 움직임 확장부에서 확장된 움직임 정도값을 가중치로 하여 상기 제 1 필터부에서 출력된 방향값과 상기 제 2 필터부에서 출력된 화소 평균값을 혼합하여 출력하는 소프트 스위치부를 포함하여 구성된 디인터레이싱 장치.
  2. 제 1 항에 있어서, 상기 움직임 결정부는
    상기 필드 데이터들 간의 밝기 차이(BD : brightness difference)와 상기 필드 데이터들 간의 밝기윤곽 패턴차이(BPPD : Brightness Profile Pattern Difference)를 계산하는 BD&BPPD 검출부,
    상기 밝기 차이(BD)와 밝기윤곽 패턴차이(BPPD)가 소정의 한계치 이상이면 기설정된 값으로 매핑하여 움직임 정도를 측정하는 BD&BPPD 합성부를 포함하여 구성된 디인터레이싱 장치.
  3. 제 1 항에 있어서, 상기 소프트 스위치부에서 출력된 값과 상기 필드저장부에 저장되었던 필드 데이터 값들을 참조하여 n 번째 필드 화면의 수직라인 수를 변환하는 수직라인 변환부를 부가적으로 더 포함하여 구성된 디인터레이싱 장치.
  4. 인터레이스(interlace)방식의 방송프로그램 영상에 해당하는 m 개의 필드 데이터를 저장하는 단계;
    상기 필드 데이터에서 보간할 화소가 포함된 일정한 영역의 화소값을 검출하는 단계;
    상기 보간할 화소가 포함된 소정 영역을 일정한 간격으로 쉬프트시키면서 쉬프트되는 상기 에지 근방의 화소값을 지속적으로 검출하여 현재 보간할 화소값의 에지 방향을 산출하는 제 1 에지 방향 검출 단계;
    상기 보간할 화소가 포함된 소정 영역의 화소값들로부터 기울기를 산출하고, 상기 산출된 기울기 방향으로부터 각 화소에 대한 에지 방향을 검출한 후 검출된 각 화소의 에지 방향값을 모두 참조하여 현재 보간할 화소값의 에지 방향을 산출하는 제 2 에지 방향 검출 단계;
    상기 제 1 또는 제 2 에지 방향 검출 단계에서 산출한 화소값의 에지 방향을 참조하여 보간값을 산출하는 단계; 그리고
    상기 산출된 보간값으로 현재 필드 데이터를 보간하는 단계를 포함하여 구성된 디인터레이싱 방법.
  5. 제 4 항에 있어서, 상기 제 1 에지 방향 검출 단계는
    상기 보간할 화소가 포함된 소정의 제 1 영역의 에지(edge) 근방의 화소값을 검출하는 단계,
    상기 제 1 영역을 일정한 간격으로 쉬프트(shift) 시키면서 쉬프트 되는 상기 에지(edge) 근방의 화소값을 지속적으로 검출하는 단계,
    상기 지속적으로 검출된 화소값의 변화량을 산출하는 단계, 그리고
    상기 화소값의 변화량을 참조하여 상기 화소값이 변화되는 방향을 감지하는 단계를 포함하여 이루어진 디인터레이싱 방법.
  6. 제 5 항에 있어서, 상기 화소값을 지속적으로 검출하는 단계는
    상기 보간할 화소가 포함된 라인의 상측 라인의 일부에 제 1 관측 영역을 설정하고, 하측 라인의 일부에 제 2 관측 영역을 설정하는 단계,
    상기 제 1 관측 영역과 제 2 관측 영역을 일정한 간격으로 이동시키면서 각 관측 영역의 에지 부분의 화소값을 검출하는 단계를 포함하여 이루어진 디인터레이싱 방법.
  7. 제 6 항에 있어서, 상기 제 1 관측 영역과 제 2 관측 영역은 서로 반대방향으로 이동하도록 이루어진 디인터레이싱 방법.
  8. 제 4 항에 있어서, 상기 보간하는 단계는
    상기 보간할 화소가 포함된 소정의 제 2 영역 내에 포함된 각 화소들의 화소값을 서로 인접한 화소끼리 선형적으로 보간하는 단계,
    상기 인접한 화소끼리 보간한 화소값을 상기 인접한 화소 사이에 대치시키는 단계,
    상기 제 2 영역 내의 화소들 중, 임의의 두 화소값 간의 차이를 산출하는 단계,
    상기 두 화소값 간의 차이들 중, 최소값을 산출하는 단계,
    상기 최소값이 산출된 두 화소들을 포함하는 보간영역을 설정하는 단계, 그리고
    상기 보간영역 내에 포함된 모든 화소값의 평균값을 보간값으로 산출하여 보간하는 단계인 디인터레이싱 방법.
  9. 제 4 항에 있어서, 상기 제 2 에지 방향 검출 단계는
    상기 보간할 화소가 포함된 소정의 제 3 영역의 에지(edge) 부분의 화소값을 검출하는 단계,
    상기 에지 근방의 화소값들의 변화량을 참조하여 상기 제 3 영역의 에지 부분의 화소값의 기울기(Gradient)를 산출하는 단계,
    상기 기울기를 참조하여 상기 화소값이 변화되는 방향을 감지하는 단계를 포함하여 이루어진 디인터레이싱 방법.
  10. 제 9 항에 있어서, 상기 기울기를 산출하는 단계는
    상기 보간할 화소가 포함된 라인의 상하측 라인에 위치한 화소들의 화소값을 입력받는 단계,
    상기 보간할 화소의 상측 라인 일부의 화소값과 하측 라인 일부의 화소값 간의 차이를 산출하는 단계,
    상기 화소값 간의 차이의 최대값과 기설정된 문턱치를 비교하는 단계,
    상기 최대값이 문턱치보다 작으면 화소값의 변화방향을 0°로 설정하고, 최대값이 문턱치보다 크면 상기 최대값이 산출된 화소값을 포함하는 소벨마스크(sobel mask)를 이용하여 상기 보간할 화소의 기울기를 산출하는 단계를 포함하여 이루어진 디인터레이싱 방법.
  11. 제 10 항에 있어서, 상기 소벨마스크는 3×3 화소 크기를 가진 디인터레이싱 방법.
  12. 제 10 항에 있어서, 상기 보간할 화소의 기울기를 산출하는 단계는
    상기 보간할 화소의 화소값을 x 축 방향으로 편미분하여 x 축 편미분값을 산출하는 단계,
    상기 보간할 화소의 화소값을 y 축 방향으로 편미분하여 y 축 편미분값을 산출하는 단계, 그리고
    상기 y 축 편미분값을 x 축 편미분값으로 제산한 값의 아크탄젠트(arctan-1)을 산출하는 단계를 포함하여 이루어진 디인터레이싱 방법.
  13. 제 9 항에 있어서, 상기 화소값이 변화되는 방향을 감지하는 단계는
    상기 에지 부분에 위치한 화소값의 기울기가 0°이상이면 90°에서 상기 기울기를 제산한 각도를 상기 에지 부분의 방향으로 설정하고, 상기 에지 부분에 위치한 화소값의 기울기가 0°이하이면 -90°에서 상기 기울기를 제산한 각도를 상기 에지 부분의 방향으로 설정하는 단계인 디인터레이싱 방법.
  14. 제 9 항에 있어서, 상기 화소값이 변화되는 방향을 감지하는 단계는
    상기 제 3 영역 내의 각 화소들의 방향값을 모두 산출하는 단계,
    상기 각 화소들의 방향값을 참조하여 상기 보간할 화소에 수평방향으로 인접하여 위치한 화소의 방향값을 추정하는 단계를 포함하여 이루어진 디인터레이싱 방법.
KR1019990026084A 1999-06-30 1999-06-30 디인터레이싱 장치 및 방법 KR100323663B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990026084A KR100323663B1 (ko) 1999-06-30 1999-06-30 디인터레이싱 장치 및 방법
US09/608,219 US6630961B1 (en) 1999-06-30 2000-06-30 Deinterlacing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990026084A KR100323663B1 (ko) 1999-06-30 1999-06-30 디인터레이싱 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20010005277A KR20010005277A (ko) 2001-01-15
KR100323663B1 true KR100323663B1 (ko) 2002-02-07

Family

ID=19598239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990026084A KR100323663B1 (ko) 1999-06-30 1999-06-30 디인터레이싱 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100323663B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100618792B1 (ko) * 1999-11-04 2006-09-06 삼성전자주식회사 연속하는 4개의 인터레이스 필드를 이용한 디인터레이스장치 및 방법
KR100927143B1 (ko) * 2002-11-27 2009-11-18 삼성전자주식회사 움직임 검출장치 및 방법
KR100568105B1 (ko) * 2003-10-02 2006-04-05 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법
CN102186045B (zh) * 2011-04-20 2015-03-25 广东威创视讯科技股份有限公司 去隔行处理的三场运动检测方法、装置以及去隔行系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920014265A (ko) * 1990-12-31 1992-07-30 이헌조 움직임 적응형 주사선 보간회로
JPH06311488A (ja) * 1992-07-03 1994-11-04 Mitsubishi Electric Corp 走査線変換装置
JPH0937214A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
JPH09130746A (ja) * 1995-11-02 1997-05-16 Sharp Corp 動き適応型走査線変換回路
JPH10108218A (ja) * 1996-09-30 1998-04-24 Hitachi Ltd 映像信号の走査変換回路
JPH1169313A (ja) * 1997-08-26 1999-03-09 Matsushita Electric Ind Co Ltd 順次走査変換回路
KR19990025248A (ko) * 1997-09-11 1999-04-06 구자홍 스캔 컨버터 회로
JPH11150708A (ja) * 1997-11-19 1999-06-02 Hitachi Ltd 走査変換回路

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920014265A (ko) * 1990-12-31 1992-07-30 이헌조 움직임 적응형 주사선 보간회로
JPH06311488A (ja) * 1992-07-03 1994-11-04 Mitsubishi Electric Corp 走査線変換装置
JPH0937214A (ja) * 1995-07-14 1997-02-07 Matsushita Electric Ind Co Ltd 順次走査変換方法及び順次走査変換装置
JPH09130746A (ja) * 1995-11-02 1997-05-16 Sharp Corp 動き適応型走査線変換回路
JPH10108218A (ja) * 1996-09-30 1998-04-24 Hitachi Ltd 映像信号の走査変換回路
JPH1169313A (ja) * 1997-08-26 1999-03-09 Matsushita Electric Ind Co Ltd 順次走査変換回路
KR19990025248A (ko) * 1997-09-11 1999-04-06 구자홍 스캔 컨버터 회로
JPH11150708A (ja) * 1997-11-19 1999-06-02 Hitachi Ltd 走査変換回路

Also Published As

Publication number Publication date
KR20010005277A (ko) 2001-01-15

Similar Documents

Publication Publication Date Title
US6630961B1 (en) Deinterlacing device and method
US6731342B2 (en) Deinterlacing apparatus and method using edge direction detection and pixel interplation
EP0677958B1 (en) Motion adaptive scan conversion using directional edge interpolation
US7206027B2 (en) Spatial resolution of video images
US6396543B1 (en) Deinterlacing apparatus of digital image data
EP1223748B1 (en) Motion detection in an interlaced video signal
KR100505663B1 (ko) 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
US6614485B2 (en) Deinterlacing apparatus
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
KR20040009967A (ko) 디인터레이싱장치 및 방법
JP2003179883A (ja) 待ち時間の短い飛び越しビデオフォーマットからプログレッシブビデオフォーマットへ変換する方法
KR100287850B1 (ko) 디티브이의 디인터레이싱 장치 및 그 방법
US7035481B2 (en) Apparatus and method for line interpolating of image signal
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
KR100323663B1 (ko) 디인터레이싱 장치 및 방법
KR100323662B1 (ko) 디인터레이싱 장치 및 방법
KR100323664B1 (ko) 디인터레이싱 장치
WO2003084206A2 (en) Upconversion with noise constrained diagonal enhancement
KR100631497B1 (ko) 디인터레이싱 방법 및 장치
US20080137750A1 (en) Motion adaptive image processing
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
KR100360882B1 (ko) 디인터레이싱 방법 및 장치
KR101509552B1 (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
JPH09224249A (ja) 動きベクトル検出装置
GB2444534A (en) Assessing the reliability of motion information in motion adaptive image processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080102

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee