KR20060065765A - 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법 - Google Patents

에일리어싱을 방지하기 위한 영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR20060065765A
KR20060065765A KR1020040104168A KR20040104168A KR20060065765A KR 20060065765 A KR20060065765 A KR 20060065765A KR 1020040104168 A KR1020040104168 A KR 1020040104168A KR 20040104168 A KR20040104168 A KR 20040104168A KR 20060065765 A KR20060065765 A KR 20060065765A
Authority
KR
South Korea
Prior art keywords
area
aliasing
region
minimum
maximum
Prior art date
Application number
KR1020040104168A
Other languages
English (en)
Other versions
KR100698626B1 (ko
Inventor
김일도
김문철
최동범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040104168A priority Critical patent/KR100698626B1/ko
Priority to US11/270,659 priority patent/US20060125842A1/en
Priority to NL1030640A priority patent/NL1030640C2/nl
Publication of KR20060065765A publication Critical patent/KR20060065765A/ko
Application granted granted Critical
Publication of KR100698626B1 publication Critical patent/KR100698626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

에일리어싱을 방지하기 위한 영상 보간 장치 및 방법이 개시된다. 본 발명에 따른 에일리어싱을 방지하기 위한 영상 보간 장치는 n2배밀 R,G,B 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출하는 에일리어싱 발생영역 검출부 및 검출된 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원하는 안티-에일리어싱 수행부를 포함한다. 본 발명에 의하면, 에일리어싱이 발생하여 왜곡된 신호를 본래 피사체의 영상신호와 동일하게 복원할 수 있다. 따라서, 오버슈트, 언더슈트의 발생없이 영상의 고주파수 성분을 향상시킬 수 있으며, 칼라 에러를 줄이고, 영상의 컨트라스트를 향상시킬 수 있는 장점이 있다.
영상보간, 픽셀, CCD, 에일리어싱, 안티-에일리어싱

Description

에일리어싱을 방지하기 위한 영상 보간 장치 및 방법{The image interpolation device for preventing the aliasing and the method thereof}
도 1은 일본공개특허공보 평14-095001에 개시된 3CCD 픽셀 변환 광학장치의 개략도,
도 2는 적색광용 CCD와 청색광용 CCD의 픽셀 위치 및 녹색광용 CCD의 픽셀 위치를 도시한 도면,
도 3은 본 발명에 따른 영상보간장치의 구성을 도시한 블럭도,
도 4는 피사체의 영상신호와 3 CCD의 화면상의 각 픽셀을 도시한 도면,
도 5는 피사체의 영상신호가 도 4와 같은 경우에 각 CCD에 캡쳐되는 이미지를 도시한 도면,
도 6은 본 발명에 따른 영상 보간 방법의 설명에 제공되는 흐름도,
도 7a는 n2배밀 영상보간부에서 산출된 RGB 영상의 저주파 성분의 파형을 도시한 도면이며, 도 7b는 n2배밀 영상보간부에서 산출된 RGB 영상의 고주파 성분의 파형을 도시한 도면,
도 8은 도 6의 S640 단계를 상세히 표현한 흐름도,
도 9는 도 6의 S660 단계를 상세히 표현한 흐름도,
도 10은 도 7b에 도시된 RGB 영상의 고주파 성분에 대해 픽셀값 보정을 수행되는 과정을 도시한 도면, 그리고
도 11은 본 발명에 의한 안티-에일리어싱 수행결과, 최종적으로 출력되는 이미지 파형이다.
* 도면의 주요 부분에 대한 간단한 설명 *
300: 영상 보간 장치 310: n2배밀 영상보간부
320: 에일리어싱 발생영역 검출부 322: 크기 판단부
324: 부호 판단부 326: 에일리어싱 발생영역 판단부
330: 안티-에일리어싱 수행부 332: 영역 판단부
334: 미니멈 영역 보정부 336: 맥시멈 영역 보정부
본 발명은 영상 보간 장치 및 방법에 관한 것으로, 특히 에일리어싱이 발생한 영역을 검출하여, 검출된 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행함으로써 본래의 영상을 복원하기 위한 영상 보간 장치 및 방법에 관한 것이다.
영상신호는 통상적으로 적색(R), 녹색(G), 청색(B)의 빛의 3원색으로 표현되는 경우가 많고, 그 이외에도 휘도신호(Y), 2종류의 색차신호(R-Y),B-Y)로 표현되는 경우도 많다. RGB의 3원색은 통상 컴퓨터용 모니터의 입력신호가 되고, 휘도 및 색차는 TV계통의 기기에 있어서 디지털 부분의 입력형태가 된다.
이하에서는 종래의 3CCD 픽셀 변환 장치에 관한여 도 1을 참조하면서 설명한다. 도 1은 일본공개특허공보 평14-095001에 개시된 3CCD 픽셀 변환 광학장치의 개략도이다. 도 1에서, 3개의 CCD(Charge Coupled Device) 즉, 적색광용 CCD, 녹색광용 CCD, 청색광용 CCD는 광학적 파장 분리장치에서 출력된 R,G,B 영상을 전기적 신호로 변환시켜 출력한다. 3CCD 픽셀 변환 광학장치란 녹색광용 CCD를 적색광용 CCD 및 청색광용 CCD에 대해 각각 수직, 수평방향으로 1/2 픽셀 씩 시프트시켜 배열한 장치를 의미한다.
이러한 3CCD 픽셀 변환 광학장치에 의해 전기적 신호로 변환된 R,G,B 영상데이터를 도 2에 도시된 바와 같이 4배밀의 영상으로 보간할 경우, 아래의 식과 같이 저주파수 영상데이터를 보간하여 휘도값의 저주파수 성분(YL)과 색차신호((R-Y), (B-Y))를 산출한다.
GL(33)={2G(31)+2G(35)+2G(13)+2G(53)}/8
GL(43)={2G(31)+2G(51)+2G(35)+2G(55)+G(13)+G(73)+3G(33)+3G(53)}/16
GL(34)={2G(33)+2G(35)+G(13)+G(15)+G(53)+G(55)}/8
GL(44)={G(13)+7G(33)+7G(53)+G(73)+G(15)+7G(35)+7G(55)+G(75)}/32
BL(44)={2B(42)+2B(24)+2B(46)+2B(64)}/8
BL(34)={2B(22)+2B(42)+2B(26)+2B(46)+B(04)+B(64)+3B(24)+3B(44)}/16
BL(43)={2B(42)+2B(44)+B(22)+B(24)+B(62)+B(64)}/8
BL(33)={B(02)+7B(22)+7B(42)+B(62)+B(04)+7B(24)+7B(44)+B(64)}/32
RL(44)={2R(42)+2R(24)+2R(46)+2R(64)}/8
RL(34)={2R(22)+2R(42)+2R(26)+2R(46)+R(04)+R(64)+3R(24)+3R(44)}/16
RL(43)={2R(42)+2R(44)+R(22)+R(24)+R(62)+R(64)}/8
RL(33)={R(02)+7R(22)+7R(42)+R(62)+R(04)+7R(24)+7R(44)+R(64)}/32
YL = 0.71581875 GL + 0.2119125 RL + 0.0712875 BL
R-Y = RL - YL , B-Y = BL - YL
그 후, 아래의 식에 의하여 휘도값의 고주파 성분(YH)을 산출한다.
YH(33)={8G(33)-2G(31)-2G(35)-2G(13)-2G(53)}/8
YH(43)={2G(33)+2G(53)+2RB(42)+2RB(44)-G(31)-G(35)-G(51)-G(55)-RB(22)-RB(24)-RB(62)-RB(64)}/8
YH(34)={2G(33)+2G(35)+2RB(24)+2RB(44)-G(13)-G(15)-G(53)-G(55)-RB(22)-RB(26)-RB(42)-RB(46)}/8
YH(44)={8RB(44)-2RB(42)-2RB(46)-2RB(24)-2RB(64)}/8
Y = YL + YH
즉, 일본공개특허공보 평14-095001에 개시된 3CCD 픽셀 변환 장치는 저주파수 성분의 영상은 각각의 CCD 출력 데이터 자체를 영상보간하여 산출하고, 고주파수 성분의 영상은 각각의 CCD 출력 데이터 사이의 상관성(Correlation)을 이용하여 산출한다.
이와 같은 종래의 방식에서는 R,G,B가 휘도값에 동일한 영향을 주는 것으로 가정한 상태에서 휘도값의 고주파수 성분을 구하였는데, 이와 같은 방식에 의할 경우 영상의 노이즈가 증가되는 문제점이 있다. 또한, 고주파수 성분의 영상데이터를 저주파수 성분의 영상데이터에 그대로 합산하였기 때문에, 오버슈트, 언더슈트, 및 에지 영역에서 칼라 에러가 발생하는 문제점이 있다.
따라서, 본 발명의 목적은 안티-에일리어싱 방식의 영상보간법을 이용하여 오버슈트, 언더슈트가 없이 영상의 고주파 성분을 향상시키고, 영상의 콘트라스트를 향상시키기 위한 영상보간장치 및 방법을 제공하기 위함이다.
상기 목적을 달성하기 위한 본 발명에 따른 에일리어싱을 방지하기 위한 영상보간장치는 n2배밀 R,G,B 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출하는 에일리어싱 발생영역 검출부; 및 검출된 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원하는 안티-에일리어싱 수행부;를 포함하는 것이 바람직하다.
또한, 본 발명에 따른 에일리어싱을 방지하기 위한 영상보간장치는 영상감지장치에서 캡쳐된 영상을 n2배밀의 영상으로 보간하여 R,G,B 영상 각각의 고주파 성분(RH,GH,BH) 및 저주파 성분(RL,GL,BL )을 산출하는 n2배밀 영상보간부;를 더 포함하는 것이 바람직하다.
여기서, 에일리어싱 발생영역 검출부는, n2배밀 RGB 영상 각각의 고주파 성분(RH,GH,BH)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단하는 크기 판단부; n2배밀 RGB 영상의 고주파 성분(RH,GH,BH) 중에서 진폭의 크기가 더 큰 고주파 성분의 부호가 양(+)이면, 맥시멈 영역, 음(-)이면 미니멈 영역, 0이면 제로 영역으로 설정하는 부호 판단부; 및 맥시멈 영역과 미니멈 영역은 에일리어싱이 발생한 영역으로 판단하고, 제로영역은 에일리어싱이 발생하지 않은 영역으로 판단하는 에일리어싱 발생영역 판단부;를 포함하는 것이 바람직하다.
여기서, 안티-에일리어싱 수행부는, 검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단하는 영역 판단부; 미니멈 영역으로 판단된 소정 영역에 속하는 픽셀에 대해 안티-에일리어싱을 수행하는 미니멈 영역 보정부; 및 맥시멈 영역으로 판단된 소정 영역에 속하는 픽셀에 대해 안티-에일리어싱을 수행하는 맥시멈 영역 보정부;를 포함하는 것이 바람직하다.
여기서, 미니멈 영역 보정부는, 미니멈 영역에 속하는 소정 픽셀 및 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 미니멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 것이 바람직하다.
여기서, 맥시멈 영역 보정부는, 맥시멈 영역에 속하는 소정 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하여 제1 보정 픽셀값을 산출하고, 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 있는지 판단하여, 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우, 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 제1 보정 픽셀값에 합산하여 제2 보정 픽셀값을 산출하여, 제2 보정 픽셀값에 따라 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 것이 바람직하다.
본 발명에 따른 에일리어싱을 방지하기 위한 영상보간방법은 영상감지장치에서 캡쳐된 영상을 n2배밀의 영상으로 보간하여 R,G,B 영상 각각의 고주파 성분(RH,GH,BH) 및 저주파 성분(RL,GL,BL )을 산출하는 제1 단계; n2배밀 R,G,B 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출하는 제2 단계; 및 검출된 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원하는 제3 단계;를 포함하는 것이 바람직하다.
여기서, 제2 단계는, n2배밀 RGB 영상 각각의 고주파 성분(RH,GH,B H)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단하는 단계; 판단결과, n2배밀 RGB 영상의 고주파 성분(RH,GH,BH) 중에서 진폭의 크기가 더 큰 고주파 성분의 부호가 양(+)이면, 맥시멈 영역, 음(-)이면 미니멈 영역, 0이면 제로 영역으로 설정하는 단계; 및 맥시멈 영역과 미니멈 영역으로 설정된 영역에서는 에일리어싱이 발생한 것으로 판단하고, 제로영역에서는 에일리어싱이 발생하지 않은 것으로로 판단하는 단계;를 포함하는
여기서, 제3단계는, 검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단하는 단계; 판단결과, 에일리어싱 발생영역이 미니멈 영역인 경우, 미니멈 영역에 속하는 소정 픽셀 및 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 미니멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 단계;를 포함하는 것이 바람직하다.
한편, 판단결과, 에일리어싱 발생영역이 맥시멈 영역인 경우, 맥시멈 영역에 속하는 소정 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하여 제1 보정 픽셀값을 산출하는 단계; 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 존재하는지 판단하는 단계; 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우, 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 제1 보정 픽셀값에 합산하여 제2 보정 픽셀값을 산출하는 단계; 및 산출된 제2 보정 픽셀값에 따라 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 단계;를 더 포함하는 것이 바람직하다.
이하에서는 첨부된 예시도면을 참조하여 본 발명에 대해 설명한다.
도 3은 본 발명에 따른 영상 보간 장치의 구성을 도시한 블럭도이다. 도 3을 참조하면, 본 영상 보간 장치(300)는 n2배밀 영상보간부(310), 에일리어싱 발생영역 검출부(320), 및 안티-에일리어싱 수행부(330)를 포함한다.
n2배밀 영상보간부(310)는 CCD와 같은 영상감지장치에서 캡쳐된 영상을 n2배밀의 영상으로 보간(interpolation)하여 R,G,B 각각의 고주파 성분 및 저주파 성분을(RL,GL,BL,RH,GH,BH)을 산출한다. 이 때, n2배밀 영상보간부(310)는 서로 다른 CCD의 상관성(correlation)을 고려하지 않고, 각각의 CCD에서 인접한 픽셀의 데이터에 기초하여 보간을 수행함으로써, R,G,B 데이터를 산출한다. 영상보간법은 리니어 (Linear), 바이리니어(Bilinear), 큐빅(Cubic), 폴리페이즈(Polyphase) 등 종래의 영상보간법 중 어느 방법이 사용되어도 무방하다.
에일리어싱 발생영역 검출부(320)는 n2배밀 영상보간부(310)로부터 입력받은 n2배밀 RGB 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출한다.
에일리어싱 발생영역 검출부(320)는 크기 판단부(322), 부호 판단부(324), 및 에일리어싱 발생영역 판단부(326)를 포함한다. 크기 판단부(322)는 n2배밀 영상 보간부(310)로부터 입력받은 n2배밀 RGB 영상 각각의 고주파 성분(RH,GH, BH)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단한다. 부호 판단부(324)는 진폭의 크기가 큰 고주파 성분의 부호를 판단하여, 진폭의 크기가 큰 고주파 성분의 부호가 양(+)이면, 맥시멈 영역, 음(-)이면 미니멈 영역, 0이면 제로 영역으로 설정한다. 에일리어싱 발생영역 판단부(326)는 맥시멈 영역과 미니멈 영역은 에일리어싱이 발생한 영역으로 판단하고, 제로영역은 에일리어싱이 발생하지 않은 영역으로 판단한다.
안티-에일리어싱 수행부(330)는 에일리어싱 발생영역 검출부(320)에서 검출된 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원한다.
안티-에일리어싱 수행부(330)는 영역 판단부(332), 미니멈 영역 보정부 (334), 맥시멈 영역 보정부(336)를 포함한다. 영역 판단부(332)는 검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단한다. 미니멈 영역 보정부(334)는 미니멈 영역에 속하는 픽셀 및 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 미니멈 영역에 속하는 픽셀값을 보정함으로써 안티-에일리어싱을 수행한다. 맥시멈 영역 보정부(336)는 두 단계에 걸쳐 픽셀값 보정을 수행한다. 제1 단계에서, 맥시멈 영역 보정부(336)는 맥시멈 영역에 속하는 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 픽셀값을 보정한다. 제2 단계에서, 맥시멈 영역 보정부(336)는 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 있는지 판단하여, 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우, 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 제1 단계에서 보정된 픽셀값에 합산하여 안티-에일리어싱을 수행한다
도 4는 피사체의 영상신호와 3 CCD의 화면상의 각 픽셀을 도시한 도면이다. 도 4에서 참조부호 ① 내지 ⑨는 2배밀 영상 즉, 수평방향으로 구분된 픽셀의 번호를 나타낸다. 또한, 참조부호 ㉠은 적색광용 CCD 화면상의 각 픽셀 및 청색광용 CCD 화면상의 각 픽셀, ㉡은 녹색광용 CCD 화면상의 각 픽셀, ㉢은 피사체의 영상신호(Object Image Signal)를 의미한다. 도면에 도시된 바와 같이, 녹색광용 CCD 화면상의 각 픽셀(㉡)은 적색광용 CCD 및 청색광용 CCD 화면상의 각 픽셀(㉠)에 대해 1/n 픽셀만큼 시프트되어 있다. 본 실시예에서 n=2이다.
도 5는 피사체의 영상신호가 도 4와 같은 경우에 각 CCD에 캡쳐되는 이미지를 도시한 도면이다. 도 5를 참조하면, 피사체의 영상신호(㉢)가 도 4에서와 같을 때, 적색광용 CCD와 청색광용 CCD의 화면상의 각 픽셀(㉠), 및 녹색광용 CCD의 화면상의 각 픽셀(㉡)에서는 도 5에 도시된 바와 같은 이미지가 결상된다. 적색광용 CCD와 청색광용 CCD의 화면상의 각 픽셀(㉠)에는 피사체 영상신호의 주파수가 샘플링 주파수보다 커서 두 픽셀에 걸쳐 이미지가 결상되므로, 낮은 진폭의 신호가 출력된다. 녹색광용 CCD(㉡)에서는 한 픽셀에 걸쳐 이미지가 결상되므로, 높은 진폭의 신호가 출력된다.
도 6은 본 발명에 따른 영상 보간 방법의 설명에 제공되는 흐름도이다. 도 3 및 도 6을 참조하면, 먼저, n2배밀 영상보간부(310)는 영상감지장치에서 캡쳐된 피사체의 이미지로부터 n2배밀 영상의 고주파 성분 및 저주파 성분을 산출한다(S610).
즉, n2배밀 영상보간부(310)는 각각의 CCD로부터 도 5에 도시된 바와 같은 이미지를 입력받아, 일반적인 영상보간을 수행하여 RGB 영상 각각의 고주파 성분(RH, GH, BH)과 저주파 성분(RL, GL, BL )을 산출한다. 본 실시예에서는 설명의 편의를 위하여 n2=4로 가정한다. 도 7a는 n2배밀 영상보간부에서 산출된 RGB 영상의 저주파 성분의 파형을 도시한 도면이며, 도 7b는 n2배밀 영상보간부에서 산출된 RGB 영상의 고주파 성분의 파형을 도시한 도면이다. 도 7a 및 7b에서 RH 신호와 BB 신호의 크기는 동일한 것으로 도시되었으나, 일반적으로 실제 신호의 크기는 다르다.
에일리어싱 발생영역 검출부(320)는 n2배밀 영상보간부(310)로부터 입력받은 n2배밀 RGB 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출한다(S620). 즉, 에일리어싱 발생영역 검출부(320)는 수평, 수직방향으로 각각 2배밀의 영상 즉, 4배밀 RGB 영상의 고주파수 성분을 분석하여, 각 픽셀별로 제로 영역, 미니멈 영역, 맥시멈 영역을 설정한다.
도 8은 도 6의 S640 단계를 상세히 표현한 흐름도이다. 이하에서는 설명의 편의를 위하여 수평방향으로의 2배밀 영상을 기준으로 설명한다. 도 8을 참조하면, 에일리어싱 발생영역 검출부(320) 내의 크기 판단부(322)는 도 7b에 도시된 n2배밀 RGB 영상의 고주파 성분(RH,GH,BH)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단한다(S642).
진폭의 크기가 큰 고주파 성분이 판단되면, 부호 판단부(324)는 상기 고주파 성분의 부호를 판단한다(S644). 판단결과, 진폭의 크기가 큰 고주파 성분의 부호가 양(+)이면(S646), 맥시멈 영역(S647), 음(-)이면(S646) 미니멈 영역(S649), 0이면 제로 영역(S648)으로 설정한다.
에일리어싱 발생영역 판단부(326)는 맥시멈 영역과 미니멈 영역은 에일리어싱이 발생한 영역으로 판단하고(S650), 제로영역은 에일리어싱이 발생하지 않은 영역으로 판단한다(S652).
도 7b에서, RH 신호, BB 신호 및 GH 신호의 절대 진폭을 비교하면, ①번, ⑧번, ⑨번 픽셀에서는 각 신호의 고주파수 성분이 모두 0이고, ②번, ⑦번 픽셀에서는 RH 신호 및 BB 신호의 절대 진폭이 더 크며, ③번, ④번, ⑤번, ⑥번 픽셀에서는 GH 신호의 절대 진폭이 더 크다. 여기서, 각 신호의 고주파 성분이 모두 0인 경우 제로 영역으로, 진폭의 절대치가 큰 신호의 부호가 음(-)이면 미니멈 영역으로, 양(+)이면 맥시멈 영역으로 설정한다. 즉, 도 7b에서, ①번, ⑧번, ⑨번 픽셀은 제로 영역, ②번 픽셀은 미니멈 영역, ③번 픽셀은 미니멈 영역, ④번 픽셀은 맥시멈 영역, ⑤번 픽셀은 맥시멈 영역, ⑥번 픽셀은 미니멈 영역, ⑦번 픽셀은 미니멈 영역 으로 각각 설정된다. 이를 수식으로 표현하면 아래의 수학식과 같다.
D=Max(Abs(BH&RH), Abs(GH));
if (D==Abs(BH&RH))
{
if (BH&RH < 0)
Range = Minimum;
if (BH&RH > 0)
Range = Maximum;
else if ((BH&RH > 0)
Range = Zero;
}
if (D==Abs(GH))
{
if (GH<0)
Range = Minimum;
else if (GH>0)
Range = Maximum;
else
Range = Zero;
}
수학식 1에서, Max는 최대값을 산출하기 위한 함수, Abs는 절대값을 산출하는 함수를 의미한다.
S640 단계에서, 에일리어싱 발생영역이 검출되면, 안티-에일리어싱 수행부 (330)는 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원한다(S660).
도 9는 도 6의 S660 단계를 상세히 표현한 흐름도이다. 도 9를 참조하여 이에 대해 좀 더 상세히 살펴보면, 먼저, 영역 판단부(332)는 검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단한다(S662).
즉, S662 단계에서 판단결과, 에일리어싱 발생영역이 미니멈 영역인 경우(S664), 미니멈 영역 보정부(334)는 미니멈 영역에 속하는 픽셀 및 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 미니멈 영역에 속하는 픽셀값을 보정함으로써 안티-에일리어싱을 수행한다. 여기서, 최소값은 절대치가 가장 작은 값을 의미한다.
도 10은 도 7b에 도시된 RGB 영상의 고주파 성분에 대해 픽셀값 보정을 수행되는 과정을 도시한 도면이다. 도 10을 참조하면, 도 7b에서 미니멈 영역으로 판단된 RH 및 BH의 ②번 픽셀에 대해 안티-에일리어싱을 수행하면, RH 및 B H의 ②번 픽셀 값은 ①, ②, ③번 픽셀 중 미니멈 값인 ①번 픽셀의 값으로 보정된다..
한편, 에일리어싱 발생영역이 맥시멈 영역인 경우(S667), 맥시멈 영역 보정부(336)는 맥시멈 영역에 속하는 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 픽셀값을 보정한다(S670).
그 후, 맥시멈 영역 보정부(336)는 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 있는지 판단한다(S672). 판단결과, 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우(S674), 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 S670 단계에서 보정된 픽셀값에 합산하여 안티-에일리어싱을 수행한다(S676).
도 10을 참조하여 설명하면, 도 7b에서 RH 및 BH의 ④번 픽셀에 대해 안티-에일리어싱을 수행하는 경우, ㉠ 데이터의 ③번, ④번, ⑤번 픽셀 중 최대값을 ④번 픽셀값으로 보정한다. 이어서, ③번, ④번, ⑤번 픽셀 중 ③번 픽셀에 미니멈 영역이 존재하므로, ③번 픽셀의 본래 픽셀값과 보정된 픽셀값과의 차인 ⓒ를 보정된 ④번 픽셀값에 합산하게 된다.
도 11은 본 발명에 의한 안티-에일리어싱 수행결과, 최종적으로 출력되는 이미지 파형이다. 도 11을 참조하면, 위에서 설명한 바와 같은 방식으로, 에일리어싱이 발생한 영상을 본래의 피사체의 영상신호와 동일하게 복원해 줌으로써, 오버슈트, 언더슈트의 발생없이 고주파수 성분의 영상을 향상시킬 수 있게 된다.
이상에서 설명한 바와 같이, 본 발명에 의하면, 에일리어싱이 발생하여 왜곡된 신호를 본래 피사체의 영상신호와 동일하게 복원할 수 있다. 따라서, 오버슈트, 언더슈트의 발생없이 영상의 고주파수 성분을 향상시킬 수 있으며, 칼라 에러를 줄이고, 영상의 컨트라스트를 향상시킬 수 있는 장점이 있다.
이상에서는 본 발명의 바람직한 실시예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게된다.

Claims (10)

  1. n2배밀 R,G,B 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출하는 에일리어싱 발생영역 검출부; 및
    검출된 상기 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원하는 안티-에일리어싱 수행부;를 포함하는 것을 특징으로 하는 영상보간장치.
  2. 제1항에 있어서,
    영상감지장치에서 캡쳐된 영상을 n2배밀의 영상으로 보간하여 R,G,B 영상 각 각의 고주파 성분(RH,GH,BH) 및 저주파 성분(RL,GL ,BL)을 산출하는 n2배밀 영상보간부;를 더 포함하는 것을 특징으로 하는 영상보간장치.
  3. 제1항에 있어서, 상기 에일리어싱 발생영역 검출부는,
    n2배밀 RGB 영상 각각의 고주파 성분(RH,GH,BH)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단하는 크기 판단부;
    상기 n2배밀 RGB 영상의 고주파 성분(RH,GH,BH) 중에서 진폭의 크기가 더 큰 고주파 성분의 부호가 양(+)이면, 맥시멈 영역, 음(-)이면 미니멈 영역, 0이면 제로 영역으로 설정하는 부호 판단부; 및
    상기 맥시멈 영역과 상기 미니멈 영역은 에일리어싱이 발생한 영역으로 판단하고, 상기 제로영역은 에일리어싱이 발생하지 않은 영역으로 판단하는 에일리어싱 발생영역 판단부;를 포함하는 것을 특징으로 하는 영상보간장치.
  4. 제1항에 있어서, 상기 안티-에일리어싱 수행부는,
    검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단하는 영역 판단부;
    상기 미니멈 영역으로 판단된 소정 영역에 속하는 픽셀에 대해 안티-에일리어싱을 수행하는 미니멈 영역 보정부; 및
    상기 맥시멈 영역으로 판단된 소정 영역에 속하는 픽셀에 대해 안티-에일리어싱을 수행하는 맥시멈 영역 보정부;를 포함하는 것을 특징으로 하는 영상보간장치.
  5. 제4항에 있어서, 상기 미니멈 영역 보정부는,
    상기 미니멈 영역에 속하는 소정 픽셀 및 상기 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 상기 미니멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 것을 특징으로 하는 영상보간장치.
  6. 제4항에 있어서, 상기 맥시멈 영역 보정부는,
    상기 맥시멈 영역에 속하는 소정 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하여 제1 보정 픽셀값을 산출하고, 상기 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 있는지 판단하여, 상기 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우, 상기 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 제1 보정 픽셀값에 합산하여 제2 보정 픽셀값을 산출하여, 상기 제2 보정 픽셀값에 따라 상기 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 것을 특징으로 하는 영상보간장치.
  7. 영상감지장치에서 캡쳐된 영상을 n2배밀의 영상으로 보간하여 R,G,B 영상 각각의 고주파 성분(RH,GH,BH) 및 저주파 성분(RL,GL ,BL)을 산출하는 제1 단계;
    상기 n2배밀 R,G,B 영상의 고주파 성분(RH,GH,BH)의 크기와 부호에 기초하여 에일리어싱이 발생하는 영역을 검출하는 제2 단계; 및
    검출된 상기 에일리어싱 발생영역에 대해 안티-에일리어싱을 수행하여 에일리어싱된 영상을 복원하는 제3 단계;를 포함하는 것을 특징으로 하는 영상보간방법.
  8. 제7항에 있어서, 상기 제2 단계는,
    n2배밀 RGB 영상 각각의 고주파 성분(RH,GH,BH)의 진폭 크기를 비교하여, 진폭의 크기가 더 큰 고주파 성분을 판단하는 단계;
    판단결과, 상기 n2배밀 RGB 영상의 고주파 성분(RH,GH,BH) 중에서 진폭의 크기가 더 큰 고주파 성분의 부호가 양(+)이면, 맥시멈 영역, 음(-)이면 미니멈 영역, 0이면 제로 영역으로 설정하는 단계; 및
    상기 맥시멈 영역과 상기 미니멈 영역으로 설정된 영역에서는 에일리어싱이 발생한 것으로 판단하고, 상기 제로영역에서는 에일리어싱이 발생하지 않은 것으로로 판단하는 단계;를 포함하는 것을 특징으로 하는 영상보간방법.
  9. 제7항에 있어서, 상기 제3단계는,
    검출된 에일리어싱 발생영역이 미니멈 영역과 맥시멈 영역 중 어느 영역에 속하는지 판단하는 단계;
    판단결과, 상기 에일리어싱 발생영역이 상기 미니멈 영역인 경우, 상기 미니멈 영역에 속하는 소정 픽셀 및 상기 미니멈 영역 주변 픽셀들의 픽셀값 중 최소값을 갖는 값으로 상기 미니멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하는 단계;를 포함하는 것을 특징으로 하는 영상보간방법.
  10. 제9항에 있어서,
    판단결과, 상기 에일리어싱 발생영역이 상기 맥시멈 영역인 경우, 상기 맥시멈 영역에 속하는 소정 픽셀 및 맥시멈 영역 주변 픽셀들의 픽셀값 중 최대값을 갖는 값으로 맥시멈 영역에 속하는 소정 픽셀의 픽셀값을 보정하여 제1 보정 픽셀값을 산출하는 단계;
    상기 맥시멈 영역 주변의 픽셀 영역 중에 미니멈 영역이 존재하는지 판단하는 단계;
    상기 맥시멈 영역 주변의 픽셀 영역 중 미니멈 영역이 존재하는 경우, 상기 미니멈 영역에 속한 픽셀의 본래 픽셀값과 미니멈 영역에 속한 픽셀의 보정된 픽셀값의 차이를 제1 보정 픽셀값에 합산하여 제2 보정 픽셀값을 산출하는 단계; 및
    산출된 제2 보정 픽셀값에 따라 상기 맥시멈 영역에 속하는 소정 픽셀의 픽 셀값을 보정하는 단계;를 더 포함하는 것을 특징으로 하는 영상보간방법.
KR1020040104168A 2004-12-10 2004-12-10 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법 KR100698626B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020040104168A KR100698626B1 (ko) 2004-12-10 2004-12-10 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법
US11/270,659 US20060125842A1 (en) 2004-12-10 2005-11-10 Image interpolation device and method of preventing aliasing
NL1030640A NL1030640C2 (nl) 2004-12-10 2005-12-09 Beeldinterpolatie-inrichting en werkwijze voor het verhinderen van aliasing.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040104168A KR100698626B1 (ko) 2004-12-10 2004-12-10 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060065765A true KR20060065765A (ko) 2006-06-14
KR100698626B1 KR100698626B1 (ko) 2007-03-21

Family

ID=36583258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040104168A KR100698626B1 (ko) 2004-12-10 2004-12-10 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법

Country Status (3)

Country Link
US (1) US20060125842A1 (ko)
KR (1) KR100698626B1 (ko)
NL (1) NL1030640C2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4683343B2 (ja) * 2007-12-27 2011-05-18 株式会社 日立ディスプレイズ 色信号生成装置
JP6160448B2 (ja) * 2013-11-05 2017-07-12 ソニー株式会社 撮像装置および撮像装置の制御方法
JP6575098B2 (ja) * 2015-03-24 2019-09-18 ソニー株式会社 撮像装置とその製造方法
CN111145114B (zh) * 2019-12-19 2022-03-25 腾讯科技（深圳）有限公司 一种图像增强的方法、装置及计算机可读存储介质
EP4254316A1 (en) 2021-05-24 2023-10-04 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
JP4662584B2 (ja) 1998-01-27 2011-03-30 イーストマン コダック カンパニー 画像センサのライン毎ノイズ除去装置及び方法
EP0984397B1 (de) * 1998-08-30 2005-03-02 Gmd - Forschungszentrum Informationstechnik Gmbh Verfahren und Vorrichtung zum Eliminieren unerwünschter Stufungen an Kanten bei Bilddarstellungen im Zeilenraster
JP4158280B2 (ja) * 1999-06-04 2008-10-01 ソニー株式会社 画像処理装置およびその方法
US6791609B2 (en) * 1999-12-20 2004-09-14 Texas Instruments Incorporated Digital still camera system and method
US6975354B2 (en) * 2000-06-29 2005-12-13 Texas Instruments Incorporated Digital still camera color filter array interpolation system and method
JP2002027487A (ja) 2000-07-06 2002-01-25 Norihiko Fukinuki ベイヤ型色配置されたカラー画像情報からの画像再生方式
JP3893099B2 (ja) 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
SG115540A1 (en) * 2003-05-17 2005-10-28 St Microelectronics Asia An edge enhancement process and system
JP2005100177A (ja) * 2003-09-25 2005-04-14 Sony Corp 画像処理装置およびその方法

Also Published As

Publication number Publication date
KR100698626B1 (ko) 2007-03-21
NL1030640A1 (nl) 2006-06-13
NL1030640C2 (nl) 2008-07-08
US20060125842A1 (en) 2006-06-15

Similar Documents

Publication Publication Date Title
USRE47062E1 (en) Image processing apparatus and method for generating a restoration image
JP4144630B2 (ja) 撮像装置
JP4054184B2 (ja) 欠陥画素補正装置
US6563537B1 (en) Image signal interpolation
JP4385282B2 (ja) 画像処理装置および画像処理方法
JP2931520B2 (ja) 単板式カラービデオカメラの色分離回路
JP4154661B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7366347B2 (en) Edge detecting method
JP4946581B2 (ja) 画像処理装置
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4985584B2 (ja) 撮像装置及び映像信号処理方法
US20070047832A1 (en) Image signal processor and image signal processing method
JP4668185B2 (ja) 画像処理方法
US7982787B2 (en) Image apparatus and method and program for producing interpolation signal
JP2000165893A (ja) 画像処理装置
JP3771054B2 (ja) 画像処理装置及び画像処理方法
KR100765751B1 (ko) 비월 주사 방식의 ｃｍｙｇ 컬러 포맷의 컬러 보간 방법 및그 장치
US20030160875A1 (en) Image processing device
KR20040066051A (ko) 가중 그래디언트 기반 및 컬러 수정 보간
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20020140828A1 (en) Signal processing apparatus and method
US20150206280A1 (en) Image processing apparatus, image processing method, and program
KR100698626B1 (ko) 에일리어싱을 방지하기 위한 영상 보간 장치 및 방법
JPH1169144A (ja) 画像信号の変換装置および変換方法
JP2658625B2 (ja) 補間信号生成回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee