KR20130066286A - 영상 처리 방법 - Google Patents

영상 처리 방법 Download PDF

Info

Publication number
KR20130066286A
KR20130066286A KR1020110133049A KR20110133049A KR20130066286A KR 20130066286 A KR20130066286 A KR 20130066286A KR 1020110133049 A KR1020110133049 A KR 1020110133049A KR 20110133049 A KR20110133049 A KR 20110133049A KR 20130066286 A KR20130066286 A KR 20130066286A
Authority
KR
South Korea
Prior art keywords
image
pixel
resolution
gray level
difference
Prior art date
Application number
KR1020110133049A
Other languages
English (en)
Other versions
KR101726683B1 (ko
Inventor
이정안
장준영
박철희
강문기
Original Assignee
삼성테크윈 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 연세대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020110133049A priority Critical patent/KR101726683B1/ko
Publication of KR20130066286A publication Critical patent/KR20130066286A/ko
Application granted granted Critical
Publication of KR101726683B1 publication Critical patent/KR101726683B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 방법이 개시된다. 이 방법은, 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법으로서, 단계 (a) 및 단계 (b)가 포함된다. 단계 (a)에서는, 영상 처리 소자는 입력 영상의 해상도를 높여서 설정 해상도 영상을 발생시킨다. 단계 (b)에서는, 영상 처리 소자는, 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정한다.

Description

영상 처리 방법{Method for processing image}
본 발명은, 영상 처리 방법에 관한 것으로서, 보다 상세하게는, 영상 처리 소자가 입력 영상의 해상도를 높이면서 입력 영상을 처리하는 영상 처리 방법에 관한 것이다.
영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법은 다양하게 이용된다.
촬영 장치 예를 들어, 적외선 열상 카메라의 경우, 고해상도의 센서들의 가격이 매우 비싸다. 따라서, 대부분의 적외선 열상 카메라는, 저해상도의 센서들을 사용하고, 입력 영상의 해상도를 높이면서 입력 영상을 처리한다.
이와 같은 영상 처리 방법과 관련된 선행 기술로는, 대한민국 특허출원 공개 제2009-0017356호(발명의 명칭 : 영상 확대 장치 및 방법, 출원인 : 삼성전자 주식회사)를 들 수 있다.
상기와 같은 선행 기술에 의하면, 입력 영상의 해상도를 높이면서 보간을 수행함에도 불구하고, 윤곽선(edge line) 영역이 부드럽게 연결되어 보이지 않고 계단처럼 연결되어 보이는 계단 현상이 여전히 나타난다. 또한, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 여전히 나타난다.
대한민국 특허출원 공개 제2009-0017356호 발명의 명칭 : 영상 확대 장치 및 방법 출원인 : 삼성전자 주식회사
본 발명의 실시예들은, 입력 영상의 해상도를 높이면서 나타나는 윤곽선(edge line) 영역에서의 계단 현상 및 흐림 현상을 최소화할 수 있는 영상 처리 방법을 제공하고자 한다.
본 발명의 제1 측면에 따르면, 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서, 단계 (a) 및 단계 (b)가 포함될 수 있다.
상기 단계 (a)에서는, 상기 영상 처리 소자는 상기 입력 영상의 해상도를 높여서 설정 해상도 영상을 발생시킨다.
상기 단계 (b)에서는, 상기 영상 처리 소자는, 상기 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정한다.
본 발명의 제2 측면에 따르면, 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서, 단계 (a) 내지 단계 (d)가 포함될 수 있다.
상기 단계 (a)에서는, 상기 영상 처리 소자는 상기 입력 영상의 해상도를 높여서 제1 영상을 발생시킨다.
상기 단계 (b)에서는, 상기 영상 처리 소자는, 상기 제1 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제2 영상을 발생시킨다.
상기 단계 (c)에서는, 상기 영상 처리 소자는, 상기 제1 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제1 영상의 계조와 상기 제2 영상의 계조를 가중치로써 합산하되, 이웃하는 상기 입력 영상의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제3 영상을 발생시킨다.
상기 단계 (d)에서는, 상기 영상 처리 소자는, 상기 제3 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제4 영상을 발생시킨다.
더 나아가, 단계 (e) 및 (f)가 추가적으로 더 포함될 수 있다.
상기 단계 (e)에서는, 상기 영상 처리 소자는, 상기 제4 영상의 평균 계조에 대한 각 화소 계조의 차이 값들을 분류하되, 제1 범위, 상기 제1 범위의 최대 값보다 큰 최소 값을 가진 제2 범위, 및 상기 제2 범위의 최대 값보다 큰 최소 값을 가진 제3 범위로써 분류한다.
상기 단계 (f)에서는, 상기 영상 처리 소자는, 상기 제4 영상의 선예도(sharpness)를 높이되, 상기 제2 범위에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 높게 적용한다.
본 발명의 제3 측면에 따르면, 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서, 단계 (a) 내지 단계 (d)가 포함될 수 있다.
상기 단계 (a)에서는, 상기 영상 처리 소자는 상기 입력 영상의 선예도(sharpness)가 높아진 제1 영상을 발생시킨다.
상기 단계 (b)에서는, 상기 영상 처리 소자는, 각각의 화소에 대하여, 상기 입력 영상의 계조와 상기 제1 영상의 계조를 가중치로써 합산하되, 한 화소의 분산 값이 높을수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제2 영상을 발생시킨다.
상기 단계 (c)에서는, 상기 영상 처리 소자는, 상기 제2 영상의 해상도를 높여서 제3 영상을 발생시킨다.
상기 단계 (d)에서는, 상기 영상 처리 소자는, 상기 제3 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제4 영상을 발생시킨다.
상기 단계 (e)에서는, 상기 영상 처리 소자는, 상기 제3 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제3 영상의 계조와 상기 제4 영상의 계조를 가중치로써 합산하되, 이웃하는 상기 입력 영상의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제3 영상의 계조에 높은 가중치를 부여하여, 제5 영상을 발생시킨다.
상기 단계 (f)에서는, 상기 영상 처리 소자는, 상기 제5 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제6 영상을 발생시킨다.
더 나아가, 단계 (h) 및 (i)가 추가적으로 더 포함될 수 있다.
상기 단계 (h)에서는, 상기 영상 처리 소자는, 상기 제6 영상의 평균 계조에 대한 각 화소 계조의 차이 값들을 분류하되, 제1 범위, 상기 제1 범위의 최대 차이 값보다 큰 최소 차이 값을 가진 제2 범위, 및 상기 제2 범위의 최대 차이 값보다 큰 최소 차이 값을 가진 제3 범위로써 분류한다.
상기 단계 (i)에서는, 상기 영상 처리 소자는, 상기 제6 영상의 선예도(sharpness)를 높이되, 상승 정도를 상기 제2 범위에 해당되는 화소들에 대하여 가장 크게 적용한다.
본 발명의 실시예들에 의하면, 해상도가 높아진 상기 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 본 발명의 실시예들에 의하면, 해상도가 높아진 상기 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 발명의 실시예들에 의하면, 입력 영상의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
더 나아가 추가적인 구성에 의한 효과들은 실시예들과 함께 상세히 설명될 것이다.
도 1은 본 발명의 실시예들의 영상 처리 방법이 적용된 촬영 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 실시예들의 영상 처리 방법의 적용 분야를 설명하기 위한 도면이다.
도 3은 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제1 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 4 내지 9는 도 3의 단계 S33을 상세히 설명하기 위한 도면들이다.
도 10은 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제2 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 11은 도 10의 단계 S104를 상세히 설명하기 위한 도면이다.
도 12는 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제3 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 13은 도 12의 단계 S1206 및 단계 S1207을 상세히 설명하기 위한 도면이다.
도 14는 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제4 실시예의 영상 처리 방법을 보여주는 흐름도이다.
도 15는 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제5 실시예의 영상 처리 방법을 보여주는 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하, 첨부된 도면들과 함께 본 발명에 따른 바람직한 실시예가 상세히 설명된다.
도 1은 본 발명의 실시예들의 영상 처리 방법이 적용된 촬영 장치의 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 실시예들의 영상 처리 방법이 적용된 촬영 장치는 기본적으로 광학계(11), 광전 변환부(12), 아날로그-디지털 변환부(ADC : Analog-to-Digital Converter, 13), 및 영상 처리부(14)를 포함한다.
렌즈부와 필터부를 포함한 광학계(11)는 피사체로부터의 빛을 광학적으로 처리한다.
광전 변환부(12)는 광학계(11)로부터의 빛을 전기적인 아날로그 영상 신호(Ian)로 변환시킨다. 여기에서, 광전 변환부(12)가 상대적으로 낮은 해상도의 영상을 발생시킨다고 가정한다.
아날로그-디지털 변환부(ADC : Analog-to-Digital Converter, 13)는, 광전 변환부(12)로부터의 아날로그 영상 신호(Ian)를 디지털 신호로 변환하면서 저해상도 입력 영상(Idi)을 발생시킨다. 도 1에서 (a x b)는 수평 화소 개수가 a이고 수직 화소 개수가 b인 저해상도를 가리킨다.
영상 처리부(14)는, 아날로그-디지털 변환부(ADC, 13)로부터의 저해상도 입력 영상(Idi)의 해상도를 높이면서 입력 영상(Idi)을 처리하여, 그 결과의 설정 해상도의 영상(Iou)을 출력한다. 도 1에서 (m x n)은 수평 화소 개수가 m이고 수직 화소 개수가 n인 설정 해상도를 가리킨다.
도 2는 본 발명의 실시예들의 영상 처리 방법의 적용 분야를 설명하기 위한 도면이다. 도 2에서 참조 부호 Idi는 저해상도 입력 영상을, 그리고 Iou는 설정-해상도 출력 영상을 각각 가리킨다. 또한, P11 내지 Pb는 저해상도의 회소들을, 그리고 P11 내지 Pmn은 설정 해상도의 화소들을 각각 가리킨다.
도 1 및 2를 참조하면, 아날로그-디지털 변환부(ADC, 13)로부터 영상 처리부(14)에 입력되는 입력 영상(Idi)은 수평 화소 개수가 a이고 수직 화소 개수가 b인 저해상도(a x b)의 영상이다.
또한, 영상 처리부(14)로부터 출력되는 설정-해상도 출력 영상(Iou)은 수평 화소 개수가 m이고 수직 화소 개수가 n인 설정 해상도(m x n)의 영상이다.
이하, 영상 처리부(14)가 저해상도 입력 영상(Idi)의 해상도를 높이면서 입력 영상(Idi)을 처리하여 설정 해상도의 영상(Iou)을 출력하는 본 발명의 실시예들의 영상 처리 방법이 설명된다.
도 3은 도 1의 영상 처리부(14)에 의하여 수행되는 본 발명의 제1 실시예의 영상 처리 방법을 보여준다. 도 1 내지 3을 참조하여, 영상 처리부(14)에 의하여 수행되는 본 발명의 제1 실시예의 영상 처리 방법을 설명하면 다음과 같다.
아날로그-디지털 변환부(ADC, 13)로부터 저해상도의 프레임 영상(Idi)이 영상 처리부(14)에 입력되면(단계 S31), 영상 처리부(14)는 입력 영상(Idi)의 해상도(a x b)를 높여서 설정 해상도(m x n) 영상을 발생시킨다(단계 S32).
다음에, 영상 처리부(14)는, 설정 해상도(m x n) 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정한다(단계 S33). 이 단계 S33에 대해서는 도 4 내지 9를 참조하여 상세히 설명될 것이다.
여기에서, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 발명의 실시예들에 의하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
다음에, 영상 처리부(14)는 처리된 결과의 영상(Iou)을 출력한다(단계 S34).
상기 모든 단계들은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S35).
도 4 내지 9는 도 3의 단계 S33을 상세히 설명하기 위한 도면들이다.
도 4에서 참조 부호 41은 설정 해상도 영상을, 411은 영상의 윤곽선(edge line)을, 412는 윤곽선 주위 영역을, 413은 윤곽선 방향을, 414는 선대칭 축을, 그리고 415는 선대칭 방향을 각각 가리킨다.
도 1, 3 및 4를 참조하면, 영상 처리부(14)는, 설정 해상도(m x n) 영상에서의 윤곽선(edge line) 주위 영역(412)의 각 화소에 대하여, 윤곽선 방향(413)에서의 인접 화소들과의 계조 차이가 적어지고, 윤곽선 방향(413)에 대한 선대칭 방향(415)에서의 인접 화소들과의 계조 차이가 커지도록 조정한다.
도 5에서 참조 부호 51,52는 설정 해상도 영상을, 512는 윤곽선 주위 영역을, 521은 각 화소에 대한 스캔 방향을, 523은 윤곽선 방향을, 525는 선대칭 방향을, 그리고 a,b,b',c,c'은 화소들을 각각 가리킨다.
도 1, 3 및 5를 참조하면, 영상 처리부(14)는, 설정 해상도(m x n) 영상에서의 윤곽선(edge line) 주위 영역(512)의 각 화소에 대하여, 윤곽선 방향(523)에서의 인접 화소들과의 계조 차이가 적어지고, 윤곽선 방향(523)에 대한 선대칭 방향(525)에서의 인접 화소들과의 계조 차이가 커지도록 조정한다.
해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역(512)의 각 화소에 대하여, 윤곽선 방향(523)에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역(512)의 각 화소에 대하여, 윤곽선 방향(523)에 대한 선대칭 방향(525)에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
도 6에서 참조 부호 61은 보정 전 확대-윤곽선을, 그리고 62는 보정 후 확대-윤곽선을 각각 가리킨다.
해상도가 높아진 설정 해상도 영상에서의 윤곽선(61)은 전체적으로 보았을 때 계단 현상의 문제점을 가지는 반면에, 확대하여 보면 도 6에 도시된 바와 같이 경사도가 낮아지는 상반적인 문제점도 가진다. 왜냐하면, 해상도가 높아지는 과정에서, 인접 화소들 사이의 보간에 의하여 새로운 화소들이 생성되기 때문이다.
따라서, 본 실시예의 경우, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정됨에 의하여, 확대하여 보면 도 6에 도시된 바와 같이 부분적인 경사도가 높아지게 보인다. 이로 인하여 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
도 7에서 참조 부호 71은 선대칭 축을, 그리고 a,b1,b2,c1 및 c2는 화소들을 가리킨다. 도 7에서, 윤곽선 영역 내의 어느 한 화소 a를 기준으로, b1<->b2 방향이 윤곽선 방향이고, c1<->c2 방향이 윤곽선 방향이라 간주한다.
본 실시예의 경우, 윤곽선 영역 내의 어느 한 화소 a에 대한 도 3의 단계 S33은 아래의 수학식 1에 의하여 수행된다.
Figure pat00001
상기 수학식 1에서, Ga'은 화소 a의 보정 후 계조를, Ga는 화소 a의 보정 전 계조를, Gb1은 화소 b1의 현재 계조를, Gb2는 화소 b2의 현재 계조를, Gc1은 화소 c1의 현재 계조를, 그리고 Gc2는 화소 c2의 현재 계조를 각각 가리킨다.
따라서, 각 화소에 대하여 스캔 방향(도 5의 521)으로 스캔하면서, 윤곽선 영역(도 5의 512) 내의 모든 화소에 대하여 상기 수학식 1을 적용하면, 도 3의 단계 S33이 수행될 수 있다
도 8에서 참조 부호 a81,a82,a83은 좌향 윤곽선 방향들을, 그리고 b81,b82,b83은 좌향 선대칭 방향들을 가리킨다.
도 9에서 참조 부호 a91,a92,a93은 우향 윤곽선 방향들을, 그리고 b91,b92,b93은 우향 선대칭 방향들을 가리킨다.
도 8 및 9를 참조하면, 윤곽선 영역(도 5의 512) 내의 모든 화소에 대하여 상기 수학식 1을 적용함에 있어서, 경우에 따라, 좌향 윤곽선 방향(a81,a82,a83) 및 좌향 선대칭 방향(b81,b82,b83)이 적용되거나, 우향 윤곽선 방향(a91,a92,a93) 및 우향 선대칭 방향(b91,b92,b93)이 적용될 수 있다.
물론, 경우에 따라, 좌향 윤곽선 방향(a81,a82,a83) 및 우향 선대칭 방향(b91,b92,b93)이 적용되거나, 우향 윤곽선 방향(a91,a92,a93) 및 좌향 선대칭 방향(b81,b82,b83)이 적용될 수도 있다.
이와 같이 상기 수학식 1의 적용을 위한 방향 설정은 영상 처리 시스템의 다양한 조건 및 환경 등에 따라 설정될 수 있다.
도 10은 도 1의 영상 처리부(14)에 의하여 수행되는 본 발명의 제2 실시예의 영상 처리 방법을 보여준다.
도 11은 도 10의 단계 S104를 상세히 설명하기 위한 도면이다. 도 11에서 참조 부호 P1,P3,P5,P7은 원래 화소들을, P2,P4,P6은 해상도를 높이기 위하여 생성된 추가 화소들을, Wdiff1은 제1 좌향 계조 차이를, Wdiff2는 제2 좌향 계조 차이를, Ediff1은 제1 우향 계조 차이를, 그리고 Ediff2는 제2 우향 계조 차이를 각각 가리킨다.
도 1, 10 및 11을 참조하여, 본 발명의 제2 실시예의 영상 처리 방법을 설명하면 다음과 같다.
아날로그-디지털 변환부(ADC, 13)로부터 저해상도의 프레임 영상(Idi)이 영상 처리부(14)에 입력되면(단계 S101), 영상 처리부(14)는 입력 영상(Idi)의 해상도(a x b)를 높여서 설정 해상도(m x n)의 제1 영상을 발생시킨다(단계 S102).
다음에, 영상 처리부(14)는, 제1 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제2 영상을 발생시킨다(단계 S103).
예를 들어, 제2 영상에서의 추가 화소를 P4, 좌향 인접 화소를 P3, 그리고 우향 인접 화소를 P5라 하면(도 11 참조), 제2 영상에서의 추가 화소 P4의 계조는 상기 3 화소들의 중간 값이 된다.
다음에, 영상 처리부(14)는, 상기 제1 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제1 영상의 계조와 상기 제2 영상의 계조를 가중치로써 합산하되, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제3 영상을 발생시킨다(단계 S104).
상기 단계 S104에서, 어느 한 화소에 대하여, 상기 제3 영상의 계조를 G3p, 이웃하는 상기 입력 영상의 화소 계조들의 차이에 비례한 가중값을 ω, 상기 제1 영상의 계조를 G1p, 그리고 상기 제2 영상의 계조를 G2p라 하면, 상기 제3 영상의 계조 G3p는 아래의 수학식 2에 의하여 구해진다.
Figure pat00002
여기에서, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 높다. 이와 반대로, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 적을수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 낮다. 그런데, 윤곽선(edge line) 영역이 아닌 평탄 영역일 경우, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 발생될 가능성이 높다.
이와 관련하여 상기 단계 S104에 의하면, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해상도 상승 후의 원래 계조가 많이 적용되고, 가중값 ω이 적을수록 해상도 상승 후의 중간(median) 계조가 많이 적용된다.
따라서, 이와 같이 구해진 상기 제3 영상에 의하면, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 최소화될 수 있다.
본 실시예에서 상기 가중값 ω의 관계식을 구하는 방법은 다음과 같다(도 11 참조).
먼저, 좌향 계조 차이들(Wdiff1, Wdiff2) 중에서 좌향 최대 차이(Wdiff)를 선택한다. 즉, 아래의 수학식 3을 사용한다.
Figure pat00003
이와 마찬가지로, 우향 계조 차이들(Ediff1, Ediff2) 중에서 우향 최대 차이(Ediff)를 선택한다. 즉, 아래의 수학식 4를 사용한다.
Figure pat00004
다음에, 상기 좌향 최대 차이(Wdiff)와 우향 최대 차이(Ediff) 중에서 적은 값을 대표 차이(Rdiff)로서 선택한다. 즉, 아래의 수학식 5를 사용한다.
Figure pat00005
여기에서, 인간의 시감에서 감지될 수 있는 최소한의 계조 차이를 32라 하면, 상기 가중값 ω의 정규화 이전 값 diff는 아래의 수학식 6을 사용하여 구해진다.
Figure pat00006
따라서, 정규화된 상기 가중값 ω는 아래의 수학식 7을 사용하여 구해진다.
Figure pat00007
물론, 아래의 수학식 8이 사용될 수도 있다.
Figure pat00008
P1,P3,P5,P7은 원래 화소들을, P2,P4,P6은 해상도를 높이기 위하여 생성된 추가 화소들을, Wdiff1은 제1 좌향 계조 차이를, Wdiff2는 제2 좌향 계조 차이를, Ediff1은 제1 우향 계조 차이를, 그리고 Ediff2는 제2 우향 계조 차이를 각각 가리킨다.
다음에, 영상 처리부(14)는, 상기 제3 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제4 영상을 발생시킨다(단계 S105).
상기 단계 S105는 도 3의 제1 실시예의 단계 S3에서 도 4 내지 9를 참조하여 위에서 상세히 설명되었다. 따라서, 상기 단계 S105에 의한 효과만을 재언하면 다음과 같다.
즉, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 발명의 실시예들에 의하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
다음에, 영상 처리부(14)는 처리된 결과의 영상(Iou)을 출력한다(단계 S106).
상기 모든 단계들은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S107).
도 12는 도 1의 영상 처리부(14)에 의하여 수행되는 본 발명의 제3 실시예의 영상 처리 방법을 보여준다.
도 13은 도 12의 단계 S1206 및 단계 S1207을 상세히 설명하기 위한 도면이다. 도 13에서 참조 부호 Dd는 계조 편차를, Rr은 선예도(sharpness) 상승 비율을, R1은 제1 범위를, R2는 제2 범위를, 그리고 R3은 제3 범위를 각각 가리킨다.
도 1, 12 및 13을 참조하여, 본 발명의 제3 실시예의 영상 처리 방법을 설명하면 다음과 같다.
아날로그-디지털 변환부(ADC, 13)로부터 저해상도의 프레임 영상(Idi)이 영상 처리부(14)에 입력되면(단계 S1201), 영상 처리부(14)는 입력 영상(Idi)의 해상도(a x b)를 높여서 설정 해상도(m x n)의 제1 영상을 발생시킨다(단계 S1202).
다음에, 영상 처리부(14)는, 제1 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제2 영상을 발생시킨다(단계 S1203). 이 단계 S1203은 도 10의 제2 실시예의 단계 S103에서 설명된 바와 같다.
다음에, 영상 처리부(14)는, 상기 제1 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제1 영상의 계조와 상기 제2 영상의 계조를 가중치로써 합산하되, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제3 영상을 발생시킨다(단계 S1204).
이 단계 S1204는 도 10의 제2 실시예의 단계 S104에서 상기 수학식 2 내지 8과 함께 상세히 설명된 바와 같다. 따라서, 상기 단계 S1204에 의한 효과만을 재언하면 다음과 같다.
이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 높다. 이와 반대로, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 적을수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 낮다. 그런데, 윤곽선(edge line) 영역이 아닌 평탄 영역일 경우, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 발생될 가능성이 높다.
이와 관련하여 상기 단계 S1204에 의하면, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해상도 상승 후의 원래 계조가 많이 적용되고, 가중값 ω이 적을수록 해상도 상승 후의 중간(median) 계조가 많이 적용된다.
따라서, 이와 같이 구해진 상기 제3 영상에 의하면, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 최소화될 수 있다.
다음에, 영상 처리부(14)는, 상기 제3 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제4 영상을 발생시킨다(단계 S1205).
상기 단계 S1205는 도 3의 제1 실시예의 단계 S3에서 도 4 내지 9를 참조하여 위에서 상세히 설명되었다. 따라서, 상기 단계 S1205에 의한 효과만을 재언하면 다음과 같다.
즉, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 발명의 실시예들에 의하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
다음에, 영상 처리부(14)는, 상기 제4 영상의 평균 계조에 대한 각 화소 계조의 차이 값들(도 13의 Dd)을 분류하되, 제1 범위(도 13의 R1), 상기 제1 범위의 최대 값보다 큰 최소 값을 가진 제2 범위(도 13의 R2), 및 상기 제2 범위의 최대 값보다 큰 최소 값을 가진 제3 범위(도 13의 R3)로써 분류한다(단계 S1206).
다음에, 영상 처리부(14)는, 상기 제4 영상의 선예도(도 13의 Rr)를 높이되, 상기 제2 범위(도 13의 R2)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 높게 적용한다(단계 S1207).
여기에서, 제1 범위(R1)에 해당되는 화소들은, 상기 제4 영상의 평균 계조에 대한 각 화소 계조의 차이 값들이 적으므로, 노이즈(noise)일 가능성이 높다. 따라서, 제1 범위(R1)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 낮게 설정함으로써, 노이즈(noise)의 영향력을 최소화할 수 있다.
또한, 제3 범위(R3)에 해당되는 화소들은, 상기 제4 영상의 평균 계조에 대한 각 화소 계조의 차이 값들이 크므로, 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 잠재력을 가진다. 따라서, 제3 범위(R3)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 낮게 설정함으로써, 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)을 최소화할 수 있다.
다음에, 영상 처리부(14)는 처리된 결과의 영상(Iou)을 출력한다(단계 S1208).
상기 모든 단계들은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S1209).
도 14는 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제4 실시예의 영상 처리 방법을 보여준다.
도 1 및 14를 참조하여, 본 발명의 제4 실시예의 영상 처리 방법을 설명하면 다음과 같다.
아날로그-디지털 변환부(ADC, 13)로부터 저해상도의 프레임 영상(Idi)이 영상 처리부(14)에 입력되면(단계 S1401), 영상 처리부(14)는 입력 영상(Idi)의 선예도(sharpness)가 높아진 제1 영상을 발생시킨다(단계 S1402).
다음에, 영상 처리부(14)는, 각각의 화소에 대하여, 입력 영상(Idi)의 계조와 상기 제1 영상의 계조를 가중치로써 합산하되, 한 화소의 분산 값이 높을수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제2 영상을 발생시킨다(단계 S1403).
상기 단계 S1403에서, 어느 한 화소에 대하여, 상기 제2 영상의 계조를 G2p, 입력 영상(Idi)의 계조를 Gip, 입력 영상(Idi)의 분산 값을 σ2 f, 입력 영상(Idi)의 기준 잡음-분산 값을 σ2 n, 그리고 제1 영상의 계조를 G1p라 하면, 상기 제2 영상의 어느 한 화소의 계조 G2p는 아래의 수학식 9에 의하여 계산된다.
Figure pat00009
상기 수학식 9에서, 극단적으로, 입력 영상(Idi)의 어느 한 화소의 분산 값(σ2 f)이 입력 영상(Idi)의 기준 잡음-분산 값(σ2 n)과 같을 정도로 적을 경우, 해당 화소는 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 최대 잠재력을 가진다. 따라서, 상기 제2 영상에서의 해당 화소의 계조(G2p)는 선예도(sharpness)가 높아지지 않은 입력 영상(Idi)의 계조와 같아진다.
이와 반대로, 입력 영상(Idi)의 어느 한 화소의 분산 값(σ2 f)이 입력 영상(Idi)의 기준 잡음-분산 값(σ2 n)보다 매우 클 경우, 해당 화소는 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 잠재력을 가지지 않는다. 따라서, 상기 제2 영상에서의 해당 화소의 계조(G2p)는 선예도(sharpness)가 높아진 제1 영상의 계조(G1p)와 가장 가까와진다.
따라서, 상기 단계들 S1402 및 S1403이 추가됨에 의하여, 입력 영상의 해상도를 높이기 전에 효과적으로 선예도(sharpness)가 높아질 수 있다.
다음에, 영상 처리부(14)는 상기 제2 영상의 해상도(a x b)를 높여서 설정 해상도(m x n)의 제3 영상을 발생시킨다(단계 S1404).
다음에, 영상 처리부(14)는, 제3 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제4 영상을 발생시킨다(단계 S1405). 이 단계 S1405는 도 10의 제2 실시예의 단계 S103에서 설명된 바와 같다.
다음에, 영상 처리부(14)는, 상기 제3 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제3 영상의 계조와 상기 제4 영상의 계조를 가중치로써 합산하되, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제3 영상의 계조에 높은 가중치를 부여하여, 제5 영상을 발생시킨다(단계 S1406).
이 단계 S1406은 도 10의 제2 실시예의 단계 S104에서 상기 수학식 2 내지 8과 함께 상세히 설명된 바와 같다. 따라서, 상기 단계 S1406에 의한 효과만을 재언하면 다음과 같다.
이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 높다. 이와 반대로, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 적을수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 낮다. 그런데, 윤곽선(edge line) 영역이 아닌 평탄 영역일 경우, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 발생될 가능성이 높다.
이와 관련하여 상기 단계 S1406에 의하면, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해상도 상승 후의 원래 계조가 많이 적용되고, 가중값 ω이 적을수록 해상도 상승 후의 중간(median) 계조가 많이 적용된다.
따라서, 이와 같이 구해진 상기 제5 영상에 의하면, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 최소화될 수 있다.
다음에, 영상 처리부(14)는, 상기 제5 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제6 영상을 발생시킨다(단계 S1407).
상기 단계 S1407은 도 3의 제1 실시예의 단계 S3에서 도 4 내지 9를 참조하여 위에서 상세히 설명되었다. 따라서, 상기 단계 S1407에 의한 효과만을 재언하면 다음과 같다.
즉, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 실시예에 의하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
다음에, 영상 처리부(14)는 처리된 결과의 영상(Iou)을 출력한다(단계 S1408).
상기 모든 단계들은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S1409).
도 15는 도 1의 영상 처리부에 의하여 수행되는 본 발명의 제5 실시예의 영상 처리 방법을 보여준다.
도 1 및 15를 참조하여, 본 발명의 제5 실시예의 영상 처리 방법을 설명하면 다음과 같다.
아날로그-디지털 변환부(ADC, 13)로부터 저해상도의 프레임 영상(Idi)이 영상 처리부(14)에 입력되면(단계 S1501), 영상 처리부(14)는 입력 영상(Idi)의 선예도(sharpness)가 높아진 제1 영상을 발생시킨다(단계 S1502).
다음에, 영상 처리부(14)는, 각각의 화소에 대하여, 입력 영상(Idi)의 계조와 상기 제1 영상의 계조를 가중치로써 합산하되, 한 화소의 분산 값이 높을수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제2 영상을 발생시킨다(단계 S1503).
상기 단계들 S1502 및 S1503에 대해서는 도 14의 단계들 S1402 및 S1403에서 수학식 9와 함께 상세히 설명되었다. 따라서 그 효과만을 재언하면 다음과 같다.
상기 수학식 9에서, 극단적으로, 입력 영상(Idi)의 어느 한 화소의 분산 값(σ2 f)이 입력 영상(Idi)의 기준 잡음-분산 값(σ2 n)과 같을 정도로 적을 경우, 해당 화소는 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 최대 잠재력을 가진다. 따라서, 상기 제2 영상에서의 해당 화소의 계조(G2p)는 선예도(sharpness)가 높아지지 않은 입력 영상(Idi)의 계조와 같아진다.
이와 반대로, 입력 영상(Idi)의 어느 한 화소의 분산 값(σ2 f)이 입력 영상(Idi)의 기준 잡음-분산 값(σ2 n)보다 매우 클 경우, 해당 화소는 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 잠재력을 가지지 않는다. 따라서, 상기 제2 영상에서의 해당 화소의 계조(G2p)는 선예도(sharpness)가 높아진 제1 영상의 계조(G1p)와 가장 가까와진다.
따라서, 상기 단계들 S1502 및 S1503이 추가됨에 의하여, 입력 영상의 해상도를 높이기 전에 효과적으로 선예도(sharpness)가 높아질 수 있다.
다음에, 영상 처리부(14)는 상기 제2 영상의 해상도(a x b)를 높여서 설정 해상도(m x n)의 제3 영상을 발생시킨다(단계 S1504).
다음에, 영상 처리부(14)는, 제3 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제4 영상을 발생시킨다(단계 S1505). 이 단계 S1505는 도 10의 제2 실시예의 단계 S103에서 설명된 바와 같다.
다음에, 영상 처리부(14)는, 상기 제3 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제3 영상의 계조와 상기 제4 영상의 계조를 가중치로써 합산하되, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제3 영상의 계조에 높은 가중치를 부여하여, 제5 영상을 발생시킨다(단계 S1506).
이 단계 S1506은 도 10의 제2 실시예의 단계 S104에서 상기 수학식 2 내지 8과 함께 상세히 설명된 바와 같다. 따라서, 상기 단계 S1506에 의한 효과만을 재언하면 다음과 같다.
이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 높다. 이와 반대로, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 적을수록 해당 추가 화소는 윤곽선(edge line) 영역에 속할 가능성이 낮다. 그런데, 윤곽선(edge line) 영역이 아닌 평탄 영역일 경우, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 발생될 가능성이 높다.
이와 관련하여 상기 단계 S1506에 의하면, 이웃하는 입력 영상(도 1의 Idi)의 화소 계조들의 차이에 비례한 가중값 ω이 클수록 해상도 상승 후의 원래 계조가 많이 적용되고, 가중값 ω이 적을수록 해상도 상승 후의 중간(median) 계조가 많이 적용된다.
따라서, 이와 같이 구해진 상기 제5 영상에 의하면, 해상도 상승에 의하여 순간적으로 보여지는 노이즈 현상인 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)이 최소화될 수 있다.
다음에, 영상 처리부(14)는, 상기 제5 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제6 영상을 발생시킨다(단계 S1507).
상기 단계 S1507은 도 3의 제1 실시예의 단계 S3에서 도 4 내지 9를 참조하여 위에서 상세히 설명되었다. 따라서, 상기 단계 S1507에 의한 효과만을 재언하면 다음과 같다.
해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정됨에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 실시예에 의하면, 입력 영상(Idi)의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
다음에, 영상 처리부(14)는, 상기 제6 영상의 평균 계조에 대한 각 화소 계조의 차이 값들(도 13의 Dd)을 분류하되, 제1 범위(도 13의 R1), 상기 제1 범위의 최대 값보다 큰 최소 값을 가진 제2 범위(도 13의 R2), 및 상기 제2 범위의 최대 값보다 큰 최소 값을 가진 제3 범위(도 13의 R3)로써 분류한다(단계 S1508).
다음에, 영상 처리부(14)는, 상기 제6 영상의 선예도(도 13의 Rr)를 높이되, 상기 제2 범위(도 13의 R2)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 높게 적용한다(단계 S1509).
여기에서, 제1 범위(R1)에 해당되는 화소들은, 상기 제6 영상의 평균 계조에 대한 각 화소 계조의 차이 값들이 적으므로, 노이즈(noise)일 가능성이 높다. 따라서, 제1 범위(R1)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 낮게 설정함으로써, 노이즈(noise)의 영향력을 최소화할 수 있다.
또한, 제3 범위(R3)에 해당되는 화소들은, 상기 제6 영상의 평균 계조에 대한 각 화소 계조의 차이 값들이 크므로, 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)의 잠재력을 가진다. 따라서, 제3 범위(R3)에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 낮게 설정함으로써, 오버-슈팅(over-shooting) 및 언더-슈팅(under-shooting)을 최소화할 수 있다.
다음에, 영상 처리부(14)는 처리된 결과의 영상(Iou)을 출력한다(단계 S1510).
상기 모든 단계들은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S1511).
이상 설명된 바와 같이, 본 발명의 실시예들에 의하면, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 부드럽게 연결되어 보일 수 있다. 즉, 윤곽선 영역이 계단처럼 연결되어 보이는 계단 현상이 최소화될 수 있다.
이와 동시에, 본 발명의 실시예들에 의하면, 해상도가 높아진 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정된다. 이에 따라, 윤곽선 영역이 보다 선명하게 보일 수 있다. 즉, 윤곽선 영역이 상대적으로 흐리게 보이는 현상이 최소화될 수 있다.
요약하면, 본 발명의 실시예들에 의하면, 입력 영상의 해상도를 높이면서 나타나는 윤곽선 영역에서의 계단 현상 및 흐림 현상이 최소화될 수 있다.
더 나아가 추가적인 구성에 의한 효과들은 실시예들과 함께 상세히 설명되었다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
입력 영상의 해상도를 높이지 않는 영상 처리 방법에도 이용될 가능성이 있다.
1 : 촬영 장치, 11 : 촬영 장치,
12 : 광전 변환부, 13 : 아날로그-디지털 변환부,
14 : 영상 처리부, Ian : 아날로그 영상 신호,
Idi : 저해상도 입력 영상, Iou : 설정-해상도 출력 영상,
P11 내지 Pb : 화소들, P11 내지 Pmn : 화소들,
41 : 설정 해상도 영상, 411 : 윤곽선(edge line),
412 : 윤곽선 주위 영역, 413 : 윤곽선 방향,
414 : 선대칭 축, 415 : 선대칭 방향,
51,52 : 설정 해상도 영상, 512 : 윤곽선 주위 영역,
521 : 스캔 방향, 523 : 윤곽선 방향,
525 : 선대칭 방향, a,b,b',c,c' : 화소들,
61 : 보정 전 확대-윤곽선, 62 : 보정 후 확대-윤곽선,
71 : 선대칭 축, a,b1,b2,c1,c2 : 화소들,
a81,a82,a83 : 좌향 윤곽선 방향, b81,b82,b83 : 좌향 선대칭 방향,
a91,a92,a93 : 우향 윤곽선 방향, b91,b92,b93 : 우향 선대칭 방향,
P1,P3,P5,P7 : 원래 화소들, P2,P4,P6 : 추가 화소들,
Wdiff1 : 제1 좌향 계조 차이, Wdiff2 : 제2 좌향 계조 차이,
Ediff1 : 제1 우향 계조 차이, Ediff2 : 제2 우향 계조 차이,
Dd : 계조 편차, Rr : 선예도 상승 비율,
R1 : 제1 범위, R2 : 제2 범위,
R3 : 제3 범위.

Claims (5)

  1. 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 해상도를 높여서 설정 해상도 영상을 발생시킴; 및
    (b) 상기 설정 해상도 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정함을 포함한 영상 처리 방법.
  2. 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 해상도를 높여서 제1 영상을 발생시킴;
    (b) 상기 제1 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제2 영상을 발생시킴;
    (c) 상기 제1 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제1 영상의 계조와 상기 제2 영상의 계조를 가중치로써 합산하되, 이웃하는 상기 입력 영상의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제3 영상을 발생시킴; 및
    (d) 상기 제3 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제4 영상을 발생시킴을 포함한 영상 처리 방법.
  3. 제2항에 있어서,
    (e) 상기 제4 영상의 평균 계조에 대한 각 화소 계조의 차이 값들을 분류하되, 제1 범위, 상기 제1 범위의 최대 값보다 큰 최소 값을 가진 제2 범위, 및 상기 제2 범위의 최대 값보다 큰 최소 값을 가진 제3 범위로써 분류하는 단계; 및
    (f) 상기 제4 영상의 선예도(sharpness)를 높이되, 상기 제2 범위에 해당되는 화소들에 대하여 선예도 상승 비율을 상대적으로 높게 적용하는 단계를 더 포함한 영상 처리 방법.
  4. 영상 처리 소자가 입력 영상의 해상도를 높이면서 상기 입력 영상을 처리하는 영상 처리 방법에 있어서,
    (a) 상기 입력 영상의 선예도(sharpness)가 높아진 제1 영상을 발생시킴;
    (b) 각각의 화소에 대하여, 상기 입력 영상의 계조와 상기 제1 영상의 계조를 가중치로써 합산하되, 한 화소의 분산 값이 높을수록 해당 화소에 대해서 상기 제1 영상의 계조에 높은 가중치를 부여하여, 제2 영상을 발생시킴;
    (c) 상기 제2 영상의 해상도를 높여서 제3 영상을 발생시킴;
    (d) 상기 제3 영상에서 추가되어 있는 화소들 각각의 계조를, 이웃하는 상기 입력 영상의 화소 계조들과의 중간 값으로 바꾸어, 제4 영상을 발생시킴;
    (e) 상기 제3 영상에서 추가되어 있는 화소들 각각에 대하여, 상기 제3 영상의 계조와 상기 제4 영상의 계조를 가중치로써 합산하되, 이웃하는 상기 입력 영상의 화소 계조들의 차이가 클수록 해당 화소에 대해서 상기 제3 영상의 계조에 높은 가중치를 부여하여, 제5 영상을 발생시킴;
    (f) 상기 제5 영상에서의 윤곽선(edge line) 주위 영역의 각 화소에 대하여, 윤곽선 방향에서의 인접 화소들과의 계조 차이가 적어지고, 상기 윤곽선 방향에 대한 선대칭 방향에서의 인접 화소들과의 계조 차이가 커지도록 조정하여, 제6 영상을 발생시킴을 포함한 영상 처리 방법.
  5. 제4항에 있어서,
    (h) 상기 제6 영상의 평균 계조에 대한 각 화소 계조의 차이 값들을 분류하되, 제1 범위, 상기 제1 범위의 최대 차이 값보다 큰 최소 차이 값을 가진 제2 범위, 및 상기 제2 범위의 최대 차이 값보다 큰 최소 차이 값을 가진 제3 범위로써 분류하는 단계; 및
    (i) 상기 제6 영상의 선예도(sharpness)를 높이되, 상승 정도를 상기 제2 범위에 해당되는 화소들에 대하여 가장 크게 적용하는 단계를 더 포함한 영상 처리 방법.
KR1020110133049A 2011-12-12 2011-12-12 영상 처리 방법 KR101726683B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133049A KR101726683B1 (ko) 2011-12-12 2011-12-12 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133049A KR101726683B1 (ko) 2011-12-12 2011-12-12 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20130066286A true KR20130066286A (ko) 2013-06-20
KR101726683B1 KR101726683B1 (ko) 2017-04-14

Family

ID=48862613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133049A KR101726683B1 (ko) 2011-12-12 2011-12-12 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101726683B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341334A (ja) * 1997-06-10 1998-12-22 Dainippon Screen Mfg Co Ltd 画像拡大方法及びその装置並びにプログラムを記録した記憶媒体
KR20050107284A (ko) * 2004-05-06 2005-11-11 삼성전자주식회사 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치
KR20090017356A (ko) 2007-08-14 2009-02-18 삼성전자주식회사 영상 확대 장치 및 방법
JP2010136036A (ja) * 2008-12-04 2010-06-17 Konica Minolta Business Technologies Inc 画像処理装置、画像変換方法、およびコンピュータプログラム
KR20110089666A (ko) * 2010-02-01 2011-08-09 삼성전자주식회사 화질 개선을 수반한 영상 확대 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341334A (ja) * 1997-06-10 1998-12-22 Dainippon Screen Mfg Co Ltd 画像拡大方法及びその装置並びにプログラムを記録した記憶媒体
KR20050107284A (ko) * 2004-05-06 2005-11-11 삼성전자주식회사 에지 선명화를 동반하는 비디오 이미지 보간 방법 및 장치
KR20090017356A (ko) 2007-08-14 2009-02-18 삼성전자주식회사 영상 확대 장치 및 방법
JP2010136036A (ja) * 2008-12-04 2010-06-17 Konica Minolta Business Technologies Inc 画像処理装置、画像変換方法、およびコンピュータプログラム
KR20110089666A (ko) * 2010-02-01 2011-08-09 삼성전자주식회사 화질 개선을 수반한 영상 확대 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
발명의 명칭 : 영상 확대 장치 및 방법
출원인 : 삼성전자 주식회사

Also Published As

Publication number Publication date
KR101726683B1 (ko) 2017-04-14

Similar Documents

Publication Publication Date Title
US8036457B2 (en) Image processing apparatus with noise reduction capabilities and a method for removing noise from a captured image
JP4990234B2 (ja) 測距装置、測距方法、測距プログラム又は撮像装置
US9100559B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel
US8565524B2 (en) Image processing apparatus, and image pickup apparatus using same
US20130093842A1 (en) Image-capturing device
EP2504992A2 (en) Image processing apparatus and method
KR102584523B1 (ko) 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP6157107B2 (ja) 後方カメラの画像歪曲補正装置及び方法
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
US10121271B2 (en) Image processing apparatus and image processing method
JP6613697B2 (ja) 画像処理装置、プログラムおよび記録媒体
KR20100040643A (ko) 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
WO2016165076A1 (en) Method and system for image enhancement
JP5996315B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
US10917590B2 (en) Imaging control device, imaging apparatus, and imaging control method
KR20130066286A (ko) 영상 처리 방법
JP2018191178A (ja) 画像処理装置、画像処理方法およびプログラム
JP2016119532A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP7134666B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6856999B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6494388B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019149719A (ja) 画像処理装置及び方法、及び撮像装置

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant