KR100560027B1 - 압축 에지 적응형 비디오 및 화상의 샤프닝 및 스캐일링 - Google Patents

Abstract

일 실시예에서, 일 방법은 샤프닝되지 않은 화상에서 에지 화소를 검출하는 단계를 포함한다. 에지 화소는 샤프닝되어 샤프닝된 화상을 형성한다. 부가적으로, 샤프닝된 화상의 영역이 선택되어 그 영역이 그 에지 화소를 포함하도록 한다. 샤프닝된 화상의 영역은 샤프닝되지 않은 화상의 대응되는 영역과 비교되어, 차이값을 생성한다. 그 후에 그 차이값이 처리되어 최종 화상을 형성한다.

다이나믹 샤프닝, 소벨 샤프닝 필터, 중간 필터링, 압축 및 시스템 노이즈, 에지맵

Description

압축 에지 적응형 비디오 및 화상의 샤프닝 및 스캐일링{COMPRESSION EDGE ADAPTIVE VIDEO AND IMAGE SHARPENING AND SCALING}

본 발명은 화상 및 비디오 프로세싱에 관한 것이며, 보다 구체적으로는, 화상 또는 비디오 프레임의 적응형 샤프닝(sharpening)에 관한 것이다.

압축 비디오를 사용하여 디스플레이하는 어플리케이션은, 종종 비디오 또는 화상이 전송되는, 제한된 대역폭을 제공하는, 보통의 전화선(즉, POTS ; Plain Old Telephone Service) 또는 종합정보통신망(ISDN)과 같은 통신 파이프라인을 통해 전송하기 위한 비디오를 준비하여야만 한다. 특히, 화상은 비디오 프레임 스트림안에 정지 화상 또는 비디오 프레임 모두를 포함하도록 규정된다. 대역폭에 대한 이러한 제한은 기술 알고리즘의 상태로 압축된 비디오에 대하여 질적 상한을 부과한다. 일반적으로, 비디오 또는 화상 데이터의 압축은 손실이 많은(lossy) 프로세스이며, 비디오 또는 화상 데이터 압축의 결말(consequence)은 다른 경우라면 존재하지 않는 압축의 결과로서 화상에 도입된 산물인 압축 아티팩트(artifact)의 표현이다. 게다가, 압축을 하게 되면 세부적인 면에서 화상이 전반적으로 손실되게 된다. 이러한 제한에도 불구하고, 어플리케이션 사용자들은 통상, 세부적인 장면을 보기위하여 큰 화상(즉, 디스플레이 스크린 영역의 매우 큰 비율을 차지하는 화상)을 원했다.

화상이 작을 경우, 눈에는 보이지 않는다. 그러나, 화상을 크게 스캐일링하면, 동일한 정보가 보다 큰 영역에 펼쳐져 있을 때와 같이 "워시 아웃(washed out)"된 화상이 나타나면서, 종종 압축으로 인한 작은 결함들(예를들어, 아티팩트 또는 세부사항 및 구성의 손실)이 눈에 잘 띄게 된다. 이러한 "워시 아웃" 효과를 방지하기 위하여, 샤프닝 필터가 적용되어 화상에 대한 명확화(definition) 및 크립스니스(crispness)를 더하는 데 도움을 준다. 그러나, 압축 아티팩트 및 다른 결함은 샤프닝 프로세스동안에도 고려되어야만 한다. 그렇지 않으면, 이런 결함들이 화상과 함께 샤프닝(선명화)되어, 샤프닝이 수행되지 않았을 때보다, 화상이 이상하게 보이도록 한다. 따라서, 이런 저런 이유로, 화상의 일정 부분을 적절하게 샤프닝하는 것이 필요한다.

일 실시예에서, 에지 적응형 화상 샤프닝을 위한 방법은 샤프닝되지 않은 화상안의 에지 화소의 검출을 포함한다. 추가적으로, 에지 화소는 샤프닝되어 샤프닝된 화상을 형성한다. 샤프닝된 화상의 일 영역이 선택되어, 그 영역이 에지 화소를 포함하도록 된다. 일 실시예에서는, 샤프닝된 화상의 선택된 영역은 샤프닝된 에지 화소에 맞추어지도록 한다. 샤프닝된 화상의 이 영역은 샤프닝되지 않은 화상의 대응하는 영역과 비교되어, 차이값을 생성한다. 그 후에 이 차이값이 처리되어 최종 화상을 형성한다.

도 1은 본 발명의 실시예에 따른 시스템의 블록도.

도 2A 내지 도 2C는 각각 샤프닝되지 않은 화상, 대응하는 에지맵(edge map), 및 대응하는 샤프닝된 화상을 예시하는 도면.

도 3은 본 발명의 실시예에 따른 방법의 흐름도.

도 4는 본 발명의 실시예가 실행될 수 있는 컴퓨터를 나타낸 도면.

다음의 예시적인 실시예의 상세한 설명에서는 본 발명이 실시될 수 있는 특정 실시예를 예시하는 방식으로 도시된, 실시예의 일부분을 구성하는 첨부 도면이 참조된다. 다른 실시예가 사용될 수도 있으며, 본 발명의 영역을 벗어남이 없이 구조적인 변경이 이루어질 수 있음을 알아야 한다.

다음의 상세한 설명의 어떤 부분은 알고리즘 및 컴퓨터 메모리 내에서의 데이터 비트에 대한 동작의 심볼 표현으로 나타나고 있다. 이들 알고리즘 설명 및 표현은 그 작업의 요지를 가장 효과적으로 다른 기술분야의 숙련된 기술자들에게 전달하기위해 데이터 처리 기술분야에서 숙련된 자들에 의해서 사용되는 수단이다. 여기의 알고리즘은 일반적으로, 자기 모순없는 원하는 결과를 유도하는 단계들의 시퀀스로 이해된다. 그 단계들은 물리적인 양의 물리적인 조정을 요구하는 것들이다. 일반적으로, 필수적인 것은 아니지만, 이 양들은 저장, 전송, 결합, 비교 또는, 달리 조정될 수 있는 전기적 또는 자기적 신호의 형태를 취한다. 주로 보편적으로 이용된다는 이유로 인해, 이런 신호를 비트, 값(value), 엘리먼트, 심볼, 캐릭터, 용어(term), 숫자 등으로 언급하는 것이, 시간에 있어서 편리하다는 것이 증명되었다. 그러나, 이들 모두 그리고, 유사한 용어들은 적절한 물리적 양들과 관련이 되어야 한다는 점과 이 양들에 적용된 단순히 편리한 라벨들(labels)이라는 점을 염두해 두어야 한다. 다음의 논의로부터 명백해지는 바와 같이, 다르게 특정하여 기술되지 않으면, 본 발명을 통하여, "프로세싱", "컴퓨팅", "계산(calculating)", "결정(determining)", 또는 "디스플레이" 등과 같은 용어들을 사용하는 논의는, 컴퓨터 시스템의 레지스터와 메모리 안에서 물리적인(전자적인) 양으로서 표현되는 데이터를 조정하고, 컴퓨터 시스템 메모리, 레지스터, 정보 저장 장치, 전송 장치, 또는 디스플레이 장치와 같은 다른 장치 안에서 물리적인 양으로서 유사하게 표현되는 다른 데이터안으로 전송하는 컴퓨터 시스템, 또는 유사한 전자적 컴퓨팅 장치의 액션과 프로세스를 언급하는 것이다. 또한, 화상이라는 용어는 비디오 프레임의 스트림내의 정지 화상 또는 비디오 프레임 모두를 포함하는 것으로 규정된다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템의 블록도가 도시되어 있다. 도 1의 시스템은 에지 검출기(102), 화상 샤프너(104), 영역 선택기(106), 영역 비교기(108), 및 구성요소(110)를 포함한다. 에지 검출기(102), 화상 샤프너(104), 영역 선택기(106), 영역 비교기(108), 및 구성요소(110)는 바람직하게는 컴퓨터의 일부분이지만, 본 발명이 그렇게 국한되는 것은 아니다. 이런 실시예에서 에지 검출기(102), 화상 샤프너(104), 영역 선택기(106), 영역 비교기(108), 및 구성요소(110)는 바람직하게는 컴퓨터상의 컴퓨터 프로그램이다. 즉, 컴퓨터의 메모리와 같은 컴퓨터 판독가능 매체로부터 컴퓨터의 프로세서에 의해서 실행되는 프로그램(즉, 에지 검출기 프로그램, 화상 샤프너 프로그램, 화상 비교기 프로그램, 영역 선택기 프로그램 및 구성요소 프로그램)이다. 본 발명이 속하는 기술분야에서 통상의 기술을 가진자가 이해할 수 있는 바와 같이, 컴퓨터도 또한 바람직하게는 오퍼레이팅 시스템을 그안에 포함하며, 이는 프로그램 실행을 돕는다.

에지 검출기(102)는 샤프닝되지 않은 화상을 수신하여, 그 내의 1개 내지 다수의 에지 화소를 검출한다. 에지는 짧은 거리내에서 인텐서티(intensity)를 변화시키기에 충분히 큰 것으로 정의되고, 에지 화소는 화상의 에지를 따라 존재하는 화상내의 화소로 정의된다. 예를 들어, 도 2A는 샤프닝되지 않은 십자가(200)의 화상을 포함하며, 십자가(200) 내부의 화소는 128 내지 255의 인텐서티 값을 갖고, 십자가(200) 외부의 화소는 0의 인텐서티 값을 갖는다. 또한, 도 2A의 샤프닝되지 않은 화상은 201 내지 209의 화소를 포함하는 다수의 화소로 분해된다. 부가적으로, 도 2A의 샤프닝되지 않은 화상은 201 내지 209의 화소로 구성된 영역(210)을 포함한다. 화소들(201, 204, 205, 206, 207)은 이들 화소가 십자가(200)의 에지를 따라서 위치하고 있기 때문에 에지 화소로 취급된다. 반대로, 화소들(202, 203, 208, 209)은 이들 화소가 십자가(200)의 에지를 포함하는 어떤 오브젝트 에지(object edge) 부분도 아니기 때문에 에지 화소가 아니다.

일 실시예에서, 본 발명이 속하는 기술분야에서 공지된 바와 같이, 화상의 오브젝트 에지를 따라 에지 화소의 위치를 결정하기 위하여, 에지 검출기(102)는 샤프닝되지 않은 화상에 대한 에지맵을 생성하기 위한 에지맵 생성기를 포함한다. 전통적으로 에지맵에서, 높은 값은 에지를 나타내고, 따라서 낮은 값은 평면(flat area)을 나타낸다. 다른 실시예에서는, 에지 검출기(102)가 본 발명이 속하는 기술분야에서 공지된 2차원(2-D) 소벨샤프닝 필터(Sobel sharpening filter)를 포함하여, Y 프레임으로부터 에지맵을 생성한다. 또한, 본 발명이 속하는 기술분야에서 공지된 바와 같이, 의사(spurious) 에지 포인트를 제거하기 위해서, 3×3 중간(median) 필터가 에지맵을 필터하는 데 사용될 수 있다.

따라서, 일 실시예에는, 도 2B에 도시된 바와 같이, 에지 검출기(102)가 십자가(200)에 대한 대응하는 에지맵(즉, 십자가(220))을 생성한다. 구체적으로는, 도 2B의 에지맵은 십자가(200)의 에지맵만을 포함하며, 십자가(220)에 대한 내부 및 외부 화소는 0값의 인텐서티를 갖는다. 또한, 도 2B의 에지맵은 221 내지 229의 화소를 포함하는 다수의 화소로 분해되며, 이는 도 2A의 201 내지 209의 화소에 각각 대응된다. 또한, 도 2B의 에지맵은 221 내지 229의 화소로 이루어진 영역(230)을 포함하며, 이는 도 2A의 영역(210)에 대응된다.

화상 샤프너(104)는 에지 화소를 수신하고, 이들 화소를 샤프닝하여, 이에 의해 샤프닝된 화상을 생성한다. 일 실시예에서, 화상 샤프너(104)는 에지 화소를 샤프닝하기 위하여, 샤프닝되지 않은 화상 내부의 에지 화소의 Y 평면에 적용되는 2-D 샤프닝 필터를 포함한다. 일 실시예에서, 화상 샤프너(104)는 다이나믹 샤프닝을 위한 메카니즘을 포함한다. 다이나믹 샤프닝을 위한 메카니즘은 샤프닝이 조정가능하도록(tuneable) 한다. 예를 들어, 컴퓨터 터미널에서 화상을 보는 사람과 같은 이 프로세스의 사용자는, 어느 정도의 샤프닝이 그 화상에 대하여 수행되어야 할 지를 제어할 수 있다.

영역 선택기(106)는 각 에지 화소에 대한 샤프닝된 화상을 수신하여 그 샤프닝된 화상의 일 영역을 선택하며, 이 영역이 에지 화소를 포함하도록 한다. 일 실시예에서, 영역 선택기(106)는 샤프닝된 화상내의 일 영역을 선택하여, 그 선택된 영역이 에지 화소에 맞추어지도록 한다. 즉, 그 에지 화소는 그 선택된 영역의 중앙에 있게 된다. 그 영역의 크기는 화상안의 노이즈(예를 들어, 압축 및 시스템 노이즈)의 양에 따라 조정된다. 예를 들어, 화상에 매우 노이즈가 많다고 생각되는 경우 그 영역의 크기는 보다 큰 영역의 평균에 도달하기(average out) 위해 증가한다. 일 실시예에서, 그 영역의 크기는 5×5이다. 다른 실시예에서, 그 영역의 크기는 고정적이지 않다. 그 크기의 범위는 1개의 화소에서 전체 화상 크기 사이로 변화될 수 있다. 이는 샤프닝되지 않은 화상과 샤프닝된 화상 사이의 비교(예를 들어, 화상 대 화상 비교)의 범위를 허락한다. 그러나, 그 영역이 어떤 특정 크기나 모양(예를 들어, 정사각형, 직사각형, 원형)으로 한정되지 않음을 이해하는 것이 중요하다.

샤프닝된 화상과 샤프닝되지 않은 화상간의 큰 변화(통상, 의사 노이즈에 기인함)를 방지하기 위하여, 특정 에지 화소에 대한 새로운 샤프닝된 값의 허용 또는 거절을 결정하기 위한 체크가 수행된다. 구체적으로는, 영역 비교기(108)가 각 에지 화소에 대응하는 각각의 영역을 수신하고, 각 영역을 샤프닝되지 않은 화상의 그 대응하는 영역과 비교함으로써 이 체크를 수행하여, 에지 화소에 대응하는 영역의 각 세트의 차이값을 생성한다.

샤프닝되지 않은 화상의 대응하는 영역은 샤프닝된 화상의 영역과 동일한 위 치에 있는 샤프닝되지 않은 화상의 영역이다. 예를 들어, 도 2A를 다시 참조하면, 이 도형은 십자가(200)의 샤프닝되지 않은 화상을 포함하며, 여기서 이 샤프닝되지 않은 화상은 201 내지 209의 화소를 포함하는 다수의 화소로 분해되며, 영역(210)을 또한 포함한다. 도 2C는 십자가(200)의 샤프닝된 화상(즉, 십자가(230))을 포함하며, 여기서 샤프닝된 화상은 231 내지 239의 화소를 포함하는 다수의 화소로 분해된다. 또한, 도 2C는 231 내지 239의 화소로 구성된 영역(240)을 포함한다. 도 2A 및 도 2C에서, 영역들(210, 240)은 다른 화상안에서 동일한 위치에 있기 때문에, 도 2A의 영역(210)은 도 2C의 영역(240)에 대응한다.

각 에지 화소에 대하여, 영역 비교기(106)가 각 에지 화소에 대한 두개의 선택된 영역을 비교하여, 이에의해 이들 두개의 영역 간의 차이값을 생성한다. 일 실시예에서, 본 발명이 속하는 기술분야에서 공지된 바와 같이, 영역들의 비교와 차이값의 생성은 그 두 영역들간의 완벽한 차이의 합의 계산을 포함한다. 다른 실시예에서, 본 발명이 속하는 기술분야에서 역시 공지된 바와 같이, 이 영역의 비교 및 차이값의 생성은 두 영역간의 제곱 평균 에러(mean square error)의 계산을 포함한다. 따라서, 각 에지 화소에 대응하기 위해, 차이값은 영역들(즉, 샤프닝된 화상으로부터의 영역과 샤프닝되지 않은 화상으로부터의 대응하는 영역)의 각 세트에 대하여 생성된다. 즉, 각 에지 화소에 관련된 차이값이 있다.

구성요소(110)는 그후에 각 에지 화소에 대한 각각의 차이값을 수신하고, 이들 차이값을 처리하여 최종 화상을 형성(즉, 생성)한다. 구성요소(110)는 그 차이값을 처리하여, 각 에지 화소에 대한 새로운 샤프닝된 값의 허용 또는 거절 여부를 결정한다. 일 실시예에서, 구성요소(110)는 그 차이값이 소정의 임계치보다 작은 경우에, 샤프닝된 화상에서 에지 화소(즉, 특정 에지 화소에 대한 샤프닝된 값)를 선택한다. 반대로, 구성요소(110)는 그 차이값이 소정의 임계치보다 크거나 동일한 경우에, 샤프닝되지 않은 화상에서 에지 화소(즉, 특정 에지 화소에 대한 샤프닝되지 않은 값)를 선택한다.

이 소정의 임계치는 노이즈(예를 들어, 압축 및 시스템 노이즈)의 레벨을 나타내기 위해 선택된다. 노이즈가 클수록, 그 임계치는 작아지고, 그 역도 성립한다. 데이터 또는 영역내의 노이즈에 기인하여 샤프닝되지 않은 영역과 샤프닝된 영역간의 변화가 충분히 큰 경우(즉, 그 임계치가 초과하는 경우)에 성립하는 이러한 가정이, 에지 바운더리 조건(edge boundry condition)이다. 어떤 특정 에지 화소에 대하여 샤프닝된 값이 샤프닝되지 않은 값에서 버려지는데, 그렇지 않으면 화상의 모양이 매우 차이가 날 것이기 때문이다.

화상을 적응적으로 샤프닝하는 이유는 "워시 아웃" 효과의 방지와 동시에, 비강조(de-emphasizing) 압축 아티팩트를 방지하면서, 그 화상의 크기가 확대(즉, 줌(zoom))되도록 하는 것이다. 줌은 블러링(blurring) 프로세스이기 때문에, 일 실시예에서, 에지 검출기(102)가 샤프닝되지 않은 화상의 에지 화소를 검출하기에 앞서, 화상 스캐일러가 샤프닝되지 않은 화상을 수신하여 그 샤프닝되지 않은 화상의 크기를 확대한다. 화상의 확대는 그 샤프닝 프로세스에 후속하여 또한 발생할 수 있다. 이 실시예에서, 화상의 줌과 관련된 블러링 프로세스는 화상의 샤프닝에 의해 야기된다.

다음으로 도 3을 참조하면, 본 발명의 실시예에 따른 방법의 흐름도가 도시되어 있다. 그 방법은 바람직하게는 적어도 부분적으로 하나 이상의 컴퓨터상에서 실행되는 프로그램 - 즉, 컴퓨터의 프로세서에 의해 메모리와 같은 컴퓨터 판독가능 매체로부터 샐행되는 프로그램- 으로 구현된다. 그 프로그램은 배포 및 설치, 및 다른 (적절히 장치된)컴퓨터에서의 실행을 위해서, 바람직하게는 플로피 디스크 또는 CD-ROM(Compact Disk-Read Only Memory)과 같은 컴퓨터 판독가능 매체에 저장가능한 것이다.

블록(302)에서, 샤프닝되지 않은 화상의 1개 내지 다수의 에지 화소가 검출된다. 일 실시예에서, 그 화상에 대한 에지맵이 생성되어, 본 발명이 속하는 기술분야에서 공지된 바와 같이, 그 화상안의 오브젝트 에지를 따라 에지 화소의 위치를 결정한다. 전통적으로 에지맵에서, 높은 값은 에지를 나타내고, 따라서 낮은 값은 평면을 나타낸다. 다른 실시예에서, 본 발명이 속하는 기술분야에서 공지된 2차원(2-D) 소벨 샤프닝 필터가 Y 프레임으로부터 에지맵을 생성하는 데 사용된다. 에지맵은 그후에, 의사 에지 포인트의 제거를 위해 본 발명이 속하는 기술분야에서 공지된 바와 같이, 3×3 중간 필터를 통해서 필터링될 수 있다.

블록(304)에서는, 블록(302)에서 검출된 에지 화소가 샤프닝되어 샤프닝된 화상을 형성한다. 다른 실시예에서, 화상안의 에지 화소는 2-D 샤프닝 필터를 Y 평면에 적용함으로써 샤프닝된다. 일 실시예에서, 그 샤프닝 프로세스는 다이나믹하다. 즉, 그 샤프닝 필터는 조정가능하다. 상기한 바와 같이, 텔레비젼에서 비디오 시퀀스를 시청하는 사람이나 컴퓨터 터미널에서 화상을 보는 사람과 같이, 이 프로세스의 사용자는, 샤프닝이 얼마나 화상에 수행될 지를 제어할 수 있다.

블록(306)에서는, 샤프닝된 화상의 영역이 선택되어 각 에지 화소에 대응하며, 각 영역은 각 에지 화소를 포함하도록 한다. 그 영역의 크기는 그 화상안의 노이즈(예를 들어, 압축 및 시스템 노이즈)의 양만큼 조정된다. 예를 들어, 화상에 매우 노이즈가 많다고 생각되면, 그 영역의 크기는 확대되어 보다 큰 영역의 평균에 도달하게된다. 일 실시예에서, 그 영역의 크기는 5×5이다. 다른 실시예에서, 그 영역의 크기는 고정적이지 않다. 크기의 범위는 1개의 화소에서 전체 화상 크기 사이로 변화할 수 있다. 이것이 샤프닝되지 않은 화상과 샤프닝된 화상간의 비교(예를 들어, 화소대 화소의 비교)의 범위를 허락한다. 그러나, 그 영역이 특정 크기로 제한되지 않음을 이해하는 것이 중요하다.

샤프닝된 화상과 샤프닝되지 않은 화상간의 큰 변화를 방지하기 위하여, 특정 에지 화소에 대한 새로운 샤프닝된 값의 허용 또는 거절 여부에 대한 결정의 수행을 위해 블록(308)에서 체크가 수행된다. 구체적으로는, 이 체크는 샤프닝된 화상의 영역과 샤프닝되지 않은 화상의 대응되는 영역을 비교함으로써 수행된다. 샤프닝되지 않은 화상의 대응하는 영역은 샤프닝된 화상의 영역과 동일한 위치에 있는 샤프닝되지 않은 화상의 영역이다.

각각의 에지 화소에 대하여, 각 에지 화소에 대한 두개의 선택된 영역의 비교가 수행된다. 특정 에지 화소에 대한 두 대응 영역의 비교는 이들 두 영역 간에 차이값을 생성한다. 일 실시예에서, 본 발명이 속하는 기술분야에서 공지된 바와같이, 영역들의 비교와 차이값의 생성은 두 영역간의 완벽한 차이의 합의 계산을 포함한다. 다른 실시예에서는, 본 발명이 속하는 기술분야에서 역시 공지된 바와 같이, 영역들의 비교와 차이값의 생성은 두 영역간의 제곱 평균 에러의 계산을 포함한다. 따라서, 각 에지 화소에 대응하기 위하여, 차이값은 각 영역 세트(샤프닝된 화상으로부터의 영역과 샤프닝되지 않은 화상으로부터의 대응되는 영역)에 대하여 생성된다. 즉, 각 에지 화소에 관련된 차이값이 있다.

블록(310)에서는, 각 에지 화소에 대한 영역의 각각의 세트에 대한 차이값이 처리되어 최종 화상을 형성한다. 그 차이값은 에지 화소에 대한 새로운 샤프닝된 값의 허용 또는 거절 여부를 결정하기 위해 처리된다. 일 실시예에서, 최종 화상의 형성은 그 차이값이 소정의 임계치보다 작다는 결정에 따라 최종 화상의 형성에 사용될 샤프닝된 화상에서의 에지 화소의 선택을 포함한다(블록(312)). 반대로, 최종 화상의 형성은 그 차이값이 소정의 임계치보다 크거나 동일하다는 결정에 따라 최종 화상의 형성에 사용될 샤프닝되지 않은 화상에서의 에지 화소의 선택을 포함한다(블록(314)).

이 소정의 임계치는 노이즈(예를들어, 압축 및 시스템 노이즈)의 레벨을 나타내기 위해서 선택된다. 노이즈가 클수록, 임계치가 작아지며, 그 역도 성립한다. 데이터 또는 영역내의 노이즈에 기인하여 샤프닝되지 않은 영역과 샤프닝된 영역 간의 변화가 충분히 클 경우(즉, 임계치를 초과하는 경우)에 성립하는 이러한 가정이, 에지 바운더리 조건이다. 어떤 특정 에지 화소에 대하여 샤프닝된 값이 샤프닝되지 않은 값에서 버려지는데, 그렇지 않으면 화상의 모양에 있어 매우 차이가 날 것이기 때문이다.

일 실시예에서, 샤프닝되지 않은 화상은 비디오 시퀀스내의 정지 화상 또는 비디오 프레임을 포함한다. 화상을 적응적으로 샤프닝하는 이유는 "워시 아웃" 효과 방지와 동시에, 비강조(de-emphasizing) 압축 아티팩트를 방지하면서 그 화상의 크기가 확대(즉, 줌)되도록 하는 것이다. 줌은 블러링 프로세스이기때문에, 일 실시예에서, 화상은 샤프닝 프로세스에 앞서 줌된다. 따라서 화상의 크기 확대는 블록(302)에서의 화상의 에지 검출에 앞서 수행된다. 화상의 줌 업은 그 샤프닝 프로세스에 후속하여 또한 발생할 수 있다. 이 실시예에서, 화상의 줌과 관련된 블러링 프로세스는 화상의 샤프닝에 의해 야기된다.

마지막으로 도 4를 참고하면, 본 발명의 실시예가 실행될 수 있는 대표적인 컴퓨터의 다이어그램이 도시되어 있다. 본 발명의 실시예는 인터넷에 연결된 셋-톱 박스(set-top box)를 포함하되 이에 국한되지는 않는, 다른 전자 장치에서도 실행될 수 있음에 주의해야 한다. 컴퓨터(410)는 모니터(412)와 포인팅 장치(414)에 동작가능하게 연결되어 있다. 컴퓨터(410)는 프로세서(바람직하게는 인텔

펜티엄

프로세서), RAM, ROM, 그리고 하드 디스크 드라이브, 플로피 디스크 드라이브((플로피 디스크가 삽입될 수 있는), 광학 디스크 드라이브, 및 테이프 카트리지 드라이브와 같은 하나 이상의 저장 장치를 포함한다. 메모리, 하드 드라이브, 플로피 디스크 등은 컴퓨터 판독가능 매체의 유형이다. 본 발명은 컴퓨터(410)의 어떤 유형에 특정하게 한정되는 것은 아니다. 일 실시예에서, 컴퓨터(410)는 마이크로소프트

윈도우

오퍼레이팅 시스템을 실행하는 PC-호환가능 컴퓨터이다. 컴퓨터(410)에는 컴퓨터(410)에서 실행되는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체가 존재한다. 컴퓨터 프로그램에 의해 수행되는 압축 에지 적응형 비디오 및 화상 샤프닝 및 스캐일링은 본 발명의 실시예를 따른다.

본 발명은 변화의 여지가 있는 시스템, 방법, 컴퓨터, 및 컴퓨터 판독 가능 매체이다. 특정 실시예가 본 명세서에 예시되고 설명되었지만, 당업자라면 동일한 목적을 달성하기 위해 계산되는 어떤 배치가 여기 도시된 특정 실시예를 대체할 수도 있다는 것을 알것이다. 본 출원은 본 발명의 어떤 적용이나 변형도 수용할 수 있도록 의도된다. 본 발명은 다음의 청구범위와 그 균등물에 의해서만 제한되는 것이다.

Claims (29)

1. 샤프닝되지 않은 화상에서 에지 화소를 검출하는 단계;

   상기 에지 화소를 샤프닝하여 샤프닝된 화상을 형성하는 단계;

   상기 에지 화소를 포함하도록 상기 샤프닝된 화상의 영역을 선택하는 단계;

   상기 영역을 상기 샤프닝되지 않은 화상의 대응하는 영역과 비교하여 차이값을 형성하는 단계; 및

   상기 차이값을 프로세싱하여 최종 화상을 형성하는 단계

   를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,

   상기 차이값을 프로세싱하는 단계는,

   상기 차이값이 소정의 임계치보다 작다는 결정에 따라 상기 샤프닝된 화상에서 상기 에지 화소를 선택하는 단계; 및

   상기 차이값이 소정의 임계치보다 크거나 동일하다는 결정에 따라 상기 샤프닝되지 않은 화상에서 상기 에지 화소를 선택하는 단계

   를 포함하는 것을 특징으로 하는 방법.
3. 제1항에 있어서,

   상기 샤프닝되지 않은 화상은 비디오 시퀀스 내의 정지 화상 및 비디오 프레임으로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는 방법.
4. 제1항에 있어서,

   상기 샤프닝되지 않은 화상에서 상기 에지 화소를 검출하기 전에, 상기 샤프닝되지 않은 화상의 크기를 확대(scaling up)하는 단계를 더 포함하는 것을 특징으로 하는 방법.
5. 제1항에 있어서,

   상기 샤프닝되지 않은 화상에서 상기 에지 화소를 검출하는 단계는 상기 샤프닝되지 않은 화상에 대한 에지맵(edge map)을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 제5항에 있어서,

   상기 샤프닝되지 않은 화상에 대한 상기 에지맵을 생성하는 단계는 2차원(2-D) 소벨 필터(Sobel filter)를 Y 평면에 적용시키는 단계를 포함하는 것을 특징으로 하는 방법.
7. 제5항에 있어서,

   상기 에지맵내의 의사(spurious) 에지 포인트를 제거하는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 제7항에 있어서,

   상기 에지맵내의 의사 에지 포인트를 제거하는 단계는 상기 에지맵에 대한 중간(median) 필터링을 포함하는 것을 특징으로 하는 방법.
9. 제1항에 있어서,

   상기 에지 화소를 샤프닝하여 상기 샤프닝된 화상을 형성하는 단계는 2-D 샤프닝 필터를 상기 에지 화소의 Y 평면에 적용하는 단계를 포함하는 것을 특징으로 하는 방법.
10. 제1항에 있어서,

    상기 에지 화소를 샤프닝하여 상기 샤프닝된 화상을 형성하는 단계는 다이나믹 샤프닝을 포함하는 것을 특징으로 하는 방법.
11. 제1항에 있어서,

    상기 샤프닝된 화상의 상기 영역 및 상기 샤프닝되지 않은 화상의 상기 대응하는 영역은 5×5 영역을 포함하는 것을 특징으로 하는 방법.
12. 샤프닝되지 않은 화상에서 복수의 샤프닝되지 않은 에지 화소를 검출하는 단계;

    상기 샤프닝되지 않은 화상에서 상기 복수의 샤프닝되지 않은 에지 화소를 샤프닝하여 샤프닝된 에지 화소를 갖는 샤프닝된 화상을 형성하는 단계;

    상기 복수의 샤프닝된 에지 화소로부터 샤프닝된 에지 화소를 각각 포함하도록, 상기 샤프닝된 화상의 복수의 샤프닝된 영역을 선택하는 단계;

    각 영역을 상기 샤프닝되지 않은 화상의 대응하는 영역과 비교하여 각각의 비교에 대응하는 복수의 차이값을 형성하는 단계; 및

    최종 화상을 형성하는 단계를 포함하되, 상기 대응하는 차이값이 소정의 임계치보다 작다는 결정에 따라 각각의 샤프닝된 에지 화소가 상기 최종 화상을 형성하는 데 사용되고, 상기 대응하는 차이값이 소정의 임계치보다 크거나 동일하다는 결정에 따라 각각의 샤프닝되지 않은 에지 화소가 상기 최종 화상을 형성하는 데 사용되는 것을 특징으로 하는 방법.
13. 제12항에 있어서,

    상기 샤프닝되지 않은 화상에서 상기 에지 화소를 검출하기 전에, 상기 샤프닝되지 않은 화상의 크기를 확대하는 단계를 더 포함하는 것을 특징으로 하는 방법.
14. 샤프닝되지 않은 화상을 수신하여, 상기 샤프닝되지 않은 화상에서 에지 화소를 검출할 수 있는 에지 검출기;

    상기 에지 화소를 수신하고, 상기 에지 화소를 샤프닝하여 샤프닝된 화상을 형성할 수 있는 화상 샤프너;

    상기 샤프닝된 화상을 수신하여, 상기 에지 화소를 포함하도록 상기 샤프닝된 화상의 영역을 선택하는 영역 선택기;

    상기 영역 및 상기 샤프닝되지 않은 화상의 대응하는 영역을 수신하고, 상기 영역을 상기 대응하는 영역과 비교하여 차이값을 생성할 수 있는 영역 비교기; 및

    상기 차이값을 수신하고 상기 차이값을 프로세싱하여 최종 화상을 형성할 수 있는 구성요소(component)를 포함하는 것을 특징으로 하는 시스템.
15. 제14항에 있어서,

    상기 구성요소는, 상기 차이값이 소정의 임계치보다 작다는 결정에 따라 상기 샤프닝된 화상에서 상기 에지 화소를 선택하고, 상기 차이값이 소정의 임계치보다 크거나 동일하다는 결정에 따라 상기 샤프닝되지 않은 화상에서 상기 에지 화소를 선택할 수 있는 것을 특징으로 하는 시스템
16. 제14항에 있어서,

    상기 샤프닝되지 않은 화상에서 상기 에지를 검출하기 전에, 상기 샤프닝되지 않은 화상을 수신하여 상기 샤프닝되지 않은 화상의 크기를 확대할 수 있는 화상 스캐일러를 더 포함하는 것을 특징으로 하는 시스템.
17. 제14항에 있어서,

    상기 에지 검출기는 상기 샤프닝되지 않은 화상에 대한 에지맵을 생성하기 위한 화상 맵 생성기를 포함하는 것을 특징으로 하는 시스템.
18. 제14항에 있어서,

    상기 화상 샤프너는 다이나믹 샤프닝을 위한 메카니즘을 포함하는 것을 특징으로 하는 시스템.
19. 제14항에 있어서,

    상기 샤프닝되지 않은 화상의 상기 영역 및 상기 샤프닝된 화상의 상기 대응하는 영역은 5×5 영역을 포함하는 것을 특징으로 하는 시스템.
20. 샤프닝되지 않은 화상을 수신하여, 상기 샤프닝되지 않은 화상에서 복수의 에지 화소를 검출할 수 있는 에지 검출기;

    상기 복수의 에지 화소를 수신하고, 상기 복수의 에지 화소를 샤프닝하여 샤프닝된 에지 화소를 갖는 샤프닝된 화상을 형성할 수 있는 화상 샤프너;

    상기 샤프닝된 화상을 수신하여, 상기 복수의 샤프닝된 에지 화소로부터 샤프닝된 에지 화소를 각각 포함하도록, 상기 샤프닝된 화상의 복수의 영역을 선택하는 영역 선택기;

    상기 복수의 영역 및 상기 샤프닝되지 않은 화상의 복수의 대응하는 영역을 수신하고, 각 영역을 상기 샤프닝되지 않은 화상의 상기 대응하는 영역과 비교하여 각각의 비교에 대응하는 복수의 차이값을 생성하는 영역 비교기; 및

    각 차이값을 수신하고, 각 차이값을 프로세싱하여 최종 화상을 형성할 수 있는 구성요소를 포함하되, 상기 대응하는 차이값이 소정의 임계치보다 작다는 결정에 따라 상기 각각의 샤프닝된 에지 화소가 상기 최종 화상을 형성하는 데 사용되고, 상기 대응하는 차이값이 상기 소정의 임계치보다 크거나 동일하다는 결정에 따라 상기 각각의 샤프닝되지 않은 에지 화소가 상기 최종 화상을 형성하는 데 사용되는 것을 특징으로 하는 시스템.
21. 컴퓨터에서 실행되도록 저장된 컴퓨터 프로그램을 갖는 컴퓨터 판독가능 매체에 있어서,

    상기 컴퓨터 프로그램은,

    샤프닝되지 않은 화상에서 에지 화소를 검출하는 명령;

    상기 에지 화소를 샤프닝하여 샤프닝된 화상을 형성하는 명령;

    상기 에지 화소를 포함하도록 상기 샤프닝된 화상의 영역을 선택하는 명령;

    상기 영역을 상기 샤프닝되지 않은 화상의 대응하는 영역과 비교하여 차이값을 생성하는 명령; 및

    상기 차이값을 프로세스하여 최종 화상을 형성하는 명령

    을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
22. 제20항에 있어서, 상기 샤프닝되지 않은 화상에서 상기 에지를 검출하는 명령은 상기 샤프닝되지 않은 화상에 대한 에지맵을 생성하는 명령을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
23. 제20항에 있어서, 상기 샤프닝되지 않은 화상의 상기 영역 및 상기 샤프닝된 화상의 대응하는 영역은 5×5 영역을 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
24. 샤프닝되지 않은 화상을 수신하여, 상기 샤프닝되지 않은 화상에서 에지 화소를 검출하기 위한 수단;

    상기 에지 화소를 수신하고, 상기 에지 화소를 샤프닝하여 샤프닝된 화상을 형성하기 위한 수단;

    상기 샤프닝된 화상을 수신하여, 상기 에지 화소를 포함하도록 상기 샤프닝된 화상의 영역을 선택하기 위한 수단;

    상기 영역 및 상기 샤프닝되지 않은 화상의 대응하는 영역을 수신하고, 상기 영역과 상기 대응하는 영역을 비교하여 차이값을 생성하기 위한 수단; 및

    상기 차이값을 수신하고 상기 차이값을 프로세싱하여 최종 화상을 형성하기 위한 수단

    을 포함하는 것을 특징으로 하는 시스템.
25. 제24항에 있어서,

    상기 차이값을 수신하기 위한 상기 수단은 상기 차이값이 소정의 임계치보다 작다는 결정에 따라 상기 샤프닝된 화상에서 상기 에지 화소를 선택하고, 상기 차이값이 상기 소정의 임계치보다 크거나 그와 동일하다는 결정에 따라 상기 샤프닝되지 않은 화상에서 상기 에지 화소를 선택할 수 있는 것을 특징으로 하는 시스템.
26. 제24항에 있어서,

    상기 샤프닝되지 않은 화상에서 상기 에지를 검출하기 전에, 상기 샤프닝되지 않은 화상을 수신하여 상기 샤프닝되지 않은 화상의 크기를 확대하기 위한 수단을 더 포함하는 것을 특징으로 하는 시스템.
27. 제24항에 있어서,

    샤프닝되지 않은 화상을 수신하여, 상기 샤프닝되지 않은 화상에서 에지 화소를 검출하기 위한 상기 수단은 상기 샤프닝되지 않은 화상에 대한 에지맵을 생성하기 위한 에지맵 생성기를 포함하는 것을 특징으로 하는 시스템.
28. 제24항에 있어서,

    상기 에지 화소를 수신하여 상기 에지 화소를 샤프닝하기 위한 상기 수단은 다이나믹 샤프닝을 위한 메카니즘을 포함하는 것을 특징으로 하는 시스템.
29. 제24항에 있어서,

    상기 샤프닝되지 않은 화상의 상기 영역 및 상기 샤프닝된 화상의 대응하는 영역은 5×5 영역을 포함하는 것을 특징으로 하는 시스템.

Images