KR20060023170A

KR20060023170A - 비대칭적으로 강화된 영상 및 비디오를 위한 샤프니스 계량기준

Info

Publication number: KR20060023170A
Application number: KR1020057024588A
Authority: KR
Inventors: 조지 이. 카비어드스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-06-27
Filing date: 2004-06-23
Publication date: 2006-03-13
Also published as: US20060147125A1; CN1813268A; EP1642233A2; WO2005001767A3; WO2005001767A2; JP2007528137A

Abstract

샤프니스 계량 기준은 영상 및 비디오 획득, 저장 및 재생 시스템에 관한 수동(47) 또는 자동(41)화된 제어 시스템의 가변 제어를 나타낸다. 수동 시스템에서는 보통 영상 왜곡을 회피하기 위해 미리 설정된 한계 내에서 샤프니스를 최대화하는 것을 추구하는 하나의 제어 가능한 파라미터가 조정된다. 비대칭적으로 강화될 수 있었던 영상이나 화상에서의 샤프니스 측정 방법(10)은, 영상의 미리 결정된 블록에 대한 이산 코사인 변환으로부터의 통계를 사용하고 가장자리 픽셀의 개수에 대한 정보(14)와, 각 블록에서의 하나 또는 그 이상의 수직 가장자리와 하나 또는 그 이상의 수평 가장자리의 에너지 콘텐츠(15)를 사용하여 비대칭을 보상한다. 그렇게 하기 위한 일 실시예는 영상의 첨도-기반의 샤프니스 계량 기준을 결정하고(12), 이후 수평 방향과 수직 방향에서의 샤프니스 강화의 차이를 설명하기 위해 첨도-기반의 샤프니스 계량 기준을 보상한다(13).

Description

비대칭적으로 강화된 영상 및 비디오를 위한 샤프니스 계량 기준{SHARPNESS METRIC FOR ASYMMETRICALLY ENHANCED IMAGE AND VIDEO}

본 발명은 일반적으로 비디오 데이터와 영상 데이터를 처리하기 위한 방법 및 장치에 관한 것으로, 특히 획득, 전송 및 저장 시스템용의 비디오 데이터와 영상 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치에 관한 것이다.

비디오 영상의 샤프니스(sharpness)를 측정한다는 것은 배경에 대한 상세 부의 가장자리와 투명도의 정의를 평가하는 것을 암시한다. 영상이나 비디오가 비대칭적으로 강화될 때, 즉 수평 강화량은 수직 강화량과 다를 때, 기존의 계량 기준에 의해 주어진 값은 시각적인 테스트에서 인식된 결과와 대응하지 않는다. 예를 들어, 일부 기존 기술은 수평 샤프니스와 수직 샤프니스의 상대적인 비율이 수정되지 않는 한, 영상의 샤프니스를 비교한다. 이러한 비율이 변경되면, 최종 결과는 다른 영상을 비교하는 것과 유사하여, 시종 일관된 결과를 제공하는 데 있어, 이들 계량 기준을 비효율적이 되게 한다.

샤프니스 계량 기준은, 샤프니스 제어를 자동화하여 맞춤형 샤프니스 설정을 가능하게 하고, 적응성 샤프니스를 강화시키기 위해, 많은 영상 캡처와 디스플레이 시스템에서 사용된다. 샤프니스 계량 기준은 또한 고품질의 디지털 비디오에서 샤 프니스 강화 알고리즘에 관한 제어 변수 또는 품질이 충분히 높고 다른 인자가 일정하게 유지되는 상황에 관한 품질 표시기로서 사용될 수 있다. 다른 계량 기준과 결합하여, 샤프니스는 전반적인 품질을 계산하는데 사용될 수 있다.

비대칭 샤프니스 강화는 실제 콘텐츠에 대한 강화 정도를 적응시키는 알고리즘에 의해 사용된 중요한 옵션이다. 비대칭 샤프니스는 1차원 필터(종종 오늘날 TV 수상기에서 발견되는)를 사용하는 2차원 샤프니스 강화의 저비용의 하드웨어 구현 옵션을 사용함으로써, 발생할 수 있다. 1차원 필터의 적용에 대한 유연성과, 콘텐츠 적응 강화 기술은 비대칭 샤프니스 강화를 초래한다. 현재로서는 이들 상태 하에 샤프니스를 측정하는 방법이 없다.

그러므로 본 발명은 영상이나 화상이 비대칭적으로 강화되었을 때 충분히 동작하는 비디오 영상이나 화상의 샤프니스를 정량화하기 위한 방법과 장치를 개발하는 문제를 목적으로 한다.

본 발명은 비대칭 샤프니스 강화를 측정하기 위한 방법을 제공함으로써, 이들 및 다른 문제점들을 해결하고, 이러한 방법은 8 ×8 블록(또는 구현을 위한 또 다른 편리한 크기로서, 이 경우 8 ×8은 블록 DCT 알고리즘의 기존의 구현에 적합하다)에 대해 취해진 이산 코사인 변환(DCT)의 통계를 사용하고 수직 및 수평 가장자리의 에너지와 가장자리 픽셀의 개수에 대해서 정보를 사용하여 비대칭성을 보상한다.

본 발명의 일 양태에 따르면, 하나 또는 그 이상의 블록으로 분할된 영상이나 화상의 샤프니스를 측정하는 방법은 영상에 대한 첨도-기반의 샤프니스 계량 기준을 이용하고, 수평 방향과 수직 방향으로의 샤프니스 강화에 있어서의 차이를 설명하기 위해, 그러한 첨도-기반의 샤프니스 계량 기준을 보상한다.

본 발명의 또 다른 양태에 따르면, 보상은 전체 영상이나 전체 영상의 샘플에 대해 산정된 블록당 가장자리 픽셀의 평균 개수(

)에 기초하여 한 항을 첨도-기반의 샤프니스 계량 기준에 추가하는 것을 포함한다.

본 발명의 또 다른 양태에 따르면, 보상은 전체 영상에 대해 산정되거나 영상의 샘플로부터 상정된 평균 수평 에너지(

)와 평균 수직 에너지(

)에 기초한 첨도-기반의 샤프니스 계량 기준에 한 항을 추가하는 것을 포함한다.

본 발명의 또 다른 양태에 따르면, 보상은 전체 영상에 대해 산정되거나 영상의 샘플로부터 산정된 평균 수평 에너지(

), 평균 수직 에너지(

) 및 평균 대각선 에너지(

본 발명의 또 다른 양태에 의하면, 보상은 가장자리를 포함하는 다수의 블록(neb)과, 가장자리를 포함하지 않는 다수의 블록(nfb)에 기초한 첨도-기반의 샤프니스 계량 기준에 한 항을 추가하는 것을 포함한다.

도 1은 본 발명의 일 양태에 따른 비대칭적으로 강화된 영상 또는 화상에서의 샤프니스를 측정하기 위한 방법의 예시적인 실시예를 도시하는 도면.

도 2는 본 발명의 또 다른 양태에 따른 8 ×8 이산 코사인 변환에서의 다양한 에너지를 계산하기 위한 방법의 예시적인 실시예를 도시하는 도면.

도 3은 샤프니스 강화 효과를 도시하는 가장자리 블록에 관한 평균적인 8 ×8 이산 코사인 변환의 플롯(plot)을 도시하는 도면.

도 4는 영상/비디오 획득, 저장 및 재생 시스템에 관한 수동 샤프니스 제어와 자동화된 샤프니스 제어를 포함하는 다른 실시예를 도시하는 일반적인 구성을 도시하는 도면.

본 명세서에서 "일 실시예" 또는 "실시예"에 대한 임의의 참조는 그 실시예와 연계되어 설명된 특별한 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함됨을 의미한다는 것을 주목할 가치가 있다. 명세서의 여러 곳에서의 "일 실시예에서"라는 문구의 출현은 모두 동일한 실시예를 가리키지는 않는다.

영상 후(post) 처리와 강화는, 특히 고해상도와 고샤프니스 기술의 디지털 텔레비전 시스템(영상 포착, 저장 및 재생 시스템을 포함)에 있어 중요한 구성 성분이 되었다. 의료 영상, 레이더 영상, 광학 영상 등과 같은 전문분야의 응용 또한 본 발명의 실시예를 사용할 수 있다. 효율성을 평가하고 강화량을 제어하기 위한 유일한 해결책은 품질 계량 기준, 특히 샤프니스 계량 기준을 사용하는 것이다. 샤프니스는 영상에서 보이는 상세부와 가장자리의 투명함에 대한 비형식적이고 주관 적인 인식이다. 영상 분석과 인식에 대한 연구는, 샤프니스가 콘텐츠와 공간 해상도, 콘트라스트 및 잡음에 크게 의존적이라는 점을 보여주었다.

종래 기술의 강화 알고리즘은 인식된 품질을 증가시키기 위해, 비대칭 강화를 사용한다. 예를 들어 많은 경우, 강화되는 수직 가장자리는 동일한 양만큼 강화되는 수평 가장자리보다 많은 지각 가능한(perceptual) 영향을 가진다. 기존의 샤프니스 계량 기준은 이러한 경우를 처리할 수 없다. 본 발명은 이들 샤프니스 강화 알고리즘과, 비대칭적인 샤프니스 변화를 초래하는 다른 처리를 감시하고 제어하도록 한다.

본 발명의 실시예는 텔레비전(예를 들어, STD, HDTV, LCDTC, PDP, LCoSTV), 자동 텔레비전 제어뿐만 아니라, 저장 및 재생 장비(DVD, DVD-RW, 등)용의 샤프니스 강화 모듈로 구현될 수 있다. 샤프니스 계량 기준은 또한 동일한 제품과, 서비스의 비디오 품질과 관련된 다른 것들에서 사용하기 위한 전반적인 품질 계량 기준의 구성 성분이다. 본 발명의 계량 기준 계산을 이용하기 위한 장치의 일 실시예가 도 4에 도시되어 있다.

주파수 스펙트럼(FFT와 DCT)의 1차원 및 2차원 첨도는, 샤프니스 계량 기준을 결정할 때 유용할 수 있다. 또한, 샤프니스는 기준으로서 고정된 본래의 것을 사용하지 않고 측정될 수 있다. 국부적인 가장자리 첨도에 기초한 샤프니스 계량 기준이 또한 아무런 기준이 없는 전반적인 품질 계량 기준으로 통합되었다.

샤프니스 계량 기준을 샤프니스 강화 알고리즘의 제어에 적용할 때, 첨도-기반의 계량 기준은 비대칭성 샤프니스 강화, 예를 들어 다른 수평 및 수직 이득이 사용될 경우에는 잘 수행되지 않는다. 불행하게도, 비대칭적인 강화는 콘텐츠뿐만 아니라 인체의 시각 체계의 감도에 적응시키기 위해 종종 사용된다.

주관적인 시험에 의해서도 확인되고, 지역 연구원들에 의한 일치된 관찰 결과는, 2차원 커널(kernel)을 사용하면 임의의 1차원 커널보다 크거나 필적하는 샤프니스를 초래하고, 1차원 수평(1dh) 강화와 1차원 수직(1dv) 강화의 상대적인 결과는 콘텐츠에 의존적이라는 사실을 표시한다. 하지만, 첨도 계량 기준만을 사용함으로써, 대부분 동일한 양의 수직 샤프니스와 수평 샤프니스를 사용하는 2차원 커널은 바닥 부근에 그 위치가 정해지거나 때로는 중간쯤에 그 위치가 정해진다. 이러한 결과는 비월 순차 비디오의 경우와 유사하다.

그러므로 첨도 샤프니스 계량 기준은 시험된 어떠한 경우에서도 2차원 강화의 인식된 결과를 정확하게 반영하지 않았다.

동일한 커널의 이득을 증가시키기 위해 측정된 샤프니스의 증가는 첨도 계량 기준에 대해 양호하게 행동하는 것으로 나타나, 계량 기준이 1차원의 경우보다 덜 가파른 2차원 강화에 대한 곡선을 만드는 일부 인자를 고려하지 않을 수 있음을 가리킨다. 그러므로 2차원 강화에 대한 낮은 감도를 보상하기 위해 다른 영상 파라미터가 사용되어야 한다.

첨도는 분포의 "뾰족함(peakedness)"을 측정한 것이다. 정상적인 분포는 3의 첨도 값을 가지고, 이는 첨두 값이 더 높고 곡선이 더 좁을 경우 증가한다. 8 ×8 이산 코사인 변환(DCT)의 경우, 표면은 정상적이거나 대칭적이지 않지만, 뾰족함이 부분적으로 인지될 수 있는 대칭적 표면의 한 사분면으로 간주될 수 있다. 대칭적 (2차원) 샤프니스 강화에 의해 생긴 DCT 표면의 변화는 첨도의 증가에 의해 반영된다.

도 3은 본래의 영상에 관한 가장자리, 동일한 영상의 1차원 수평 강화된 버전, 동일한 영상의 1차원 수직 강화된 버전, 및 동일한 영상의 2차원 강화된 버전을 포함하는 모든 블록에 대해 취해진 평균 8 ×8 DCT에 관한 표면 플롯(plot)을 도시한다. 샤프니스 강화로 인한 효과는 더 높은 주파수 쪽으로의 표면의 이동과, 커널에 의해 영향을 받은 주파수에 영향을 미치는 동일한 표면 상의 팽창 효과(swelling effect)를 발생시킨다. 이들 효과는 무게 중심이 위쪽으로 이동하는 것처럼 첨도 값을 위로 민다.

일정한 시험 영상에 있어서, 수직 방향으로의 1차원 강화는 수평 방향으로의 강화보다 2차원 첨도에 대해서 훨씬 더 강한 영향을 발휘한다. 수직 방향으로의 1차원 강화는 동일한 이득을 사용하는 2차원 강화보다 첨도가 훨씬 더 크게 이동하게 한다. 도 3에서의 1차원 강화의 효과와 비교하여, 표면 프로파일과 첨두 값에 대한 DCT의 2차원 강화(2D1 커널)의 더 적당하고 대칭적인 효과를 주목하라.

비대칭 처리에 대한 DCT의 2차원 첨도의 높은 감도는, 다른 인자가 가장자리 샤프니스의 변화를 반영하는 능력을 보존하면서, 비대칭에 관한 보상을 고려해야 한다는 사실을 암시한다. 2개의 잠재적인 보상 인자가 고려되는데, 이는 2개의 방향으로의 가장자리 범위와 가장자리 에너지이다.

비대칭 강화 아래서 샤프니스를 설명하는 좀더 완전한 모델을 찾기 위해, 수학적 모델링에서 종종 사용된 방법론을 사용하고, 이러한 방법론은 한 번에 한 변 수(또는 등가물)에 관한 그래프를 분석하고, 그 모델에 대한 변수의 영향에 대해 추론하는 것으로 이루어진다.

우리는 가장자리를 포함하는 8 ×8 블록 내부의 가장자리 픽셀의 평균 개수를 관찰함으로써 가장자리 범위의 영향을 분석한다. 연구한 영상에 관해, 관찰된 샤프니스 증가를 잘 따르는 가장자리의 개수를 주목한다. 2차원 강화가, 1차원 강화의 가장자리 픽셀의 평균 개수보다 특별히 더 큰, 가장자리 픽셀의 평균 개수의 가장 큰 증가를 야기함을 결정하였다.

그러므로 가장자리 픽셀의 평균 개수는, 첨도-기반의 샤프니스의 보상과 관련되는 것으로 나타나고, 이는 강화 방법에 대해 인식된 차이를 반영한다. 하지만, 가장자리 범위는 첨두 값 방법을 사용하는 강화 알고리즘에 관해 주로 작용하고 다른 방법은 가장자리 픽셀의 개수 증가를 야기하지 않을 수 있다. 크기 조정 가능한(scalable) 코더(coder)나 형식(format) 변환에서 사용된, 강화된 해상도에서 생기는 샤프니스 강화는 가장자리 픽셀의 개수 증가를 야기하지 않고, 그러한 증가를 야기할 것으로 예상되지 않음을 발견하였다. 그러므로 가장자리 범위 이외에도 또 다른 보상 인자가 필요하다.

다음에, 가장자리를 포함하는 블록에 관한 8 ×8 DCT에 포함된 수직 및 수평 가장자리 에너지의 양을 관찰하였다. 도 2는 8 ×8 DCT의 수평, 수직 및 대각선 에너지를 계산하는 데 사용된 방법을 도시한다.

시험 영상의 서브세트에 관한 평균 수평 에너지와 대각선 에너지 사이의 비 율 그래프(E_x/E_y)는, 1DH, 1DV 및 2D1 강화된 시퀀스에 관한 주관적인 관찰에 관한 것에 더 가까운 상대적인 순위(ranking)를 도시한다. 그 결과는 2D와 1DV에 관한 더 높은 순위를 도시하고, 반면에 1DH 곡선은 시종일관 되게 다른 곡선의 아래에 있다.

수평, 수직 및 대각선 에너지의 추가 분석은, 첨도-기반의 계량 기준을 사용하여 얻어진 과장된 샤프니스 값을 만드는 비대칭성을 보상하는데 또한 사용될 수 있는 수평 및 수직 에너지의 기하 평균 대 산술 평균의 비와 같은 항들을 암시한다.

원칙적으로, 가장자리 범위와 에너지의 함수에 의해 첨도를 조정하는 것은 커널 간 순위를 보존하고 올바른 커널 내 순위를 얻기 위해 곡선을 이동시킬 수 있다. 다음 섹션은 이러한 것이 어떻게 달성될 수 있는지를 도시한다.

첨도-기반의 샤프니스 계량 기준을 보상하는 함수를 제시하기 위해, 다음 글로벌 영상 특징에 연관된 4개의 항의 행동을 분석하였다.

1. 블록당 가장자리 픽셀의 평균 개수 (

). 전술한 바와 같이, 가장자리 범위가 증가하는 방법의 경우, 이값은 커널에 걸쳐 예상된 순위를 준다.

2. 평균 수평 에너지, 평균 수직 에너지 및 평균 대각선 에너지의 합 대 가장자리를 포함하는 블록에 관한 평균 대각선 에너지의 비(즉,

). 이러한 항은 평균 대각선 에너지에 의해 정규화된 총 에너지이고, 이는 또한 텍스쳐의 기여를 포함한다(텍스쳐는 샤프니스를 평가하는 데 있어 가장자리만큼 중요하지 않다).

3. 평균 수평 에너지 및 평균 수직 에너지의 기하 평균 대 2제곱된 산술 평균의 비(

). 이 비는 이심률(Exc: eccentricity) 또는 비대칭 인자로서, 대칭 스펙트럼에 관해 1의 최대값을 가진다. 이값은 비대칭성이 증가함에 따라 감소한다.

4. 가장자리를 포함하는 블록의 개수 대 가장자리를 포함하지 않는 또는 편평한 블록 개수의 비(neb/nfb). 이는 더 많은 가장자리 블록이 있을 경우 인식된 샤프니스가 더 높음에 따라 중요한 인식 인자가 된다.

여기서 가장자리 블록의 평균 첨도(

)와 전술한 항들의 조합으로 이루어지는 수학 공식을 제안한다. 많은 조합이 가능한데, 여러번 시험하여 에너지와 가장자리 범위 항들에 의해 평균 첨도의 원하는 조절을 보여주는 일반적인 구성(formation)을 찾아내었다.

f₁은 로그 함수 ln(x)이고, 상수 C₁, C₂ 및 C₃는 실험적으로 결정되며, C₁=1, C₂=0.1 및 C₃=0.1을 사용하고, 이들 값은 최적 값이라고 생각되지만 추가 실험 데이터에 기초하여 또한 조정될 수 있는 것이다.

도 1로 돌아가면, 영상이나 화상의 샤프니스를 측정하기 위한 방법의 예시적인 실시예(10)가 도시되어 있다. 영상이나 화상이 하나 또는 그 이상의 블록{예를 들어 8 ×8 또는 일부 다른 편리한 크기(요소 11)}으로 분할된 후, 영상의 첨도-기반의 샤프니스 계량 기준이 결정된다(요소 12). 이후 이러한 계량 기준은 수평 방향과 수직 방향으로의 샤프니스 강화의 차이를 설명하기 위해 보상된다(요소 13). 한가지 보상 기술은 블록당 가장자리 픽셀의 평균 개수에 기초한 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가함으로써 보상한다(요소 14). 또한, 보상은 평균 수평 에너지와 평균 수직 에너지 및 평균 대각선 에너지에 기초하여 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가함으로써 이루어질 수 있다(이들 에너지는 전체 영상에 대해 계산될 수 있거나 영상의 샘플로부터 산정될 수 있다)(요소 15). 또한 평균 수평 에너지와 평균 수직 에너지의 기하 평균과, 평균 수평 에너지와 평균 수직 에너지의 산술 평균에 기초한 첨도-기반의 샤프니스 계량 기준에 하나의 항이 추가될 수 있다(요소 16). 또한, 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 첨도-기반의 샤프니스 계량 기준에 하나의 항이 추가될 수 있다(요소 17). 이러한 계산은 다음 수학 식으로 요약된다.

(요소 18)

가장자리와 에너지 보상을 통합하는 전술한 샤프니스 계량 기준이, 여러 개의 영상에 대해 시험 되었다. 그 결과는 2차원 커널이 1차원 커널보다 높은 샤프니스를 나타냄을 보여준다. 시험 결과는 2차원 커널이 시종일관 되게 1차원 커널보다 더 양호하다는 것을 보여준다.

첨도-기반의 샤프니스 계량 기준이 적합한 내부-커널 행동을 보여준 이전 결과가 유지된다. 흥미있는 경우는 해상도가 강화된 비디오의 경우로, 이는 인식된 품질의 레벨에 대응하는 샤프니스의 다른 레벨을 보여준다. 프레임 단위로 그려진 보상된 샤프니스 계량 기준값은 샤프니스 레벨이 시각적인 관찰에 대응하는 것을 나타내는데, 즉 해상도가 더 높을수록 샤프니스도 더 높아진다. 시간 창(window)에 대해 평균하거나 프레임당 값을 사용함으로써, 강화로 인한 변화를 검출하는 데 있어 샤프니스 계량 기준이 효과적이다.

시험 결과는 종래의 첨도 계량 기준 성과가 유지되면서, 한편으로 비대칭 샤프니스 강화에 관한 결과가 개선됨을 보여준다. 가장자리 구역의 첨도는 샤프니스를 가리키는 매우 가능성 있는 표시기이고, 가장자리 범위 및 에너지 비대칭성에 관해 보상된다면, 그러한 첨도는 또한 비대칭적 샤프니스 강화를 처리할 수 있다. 이러한 작업에 사용된 보상 항들은 모두 글로벌(global)한데, 즉 평균값들이 가장자리를 포함하는 블록에 대해 취해진다. 국부적인(local) 첨도 또한 글로벌 통계로부터 유도되는 확률적 접근을 사용하여 국부 레벨에서 샤프니스를 측정하기 위해 보상될 수 있다. 지금까지 사용된 항들은 영상의 글로벌 통계 양태를 반영하고, 국부 레벨에서의 특정 상태는 평균으로부터 크게 벗어날 수 있는데, 예를 들어 한 블 록에서의 가장자리 픽셀의 개수는 1부터 28 또는 그 이상까지 변하고, 에너지값 또한 대략적으로 변할 수 있다. 그러므로 국부 강화를 예상하기 위해, 글로벌 데이터로부터 유도된 모델을 사용할 수 있다.

도 4는, 예를 들어 획득, 저장 및 재생 비디오/영상 시스템에 사용된 수동 샤프니스 제어기(47)나 자동 샤프니스 제어기(41)를 보여주는 일반적인 실시예(40)의 블록도를 도시한다. 자동 샤프니스 제어기(41)에서, 샤프니스 계량 기준은 그것의 영상이나 부분으로부터 계산되고, 비디오 체인(chain) 모듈(42 내지 45)에서의 제어 가능한 파라미터는 허용 가능한 범위 내에서 샤프니스를 최대화하도록 작용한다. 영상 소스는 획득 모듈{예를 들어, 캠코더(48d)에서의 CCD, 옵티칼 이미저(optical imager)(48a 내지 48c), 또는 VCR, DVD, CD 또는 HD와 같은 저장 유닛(48e)}일 수 있다. 비대칭 샤프니스 제어를 사용하는 시스템을 사용하는 것을 검출하기 위해서는, 간단히 비대칭적으로 강화된 영상을 입력할 수 있고, 이는 비대칭 강화된 영상을 더 이상 강화시키지 않는데, 예를 들어 시스템은 그 영상이 수직으로 강화되지 않을 때 최대의 샤프니스로 영상을 있는 그대로 다루게 된다. 비대칭 보상된 시스템은 이러한 영상을 가능한 많이 양 방향으로 영상을 강화시킨다. 수평 가장자리와 수직 가장자리로 만들어진 시험 패턴은 이러한 목적을 위해 사용하는 데 있어 매우 쉽다.

비록 본 명세서에 다양한 실시예가 특별히 예시되고 설명되었지만, 본 발명의 수정 및 변형은, 전술한 가르침에 의해 커버되고 본 발명의 정신과 의도된 범주로부터 벗어나지 않고 첨부된 청구항의 범위 안에 있는 것으로 인식된다. 예를 들 어, 일정한 형태의 수학 식이 샤프니스를 모델링하는데 사용되지만, 본 발명의 범주를 벗어나지 않으면서 유사한 보상을 이용하는 다른 함수가 사용될 수 있다. 또한, 이러한 예는 청구항에 의해 커버된 본 발명의 수정 및 변형을 제한하는 것으로 해석되어서는 안 되며, 단지 가능한 변형을 예시하는 것이다.

전술한 바와 같이, 본 발명은 일반적으로 비디오 데이터와 영상 데이터를 처리하기 위한 방법 및 장치에 관한 것으로, 특히 획득, 전송 및 저장 시스템용의 비디오 데이터와 영상 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치에 관한 것이다.

Claims

영상 또는 화상의 샤프니스를 측정하는 방법으로서,

상기 영상 또는 화상을 각각 미리 결정된 크기를 가지는, 하나 또는 그 이상의 블록으로 분할하는 단계와, 상기 하나 또는 그 이상의 블록 각각에 대해,

상기 영상의 첨도(kurtosis) 기반의 샤프니스 계량 기준을 결정하는 단계(12)와;

수평 방향과 수직 방향에서의 샤프니스 강화의 차이를 설명하기 위해, 상기 첨도 기반의 샤프니스 계량 기준을 보상하는 단계(13)

를 반복하는 단계(11)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 블록당 가장자리 픽셀의 평균 개수(
)에 기초한 상기 첨도 기반의 샤프니스 계량 기준에 항(term)을 추가하는 단계(14)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(15)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 평균 수평 에너지(
), 평균 수직 에너지(
) 및 평균 대각선 에너지(
)에 기초한 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(15)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)의 기하 평균{
}에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(16)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)의 산술 평균[
]에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(16)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)의 기하 평균{
}과, 평균 수평 에너지(
)와 평균 수직 에너지(
)의 산술 평균[
]에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(16)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 4항에 있어서, 상기 보상 단계는 블록당 가장자리 픽셀의 평균 개수(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(14)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 7항에 있어서, 상기 보상 단계는 블록당 가장자리 픽셀의 평균 개수(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(14)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 10항에 있어서, 상기 보상 단계는 블록당 가장자리 픽셀의 평균 개수(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(14)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 12항에 있어서, 상기 보상 단계는 평균 수평 에너지(
), 평균 수직 에너지(
) 및 평균 대각선 에너지(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(15)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 11항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 4항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)의 기하 평균{
}과, 평균 수평 에너지(
)와 평균 수직 에너지(
)의 산술 평균[
]에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(16)를 포함하고, 기하평균 대 2제곱된 산술 평균의 비(
)는 조합된 보상 항인, 영상 또는 화상의 샤프니스 측정 방법.
제 16항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤 프니스 측정 방법.
제 13항에 있어서, 상기 보상 단계는 평균 수평 에너지(
)와 평균 수직 에너지(
)의 기하 평균{
}과, 평균 수평 에너지(
)와 평균 수직 에너지(
)의 산술 평균[
]에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(16)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 4항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 7항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 14항에 있어서, 상기 보상 단계는 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 단계(17)를 포함하는, 영상 또는 화상의 샤프니스 측정 방법.
제 1항에 있어서, 상기 보상 단계는 다음 수학 식을 계산하는 단계(18)를 포함하는데, 즉

여기서, Sh는 샤프니스 계량 기준;

f₁은 미리 결정된 함수;

C₁, C₂ 및 C₃는 미리 결정된 상수;

는 평균 첨도;

는 블록당 가장자리 픽셀의 평균 개수;

는 평균 수직 에너지;

는 평균 수평 에너지;

는 평균 대각선 에너지;

neb는 가장자리를 포함하는 블록의 개수; 및

nfb는 가장자리를 포함하지 않는 블록의 개수인, 영상 또는 화상의 샤프니스 측정 방법.
제 7항에 있어서, 상기 평균 수직 에너지와 평균 수평 에너지는 전체 영상에 대해 값을 계산함으로써 얻어지는(15), 영상 또는 화상의 샤프니스 측정 방법.
제 7항에 있어서, 상기 평균 수직 에너지와 평균 수평 에너지는 상기 영상의 샘플로부터 산정되는(15), 영상 또는 화상의 샤프니스 측정 방법.
영상 또는 화상에서의 샤프니스를 측정하는 방법으로서,

미리 결정된 크기의 복수의 영상 블록 각각에 대해 이산 코사인 변환을 수행하는 단계와;

다수의 가장자리 픽셀에 대한 정보와, 상기 복수의 블록 각각에서의 하나 또는 그 이상의 수직 가장자리와 하나 또는 그 이상의 수평 가장자리의 에너지 함유량을 사용하는 비대칭성을 보상하는 단계(13)를 포함하는, 영상 또는 화상에서의 샤프니스를 측정하는 방법.
영상을 전자 버전으로 변환하는 영상 검출기(48a 내지 48e)와;

상기 영상의 전자 버전에서의 샤프니스를 검출하고 상기 샤프니스를 조정하 기 위해 상기 영상 검출기에 결합된 샤프니스 제어기(41)를 포함하는 영상 처리 장치(40)로서,

상기 제어기는 상기 영상이나 화상을 각각 미리 결정된 크기를 가지는 하나 또는 그 이상의 블록으로 분할하고, 상기 하나 또는 그 이상의 블록 각각에 관해,

상기 영상의 첨도-기반의 샤프니스 계량 기준을 결정하고(12);

수평 방향과 수직 방향에서의 샤프니스 강화에 있어서의 차이를 설명하기 위해 상기 첨도-기반의 샤프니스 계량 기준을 보상하는 것(13)을 반복함으로써, 상기 영상의 샤프니스 계량 기준을 계산하는, 영상 처리 장치.
제 26항에 있어서, 상기 보상은 블록당 가장자리 픽셀의 평균 개수(
)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 것(14)을 포함하는, 영상 처리 장치.
제 26항에 있어서, 상기 보상은 평균 수평 에너지(
), 평균 수직 에너지(
) 및 평균 대각선 에너지(
)에 기초한 상기 첨도-기반의 샤프니스 계량기준에 하나의 항을 추가하는 것(15)을 포함하는, 영상 처리 장치.
제 26항에 있어서, 상기 보상은 평균 수평 에너지(
)와 평균 수직 에너지(
)의 기하 평균{
}과, 평균 수평 에너지(
)와 평균 수직 에너지(
)의 산술 평균[
]에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 것(16)을 포함하는, 영상 처리 장치.
제 26항에 있어서, 상기 보상은 가장자리를 포함하는 블록의 개수(neb)와 가장자리를 포함하지 않는 블록의 개수(nfb)에 기초한 상기 첨도-기반의 샤프니스 계량 기준에 하나의 항을 추가하는 것(17)을 포함하는, 영상 처리 장치.
제 28항에 있어서, 상기 평균 수직 에너지와 평균 수평 에너지는 전체 영상에 대해 값을 계산함으로써 얻어지는(16), 영상 처리 장치.
제 28항에 있어서, 상기 평균 수직 에너지와 평균 수평 에너지는 상기 영상의 샘플로부터 산정되는(16), 영상 처리 장치.