KR20070098540A - 서서히 변화하는 부분에 대한 재귀적 ３ｄ 초정밀화 방법 - Google Patents

서서히 변화하는 부분에 대한 재귀적 ３ｄ 초정밀화 방법 Download PDF

Info

Publication number
KR20070098540A
KR20070098540A KR1020070027810A KR20070027810A KR20070098540A KR 20070098540 A KR20070098540 A KR 20070098540A KR 1020070027810 A KR1020070027810 A KR 1020070027810A KR 20070027810 A KR20070027810 A KR 20070027810A KR 20070098540 A KR20070098540 A KR 20070098540A
Authority
KR
South Korea
Prior art keywords
frame
image
noise
pixel
pixels
Prior art date
Application number
KR1020070027810A
Other languages
English (en)
Inventor
닝 쑤
김영택
지 쥬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20070098540A publication Critical patent/KR20070098540A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 시스템이 시간적 잡음 제거 후 2D 초정밀화 처리를 수행함으로써 서서히 변화하는 비디오 영상 부분을 처리하기 위한 재귀적 3D 초정밀화 처리 과정을 구현한다. 시간적 잡음 제거 처리는 두 프레임에 적용하며, 한 프레임은 현재의 입력 저정밀 프레임이고 다른 하나는 메모리로부터 오는 이전의 더 고정밀 프레임이다. 다음에 들어오는 프레임을 처리하기 위해 메모리에 저장도 되는 고정밀 프레임을 출력하기 위해 2D 초정밀화 처리는 잡음 제거된 프레임에 적용된다. 입력 프레임은 제한된 비트 심도를 갖는 반면, 출력 영상은 증가된 비트 심도를 가진다.
디지털 영상 처리 방법 및 시스템, 시간적 잡음 제거, 초정밀화 처리, 재귀적 초정밀화 처리, 비트심도

Description

서서히 변화하는 부분에 대한 재귀적 ３Ｄ 초정밀화 방법{Recursive super precision method for smoothly changing area}
도 1은 본원 발명의 실시예에 따라, 예시적인 3D 재귀적 초정밀화(super precisioin) 시스템의 기능 블록도를 도시한다.
도 2는 도 1의 시간적 잡음 제거부의 실시예의 예시 블록도를 도시한다.
도 3은 도 1의 2D 초정밀화 처리기의 실시예의 예시 블록도를 도시한다.
도 4A는 2D 초정밀화 처리기의 영상 분할 처리(segmentation)와 세그멘트의 예를 도시한다.
도 4B는 2D 초정밀화 처리기의 일 실시예에 따른 이웃하는 픽셀들을 특징짓는 4방향의 연결의 예를 도시한다.
도 4C는 2D 초정밀화 처리기의 일 실시예에 따른 로컬 조정의 예를 도시한다.
도 4D는 2D 초정밀화 처리기의 일 실시예에 따른 최초 비트 심도(bit depth)와 최초 휘도값에 기초한 제한 함수의 예를 도시한다.
도 4E는 2D 초정밀화 처리기의 일 실시예에 따른 로컬 윈도우를 위한 수정된 분할 처리 알고리즘의 단계의 예를 흐름도로 도시한다.
도 5는 본원 발명의 실시예에 따라, 비디오 시퀀스(sequence)에서 서서히 변 화하고 움직임이 없는 부분에 적용하는 3D 재귀적 초정밀화 알고리즘의 예시를 도시한다.
도 6는 본원 발명의 실시예에 따라, 서서히 변화하는 부분에 대한 재귀적 3D 초정밀화 방법의 일 실시예를 도시한다.
본원 발명은 일반적으로 비디오 및 이미지 처리와 관련되며, 나아가 서서히 변화하는 부분에 대한 비디오 콘텐츠 정밀도를 향상시키는 것과 관련된다.
비디오와 이미지는 푸른 하늘 배경과 벽의 그림자와 같은 서서히 변화하는 부분을 포함할 수 있다. 이 부분에서는 휘도가 점차적으로 변화하며 매끄러운 부분으로 지각될 것이다. 그러나 비디오와 이미지는 디지털 방식으로 저장되고 비트심도(bit depth)가 제한되므로, 이 부분에서 스테이지형의 의사윤곽 결함(stage-like false contour artifact)이 감지될 것이다.
이러한 결함을 제거하기 위해, 서서히 변화하는 부분의 더 정밀한 정보가 필요하다. 더 정밀한 정보가 얻어진다면, 그 정보를 더 높은 비트 심도로 표시되어 연속적인 두 휘도 레벨 간의 간격이 너무 작아 감지될 수 없게 된다.
대신 더 높은 정밀도 정보를 디스플레이 비트 심도로 양자화하고 인간 시각 시스템의 공간 평균화 특성 때문에 발생하는 인지 결함을 제거하기 위해 하프 토닝 기법(half-toning technique)이 사용된다(예를 들면, 수퍼 디더링(super dithering) ).
어느 경우에나, 서서히 변화하는 부분에 대한 더 고정밀도의 정보는 이러한 인지 결함을 제거하기 위해 필수적인 단계이다.
일 실시예에서 본원 발명은 서서히 변화하는 부분을 처리하기 위한 재귀적 3D 초정밀화 방법을 구현하는 영상 처리 방법을 제시한다. 그러한 영상 처리 방법은 주요한 두 단계, 즉 시간적 잡음 제거 및 2D 초정밀화 방식 단계를 포함한다.
시간적 잡음 제거는 두 프레임에 적용된다. : 하나는 현재의 입력 저정밀 프레임이고, 다른 하나는 메모리로부터 오는 이전의 고정밀 프레임이다. 잡음이 제거된 프레임을 출력하기 위해 시간 영역에서 현재의 저정밀 프레임에 시간적 잡음 제거 과정이 적용된다. 다음에 들어오는 프레임을 처리하기 위해 메모리에 저장되기도 하는 고정밀 프레임을 출력하기 위해, 잡음이 제거된 프레임에 2D 초정밀화 방식이 적용된다. 이 경우, 입력 프레임은 제한된 비트 심도를 갖는 반면 출력 영상은 증가된 비트 심도를 가진다.
다른 측면으로, 본원 발명은 본원 발명의 상기 방식들을 구현하는 시스템(장치)을 제시한다. 본원 발명의 다른 실시예, 특성 및 장점은 첨부되는 도면 및 다음에 설명되는 상세한 설명으로부터 명백해질 것이다.
일 실시예에서, 본원 발명은 서서히 변화하는 부분을 처리하기 위하여 3차원(3D) 재귀적 초정밀화 방법과 시스템을 제시한다. 이러한 영상 처리는 두 주요한 과정, 즉 시간적 잡음 제거 및 2D 초정밀화 방법을 포함한다.
시간적 잡음 제거 과정은 두 프레임에 대해 수행된다. 하나는 현재 입력의 저정밀 프레임이고, 다른 하나는 메모리로부터 오는 이전의 고정밀 프레임이다. 다음에 들어오는 프레임을 처리하기 위해 메모리에 저장하기도 하는 고정밀 프레임을 출력하기 위해 2D 초정밀화 과정이 잡음이 제거된 프레임에 대해 수행된다. 이 경우, 입력 프레임은 제한된 비트 심도를 갖는 반면 출력 영상은 증가된 비트 심도를 가진다.
여기서 설명된 본원 발명의 바람직한 실시예는 시간적 잡음 제거 알고리즘과 상기 예시된 2D 초정밀화 알고리즘을 접목하여 훨씬 고정밀도를 달성하는 3D 재귀적 초정밀화 알고리즘을 구현한다. 다른 실시예도 가능하며, 본원 발명은 여기서 설명된 구현예에 국한되지 않는다.
도 1은 본원 발명의 실시예에 따라, 3D 재귀적 초정밀화 시스템(100)의 실시예의 예시 기능도이다. 도 1에서 도시된 대로, 3D 재귀적 초정밀화 시스템(100)은 두 가지 주요한 처리 단계, 즉 잡음 제거부(102)에서의 시간적 잡음 제거 및 2D 초정밀화 처리부(104)에서의 2D 초정밀화 처리를 구현한다. 메모리(106)는 2D 초정밀화 처리부(104)의 출력을 저장하고 프레임 딜레이(delay)를 제공한다.
일반성을 잃지 않은 채로,
Figure 112007022534018-PAT00001
는 시간
Figure 112007022534018-PAT00002
에서의 들어오는 비디오 프레임을 나타내고,
Figure 112007022534018-PAT00003
는 세로 좌표를 나타내고
Figure 112007022534018-PAT00004
는 가로 좌표를 나타내는 데카르트 좌표(Cartesian coordinates)
Figure 112007022534018-PAT00005
에서
Figure 112007022534018-PAT00006
는 해당 픽셀값을 나타낸다.
Figure 112007022534018-PAT00007
(잡음 제거된 프레임)은 시간적 잡음 제거부(102)의 출력을 나타내고,
Figure 112007022534018-PAT00008
는 2D 초정밀화 처리부(104)의 출력을 나타낸다. 동시에,
Figure 112007022534018-PAT00009
는 또한 전체 3D 재귀적 초정밀화 처리부(100)의 출력이다.
도 2는 시간적 잡음 제거부(102)의 실시예의 예시 기능도를 도시한다. 시간적 잡음 제거부(102)는 현재 프레임
Figure 112007022534018-PAT00010
와 이전 프레임의 출력
Figure 112007022534018-PAT00011
간의 움직임을 검출하는 움직임 검출기(200)를 포함한다. 시간적 잡음 제거부(102)는 더 나아가 입력 프레임
Figure 112007022534018-PAT00012
과
Figure 112007022534018-PAT00013
로부터 노이즈가 제거된 프레임
Figure 112007022534018-PAT00014
을 출력하는 움직임 적응적인 시간적 필터(202)를 포함한다.
따라서 시간적 잡음 제거부(102)는 프레임
Figure 112007022534018-PAT00015
과
Figure 112007022534018-PAT00016
간의 움직임 검출에 기초하여 현재 프레임
Figure 112007022534018-PAT00017
을 필터링한다. 임의의 픽셀
Figure 112007022534018-PAT00018
은 다음의 예시 관계식 (1)에 따라 픽셀
Figure 112007022534018-PAT00019
에 재귀적 움직임 적응적 시간적 필터링을 함으로써 얻어진다.:
Figure 112007022534018-PAT00020
(1)
여기서 변수
Figure 112007022534018-PAT00021
는 상기 필터링 과정에서 이전의 필터링된 픽셀
Figure 112007022534018-PAT00022
의 움직임 적응적 가중치를 나타내며, 초기값 0을 가진다.
Figure 112007022534018-PAT00023
은 최적의
Figure 112007022534018-PAT00024
인
Figure 112007022534018-PAT00025
을 구하기 위한 재귀적 함수로 움직임 적응적 가중치
Figure 112007022534018-PAT00026
는 위의 관계식 (1) 중
Figure 112007022534018-PAT00027
로 정의되며, 픽셀
Figure 112007022534018-PAT00028
및
Figure 112007022534018-PAT00029
간의 움직임의 단조 감조 함수이다.
움직임 정보는
Figure 112007022534018-PAT00030
및
Figure 112007022534018-PAT00031
의 로컬 윈도우 간의 평균 절대값 에러(mean absolution error)와 같은 움직임 검출법을 적용함으로써 얻을 수 있다. 임계치보다 에러가 작다면 움직임이 없다고 보고, 다른 경우에는 움직임이 있다고 본다. 움직임이 없다면,
Figure 112007022534018-PAT00032
이 된다. 움직임이 있다면,
Figure 112007022534018-PAT00033
이 된다. 소프트 스위칭(soft-switching) 움직임 레벨을 위해서,
Figure 112007022534018-PAT00034
값은 선형 혹은 비선형 보간(interpolate)된다.
도 3은 2D 초정밀화 처리부(104)의 실시예의 예시 블록도를 도시하며, 분할 처리부(300), 저역 통과 필터(302), 이득 산출부(304) 및 조정부(306)를 포함한다. 2D 초정밀화 처리부(104)는 잡음 제거 프레임
Figure 112007022534018-PAT00035
을 공간 영역에서 필터링하고 프레임
Figure 112007022534018-PAT00036
을 출력한다.
분할 처리 단계는 서서히 변화하는 부분이 어디인지 결정하고, 저역 통과 필터링 단계는 더 고정밀 휘도값을 얻기 위해 사용된다. 이와 같이, 분할 처리부(도 3 중 300)는 프레임
Figure 112007022534018-PAT00037
을 선택된 기준에 기초하여 다른 연결된 부분으로 분할 처리(segment)하고, 그 후 저역 통과필터(302)는 분할 처리 결과에 기초하여 각 픽셀의 로컬 서포트(support)에 대해 저역 통과 필터링을 수행한다. 이득 산출부(304)는 조정부(306)를 통하여 최종 출력값을 조정하기 위해서 저역 통과 필터링의 이득 을 산출한다. 입력 프레임
Figure 112007022534018-PAT00038
(즉, 프레임
Figure 112007022534018-PAT00039
)은 제한된 비트 심도를 갖는 반면 출력 프레임
Figure 112007022534018-PAT00040
(즉, 프레임
Figure 112007022534018-PAT00041
)은 증가된 비트 심도를 가진다. 출력 프레임
Figure 112007022534018-PAT00042
는 다음에 들어오는 프레임을 처리하기 위하여 메모리(106)로 저장된다. 2D 초정밀화 처리부(104)의 작동 과정은 아래에서 자세히 기술한다.
일 실시예에서, 2D 초정밀화 처리부는 서서히 변화하는 이미지 콘텐츠 영역을 분할 처리하고, 그 다음으로 그 이미지 영역 내에서 분할된 각 픽셀의 로컬 서포트(local support)에 기초한 고정밀 영상을 생성한다. 고정밀화는 저역 통과 필터가 적용되는 분할된 영역이 서서히 변화한다는 가정을 바탕으로 얻어진다.
따라서 서서히 변화하는 부분을 결정하는 분할 처리한 후에, 고정밀도의 휘도값을 얻기 위해 저역 통과 필터가 세그먼트에 적용된다.
바람직하게는 본 발명의 일 실시예에 따라 분할 처리와 저역 통과 필터링을 포함하는 초정밀화 처리는 분할 처리, 로컬 조정, 저역 통과 필터링 및 제한 처리 과정을 포함한다. 입력 영상은 우선 분할 처리 과정에 의해 분할되고, 다음으로 픽셀의 로컬 서포트가 분할처리 결과에 바탕을 두고 얻어진다.
로컬 조정 처리는 대상 픽셀이 중앙에 위치하는 로컬 장방형 윈도우 내의 서서히 변화하는 세그먼트(segment)에 로컬 조정을 수행하여 조정된 세그먼트가 대상 픽셀, 즉 윈도우의 중심 픽셀에 대해서 대칭을 이루도록 한다. 그 다음으로 저역 통과 필터가 조정된 세그먼트, 즉 픽셀의 로컬 서포트를 저역 통과 필터링한다. 그 다음으로 픽셀 휘도 변화가 최초 비트 심도의 최소 간격(step)의 반을 넘지 않도록 제한 처리 과정에 의해 제한 오프레이션(operation)이 이루어진다. 2D 초정밀화 처리의 보다 상세한 예시 구동 과정이 이하에 기술된다.
분할 처리 단계는 입력 영상을 다수의 연결 세그먼트로 분할한다. 도 4A는 2D 초정밀화 처리부의 일 실시예에 따라 최초 또는 입력 영상을 분할처리 하여 여러 개의 세그먼트(예를 들어 세그먼트 1, 세그먼트 2)를 얻는 간단한 예를 도시한다. 각 세그먼트는 입력 영상의 서서히 변화하는 영역을 포함한다. 일반적으로, 서서히 변화하는 영역 내에서 이웃하는 픽셀들은 아주 작은 휘도차를 보여야 하며, 이는 입력 영상에서의 최소 양자화 레벨(quantization level)보다 더 작은 것이어야 한다. 그러나 휘도차는 양자화로 인해 최소 양자화 간격만큼 벌어질 수 있다.
따라서 2D 초정밀화 처리부의 일 실시예에 따라, 두 개의 이웃하는 픽셀의 휘도차가 최소 양자화 레벨보다 작은 경우에는 이 픽셀이 동일 세그먼트 내에 있는 것으로 여겨진다. 이 경우 그 이미지 내 두 픽셀은 휘도차가 모두 최소 양자화 레벨보다 작은 이웃하는 픽셀 세트로 연결될 수 있는 경우에 한해 동일 세그먼트 내에 있는 것으로 본다. 이 이웃하는 픽셀 세트는 두 픽셀을 연결하는 경로를 형성한다. 만약 두 픽셀을 연결하는 그러한 경로가 없다면, 이 두 픽셀은 다른 이미지 세그먼트에 속하게 될 것이다. 2D 초정밀화 처리부의 일 실시예에서, 도 4B의 예에서 도시하는 바와 같이, 4방향 연결은 이웃하는 픽셀을 특징짓는다. 이미지 내에서 행 i와 열 j의 각 픽셀(행렬 (i, j))은 4개의 이웃하는 픽셀(행렬 (i-1, j), (i+1, j), (i, j-1), (i, j+1))을 갖게 된다.
분할 처리 단계의 상기 실시예의 일 구현예는 순환 알고리즘의 사용을 포함 한다. 하나의 픽셀의 4개의 이웃하는 픽셀들을 체크하는 함수가 시작 픽셀, 예를 들어 첫 번째 행과 첫 번째 열에 있는 픽셀로부터 시작하여 순환적으로 요구된다. 그러나 각 영상이 많은 수의 픽셀들을 포함함에 따라, 순환 알고리즘이 매우 깊어지고 스택 오버플로우 에러(stack overflow error)를 야기한다. 순환을 피하고, 메모리와 컴퓨팅 타임(computing time)을 아끼기 위해서는, 이하 기술되는 알고리즘에 스택이 사용된다.
알고리즘 1:
1. 초기의 세그먼트 인덱스를 정하고, 상위의 왼쪽 픽셀을 빈 스택에 넣는다.
2. 스택이 비어 있지 않은 경우라면, 픽셀(즉, 현재 픽셀)을 꺼내고(pop out), 현재 세그먼트 인덱스로 마크한다.
3. 현재 픽셀과 현재 픽셀의 이웃하는 마크되지 않은 픽셀의 휘도차가 입력 정밀도의 최소 양자화 레벨보다 작거나 같은지를 결정하기 위해, 현재 픽셀에 이웃하는 모든 마크되지 않은 픽셀들을 체크하고, 현재 픽셀이 스택으로 돌아가도록 넣는다.
4. 스택이 빌 때까지 단계 2를 반복한다.
5. 아직까지 마크되지 않은 픽셀들이 남아있다면, 세그먼트 수를 늘이고, 마크되지 않은 픽셀을 스택으로 넣고, 단계 3으로 간다. 그렇지 않다면 단계 6으로 간다.
6. 알고리즘을 종결한다.
상기의 알고리즘은 스택을 이용하는 것으로, 순환을 이용하는 것보다 더 효율적이다. 그러나 여전히 저역 통과 필터링을 하기 전에 전체 이미지의 분할 처리가 필요하다. 실시간 시스템의 하드웨어 구현에서는, 이 알고리즘에 풀 프레임(full frame) 버퍼가 필요하다. 프레임 버퍼의 사용 비용을 절감하기 위해, 분할 처리가 국부적으로(locally) 수행될 수 있고, 여기서 상기의 스택 알고리즘이 각 현재 픽셀(각 픽셀은 반복 중에 현재 픽셀이 된다.)이 중앙에 위치하는 로컬 장방형 윈도우 부분에 적용된다. 여기에 기술되는 예시들 중에서, 로컬 서포트는 로컬 이미지 콘텐츠에 따라 임의의 형태를 가질 수 있는 반면, 로컬 윈도우는 정방형이거나 장방형이다. 또한, 중심 픽셀을 포함하는 세그먼트만이 고려되는 것처럼, 중심 픽셀로부터 시작하는 로컬 윈도우의 하나의 세그먼트만이 이용된다(로컬 윈도우에서 현재 픽셀이 중앙에 위치한다면, 현재 픽셀과 중심 픽셀은 동일하다). 따라서 로컬 윈도우에 대한 수정 분할 처리 알고리즘의 예는 도 4E의 예시 흐름도와 관련해서 이하에서 기술한다.
알고리즘 2:
1. 로컬 윈도우 내의 모든 픽셀들의 마크를 지우고, 스택을 비운다.(예를 들어 "0"과 "1"은 구별 목적으로 사용된다).(단계 310)
2. 중심 픽셀을 스택으로 넣는다. (단계 312)
3. 스택이 비워져 있지 않다면, 하나의 픽셀을 스택에서 꺼내 이 픽셀에 마크를 한다.(단계 314)
4. 그것의 이웃하는 마크되지 않은 픽셀이 있다면, 이를 스택으로 넣는다. (단계 316)
5. 스택이 비었다면 이를 멈추고, 그렇지 않다면 위의 단계 604로 간다.(단계 318)
각 픽셀과 이 픽셀이 중앙에 위치하는 주어진 로컬 윈도우에서는, 이 픽셀을 포함하는 세그먼트가 발견될 수 있다. 이 픽셀들의 세그먼트가 중심 픽셀들의 고정밀 휘도값이 결정될 수 있기 전에 정해져야 하는 서서히 변화하는 영역을 구분 짓는다.
로컬 조정 과정은 이하에서 기술한다. 언급한 것처럼, 저역 통과 처리를 하는 LPF가 현재 픽셀을 포함하는 세그먼트에 적용되어 픽셀의 고정밀 휘도값을 얻는다. 그러나 현재 픽셀이 세그먼트의 중앙에 놓여지지 않은 경우라면, 저역 통과 처리는 약간의 문제를 야기할 수 있다. 예를 들면, 현재 픽셀이 에지의 왼쪽에 놓여져 있다면, 현재 픽셀의 왼쪽에 있는 많은 픽셀들이 세그먼트에 포함되는 반면, 에지 때문에 현재 픽셀의 오른쪽에 위치한 픽셀 중 세그먼트에 포함되는 픽셀이 거의 없을 것이다. 따라서 바람직하게는 세그먼트가 현재 픽셀을 중심으로 대칭을 이루도록 하기 위해서, 저역 통과 필터링을 하기에 앞서 로컬 조정 처리을 통해 로컬 윈도우 내의 세그먼트에 로컬 조정을 수행한다.
로컬 조정의 예를 이제 기술하고자 한다. p(i, j)가 현재 픽셀을 나타낸다고 하고, 로컬 윈도우 내의 각 픽셀 p(k, l)이 세그먼트에 속하지 않으면 픽셀 p(2i-k, 2j-l)가 세그먼트에 속하더라도 이 p(2i-k, 2j-l)를 세그먼트에서 제거시키면서 픽셀 p(k, l)을 체크한다. 중심 픽셀의 반대편에 있는 대응하는 픽셀이 세그먼트 내에 있지 않은 모든 픽셀을 제거한 후에, 중심 픽셀에 대해서 대칭을 이루는 업데이트된 세그먼트가 얻어진다. 이는 p(k, l)과 p(2i-k, 2j-l)의 각 픽셀 쌍이 세그먼트 내이든 외이든 함께함은 의미한다. 조정된 로컬 세그먼트를 얻기 위한 로컬 세그먼트의 로컬 조정 처리의 도식예는 일 실시예에 따라 도 4C에서 도시한다.
대칭적인 세그먼트는 비대칭 픽셀들의 제거로 인해 연결이 끊어질 수도 있다. 상기의 알고리즘 2와 유사한 수정 알고리즘은 단지 세그먼트 내의 잔존 픽셀에의 접근 용이성(connectivity)을 체크하기 위한 것이며, 이하 예시에 기술된다. 상기의 로컬 조정을 행한 후의 모든 잔존 픽셀들이 1로 마크된다고 가정하면, 수정된 알고리즘은 다음과 같은 단계를 포함한다.
1. 스택을 비운다.
2. 중심 픽셀을 스택에 넣는다.
3. 스택이 비워져 있지 않다면, 하나의 픽셀을 스택으로부터 꺼내고 2라고 마크한다.
4. 1로 마크된 이웃하는 픽셀들을 스택에 넣는다.
5. 스택이 비었다면 멈추고, 그렇지 않다면 단계 3으로 간다.
이는 대상 픽셀(즉, 중심 픽셀)이 중심에 위치하는 연결 대칭적 세그먼트로 끝나게 된다. 그리고 이 세그먼트는 서서히 변하는 영역을 나타낼 것이다. 따라서 이제 중심 픽셀이 고정밀도의 휘도값을 갖기 위해 이 세그먼트를 저역 통과 필터링할 수 있다.
이하 저역 통과 필터링과 제한 처리에 대해 기술한다. 상기의 분할 처리와 로컬 조정 단계를 통해 대상 픽셀이 중앙에 위치하는 픽셀 세그먼트가 생성된다. 이 픽셀 세그먼트가 서서히 변하는 영역을 나타내는 것이 된다. RGB 색 공간이든 YUV 색 공간이든 3개의 성분으로 이루어진 복합 비디오 영상에서 LPF가 각 비디오 성분을 저역 통과 필터링하여 일련의 고정밀도 값을 얻는다. 그러나 하드웨어 비용을 줄이기 위해, 저역 통과 필터링은 가급적 세그먼트 내의 픽셀들의 휘도 성분 Y에 대해서만 적용된다. 이 경우, 세그먼트 내의 픽셀들의 휘도 성분만이 필요하다.
LPF에서 수행되는 저역 통과 필터링 방법은 임의적인 것이다. 간단한 예는 세그먼트 내의 픽셀들의 휘도의 단순 평균값을 고정밀 픽셀의 출력 휘도값으로 사용하는 것이다. 그 외의 저역 통과 필터들, 예를 들어 각기 다른 분산값을 가진 가우시안 필터 등도 사용될 수 있다.
바람직하게는, 입력 영상은 잡음이 없고 기본 화면(scene)을 정밀도까지 정확히 나타낸다. 따라서 서서히 변화하는 부분의 정밀도를 향상시킨 후에는, 출력 영상이 입력 영상과 같은 콘텐츠를 갖도록 하는 것이 좋다. 그런 결과를 얻기 위해 출력 휘도값이 제한 처리에 의해 입력 영상의 정밀도로 양자화된다. 다시 말해서, 출력의 저정밀 버전이 입력과 같은 것으로 추측되기 때문에 고정밀도의 출력은 입력 값 근처의 어떤 범위로 제한된다.
최초의 정밀도의 최소 스텝을 d, 최초의 영상 내의 픽셀의 휘도를 Y, 출력 영상 내의 픽셀의 휘도를 Y'라고 하자. 제한 처리를 통해 최종 출력 영상인 Y''(여기서, Y''= min(max(Y', Y-d/2), Y+d/2)) )에 대한 출력 영상 Y'를 도시함으로써 |Y-Y'| < d/2임을 확인한다. 도 4D는 최초 비트 심도와 최초 휘도값에 기초한 Y'와 Y'' 사이의 제한 함수 그래프(308)의 예를 도해한 것이다. 당해 기술 분야에서 숙련된 이들이 알고 있는 바와 같이 다른 예시 도식도 가능하다. 이상까지 2D 초정밀화 처리의 일 실시예에 대한 기술이다.
본원 발명에 따른 3D 재귀적 초정밀화 방법은 서서히 변화하고 움직임이 없는 부분에서 고정밀 픽셀을 제공한다. 도 5는 본원 발명의 실시예에 따라 비디오 시퀀스에서 서서히 변화하고 움직임이 없는 부분에 대해 3D 재귀적 초정밀화 시스템(100)을 적용한 일례를 도시한다.
도 5의 시연속적 예시(500)를 참조하여, 들어오는 프레임 간에는 움직임이 없음을 가정하자. 픽셀
Figure 112007022534018-PAT00043
는 프레임
Figure 112007022534018-PAT00044
의 로컬 영역 A에 대해 구성요소(102)의 2D 초정밀화 과정을 적용함으로써 얻을 수 있다. 프레임
Figure 112007022534018-PAT00045
의 영역 A 내의 픽셀은 프레임
Figure 112007022534018-PAT00046
과
Figure 112007022534018-PAT00047
간의 영역 A 내의 시간적 필터링으로부터 얻어지는 반면, 프레임
Figure 112007022534018-PAT00048
의 영역 A의 픽셀은 2D 초정밀화 처리부(104)를 프레임
Figure 112007022534018-PAT00049
의 더 큰 로컬 영역 B에 적용함으로써 얻어진다. 항상 이전 프레임의 더 큰 영역은 현재 프레임의 더 작은 영역을 필터링하는 데에 기여함을 개발자들은 알고 있었다. 이와 동일하게, 점선(500) 사이의 모든 픽셀은 필터링 결과 프레임
Figure 112007022534018-PAT00050
을 얻는 데에 기여한다. 시간 방향으로, 점선(500)은 움직임이 없는 조건에서 많은 이전 프레임들로 되돌아 갈 수 있다. 공간상에서 점선(500)은 서서히 변화하는 부분 내에서 확장할 수 있다. 그리하여 훨씬 고정밀 출력이 얻어질 수 있다.
도 6는 본원 발명에 따라 서서히 변화하는 부분에 대해 예시 시스템(600)에서 구현되는 재귀적 3D 초정밀화 방법의 다른 실시예를 도시한다. 이 예시에서, 시간적 잡음 제거부(602), 2D 초정밀화 처리부(604) 및 메모리(606)는 각각 도 1의 시간적 잡음 제거부(102), 2D 초정밀화 처리부(104) 및 메모리(106)와 유사할 수 있다. 유일한 차이로, 도 6의 시스템(600)에서 메모리(606)는 시간적 잡음 제거부(602)의 결과(
Figure 112007022534018-PAT00051
)를 저장하고, 다음 입력 프레임(
Figure 112007022534018-PAT00052
)와 연결하여 처리하기 위해 시간적 잡음 제거부(602)로 되돌려 보내기 전에 한 프레임(
Figure 112007022534018-PAT00053
)에 딜레이(delay)를 제공한다.
본 발명이 다른 많은 형태의 실시예가 가능할 여지가 있으며, 도면에 도시되고 여기서 자세히 설명된 본원 발명의 바람직한 실시예는 이 설명이 본원 발명의 원리의 예시로써 간주되어지기 위한 것이지, 본원 발명의 다양한 측면을 성명된 실시예에만 제한하려는 의도는 아니다. 본원 발명에 따라 상기 앞서 언급된 예시 구조는 프로세서에 의해 수행되기 위한 프로그램 지시어, 논리 회로, ASIC, 펌웨어 등과 같이 해당 기술 분야에서 숙련된 이들에게 알려진 많은 방법으로 구현될 수 있다. 그리하여, 본원 발명은 여기서 설명된 실시예에만 국한되지 않는다.
본원 발명은 소정의 바람직한 형태들을 참고하며 상당히 자세히 설명되었다. 그러나 다른 형태들도 가능하다. 그리하여 첨부된 청구항의 의도와 관점은 여기에 포함된 바람직한 형태들에 대한 기술에 국한되어서는 안 된다.
본원 발명은 서서히 변화하는 부분을 처리하기 위한 재귀적 3D 초정밀화 방법을 구현하는 영상 처리 방법 및 시스템을 제시한다. 상기 영상 처리 방법은 주요한 두 단계, 즉 시간적 잡음 제거 및 2D 초정밀화 단계를 포함한다.
잡음이 제거된 프레임을 출력하기 위해 시간 영역에서 현재의 저정밀 프레임 에 시간적 잡음 제거 과정이 적용된다. 다음에 들어오는 프레임을 처리하기 위해 메모리에 저장되기도 하는 고정밀 프레임을 출력하기 위해 2D 초정밀화 방식이 잡음이 제거된 프레임에 적용된다. 이 결과, 입력 프레임은 제한된 비트 심도를 갖는 반면 출력 영상은 증가된 비트 심도를 가진다. 시공간상에서 2D 초정밀화 처리를 반복, 확장함으로써 훨씬 고정밀도의 출력을 얻을 수 있다.

Claims (37)

  1. 디지털 영상 처리 방법에 있어서,
    잡음 제거된 프레임을 생성하기 위해 입력 디지털 영상 프레임에 시간적 잡음 제거를 수행하는 단계; 및
    입력 영상보다 더 고정밀도의 출력 영상을 얻기 위해 잡음 제거된 프레임에 2D 초정밀화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  2. 제 1항에 있어서, 상기 시간적 잡음 제거를 수행하는 단계는 입력 디지털 영상 프레임 시퀀스 내의 잡음을 제거하는 단계를 더 포함하고, 상기 입력 디지털 영상 프레임 시퀀스 내의 잡음을 제거하는 단계는
    (a) 현재의 잡음 있는 프레임과 이전의 잡음 제거된 프레임에 기초하여 움직임 적응적인 시간적 잡음 제거를 수행함으로써 현재의 잡음 있는 프레임에서 잡음을 제거하는 단계; 및
    (b) 시퀀스에서 다음 프레임으로 필터링하기 위해 현재의 잡음 제거된 프레임을 메모리로 저장하는 단계에 의하는 것을 특징으로 하는 디지털 영상 처리 방법.
  3. 제 2항에 있어서,
    상기 시퀀스에서 다음 비디오 프레임에 대해 (a) 및 (b) 단계를 반복하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  4. 제 2항에 있어서, 상기 (a) 단계는
    움직임 정보를 생성하기 위해 상기 현재의 잡음 있는 프레임과 상기 이전 잡음 제거된 프레임 간의 움직임을 검출하는 단계; 및
    상기 움직임 정보의 함수로 상기 현재의 잡음 있는 프레임에 시간적 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  5. 제 4항에 있어서, 상기 움직임을 검출하는 단계는
    상기 현재의 잡음 있는 프레임과 상기 이전 잡음 제거된 프레임 간의 픽셀 단위 움직임 검출을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  6. 제 5항에 있어서, 상기 움직임을 검출하는 단계는
    상기 이전 잡음 제거된 프레임의 상응하는 로컬 윈도우에 상대적으로 상기 현재 잡음 있는 프레임의 로컬 윈도우의 상기 픽셀 단위 움직임 검출을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  7. 제 4항에 있어서, 상기 시간적 필터링을 수행하는 단계는
    상기 현재의 잡음 있는 프레임에서 픽셀에 대해 움직임이 검출된다면, 시간축을 따라 픽셀에 대해 상기 시간적 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  8. 제 7항에 있어서,
    최대우도추정(maximum likelihood estimation) 과정을 사용하여 시간축을 따라 픽셀에 대해 상기 시간적 필터링을 수행하는 단계를 더 포함하는 디지털 영상 처리 방법.
  9. 제 7항에 있어서, 상기 시간적 필터링을 수행하는 단계는
    상기 현재의 잡음 있는 프레임에서 픽셀에 대해 움직임이 검출된다면, 움직임 블러링(blurring)을 피하기 위해 픽셀 특성을 유지하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  10. 제 4항에 있어서, 상기 움직임을 검출하는 단계는
    상기 현재의 잡음 있는 프레임과 상기 이전의 잡음 있는 프레임 사이의 움직임을 검출하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  11. 제 1항에 있어서, 상기 2D 초정밀화 처리를 수행하는 단계는
    상기 잡음 제거된 영상 프레임을 다른 픽셀 분할 영역으로 분할 처리하는 단 계; 및
    더 고정밀 영상을 얻기 위해 분할 영역에서 픽셀에 대해 저역 통과 필터링을 적용하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  12. 제 11항에 있어서, 상기 잡음 제거된 영상 프레임을 분할 처리하는 단계는
    각 픽셀의 휘도값에 기초하여 각 분할 영역의 픽셀을 결정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  13. 제 12항에 있어서, 상기 잡음 제거된 영상 프레임을 분할 처리하는 단계는
    동일한 분할 영역의 픽셀을 결정하기 위해 한 픽셀의 휘도와 그 이웃하는 픽셀들의 휘도 간의 차이를 계산함으로써 각 분할 영역의 픽셀을 결정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  14. 제 11항에 있어서, 상기 잡음 제거된 영상 프레임을 다른 분할 영역으로 분할 처리하는 단계는
    상기 잡음 제거된 영상 프레임의 로컬 윈도우를 분할 처리하고, 상기 로컬 윈도우의 중앙에 선택된 픽셀이 맞추어지는 단계; 및
    상기 선택된 픽셀에 대해 대칭인 조정된 분할 영역을 생성하기 위해 분할 영역을 조정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  15. 제 14항에 있어서, 상기 더 고정밀 영상을 얻기 위해 분할 영역에서 픽셀에 대해 저역 통과 필터링을 적용하는 단계는
    상기 더 고정밀 영상을 생성하기 위해 로컬 대칭 분할 영역 내에서 픽셀의 휘도값의 평균값을 구하는 과정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  16. 제 11항에 있어서, 상기 더 고정밀 영상을 얻기 위해 분할 영역에서 픽셀에 대해 저역 통과 필터링을 적용하는 단계는
    상기 더 고정밀 영상을 생성하기 위해 로컬 대칭 분할 영역 내에서 픽셀의 휘도값의 평균값을 구하는 과정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  17. 제 11항에 있어서, 상기 더 고정밀 영상을 얻기 위해 분할 영역에서 픽셀에 대해 저역 통과 필터링을 적용하는 단계는
    각 픽셀의 휘도값에 대한 더 고정밀값을 얻기 위해 분할 처리된 픽셀에 대해 저역 통과 필터링을 수행하는 단계; 및
    상기 입력 영상의 픽셀과 상기 더 고정밀 영상의 픽셀의 휘도값 사이의 차이를 제한하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  18. 제 17항에 있어서, 상기 입력 영상의 픽셀과 상기 더 고정밀 영상의 픽셀의 휘도값 사이의 차이를 제한하는 단계는
    상기 더 고정밀 영상에서의 픽셀 휘도값을 원 정밀도로 절단하고, 그 결과는 상기 입력 영상의 픽셀의 휘도값과 같아지도록 하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  19. 디지털 영상 처리 방법에 있어서,
    입력 영상의 서서히 변화하는 부분을 처리하기 위해 재귀적 3D 초정밀화 처리를 수행하는 단계를 포함하는 것을 특징으로 하고, 상기 재귀적 3D 초정밀화 처리 수행 단계는
    잡음 제거된 프레임을 생성하기 위해 입력 디지털 영상 프레임에 시간적 잡음 제거 과정을 수행하는 단계; 및
    상기 입력 영상보다 더 고정밀도를 갖는 출력 영상을 얻기 위해 상기 잡음 제거 프레임에 대해 2D 초정밀화 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  20. 제 19항에 있어서,
    (a) 상기 시간적 잡음 제거 과정을 수행하는 단계는 상기 입력 디지털 영상 프레임 시퀀스에서 잡음을 제거하는 단계를 더 포함하고, 상기 입력 디지털 영상 프레임 시퀀스에서 잡음을 제거하는 단계는
    현재의 잡음 있는 프레임과 이전의 잡음 제거된 프레임에 기초하여 움 직임 적응적인 시간적 잡음 제거 과정을 수행하여 상기 현재의 잡음 있는 프레임에서 잡음을 제거하는 것에 의하는 것을 특징으로 하고,
    (b) 상기 2D 초정밀화 처리를 수행하는 단계는
    상기 잡음 제거된 프레임을 다른 픽셀의 분할 영역으로 분할 처리하는 단계; 및
    더 고정밀 영상을 얻기 위해 분할 영역의 픽셀에 대해 저역 통과 필터링을 적용하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
  21. 디지털 영상 처리 시스템에 있어서,
    서서히 변화하는 영상 부분을 처리하기 위한 재귀적 3D 초정밀화 처리부를 포함하며, 상기 재귀적 3D 초정밀화 처리부는
    잡음 제거된 프레임을 생성하기 위해 입력 디지털 영상 프레임에 대해 시간적 잡음 제거 과정을 수행하는 시간적 잡음 제거부; 및
    입력 영상보다 더 고정밀의 출력 영상을 얻기 위해 상기 잡음 제거된 프레임에 2D 초정밀화 처리 과정을 수행하는 2D 초정밀화 처리부를 포함하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  22. 제 21항에 있어서,
    상기 시간적 잡음 제거부는 입력 디지털 영상 프레임 시퀀스에서 잡음을 더 제거하고, 상기 입력 디지털 영상 프레임 시퀀스에서의 잡음 제거는 상기 현재의 잡음 있는 프레임과 상기 이전의 잡음 제거된 프레임에 기초하여 움직임 적응적 시간적 잡음 제거 과정을 수행함으로써 상기 현재의 잡음 있는 프레임에서 잡음을 제거함에 의하여 이루어지며,
    상기 2D 초정밀화 처리부는 상기 2D 초정밀화 처리 과정을 수행하며, 상기 2D 초정밀화 처리 과정은 상기 잡음 제거된 프레임을 다른 픽셀 분할 영역으로 분할 처리하고, 더 고정밀 영상을 얻기 위해 분할 영역의 픽셀에 대해 저역 통과 필터링을 적용함에 의하여 이루어지는 것을 특징으로 하는 디지털 영상 처리 시스템.
  23. 제 21항에 있어서, 상기 3D 초정밀화 처리부는
    시퀀스의 다음 비디오 프레임에 대해 상기 시간적 잡음 제거와 상기 2D 초정밀화 처리 과정을 더 수행하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  24. 제 22항에 있어서, 상기 시간적 잡음 제거부는
    움직임 정보를 생성하기 위해 상기 현재의 잡음 있는 프레임과 상기 이전의 잡음 제거된 프레임 간의 움직임을 검출하고, 상기 움직임 정보의 함수로 상기 현재의 잡음 있는 프레임에 시간적 필터링을 더 수행하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  25. 제 24항에 있어서, 상기 시간적 잡음 제거부는
    상기 현재의 잡음 있는 프레임과 상기 이전의 잡음 제거된 프레임 간의 픽셀 단위의 움직임 검출 과정을 수행함으로써 움직임을 검출하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  26. 제 25항에 있어서, 상기 시간적 잡음 제거부는
    상기 이전의 잡음 제거된 프레임의 상응하는 로컬 윈도우에 대비하여 상기 현재의 잡음 있는 프레임의 로컬 윈도우의 상기 픽셀 단위의 움직임 검출을 수행함으로써 움직임을 검출하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  27. 제 24항에 있어서, 상기 시간적 잡음 제거부는
    상기 시간적 필터링을 수행하고, 상기 현재의 잡음 있는 프레임에서 픽셀에 대해 움직임 검출되지 않는지를 결정하고 움직임이 검출되지 않는다면 상기 시적 잡음 제거부가 시간축을 따라 픽셀에 대해 상기 시간적 필터링을 수행하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  28. 제 27항에 있어서, 상기 시간적 잡음 제거부는
    최대우도추정 과정을 사용하여 시간축을 따라 픽셀에 대해 상기 시간적 필터링을 더 수행하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  29. 제 27항에 있어서, 상기 시간적 잡음 제거부는
    상기 현재의 잡음 있는 프레임의 픽셀에 대해 움직임이 검출된다면, 움직임 블러링(blurring)을 피하기 위해 픽셀 특성을 유지함으로써 상기 시간적 필터링을 더 수행하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  30. 제 24항에 있어서, 상기 시간적 잡음 제거부는
    상기 현재의 잡음 있는 프레임과 상기 이전의 잡음 있는 프레임 간의 움직임을 검출함으로써 움직임을 더 검출하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  31. 제 22항에 있어서, 상기 2D 초정밀화 처리부는
    각 픽셀의 휘도값에 기초하여 각 분할 영역의 픽셀을 결정함으로써 상기 잡음 제거된 영상 프레임을 분할 처리하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  32. 제 31항에 있어서, 상기 2D 초정밀화 처리부는
    동일 분할 영역의 픽셀을 결정하기 위해 픽셀과 그 이웃 픽셀들의 휘도 간의 차이를 계산함으로써 각 분할 영역의 픽셀을 결정함으로써 상기 잡음 제거된 영상 프레임을 분할 처리하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  33. 제 31항에 있어서, 상기 2D 초정밀화 처리부는 상기 잡음 제거된 영상 프레임을 다른 분할 영역으로 분할 처리하는 것을 특징으로 하고, 이는
    상기 잡음 제거된 영상 프레임에서 로컬 윈도우를 분할 처리하고, 상기 로컬 윈도우의 중앙에 선택된 픽셀을 맞추고,
    상기 선택된 픽셀에 대해 대칭이 되도록 조정된 분할 영역을 생성하기 위해 분할 영역을 조정함에 의하는 디지털 영상 처리 시스템.
  34. 제 33항에 있어서, 상기 2D 초정밀화 처리부는
    더 고정밀 영상을 생성하기 위해, 로컬 대칭 분할 영역 내의 픽셀들의 휘도값의 평균을 구함으로써 더 고정밀 영상을 얻기 위해 상기 분할 영역에 대해 저역 통과 필터링을 적용하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  35. 제 31항에 있어서, 상기 2D 초정밀화 처리부는
    더 고정밀 영상을 생성하기 위해, 상기 분할 영역 내의 픽셀들의 휘도값의 평균을 구함으로써 더 고정밀 영상을 얻기 위해 상기 분할 영역에 대해 저역 통과 필터링을 적용하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  36. 제 31항에 있어서, 상기 2D 초정밀화 처리부는 더 고정밀 영상을 얻기 위해 상기 분할 영역에 대해 저역 통과 필터링을 적용하며, 상기 저역 통과 필터링은
    더 고정밀 영상을 생성하기 위해, 상기 분할 영역 내의 픽셀들에 대해 저역 통과 필터링을 수행하고,
    상기 입력 영상의 픽셀과 상기 더 고정밀 영상의 픽셀의 휘도값 간의 차이를 제한하는 것을 특징으로 하는 디지털 영상 처리 시스템.
  37. 제 36항에 있어서, 상기 2D 초정밀화 처리부는
    상기 더 고정밀 영상의 픽셀 휘도값을 원정밀 영상에 맞춰 절단하고, 그 결과 상기 입력 영상의 픽셀 휘도값과 동일해지는 것을 보장함으로써 상기 입력 영상의 픽셀과 상기 더 고정밀 영상의 픽셀의 휘도값 간의 차이를 제한하는 것을 특징으로 하는 디지털 영상 처리 시스템.
KR1020070027810A 2006-03-30 2007-03-21 서서히 변화하는 부분에 대한 재귀적 ３ｄ 초정밀화 방법 KR20070098540A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/394,954 US8090210B2 (en) 2006-03-30 2006-03-30 Recursive 3D super precision method for smoothly changing area
US11/394,954 2006-03-30

Publications (1)

Publication Number Publication Date
KR20070098540A true KR20070098540A (ko) 2007-10-05

Family

ID=38574817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070027810A KR20070098540A (ko) 2006-03-30 2007-03-21 서서히 변화하는 부분에 대한 재귀적 ３ｄ 초정밀화 방법

Country Status (3)

Country Link
US (1) US8090210B2 (ko)
KR (1) KR20070098540A (ko)
CN (1) CN101047780A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204333B2 (en) * 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
US8760466B1 (en) * 2010-01-18 2014-06-24 Pixar Coherent noise for non-photorealistic rendering
CN113037991B (zh) * 2019-12-25 2022-07-05 瑞昱半导体股份有限公司 信号处理装置与信号处理方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4639784A (en) * 1985-02-19 1987-01-27 Rca Corporation Video signal recursive filter adaptively controlled responsive to the history of image motion
US4646754A (en) 1985-02-19 1987-03-03 Seale Joseph B Non-invasive determination of mechanical characteristics in the body
US4646138A (en) * 1985-03-25 1987-02-24 Rca Corporation Video signal recursive filter with luma/chroma separation
US4897720A (en) * 1988-03-14 1990-01-30 Bell Communications Research, Inc. Circuit implementation of block matching algorithm
US5218649A (en) 1990-05-04 1993-06-08 U S West Advanced Technologies, Inc. Image enhancement system
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
JPH05508281A (ja) 1991-04-18 1993-11-18 イーストマン・コダック・カンパニー 最小視覚ひずみのためのディジタル画像信号の二次量子化
DE69324513T2 (de) 1992-02-11 1999-10-21 Eastman Kodak Co System zur Bildherstellung und zugeordnetes Verfahren zur Minimierung von Konturen für ein quantisiertes Digitalfarbbild
KR960012932B1 (ko) * 1993-09-17 1996-09-25 대우전자 주식회사 이차원 공간 필터링을 이용한 시간축 대역 제한 방법
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5502489A (en) * 1994-01-03 1996-03-26 Daewoo Electronics Co., Ltd. Method for the motion adaptive spatial filtering of video signals in an image coding apparatus
US5469267A (en) 1994-04-08 1995-11-21 The University Of Rochester Halftone correction system
US5802218A (en) 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
US5734744A (en) 1995-06-07 1998-03-31 Pixar Method and apparatus for compression and decompression of color data
US5801657A (en) 1997-02-05 1998-09-01 Stanford University Serial analog-to-digital converter using successive comparisons
US6457032B1 (en) 1997-11-15 2002-09-24 Cognex Corporation Efficient flexible digital filtering
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
US6668097B1 (en) 1998-09-10 2003-12-23 Wisconsin Alumni Research Foundation Method and apparatus for the reduction of artifact in decompressed images using morphological post-filtering
US6310982B1 (en) * 1998-11-12 2001-10-30 Oec Medical Systems, Inc. Method and apparatus for reducing motion artifacts and noise in video image processing
US20020141499A1 (en) * 1999-02-04 2002-10-03 Goertzen Kenbe D. Scalable programmable motion image system
US6724942B1 (en) 1999-05-24 2004-04-20 Fuji Photo Film Co., Ltd. Image processing method and system
US7203234B1 (en) 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
CN1491095A (zh) 2001-01-19 2004-04-21 株式会社东芝 使用高精度线圈感度图的并行mr成象
US6983078B2 (en) 2001-05-01 2006-01-03 Hewlett-Packard Development Company, L.P. System and method for improving image quality in processed images
US7003174B2 (en) 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US6862372B2 (en) 2001-12-27 2005-03-01 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement using coding information and local spatial features
US7375760B2 (en) * 2001-12-31 2008-05-20 Texas Instruments Incorporated Content-dependent scan rate converter with adaptive noise reduction
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
JP4285628B2 (ja) 2002-03-20 2009-06-24 富士フイルム株式会社 画像処理方法および装置並びにプログラム
US7218418B2 (en) 2002-07-01 2007-05-15 Xerox Corporation Digital de-screening of documents
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
AU2003283706A1 (en) 2002-12-05 2004-06-23 Koninklijke Philips Electronics N.V. Method and apparatus for removing false edges from a segmented image
US7209105B2 (en) 2003-06-06 2007-04-24 Clairvoyante, Inc System and method for compensating for visual effects upon panels having fixed pattern noise with reduced quantization error
US7190380B2 (en) 2003-09-26 2007-03-13 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
US7148831B2 (en) 2003-10-27 2006-12-12 Micron Technology, Inc. Variable quantization ADC for image sensors
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
KR100723408B1 (ko) 2004-07-22 2007-05-30 삼성전자주식회사 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
US7420570B2 (en) 2005-04-14 2008-09-02 Samsung Electronics Co., Ltd. Methods and systems for video processing using super dithering
US7330193B2 (en) * 2005-07-08 2008-02-12 Seiko Epson Corporation Low noise dithering and color palette designs
US20070140582A1 (en) * 2005-10-17 2007-06-21 Siemens Corporate Research Inc Systems and Methods For Reducing Noise In Image Sequences
US7551795B2 (en) 2005-11-01 2009-06-23 Samsung Electronics Co., Ltd. Method and system for quantization artifact removal using super precision
US7826671B2 (en) 2006-11-21 2010-11-02 Samsung Electronics Co., Ltd. Method and system for quantization layer reduction in digital image processing
US7925086B2 (en) 2007-01-18 2011-04-12 Samsung Electronics Co, Ltd. Method and system for adaptive quantization layer reduction in image processing applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Also Published As

Publication number Publication date
US8090210B2 (en) 2012-01-03
CN101047780A (zh) 2007-10-03
US20070236610A1 (en) 2007-10-11

Similar Documents

Publication Publication Date Title
KR100750176B1 (ko) 초정밀화를 이용한 양자화 아티팩트 제거 방법 및 시스템
US9256926B2 (en) Use of inpainting techniques for image correction
US9202263B2 (en) System and method for spatio video image enhancement
EP3580924B1 (en) Method and apparatus for processing an image property map
US8244054B2 (en) Method, apparatus and integrated circuit capable of reducing image ringing noise
KR20050041886A (ko) 전역 통계 및 국부 통계에 의해 컨트롤되는 노이즈 감소장치 및 그 방법
KR101622363B1 (ko) 필름 모드 또는 카메라 모드의 검출을 위한 방법
CN106210448B (zh) 一种视频图像抖动消除处理方法
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
CN107437238B (zh) 一种图像分块自适应递归降噪方法及装置
EP3171595A1 (en) Enhanced search strategies for hierarchical motion estimation
CN111161172A (zh) 一种红外图像列向条纹消除方法、系统及计算机存储介质
US20200394760A1 (en) Image adjustment method and associated image processing circuit
KR20070098540A (ko) 서서히 변화하는 부분에 대한 재귀적 ３ｄ 초정밀화 방법
US11222412B2 (en) Image processing device and method
CN110197467A (zh) 一种基于fpga图像透雾的优化系统
US20110242423A1 (en) Method and Apparatus for Motion Detection
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
KR100782848B1 (ko) 디지털 이미지 처리 방법 및 그 시스템
KR20050014567A (ko) 움직임 타입 판단 장치 및 방법
JPH10262160A (ja) Ｓｎ比検出装置および雑音低減装置
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
US9008463B2 (en) Image expansion apparatus for performing interpolation processing on input image data, and image expansion method thereof
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid