KR20070063369A - 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 - Google Patents

움직임 추정 기반 프레임 보간을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20070063369A
KR20070063369A KR1020050123512A KR20050123512A KR20070063369A KR 20070063369 A KR20070063369 A KR 20070063369A KR 1020050123512 A KR1020050123512 A KR 1020050123512A KR 20050123512 A KR20050123512 A KR 20050123512A KR 20070063369 A KR20070063369 A KR 20070063369A
Authority
KR
South Korea
Prior art keywords
motion vector
value
frame
block
sad
Prior art date
Application number
KR1020050123512A
Other languages
English (en)
Other versions
KR100843083B1 (ko
Inventor
이호영
오현화
김창용
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050123512A priority Critical patent/KR100843083B1/ko
Priority to US11/637,803 priority patent/US20070133686A1/en
Publication of KR20070063369A publication Critical patent/KR20070063369A/ko
Application granted granted Critical
Publication of KR100843083B1 publication Critical patent/KR100843083B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 움직임 추정 기반 프레임 보간을 위한 장치 및 방법에 관한 것으로서, 더욱 상세하게는 영상 프레임 소스의 프레임율을 영상 프레임을 디스플레이하는 장치에 따라 용이하게 변환할 수 있는 움직임 추정 기반 프레임 보간을 위한 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치는, 소정 프레임 내 블록에 대한 최종 움직임 벡터를 추정하는 움직임 벡터 추정부, 상기 추정된 최종 움직임 벡터를 평탄화하는 움직임 벡터 후처리부, 상기 평탄화된 최종 움직임 벡터를 가지는 블록들간의 불연속성에 따른 에러를 은닉하는 움직임 에러 은닉부를 포함한다.
움직임 벡터, 움직임 추정, 프레임

Description

움직임 추정 기반 프레임 보간을 위한 장치 및 방법{Apparatus and method for compensating frame based on motion estimation}
도 1은 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치가 도시된 도면.
도 2는 본 발명의 실시예에 따라 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록이 도시된 도면.
도 3은 본 발명의 실시예에 따른 전역 탐색 영역 및 제한 탐색 영역이 도시된 도면.
도 4는 본 발명의 실시예에 따른 불연속성이 발생한 경계면이 도시된 도면.
도 5는 본 발명의 실시예에 따라 움직임 벡터의 방향이 다른 블록 그룹이 도시된 도면.
도 6은 본 발명의 실시예에 따라 이전 프레임을 반복 사용할 경우의 전역 탐색에 사용되는 블록 개수가 도시된 도면.
도 7은 본 발명의 실시예에 따른 움직임 추정을 사용할 경우의 전역 탐색에 사용되는 블록 개수가 도시된 도면.
도 8은 본 발명의 실시예에 따른 최종 움직임 벡터를 추정하는 방법이 도시된 도면.
도 9는 본 발명의 실시예에 따른 움직임 벡터 후처리 방법이 도시된 도면.
도 10은 본 발명의 실시예에 따른 다수의 대표 방향이 도시된 도면.
도 11은 본 발명의 실시예에 따른 가중 평균을 산출하는 방법이 도시된 도면.
<도면의 주요 부분에 관한 부호의 설명>
110: 움직임 벡터 추정부 120: 움직임 벡터 후처리부
130: 움직임 에러 은닉부 140: 프레임 반복부
150: 움직임 벡터 저장부
본 발명은 움직임 추정 기반 프레임 보간 장치 및 방법에 관한 것으로서, 더욱 상세하게는 영상 프레임 소스의 프레임율을 영상 프레임을 디스플레이하는 장치에 따라 용이하게 변환할 수 있는 움직임 추정 기반 프레임 보간을 위한 장치 및 방법에 관한 것이다.
일반적으로 텔레비전 시스템은 NTSC(National Television System Committee), PAL(Phase Alternation by Line system) 및 SECAM(System Electronique Avec Memoire) 등이 있다. NTSC는 미국, 한국, 일본 및 캐나다 등에서 채택하고 있고, PAL은 유럽, 중국 및 북한 등에서 채택하고 있으며, SECAM은 프랑스 및 러시아 등에서 채택하고 있다.
여기서, NTSC는 주사선수가 525선이고 필드주파수는 60필드/초이고, PAL 및 SECAM은 주사선수가 625선이고 필드주파수는 50필드/초이다. 이때, 필드주파수는 초당 프레임수(이하, '프레임율'이라 함)로 이해될 수 있다. 다시 말해서, 전술한 바와 같은 텔레비전 시스템들은 해당하는 프레임율에 따라 영상 프레임 소스를 출력하게 되는 것이다.
이와 같이, 각 텔레비전 시스템이 서로 다른 프레임율을 사용하기 때문에 PAL을 사용하는 텔레비전 시스템에서는 정상적으로 출력되는 영상 프레임 소스가 PAL보다 프레임율이 높은 NTSC에서 출력될 경우에는 초당 출력되는 프레임수가 적기 때문에 화질 열화가 발생하게 된다. 따라서, 텔레비전 시스템에 따라 초당 출력하는 프레임수가 다르기 때문에 발생되는 화질 열화를 극복하기 위하여 소정 프레임을 반복적으로 출력하는 방법이 사용되어지고 있다. 한편, 전술한 영상 프레임 소스 이외에도 초당 24프레임 또는 25프레임을 가지는 필름 소스 등을 출력하는 경우에도 텔레비전 시스템과의 프레임율이 다르기 때문에 화질의 열화가 발생하는 문제점이 있다.
그러나, 최근 급부상하고 있는 디지털 텔레비전의 경우에는 전술한 바와 같은 단순한 프레임의 반복으로만은 화질 개선의 한계가 있다는 문제점이 있다. 따라서, 고해상도의 디지털 텔레비전에서 프레임율 변환시에 화질 열화 인식 정도를 감소시킬 수 있는 방안이 요구되고 있다.
한국 공개 특허 2001-082934는 최소 오차를 갖는 움직임 벡터 이외에 영벡터 및 예측 움직임 벡터를 고려하여 움직임 벡터를 선택함으로써 부호화 효율을 향상 시키는 움직임 추정 방법 및 장치를 개시하고 있으나, 이는 동영상 부호화기의 움직임 추정에서 움직임 보상 오차와 함께 발생되는 움직임 벡터의 비트의 길이를 고려하여 영벡터, 예측 움직임 벡터, 최소 오차 움직임 벡터 중에서 적절한 가중치를 이용하여 적응적으로 움직임 벡터를 선택하여 부호화 효율을 향상시키는 것에 관한 것으로, 서로 다른 프레임율을 가지는 기기에서 동일한 영상 프레임 소스를 출력할 경우에 프레임율을 변환시키는 방안은 개시되고 있지 않다.
본 발명은 영상 프레임을 출력하는 기기의 프레임율에 따라 영상 프레임 소스의 프레임율을 변환하여 영상 프레임 소스 출력시 화질 열화가 발생하는 것을 방지할 수 있는 움직임 추정 기반 프레임 보간을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치는, 소정 프레임 내 블록에 대한 최종 움직임 벡터를 추정하는 움직임 벡터 추정부, 상기 추정된 최종 움직임 벡터를 평탄화하는 움직임 벡터 후처리부, 상기 평탄화된 최종 움직임 벡터를 가지는 블록들간의 불연속성에 따른 에러를 은닉하는 움직임 에러 은닉부를 포함한다.
또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 방법은, 소정 프레임 내 블록에 대한 최종 움직임 벡터를 추정하는 단계, 상기 추정된 최종 움직임 벡터를 평탄화하는 단계, 및 상기 평탄화된 최종 움직임 벡터를 가지는 블록들간의 불연속성에 따른 에러를 은닉하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범수를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 움직임 추정 기반 프레임 보간을 위한 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으 므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
일반적으로 프레임율이 다른 영상 프레임 소스를 출력할 경우에는 영상 프레 임 소스를 출력하는 기기의 프레임율에 따라 영상 프레임 소스의 프레임율을 변환하는 과정을 거치게 된다. 다시 말해서, 영상 프레임 소스의 프레임율이 영상 프레임 소스를 출력하는 기기에 비하여 높은 경우에는 소정 프레임을 스킵하게 되며, 그렇지 않은 경우에는 영상 프레임 소스의 프레임수를 증가시켜 영상 프레임 소스를 출력하는 기기의 프레임율과 맞추게 된다.
이때, 영상 프레임 소스의 프레임수를 증가시키는 방법으로는, 소정 프레임을 반복 출력하거나 영상 프레임 소스에서 소정의 두 프레임간의 움직임 추정 및 보정을 통해 프레임을 추가하게 된다.
따라서, 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치는, 전술한 바와 같이, 영상 프레임 소스에서 소정의 두 프레임간의 움직임 추정 및 보정을 통해 프레임을 추가할 경우, 고화질의 영상 프레임 소스를 출력할 수 있기 위한 것으로, 도 1은 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치가 도시된 도면이다.
도시된 바와 같이, 본 발명의 실시예에 따른 움직임 추정 기반 프레임 보간을 위한 장치(100)는, 움직임 벡터 추정부(110), 움직임 벡터 후처리부(120), 움직임 에러 은닉부(130), 프레임 반복부(140) 및 움직임 벡터 저장부(150)를 포함할 수 있다.
움직임 벡터 추정부(110)는 영상 프레임에서 각 프레임간 움직임이 강한 시간적 연관성(Temporal Correlation)을 가지는 특성을 근거로 하여 현재 프레임의 소정 블록과 동일한 위치에 있는 이전 프레임의 블록에 대한 움직임 벡터를 후보 벡터로 하여 최적의 움직임 벡터를 추정할 수 있다. 이때, 본 발명의 실시예에서 이전 프레임의 움직임 벡터는 움직임 벡터 저장부(150)에 저장된 경우를 예를 들어 설명하기로 한다. 움직임 벡터 저장부(150)는 캐쉬, ROM, PROM, EPROM, EEPROM, 플래쉬, SRAM 및 DRAM과 같은 형태의 장치들이 포함될 수 있으나, 이에 한정되지는 않는다.
구체적으로, 도 2와 같이 현재 프레임에서 소정 블록(210)의 움직임 벡터를 추정하기 위해서는 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록(210)에 대해 이전 프레임에서 동일한 위치의 블록(220)과 그 주변 블록(231, 232, 233, 234, 235, 236, 237, 238) 8개의 움직임 벡터를 후보 벡터로 하여 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록(210)의 최적 후보 움직임 벡터를 추정할 수 있다. 이때, 현재 프레임은 영상 프레임 소스의 프레임에 비하여 영상 프레임 소스를 출력하는 기기의 프레임율이 높은 경우 추가되는 프레임으로 이해될 수 있다.
이때, 최적 후보 움직임 벡터는 식 1과 같이 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록과 동일한 위치에 있는 이전 프레임의 블록 및 그 주변의 8개 블록의 움직임 벡터 가운데 최소 SAD(Sum of Absolute Differences) 값을 가지는 움직임 벡터를 최적 후보 움직임 벡터로 추정하게 된다.
[식 1]
Figure 112005073238169-PAT00001
식 1에서
Figure 112005073238169-PAT00002
는 최적 후보 움직임 벡터,
Figure 112005073238169-PAT00003
는 최적 후보 움직임 벡터,
Figure 112005073238169-PAT00004
는 후보 움직임 벡터,
Figure 112005073238169-PAT00005
는 전체 후보 움직임 벡터 집합,
Figure 112005073238169-PAT00006
는 Y신호의 휘도값,
Figure 112005073238169-PAT00007
및
Figure 112005073238169-PAT00008
는 현재 움직임을 추정하고자 하는 공간적 위치,
Figure 112005073238169-PAT00009
은 프레임 번호를 의미한다.
움직임 벡터 추정부(110)는 전술한 최적 후보 움직임 벡터를 추정한 후, 최적 움직임 벡터를 추정하기 위해 추정된 최적 후보 움직임 벡터에 따른 움직임과 이전 프레임의 움직임의 유사도에 따라 추정된 최적 후보 움직임 벡터를 수정하여 최종 움직임 벡터를 추정하게 된다.
구체적으로, 최종 움직임 벡터는 바이패스(Bypass), 제한 영역 탐색을 통한 갱신, 전역 영역 탐색을 통한 갱신 등의 방법을 통해 추정될 수 있다. 이러한 최종 움직임 벡터를 추정하는 방법은 각 방법에 대한 SAD값을 구하고, 구해진 각 SAD값의 관계에 따라 결정될 수 있다. 이하, 본 발명의 실시예에서 최종 움직임 벡터를 추정하는 방법인 바이패스를 제 1방법, 제한 탐색 영역을 통한 갱신을 제 2방법, 전체 탐색 영역을 통한 갱신을 제 3방법이라 칭하기로 한다. 이때, 제 1방법은 현재 프레임의 소정 블록의 움직임이 이전 프레임의 움직임과 거의 유사한 경우로 이전 프레임에서 추정된 최적 후보 움직임 벡터를 최종 움직임 벡터로 사용하는 방법이며, 제 2방법은 제 3방법에 비하여 제한된 탐색 영역에 대해 최적 후보 움직임 벡터를 갱신하는 방법이다. 또한, 제 3방법은 전체 탐색 영역에 대해 최적 후보 움 직임 벡터와 관계없이 탐색을 수행하여 최종 움직임 벡터를 갱신하는 방법이다.
이와 같은 최종 움직임 벡터를 추정하는 방법을 보다 상세하게 살펴보면, 우선 각 방법들에 대한 SAD값을 구하고, 이들의 SAD값 중에서 최대값 및 최소값을 구하게 된다. 이때, 최대값 및 최소값간의 차이에 대한 절대치가 임계치를 초과하는 경우 이전 프레임과의 연관성이 매우 적은 것으로 판단하여 제 3방법을 사용하게 된다. 한편, 절대치가 임계치보다 작고 최대값과 최소값이 동일한 경우에는 제 1방법을 사용하며, 그렇지 않은 경우에는 제 1방법과 제 2방법에 대한 SAD값을 비교하여 제 2방법에 대한 SAD값이 제 1방법에 비하여 충분히 작은 경우에만 제 2방법을 사용하게 된다. 또한, 최종 움직임 벡터를 추정하는 방법에서 제한 탐색 영역 및 전체 탐색 영역은 도 3과 같이, 소정 프레임에서 전체 탐색 영역(310)에 비하여 제한 탐색 영역(320)이 작은 영역을 가지게 되며, 도 3에서는 X축 및 Y축 방향에 대한 탐색 영역의 일 예를 도시하고 있다.
움직임 벡터 후처리부(120)는 전술한 움직임 추정부(110)에 의해 추정된 최종 움직임 벡터는 강한 공간적인 연관성을 가진다는 특성을 근거로 하여 추정된 최종 움직임 벡터를 평탄화하는 과정을 수행할 수 있다.
이러한 움직임 벡터 후처리부(120)는 소정 프레임내 움직임 벡터들의 방향을 소정 개수의 대표 방향으로 구분하고, 소정 프레임의 대표 움직임 벡터를 구하게 된다. 본 발명의 실시예에서는 움직임 벡터 후처리부(120)가 움직임 벡터들의 방향을 9개의 대표 방향으로 구분한 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로 구분되는 대표 방향의 개수는 증가 또 는 감소될 수 있다.
움직임 벡터 후처리부(120)는 소정 프레임내의 움직임 벡터들의 방향을 양자화하고 전술한 다수의 대표 방향에 속하는 블록 수를 구하여 가장 많은 블록 수를 가지는 대표 방향을 대표 움직임 방향으로 결정하게 된다. 또한, 움직임 벡터 후처리부(120)는 결정된 대표 움직임 방향에 속하는 블록들만을 이용하여 각 블록의 SAD값을 이용한 가중 평균을 이용하여 후처리된 최종 움직임 벡터를 추출하게 된다. 다시 말해서, 소정 프레임 내 각 블록들이 이웃하는 블록과 강한 공간적 연관성을 가지는 특성을 이용하여 블록간 연속적인 움직임 벡터 방향을 가지도록 평탄화하는 것이다.
움직임 에러 은닉부(130)는 최종 움직임 벡터 후처리 후, 정지된 배경에 대해 카메라가 움직이거나 수평 방향으로 강한 움직임을 갖는 등의 강한 패닝(Panning) 등이 발생하는 경우 도 4와 같이 물체의 경계면(410)에서 움직임 벡터의 불연속으로 인해 매우 심각한 화질 열화가 발생할 수 있기 때문에 이를 은닉하는 역할을 수행할 수 있다. 본 발명의 실시예에서는 움직임 벡터의 X축 방향 성분과 반대 방향의 움직임 벡터를 가지는 블록들간의 불연속성을 검출하는 경우를 예를 들어 설명하기로 한다.
구체적으로, 움직임 에러 은닉부(130)는 소정 프레임 내 소정 블록의 움직임 벡터의 X축 방향 성분의 방향과 이웃하는 블록의 움직임 벡터의 X축 방향 성분의 차이를 통해 불연속성을 검출할 수 있다. 이때, X축 방향 성분의 방향별 차이는 식 2와 같이, 중심 블록의 움직임 벡터와 이웃하는 블록의 움직임 벡터의 차의 절대치 를 통해 구해질 수 있다.
[식 2]
Figure 112005073238169-PAT00010
식 2에서
Figure 112005073238169-PAT00011
는 절대치,
Figure 112005073238169-PAT00012
는 움직임 벡터가 0인 블록,
Figure 112005073238169-PAT00013
는 이웃하는 블록의 움직임 벡터를 의미한다. 다시 말해서, 도 5와 같이 5*3 블록에서 움직임 벡터가 0인 블록 그룹(510), 움직임 벡터가 0보다 작은 블록 그룹(520) 및 움직임 벡터가 0보다 큰 블록 그룹(530)간의 움직임 벡터의 차이에 대한 절대치가 임계치 이상인 블록이 소정 블록 개수 이상인 경우에는 전술한 도 4에서 경계면(410)에서 움직임 벡터가 불연속적인 것으로 판단하여 식 3과 같은 비선형 필터링을 사용하여 에러를 은닉하게 된다.
[식 3]
Figure 112005073238169-PAT00014
Figure 112005073238169-PAT00015
식 3에서
Figure 112005073238169-PAT00016
는 현재 프레임의 원신호값,
Figure 112005073238169-PAT00017
는 이전 프레임 원신호값,
Figure 112005073238169-PAT00018
는 현재 블록의 최종 움직임 벡터를 이용한 보상 데이터값을 의미한다. 이때, 본 발명의 실시예에서 보상 데이터값은 OBMC(Overlapped Block Motion Compensation) 기법이 사용될 수 있다.
프레임 반복부(140)는 전술한 바와 같은 움직임 추정은 탐색 영역의 크기에 따라 추정할 수 있는 최대 움직임 정보에 제한을 받게 되며, 실제 자연상에 존재하는 다양한 움직임에 대해 움직임 추정은 매우 다양하게 나타날 수 있기 때문에 움직임 추정의 정확도가 떨어질 경우 움직임 보간에 비하여 이전 프레임의 원신호를 반복적으로 사용할 것인지의 여부를 결정할 수 있다. 다시 말해서, 움직임이 탐색 영역을 벗어나는 경우에는 현재 프레임과 이전 프레임 사이에 시간적-공간적 연관성이 매우 낮게 되고, 그로 인해 움직임 보간에 비하여 이전 프레임의 원신호를 반복적으로 사용하는 것이 움직임 추정의 신뢰도를 향상시킬 수 있기 때문이다.
본 발명의 실시예에서 프레임 반복부(140)는 전역 탐색에 사용되는 블록의 개수에 따라 적응적으로 이전 프레임을 반복적으로 사용할 것인지의 여부를 결정하는 경우를 예를 들어 설명하기로 한다.
구체적으로, 전역 탐색 영역 내에서 움직임 추정의 신뢰도가 낮은 경우 전역 탐색에 사용되는 블록의 개수가 상대적으로 증가하게 되는데, 프레임 반복부(140)는 전역 탐색에 사용되는 블록의 개수가 현저하게 감소되지 않을 경우 움직임 벡터가 수렴하지 않는 것으로 판단하고, 이전 프레임의 원신호를 반복적으로 사용하게 된다.
예를 들어, 도 6과 같이, 수렴 제한 프레임 구간(610)에서 전역 탐색에 사용된 블록의 개수가 임계치 이하로 감소될 경우에는 전술한 바와 같은 움직임 추정을 사용하게 되고, 도 7과 같이, 수렴 제한 프레임 구간(610)에서 전역 탐색에 사용된 블록의 개수가 임계치를 초과하는 경우에는 현재 프레임과 이전 프레임 사이에 시간적-공간적 연관성이 매우 낮은 것으로 판단하여 이전 프레임의 원신호를 반복적으로 사용하는 것이다.
도 8은 본 발명의 실시예에 따른 최종 움직임 벡터를 추정하는 방법이 도시된 도면이다.
도시된 바와 같이, 본 발명의 실시예에 따른 최종 움직임 벡터를 추정하는 방법은, 먼저 움직임 벡터 추정부(110)는 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록에 대해 이전 프레임에서 동일한 위치의 블록 및 그 주변 블록의 움직임 벡터를 후보 벡터로 설정한다(S110).
움직임 벡터 추정부(110)는 추정된 후보 벡터 중 전술한 식 1에서 최소 SAD값을 가지는 최적 후보 움직임 벡터로 추정한다(S120). 이후, 움직임 벡터 추정부(110)는 추정된 최적 후보 움직임 벡터를 갱신할 것인지의 여부를 결정하게 된다. 다시 말해서, 전술한 제 1내지 제 3방법을 사용하여 최적 후보 움직임 벡터의 갱신 여부를 결정하게 된다.
이때, 움직임 벡터 추정부(110)는 각 방법에 대한 SAD값을 산출한다(S130).
또한, 움직임 벡터 추정부(110)는 산출된 각 방법에 대한 SAD값 중 최대값 및 최소값의 차에 대한 절대치가 임계치를 초과하는지의 여부를 판단한다(S140).
판단 결과, S140 단계에서 구해진 절대치가 임계치를 초과하고, 최소값이 제 3방법에 대한 SAD값일 경우, 움직임 벡터 추정부(110)는 제 3방법을 통해 최적 후보 움직임 벡터를 갱신한다(S150).
만일, S140 단계에서 구해진 절대치가 임계치를 초과하지 않는 경우에는 각 방법에 대한 SAD값 중 최소값과 최대값이 동일한지의 여부를 판단하고(S160), 판단 결과 최소값과 최대값이 동일한 경우에는 제 1방법을 사용하여 최적 후보 움직임 벡터를 수정 없이 최종 움직임 벡터로 사용하게 된다(S170).
한편, 각 방법에 대한 SAD값 중 최소값과 최대값이 다른 경우에는 최대값이 제 1방법에 대한 SAD값인지의 여부를 판단하고(S180), 판단 결과 최대값이 제 1방법에 대한 SAD값인 경우 제 1방법 및 제 2방법에 대한 SAD값의 차이의 절대값이 임계치보다 크고 제 1방법에 대한 SAD값이 제 2방법에 대한 SAD값보다 큰 경우(S190), 제 2방법을 사용하고(S200), 그렇지 않은 경우에는 제 1방법을 사용하여 최적 후보 움직임 벡터를 갱신하게 되고, 갱신된 최적 후보 움직임 벡터를 최종 움직임 벡터로 사용하게 된다. 이때, 전술한 도 8의 S150, S170 및 S200 단계에 의해 갱신된 최적 후보 움직임 벡터가 최종 움직임 벡터로 사용되는 것이다.
도 9는 본 발명의 실시예에 따른 움직임 벡터 후처리 방법이 도시된 도면이다.
도시된 바와 같이, 본 발명의 실시예에 따른 움직임 벡터 후처리 방법은, 먼저 움직임 벡터 후처리부(120)가 소정 프레임내 움직임 벡터들의 방향을 소정 개수의 대표 방향으로 구분한다(S210). 본 발명의 실시예에서는 대표 방향이 9개로 구분된 경우를 예를 들어 설명하기로 한다. 다시 말해서, 도 10과 같이 대표 방향을 9개로 구분하고, 중앙은 움직임 벡터가 0인 영역이다.
이후, 움직임 벡터 후처리부(120)는 전술한 각 대표 방향 중 가장 많은 블록 수를 가지는 대표 방향을 대표 움직임 방향으로 결정하게 된다(S220).
또한, 움직임 벡터 후처리부9120)는 대표 움직임 방향에 속하는 블록들만을 이용하여 각 블록의 SAD값을 이용한 가중 평균을 이용하여 후처리된 최종 움직임 벡터를 추출하게 된다(S230).
도 11은 전술한 도 9의 가중 평균을 산출하는 방법이 도시된 도면이다.
도시된 바와 같이, 본 발명의 실시예에 따른 가중 평균을 구하는 방법은, 먼저 움직임 벡터 후처리부(130)는 소정 프레임 내에서 전술한 대표 움직임 방향에 속한 각 블록들의 SAD값을 산출한다(S310). 이때, 본 발명의 실시예에서는 5*3 블록에 대한 경우를 예를 들어 설명하기로 하며, 그에 따라 15개 블록에 대한 SAD값을 각각 구하게 된다.
이후, 움직임 벡터 후처리부(130)는 각 블록에 대한 SAD값을 모두 더한 총합을 구하게 된다(S320). 이하, 본 발명의 실시예에서는 각 SAD값들의 총합을 SUM_SAD라 칭하기로 한다.
움직임 벡터 후처리부(130)는 각 SAD값들의 총합인 SUM_SAD로 대표 움직임 방향에 속한 각 블록의 SAD값을 나누어 가중 평균을 구하게 된다(S330). 이때, 움직임 에러 은닉부(130)는 대표 움직임 방향에 속하는 각 블록들의 각 SAD값을 모두 SUM_SAD로 나누게 되어 각 블록들에 대한 가중 평균을 모두 구하게 된다.
이후, 움직임 벡터 후처리부(130)는 전술한 대표 움직임 방향에 속한 각 블록들의 움직임 벡터에 전술한 가중 평균을 곱하여 후처리된 최종 움직임 벡터를 추출하게 된다(S340).
상기 '부'는 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 부는 어떤 역할들을 수행한다. 그렇지만 부는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 부는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 부는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 부들에서 제공되는 기능은 더 작은 수의 구성요소들 및 부들로 결합되거나 추가적인 구성요소들과 부들로 더 분리될 수 있다.
이상과 같이 본 발명에 따른 움직임 추정 기반 프레임 보간을 위한 장치 및 방법을 예시된 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않으며 그 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
상기한 바와 같은 본 발명의 움직임 추정 기반 프레임 보간을 위한 장치 및 방법에 따르면, 다양한 프레임율의 영상 프레임 소스를 고정된 프레임율을 가지는 기기에서 출력할 경우, 영상 프레임의 움직임 추정을 통해 영상 프레임 소스의 프 레임율을 변환시킬 수 있기 때문에 고정밀 영상 프레임을 출력할 수 있다는 효과가 있다.

Claims (16)

  1. 소정 프레임 내 블록에 대한 최종 움직임 벡터를 추정하는 움직임 벡터 추정부;
    상기 추정된 최종 움직임 벡터를 평탄화하는 움직임 벡터 후처리부;
    상기 평탄화된 최종 움직임 벡터를 가지는 블록들간의 불연속성에 따른 에러를 은닉하는 움직임 에러 은닉부를 포함하는 움직임 추정 기반 프레임 보간을 위한 장치.
  2. 제 1 항에 있어서,
    상기 움직임 벡터 추정부는, 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록과 동일한 위치를 가지는 이전 프레임의 블록 및 상기 이전 프레임의 블록의 주변 블록에 대한 움직임 벡터를 후보 벡터로 설정하고, 상기 후보 벡터 중 최소 SAD(Sum of Absolute Differences)값을 가지는 후보 벡터를 최적 후보 움직임 벡터로 추정하며, 상기 추정된 최적 후보 움직임 벡터를 상기 최종 움직임 벡터로 사용하는 제 1방법, 상기 추정된 최적 후보 움직임 벡터를 제한 탐색 영역에 대해 갱신하는 제 2방법 및 상기 추정된 최적 후보 움직임 벡터를 전체 탐색 영역에 대해 갱신하는 제 3방법 중 적어도 하나의 방법을 통해 상기 최종 움직임 벡터를 추정하는 움직임 추정 기반 프레임 보간을 위한 장치
  3. 제 2 항에 있어서,
    상기 움직임 벡터 추정부는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치를 초과하는 경우, 상기 제 3방법을 통해 상기 최종 움직임 벡터를 추정하는 움직임 추정 기반 프레임 보간을 위한 장치.
  4. 제 2 항에 있어서,
    상기 움직임 벡터 추정부는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치 이하이며, 상기 최대값 및 상기 최소값이 동일할 경우 상기 제 1방법을 통해 상기 최종 움직임 벡터를 추정하는 움직임 추정 기반 프레임 보간을 위한 장치.
  5. 제 2 항에 있어서,
    상기 움직임 벡터 추정부는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치 이하이며, 상기 제 1방법에 대한 SAD값이 상기 최대값이고 상기 제 2방법에 대한 SAD값이 상기 제 1방법에 대한 SAD값보다 소정의 임계치 이상 작은 경우, 상기 제 2방법을 통해 상기 최종 움직임 벡터를 추정하는 움직임 추정 기반 프레임 보간을 위한 장치.
  6. 제 2 항에 있어서,
    소정 프레임 구간 동안 상기 제 1 내지 제 3 방법에 탐색에 사용된 블록의 수가 소정의 임계치를 초과하는 경우 이전 프레임을 반복사용하는 프레임 반복부를 더 포함하는 움직임 추정 기반 프레임 보간을 위한 장치.
  7. 제 1 항에 있어서,
    상기 움직임 벡터 후처리부는, 상기 프레임 내 블록들의 움직임 벡터들의 방향을 소정 개수의 대표 방향으로 구분하고, 상기 구분된 대표 방향 중 상기 움직임 벡터들이 가장 많이 속한 대표 방향을 대표 움직임 방향으로 설정하고 상기 설정된 대표 움직임 방향에 속하는 각 블록들의 SAD값을 상기 대표 움직임 방향에 속하는 모든 블록의 SAD값을 합한 총합으로 나눈 각 블록들에 대한 가중 평균을 구하며, 상기 구해진 각 블록들에 대한 가중 평균을 해당 블록의 최종 움직임 벡터에 적용하여 후처리된 최종 움직임 벡터를 추정하는 움직임 추정 기반 프레임 보간을 위한 장치.
  8. 제 1 항에 있어서,
    상기 움직임 에러 은닉부는, 상기 프레임에 속한 소정 물체의 경계면에 해당하는 블록의 움직임 벡터와 상기 경계면에 이웃하는 블록의 움직임 벡터의 차이에 대한 절대치가 소정의 임계치를 초과하는 경우 불연속성이 발생한 것으로 판단하 고, 상기 불연속성이 발생한 경우 비선형 필터링을 통해 화질 열화를 감소시키는 움직임 추정 기반 프레임 보간을 위한 장치
  9. 소정 프레임 내 블록에 대한 최종 움직임 벡터를 추정하는 단계;
    상기 추정된 최종 움직임 벡터를 평탄화하는 단계; 및
    상기 평탄화된 최종 움직임 벡터를 가지는 블록들간의 불연속성에 따른 에러를 은닉하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  10. 제 9 항에 있어서,
    상기 최종 움직임 벡터를 추정하는 단계는, 현재 프레임에서 움직임 벡터를 추정하고자 하는 블록과 동일한 위치를 가지는 이전 프레임의 블록 및 상기 이전 프레임의 블록의 주변 블록에 대한 움직임 벡터를 후보 벡터로 설정하는 단계;
    상기 후보 벡터 중 최소 SAD(Sum of Absolute Differences)값을 가지는 후보 벡터를 최적 후보 움직임 벡터로 추정하는 단계; 및
    상기 추정된 최적 후보 움직임 벡터를 상기 최종 움직임 벡터로 사용하는 제 1방법, 상기 추정된 최적 후보 움직임 벡터를 제한 탐색 영역에 대해 갱신하는 제 2방법 및 상기 추정된 최적 후보 움직임 벡터를 전체 탐색 영역에 대해 갱신하는 제 3방법 중 적어도 하나의 방법을 통해 상기 최종 움직임 벡터를 추정하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  11. 제 10 항에 있어서,
    상기 최종 움직임 벡터를 추정하는 단계는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치를 초과하는 경우, 상기 제 3방법을 통해 상기 최종 움직임 벡터를 추정하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  12. 제 10 항에 있어서,
    상기 최종 움직임 벡터를 추정하는 단계는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치 이하이며, 상기 최대값 및 상기 최소값이 동일할 경우 상기 제 1방법을 통해 상기 최종 움직임 벡터를 추정하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  13. 제 10 항에 있어서,
    상기 최종 움직임 벡터를 추정하는 단계는, 상기 제 1 내지 제 3방법에 대한 SAD값을 구하고, 상기 구해진 상기 제 1 내지 제 3 방법에 대한 SAD값중 최대값 및 최소값의 차이에 대한 절대치가 소정의 임계치 이하이며, 상기 제 1방법에 대한 SAD값이 상기 최대값이고 상기 제 2방법에 대한 SAD값이 상기 제 1방법에 대한 SAD값보다 소정의 임계치 이상 작은 경우, 상기 제 2방법을 통해 상기 최종 움직임 벡 터를 추정하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  14. 제 10 항에 있어서,
    소정 프레임 구간동안 상기 제 1 내지 제 3 방법에 탐색에 사용된 블록의 수가 소정의 임계치를 초과하는 경우 이전 프레임을 반복 사용하는 단계를 더 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  15. 제 9 항에 있어서,
    상기 최종 움직임 벡터를 평탄화하는 단계는, 상기 프레임 내 블록들의 움직임 벡터들의 방향을 소정 개수의 대표 방향으로 구분하고, 상기 구분된 대표 방향 중 상기 움직임 벡터들이 가장 많이 속한 대표 방향을 대표 움직임 방향으로 설정하는 단계;
    상기 설정된 대표 움직임 방향에 속하는 각 블록들의 SAD값을 상기 대표 움직임 방향에 속하는 모든 블록의 SAD값을 합한 총합으로 나눈 각 블록들에 대한 가중 평균을 구하는 단계; 및
    상기 구해진 각 블록들에 대한 가중 평균을 해당 블록의 최종 움직임 벡터에 적용하여 후처리된 최종 움직임 벡터를 추정하는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
  16. 제 9 항에 있어서,
    상기 움직임 에러를 은닉하는 단계는, 상기 프레임에 속한 소정 물체의 경계면에 해당하는 블록의 움직임 벡터와 상기 경계면에 이웃하는 블록의 움직임 벡터의 차이에 대한 절대치가 소정의 임계치를 초과하는 경우 불연속성이 발생한 것으로 판단하는 단계; 및
    상기 불연속성이 발생한 경우 비선형 필터링을 통해 화질 열화를 감소시키는 단계를 포함하는 움직임 추정 기반 프레임 보간을 위한 방법.
KR1020050123512A 2005-12-14 2005-12-14 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 KR100843083B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050123512A KR100843083B1 (ko) 2005-12-14 2005-12-14 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
US11/637,803 US20070133686A1 (en) 2005-12-14 2006-12-13 Apparatus and method for frame interpolation based on motion estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050123512A KR100843083B1 (ko) 2005-12-14 2005-12-14 움직임 추정 기반 프레임 보간을 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070063369A true KR20070063369A (ko) 2007-06-19
KR100843083B1 KR100843083B1 (ko) 2008-07-02

Family

ID=38139323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050123512A KR100843083B1 (ko) 2005-12-14 2005-12-14 움직임 추정 기반 프레임 보간을 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US20070133686A1 (ko)
KR (1) KR100843083B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958500B1 (ko) * 2007-07-13 2010-05-17 후지쯔 가부시끼가이샤 동화상 부호화 장치 및 동화상 부호화 방법
KR101299196B1 (ko) * 2011-09-20 2013-08-27 아주대학교산학협력단 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2028866A1 (en) * 2007-08-20 2009-02-25 Alcatel Lucent A device and associated method for concealing errors in decoded media units
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
JP4600530B2 (ja) * 2008-06-17 2010-12-15 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8306122B2 (en) * 2008-06-23 2012-11-06 Broadcom Corporation Method and apparatus for processing image data
TWI475882B (zh) * 2009-12-30 2015-03-01 Altek Corp Motion detection method using the adjusted digital camera of the shooting conditions
KR101106634B1 (ko) 2010-05-12 2012-01-20 전남대학교산학협력단 움직임 벡터 스무딩 장치 및 방법
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294957B1 (en) * 1987-06-09 1995-04-12 Sony Corporation Motion vector processing in digital television images
US5519451A (en) * 1994-04-14 1996-05-21 Texas Instruments Incorporated Motion adaptive scan-rate conversion using directional edge interpolation
KR100252949B1 (ko) * 1997-09-11 2000-04-15 구자홍 스캔컨버터회로
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100534207B1 (ko) * 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
US7515768B2 (en) * 2004-12-07 2009-04-07 Sony Corporation Method, and apparatus for processing image, recording medium and computer program
US20060133495A1 (en) * 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958500B1 (ko) * 2007-07-13 2010-05-17 후지쯔 가부시끼가이샤 동화상 부호화 장치 및 동화상 부호화 방법
KR101299196B1 (ko) * 2011-09-20 2013-08-27 아주대학교산학협력단 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법

Also Published As

Publication number Publication date
US20070133686A1 (en) 2007-06-14
KR100843083B1 (ko) 2008-07-02

Similar Documents

Publication Publication Date Title
KR100843083B1 (ko) 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
KR100870115B1 (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
US20120093231A1 (en) Image processing apparatus and image processing method
JP5012413B2 (ja) ジッタの推定方法およびジッタを推定する装置
US20080151106A1 (en) Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images
JP2008541508A (ja) 動き安定化
KR20080033094A (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
JP2000512091A (ja) 動作ベクトル処理
Tai et al. A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications
US20100272182A1 (en) Image flow knowledge assisted latency-free in-loop temporal filter
US8787696B1 (en) Method and apparatus for replacing a block of pixels in a digital image frame to conceal an error associated with the block of pixels
US20160360225A1 (en) Complementary Vectors
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JP2000201328A (ja) 動きベクトルの検出方法および回路
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP4886479B2 (ja) 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置
KR100961456B1 (ko) 프레임 차이 기반의 적응형 확장 블록을 이용한 움직임추정 방법
JP5701018B2 (ja) 画像復号装置
US20050286638A1 (en) Image flow knowledge assisted latency-free in-loop temporal filter
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
JP4261381B2 (ja) 映像信号処理装置
JP2008118340A (ja) 動きベクトル検出装置及びビデオ信号処理装置
Yu et al. Multidirectional motion estimation algorithm for frame rate up-conversion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120517

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130522

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee