KR20080008952A - 초해상도 기술을 이용한 비비월주사의 방법 및 시스템 - Google Patents

초해상도 기술을 이용한 비비월주사의 방법 및 시스템 Download PDF

Info

Publication number
KR20080008952A
KR20080008952A KR1020070047843A KR20070047843A KR20080008952A KR 20080008952 A KR20080008952 A KR 20080008952A KR 1020070047843 A KR1020070047843 A KR 1020070047843A KR 20070047843 A KR20070047843 A KR 20070047843A KR 20080008952 A KR20080008952 A KR 20080008952A
Authority
KR
South Korea
Prior art keywords
block
motion vector
interlaced
motion
estimating
Prior art date
Application number
KR1020070047843A
Other languages
English (en)
Inventor
지 쥬
김영택
마헤쉬 차빨리
슈라퐁 레트라타나파니치
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20080008952A publication Critical patent/KR20080008952A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Systems (AREA)

Abstract

비월주사 비디오 시퀀스에 있어서 초해상도 기반 비비월주사 처리 방법이 제공된다. 움직임 벡터 MV를 얻기 위하여 블록 정합이 각 이미지 블록에 적용된다. 최초 움직임 벡터로서 MV를 사용함으로써, 부화소 해상도 움직임 벡터(sub-pixel resolution motion vector) OF를 얻기 위하여 광흐름(Optical Flow)이 그 블록에 적용된다. 시퀀스에서 결손화소(missing pixel)들은 그 후에 움직임 벡터 OF와 하나 또는 그 이상의 이미지들을 사용함으로써 보간된다.
비월주사, 비비월주사, 순차주사, 이미지, 비디오, 움직임 벡터, 광흐름

Description

초해상도 기술을 이용한 비비월주사의 방법 및 시스템{Methods and Systems of Deinterlacing Using Super Resolution Technology}
도 1은 비월주사 영상 시퀀스의 상위 및 하위 필드들의 그림으로 나타낸 예이다.
도 2는 비월주사 이미지에서 블록들의 그림으로 나타낸 예이다.
도 3은 본 발명의 일 실시예에 의하면, 초해상도에 기초한 비비월주사 방법의 도표 예이다.
도 4는 본 발명의 일 실시예에 따른 초해상도에 기초한 비비월주사 시스템(100)의 예시 블록 다이아그램이다.
도 5는 본 발명의 일 실시예에 따른 비월주사 비디오 시퀀스에 대한 대칭 움직임 추정의 도표의 예들이다.
도 6A와 도 6B는 본 발명의 일 실시예에 따른 비월주사 비디오 시퀀스에 있어서 대칭 블록 정합의 예들이다.
도 7은 본 발명의 일 실시예에 따른 초해상도에 근거한 비비월주사 시스템(200)의 예시 블록 다이아그램이다.
도 8은 본 발명의 일 실시예에 따른 초해상도에 기초한 비비월주사 시스템(300)의 예시 블록 다이아그램이다.
본 발명은 일반적으로 이미지 처리에 관한 것이며, 더욱 상세하게는 비월주사 비디오 시퀀스(interlaced video sequences)들에서 비비월주사(deinterlacing) 처리에 관한 것이다.
디지털 TV(이하, 'DTV'라고 한다) 시스템의 발전에서, 전 세계적으로 많고 다른 DTV 표준들이 채택된 다양한 비디오 포맷(format) 때문에, 비디오 포맷을 변환하는 유닛이 필수적이다. 예를 들면, 북미의 ATSC DTV의 표준 시스템은 디지털 TV 방송에 있어서 표준 비디오 포맷들로서 1080*1920 비월주사(interlaced) 비디오, 720*1280 순차주사(progressive) 비디오, 720*480 비월주사와 순차주사 비디오를 채택하였다.
비디오 포맷 변환 작업은 고정된 해상도를 가진 디스플레이 장치(예를 들어, 모니터, FLCD, 플라즈마 디스플레이)에서 비디오 신호를 적절하게 나타내기 위해, 들어오는 비디오 포맷을 지정된 출력 비디오 포맷으로 변환시키는 것이다. 적절한 비디오 포맷 변환 시스템은 DTV 수신기의 시각적인 비디오 품질에 직접적으로 영향을 줄 수 있기에 중요하다. 기본적으로, 비디오 포맷 변환 작업은 멀티레이트(Multi-rate) 시스템 설계, 다상(Poly-phase) 필터 설계, 비월주사-순차주사화율 변환(interlaced-to-progressive scanning rate conversion) 또는 단순히 비월주사 비디오 신호의 수직 주사율을 두배로 하는 작업을 나타내는 비비월주 사(deinterlacing)에 대한 고급 알고리즘을 필요로 한다.
역사적으로, 비비월주사 알고리즘들은 필드(field)들 사이의 움직임과 라인 깜빡임(line flickering)과 래스터 라인 가시성(raster line visibility)과 필드 깜빡임 사이에 동작이 관찰되는 톱니모양의 라인 등과 같은 비월주사 비디오 신호의 본래의 성가신 결함(artifact)을 감소시킴으로써 NTSC TV 수신기들의 비디오 품질을 향상시키기 위하여 개발되었다.
움직임 보상(motion compensatiion)을 이용하는 정교한 비비월주사 알고리즘은 특히 비디오 신호에서 움직임 객체(motion object)들에 대해 비월주사 비디오 신호의 수직 주사율을 2배로 하게 한다. 움직임 보상 비비월주사 작업(motion compensated deinterlacing operation)은 아날로그와 디지털 TV 수신기에 사용될 수 있다.
움직임 보상 비비월주사 알고리즘들의 대부분은 한계를 가지고 있다. 그러한 방법들은 종종 화소(pixel) 또는 반 화소(half-pixel) 해상도의 움직임 벡터(motion vector)를 찾기 위해 블록 정합 방법(block-matching method)들을 사용한다. 움직임 보상 화소는 진정한 움직임이 더한 해상도를 가질 때 정확하지 않을 수도 있다.
본 발명은 상기와 같은 문제를 해결하기 위하여, 비월주사 비디오 시퀀스에 있어서 초해상도 기반 비비월주사 처리 방법이 제공된다. 움직임 벡터 MV를 얻기 위하여 블록 정합이 각 이미지 블록에 적용된다. 최초 움직임 벡터로서 MV를 사용 함으로써, 부화소 해상도 움직임 벡터(sub-pixel resolution motion vector) OF를 얻기 위하여 광흐름(Optical Flow)이 상기 블록에 적용된다. 시퀀스에서 결손화소(missing pixel)들은 그 후에 움직임 벡터 OF와 하나 또는 그 이상의 이미지들을 사용함으로써 보간된다.
본 발명은 상기 방법들을 구현하기 위한 시스템을 더 제공한다.
본 발명의 이 특징, 관점 및 장점과 다른 특징들은 따라오는 상세한 설명과 첨부된 청구항 및 도면을 참조하여 이해될 것이다.
일 실시예에서, 본 발명은 비비월주사 비디오 시퀀스(sequence) 처리에 대하여 초해상도에 기초한 비비월주사(deinterlacing) 방법 및 장치를 제공한다. 그러한 초해상도 기반 비비월주사 방법은 비디오 프레임에서 화소들로 이루어진 각각 블록에 대해서: 움직임 벡터(MV)를 얻기 위하여 상기 블록에서 블록 정합을 적용하는 단계; 최초 움직임 벡터로서 MV를 사용하고 부화소 해상도 움직임 벡터를 얻기 위하여 상기 블록에서 광흐름을 적용하는 단계; 및 움직임 보상(motion compensation)을 이용하여 상기 블록에서 결손화소를 보간하는 단계를 포함한다.
본 발명에 따른 비비월주사 문제 및 비비월주사 방법을 체계적으로 설명하기 위해서, 아래의 발명의 상세한 설명에서 ft는 순간적인 시간 t에서 들어오는 순차주사 비디오 필드(field)를 나타내고, ft(v,h)는 v가 수직 위치 그리고 h가 수평위치를 나타내는 기하학상 위치 (v,h)에서 비디오 신호의 관련된 값을 나타낸다. 발 명의 상세한 설명에서, 필드는 비월주사 비디오 정보를 포함하고, 프레임은 순차주사 비디오 정보를 포함하고, 이미지(image)는 한 프레임 또는 한 필드를 표현하고, 블록(block)은 필드/프레임/이미지에서 작은 영역을 포함한다.
도 1은 비월주사 영상 시퀀스의 상위 및 하위 필드들의 그림으로 나타낸 예이다. 도 1에 있는 예를 참조하면, 시간 t에서 이미지는 비월주사 비디오 시퀀스의 상위 필드를 나타내고, 시간 t+1에서 이미지는 비월주사 비디오 시퀀스의 하위 필드를 나타낸다. 비월주사 비디오 시퀀스의 정의에 의해 , 만약 ft가 상위 필드이라면 ft의 신호 값들은 오직 짝수, 예를 들어 v=0,2,4,..., 라인(line)들에 대해서만 이용 가능하다(굵은 원으로 도시함). 마찬가지로, 만약 ft가 하위 필드이라면 ft의 신호 값들은 오직 홀수, 예를 들어 v=1, 3, 5,.., 라인들에 대해서만 이용 가능하다(굵은 원으로 도시함). 역으로, ft가 상위 필드이라면 ft의 신호 값들은 홀수 라인들에 대해서는 이용 가능하지 않고, ft가 하위 필드이라면 짝수 라인들에 대해서는 이용 가능하지 않다. 상위 및 하위 필드들은 전형적으로 시간상에서 번갈아 가능하다.
비월주사 비디오 신호의 상기 설명에 기초하면, 비비월주사 문제는 각 필드에서 이용 불가능한 신호 값들을 복원하거나 보간하는 처리라고 불려질 수 있다. 즉, 비비월주사 문제는 상위 필드 ft 에 대하여 홀수 라인에서 ft 의 신호값과 하위 필드 ft 에 대하여 짝수 라인에서 ft 의 신호값을 복원하는 것이다.
여기서 발명의 상세한 설명의 명확성을 위해서 그리고 한정없이, 비비월주사 문제는 i±1, i±3, i±5,...에서 라인들의 신호값이 이용가능한 ith라인에서 ft의 이용 불가능한 신호값을 공간적으로 복원하거나 보간하는 처리로 단순화된다. 더욱 단순하게는, 비비월주사는 원래 이용가능하지 않는 ft(i,h)의 값을 보간하는 것이다.
일반적으로, 초해상도 기술은 이미지 스케일링(scaling)에서 움직임 보상으로 픽셀을 보간하기 위하여 사용된다. 초해상도 움직임 추정 방법들의 하나인 광흐름은 전체 이미지의 전체적인 움직임을 추정하는 유명한 방법이다. 그러나 하드웨어의 제한 때문에, 실제적인 하드웨어 구현에서 전체 이미지에 광흐름은 적용될 수 없다.
본 발명의 일 실시예에 의하면, 광흐름은 비월주사 이미지에서 픽셀의 각 블록의 서브픽셀 해상도 움직임 벡터를 탐색하는 블록 정합 움직임 추정 방법과 결합되어 있다.
도 2는 비월주사 이미지에서 블록들의 그림으로 나타낸 예이다. 여기서 발명의 상세한 설명의 명확성을 위해서 그리고 한정 없이, 도 2에서 비월주사 이미지 ft는 다중 블록 B로 나누어진다. 본 발명에 따른 비비월주사 방법은 좌측에서 우측으로, 상위에서 하위로 이미지 ft의 각 블록에 적용된다. 비비월주사 방법은 각 블록의 움직임 벡터를 추정하고 움직임 벡터에 기초한 블록에서 결손화소(missing pixel)들을 보간한다.
움직임 추정(motion estimation)의 강건함(robustness)을 향상시키기 위하여, 움직임 추정은 중첩된 블록들에 적용될 수 있다. 예를 들어, 도 2에 나타낸 바와 같이, 블록 B는 처리되는 블록이고, B'는 블록 B의 더 큰 외부 블록이다. 움직임 추정은 움직임 벡터(즉, 앞의 필드에서 정합 블록과 블록 B사이의 변위)를 구하기 위하여 블록 B'에 적용될 수 있고, 블록 B에서 결손화소들을 보간할 수 있다. 움직임 벡터를 구하는 것은 정합 블록을 찾는 것과 변위를 계산하는 과정으로 이루어져 있다.
도 3은 본 발명의 일 실시예에 의하면, 초해상도에 기초한 비비월주사 방법의 도표 예이다. 현재 필드 ft에서 임의의 블록 B에서 결손화소들을 보간하기 위하여, 블록 정합에 근거한 움직임 추정은 현재 필드 ft와 fs' 에서 정합 블록과 외부 블록 B' 사이의 변위를 나타내기 위한 움직임 벡터(MV)를 얻기 위한 fs로 나타내지는 (임시적으로) 이웃한 필드 중의 하나의 필드 사이의 외부 블록 B'에 먼저 적용된다. 블록 정합 방법이 사용되는 데에는 한정이 없다. 가장 간단한 예는 전역 탐색 기법(Full search)이 될 수 있고, 다른 방법들도 3 단계 탐색 기법(Three step search), 다이아몬드 탐색 기법(Diamond search)을 포함한다. 다른 예들도 가능하다.
움직임 벡터 MV는 외부 블록 B'에 적용된 광흐름의 최초의 움직임 벡터로서 그 후에 사용된다. 광흐름은 부화소 해상도 움직임 벡터를 나타내는 OF 부화소 해 상도 움직임 벡터 OF를 얻기 위하여, 움직임 벡터 MV를 부화소 해상도(즉, 화소 해상도의 단편적 부분을 갖는 움직임 벡터)로 개선시킨다. 광흐름에 사용되는 움직임 모델에는 한정이 없다. 일 예는 엄격한 모델이 될 수 있다. 다른 예들도 가능하다.
얻은 부화소 해상도 움직임 벡터 OF에 기초하여, 이미지 fs에서 정합된 블록 C는 보간될 수 있다. 정합된 블록 C는 이미지 fs에서 이웃 필드에서의 블록 B와 가장 유사하다. 블록 C는 fs에서 화소들과 일직선으로 될 수 없을 수도 있고, 블록 C에서 화소들은 원래 이용가능하지 않을 수도 있기에, 블록 C를 보간하는 것은 공간 화소들(spatial pixels)에 기초한 블록 C에서 각 화소를 보간하는 것을 포함한다.
블록 C의 보간에 사용되는 방법에는 한정이 없다. 바이리니어(bilinear) 또는 바이-큐빅(bi-cubic) 또는 다상 필터(poly-phase filter)가 될 수 있다. 다른 예들도 가능하다.
따라서, 블록 C에서 결손화소들은 움직임 보상을 통한 블록 C에서 획득할 수 있다. 다음과 같이, 블록 C의 보간은 프레임 ft의 블록 B에서 결손화소를 복원할 수 있다. 블록 C에서의 모든 화소들은 공간적으로 보간된다. 블록 B에서 각 결손화소는 블록 C에서 하나의 정합된 화소를 가져야 한다. 정합된 화소는 결손화소를 얻기 위하여 블록 C에서 블록 B로 복사된다.
블록 B에서의 결손화소들은 블록 B와 C는 그들 사이의 움직임(변위)을 가지 므로 움직임 보상으로 블록 C로부터 얻어진다. 이미지 ft의 모든 블록들을 처리한 후에 비비월주사 이미지는 얻어진다.
예를 들어, 블록 정합과 광흐름은 동일한 이미지들에 적용된다. 본 발명에 따라, 이는 다른 이미지들에도 더욱더 확장될 수 있다. 일 예에서, 블록 정합은 현재 이미지 ft 와 (임시적으로) 이웃하는 이미지 fs사이에 적용된다. 광흐름은 현재 이미지 ft 와 다른 (임시적으로) 이웃하는 이미지 fτ사이에 적용된다. 광흐름의 최초의 움직임 벡터는 블록 정합 결과와 시간축 상에서 세 이미지 ft , fs, fτ의 변위에 기초하여 얻어질 수 있다.
다음에서, 본 발명에 따르면, 초해상도에 기초한 비비월주사 방법들을 구현하는 비비월주사 시스템의 예가 설명된다.
도 4는 본 발명의 일 실시예에 따른 초해상도에 기초한 비비월주사 시스템(100)의 예시 블록 다이아그램이다. 시스템(100)은 버퍼(102,104). 블록 정합 움직임 추정 유닛(BMME)(106), 광흐름 유닛(108, 110), SE-SIPC(112)를 포함한다. 버퍼(102, 104)는 각각 전과 그 전의 필드를 보유한다.
시스템(100)에서, 입력 이미지 ft는 현재 이미지라고 가정하면, 블록 B는 현재 처리되고 있는 블록이고, 블록 B'는 블록 B의 외부 블록이다. BMME 유닛(106)은 먼저 이전 이미지 ft -1, 다음 이미지 ft +1 사이에 블록 B의 대칭 움직임 벡터를 탐색하고, 움직임 벡터 MV1과 MV2를 발생시킨다. MV1은 현재 이미지 ft로부터 이전 이 미지 ft -1까지의 움직임 벡터이고, MV2는 현재 이미지 ft에서 다음 이미지 ft +1까지의 움직임 벡터이다.
최초 움직임 벡터 MV1에 근거하여, 광흐름 유닛(108)은 부화소 해상도 움직임 벡터 OF1을 발생시키기 위해, 현재 이미지 ft와 이전 이미지 ft -1 사이에 블록 B'에서 적용된다. 최초 움직임 벡터 MV2에 기초하여, 광흐름 유닛(110)은 부화소 해상도 움직임 벡터 OF2를 발생시키기 위해, 현재 이미지 ft와 이전 이미지 ft -1 사이에 블록 B'에서 적용된다.
따라서, 블록 B에서 각각의 결손화소는 둘의 움직임 보상 화소들을 가진다. 하나는 이전 이미지 ft -1에서 보간되고, 다른 하나는 다음 이미지 ft +1에서 보간된다. 각각의 결손화소는 두 움직임 보상 화소들의 평균을 취해 보간될 수 있다. 결손화소를 보간하는 방법에는 한정이 없다. 도 4에 도시한 SR-IPC(112)는 부화소 해상도 화소들에 근거하여 결손화소를 보간한다. f’t 는 SR-IPC(112) 보간 다음이다. 그것에 의하여 f‘t 는 비비월주사 프레임을 포함한다.
시스템(100)에서 사용된 대칭 움직임 추정은 짧은 시간 동안 움직임은 일정하다는 가정에 기초한다. 도 5는 본 발명의 일 실시예에 따른 비월주사 비디오 시퀀스에 대한 대칭 움직임 추정의 도표의 예들이다. 도 5에서 나타낸 바와 같이, 만약 MV가 전 이미지 ft -1에 대한 블록 B'의 움직임 벡터라면, -MV는 다음 이미지 ft+1에 대한 블록 B'의 움직임 벡터이다. 움직임 벡터 후보 MV를 가진 이전 이미지 ft-1에서 각각의 정합 블록 후보 C'에 대하여, 움직임이 대칭적이라는 가정 때문에 움직임 벡터 후보 -MV를 가진 다음 이미지 ft +1에서 대응하는 정합 블록 후보 A'를 얻을 수 있다.
평균 절대 오차(mean absolute error) 또는 평균 제곱 오차(mean square error)와 같은 블록 C'과 A'의 차이는 블록 C'과 A'들이 정합되는지 결정하기 위하여 계산될 수 있다. 도 6a와 도 6b는 본 발명의 일 실시예에 따른 비월주사 비디오 시퀀스에 있어서 대칭 블록 정합의 예들이다. 특히, 도 6a와 도 6b는 도표적으로 전술한 차이 계산의 두 가지 예를 보여주고, 도 6a와 도 6b에서 화살표들(601,602)은 움직임 벡터 포인터들이다.
도 6a에서의 예에서, 이미지 ft -1, ft , ft +1 의 블록 C', B', A'가 각각 도시되어있다(굵은 원은 화소를 가리킨다). 이 예에서, 2MV의 수직 방향 구성요소(즉, 이전 이미지 ft -1에서 다음 이미지 ft +1까지의 움직임 벡터)는 홀수이다.
도 6b에서의 다른 예에서, 이미지 ft -1, ft, ft +1 의 블록 C', B', A'가 각각 도시되어있다. 이 예에서, 2MV의 수직 방향 성분(즉, 이전 이미지 ft -1에서 다음 이미지 ft +1까지의 움직임 벡터)은 짝수이다.
그러한 것으로서 , 정합 차이는 현재 이미지 ft에서 어떤 화소의 정보를 사용함이 없이 블록 C'과 A'사이에서 계산될 수 있다. 완전탐색 또는 다른 방법들을 사용하여 모든 움직임 벡터 후보들을 시도함으로써, 각각 이전과 다음의 이미지들 에서 B'의 최선의 정합 블록들은 찾아 질 수 있다. 따라서, 이전 필드에서 다음 필드까지의 움직임 벡터로부터 MV1=-MV2를 만족하는 움직임 벡터 MV1과 MV2가 얻어질 수 있다. 따라서, 현재 필드에서 이전 필드, 현재 필드에서 다음 필드까지의 움직임 벡터를 얻을 수 있다.
도 7은 본 발명의 일 실시예에 따른 초해상도에 기초한 비비월주사 시스템(200)의 예시 블록 다이아그램이다. 시스템(200)은 전(previous)과 전전(previous-previous)의 프레임들을 각각 유지하는 버퍼(202,204), 블록 정합 움직임 추정(BMME) 유닛(206), 광흐름 유닛(208), SR-IPC 유닛(210)을 포함한다.
시스템(200)에서, 입력 이미지 ft 는 현재 이미지라 가정하여, 블록 B는 처리되는 현재 블록이고, 블록 B'는 블록 B의 외부 블록이다. BMME(206)는 현재 이미지 ft 와 MV로서 움직임 벡터를 발생시키기 위한 블록 정합 방법을 사용하는 두 번째 이전 이미지 ft - 2사이에 블록 B'의 움직임 벡터를 검색한다.
최초 움직임 벡터로서 MV를 사용함으로써 , 광흐름 유닛(208)은 부화소 해상도 움직임 벡터 OF를 발생시키기 위하여 현재 이미지 ft 와 두 번째 이전 이미지 ft-2 사이에 블록 B'에서 적용된다. 짧은 기간 동안에 움직임이 일정하다는 가정에 기초하여, 광흐름 유닛(208)은 현재 이미지 ft에서 이전 이미지 ft -1까지 블록 B'의 부화소 해상도 움직임 벡터를 OF/2로서 계산한다.
따라서, 블록 B에서 결손화소들은 움직임이 대칭적이라고 가정함으로써 움직 임 벡터 OF/2에 기초하여 이전 이미지 ft -1에서 보간된 화소들로부터 보상받을 수 있다.
SR-IPC(210)는 얻은 부화소 해상도 움직임 벡터에 근거하여 결손화소들을 보간한다. 그것에 의하여 f‘t 는 비비월주사 프레임이다.
도 8은 본 발명의 일 실시예에 따른 초해상도에 기초한 비비월주사 시스템(300)의 예시 블록 다이아그램이다. 시스템(300)은 전(previous)과 전전(previous-previous)의 프레임들을 각각 유지하는 버퍼(302,304), 블록 정합 움직임 추정(BMME) 유닛(306), 광흐름 유닛(308), 부화소 해상도 움직임 벡터를 이용하여 결손화소를 보간하는 SR-IPC 유닛(310)을 포함한다.
시스템(300)에서, 입력 이미지 ft 는 현재 이미지라 가정하면, 블록 B는 처리되는 현재 블록이고, 블록 B'는 블록 B의 외부 블록이다. BMME 유닛(306)은 현재 이미지 ft 와 MV로서 움직임 벡터를 발생시키기 위한 블록 정합 방법을 사용하는 두 번째 이전 이미지 ft -2 사이에 블록 B'의 움직임 벡터를 검색한다. 짧은 기간 동안에 움직임이 일정하다는 가정에 기초하여, BMME 유닛(306) 현재 이미지 ft에서 이전 이미지 ft -1까지 블록 B'의 움직임 벡터를 MV/2로서 계산한다.
최초 움직임 벡터로서 MV/2를 사용함으로써, 광흐름 유닛(308)은 부화소 해상도 움직임 벡터 OF를 발생시키기 위하여 현재 이미지 ft와 이전 이미지 ft -1 사이에 블록 B'에서 적용된다.
따라서, 블록 B에서 결손화소들은 움직임 보상된 보간을 사용한 움직임 벡터 OF에 근거하여 이전 이미지 ft - 1 에서 보간된 화소들로부터 보상받을 수 있다.
SR-IPC(310)는 부화소 해상도 움직임 벡터에 근거하여 결손화소들을 보간한다. 그것에 의하여 f‘t 는 비비월주사 프레임이다.
본 발명이 다른 많은 형태로 실시예의 여지가 있으며, 실시예들은 도면에 도시되고, 여기서 자세히 설명된 본원 발명의 바람직한 실시예들은 이 설명이 본 발명의 원리의 예시로써 간주되기 위한 것이지, 본 발명의 다양한 측면을 설명된 실시예에만 제한하려는 의도는 아니다. 본 발명에 따라 상기 언급된 예시 구조는 프로세서에 의해 수행되기 위한 프로그램 지시어들, 논리 회로, ASIC, 펌웨어 등과 같이 해당 기술 분야에서 숙련된 이들에게 알려진 많은 방법으로 구현될 수 있다. 그리하여, 본원 발명은 여기서 설명된 실시예에만 국한되지 않는다.
본원 발명은 소정의 바람직한 형태들을 참고하며 상당히 자세히 설명되었다. 그러나 다른 형태들도 가능하다. 따라서 첨부된 청구항의 사상과 범위는 여기에 포함된 바람직한 형태들에 대한 기술에 국한되어서는 안 된다.
이상에서 설명한 바와 같은 본 발명의 구성에 의하면, 일반적으로 블록 기반 움직임 추정(motion estimation)은 화소 또는 반-화소 해상도를 가진 움직임 벡터만 탐색할 수 있는 반면에 초해상도 기술 광흐름(the super resolution technology optical flow)은 부화소 해상도의 움직임 벡터를 얻을 수 있다. 움직임 벡터가 정 확하면 할수록, 더 좋은 비비월주사 결과를 얻을 수 있다.

Claims (32)

  1. 비월주사된 이미지 필드들의 시퀀스를 포함하는 비월주사(interlaced) 비디오 처리 방법에 있어서,
    (a) 복수개의 블록들을 포함하는 현재 이미지 필드에서 화소들로 이루어진 블록에 대해 움직임 벡터를 추정하는 단계;
    (b) 상기 움직임 벡터에 기초하여 블록에서 화소 값을 복원하는 단계를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  2. 제 1 항에 있어서, 상기 복원하는 단계는
    상기 화소 값을 보간하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  3. 제 2 항에 있어서, 상기 복원하는 단계는
    결손화소 값을 보간하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  4. 제 1 항에 있어서, 상기 움직임 벡터를 추정하는 단계는
    움직임 벡터 MV를 얻기 위하여 상기 블록에 대해 블록 정합을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  5. 제 4항에 있어서, 상기 움직임 벡터를 추정하는 단계는
    최초 움직임 벡터로서 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 상기 블록에 광흐름을 적용하는 단계를 더 포함하며,
    상기 복원하는 단계는,
    움직임 벡터 OF에 기초하여 상기 블록에서 화소 값을 복원하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  6. 제 5항에 있어서, 상기 복원하는 단계는
    시퀀스에서 하나 이상의 필드들과 움직임 벡터 OF에 기초하여 상기 블록에서 화소 값을 복원하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  7. 제 6항에 있어서, 상기 복원하는 단계는
    시퀀스에서 하낭 이상의 필드들과 움직임 벡터 OF에 기초하여 상기 블록에서 화소 값을 보간하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  8. 제 1항에 있어서,
    현재 이미지 필드에서 각각의 블록에 대하여 (a)와 (b) 단계들을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  9. 제 8항에 있어서, 상기 움직임 벡터를 추정하는 단계는
    중첩된 블록들에 대해 움직임 추정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  10. 제 9항에 있어서, 상기 블록 B에 대하여 움직임벡터를 추정하는 단계는
    블록 B에 관계된 더 큰 외부 블록 B'에 대해 움직임 추정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  11. 비월주사된 이미지 필드의 시퀀스를 포함하는 비월주사 비디오 처리 방법에 있어서,
    복수개의 블록들을 포함하는 현재 이미지 필드에서 화소들의 각각의 블록에 대하여, 초해상도기반 비비월주사를 수행하는 단계를 포함하며,
    상기 초해상도기반 비비월주사를 수행하는 단계는,
    변위를 나타내는 움직임 벡터 MV를 추정하는 단계;
    최초 움직임 벡터로서 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 그 블록에 광흐름을 적용하는 단계,
    움직임 벡터 OF에 기초하여 그 블록에서 화소 값을 복원하는 단계를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  12. 제 11항에 있어서, 상기 움직임 벡터를 추정하는 단계는
    움직임 벡터 MV를 얻기 위하여 상기 블록에 대해 블록 정합을 수행하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  13. 제 12항에 있어서, 상기 시간 t에서의 현 이미지 ft에서 블록 B에 대하여 움직임 벡터를 추정하는 단계는
    움직임 벡터 MV를 얻기 위하여 현재 이미지 ft와 이웃하는 이미지들 중 하나인 fs 사이에 블록 B를 중첩한 외부 블록 B'에 대한 블록 정합 기반 움직임 추정을 적용하는 단계를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  14. 제 13항에 있어서, 상기 광흐름을 적용하는 단계는
    최초 움직임 벡터로서 상기 움직임 벡터 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 외부 블록 B'에 대하여 광흐름을 적용하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  15. 제 14항에 있어서, 블록 B에서 상기 화소 값을 복원하는 단계는
    상기 화소 해상도 움직임 벡터 OF에 기초하여, 프레임 fs에서 정합된 블록 C를 보간하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  16. 제 15 항에 있어서, 상기 복원하는 단계는
    움직임 보상으로 블록 C로부터 블록 B에서 결손화소를 보간하는 단계를 더 포함하는 것을 특징으로 하는 비월주사 비디오 처리 방법.
  17. 비월주사된 이미지 프레임들의 시퀀스를 포함하는 비월주사 비디오 처리 시스템에 있어서,
    (a) 복수개의 블록들을 포함하는 현재 이미지 프레임에서 화소들로 이루어진 블록에 대해 움직임 벡터를 추정하는 움직임 추정부;
    (b) 상기 움직임 벡터에 기초하여 상기 블록에서 화소 값을 복원하는 화소 복원부를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  18. 제17항에 있어서, 상기 복원부는
    화소 값을 보간하는 보간부를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  19. 제 18 항에 있어서, 상기 보간부는
    결손화소 값을 보간하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  20. 제 17 항에 있어서, 상기 움직임 추정부는
    변위를 나타내는 움직임 벡터 MV를 얻기 위하여 상기 블록에 대해 블록 정합을 수행하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  21. 제 20항에 있어서, 상기 움직임 추정부는
    최초 움직임 벡터로서 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 블록에 적용되는 광흐름 기능을 더 포함하며,
    상기 복원부는,
    상기 움직임 벡터 OF에 기초하여 상기 블록에서 상기 화소 값을 복원하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  22. 제 21항에 있어서, 상기 복원부는
    시퀀스에서 하나 이상의 프레임들과 움직임 벡터 OF에 기초하여 상기 블록에서 화소 값을 복원하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  23. 제 21항에 있어서, 상기 복원부는
    시퀀스에서 하나 이상의 프레임들과 움직임 벡터 OF에 기초하여 상기 블록에서 화소 값을 보간하는 보간부를 포함하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  24. 제 17 항에 있어서,
    현재 이미지 프레임에서 상기 각각의 블록이 움직임 추정부와 복원부를 통하여 처리되는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  25. 제 23 항에 있어서, 상기 움직임 추정부는
    중첩된 블록들에 대해 움직임 추정을 수행하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  26. 제 25항에 있어서, 상기 움직임 추정부는
    블록 B에 관계된 더 큰 외부 블록 B'에 대해 움직임 추정을 수행하여 블록 B에 대해서 움직임 벡터를 추정하는 것을 특징으로 하는 비월주사 비디오 처리 시스템.
  27. 비월주사된 이미지 프레임들의 시퀀스를 포함하는 비월주사된 비디오를 처리 하는 비비월주사(de-interlacing) 시스템에 있어서,
    복수개의 블록들을 포함하는 현재 이미지 프레임에서 화소들로 이루어진 각각의 블록에 대해서 초해상도기반 비비월주사를 수행하는 비비월주사부를 포함하며,
    상기 비비월주사부는,
    변위를 나타내는 움직임 벡터 MV를 추정하는 움직임 추정부;
    최초 움직임 벡터로 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 상기 블록에 광흐름을 적용시키는 광흐름 기능부;
    상기 움직임 벡터 OF에 기초하여 상기 블록에서 화소값을 복원하는 복원부를 포함하는 것을 특징으로 하는 비비월주사 시스템.
  28. 제 27항에 있어서, 상기 움직임 추정부는
    움직임 벡터 MV를 얻기 위하여 상기 블록에 대해서 블록 정합을 수행하는 것을 특징으로 하는 비비월주사 시스템.
  29. 제 28항에 있어서, 상기 움직임 추정부는
    움직임 벡터 MV를 얻기 위하여 현재 이미지 ft와 이웃하는 이미지들 중 하나인 fs 사이에 블록 B를 중첩한 외부 블록 B'에 대해 블록 정합 기반 움직임 추정을 적용하여 시간 t에서의 현재 이미지 ft에서 블록 B에 대하여 움직임 벡터를 추정하는 것을 특징으로 하는 비비월주사 시스템.
  30. 제 29항에 있어서, 상기 광흐름을 적용하는 기능부는
    최초 움직임 벡터로서 움직임 벡터 MV를 사용하고, 부화소 해상도 움직임 벡터 OF를 얻기 위하여 외부 블록B'에 대하여 광흐름을 적용하는 것을 특징으로 하는 비비월주사 시스템.
  31. 제 30항에 있어서, 상기 복원부는
    부화소 해상도 움직임 벡터 OF에 기초하여 블록B에서 화소 값을 복원하고, 프레임 fs에서 정합된 블록 C를 보간하는 것을 특징으로 하는 비비월주사 시스템.
  32. 제 31 항에 있어서, 상기 복원부는
    움직임 보상으로 블록 C로부터 블록 B에서 결손화소를 보간하는 보간부를 포함하는 것을 특징으로 하는 비비월주사 시스템.
KR1020070047843A 2006-07-20 2007-05-16 초해상도 기술을 이용한 비비월주사의 방법 및 시스템 KR20080008952A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/490,934 US20080018788A1 (en) 2006-07-20 2006-07-20 Methods and systems of deinterlacing using super resolution technology
US11/490,934 2006-07-20

Publications (1)

Publication Number Publication Date
KR20080008952A true KR20080008952A (ko) 2008-01-24

Family

ID=38971082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070047843A KR20080008952A (ko) 2006-07-20 2007-05-16 초해상도 기술을 이용한 비비월주사의 방법 및 시스템

Country Status (2)

Country Link
US (1) US20080018788A1 (ko)
KR (1) KR20080008952A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955044B1 (ko) * 2008-07-11 2010-04-28 포항공과대학교 산학협력단 서브 픽셀 해상도의 옵티컬 플로우 추정 장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI373696B (en) * 2007-04-04 2012-10-01 Mstar Semiconductor Inc Methods of calculating a motion estimation value and estimating a motion vector of an image
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US8406506B2 (en) 2010-05-18 2013-03-26 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
JP6255751B2 (ja) * 2012-07-12 2018-01-10 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
CN102946523B (zh) * 2012-10-31 2016-04-27 江苏省电力公司信息通信分公司 基于clg和avs的无人值守变电站监控视频的去隔行方法
JP6704679B2 (ja) * 2015-05-01 2020-06-03 キヤノン株式会社 制御装置、光学機器、制御方法、プログラム、および、記憶媒体
KR20210158399A (ko) * 2019-06-24 2021-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
CN115578255A (zh) * 2022-09-22 2023-01-06 北京航空航天大学 一种基于帧间亚像素块匹配的超分辨率重建方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
GB2302230B (en) * 1992-11-10 1997-05-14 Sony Uk Ltd Motion compensated video signal processing
KR950014343B1 (ko) * 1993-05-20 1995-11-24 한국방송공사 고화질 티브(hdtv)의 화상데이타 움직임 추정방법 및 그 장치
US5822007A (en) * 1993-09-08 1998-10-13 Thomson Multimedia S.A. Method and apparatus for motion estimation using block matching
GB2283385B (en) * 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US5719642A (en) * 1996-05-07 1998-02-17 National Science Council Of R.O.C. Full-search block matching motion estimation processor
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6137837A (en) * 1998-01-23 2000-10-24 Motorola, Inc. Motion estimation for digital video with reduced number of search window pixels
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6331874B1 (en) * 1999-06-29 2001-12-18 Lsi Logic Corporation Motion compensated de-interlacing
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
KR100327395B1 (ko) * 1999-09-03 2002-03-13 구자홍 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법
US6671319B1 (en) * 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6690728B1 (en) * 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
US7663695B2 (en) * 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
EP1440581B1 (en) * 2001-07-10 2014-10-08 Entropic Communications, Inc. Unit for and method of motion estimation, and image processing apparatus provided with such motion estimation unit
FI110909B (fi) * 2001-09-06 2003-04-15 Nokia Corp Menetelmä liike-estimoinnin suorittamiseksi videokoodauksessa, videokoodausjärjestelmä sekä videokoodauslaite
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
JP2003299040A (ja) * 2002-04-03 2003-10-17 Sony Corp 動きベクトル検出装置及び方法
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
JP2005184233A (ja) * 2003-12-17 2005-07-07 Sony Corp データ処理装置およびその方法と符号化装置
KR100995398B1 (ko) * 2004-01-20 2010-11-19 삼성전자주식회사 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
TWI237496B (en) * 2004-03-24 2005-08-01 Realtek Semiconductor Corp Method and apparatus for de-interlacing video data through utilizing motion compensation
US7606424B2 (en) * 2006-02-13 2009-10-20 3M Innovative Properties Company Combined forward and reverse correlation
US8068543B2 (en) * 2006-06-14 2011-11-29 Samsung Electronics Co., Ltd. Method and system for determining the reliability of estimated motion vectors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955044B1 (ko) * 2008-07-11 2010-04-28 포항공과대학교 산학협력단 서브 픽셀 해상도의 옵티컬 플로우 추정 장치 및 방법

Also Published As

Publication number Publication date
US20080018788A1 (en) 2008-01-24

Similar Documents

Publication Publication Date Title
US8144778B2 (en) Motion compensated frame rate conversion system and method
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
JP5657391B2 (ja) ハローを低減する画像補間
KR20080008952A (ko) 초해상도 기술을 이용한 비비월주사의 방법 및 시스템
KR100412501B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US20100309372A1 (en) Method And System For Motion Compensated Video De-Interlacing
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
US7787048B1 (en) Motion-adaptive video de-interlacer
WO2008152951A1 (en) Method of and apparatus for frame rate conversion
US6930728B2 (en) Scan conversion apparatus
JP2007526705A (ja) 補正インタレース解除装置による保護
Nguyen et al. Spatio-temporal adaptive interlaced-to-progressive conversion
KR100968642B1 (ko) 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
JP4322114B2 (ja) 画像プロセッサ及びそのような画像プロセッサを備える画像表示装置
US6094232A (en) Method and system for interpolating a missing pixel using a motion vector
Jung et al. An effective de-interlacing technique using two types of motion information
TWI471010B (zh) 一種具有移動補償的解交錯影像處理裝置及其相關方法
US20060176394A1 (en) De-interlacing of video data
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP3898546B2 (ja) 画像走査変換方法及び装置
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
Braun et al. Motion-compensating real-time format converter for video on multimedia displays
JP4354799B2 (ja) 補間画像生成方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application