KR20140133805A - 다중레벨 양방향 움직임 추정 방법 및 장치 - Google Patents

다중레벨 양방향 움직임 추정 방법 및 장치 Download PDF

Info

Publication number
KR20140133805A
KR20140133805A KR1020147007014A KR20147007014A KR20140133805A KR 20140133805 A KR20140133805 A KR 20140133805A KR 1020147007014 A KR1020147007014 A KR 1020147007014A KR 20147007014 A KR20147007014 A KR 20147007014A KR 20140133805 A KR20140133805 A KR 20140133805A
Authority
KR
South Korea
Prior art keywords
frame
block
sbad
interpolated
determined
Prior art date
Application number
KR1020147007014A
Other languages
English (en)
Other versions
KR101519941B1 (ko
Inventor
샤오쥔 우
번순 이
진성 샤오
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20140133805A publication Critical patent/KR20140133805A/ko
Application granted granted Critical
Publication of KR101519941B1 publication Critical patent/KR101519941B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Error Detection And Correction (AREA)

Abstract

본 발명의 실시예는 다중레벨 양방향 움직임 추정 방법 및 장치를 제공한다. 상기 방법은 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 - 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘임 - ; 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계 - 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(SBAD) 값이 최소인 한 쌍의 정합된 블록임 - ; 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작으면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록을 결정하는 단계; 및 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하는 단계 - 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2임 - 를 포함한다. 그러므로 움직임 추정의 정확성을 효과적으로 높일 수 있고 이미지 품질을 향상시킬 수 있다.

Description

다중레벨 양방향 움직임 추정 방법 및 장치{MULTI-LEVEL BIDIRECTIONAL MOTION ESTIMATION METHOD AND DEVICE}
본 발명의 실시예는 이미지 처리 기술 분야에 관한 것이며, 특히 다중레벨 양방향 움직임 추정 방법 및 장치에 관한 것이다.
고선명 디지털 텔레비전과 하이엔드 멀티미디어 정보 시스템이 발달함에 따라, 사람들의 영상원(video source)의 시각적 효과에 대한 조건이 더 높아지고 있다. 그러므로 시각적 효과를 더 좋게 하기 위해서는 기존의 비디오 프로그램 소스의 프레임 레이트를 증가시켜야만 한다. 한편, 대역폭 자원은 더 많이 할당되고 점유됨에 따라, 대부분의 비디오 애플리케이션은 매우 제한된 대역폭 자원을 획득할 수 있을 뿐이며, 인코더 단에서는 프레임을 폐기함으로써 시간 분해능을 감소하여야 대역폭 조건을 충족할 수 있으며, 디코더 단에서는 그 폐기된 프레임을 보간하여 프레임을 복원하여 비디오 품질을 높인다.
비디오 프레임 보간 기술, 즉 프레임 레이트 상승 변환(Frame Rate Up-Conversion: FRUC) 기술은 디코더 단에서 2개의 인접하는 프레임 간의 중간 프레임을 보간하여 비디오의 저프레임 레이트를 고프레임 레이트로 상승시켜, 상이한 프레임 레이트 간의 변환을 실행한다.
움직임 추정 방법은 주로 단방향 움직임 추정 방법 및 양방향 움직임 추정 방법으로 분류된다. 단방향 움직임 추정 방법은 "중첩(overlap)" 및 "빈 공간(void)"의 문제가 있을 수 있으며, 양방향 움직임 추정 방법은 보간될 프레임(to-be-interpolated frame)을 미러 센터로서 사용하는데, 이는 움직임 보상 처리에서 보간된 프레임의 "중첩" 및 "빈 공간"의 문제를 방지한다. 종래기술에서의 양방향 움직임 추정 방법에서는, 비디오 압축에서의 검색 알고리즘, 예를 들어 3단계 검색 알고리즘 및 다이아몬드 검색 알고리즘을 움직임 추정에 적용한다. 그렇지만, 비디오 압축과는 달리, 비디오 피사체의 움직임의 연속성으로 인해 움직임 벡터 간에 시간-공간 상관관계가 존재하는데, 비디오 압축에서의 검색 알고리즘을 사용하면 움직임 보상의 보간된 프레임이 주요한 시각적 인식과 일치하지 않는 이미지 정보를 생성하게 된다. 그러므로 추정된 보간 블록의 움직임 벡터의 정확성이 떨어지며, 이에 따라 이미지 품질도 저하된다.
본 발명의 실시예는 다중레벨 양방향 움직임 추정 방법 및 장치를 제공하며, 이에 의해 움직임 추정 정확성을 효과적으로 높일 수 있고 이미지 품질을 향상시킬 수 있다.
제1 관점에 따르면, 다중레벨 양방향 움직임 추정 방법은, 보간될 프레임(to-be-interploated frame)의 M1×M1 블록을 미러 센터(mirror center)로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 - 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘(three-dimensinoal recursive search algorithm) 또는 육각형 검색 알고리즘(hexagon search algorithm)임 - ; 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍(first to-be-determined matched block pair)을 결정하는 단계 - 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(Sum of Binary Absolute Difference: SBAD) 값이 최소인 한 쌍의 정합된 블록임 - ; 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록의 움직임 벡터를 결정하는 단계; 및 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하는 단계 - 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2임 - 를 포함한다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 이전에, 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하며, 상기 제1 SBAD 값은 상기 현재의 프레임과 상기 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 상기 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 상기 이전의 프레임과 상기 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이며, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계는, 상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계를 포함한다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 보간될 프레임의 M1×M1 블록은 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 현재의 프레임의 대응하는 정합된 블록을 외삽함으로써 획득되며, 상기 보간될 프레임의 M1×M1 블록은 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 획득된다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 이전에, 상기 현재의 프레임 및 상기 이전의 프레임 모두의 경계 픽셀 값을 논제로(nonzero)에 설정하고, 상기 현재의 프레임 및 상기 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장하는 단계를 더 포함한다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 이전의 프레임에 대해 상기 현재의 프레임에서 장면이 전환될 때, 상기 정합된 블록이 최초로 검색된 후, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 상기 보간될 프레임의 M1×M1 블록에 대응하면서 상기 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 상기 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 상기 보간될 프레임을 외삽법으로 획득하는 단계를 더 포함한다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 보간될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면 상기 현재의 프레임 및 상기 이전의 프레임의 특정한 구역에 대해 제2 결정될 정합된 블록 쌍을 검색하며, 상기 특정한 구역은 상기 현재의 프레임 및 상기 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이며, K는 2보다 크거나 같은 양의 정수이며;
상기 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록의 움직임 벡터를 결정하며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수이다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계는, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 2회 검색하는 단계를 포함하며, 상기 정합된 블록을 2회 검색하는 단계는 반대 순서의 검색을 가진다.
제1 관점 및 제1 관점의 전술한 실행 방식을 참조하여, 제1 관점의 다른 실행 방식에서, 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계는, 블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계를 포함하며, 상기 블록 정합 기준은,
Figure pct00001
이고, 여기서 SBAD는 정합된 블록 쌍의 SBAD 값이고, Bi ,j는 보간될 프레임의 M1×M1 블록이며, s는 보간될 프레임의 픽셀 포인트이고, v는 시프트 벡터이고, fn -1은 현재의 프레임의 픽셀 값이며, fn +1은 이전의 프레임의 픽셀 값이다.
제2 관점에 따르면, 다중레벨 양방향 모선 추정 장치가 제공되며, 상기 장치는, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 구성되어 있는 정합 검색 유닛 - 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘임 - ; 및 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있는 결정 유닛 - 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(SBAD) 값이 최소인 한 쌍의 정합된 블록임 - ;을 포함하며, 상기 결정 유닛은, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며, 상기 정합 검색 유닛은, 상기 결정 유닛에 의해 결정되는, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하도록 추가로 구성되어 있으며, 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2이다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서,
상기 결정 유닛은, 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하도록 추가로 구성되어 있으며, 상기 제1 SBAD 값은 상기 현재의 프레임과 상기 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 상기 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 상기 이전의 프레임과 상기 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이며, 상기 정합 검색 유닛은 구체적으로, 상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 구성되어 있다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 결정 유닛은, 상기 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 현재의 프레임의 대응하는 정합된 블록을 외삽함으로써 상기 보간될 프레임의 M1×M1 블록을 획득하도록 추가로 구성되어 있으며, 상기 결정 유닛은, 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 상기 보간될 프레임의 M1×M1 블록을 획득하도록 구성되어 있다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 장치는 확장 유닛을 더 포함하며, 상기 확장 유닛은, 피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 상기 현재의 프레임 및 상기 이전의 프레임 모두의 경계 픽셀 값을 논 제로에 설정하고, 상기 현재의 프레임 및 상기 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장하도록 구성되어 있다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 결정 유닛은, 상기 이전의 프레임에 대해 상기 현재의 프레임에서 장면이 전환될 때, 상기 정합된 블록이 최초로 검색된 후, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 상기 보간될 프레임의 M1×M1 블록에 대응하면서 상기 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 상기 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 상기 보간될 프레임을 외삽법으로 획득하도록 추가로 구성되어 있다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 정합 검색 유닛은, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에, 상기 결정 유닛에 의해 결정되는, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면, 상기 현재의 프레임 및 상기 이전의 프레임의 특정한 구역 내의 제2 결정될 정합된 블록 쌍을 검색하도록 추가로 구성되어 있으며, 상기 특정한 구역은 상기 현재의 프레임 및 상기 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이며, 상기 결정 유닛은, 상기 정합 검색 유닛에 의해 검색된 상기 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이고, K는 2보다 크거나 같은 양의 정수이다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 결정 유닛은, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수이다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 정합 검색 유닛은 구체적으로, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 2회 검색하도록 구성되어 있으며, 상기 정합된 블록을 2회 검색하는 것은 반대 순서의 검색을 가진다.
제2 관점 및 제2 관점의 전술한 실행 방식을 참조하여, 제2 관점의 다른 실행 방식에서, 상기 결정 유닛은 구체적으로, 블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있으며, 상기 블록 정합 기준은,
Figure pct00002
이고, 여기서 SBAD는 정합된 블록 쌍의 SBAD 값이고, Bi ,j는 보간될 프레임의 M1×M1 블록이며, s는 보간될 프레임의 픽셀 포인트이고, v는 시프트 벡터이고, fn -1은 현재의 프레임의 픽셀 값이며, fn +1은 이전의 프레임의 픽셀 값이다.
본 발명의 실시예에서는, 양방향 움직임 추정을 기초로 해서, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 이 보간될 프레임 전후의 프레임(현재의 프레임 및 이전의 프레임) 각각에서 정합된 블록을 검색하며, 모든 검색된 정합된 블록 쌍 중 SBAD 값이 최소인 한 쌍의 정합된 블록을 제1 결정될 정합된 블록으로서 결정한다. 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같을 때, M1×M1 블록은 다중레벨 방법을 참조하여 M2×M2 블록으로 분할되고, 정합된 블록을 다시 검색하는데, 여기서 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이다. 그러므로 다중레벨 방법을 양방향 움직임 추정과 결합하여 사용하면, 보간될 프레임의 M1×M1 블록은 점차 분해되고 움직임 정보는 더 정확하게 설명된다. 또한, 움직임 추정에 3차원 재귀 검색 알고리즘(three-dimensinoal recursive search algorithm) 또는 육각형 검색 알고리즘(hexagon search algorithm)을 적용하며, 이에 따라 평활한 움직임 벡터 필드를 획득할 수 있으며, 수렴은 고속으로 이루어지고, 복잡도는 낮아지며, 이는 움직임 추정 정확성을 효과적으로 높이고 이미지 품질을 향상시킨다.
본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래기술을 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 다중레벨 양방향 움직임 추정 방법에 대한 흐름도이다.
도 2a는 피사체의 원거리 움직임 장면의 시각적 이미지 정보와의 불일치에 대한 보간 개략도이다.
도 2b는 본 발명의 실시예에 따른 장면의 원거리 움직임 장면에서의 보간 개략도이다.
도 3은 본 발명의 실시예에 따른 다중레벨 양방향 움직임 추정 방법의 프로세스에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 3-레벨 보간될 프레임의 정합된 블록에 대한 개략도이다.
도 5는 본 발명의 실시예 F에 따른 다중레벨 양방향 움직임 추정 방법에 대한 구조 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 다중레벨 양방향 움직임 추정 방법의 프로세스에 대한 흐름도이다.
이하에서는 본 발명의 실시예의 첨부된 도면을 참조하여 본 발명의 실시예에 따른 기술적 솔루션에 대해 명확하고 완전하게 설명한다. 당연히, 이하의 상세한 설명에서의 실시예는 본 발명의 모든 실시예가 아닌 일부에 지나지 않는다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 발명의 보호 범위 내에 있게 된다.
도 1은 본 발명의 실시예에 따른 다중레벨 양방향 움직임 추정 방법에 대한 흐름도이다. 도 1에서의 방법은 다중레벨 양방향 움직임 추정 장치에 의해 실행된다.
101. 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하며, 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘이다.
102. 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하며, 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(Sum of Binary Absolute Difference: SBAD) 값이 최소인 한 쌍의 정합된 블록이다.
103. 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록을 결정한다.
104. 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하며, 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2이다.
본 발명의 실시예에서, 양방향 움직임 추정을 기초로 해서, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 이 보간될 프레임 전후의 프레임(현재의 프레임 및 이전의 프레임) 각각에서 정합된 블록을 검색하며, 모든 검색된 정합된 블록 쌍 중 SBAD 값이 최소인 한 쌍의 정합된 블록을 제1 결정될 정합된 블록으로서 결정한다. 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같을 때, M1×M1 블록은 다중레벨 방법을 참조하여 M2×M2 블록으로 분할되고, 정합된 블록을 다시 검색하는데, 여기서 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이다. 그러므로 다중레벨 방법을 양방향 움직임 추정과 결합하여 사용하면, 보간될 프레임의 M1×M1 블록은 점차 분해되고 움직임 정보는 더 정확하게 설명된다. 또한, 움직임 추정에 3차원 재귀 검색 알고리즘(three-dimensinoal recursive search algorithm) 또는 육각형 검색 알고리즘(hexagon search algorithm)을 적용하며, 이에 따라 평활한 움직임 벡터 필드를 획득할 수 있으며, 수렴은 고속으로 이루어지고, 복잡도는 낮아지며, 이는 움직임 추정 정확성을 효과적으로 높이고 이미지 품질을 향상시킨다.
본 발명의 실시예는 보간될 프레임이 분할되는 블록의 수 또는 각각의 정합된 블록의 크기에 제한되지 않는다는 점을 유념해야 한다. 보간될 프레임은 하나 이상의 정합된 블록으로 분할되고, 각각의 정합된 블록은 Mi×Mi 블록이며, 여기서 Mi는 양의 정수이다. 본 발명의 실시예는 다중레벨 방법에서 얼마나 많은 레벨의 움직임 추정(즉, K 레벨의 움직임 추정에서의 K의 값, 단 K는 2보다 크거나 같은 양의 정수이다)이 적용되는지는 제한하지 않는다. i번째 레벨 움직임 추정의 각각의 정합된 블록은 M1×M1 블록이고, (i+1)번째 레벨 움직임 추정의 각각의 정합된 블록은 M2×M2 블록이며, i는 양의 정수인 것으로 가정한다.
선택적으로, 실시예에서, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 보간될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수이다. 예를 들어, K의 값은 4에 미리 설정되어 있으며, 즉 4 레벨의 움직임 추정이 적용된다. 제4 레벨의 움직임 추정에서, 보간될 프레임의 M1×M1 블록에 대응하는 결정될 정합된 블록 쌍의 SBAD 값은 SBAD 임계값보다 크거나 같으며, 보간될 프레임의 M1×M1 블록은 더 이상 분할되지 않을 것이며, 즉 M은 M1과 같고, 대응하는 결정될 정합된 블록 쌍 주위의 정합된 블록의 움직임 벡터에 따라 보간될 프레임의 M×M 블록의 움직임 벡터를 결정한다.
선택적으로, 다른 실시예에서, 단계 101에서, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임에서 정합된 블록을 2회 검색하며, 상기 정합된 블록을 2회 검색하는 것은 반대 순서의 검색을 가진다.
선택적으로, 다른 실시예에서, 단계 102에서, 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하며, 상기 제1 SBAD 값은 상기 현재의 프레임과 상기 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 상기 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 상기 이전의 프레임과 상기 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이다.
상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 단계 103 및 단계 104가 수행된다.
제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 보간될 프레임의 M1×M1 블록은 현재의 프레임의 대응하는 정합된 블록을 외삽(extrapolation)함으로써 획득되며, 즉, 현재의 프레임의 대응하는 정합된 블록이 상기 보간될 프레임의 M1×M1 블록으로서 복사된다.
제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 보간될 프레임의 M1×M1 블록은 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 획득되며, 즉 이전의 프레임의 대응하는 정합된 블록이 상기 보간될 프레임의 M1×M1 블록으로서 복사된다.
전술한 솔루션은 피사체의 움직임으로 인해 배경이 덮이거나 노출되는 장면(즉, "블로킹"의 문제)에 적용 가능하다. 종래기술에서는, 이전의 프레임, 현재의 프레임, 및 이전의 프레임 전의 프레임을 사용하여 블로킹된 구역을 검출하는데, 여기서, 상기 이전의 프레임 전의 프레임은 이전의 프레임의 이전의 프레임이다. 예를 들어, 이전의 프레임 및 이전의 프레임 전의 프레임을 사용함으로써, 이전의 프레임에 대한 후방 움직임 추정을 수행하여 전방에 정합하는 절대값 차이의 합(Sum of Absolute Difference: SAD) 값을 생성하며; 이전의 프레임 및 현재의 프레임을 사용함으로써, 이전의 프레임에 대한 전방 움직임 추정을 수행하여 후방에 정합하는 SAD 값을 생성한다. 이전의 프레임에서, 전방에 정합하는 SAD 값이 후방에 정합하는 SAD 값보다 큰 블록이 덮여 있는 구역이고, 전방에 정합하는 SAD 값이 후방에 정합하는 SAD 값보다 작거나 같은 블록이 노출되어 있는 구역이다.
그러므로 본 발명의 실시예에서의 솔루션을 블로킹 프로세싱에 적용할 때는, 움직임 추정을 2회 수행하지 않아도 되는데, 즉 전방 움직임 추정 및 후방 움직임 추정을 수행하지 않아도 되며, 이에 의해 계산량이 감소한다. 또한, 종래기술은 보간될 프레임 내의 블록을 처리하는 방법을 지적하지 않고 있다. 블로킹 장면에서, 실시예에서의 블로킹 프로세싱을 통해 획득되는 보간될 프레임은 이미지 품질을 효과적으로 향상시킨다.
선택적으로, 다른 실시예에서, 피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 단계 101 이전에, 상기 현재의 프레임 및 상기 이전의 프레임 모두의 경계 픽셀 값을 논제로(nonzero)에 설정하고, 상기 현재의 프레임 및 상기 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장한다.
피사체가 이미지의 경계에 들어오거나 나갈 때, 종래기술에서의 움직임 추정은 보간될 프레임의 경계에서 "블록 효과(block effect)"를 일으키지만, 본 발명의 기술적 솔루션에 따라 획득되는 보간될 프레임은 경계에서 "블록 효과"를 감소시킬 수 있으며, 이미지 품질을 향상시킬 수 있다.
선택적으로, 다른 실시예에서, 상기 이전의 프레임에 대해 상기 현재의 프레임에서 장면이 전환될 때, 상기 정합된 블록이 최초로 검색된 후, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 상기 보간될 프레임의 M1×M1 블록에 대응하면서 상기 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 상기 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 상기 보간될 프레임을 외삽법으로 획득한다. 선택적으로, 현재의 프레임이 보간될 프레임으로서 복사될 수 있거나 이전의 프레임이 보간될 프레임으로서 복사될 수 있다.
장면이 인접하는 프레임 간에서 전환될 때, 예를 들어, 이전의 프레임이 "로켓" 이미지이고 현재의 프레임이 "테이블" 이미지일 때, 이전의 프레임과 현재의 프레임의 중첩 이미지인 보간될 프레임을 보간법으로 획득하는 것은 합리적이지 않으며, 예를 들어, 외삽법을 사용함으로써, 이전의 프레임의 "로켓" 이미지를 복사하여 보간될 프레임을 획득하거나 현재의 프레임의 "테이블" 이미지를 복사하여 보간될 프레임을 획득하는 것이 적절하다. 또한, 다중레벨의 움직임 보상이 수행될 때까지 SBAD 값이 SBAD 임계값보다 크거나 같은 결정될 정합된 블록 쌍이 카운트되지 않으면, 보간될 프레임이 외삽법을 사용함으로써 획득될 것으로 여겨지므로 계산량은 증가하고 다중레벨의 움직임 추정은 소용없다. 그러므로 정합된 블록을 최초로 검색한 후 카운팅이 수행되면 계산량이 효과적으로 감소된다.
선택적으로, 다른 실시예에서, K 레벨의 움직임 추정이 수행된 후에 상기 현재의 프레임 및 상기 이전의 프레임의 특정한 구역 내에서 제2 결정될 정합된 블록 쌍을 검색하며, 상기 특정한 구역은 상기 현재의 프레임 및 상기 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이다. 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하며, 여기서 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이다.
피사체의 움직임 범위가 피사체의 크기보다 훨씬 크면(즉, 원거리 움직임이면), 보간된 프레임에서, 피사체가 나타나는 대응하는 영역은 도 2a에 도시된 바와 같이 배경을 획득할 것이며, 이것은 시각적 이미지 정보와 일치하지 않는다.
피사체의 원거리 움직임 장면에서, 즉 피사체의 움직임 진폭이 정합 검색 범위를 넘어가면, 본 발명의 실시예에서는, 제1 결정될 정합된 블록 쌍의 SBAD 값이 정합된 블록을 복수 회 검색할 때의 SBAD 임계값보다 여전히 크거나 같은 것으로 결정된다. 구체적으로, 도 2b에 도시된 바와 같이, K 레벨의 움직임 추정이 수행된 후, 보간된 프레임의 보간 프로세스에서는, 2개의 연속하는 프레임에 참여하는 M×M 블록이 표시되고, 보간에 참여하지 않는 블록은 "빈 공간(void)"으로 규정된다. 2개의 연속하는 프레임에서, 모아진 "빈 공간" 블록은 결합되어 특정한 공간으로서 기록된다. 바꿔 말하면, 이전의 프레임 및 현재의 프레임에서의 보간에 참여하지 않는 모든 블록은 특정한 구역에서 결합된다. 이를 기초로 해서, 어떤 원거리 움직임이 일어나는지를 결정한다. 한편, 특정한 구역 내에서 제2 결정될 정합된 블록 쌍을 검색하고, 상기 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 보간될 프레임의 M×M 블록의 움직임 벡터가 결정된다.
전술한 기술적 솔루션에 따르면, 피사체의 원거리 움직임이 일어날 때 움직임 추정의 정확성이 효과적으로 향상될 수 있다.
선택적으로, 다른 실시예에서, 단계 102에서, 블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하며, 상기 블록 정합 기준은 다음의 식(1)일 수 있다:
Figure pct00003
(1)
여기서 SBAD는 정합된 블록 쌍의 SBAD 값이고, Bi ,j는 보간될 프레임의 M1×M1 블록이며, s는 보간될 프레임의 픽셀 포인트이고, v는 시프트 벡터이고, fn -1은 현재의 프레임의 픽셀 값이며, fn +1은 이전의 프레임의 픽셀 값이다.
이해할 수 있는 바와 같이, 본 발명의 실시예의 애플리케이션은 제한되지 않는다. 예를 들어, 본 발명의 실시예는 비디오폰 및 회의 호출에 적용 가능하다. 본 발명의 실시예는 또한 평면형 텔레비전의 이미지 품질도 향상시킬 수 있는데, 예를 들어, 액정 디스플레이(Liquid Crystal Display: LCD)의 디스플레이에 존재하는 움직임 흐림, 이미지 떨림, 및 이미지 줄무늬 자국과 같은 결점을 극복하거나; 또는 플라즈마 디스플레이 패널(Plasma Display Panel: PDP)의 디스플레이에서의 대량의 깜박거림과 같은 문제를 극복한다.
이하에서는 도 3을 참조하여 본 발명을 더 상세히 설명한다. 도 3의 실시예에서는 3(K의 값이 3) 레벨의 양방향 움직임 추정을 예로 사용하되, 이를 본 발명의 실시예에 대한 제한으로서 파악해서는 안 된다.
구체적으로, 도 4에 도시된 바와 같이, 제1 레벨의 보간될 프레임 Fn 내의 각각의 정합된 블록은 16×16 블록이고, 대응하는 SBAD 임계값은 V1이며; 제2 레벨의 보간될 프레임 Fn 내의 각각의 정합된 블록은 8×8 블록이고, 대응하는 SBAD 임계값은 V1/4이며; 제3 레벨의 보간될 프레임 Fn 내의 각각의 정합된 블록은 4×4 블록이고, 대응하는 SBAD 임계값은 V1/16이다.
S301. 16×16 블록의 제1 레벨의 양방향 움직임 추정: 보간될 프레임 Fn의 16×16 블록 각각을 미러 센터로서 사용하여 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1에서의 정합된 블록을 검색하고, 보간될 프레임 Fn의 16×16 블록 각각에 대응하는 보간될 정합된 블록 쌍을 각각 결정하며, 각각의 결정될 정합된 블록 쌍은 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1에서 검색된 모든 검색된 정합된 블록 쌍 중 SBAD 값이 최소인 한 쌍의 정합된 블록이다.
조건이 충족되는지를 결정한다: 결정될 정합된 블록 쌍의 SBAD 값을 SBAD 임계값 V1과 비교한다.
보간될 프레임 Fn의 대응하는 16×16 블록의 움직임 벡터(예를 들어 결정될 정합된 블록 쌍의 움직임 벡터의 평균값)는 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1보다 작으면 결정될 정합된 블록 쌍의 움직임 벡터에 따라 결정된다.
결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1보다 크거나 같으면, 단계 S302가 수행되고, 8×8 블록의 제2 레벨의 양방향 움직임 추정이 수행된다.
선택적으로, 단계 S301이 수행되기 전에, 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1의 경계가 각각 16 픽셀만큼 원주 상에서 확장될 수 있으며, 여기서 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1 모두의 경계 픽셀 값은 논제로이다. 이 방법에서, 피사체가 이미지의 경계에 들어오거나 나갈 때, 본 발명의 기술적 솔루션에 따라 획득되는 보간될 프레임 Fn은 경계에서 "블록 효과"를 감소할 수 있으며, 이미지 품질을 향상시킬 수 있다.
선택적으로, 블로킹된 구역의 검출에서, Fn+3으로 표시되는 다음의 프레임 이후의 프레임을 사용함으로써, 현재의 프레임 Fn+1과 이전의 프레임 Fn-1 간의 16×16 블록의 제1 레벨의 양방향 움직임 추정을 수행하여 제1 SBAD 값을 생성하고, 현재의 프레임 Fn+1과 다음의 프레임 이후의 프레임 Fn+3 간의 16×16 블록의 제1 레벨의 양방향 움직임 추정을 수행하여 제2 SBAD 값을 생성하며, 이전의 프레임 Fn-1과 다음의 프레임 이후의 프레임 Fn+3 간의 16×16 블록의 제1 레벨의 양방향 움직임 추정을 수행하여 제3 SBAD 값을 생성한다.
제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 정합 조건이 충족되는지를 결정하며, 제1 SBAD 값은 SBAD 임계값 V1과 비교된다. 제1 SBAD 값이 제1 SBAD 값 중 최솟값이 아닐 때, 대응하는 16×16 블록의 움직임 벡터는 로컬 영역 외삽법(extrapolation method)을 사용하여 획득될 수 있다. 가능한 실행 방법에서, 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 보간될 프레임 Fn의 M1×M1 블록은 현재의 프레임의 Fn+1의 대응하는 정합된 블록을 외삽함으로써 획득되는데, 즉 현재의 프레임 Fn+1의 대응하는 정합된 블록이 상기 보간될 프레임 Fn의 M1×M1 블록으로서 복사된다. 다른 가능한 실행 방법에서, 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 보간될 프레임 Fn의 M1×M1 블록은 보간될 프레임 Fn의 M1×M1 블록에 대응하는 현재의 프레임의 Fn+1의 대응하는 정합된 블록을 외삽함으로써 획득되는데, 즉 이전의 프레임 Fn-1의 대응하는 정합된 블록이 상기 보간될 프레임 Fn의 M1×M1 블록으로서 복사된다. 그러므로 본 발명의 실시예에서의 솔루션을 블로킹 프로세싱에 적용할 때는, 움직임 추정을 2회 수행하지 않아도 되는데, 즉 전방 움직임 추정 및 후방 움직임 추정을 수행하지 않아도 되며, 이에 의해 계산량이 감소한다. 또한, 블로킹 프로세싱을 통해 획득되는 보간될 프레임 Fn은 이미지 품질을 효과적으로 향상시킨다.
선택적으로, 16×16 블록의 제1 레벨의 양방향 움직임 추정을 수행한 후에 장면 전환 검출을 수행한다. 구체적으로, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 보간될 프레임 Fn의 16×16 블록에 대응하면서 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 결정될 정합된 블록 쌍보다 작은 것으로 결정되면, 장면 전환이 일어나지 않은 것으로 결정되고, 단계 302, 즉 88 블록의 제2 레벨의 양방향 움직임 추정이 수행된다. 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 보간될 프레임 Fn의 16×16 블록에 대응하면서 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 장면 전환이 일어나는 것으로 결정되고, 보간될 프레임 Fn은 외삽법으로 획득된다. 선택적으로, 현재의 프레임 Fn+1이 보간될 프레임 Fn으로서 복사될 수 있거나, 이전의 프레임 Fn-1이 보간될 프레임 Fn으로서 복사될 수 있다. 인접하는 프레임 간에 장면 전환이 일어날 때, 다중레벨의 움직임 추정이 수행될 때까지 SBAD 값이 SBAD 임계값보다 크거나 같은 결정될 정합된 블록 쌍이 카운트되지 않으면, 보간될 프레임 Fn이 외삽법을 사용함으로써 획득될 것으로 여겨지므로 계산량은 증가하고 다중레벨의 움직임 추정은 소용없다. 그러므로 16×16 블록의 제1 레벨의 양방향 움직임 추정이 수행된 후 카운팅이 수행되면 계산량이 효과적으로 감소된다.
S302. 8×8 블록의 제2 레벨의 양방향 움직임 추정: 대응하는 보간될 프레임 Fn의 16×16 블록을 8×8 블록으로 분할하고, 보간될 Fn의 8×8 블록을 미러 센터로서 사용하여 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1 각각에서의 정합된 블록을 다시 검색하며, 정합된 블록 쌍을 다시 검색하기 위한 SBAD 임계값은 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값 V1의 8/(2*16)=1/4이며, 즉 V1/4이다.
마찬가지로, 조건이 충족되는지를 결정한다: 보간될 프레임 Fn의 8×8 블록에 대응하는 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1/4보다 작으면, 대응하는 보간될 프레임 Fn의 8×8 블록의 움직임 벡터는 결정될 정합된 블록 쌍의 움직임 벡터에 따라 결정된다.
S303. 4×4 블록의 제3 레벨의 양방향 움직임 추정: 보간될 프레임의 8×8 블록에 대응하는 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1/4보다 크거나 같으면, 대응하는 보간될 프레임 Fn의 8×8 블록을 4×4 블록으로 분할하고, 보간될 Fn의 4×4 블록을 미러 센터로서 사용하여 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1 각각에서의 정합된 블록을 다시 검색하며, 정합된 블록 쌍을 다시 검색하기 위한 SBAD 임계값은 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값 V1/4의 4/(2*16)=1/4이며, 즉 V1/16이다. 보간될 프레임 Fn의 4×4 블록에 대응하는 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1/16보다 작으면, 대응하는 보간될 프레임 Fn의 4×4 블록의 움직임 벡터는 결정될 정합된 블록 쌍의 움직임 벡터에 따라 결정된다.
선택적으로, 보간될 프레임 Fn의 4×4 블록에 대응하는 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값 V1/16보다 크거나 같으면, 보간될 프레임의 4×4 블록의 움직임 벡터는 보간될 프레임 Fn의 4×4 블록에 대응하는 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 결정될 수 있다.
S304. 원거리 움직임 검출이 수행될 수 있다. 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1에서의 보간에 참여하지 않는 모든 블록(예를 들어, 보간을 위해 표시되지 않는 블록)은 특정한 구역에 결합될 수 있다. 이를 기초로 해서, 어떤 원거리 움직임이 일어나는지를 결정한다. 어떤 원거리 움직임이 일어나면, 예를 들어, 특정한 구역이 존재하면, 결정될 정합된 블록 쌍을 특정한 구역 내에서 검색할 수 있고, 보간될 프레임 Fn의 4×4 블록에 대응하는 움직임 벡터는 특정한 구역 내에서 검색된 결정될 정합된 블록 쌍의 움직임 벡터에 따라 결정될 수 있다. 그러므로 피사체의 원거리 움직임이 일어날 때 움직임 추정의 정확성이 효과적으로 향상될 수 있다. 이해할 수 있는 바와 같이, 단계 304는 선택사항이다.
선택적으로, 다중레벨의 양방향 움직임 추정의 실시예에서, 보간될 프레임 Fn의 16×16 블록 및 8×8 블록에는 3-D RS 검색 알고리즘을 적용하고, 보간될 프레임 Fn의 4×4 블록에는 육각형 검색 알고리즘을 적용하며, 이는 움직임 벡터 필드를 평활화할 수 있고, 계산 복잡도를 감소시키며, 신속하게 수렴한다. 또한, 보간될 프레임 Fn의 16×16 블록, 8×8 블록, 또는 4×4 블록을 미러 센터로서 사용하여 현재의 프레임 Fn+1 및 이전의 프레임 Fn-1에서 정합된 블록을 2회 검색할 수 있고, 여기서 상기 정합된 블록을 2회 검색하는 것은 반대 순서의 검색을 가진다(예를 들어, 프레임에 대해 검색을 2회 수행하는데, 즉 "상좌(upper left)로부터 하우(lower right)로"의 전방 순서 및 "하우로부터 상좌로"의 역순으로 수행한다).
선택적으로, 보간될 프레임 Fn의 16×16 블록, 8×8 블록, 및 4×4 블록에 대응하는 결정될 정합된 블록 쌍은 전술한 식(1)에서 블록 정합 기준에 기초해서 결정될 수 있다.
이해할 수 있는 바와 같이, 전술한 예들은 단지 예시에 불과하며 본 발명의 범위를 제한하려는 것이 아니다.
전술한 솔루션에서의 다중레벨 양방향 움직임 추정은 움직임 정보를 더 정확하게 설명하며, 이미지 품질을 효과적으로 향상시킨다.
도 5는 본 발명의 실시예에 따른 다중레벨 양방향 움직임 추정 방법에 대한 구조 블록도이다. 다중레벨 양방향 움직임 추정 장치(500)는 정합 검색 유닛(501) 및 결정 유닛(502)을 포함한다.
정합 검색 유닛(501)은 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 구성되어 있으며, 상기 이전의 프레임은 보간될 프레임의 이전의 프레임이고 현재의 프레임은 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘을 포함한다.
결정 유닛(502)은 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있으며, 상기 제1 결정될 정합된 블록 쌍은 상기 정합 검색 유닛(501)에 의해 현재의 프레임 및 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 SBAD 값이 최소인 한 쌍의 정합된 블록이다.
결정 유닛(502)은, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록을 결정하도록 추가로 구성되어 있다.
정합 검색 유닛(501)은, 상기 결정 유닛(502)에 의해 결정되는, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면, 상기 보간될 프레임의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 다시 검색하도록 추가로 구성되어 있으며, 여기서 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2이다.
본 발명의 실시예에서는, 양방향 움직임 추정을 기초로 해서, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 이 보간될 프레임 전후의 프레임(현재의 프레임 및 이전의 프레임) 각각에서 정합된 블록을 검색하며, 모든 검색된 정합된 블록 쌍 중 SBAD 값이 최소인 한 쌍의 정합된 블록을 제1 결정될 정합된 블록으로서 결정한다. 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같을 때, M1×M1 블록은 다중레벨 방법을 참조하여 M2×M2 블록으로 분할되고, 정합된 블록을 다시 검색하는데, 여기서 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이다. 그러므로 다중레벨 방법을 양방향 움직임 추정과 결합하여 사용하면, 보간될 프레임의 M1×M1 블록은 점차 분해되고 움직임 정보는 더 정확하게 설명된다. 또한, 움직임 추정에 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘을 적용하며, 이에 따라 평활한 움직임 벡터 필드를 획득할 수 있으며, 수렴은 고속으로 이루어지고, 복잡도는 낮아지며, 이는 움직임 추정 정확성을 효과적으로 높이고 이미지 품질을 향상시킨다.
다중레벨 양방향 움직임 추정 장치(500)는 도 1 내지 도 7에서의 실시예를 실행할 수 있다. 그러므로 반복을 피하기 위해 여기서는 더 이상 상세히 설명하지 않는다.
본 발명의 실시예는 보간될 프레임이 분할되는 블록의 수, 또는 각각의 정합된 블록의 크기를 제한하지 않는다는 것에 유의해야 한다. 보간될 프레임은 하나 이상의 정합된 블록으로 분할되고, 각각의 정합된 블록은 Mi×Mi 블록이며, 여기서 Mi는 양의 정수이다. 본 발명의 실시예는 다중레벨 방법에서 얼마나 많은 레벨의 움직임 추정(즉, K 레벨의 움직임 추정에서의 K의 값, 단 K는 2보다 크거나 같은 양의 정수이다)이 적용되는지는 제한하지 않는다. i번째 레벨 움직임 추정의 각각의 정합된 블록은 M1×M1 블록이고, (i+1)번째 레벨 움직임 추정의 각각의 정합된 블록은 M2×M2 블록이며, i는 양의 정수인 것으로 가정한다.
선택적으로, 다른 실시예에서, 결정 유닛(502)은 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하도록 구성되어 있으며, 상기 제1 SBAD 값은 현재의 프레임과 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 이전의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이다. 상기 정합 검색 유닛(401)은 구체적으로 상기 결정 유닛(502)에 의해 상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값인 것으로 결정될 때, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 추가로 구성되어 있다.
선택적으로, 결정 유닛(502)은 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 현재의 프레임의 대응하는 정합된 블록을 외삽(extrapolation)함으로써 보간될 프레임의 M1×M1 블록을 획득하며, 즉, 현재의 프레임의 대응하는 정합된 블록을 보간될 프레임의 M1×M1 블록으로서 복사하도록 추가로 구성되어 있다.
선택적으로, 결정 유닛(502)은 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때, 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 보간될 프레임의 M1×M1 블록을 획득하며, 즉 이전의 프레임의 대응하는 정합된 블록을 보간될 프레임의 M1×M1 블록으로서 복사하도록 추가로 구성되어 있다.
전술한 솔루션은 피사체의 움직임으로 인해 배경이 덮이거나 노출되는 장면(즉, "블로킹"의 문제)에 적용 가능하다. 본 발명의 실시예에서의 솔루션을 블로킹 프로세싱에 적용할 때는, 움직임 추정을 2회 수행하지 않아도 되는데, 즉 전방 움직임 추정 및 후방 움직임 추정을 수행하지 않아도 되며, 이에 의해 계산량이 감소한다. 또한, 종래기술은 보간될 프레임 내의 블록을 처리하는 방법을 지적하지 않고 있다. 블로킹 장면에서, 실시예에서의 블로킹 프로세싱을 통해 획득되는 보간될 프레임은 블로킹 프로세싱을 통하지 않고 획득되는 보간될 프레임에 비해 이미지 품질을 효과적으로 향상시킨다.
선택적으로, 다른 실시예에서, 장치(500)는 확장 유닛(503)을 더 포함한다. 확장 유닛(503)은 피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 현재의 프레임 및 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장하도록 구성되어 있으며, 여기서 현재의 프레임 및 이전의 프레임 모두의 경계 픽셀 값은 논제로이다.
피사체가 이미지의 경계에 들어오거나 나갈 때, 종래기술에서의 움직임 추정은 보간될 프레임의 경계에서 "블록 효과"를 일으키지만, 본 발명의 기술적 솔루션에 따라 획득되는 보간될 프레임은 경계에서 "블록 효과"를 감소시킬 수 있으며, 이미지 품질을 향상시킬 수 있다.
선택적으로, 다른 실시예에서, 결정 유닛(502)은 이전의 프레임에 대해 현재의 프레임에서 장면이 전환될 때, 정합된 블록이 최초로 검색된 후, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 보간될 프레임의 M1×M1 블록에 대응하면서 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 보간될 프레임을 외삽법으로 획득하도록 추가로 구성되어 있다. 선택적으로, 현재의 프레임이 보간될 프레임으로서 복사될 수 있거나 이전의 프레임이 보간될 프레임으로서 복사될 수 있다.
다중레벨의 움직임 보상이 수행될 때까지 SBAD 값이 SBAD 임계값보다 크거나 같은 결정될 정합된 블록 쌍이 카운트되지 않으면, 보간될 프레임이 외삽법을 사용함으로써 획득될 것으로 여겨지므로 계산량은 증가하고 다중레벨의 움직임 추정은 소용없다. 그러므로 정합된 블록을 최초로 검색한 후 카운팅이 수행되면 계산량이 효과적으로 감소된다.
선택적으로, 다른 실시예에서, 정합 검색 유닛(501)은 K 레벨의 움직임 추정이 수행된 후에 상기 결정 유닛(502)에 의해 결정되는 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면, 현재의 프레임 및 이전의 프레임의 특정한 구역 내에서 제2 결정될 정합된 블록 쌍을 검색하며, 여기서 상기 특정한 구역은 현재의 프레임 및 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이다. 결정 유닛(502)은 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며, 여기서 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이다.
전술한 기술적 솔루션에 따르면, 피사체의 원거리 움직임이 일어날 때 움직임 추정의 정확성이 효과적으로 향상될 수 있다.
선택적으로, 실시예에서, 결정 유닛(502)은 K 레벨의 움직임 추정이 수행된 후에 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며, 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수이다.
선택적으로, 다른 실시예에서, 정합 검색 유닛(501)은 구체적으로, 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임에서 정합된 블록을 2회 검색하도록 구성되어 있으며, 여기서 상기 정합된 블록을 2회 검색하는 것은 반대 순서의 검색을 가진다.
선택적으로, 다른 실시예에서, 결정 유닛(502)은 구체적으로,
전술한 식(1)에서의 블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있다:
이해할 수 있는 바와 같이, 본 발명의 실시예의 애플리케이션은 제한되지 않는다. 예를 들어, 본 발명의 실시예는 비디오폰 및 회의 호출에 적용 가능하다. 본 발명의 실시예는 또한 평면형 텔레비전의 이미지 품질도 향상시킬 수 있는데, 예를 들어, 액정 디스플레이(Liquid Crystal Display: LCD)의 디스플레이에 존재하는 움직임 흐림, 이미지 떨림, 및 이미지 줄무늬 자국과 같은 결점을 극복하거나; 또는 플라즈마 디스플레이 패널(Plasma Display Panel: PDP)의 디스플레이에서의 대량의 깜박거림과 같은 문제를 극복한다.
도 6은 본 발명의 다른 실시예에 따른 다중레벨 양방향 움직임 추정 방법의 프로세스에 대한 흐름도이다.
도 6에 도시된 바와 같이, 다중레벨 양방향 움직임 추정 장치(600)는 대체로 CPU와 같은 적어도 하나의 프로세서(610), 적어도 하나의 포트(620), 메모리(630), 및 적어도 하나의 통신 포트(640)를 포함한다. 통신 버스(640)는 장치 간의 접속 및 통신을 수행하도록 구성되어 있다. 프로세서(610)는 컴퓨터 프로그램과 같이 메모리(630)에 저장되어 있는 실행 가능한 모듈을 실행하도록 구성되어 있다. 선택적으로, 장치(600)는 사용자 인터페이스(650)를 더 포함할 수 있으며, 사용자 인터페이스(650)는 디스플레이, 키보드, 및 마우스, 트랙볼, 터치패드, 터치스크린과 같은 클릭 장치를 포함하되, 이에 제한되지 않는다. 메모리(630)는 고속 RAM 메모리 또는 비휘발성 메모리(non-volatile memory)를 포함할 수 있는데, 예를 들어, 적어도 하나의 디스크 메모리를 포함할 수 있다.
일부의 실행 방식에서, 메모리(630)는 다음과 같은 구성요소를 저장하는데, 실행 가능한 모듈 또는 데이터 구조, 또는 이것들의 서브세트, 또는 이것들의 확장 세트를 저장한다.
운영체제(632)는 다양한 시스템 프로그램을 포함하며 다양한 기본적인 서비스를 실행하고 하드웨어 기반의 작업을 처리하도록 구성되어 있다.
애플리케이션 모듈(634)은 다양한 애플리케이션을 포함하고 다양한 애플리케이션 서비스를 실행하도록 구성되어 있다.
애플리케이션 모듈(634)은 정합 검색 유닛(501), 결정 유닛(502), 및 실행 유닛(503)을 포함하되, 이에 제한되지 않는다.
애플리케이션 모듈(634) 내의 각각의 유닛에 대한 특정한 실행에 대해서는, 도 8에 도시된 실시예에서의 대응하는 유닛을 참조하면 되므로, 이에 대해서는 여기서 더 이상 반복 설명하지 않는다.
당업자라면 본 명세서에 설명된 실시예에 설명된 예와 결합해서, 유닛 및 알고리즘 단계는 전자식 하드웨어 또는 컴퓨터 소프트웨어와 전자식 하드웨어의 결합에 의해 실행될 수 있다는 것을 인식할 수 있을 것이다. 기능들이 하드웨어에 의해 실행되는지 소프트웨어에 의해 실행되는지는 기술적 솔루션의 특정한 애플리케이션 및 설계상의 제약 조건에 따라 다르다. 당업자라면 다른 방법을 사용하여 각각의 특정한 애플리케이션에 대해 설명된 기능을 실행할 수 있을 것이나, 그 실행이 본 발명의 범위를 넘어서는 것으로 파악되어서는 안 된다.
당업자라면 설명의 편의 및 간략화의 목적상, 전술한 시스템, 장치, 및 유닛의 상세한 작업 프로세스에 대해서는, 전술한 방법 실시예에서의 대응하는 프로세스를 참조하면 되므로, 여기서 다시 설명하지 않아도 자명하게 이해할 수 있을 것이다.
본 애플리케이션에서 제공하는 몇 가지 실시예에서, 개시된 시스템, 장치, 및 방법은 다른 방식으로도 실행될 수 있음은 물론이다. 예를 들어, 설명된 장치 실시예는 단지 예시에 불과하다. 예를 들어, 유닛 분할은 단지 논리적 기능 분할일 뿐이며 실제의 실행에 따라 다른 분할이 될 수도 있다. 예를 들어, 복수의 유닛 또는 구성요소가 다른 시스템에 결합되거나 통합될 수 있거나, 일부의 특징은 무시되거나 수행되지 않을 수도 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접적인 결합 또는 통신 접속은 일부의 인터페이스를 통해 실행될 수 있다. 장치 간 또는 유닛 간의 간접적인 결합 또는 통신 접속은 전자식, 기계식, 또는 다른 형태로 실현될 수 있다.
별개의 부분으로 설명된 유닛은 물리적으로 별개일 수 있으며, 유닛으로서 표시된 부분은 물리적 유닛일 수도 있고 아닐 수도 있으며, 하나의 위치에 위치할 수 있거나, 복수의 네트워크 유닛 상에 분포될 수도 있다. 유닛 중 일부 또는 전부는 실시예의 솔루션의 목적을 달성할 수 있도록 실제의 필요에 따라 선택될 수 있다.
또한, 본 발명의 실시예에서의 기능 유닛들은 하나의 프로세싱 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 독립적으로 있거나, 2개의 이상의 유닛이 하나의 유닛으로 통합될 수 있다.
기능들이 소프트웨어 기능 유닛의 형태로 실현되어 독립 제품으로 시판되거나 사용되면, 이 기능들은 컴퓨터 판독 가능형 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 발명의 필수적 기술적 솔루션 또는, 또는 종래기술에 기여하는 부분, 또는 기술적 솔루션의 일부는 소프트웨어 제품의 형태로 실현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, 본 발명의 실시예에 설명된 방법의 단계 중 일부 또는 전부를 수행하도록 컴퓨터 장치(이것은 퍼스널 컴퓨터, 서버, 또는 네트워크 장치 등이 될 수 있다)에 명령하는 수개의 명령어를 포함한다. 전술한 저장 매체는: 프로그램 코드를 저장할 수 있는 임의의 저장 매체, 예를 들어, USB 플래시 디스크, 휴대형 하드디스크, 리드-온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기디스크 또는 광디스크를 포함한다.

Claims (18)

  1. 다중레벨 양방향 움직임 추정 방법에 있어서,
    보간될 프레임(to-be-interploated frame)의 M1×M1 블록을 미러 센터(mirror center)로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 - 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘(three-dimensinoal recursive search algorithm) 또는 육각형 검색 알고리즘(hexagon search algorithm)임 - ;
    상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍(first to-be-determined matched block pair)을 결정하는 단계 - 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(Sum of Binary Absolute Difference: SBAD) 값이 최소인 한 쌍의 정합된 블록임 - ;
    상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록의 움직임 벡터를 결정하는 단계; 및
    상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하는 단계 - 상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2임 -
    를 포함하는 다중레벨 양방향 움직임 추정 방법.
  2. 제1항에 있어서,
    상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계 후에,
    제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하는 단계
    를 더 포함하며,
    상기 제1 SBAD 값은 상기 현재의 프레임과 상기 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 상기 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 상기 이전의 프레임과 상기 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이며,
    상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계는,
    상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계
    를 포함하는, 다중레벨 양방향 움직임 추정 방법.
  3. 제2항에 있어서,
    상기 보간될 프레임의 M1×M1 블록은 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 현재의 프레임의 대응하는 정합된 블록을 외삽(extrapolation)함으로써 획득되며,
    상기 보간될 프레임의 M1×M1 블록은 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 획득되는, 다중레벨 양방향 움직임 추정 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계 이전에,
    상기 현재의 프레임 및 상기 이전의 프레임 모두의 경계 픽셀 값을 논제로(nonzero)에 설정하고, 상기 현재의 프레임 및 상기 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장하는 단계
    를 더 포함하는 다중레벨 양방향 움직임 추정 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 이전의 프레임에 대해 상기 현재의 프레임에서 장면이 전환될 때, 상기 정합된 블록이 최초로 검색된 후,
    모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 상기 보간될 프레임의 M1×M1 블록에 대응하면서 상기 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 상기 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 상기 보간될 프레임을 외삽법으로 획득하는 단계
    를 더 포함하는 다중레벨 양방향 움직임 추정 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 현재의 프레임 및 상기 이전의 프레임의 특정한 구역 내의 제2 결정될 정합된 블록 쌍을 검색하는 단계 - 상기 특정한 구역은 상기 현재의 프레임 및 상기 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이며, K는 2보다 크거나 같은 양의 정수임 - ; 및
    상기 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하는 단계 - 상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수임 - ;
    를 더 포함하는 다중레벨 양방향 움직임 추정 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하는 단계
    를 더 포함하며,
    상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수인, 다중레벨 양방향 움직임 추정 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하는 단계는,
    상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 2회 검색하는 단계
    를 포함하며,
    상기 정합된 블록을 2회 검색하는 단계는 반대 순서의 검색을 가지는, 다중레벨 양방향 움직임 추정 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계는,
    블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하는 단계
    를 포함하며,
    상기 블록 정합 기준은,
    Figure pct00004

    이고, 여기서 SBAD는 정합된 블록 쌍의 SBAD 값이고, Bi ,j는 보간될 프레임의 M1×M1 블록이며, s는 보간될 프레임의 픽셀 포인트이고, v는 시프트 벡터이고, fn -1은 현재의 프레임의 픽셀 값이며, fn +1은 이전의 프레임의 픽셀 값인, 다중레벨 양방향 움직임 추정 방법.
  10. 다중레벨 양방향 움직임 추정 장치에 있어서,
    보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 구성되어 있는 정합 검색 유닛 - 상기 이전의 프레임은 상기 보간될 프레임의 이전의 프레임이고 상기 현재의 프레임은 상기 보간될 프레임의 이후의 프레임이며, 검색용 알고리즘은 3차원 재귀 검색 알고리즘 또는 육각형 검색 알고리즘임 - ; 및
    상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있는 결정 유닛 - 상기 제1 결정될 정합된 블록 쌍은 상기 현재의 프레임 및 상기 이전의 프레임에서 검색된 모든 검색된 정합된 블록 쌍 중 이진 절대 차의 합(SBAD) 값이 최소인 한 쌍의 정합된 블록임 - ;
    을 포함하며,
    상기 결정 유닛은, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 작은 것으로 결정되면 상기 제1 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M1×M1 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며,
    상기 정합 검색 유닛은, 상기 결정 유닛에 의해 결정되는, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍의 M1×M1 블록을 M2×M2 블록으로 분할하고, 상기 보간될 프레임의 M2×M2를 미러 센터로서 사용하여 상기 현재의 프레임 및 상기 이전의 프레임 각각에서 정합된 블록을 다시 검색하도록 추가로 구성되어 있으며,
    상기 정합된 블록을 다시 검색하기 위한 SBAD 임계값은 상기 정합된 블록을 검색하는 데 이전에 적용된 SBAD 임계값의 1/4이며, M1 및 M2 모두는 2 내지 m의 제곱이고, m은 양의 정수이며, M2=M1/2인, 다중레벨 양방향 움직임 추정 장치.
  11. 제10항에 있어서,
    상기 결정 유닛은, 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값을 결정하도록 추가로 구성되어 있으며, 상기 제1 SBAD 값은 상기 현재의 프레임과 상기 이전의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이고, 상기 제2 SBAD 값은 상기 현재의 프레임과 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 제3 SBAD 값은 상기 이전의 프레임과 상기 다음의 프레임 이후의 프레임 간의 양방향 움직임 추정에 의해 생성되는 SBAD 값이며, 상기 다음의 프레임 이후의 프레임은 상기 현재의 프레임 이후의 프레임이며,
    상기 정합 검색 유닛은 구체적으로, 상기 제1 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 검색하도록 구성되어 있는, 다중레벨 양방향 움직임 추정 장치.
  12. 제11항에 있어서,
    상기 결정 유닛은, 상기 제2 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 현재의 프레임의 대응하는 정합된 블록을 외삽함으로써 상기 보간될 프레임의 M1×M1 블록을 획득하도록 추가로 구성되어 있으며,
    상기 결정 유닛은, 제3 SBAD 값이 제1 SBAD 값, 제2 SBAD 값, 및 제3 SBAD 값 중 최솟값일 때 이전의 프레임의 대응하는 정합된 블록을 외삽함으로써 상기 보간될 프레임의 M1×M1 블록을 획득하도록 구성되어 있는, 다중레벨 양방향 움직임 추정 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 장치는 확장 유닛을 더 포함하며,
    상기 확장 유닛은, 피사체가 이전의 프레임의 경계에 대해 현재의 프레임의 경계의 장면에 들어오거나 나갈 때, 상기 현재의 프레임 및 상기 이전의 프레임의 경계를 각각 M1 픽셀만큼 원주 상에서 확장하도록 구성되어 있으며,
    상기 현재의 프레임 및 상기 이전의 프레임 모두의 경계 픽셀 값은 논 제로에 설정되어 있는, 다중레벨 양방향 움직임 추정 장치.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 결정 유닛은, 상기 이전의 프레임에 대해 상기 현재의 프레임에서 장면이 전환될 때, 상기 정합된 블록이 최초로 검색된 후, 모든 이후에 결정될 정합된 블록 쌍의 수가 미리 정해진 임계값, 즉 상기 보간될 프레임의 M1×M1 블록에 대응하면서 상기 SBAD 임계값보다 크거나 같은 SBAD 값을 가지는 상기 결정될 정합된 블록 쌍보다 큰 것으로 결정되면, 상기 보간될 프레임을 외삽법으로 획득하도록 추가로 구성되어 있는, 다중레벨 양방향 움직임 추정 장치.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 정합 검색 유닛은, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에, 상기 결정 유닛에 의해 결정되는, 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같으면, 상기 현재의 프레임 및 상기 이전의 프레임의 특정한 구역 내의 제2 결정될 정합된 블록 쌍을 검색하도록 추가로 구성되어 있으며,
    상기 특정한 구역은 상기 현재의 프레임 및 상기 이전의 프레임에서의 보간에 참여하지 않는 모든 블록이며,
    상기 결정 유닛은, 상기 정합 검색 유닛에 의해 검색된 상기 제2 결정될 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며,
    상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이고, K는 2보다 크거나 같은 양의 정수인, 다중레벨 양방향 움직임 추정 장치.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 결정 유닛은, 상기 다중레벨의 양방향 움직임 추정 중 K 레벨의 움직임 추정이 수행된 후에 상기 제1 결정될 정합된 블록 쌍의 SBAD 값이 SBAD 임계값보다 크거나 같은 것으로 결정되면, 상기 제1 결정될 정합된 블록 쌍 주위의 정합된 블록 쌍의 움직임 벡터에 따라 상기 보간될 프레임의 M×M 블록의 움직임 벡터를 결정하도록 추가로 구성되어 있으며,
    상기 보간될 프레임의 M×M 블록은 K번째 레벨의 움직임 추정에 대응하는 정합된 블록이며, M은 2 내지 m의 제곱이고, m은 양의 정수이며, K는 2보다 크거나 같은 양의 정수인, 다중레벨 양방향 움직임 추정 장치.
  17. 제10항 내지 제16항 중 어느 한 항에 있어서,
    상기 정합 검색 유닛은 구체적으로,
    상기 보간될 프레임의 M1×M1 블록을 미러 센터로서 사용하여 현재의 프레임 및 이전의 프레임 각각에서 정합된 블록을 2회 검색하도록 구성되어 있으며,
    상기 정합된 블록을 2회 검색하는 것은 반대 순서의 검색을 가지는, 다중레벨 양방향 움직임 추정 장치.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    상기 결정 유닛은 구체적으로, 블록 정합 기준에 기초해서 상기 보간될 프레임의 M1×M1 블록에 대응하는 제1 결정될 정합된 블록 쌍을 결정하도록 구성되어 있으며,
    상기 블록 정합 기준은,
    Figure pct00005

    이고, 여기서 SBAD는 정합된 블록 쌍의 SBAD 값이고, Bi ,j는 보간될 프레임의 M1×M1 블록이며, s는 보간될 프레임의 픽셀 포인트이고, v는 시프트 벡터이고, fn -1은 현재의 프레임의 픽셀 값이며, fn +1은 이전의 프레임의 픽셀 값인, 다중레벨 양방향 움직임 추정 장치.
KR1020147007014A 2013-04-03 2013-09-25 다중레벨 양방향 움직임 추정 방법 및 장치 KR101519941B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310115703.4A CN104104960B (zh) 2013-04-03 2013-04-03 多级双向运动估计方法及设备
CN201310115703.4 2013-04-03
PCT/CN2013/084153 WO2014161280A1 (zh) 2013-04-03 2013-09-25 多级双向运动估计方法及设备

Publications (2)

Publication Number Publication Date
KR20140133805A true KR20140133805A (ko) 2014-11-20
KR101519941B1 KR101519941B1 (ko) 2015-05-13

Family

ID=51657474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147007014A KR101519941B1 (ko) 2013-04-03 2013-09-25 다중레벨 양방향 움직임 추정 방법 및 장치

Country Status (6)

Country Link
US (1) US8913185B2 (ko)
EP (1) EP2846548A4 (ko)
JP (1) JP2015518698A (ko)
KR (1) KR101519941B1 (ko)
CN (1) CN104104960B (ko)
WO (1) WO2014161280A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN107426577B (zh) * 2017-03-08 2020-05-29 青岛信芯微电子科技股份有限公司 运动估计运动补偿算法中重复性结构的检测方法及系统
CN107396111B (zh) * 2017-07-13 2020-07-14 河北中科恒运软件科技股份有限公司 介导现实中自动视频插帧补偿方法及系统
WO2019191717A1 (en) 2018-03-30 2019-10-03 Hulu, LLC Template refined bi-prediction for video coding
WO2020003262A1 (en) * 2018-06-30 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Symmetric bi-prediction mode for video coding
CN110896492B (zh) * 2018-09-13 2022-01-28 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors
CN113873095A (zh) 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 运动补偿方法和模块、芯片、电子设备及存储介质
CN114898577B (zh) * 2022-07-13 2022-09-20 环球数科集团有限公司 一种用于高峰期道路管理的道路智能管理系统与方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197330A (ja) * 1992-12-25 1994-07-15 Matsushita Electric Ind Co Ltd 動きベクトル検出方式
JP4092778B2 (ja) * 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP1193977B1 (en) 1997-06-09 2003-08-27 Hitachi, Ltd. Image sequence coding method
US6438275B1 (en) 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US20050141614A1 (en) * 2002-04-11 2005-06-30 Braspenning Ralph Antonius C. Motion estimation unit and method of estimating a motion vector
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
US20070291131A1 (en) * 2004-02-09 2007-12-20 Mitsuru Suzuki Apparatus and Method for Controlling Image Coding Mode
CN100396100C (zh) * 2004-12-21 2008-06-18 华为技术有限公司 视频压缩的运动估计方法
JP4658686B2 (ja) * 2005-05-25 2011-03-23 日本放送協会 双方向動きベクトル検出による内挿画像生成装置及びプログラム
TWI389575B (zh) * 2009-02-18 2013-03-11 Acer Inc 即時嵌入式多媒體設計之移動評估方法
CN102369730B (zh) * 2009-03-04 2015-12-16 瑞萨电子株式会社 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
KR20110050283A (ko) 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
CN102123283B (zh) 2011-03-11 2013-10-30 杭州海康威视数字技术股份有限公司 视频帧率转换中的插值帧获取方法及其装置
CN102857728B (zh) * 2012-10-12 2015-05-20 重庆大学 基于sad和vod匹配准则的视频数据帧频提升方法

Also Published As

Publication number Publication date
US8913185B2 (en) 2014-12-16
EP2846548A1 (en) 2015-03-11
WO2014161280A1 (zh) 2014-10-09
CN104104960A (zh) 2014-10-15
KR101519941B1 (ko) 2015-05-13
JP2015518698A (ja) 2015-07-02
EP2846548A4 (en) 2015-07-01
CN104104960B (zh) 2017-06-27
US20140327819A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
KR101519941B1 (ko) 다중레벨 양방향 움직임 추정 방법 및 장치
US10623763B2 (en) Picture prediction method and related apparatus
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
US9148622B2 (en) Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
TWI440364B (zh) 使用預測導引減數搜尋之移動估計
US9262839B2 (en) Image processing device and image processing method
JP2004343715A (ja) フレームレート変換時のフレーム補間方法およびその装置
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
CN104219533A (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
WO2014194722A1 (zh) 确定小物体区域的方法、视频帧之间插补帧的方法和装置
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
EP4218234A1 (en) History-based motion vector prediction and mode selection for gradual decoding refresh
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
Lu et al. An artifact information based motion vector processing method for motion compensated frame interpolation
Dehghannasiri et al. Frame rate up-conversion using nonparametric estimator
KR20130031132A (ko) 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법
Jin et al. A gradient guided deinterlacing algorithm
Youssef et al. Enhanced Pixel-Based Video Frame Interpolation Algorithms
Ghutke Temporal video frame interpolation using new cubic motion compensation technique
Heinrich et al. Robust motion estimation design methodology
Li et al. Joint motion-compensated interpolation using eight-neighbor block motion vectors
KR20130111498A (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
KR101572539B1 (ko) 영역 분류에 의한 움직임 보상 디인터레이싱 장치 및 방법
KR20100062301A (ko) 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 4