KR101932916B1 - 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치 - Google Patents

모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치 Download PDF

Info

Publication number
KR101932916B1
KR101932916B1 KR1020120070175A KR20120070175A KR101932916B1 KR 101932916 B1 KR101932916 B1 KR 101932916B1 KR 1020120070175 A KR1020120070175 A KR 1020120070175A KR 20120070175 A KR20120070175 A KR 20120070175A KR 101932916 B1 KR101932916 B1 KR 101932916B1
Authority
KR
South Korea
Prior art keywords
motion
motion vector
block
assigned
fields
Prior art date
Application number
KR1020120070175A
Other languages
English (en)
Other versions
KR20140002227A (ko
Inventor
샤론 앨퍼트
정영범
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120070175A priority Critical patent/KR101932916B1/ko
Priority to US13/829,388 priority patent/US9398249B2/en
Publication of KR20140002227A publication Critical patent/KR20140002227A/ko
Application granted granted Critical
Publication of KR101932916B1 publication Critical patent/KR101932916B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

모션 추정 시스템이 제공된다. 모션 추정 시스템은, 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 제1 모션 필드와, 제n 프레임에서 제n-1 프레임으로 전환될 시 이미지의 제2 모션 변화와 관련된 제2 모션 필드의, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하는 초기화 모듈, 및 제1 및 제2 초기 모션 필드의 각 블록에 할당된 초기 모션 벡터와 랜덤 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드를 생성하고, 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하고, 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 최적 모션 필드를 생성하는 후보 테스트 모듈을 포함한다.

Description

모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치{Motion estimation system and method thereof, display controller comprising the system, and electronic device comprsing the controller}
본 발명은 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치에 관한 것이다.
영상 기기의 기술 혁신이 빠르게 이루어짐에 따라, 고품질 영상을 처리할 수 있는 영상 기기들이 증가하고 있다. 빠른 처리 속도의 프로세서 및 고용량의 메모리는 고화질, 높은 프레임율의 영상 시퀀스를 빠른 속도로 처리하는데 이용된다.
그러나, 영상 기기에 입력되는 영상 신호가 저품질의 영상 시퀀스(예를 들어, 작은 프레임율의 영상 시퀀스)인 경우에는 고품질 영상을 처리할 수 있는 영상 기기라도 고품질 영상을 사용자에게 디스플레이할 수 없다. 따라서, 최근에는 인위적으로 저품질의 영상 시퀀스를 고품질의 영상 시퀀스로 변환하는 기술들이 연구, 개발되고 있다.
본 발명이 해결하고자 하는 기술적 과제는, 영상의 모션을 빠르고 정확하게 추정 가능하며, 모션의 변화가 부드러운(smooth) 추정 영상을 생성할 수 있는 모션 추정 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 영상의 모션을 빠르고 정확하게 추정 가능하며, 모션의 변화가 부드러운 추정 영상을 생성할 수 있는 모션 추정 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 상기 모션 추정 시스템을 포함하는 디스플레이 컨트롤러를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 상기 디스플레이 컨트롤러를 포함하는 전자 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 모션 추정 시스템은, 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 제1 모션 필드와, 제n 프레임에서 제n-1 프레임으로 전환될 시 이미지의 제2 모션 변화와 관련된 제2 모션 필드의, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하는 초기화 모듈, 및 제1 및 제2 초기 모션 필드의 각 블록에 할당된 초기 모션 벡터와 랜덤 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드를 생성하고, 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하고, 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 최적 모션 필드를 생성하는 후보 테스트 모듈을 포함한다.
본 발명의 몇몇 실시예에서, 상기 초기 모션 벡터는 제로 벡터를 포함할 수 있다.
본 발명의 몇몇 실시예에서, 상기 유사도 함수값은 상기 모션 벡터에 대한 SAD(Sum of Absolute Difference)와 해리스 스코어를 고려하여 결정될 수 있다.
본 발명의 몇몇 실시예에서, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하는 것은, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 좌측 및 상측에 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하는 것을 포함할 수 있다.
본 발명의 몇몇 실시예에서, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하는 것은, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 우측 및 하측에 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하는 것을 더 포함할 수 있다.
본 발명의 몇몇 실시예에서, 상기 제1 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제3 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하고, 상기 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제4 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하되, 상기 제3 최적 모션 필드는 제(n-2) 프레임에서 상기 제(n-1) 프레임으로 전활될 시 변화되는 이미지의 제3 모션 변화를 추정하는데 이용되는 모션 필드이고, 상기 제4 최적 모션 필드는 상기 제1(n-1) 프레임에서 상기 제(n-2) 프레임으로 전활될 시 변화되는 이미지의 제4 모션 변화를 추정하는데 이용되는 모션 필드일 수 있다.
본 발명의 몇몇 실시예에서, 상기 후보 테스트 모듈은, 상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터와 상기 랜덤 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 랜덤 모션 필드를 생성하는 랜덤 후보 탐색 모듈과, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하는 공간 프로퍼게이션 모듈과, 상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 최적 모션 필드를 생성하는 시간 프로퍼게이션 모듈을 포함할 수 있다.
이 때, 본 발명의 다른 몇몇 실시예에서, 모션 추정 시스템은 상기 시간 프로퍼게이션 모듈로부터 상기 제1 및 제2 최적 모션 필드를 제공받고, 상기 랜덤 후보 탐색 모듈에 이를 업-스케일링하여 상기 제1 및 제2 초기 모션 필드로 제공하는 업-스케일링 모듈을 더 포함하할 수 있다. 그리고, 상기 업-스케일링 모듈은, 상기 제(n-1) 프레임과 상기 제n 프레임을 업-스케일링하여 상기 랜덤 후보 탐색 모듈, 공간 프로퍼게시션 모듈, 및 시간 프로퍼게이션 모듈에 제공할 수 있다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 모션 추정 방법은, 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 제1 모션 필드와, 제n 프레임에서 제n-1 프레임으로 전환될 시 이미지의 제2 모션 변화와 관련된 제2 모션 필드의, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하고, 제1 및 제2 초기 모션 필드의 각 블록에 할당된 초기 모션 벡터와 랜덤 모션 벡터를 비교하여, 그 중 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 랜덤 모션 필드와 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 랜덤 모션 필드를 생성하고, 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터를 비교하여, 그 중 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 공간 프로퍼게이션 모션 필드와 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 공간 프로퍼게이션 모션 필드를 생성하고, 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터를 비교하여, 그 중 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 최적 모션 필드를 생성하고, 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 최적 모션 필드를 생성하는 것을 포함한다.
본 발명의 몇몇 실시예에서, 상기 초기 모션 벡터는 제로 벡터를 포함할 수 있다.
본 발명의 몇몇 실시예에서, 상기 제1 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제3 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하고, 상기 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제4 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하되, 상기 제3 최적 모션 필드는 제(n-2) 프레임에서 상기 제(n-1) 프레임으로 전활될 시 변화되는 이미지의 제3 모션 변화를 추정하는데 이용되는모션 필드이고, 상기 제4 최적 모션 필드는 상기 제(n-1) 프레임에서 상기 제(n-2) 프레임으로 전활될 시 변화되는 이미지의 제4 모션 변화를 추정하는데 이용되는 모션 필드일 수 있다.
본 발명의 몇몇 실시예에서, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터를 비교하는 것은, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 좌측 및 상측에 인접한 블록에 할당된 모션 벡터를 비교하는 것을 포함할 수 있다. 이 때, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터를 비교하는 것은, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 우측 및 하측에 인접한 블록에 할당된 모션 벡터를 비교하는 것을 더 포함할 수 있다.
본 발명의 몇몇 실시예에서, 모션 추정 방법은, 상기 제(n-1) 프레임, 제n 프레임, 제1 및 제2 최적 모션 필드를 업-스케일링하고, 상기 업-스케일링된 제1 및 제2 최적 모션 필드를 상기 제1 및 제2 초기 모션 필드로 생성하여, 상기 제1 및 제2 랜덤 모션 필드와, 상기 제1 및 제2 공간 프로퍼게이션 모션 필드와, 상기 제1 및 제2 최적 모션 필드를 생성하는 것을 더 포함할 수 있다.
상기 또 다른 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이 컨트롤러는, 제(n-1) 프레임과 제n 프레임을 제공받고, 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화를 추정하는데에 이용되는 제1 최적 모션 필드와, 제n 프레임에서 상기 제n-1 프레임으로 전환될 시 이미지의 제2 모션 변화를 추정하는데에 이용되는 제2 최적 모션 필드를 출력하는 모션 추정 시스템, 모션 추정 시스템으로부터 제1 및 제2 최적 모션 필드를 제공받고, 이를 바탕으로 제(n-1) 프레임과 제n 프레임 사이에 가상 프레임을 생성하는 가상 프레임 생성기를 포함하되, 모션 추정 시스템은, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하는 초기화 모듈과, 제1 및 제2 초기 모션 필드의 각 블록에 할당된 초기 모션 벡터와 랜덤 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드를 생성하고, 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하고, 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여 제1 및 제2 최적 모션 필드를 생성하는 후보 테스트 모듈을 포함한다.
상기 또 다른 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치는, 상기 디스플레이 컨트롤러, 및 디스플레이 컨트롤러로부터 제(n-1) 프레임, 가상 프레임, 제n 프레임을 제공받고, 이를 출력하는 디스플레이부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1 내지 도 6은 본 발명의 일 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 다른 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 컨트롤러를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
비록 제1, 제2 등이 다양한 소자나 구성요소들을 서술하기 위해서 사용되나, 이들 소자나 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자나 구성요소를 다른 소자나 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자나 구성요소는 본 발명의 기술적 사상 내에서 제2 소자나 구성요소 일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 모션 추정 시스템 및 그 방법에 대해 설명하도록 한다.
도 1 내지 도 6은 본 발명의 일 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면들이다.
먼저 도 1을 참조하여, 본 명세서에서 사용되는 제1 및 제2 모션 필드(MF; Motion Field)에 대해 설명한다. 도 1을 참조하면, 제1 모션 필드(MF1)는 영상이 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 모션 벡터를 포함할 수 있다. 여기서, 제(n-1) 프레임(F(n-1))과 제n 프레임(F(n))은 시간 상 전, 후 관계에 배치된 프레임일 수 있다. 즉, 예를 들어, 영상을 재생할 시, 제(n-1) 프레임(F(n-1))이 먼저 출력된 후, 제n 프레임(F(n))이 이어서 출력될 수 있다.
한편, 제2 모션 필드(MF2)는 영상이 제n 프레임(F(n))에서 제(n-1) 프레임(F(n-1))으로 전환될 시 변화되는 이미지의 제2 모션 변화와 관련된 모션 벡터를 포함할 수 있다. 따라서, 제1 모션 필드(MF1)에 포함된 모션 벡터와, 제2 모션 필드(MF2)에 포함된 모션 벡터가, 이미지의 모션을 정확하게 추정하는 모션 벡턱를 포함한다면, 제2 모션 필드(MF2)에 포함된 모션 벡터는 제1 모션 필드(MF1)에 포함된 모션 벡터와 그 방향이 반대일 수 있다(즉, MF2=-MF1).
제1 및 제2 모션 필드(MF1, MF2)는 각각 복수의 블록(BL)을 포함할 수 있다. 도 1에서는 제1 및 제2 모션 필드(MF1, MF2)가 각각 9개의 블록(BL)을 포함하는 것을 예시하고 있으나, 이는 설명의 편의를 위한 것이며, 본 발명이 이에 제한되는 것은 아니다.
각각의 블록(BL)은, 영상 프레임(F(n-1), F(n))의 일정 개수의 픽셀(PX)에 대응될 수 있다. 비록 도 1에서는, 제1 및 제2 모션 필드(MF1, MF2)의 하나의 블록이 영상 프레임(F(n-1), F(n))의 하나의 픽셀에 대응되는 것이 도시되어 있으나, 본 발명이 이에 제한되는 것은 아니다. 본 발명의 몇몇 실시예에서, 제1 및 제2 모션 필드(MF1, MF2)의 하나의 블록은 영상 프레임(F(n-1), F(n))의 복수개의 픽셀에 대응될 수 있다.
도 2를 참조하면, 모션 추정 시스템(100)은, 초기화 모듈(10)과 후보 테스트 모듈(20)을 포함한다.
도 2 및 도 3을 참조하면, 초기화 모듈(10)은 제1 및 제2 모션 필드(MF1, MF2)의 각 블록(BL)에 초기 모션 벡터(IMV)를 할당하여 제1 및 제2 초기 모션 필드(IMF1, IMF2)를 생성할 수 있다. 본 실시예에서, 초기화 모듈(10)이 제1 및 제2 모션 필드(MF1, MF2)의 각 블록(BL)에 할당하는 초기 모션 벡터(IMV)는 예를 들어, 제로 벡터(0,0)일 수 있다. 따라서, 초기화 모듈(10)은 제1 및 제2 모션 필드(MF1, MF2)의 각 블록(BL)에 제로 벡터(0,0)를 할당하여 각 블록(BL)에 제로 벡터(0,0)가 할당된 제1 및 제2 초기 모션 필드(IMF1, IMF2)를 생성할 수 있다.
다시 도 2를 참조하면, 후보 테스트 모듈(20)은, 제1 및 제2 초기 모션 필드(IMF1, IMF2)와, 제(n-1) 프레임(F(n-1)) 및 제n 프레임(F(n))을 비교하여, 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화를 추정하는데에 이용되는 제1 최적 모션 필드(OMF1)와, 제n 프레임(F(n))에서 제n-1 프레임(F(n-1))으로 전환될 시 이미지의 제2 모션 변화를 추정하는데 이용되는 제2 최적 모션 필드(OMF2)를 생성할 수 있다.
이하, 도 4를 참조하여, 본 발명에 따른 후보 테스트 모듈(20)에 대해 보다 구체적으로 설명하도록 한다.
도 4를 참조하면, 후보 테스트 모듈(20)은, 랜덤 후보 탐색 모듈(22), 공간 프로퍼게이션 모듈(24), 및 시간 프로퍼게이션 모듈(26)을 포함할 수 있다.
도 4 및 도 5를 참조하면, 랜덤 후보 탐색 모듈(22)은, 제1 및 제2 초기 모션 필드(IMF1, IMF2)의 각 블록(BL)에 할당된 초기 모션 벡터(IMV, 본 실시예에서는 제로 벡터(0,0)일 수 있다)와 랜덤 모션 벡터(RMV) 간의 유사도 함수값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록(BL)에 할당된 제1 및 제2 랜덤 모션 필드(RMF1, RMF2)를 생성할 수 있다.
이에 대해 보다 구체적으로 설명하면 다음과 같다.
먼저, 랜덤 후보 탐색 모듈(22)은, 앞서 제1 초기 모션 필드(IMF1)의 각 블록(BL)에 할당된 초기 모션 벡터(IMV)와, 무작위로 생성한 랜덤 모션 벡터(RMV) 간의 유사도 함수값을 비교한다. 여기서, 본 실시예에 따른 유사도 함수값은 예를 들어, 모션 벡터에 대한 SAD(Sum of Absolute Difference)와 해리스 스코어(Harris score)를 고려하여 결정될 수 있다. 더욱 구체적으로, 본 실시예에 따른 유사도 함수는 예를 들어, 아래 <수학식1>에 표현된 유사도 함수(
Figure 112012051876611-pat00001
)를 이용할 수 있으나, 본 발명이 이에 제한되는 것은 아니다.
<수학식1>
Figure 112012051876611-pat00002

(여기서, λ1, λ2, λ3은 실수)
즉, 본 실시예에서는 블록에 할당된 모션 벡터가 이미지의 모션 변화에 더 근접할수록 유사도 함수값이 작아지게 된다. 따라서, 랜덤 후보 탐색 모듈(22)은, 제1 초기 모션 필드(IMF1)의 각 블록(BL)에 할당된 초기 모션 벡터(IMV)와, 무작위로 생성한 랜덤 모션 벡터(RMV) 간의 유사도 함수값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 제1 랜덤 모션 필드(RMF1)를 생성한다.
이어서, 랜덤 후보 탐색 모듈(22)은, 제2 초기 모션 필드(IMF2)의 각 블록(BL)에 할당된 초기 모션 벡터(IMV)와, 무작위로 생성한 랜덤 모션 벡터(RMV) 간의 유사도 함수값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제2 랜덤 모션 필드(RMF2)를 생성한다. 이렇게 생성된 제1 랜덤 모션 필드(RMF1)는 제1 초기 모션 필드(IMF1)에 비해, 영상이 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화에 더 근접하게 되고, 제2 랜덤 모션 필드(RMF2)는 제2 초기 모션 필드(IMF2)에 비해, 영상이 제n 프레임(F(n))에서 제(n-1) 프레임(F(n-1))으로 전환될 시 변화되는 이미지의 제2 모션 변화에 더 근접하게 된다.
다음 도 4 및 도 6을 참조하면, 공간 프로퍼게이션 모듈(24)은, 제1 및 제2 랜덤 모션 필드(RMF1, RMF2)의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 제1 및 제2 공간 프로퍼게이션 모션 필드(SPMF1, SPMF2)를 생성할 수 있다.
구체적으로, 공간 프로퍼게이션 모듈(24)은, 먼저 제1 랜덤 모션 필드(RMF1)의 각 블록(BL1~BL9)에 할당된 모션 벡터와 각 블록의 좌측 및 상측에 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하는 전위 프로퍼게이션(FORWARD PROPAGATION)을 수행하고, 이어서 제1 랜덤 모션 필드(RMF1)의 각 블록(BL1~BL9)에 할당된 모션 벡터와 각 블록의 우측 및 하측에 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하는 후위 프로퍼게이션(BACKWARD PROPAGATION)을 수행한다.
이를 제1 랜덤 모션 필드(RMF1)의 제5 블록(BL5)으로 예를 들어 설명하면, 제5 블록(BL5)에 할당된 모션 벡터는 전위 프로퍼게이션(FORWARD PROPAGATION)을 통해 제5 블록(BL5)의 좌측에 인접한 제4 블록(BL4)에 할당된 모션 벡터 및 제5 블록(BL5)의 상측에 인접한 제2 블록(BL2)에 할당된 모션 벡터와 비교될 것이다. 그리고, 이어서 제5 블록(BL5)에 할당된 모션 벡터는 후위 프로퍼게이션(BACKWARD PROPAGATION)을 통해 제5 블록(BL5)의 우측에 인접한 제6 블록(BL6)에 할당된 모션 벡터 및 제5 블록(BL5)의 하측에 인접한 제8 블록(BL8)에 할당된 모션 벡터와 비교될 것이다.
이와 같은 과정을 통해, 제1 랜덤 모션 필드(RMF1)의 각 블록(BL1~BL9)에 할당된 모션 벡터는, 인접 블록에 할당된 모션 벡터가 이미지의 모션 변화에 더 근접하다면(즉, 유사도 함수값이 더 작다면), 인접 블록에 할당된 모션 벡터로 순차적으로 변경되게 된다. 그 결과, 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(BL1~BL9)에 할당된 모션 벡터는, 제1 랜덤 모션 필드(RMF1)의 각 블록(BL1~BL9)에 할당된 모션 벡터보다 영상이 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화에 더 근접하게 된다.
다음, 공간 프로퍼게이션 모듈(24)은 제2 랜덤 모션 필드(RMF1)의 각 블록(BL11~BL19)에 대해서도, 앞서 설명한 것과 같은 전위 프로퍼게이션(예를 들어, 제12 블록(BL12)의 경우, 제11 블록(BL11)과 비교) 및 후위 프로퍼게이션(예를 들어, 제12 블록(BL12)의 경우, 제13 블록(BL13) 및 제15 블록(BL15)과 비교)을 수행한다. 그 결과, 각 블록(BL11~BL19)에 할당된 모션 벡터가 제2 랜덤 모션 필드(RMF2)의 각 블록(BL11~BL19)에 할당된 모션 벡터보다 영상이 제n 프레임(F(n))에서 제(n-1) 프레임(F(n-1))으로 전환될 시 변화되는 이미지의 제2 모션 변화에 더 근접하게된 제2 공간 프로퍼게이션 모션 필드(SPMF2)를 생성한다.
다음 도 4를 참조하면, 시간 프로퍼게이션 모듈(26)은 제1 공간 프로퍼게이션 모션 필드(SPMF1)에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드(SPMF2)에 할당된 모션 벡터 간의 유사도 함수값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 제1 및 제2 최적 모션 필드(OMF1, OMF2)를 생성한다. 즉, 시간 프로퍼게이션 모듈(26)은 시간적으로 역의 관계에 있는 제1 공간 프로퍼게이션 모션 필드(SPMF1)와 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록을 비교하여, 최적의 모션 벡터를 탐색한다.
구체적으로, 시간 프로퍼게이션 모듈(26)은 먼저 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(도 6의 BL1~BL9)에 할당된 모션 벡터와 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록(도 6의 BL11~BL19)에 할당된 모션 벡터 간의 유사도 함수 값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 제1 최적 모션 필드(OMF1)를 생성한다. 예를 들어, 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 제5 블록(도 6의 BL5)에 할당된 모션 벡터가 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 제15 블록(도 6의 BL15)에 할당된 모션 벡터와 비교할 때 그 유사도 함수값이 작다면 제1 최적 모션 필드(OMF1)의 제5 블록(BL5)에 할당될 것이다. 그러나, 그 반대라면, 제1 최적 모션 필드(OMF1)의 제5 블록(BL5)에는 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 제15 블록(도 6의 BL15)에 할당된 모션 벡터가 할당될 것이다.
여기서, 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(도 6의 BL1~BL9)에 할당된 모션 벡터와, 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록(도 6의 BL11~BL19)에 할당된 모션 벡터는 시간 상으로 역의 관계에 있을 수 있다. 구체적으로, 제1 공간 프로퍼게이션 모션 필드(SPMF1)를 생성하는데 기반이 되는 제1 모션 필드(MF1)가 영상이 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 모션 벡터이고(도 1 참조), 제2 공간 프로퍼게이션 모션 필드(SPMF2)를 생성하는데 기반이 되는 제2 모션 필드(MF2)가 영상이 제n 프레임(F(n))에서 제(n-1) 프레임(F(n-1))으로 전환될 시 변화되는 이미지의 제2 모션 변화와 관련된 모션 벡터이므로(도 1 참조), 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(도 6의 BL1~BL9)에 할당된 모션 벡터와, 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록(도 6의 BL11~BL19)에 할당된 모션 벡터는 시간 상으로 역의 관계에 있을 수 있다. 따라서, 본 발명의 몇몇 실시예에서, 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(도 6의 BL1~BL9)에 할당된 모션 벡터에 대한 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록(도 6의 BL11~BL19)에 할당된 모션 벡터는, 그 부호가 반대인(방향이 반대인) 모션 벡터일 수 있다.
이와 같은 과정을 통해 제1 최적 모션 필드(OMF1)가 생성되면, 이어서 시간 프로퍼게이션 모듈(26)은 제2 공간 프로퍼게이션 모션 필드(SPMF2)의 각 블록(도 6의 BL11~BL19)에 할당된 모션 벡터와 제1 공간 프로퍼게이션 모션 필드(SPMF1)의 각 블록(도 6의 BL1~BL9)에 할당된 모션 벡터 간의 유사도 함수 값을 비교하여, 그 중 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 제2 최적 모션 필드(OMF2)를 생성한다.
이와 같은 과정을 통해 생성된 제1 최적 모션 필드(OMF1)는, 제1 공간 프로퍼게이션 모션 필드(SPMF1)에 비해, 영상이 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화에 더 근접하게 된다. 또한, 제2 최적 모션 필드(OMF2)는, 제2 공간 프로퍼게이션 모션 필드(SPMF2)에 비해, 영상이 제n 프레임(F(n))에서 제(n-1) 프레임(F(n-1))으로 전환될 시 변화되는 이미지의 제2 모션 변화에 더 근접하게 된다.
프레임이 전환될 시 변화되는 이미지의 모션 변화를 추정하기위해, 모션 필드의 각 블록과 프레임의 각 블록을 모두 비교하게 될 경우, 정확도 측면에서는 장점이 있을 수 있으나 매우 많은 시간과 비용이 소요된다. 따라서, 본 실시예에서는, 초기 할당된 모션 벡터를 무작위로 생성된 랜덤 모션 벡터와 비교하고, 그 결과를 바탕으로 공간적, 시간적 프로퍼게이션을 수행함으로써 이미지의 모션 변화를 추정하기 위한 최적 모션 필드를 비교적 정확하면서도 빠르게 생성할 수 있다. 또한, 본 실시예에서는 앞서 설명한 공간적, 시간적 프로퍼게이션을 통해, 이미지의 모션 변화에 더 근접한 모션 벡터가 공간적, 시간적으로 인접한 주변 블록으로 확산되는 효과가 있기 때문에, 추정 영상의 모션 변화가 부드러운(smooth) 장점이 있다.
다음 도 2 및 도 7을 참조하여, 본 발명의 다른 실시예에 따른 모션 추정 시스템 및 그 방법에 대해 설명하도록 한다.
도 7은 본 발명의 다른 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면이다. 이하에서는 앞서 설명한 실시예와 동일한 구성 요소에 대한 중복된 설명은 생략하고 그 차이점을 위주로 설명하도록 한다.
도 2 및 도 7을 참조하면, 본 실시예에 따른 초기화 모듈(10)은, 제1 초기 모션 필드(IMF1)의 각 블록에 할당되는 초기 모션 벡터로 제3 최적 모션 필드(OMF3)의 각 블록에 할당된 모션 벡터를 할당하고, 제2 초기 모션 필드(IMF2)의 각 블록에 할당되는 초기 모션 벡터로 제4 최적 모션 필드(OMF4)의 각 블록에 할당된 모션 벡터를 할당할 수 있다.
여기서, 제3 최적 모션 필드(OMF3)는 제(n-2) 프레임(F(n-2))에서 제(n-1) 프레임(F(n-1))으로 전활될 시 변화되는 이미지의 제3 모션 변화를 추정하는데 이용되는 모션 필드로, 제(n-2) 프레임(F(n-2))과 제(n-1) 프레임(F(n-1))에 대해 앞서 설명한 방법에 따라 생성한 최적 모션 필드일 수 있다. 또한, 제4 최적 모션 필드(OMF4)는 제(n-1) 프레임(F(n-1))에서 제(n-2) 프레임(F(n-2))으로 전활될 시 변화되는 이미지의 제4 모션 변화를 추정하는데 이용되는 모션 필드로, 제(n-1) 프레임(F(n-1))과 제(n-2) 프레임(F(n-2))에 대해 앞서 설명한 방법에 따라 생성한 최적 모션 필드일 수 있다. 즉, 본 실시예에서는 시간적으로 앞서 출력되는 프레임(F(n-2), F(n-1))에 대해 앞서 설명한 방법으로 생성한 최적 모션 필드(OMF3, OMF4)를 시간적으로 뒤에 출력되는 프레임(F(n-1), F(n))의 초기 모션 필드(IMF1, IMF2)로 이용한다.
그 후, 이렇게 생성된 초기 모션 필드(IMF1, IMF2)의 각 블록에 할당된 초기 모션 벡터와 무작위로 생성한 랜덤 모션 벡터(RMV) 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드(RMF1, RMF2)를 생성하고, 이에 대해 공간적, 시간적 프로퍼게이션을 수행하여 제1 및 제2 최적 모션 필드(OMF1, OMF2)를 생성하는 것은, 앞서 설명한 것과 동일한바 그에 대한 상세한 설명은 생략하도록 한다.
이와 같은 본 실시예에 따를 경우, 시간적으로 앞서 출력되는 프레임(F(n-2), F(n-1))에 대해 생성한 최적 모션 필드(OMF3, OMF4)를 이용하여 시간적으로 뒤에 출력되는 프레임(F(n-1), F(n))에 대한 최적 모션 필드(OMF1, OMF2)를 생성하기 때문에, 모션 추정의 정확성이 향상될 수 있는 장점이 있다.
다음 도 4 및 도 8을 참조하여, 본 발명의 또 다른 실시예에 따른 모션 추정 시스템 및 그 방법에 대해 설명하도록 한다.
도 8은 본 발명의 또 다른 실시예에 따른 모션 추정 시스템 및 그 방법을 설명하기 위한 도면이다. 이하에서도 앞서 설명한 실시예들과 동일한 구성 요소에 대한 중복된 설명은 생략하고 그 차이점을 위주로 설명하도록 한다.
도 4 및 도 8을 참조하면, 본 실시예에 따른 모션 추정 시스템(101)은, 후보 테스트 모듈(20)로부터 다운-스케일링된(down-scaled) 제1 및 제2 최적 모션 필드(OMF1_Sm, OMF2_Sm)를 제공받고, 이를 업-스케일링(up-scaling)하여 제1 및 제2 초기 모션 필드(IMF1=OMF1_S(m+1), IMF2=OMF2_S(m+1))로 제공하는 업-스케일링 모듈(30)을 더 포함할 수 있다.
이하, 본 실시에에 따른 모션 추정 시스템(101) 및 그 방법에 대해 순차적으로 설명하도록 한다.
먼저, 초기화 모듈(10)은, 제(n-1) 프레임(F(n-1))과 제n 프레임(F(n))을 제공받고 이를 최소 사이즈로 다운-스케일링(down-scaling)하여, 다운 스케일링된 프레임(F(n-1)_Sm, F(n)_Sm)을 후보 테스트 모듈(20)과 업-스케일링 모듈(30)에 출력한다. 그리고, 초기화 모듈(10)은 다운-스케일링된 프레임(F(n-1)_Sm, F(n)_Sm)에 대응하도록 다운-스케일링된 제1 및 제2 모션 필드(MF1, MF2)의 각 블록(BL)에 초기 모션 벡터(IMV)를 할당하여 제1 및 제2 초기 모션 필드(IMF1, IMF2)를 생성한다.
그 후, 후보 테스트 모듈(20)은 다운-스케일링된 프레임(F(n-1)_Sm, F(n)_Sm)을 기반으로 앞서 설명한 방법을 통해 다운-스케일링된 제1 및 제2 최적 모션 필드(OMF1_Sm, OMF2_Sm)를 생성한다.
업-스케일링 모듈(30)은, 다운-스케일링된 제1 및 제2 최적 모션 필드(OMF1_Sm, OMF2_Sm)를 제공받고 이를 업-스케일링하여 업-스케일링된 제1 및 제2 최적 모션 필드(OMF1_S(m+1), OMF2_S(m+1))를 생성하고 이를 제1 및 제2 초기 모션 필드(IMF1=OMF1_S(m+1), IMF2=OMF2_S(m+1))로 제공한다. 또한, 업-스케일링 모듈(30)은, 다운-스케일링된 제(n-1) 프레임(F(n-1)_Sm)과 제n 프레임(F(n)_Sm)을 제공받고, 이를 업-스케일링하여 업-스케일링된 제(n-1) 프레임(F(n-1)_S(m+1_)과 제n 프레임(F(n)_S(m+1))을 생성하고, 이를 유사도 함수값 산출을 위해 후보 테스트 모듈(20)의 랜덤 후보 탐색 모듈(22), 공간 프로퍼게시션 모듈(24), 및 시간 프로퍼게이션 모듈(26)에 제공할 수 있다.
즉, 본 실시예에 따른 모션 추정 시스템(101)은, 업-스케일링 모듈(30)을 더 포함함으로써, 멀티-스케일링 환경에서 최적 모션 필드(OMF1, OMF2)를 생성하게 된다. 일반적으로 영상의 해상도가 매우 클 경우, 이러한 영상에 대해 모션 필드를 추정하는 것은 매우 복잡한 연산 과정을 수반하게 된다. 하지만, 본 실시예에 따른 모션 추정 시스템(101)은, 앞서 설명한 밀티-스케일링 동작을 통해 영상에 대한 최적 모션 필드를 추정함으로써, 영상의 해상도가 매우 크더라도 지나친 오버로드 없이 최적의 모션 필드를 추정할 수 있게 된다.
한편, 본 실시예에 따른 모션 추정 시스템(101)의 업-스케일링의 범위 및 횟수는 필요에 따라 다르게 선택될 수 있다. 예를 들어, 본 발명의 몇몇 실시예에서는, 320*320 크기의 프레임(F(n-1)_Sm, F(n)_Sm)에 대해 먼저 최적 모션 필드(OMF1_Sm, OMF2_Sm)를 생성하고, 프레임(F(n-1)_Sm, F(n)_Sm)과, 최적 모션 필드(OMF1_Sm, OMF2_Sm)를 640*640 크기로 업-스케일링하여 동일한 방법으로 최적 모션 필드(OMF1_S(m+1), OMF2_S(m+1))를 구할 수 있다. 또한, 본 발명의 다른 몇몇 실시예에서는, 프레임과 최적 모션 필드의 크기를 각각 320*320, 640*640, 1280*1280으로 순차적으로 업-스케일링하여 최적 모션 필드를 생성할 수도 있다.
한편, 비록 도 8에서는, 초기화 모듈(10)이 프레임(F(n-1), F(n))을 최소 사이즈로 다운-스케일링하는 것으로 도시되어 있으나, 본 발명이 이에 제한되는 것은 아니다. 본 발명의 몇몇 실시예에서, 모션 추정 시스템(101)은 초기에 프레임(F(n-1), F(n))을 최소 사이즈로 다운-스케일링하는 별도의 다운-스케일링 모듈(미도시)을 더 포함할 수도 있다.
다음, 도 9를 참조하여 본 발명의 일 실시예에 따른 디스플레이 컨트롤러에 대해 설명한다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 컨트롤러를 설명하기 위한 도면이다.
도 9를 참조하면, 디스플레이 컨트롤러(1000)는 모션 추정 시스템(100, 101) 및, 가상 프레임 생성기(200)를 포함할 수 있다.
모션 추정 시스템(100, 101)은, 제(n-1) 프레임과 제n 프레임을 제공받고, 앞서 설명한 실시예들 중 어느 하나에 따라, 제(n-1) 프레임(F(n-1))에서 제n 프레임(F(n))으로 전환될 시 변화되는 이미지의 제1 모션 변화를 추정하는데 이용되는 제1 최적 모션 필드(OMF1)와, 제n 프레임(F(n))에서 제n-1 프레임(F(n-1))으로 전환될 시 이미지의 제2 모션 변화 추정를 추정하는데 이용되는 제2 최적 모션 필드(OMF2)를 출력할 수 있다.
가상 프레임 생성기(200)는 모션 추정 시스템(200)으로부터 제1 및 제2 최적 모션 필드(OMF1, OMF2)를 제공받고, 이를 바탕으로 제(n-1) 프레임(F(n-1))과 제n 프레임(F(n)) 사이에 가상 프레임(VF[(n-1)~(n)])을 생성한 후, 이를 디스플레이부(2000)에 출력할 수 있다. 따라서, 디스플레이부(2000)에는 제(n-1) 프레임(F(n-1))의 영상, 가상 프레임(VF[(n-1)~(n)])에 의한 영상, 및 제n 프레임(F(n))의 영상이 순차적으로 출력될 수 있다.
다음, 도 10을 참조하여 본 발명의 일 실시예에 따른 전자 장치에 대해 설명한다.
도 10은 본 발명의 일 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 전자 장치(3000)는 예를 들어, 도시된 것과 같이 스마트 폰(smart phone)과 같은 휴대용 이동 단말일 수 있다. 이 때, 전자 장치(3000)는, 앞서 설명한 본 발명의 실시예들에 따른 디스플레이 컨트롤러(도 9의 1000)와, 디스플레이부(도 9의 2000)를 포함할 수 있다. 한편, 도 10에는 본 발명의 일 실시예에 따른 전자 장치(3000)의 일 예로 휴대용 이동 단말이 도시되어 있으나, 본 발명이 이에 제한되는 것은 아니다. 본 발명의 몇몇 실시예에서, 전자 장치(3000)는 휴대용 컴퓨터, 통신 기기, 텔레비전과 같은 가정용 전자 기기 등을 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 초기화 모듈 20: 후보 테스트 모듈
22: 랜덤 후보 탐색 모듈 24: 공간 프로퍼게이션 모듈
26: 시간 프로퍼게이션 모듈 100, 101: 모션 추정 시스템

Claims (10)

  1. 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 제1 모션 필드와, 상기 제n 프레임에서 상기 제(n-1) 프레임으로 전환될 시 이미지의 제2 모션 변화와 관련된 제2 모션 필드의, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하는 초기화 모듈; 및
    상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 초기 모션 벡터와 랜덤 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드를 생성하고, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하고, 상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 최적 모션 필드를 생성하는 후보 테스트 모듈을 포함하고,
    상기 후보 테스트 모듈은,
    상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터와 상기 랜덤 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 랜덤 모션 필드를 생성하는 랜덤 후보 탐색 모듈과,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하는 공간 프로퍼게이션 모듈과,
    상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 최적 모션 필드를 생성하는 시간 프로퍼게이션 모듈을 포함하는 모션 추정 시스템.
  2. 제 1항에 있어서,
    상기 초기 모션 벡터는 제로 벡터를 포함하는 모션 추정 시스템.
  3. 제 1항에 있어서,
    상기 유사도 함수값은 상기 모션 벡터에 대한 SAD(Sum of Absolute Difference)와 해리스 스코어를 고려하여 결정되는 모션 추정 시스템.
  4. 제 1항에 있어서,
    상기 제1 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제3 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하고,
    상기 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터는 제4 최적 모션 필드의 각 블록에 할당된 모션 벡터를 포함하되,
    상기 제3 최적 모션 필드는 제(n-2) 프레임에서 상기 제(n-1) 프레임으로 전활될 시 변화되는 이미지의 제3 모션 변화를 추정하는데 이용되는 모션 필드이고,
    상기 제4 최적 모션 필드는 상기 제(n-1) 프레임에서 상기 제(n-2) 프레임으로 전활될 시 변화되는 이미지의 제4 모션 변화를 추정하는데 이용되는 모션 필드인 모션 추정 시스템.
  5. 삭제
  6. 제(n-1) 프레임에서 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화와 관련된 제1 모션 필드와, 상기 제n 프레임에서 상기 제(n-1) 프레임으로 전환될 시 이미지의 제2 모션 변화와 관련된 제2 모션 필드의, 각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하고,
    상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터와 랜덤 모션 벡터를 비교하여, 그 중 상기 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 랜덤 모션 필드와 상기 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 랜덤 모션 필드를 생성하고,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터를 비교하여, 그 중 상기 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 공간 프로퍼게이션 모션 필드와 상기 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 공간 프로퍼게이션 모션 필드를 생성하고,
    상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터를 비교하여, 그 중 상기 제1 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제1 최적 모션 필드를 생성하고, 상기 제2 모션 변화에 더 근접한 모션 벡터가 각 블록에 할당된 제2 최적 모션 필드를 생성하는 것을 포함하고,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터를 비교하는 것은,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 좌측 및 상측에 인접한 블록에 할당된 모션 벡터를 비교한 후,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 상기 각 블록의 우측 및 하측에 인접한 블록에 할당된 모션 벡터를 비교하는 것을 포함하는 모션 추정 방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 제(n-1) 프레임, 제n 프레임, 제1 및 제2 최적 모션 필드를 업-스케일링하고,
    상기 업-스케일링된 제1 및 제2 최적 모션 필드를 상기 제1 및 제2 초기 모션 필드로 생성하여, 상기 제1 및 제2 랜덤 모션 필드와, 상기 제1 및 제2 공간 프로퍼게이션 모션 필드와, 상기 제1 및 제2 최적 모션 필드를 생성하는 것을 더 포함하는 모션 추정 방법.
  9. 제(n-1) 프레임과 제n 프레임을 제공받고, 상기 제(n-1) 프레임에서 상기 제n 프레임으로 전환될 시 변화되는 이미지의 제1 모션 변화를 추정하는데 이용되는 제1 최적 모션 필드와, 상기 제n 프레임에서 상기 제(n-1) 프레임으로 전환될 시 이미지의 제2 모션 변화 추정를 추정하는데 이용되는 제2 최적 모션 필드를 출력하는 모션 추정 시스템; 및
    상기 모션 추정 시스템으로부터 상기 제1 및 제2 최적 모션 필드를 제공받고, 이를 바탕으로 상기 제(n-1) 프레임과 상기 제n 프레임 사이에 가상 프레임을 생성하는 가상 프레임 생성기를 포함하되,
    상기 모션 추정 시스템은,
    각 블록에 초기 모션 벡터를 할당하여 제1 및 제2 초기 모션 필드를 생성하는 초기화 모듈과,
    상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터와 랜덤 모션 벡터 간의 유사도 함수값을 비교하여 제1 및 제2 랜덤 모션 필드를 생성하고, 상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하고, 상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여 제1 및 제2 최적 모션 필드를 생성하는 후보 테스트 모듈을 포함하고,
    상기 후보 테스트 모듈은,
    상기 제1 및 제2 초기 모션 필드의 각 블록에 할당된 상기 초기 모션 벡터와 상기 랜덤 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 랜덤 모션 필드를 생성하는 랜덤 후보 탐색 모듈과,
    상기 제1 및 제2 랜덤 모션 필드의 각 블록에 할당된 모션 벡터와 인접한 블록에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 공간 프로퍼게이션 모션 필드를 생성하는 공간 프로퍼게이션 모듈과,
    상기 제1 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터와 상기 제2 공간 프로퍼게이션 모션 필드에 할당된 모션 벡터 간의 상기 유사도 함수값을 비교하여, 그 중 상기 유사도 함수값이 작은 모션 벡터가 각 블록에 할당된 상기 제1 및 제2 최적 모션 필드를 생성하는 시간 프로퍼게이션 모듈을 포함하는 디스플레이 컨트롤러.
  10. 제 9항의 디스플레이 컨트롤러; 및
    상기 디스플레이 컨트롤러로부터 상기 제(n-1) 프레임, 가상 프레임, 제n 프레임을 제공받고, 이를 출력하는 디스플레이부를 포함하는 전자 장치.
KR1020120070175A 2012-06-28 2012-06-28 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치 KR101932916B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120070175A KR101932916B1 (ko) 2012-06-28 2012-06-28 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
US13/829,388 US9398249B2 (en) 2012-06-28 2013-03-14 Motion estimation system and method, display controller, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070175A KR101932916B1 (ko) 2012-06-28 2012-06-28 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치

Publications (2)

Publication Number Publication Date
KR20140002227A KR20140002227A (ko) 2014-01-08
KR101932916B1 true KR101932916B1 (ko) 2018-12-27

Family

ID=49777793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070175A KR101932916B1 (ko) 2012-06-28 2012-06-28 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치

Country Status (2)

Country Link
US (1) US9398249B2 (ko)
KR (1) KR101932916B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6378323B2 (ja) * 2013-05-28 2018-08-22 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 密な動き場を介する下位のビデオシーケンスへの画像編集伝達
US10169657B2 (en) 2016-07-18 2019-01-01 Samsung Electronics Co., Ltd. Method of extracting logo mask from video stream having logo
KR102547084B1 (ko) * 2018-12-26 2023-06-23 엘지디스플레이 주식회사 영상 처리 모듈 및 이를 이용한 표시 장치
KR102364728B1 (ko) * 2021-10-20 2022-02-18 주식회사 행복한다람쥐단 피사체의 프레임 데이터로부터 캐릭터 모션을 생성하는 방법 및 이를 이용한 장치
KR20230103295A (ko) 2021-12-31 2023-07-07 한화오션 주식회사 자동화포설 루프시스템의 로프 안내장치
KR20230135965A (ko) 2022-03-17 2023-09-26 한화오션 주식회사 자동화 포설 시스템용 스위블 로프기구

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204592A1 (en) * 2007-02-22 2008-08-28 Gennum Corporation Motion compensated frame rate conversion system and method
US20100053451A1 (en) * 2008-09-03 2010-03-04 Samsung Electronics Co., Ltd Apparatus and method for frame interpolation based on accurate motion estimation
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
KR19990043414A (ko) 1997-11-29 1999-06-15 전주범 웨이브릿 변환 영역에서의 부영상의 재합성과 후보벡터를 통한계층적 움직임 추정 방법
KR100275694B1 (ko) 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
US6130912A (en) 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
KR20000044735A (ko) 1998-12-30 2000-07-15 전주범 움직임 추정 장치
GB9906420D0 (en) 1999-03-19 1999-05-12 Isis Innovation Method and apparatus for image processing
JP2001251632A (ja) 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
JP2002152750A (ja) 2000-11-10 2002-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および装置
KR100446235B1 (ko) 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
KR100529331B1 (ko) 2003-07-02 2005-11-17 삼성전자주식회사 계층적 프레임 구조하에서의 움직임 벡터 추정방법
CN1225127C (zh) 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
US7362376B2 (en) * 2003-12-23 2008-04-22 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
CN101147399B (zh) 2005-04-06 2011-11-30 汤姆森许可贸易公司 编码增强层视频数据的方法和设备
KR20070000702A (ko) 2005-06-28 2007-01-03 연세대학교 산학협력단 탐색영역 재설정을 이용한 고속 움직임 예측 장치 및 방법
US8437397B2 (en) * 2007-01-04 2013-05-07 Qualcomm Incorporated Block information adjustment techniques to reduce artifacts in interpolated video frames
JP2009080623A (ja) 2007-09-26 2009-04-16 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US8289444B2 (en) * 2009-05-06 2012-10-16 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
KR20110022133A (ko) 2009-08-27 2011-03-07 삼성전자주식회사 영상의 움직임 추정방법 및 영상처리장치
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204592A1 (en) * 2007-02-22 2008-08-28 Gennum Corporation Motion compensated frame rate conversion system and method
US20100053451A1 (en) * 2008-09-03 2010-03-04 Samsung Electronics Co., Ltd Apparatus and method for frame interpolation based on accurate motion estimation
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion

Also Published As

Publication number Publication date
US20140002728A1 (en) 2014-01-02
KR20140002227A (ko) 2014-01-08
US9398249B2 (en) 2016-07-19

Similar Documents

Publication Publication Date Title
US8666192B2 (en) Apparatus and method for ultra-high resolution video processing
KR101932916B1 (ko) 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
US9681150B2 (en) Optical flow determination using pyramidal block matching
US10268901B2 (en) Quasi-parametric optical flow estimation
US9014463B2 (en) System for real-time stereo matching
US20160080765A1 (en) Encoding system using motion estimation and encoding method using motion estimation
US8345764B2 (en) Motion estimation device having motion estimation processing elements with adder tree arrays
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
US20120182400A1 (en) Image processing apparatus and method, and program
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
WO2014083491A3 (en) System and method of mapping multiple reference frame motion estimation on multi-core dsp architecture
KR20150114950A (ko) 이미지 스트림의 프레임 레이트 증가
EP2953357A1 (en) Video encoding method, decoding method and apparatus
US20090180033A1 (en) Frame rate up conversion method and apparatus
CN107396083B (zh) 一种全息图像生成方法及装置
WO2011001364A1 (en) Parallel three-dimensional recursive search (3drs) meandering algorithm
US10448043B2 (en) Motion estimation method and motion estimator for estimating motion vector of block of current frame
JP2008072665A (ja) 映像評価装置、映像フレームレート決定装置、映像評価方法、映像フレームレート決定方法、映像評価プログラム及び映像フレームレート決定プログラム
WO2022000266A1 (en) Method for creating depth map for stereo moving image and electronic device
US9432690B2 (en) Apparatus and method for video processing
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
US20150146108A1 (en) Video pre-processing method and apparatus for motion estimation
KR100810391B1 (ko) 움직임 보간을 이용한 프레임 레이트 변환 방법
US11276141B2 (en) Lifting transform method and apparatus for elemental image array
US9684943B2 (en) Multi core graphic processing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant