KR20230138052A - 선택적 모션-보상된 프레임 보간 - Google Patents

선택적 모션-보상된 프레임 보간 Download PDF

Info

Publication number
KR20230138052A
KR20230138052A KR1020237032263A KR20237032263A KR20230138052A KR 20230138052 A KR20230138052 A KR 20230138052A KR 1020237032263 A KR1020237032263 A KR 1020237032263A KR 20237032263 A KR20237032263 A KR 20237032263A KR 20230138052 A KR20230138052 A KR 20230138052A
Authority
KR
South Korea
Prior art keywords
frame
motion
interpolation
interpolation factor
metric
Prior art date
Application number
KR1020237032263A
Other languages
English (en)
Inventor
하사니 라쉬단 알리레자 쇼아
아르시아 에르샤디
데런 그나나프라가삼
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230138052A publication Critical patent/KR20230138052A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

디바이스는 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하고, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하기 위한 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 또한, 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하고, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부를 결정하도록 구성된다. 하나 이상의 프로세서들은 추가로, 결정에 기초하여 중간 프레임을 생성하고, 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하도록 구성된다.

Description

선택적 모션-보상된 프레임 보간
I. 관련 출원에 대한 상호 참조
본 출원은 2021 년 3 월 31 일 출원된 공동 소유된 미국 정규 특허출원 제 17/219,080 호로부터의 우선권의 이익을 주장하며, 이 출원의 내용들은 그 전부가 본 명세서에 참조로 통합된다.
II. 분야
본 개시는 일반적으로 선택적 모션-보상된 프레임 보간에 관한 것이다.
기술의 발전은 더 작고 더 강력한 컴퓨팅 디바이스들을 유발하였다. 예를 들어, 모바일 및 스마트 폰들과 같은 무선 전화기들, 태블릿들 및 랩톱 컴퓨터들을 포함하는 다양한 휴대용 개인용 컴퓨팅 디바이스들이 현재 존재하고, 이들은 작고, 경량이며, 사용자들에 의해 용이하게 휴대된다. 이러한 디바이스들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 디바이스들은 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어와 같은 부가적인 기능성을 통합한다. 또한, 이러한 디바이스들은 인터넷에 액세스하는데 사용될 수 있는, 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 프로세싱할 수 있다. 이와 같이, 이들 디바이스들은 상당한 컴퓨팅 능력들을 포함할 수 있다.
이러한 컴퓨팅 디바이스들은 종종 비디오 스트림을 플레이아웃(playout)하기 위한 기능성을 통합한다. 예를 들어, 비디오 스트림은 다른 디바이스로부터 수신된 (예를 들어, 다운로드된) 비디오 콘텐츠를 나타낼 수도 있다. 송신 대역폭 제한들을 충족하기 위한 비디오의 감소된 프레임 레이트는 증가된 지터(jitter)와 같은 열악한 재생 품질을 초래할 수 있다. 모션 보상된 프레임 보간은 더 평활한 재생을 위한 비디오 클립들의 프레임 레이트를 증가시키기 위해 재생 디바이스에서 사용된다. 그러나, 프레임 보간은 계산 집약적이고 전력 소비가 높을 수 있다. 모바일 디바이스들과 같은 더 작은 스크린들에서, 프레임 보간으로부터의 증가된 재생 평활도는 상대적으로 적은 모션을 갖는 장면들에 대해 지각할 수 없을 수도 있다.
본 개시의 일 구현에 따르면, 디바이스는 메모리 및 하나 이상의 프로세서들을 포함한다. 메모리는 명령들을 저장하도록 구성된다. 하나 이상의 프로세서들은 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하기 위한 명령들을 실행하도록 구성된다. 하나 이상의 프로세서들은 또한, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하기 위한 명령들을 실행하도록 구성된다. 하나 이상의 프로세서들은 추가로, 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하기 위한 명령들을 실행하도록 구성된다. 하나 이상의 프로세서들은 또한, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부를 결정하기 위한 명령들을 실행하도록 구성된다. 하나 이상의 프로세서들은 추가로, 결정에 기초하여 중간 프레임을 생성하고, 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하기 위한 명령들을 실행하도록 구성된다.
본 개시의 다른 구현에 따르면, 방법은, 디바이스에서, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 단계를 포함한다. 방법은 또한, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 단계를 포함한다. 방법은 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 단계를 더 포함한다. 방법은 또한, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 단계를 포함한다. 방법은 디바이스에서, 결정에 기초하여 중간 프레임을 생성하는 단계를 더 포함한다. 방법은 또한, 디바이스에서, 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 단계를 포함한다.
본 개시의 다른 구현에 따르면, 비일시적 컴퓨터 판독가능 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하게 하는 명령들을 포함한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 또한, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 또한 하나 이상의 프로세서들로 하여금, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 결정에 기초하여 중간 프레임을 생성하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 또한 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하게 한다.
본 개시의 다른 구현에 따르면, 장치는, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 수단을 포함한다. 장치는 또한, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 수단을 포함한다. 장치는 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 수단을 더 포함한다. 장치는 또한, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 수단을 포함한다. 장치는 결정에 기초하여 중간 프레임을 생성하는 수단을 더 포함한다. 장치는 또한 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 수단을 포함한다.
본 개시의 다른 양태들, 이점들 및 특징들은 다음 섹션들을 포함하여 출원 전체를 검토한 후 분명해질 것이다. 도면들의 간략한 설명, 상세한 설명 및 청구범위.
도 1 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 시스템의 특정한 예시적인 양태의 블록 다이어그램이다.
도 2 는 본 개시의 일부 예들에 따른, 도 1 의 시스템의 프레임 레이트 조정기의 예시적인 양태의 다이어그램이다.
도 3 은 본 개시의 일부 예들에 따른, 도 2 의 프레임 레이트 조정기에 의해 사용된 보간 팩터 결정 데이터의 예시적인 예들의 다이어그램이다.
도 4 는 본 개시의 일부 예들에 따른, 도 1 의 시스템에 의해 생성된 프레임들의 예시적인 예들의 다이어그램이다.
도 5 는 본 개시의 일부 예들에 따른, 도 2 의 프레임 레이트 조정기의 모션-보상된 프레임 보간기의 예시적인 양태의 다이어그램이다.
도 6 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 집적 회로의 예를 도시한다.
도 7 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 모바일 디바이스의 다이어그램이다.
도 8 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 웨어러블 전자 디바이스의 다이어그램이다.
도 9 는 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한, 가상 현실 또는 증강 현실 헤드셋과 같은 헤드셋의 다이어그램이다.
도 10 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 차량의 제 1 예의 다이어그램이다.
도 11 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 차량의 제 2 예의 다이어그램이다.
도 12 는 본 개시의 일부 예들에 따른, 도 1 의 디바이스에 의해 수행될 수도 있는 선택적 모션-보상된 프레임 보간의 방법의 특정한 구현의 다이어그램이다.
도 13 은 본 개시의 일부 예들에 따른, 선택적 모션-보상된 프레임 보간을 수행하도록 동작가능한 디바이스의 특정한 예시적인 예의 블록 다이어그램이다.
모션 보상된 프레임 보간은 더 평활한 재생을 위한 비디오 클립들의 프레임 레이트를 증가시키기 위해 사용된다. 예를 들어, 비디오 스트림의 프레임 레이트는 각각의 원래 프레임들의 쌍 사이에 모션-보상된 보간된 프레임을 삽입함으로써 30 fps (frames per second) 에서 60 fps 로 증가된다. 풀 보간에서, 모션-보상된 보간된 프레임은 원래 프레임들의 쌍 사이에 묘사된 모션의 절반을 나타낸다. 예를 들어, 오브젝트가 제 1 원래 프레임과 제 2 원래 프레임 사이에서 우측으로 50 픽셀들만큼 시프트되는 경우, 오브젝트는 제 1 원래 프레임과 보간 된프레임 사이에서 우측으로 25 픽셀들만큼 시프트되고, 보간된 프레임과 제 2 원래 프레임 사이에서 우측으로 25 픽셀들만큼 시프트된다. 이는 모션을 포함하는 장면들에 대해 더 평활한 재생을 유발한다. 그러나, 프레임 보간은 계산 집약적이고 전력 소비가 높을 수 있다. 모바일 디바이스들과 같은 더 작은 스크린들에서, 프레임 보간으로부터의 증가된 재생 평활도는 상대적으로 적은 모션을 갖는 장면들에 대해 지각할 수 없을 수도 있다.
선택적 모션-보상된 프레임 보간을 수행하는 시스템들 및 방법들이 개시된다. 예를 들어, 프레임 레이트 조정기는 입력 프레임 시퀀스를 수신하고, 입력 프레임 시퀀스에 기초하여 출력 프레임 시퀀스를 생성한다. 출력 프레임 시퀀스는 입력 프레임 시퀀스에 비해 더 높은 프레임 레이트를 갖는다. 예를 들어, 프레임 레이트 조정기는 하나 이상의 중간 프레임들을 입력 프레임 시퀀스에 부가하여 출력 프레임 시퀀스를 생성한다. 예시를 위해, 입력 프레임 시퀀스는 제 1 프레임 다음에 제 2 프레임을 포함한다. 출력 프레임 시퀀스는 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함한다.
프레임 레이트 조정기는 모션-보상된 보간 또는 프레임 복사(copy)를 수행하여 중간 프레임을 생성한다. 예를 들어, 프레임 레이트 조정기는 제 1 프레임과 제 2 프레임 사이에서 검출된 모션을 표시하는 모션 벡터들을 생성한다. 프레임 레이트 조정기는 임계 모션보다 큰 것에 대응하는 제 1 프레임의 영역들의 모션 메트릭 (예를 들어, 평균 모션) 및 사이즈 메트릭 (예를 들어, 프레임 퍼센티지) 을 결정한다. 프레임 레이트 조정기는 모션 메트릭 및 사이즈 메트릭에 기초하여 모션-보상된 프레임 보간을 수행할지 여부를 결정한다. 예를 들어, 제 1 프레임의 더 큰 퍼센티지가 더 큰 모션에 대응할 때, 프레임 조정기는 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 수행한다. 대안으로, 제 1 프레임이 더 낮은 모션에 대응하거나 제 1 프레임의 더 작은 퍼센티지가 더 높은 모션에 대응할 때, 프레임 조정기는 중간 프레임을 생성하기 위해 프레임 복사를 수행한다.
본 개시의 특정한 양태들은 도면들을 참조하여 하기에서 설명된다. 설명에서, 공통 특징들은 공통 참조 번호들로 지정된다. 본 명세서에서 사용된 바와 같이, 다양한 용어가 단지 특정한 구현들을 설명하는 목적으로 사용되며 구현들을 한정하는 것으로 의도되지 않는다. 예를 들어, 단수 형태들 "a", "an" 및 "the" 는, 문맥이달리 분명히 나타내지 않는 한, 복수 형태들을 물론 포함하도록 의도된다. 또한, 본 명세서에 설명된 일부 특징들은 일부 구현들에서 단수이고 다른 구현들에서는 복수이다. 예시를 위해, 도 1 은 하나 이상의 프로세서들 (도 1 의 "프로세서(들)"(190)) 을 포함하는 디바이스 (102) 를 도시하며, 이는 일부 구현들에서, 디바이스 (102) 가 단일 프로세서 (190) 를 포함하고, 다른 구현들에서, 디바이스 (102) 가 다중 프로세서들 (190) 을 포함함을 나타낸다.
본 명세서에서 사용된 바와 같이, 용어들 "포함한다(comprise)", "포함한다(comprises)", 및 "포함하는(comprising)" 은 "포함한다(include)", "포함한다(includes)", 또는 "포함하는(including)" 과 상호교환가능하게 사용될 수도 있다. 부가적으로, 용어 "여기서 (wherein)" 는 "여기에서 (where)" 와 상호교환가능하게 사용될 수도 있다. 본 명세서에서 사용된 바와 같이, "예시적인” 은 예, 구현, 및/또는 양태를 나타내며, 제한하는 것으로서 또는 선호도 또는 선호된 구현을 나타내는 것으로서 해석되지 않아야 한다. 본 명세서에 사용된 바와 같이, 구조, 컴포넌트, 동작 등과 같은 엘리먼트를 수정하는데 사용되는 서수 용어 (예를 들어, "제 1", "제 2", "제 3" 등) 는 그것만으로 그 엘리먼트의 다른 엘리먼트에 대한 어떤 우선순위 또는 순서도 표시하지 않고, 오히려 그 엘리먼트를 (서수 용어의 사용이 없다면) 동일 명칭을 갖는 다른 엘리먼트와 구별할 뿐이다. 본 명세서에서 사용된 바와 같이, 용어 "세트 (set)" 는 특정 엘리먼트의 하나 이상을 지칭하고, 용어 "복수" 는 특정 엘리먼트의 배수 (예를 들어, 2개 이상) 를 지칭한다.
본 명세서에서 사용된 바와 같이, "커플링된" 은 "통신가능하게 커플링된", "전기적으로 커플링된", 또는 "물리적으로 커플링된" 을 포함할 수도 있고, 또한 (또는 대안으로) 이들의 임의의 조합을 포함할 수도 있다. 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 다른 디바이스, 컴포넌트, 와이어, 버스, 네트워크 (예를 들어, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 등을 통해 직접적으로 또는 간접적으로 커플링 (예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 될 수도 있다. 전기적으로 커플링된 2개의 디바이스들 (또는 컴포넌트들) 은 동일한 디바이스 또는 상이한 디바이스들에 포함될 수도 있고, 예시적인, 비-제한적인 예들로서 전자기기들, 하나 이상의 커넥터 또는 유도 커플링을 통해 연결될 수도 있다. 일부 구현들에서, 전기 통신에서와 같이, 통신가능하게 커플링되는 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 와이어, 버스, 네트워크 등을 통해, 직접 또는 간접적으로 신호들 (예를 들어, 디지털 신호들 또는 아날로그 신호들) 을 전송 및 수신할 수도 있다. 본 명세서에서 사용된 바와 같이, "직접 커플링된" 은 컴포넌트들을 개재하지 않으면서 커플링 (예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 되는 2개의 디바이스들을 포함할 수도 있다.
본 개시에서, "결정하는 것", "계산하는 것", "추정하는 것", "시프트하는 것", "조정하는 것" 등과 같은 용어들은 하나 이상의 동작이 어떻게 수행되지를 설명하기 위해 사용될 수도 있다. 이러한 용어들은 한정하는 것으로서 해석되지 않아야 하고 다른 기법들이 유사한 동작들을 수행하는데 활용될 수도 있음에 유의해야 한다. 부가적으로, 본 명세서에서 언급된 바와 같이, "생성하는 것", "계산하는 것", "추정하는 것", "사용하는 것", "선택하는 것", "액세스하는 것", 및 "결정하는 것" 은 상호교환가능하게 사용될 수도 있다. 예를 들어, 파라미터 (또는 신호) 를 "생성하는 것", "계산하는 것", "추정하는 것" 또는 "결정하는 것" 은 파라미터 (또는 신호) 를 능동으로 생성하는 것, 추정하는 것, 계산하는 것, 또는 결정하는 것을 지칭할 수도 있거나 또는 다른 컴포넌트 또는 디바이스에 의해서와 같이, 이미 생성된 파라미터 (또는 신호) 를 사용하는 것, 선택하는 것, 또는 액세스하는 것을 지칭할 수도 있다.
도 1 을 참조하면, 선택적 모션-보상된 프레임 보간을 수행하기 위해 구성된 시스템의 특정한 예시적인 양태가 개시되며 일반적으로 100 으로 지정된다. 시스템 (100) 은 디스플레이 디바이스 (106) 에 커플링되는 디바이스 (102) 를 포함한다. 디바이스 (102) 는 프레임 레이트 조정기 (140) 를 사용하여 선택적 모션-보상된 프레임 보간을 수행하도록 구성된다.
디바이스 (102) 는 메모리 (132) 및 모뎀 (170) 에 커플링된 하나 이상의 프로세서들 (190) 을 포함한다. 하나 이상의 프로세서들 (190) 은 프레임 레이트 조정기 (140) 를 포함한다. 메모리 (132) 는 명령들 (196) 을 저장하도록 구성된다. 하나 이상의 프로세서들 (190) 은 본 명세서에 설명된 하나 이상의 동작들을 수행하기 위해 명령들 (196) 을 실행하도록 구성된다. 모뎀 (170) 은 하나 이상의 프레임들 (101)(예를 들어, 비디오 프레임들, 포토 버스트, 또는 이들의 조합) 의 프레임 시퀀스 (180) 를 수신하는 것과 같은, 하나 이상의 제 2 디바이스들과의 통신을 가능하게 하도록 구성된다. 특정한 양태에서, 디바이스 (102) 는 디스플레이 디바이스 (106) 에 커플링된다. 디스플레이 디바이스 (106) 는 예시적인 예로서 디바이스 (102) 의 외부로서 설명된다. 일부 예들에서, 디스플레이 디바이스 (106) 는 디바이스 (102) 에 통합된다.
프레임 레이트 조정기 (140) 는 프레임 시퀀스 (180) 를 수신하고 프레임 시퀀스 (192) 를 출력하도록 구성된다. 프레임 시퀀스 (192) 는 프레임 시퀀스 (180) 에 비해 더 높은 프레임 레이트 (예를 들어, 더 많은 초당 프레임들) 를 갖는다. 예를 들어, 프레임 시퀀스 (192) 는 프레임 시퀀스 (180) 의 하나 이상의 프레임들 (101) 을 포함하고, 또한 하나 이상의 프레임들 (101) 사이에 산재된 하나 이상의 중간 프레임들 (191) 을 포함한다. 예시를 위해, 하나 이상의 프레임들 (101) 은 프레임 (101A) 다음에 프레임 (101C) 가 후속하는 프레임 (101B) 을 포함한다. 프레임 레이트 조정기 (140) 는 프레임 (101A) 및 프레임 (101B) 에 기초하여 중간 프레임 (191A) 을 생성하고 프레임 시퀀스 (192) 에서와 같이 프레임 (101A) 과 프레임 (101B) 사이에 중간 프레임 (191A) 을 출력하도록 구성된다. 특정한 구현에서, 프레임 시퀀스 (192) 는 하나 이상의 프레임들 (101) 의 연속적인 프레임들의 각각의 쌍 사이에 중간 프레임 (191) 을 포함한다. 예를 들어, 프레임 시퀀스 (192) 는 프레임 (101A) 과 프레임 (101B) 사이의 중간 프레임 (191A), 및 프레임 (101B) 과 프레임 (101C) 사이의 중간 프레임 (191B) 을 포함한다. 대안의 구현에서, 프레임 시퀀스 (192) 는 하나 이상의 프레임들 (101) 의 연속적인 프레임들의 적어도 하나의 쌍 사이에 하나 이상의 중간 프레임들 (191) 을 포함한다.
일부 구현들에서, 디바이스 (102) 는 하나 또는 다양한 타입들의 디바이스들에 대응하거나 그에 포함된다. 예시적인 예에서, 하나 이상의 프로세서들 (190) 은 도 7 을 참조하여 설명된 바와 같은 모바일 폰 또는 태블릿 컴퓨터 디바이스, 도 8 을 참조하여 설명된 바와 같은 웨어러블 전자 디바이스, 또는 도 9 를 참조하여 설명된 바와 같은 가상 현실 헤드셋 또는 증강 현실 헤드셋 중 적어도 하나에 통합된다. 다른 예시적인 예에서, 하나 이상의 프로세서들 (190) 은 도 10 및 도 11 을 참조하여 추가로 설명된 바와 같은, 차량에 통합된다.
동작 동안, 프레임 레이트 조정기 (140) 는 하나 이상의 프레임들 (101)(예를 들어, 비디오 프레임들) 의 프레임 시퀀스 (180) 를 수신한다. 예를 들어, 프레임 레이트 조정기 (140) 는 프레임 시퀀스 (180) 의 프레임 (101A) 및 프레임 (101B) 을 수신한다. 특정한 구현에서, 프레임 레이트 조정기 (140) 는 모뎀 (170), 메모리 (132), 제 2 디바이스 (예를 들어, 저장 디바이스), 또는 이들의 조합으로부터 프레임 시퀀스 (180) 를 수신한다.
특정한 양태에서, 프레임 레이트 조정기 (140) 는 프레임 (101A) 과 프레임 (101B) 사이의 추정된 모션을 표시하는 모션 데이터 (예를 들어, 모션 벡터들) 를 획득한다. 예 (150) 에서, 모션 데이터는 프레임 (101A) 의 영역들 A, B, 및 C 각각이 제 1 수평 모션 (예를 들어, 우측으로 1 픽셀 블록) 및 제 1 수직 모션 (예를 들어, 아래로 2 픽셀 블록들) 에 대응하고, 영역 D 는 수평 모션 없음 및 제 2 수직 모션 (예를 들어, 아래로 1 픽셀 블록) 에 대응하고, 프레임 (101A) 의 영역 X 는 모션 없음 (예를 들어, 프레임 (101A) 및 프레임 (101B) 의 각각에서 동일한 포지션) 에 대응함을 표시한다.
특정한 양태에서, 프레임 (101A) 의 영역들 각각은 사이즈가 동일하다. 대안의 양태에서, 하나 이상의 프레임들 (101) 의 영역들 중 적어도 하나는 프레임 (101A) 의 다른 영역과 사이즈가 상이하다. 특정한 양태에서, 프레임 (101A) 의 하나 이상의 영역들의 치수들은 디폴트 데이터, 구성 설정, 사용자 입력, 또는 이들의 조합에 기초한다. 특정한 양태에서, 프레임 (101A) 의 하나 이상의 영역들은 정사각형-형상, 직사각형-형상, 타원형-형상, 불규칙한-형상, 또는 이들의 조합이다. 특정한 양태에서, 프레임 (101A) 의 영역들은 오버랩하지 않는다. 대안의 양태에서, 프레임 (101A) 의 영역들은 적어도 부분적으로 오버랩한다. 특정한 양태에서, 픽셀 블록은 프레임 (101A) 의 영역과 동일한 사이즈, 동일한 형상, 또는 양자 모두이다. 특정한 양태에서, 픽셀 블록은 프레임 (101A) 의 영역과 상이한 사이즈, 상이한 형상, 또는 양자 모두이다. 특정한 양태에서, 픽셀 블록의 사이즈, 형상, 또는 양자 모두는 디폴트 데이터, 구성 설정, 사용자 입력, 또는 이들의 조합에 기초한다. 특정한 양태에서, 픽셀 블록은 프레임 (101A) 의 하나 이상의 픽셀들을 포함한다.
프레임 레이트 조정기 (140) 는 프레임 (101A) 의 영역들 (예를 들어, 프레임 영역들) 의 하나 이상의 영역 모션 메트릭들 (region motion metrics; RMM)(117) 을 결정한다. 예를 들어, 프레임 레이트 조정기 (140) 는 영역의 수평 모션 및 수직 모션 (예를 들어, 영역 모션 메트릭 (117) = ) 에 기초하여 프레임 (101A) 의 영역들 각각의 영역 모션 메트릭 (117) 을 결정한다.
예 (150) 에서, 프레임 레이트 조정기 (140) 는 모션 없음을 표시하는 영역 X 의 영역 모션 메트릭 (117A)(예를 들어, 0) 을 결정한다. 프레임 레이트 조정기 (140) 는 영역들 A, B 및 C 각각의 영역 모션 메트릭 (117B)(예를 들어, ) 을 결정한다. 프레임 레이트 조정기 (140) 는 영역 D 의 영역 모션 메트릭 (117C)(예를 들어, ) 을 결정한다.
프레임 레이트 조정기 (140) 는 모션 데이터 (예를 들어, 하나 이상의 영역 모션 메트릭들 (117)) 에 기초하여, 모션 임계치 (111)(예를 들어, 2) 보다 큰 모션을 표시하는 프레임 (101A) 의 임의의 프레임 영역들을 식별한다. 특정한 양태에서, 모션 임계치 (111) 는 디폴트 데이터, 구성 설정, 사용자 입력, 또는 이들의 조합에 대응한다. 예 (150) 에서, 프레임 레이트 조정기 (140) 는 영역들 A, B, 및 C 의 각각이 모션 임계치 (111)(예를 들어, 2) 보다 큰 영역 모션 메트릭 (117B)(예를 들어, 2.2) 을 갖는다고 결정하는 것에 응답하여, 영역들 A, B, 및 C 을 모션 임계치 (111) 보다 큰 모션에 대응하는 것으로서 식별한다. 프레임 레이트 조정기 (140) 는, 영역 X 가 모션 임계치 (111)(예를 들어, 2) 이하인 영역 모션 메트릭 (117A)(예를 들어, 0) 을 갖고 영역 D 가 모션 임계치 (111) 이하인 영역 모션 메트릭 (117C)(예를 들어, 1) 을 갖는다고 결정하는 것에 응답하여, 영역 X 및 영역 D 를 모션 임계치 (111) 이하의 모션에 대응하는 것으로 식별한다.
특정한 양태에서, 프레임 레이트 조정기 (140) 는, 프레임 (101A) 의 영역들 중 어느 것도 모션 임계값 (111) 보다 큰 모션에 대응하지 않는다고 결정하는 것에 응답하여, 모션 메트릭 (115) 을 제 1 모션 메트릭 값 (예를 들어, 0) 으로 설정하고 사이즈 메트릭 (113) 을 제 1 사이즈 메트릭 값 (예를 들어, 0 퍼센트) 으로 설정한다. 대안으로, 프레임 레이트 조정기 (140)는, 모션 임계치 (111) 보다 큰 모션을 표시하는 프레임 (101A) 의 하나 이상의 영역들을 식별하는 것에 응답하여, 식별된 영역들의 영역 모션 메트릭들 (117) 에 기초하여 모션 메트릭 (115) 및 사이즈 메트릭 (113) 을 결정한다.
프레임 레이트 조정기 (140) 는, 모션 임계치 (111) 보다 큰 모션을 표시하는 것으로서 식별된 영역들 (예를 들어, A, B 및 C) 각각의 영역 모션 메트릭 (117) 에 기초하여, 그리고 모션 임계치 (111) 이하의 모션을 표시하는 것으로서 식별된 영역들 (예를 들어, 영역들 X 및 D) 의 영역 모션 메트릭 (예를 들어, 영역 모션 메트릭 (117A) 및 영역 모션 메트릭 (117C)) 과는 독립적으로, 모션 메트릭 (115) 을 결정한다. 특정한 구현에서, 모션 메트릭 (115) 은 모션 임계치 (111) 보다 큰 모션을 표시하는 것으로서 식별된 영역들의 영역 모션 메트릭들 (117) 에 의해 표시된, 평균 모션 (예를 들어, 평균, 중앙값, 또는 모드), 최대 모션, 모션의 범위, 또는 이들의 조합에 기초한다. 예 (150) 에서, 모션 메트릭 (115) 은 모션 임계치 (111)(예를 들어, 2) 보다 큰 모션을 표시하는 것으로서 식별된 영역들 (예를 들어, A, B, 및 C) 의 영역 모션 메트릭들 (117) 의 평균 (예를 들어, (2.2+2.2+2.2)/3 = 2.2) 에 대응한다.
프레임 레이트 조정기 (140) 는 모션 임계치 (111)(예를 들어, 2) 보다 큰 모션을 표시하는 것으로서 식별된 프레임 영역들 (예를 들어, A, B 및 C) 과 연관된 사이즈 메트릭 (113) 을 결정한다. 특정한 양태에서, 사이즈 메트릭 (113) 은 식별된 프레임 영역들 (예를 들어, A, B, 및 C) 의 조합된 사이즈, 식별된 프레임 영역들 (예를 들어, A, B, 및 C) 을 포함하는 프레임 (101A) 의 퍼센티지, 또는 이들의 조합에 기초한다. 특정한 예에서, 프레임 레이트 조정기 (140) 는 모션 임계치 (111) 보다 큰 모션을 표시하는 것으로서 식별된 영역들 (예를 들어, A, B, C) 의 제1 카운트 (예를 들어, 3) 및 프레임 (101A) 의 총 영역들의 제 2 카운트 (예를 들어, 16) 에 기초하여 사이즈 메트릭 (113)(예를 들어, 3/16 = 18.75%) 을 결정한다 (예를 들어, 사이즈 메트릭 (113) = 제 1 카운트/제 2 카운트).
프레임 레이트 조정기 (140) 는, 도 2 및 도 3 을 참조하여 추가로 설명된 바와 같이, 사이즈 메트릭 (113) 및 모션 메트릭 (115) 에 기초하여, 중간 프레임 (191A) 을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행한다. 예를 들어, 중간 프레임 생성 옵션들 (120) 은 모션-보상된 프레임 보간 (124) 및 모션-보상된 프레임 보간 (124) 에 대한 하나 이상의 대안들을 수행하는 것 (예를 들어, 프레임 복사 (122) 를 수행하는 것) 을 포함한다. 특정한 양태에서, 모션 임계치 (111) 보다 큰 모션을 표시하는 프레임 영역들이 (사이즈 메트릭 (113) 에 의해 표시된 바와 같이) 프레임 (101A) 의 상대적으로 큰 비율에 대응하거나 (모션 메트릭 (115) 에 의해 표시된 바와 같이) 상대적으로 큰 모션에 대응하는 경우들에서, 프레임 (101A) 과 프레임 (101B) 사이의 트랜지션은 재생 동안 더 두두러질 것으로 예측된다. 이러한 경우, 프레임 레이트 조정기 (140) 는 재생 평활도를 증가시키기 위해 모션-보상된 프레임 보간 (124) 을 사용한다. 대안으로, 모션 임계치 (111) 보다 더 큰 모션을 표시하는 프레임 영역들이, 있다면, (사이즈 메트릭 (113) 에 의해 표시된 바와 같이) 프레임 (101A) 의 상대적으로 작은 비율에 대응하거나 (모션 메트릭 (115) 에 의해 표시된 바와 같이) 상대적으로 작은 모션에 대응하는 경우들에서, 프레임 (101A) 과 프레임 (101B) 사이의 트랜지션은 재생 동안 덜 두드러질 것으로 예측된다. 그러한 경우들에서, 프레임 레이트 조정기 (140) 는 리소스들을 보존하기 위해 프레임 복사 (122) 를 사용한다.
프레임 레이트 조정기 (140) 는, 모션-보상된 프레임 보간이 수행될 것이라는 결정에 응답하여, 모션-보상된 프레임 보간 (124) 을 사용하여, 보간된 프레임 (123) 을 중간 프레임 (191A) 으로서 생성한다. 예를 들어, 프레임 레이트 조정기 (140) 는 프레임 (101A) 과 보간된 프레임 (123) 사이의 제 2 모션이 프레임 (101A) 과 프레임 (101B) 사이의 제 1 모션에 적용된 보간 가중치 (119) 에 기초하도록 보간된 프레임 (123) 을 생성한다. 특정한 구현에서, 보간 가중치 (119) 는 도 2 및 도 3 을 참조하여 추가로 설명된 바와 같이, 사이즈 메트릭 (113) 및 모션 메트릭 (115) 에 기초한다. 특정한 구현에서, 보간 가중치 (119) 는 미리결정된 가중치에 기초한다. 특정한 양태에서, 보간 가중치 (119) 는 디폴트 데이터, 구성 설정, 사용자 입력, 또는 이들의 조합에 기초한다. 특정한 양태에서, 보간 가중치 (119) 의 제 1 복사 값 (예를 들어, 0) 은 프레임 (101A) 의 복사에 대응하고, 보간 가중치 (119) 의 제 2 복사 값 (예를 들어, 1) 은 프레임 (101B) 의 복사에 대응한다. 특정한 양태에서, 제 1 복사 값과 제 2 복사 값 사이의 보간 가중치 (119) 의 값들은 보간에 대응한다. 예를 들어, 보간 가중치 (119) 의 풀 보간 값 (예를 들어, 0.5) 은 풀 보간에 대응한다. 다른 예로서, 하프 보간 값 (예를 들어, 0.25) 은 하프 보간에 대응한다.
예 (150) 에서, 모션-보상된 프레임 보간 (124) 은 보간된 프레임 (123) 을 생성하기 위한 "풀 보간” 에 대응한다. "풀 보간” 은 보간된 프레임 (123) 과 프레임 (101A) 및 프레임 (101B) 의 각각 사이의 제 2 모션이 프레임 (101A) 과 프레임 (101B) 사이의 제 1 모션에 적용된 보간 가중치 (119) 의 풀 보간 값 (예를 들어, 0.5) 이 되도록 보간된 프레임 (123) 을 생성하는 것을 지칭한다. 예를 들어, 프레임 (101A) 과 프레임 (101B) 사이의 제1 모션은 영역들 A, B 및 C 각각에 대한 제 1 수평 모션 (예를 들어, 우측으로 1 픽셀 블록) 및 제 1 수직 모션 (예를 들어, 아래로 2 픽셀 블록들), 영역 D 에 대한 수평 모션 및 제 2 수직 모션 없음 (예를 들어, 아래로 1 픽셀 블록), 및 영역 X 에 대한 모션 없음을 표시한다. 프레임 레이트 조정기 (140) 는 프레임 (101A) 과 보간된 프레임 (123) 사이의 제 2 모션이 영역들 A, B 및 C 각각에 대한 제 1 특정한 수평 모션 (예를 들어, 우측으로 0.5*1 = 0.5 픽셀 블록들) 및 제 1 특정한 수직 모션 (예를 들어, 아래로 0.5*2 = 1 픽셀 블록), 영역 D 에 대한 수평 모션 없음 (예를 들어, 0.5*0 = 0) 및 제 2 특정한 수직 모션 (예를 들어, 아래로 0.5*1 = 0.5 픽셀 블록), 및 영역 X 에 대한 모션 없음 (예를 들어, 0.5*0 및 0.5*0) 을 표시하도록 보간된 프레임 (123) 을 생성한다. 프레임 (101A) 과 프레임 (101B) 사이의 중간 프레임 (191A) 으로서의 보가된 프레임 (123) 의 재생은 프레임 (101A) 과 프레임 (101B) 사이의 트랜지션을 평활하게 할 것이다 (예를 들어, 지터를 감소시킬 것임).
대안으로, 프레임 레이트 조정기 (140) 는, 모션-보상된 프레임 보간이 수행되지 않을 것이라는 결정에 응답하여, 모션-보상된 프레임 보간 (124) 에 대한 대안을 사용하여, 중간 프레임 (191A) 을 생성한다. 예를 들어, 프레임 레이트 조정기 (140) 는 프레임 복사 (122) 를 수행하여 중간 프레임 (191A) 으로서 복사된 프레임 (121) 을 생성한다. 예 (150) 에서, 복사된 프레임 (121) 은 프레임 (101A) 의 복사에 대응한다. 다른 예들에서, 복사된 프레임 (121) 은 프레임 (101B) 의 복사에 대응할 수 있다. 특정한 구현에서, 복사된 프레임 (121) 을 생성하는 것은 프레임 (101A)(또는 프레임 (101B)) 에 기초하여 부가 프레임을 생성하는 것에 대응한다. 다른 구현에서, 복사된 프레임 (121) 을 생성하는 것은 부가 프레임을 생성하는 것과 독립적으로 프레임 (101A)(또는 프레임 (101B)) 의 재생 시간을 증가 (예를 들어, 배가) 시키는 것에 대응한다. 특정한 구현에서, 복사된 프레임 (121) 을 생성하는 것은 재생 리스트에 프레임 (101A)(또는 프레임 (101B)) 에 대한 참조를 두 번 포함시키는 것에 대응한다. 복사된 프레임 (121) 을 생성하는 것은 보간된 프레임 (123) 을 생성하는 것에 비해 더 적은 리소스들 (예를 들어, 전력, 프로세싱 사이클들, 및 시간) 을 사용한다.
프레임 레이트 조정기 (140) 는 프레임 (101A) 과 프레임 (101B) 사이의 중간 프레임 (191A) 을 포함하는 프레임 시퀀스 (192) 를 생성한다. 특정한 양태에서, 프레임 레이트 조정기 (140) 는 재생을 위해 프레임 시퀀스 (192) 를 디스플레이 디바이스 (106) 에 제공하거나, 프레임 시퀀스 (192) 를 메모리 (132) 또는 저장 디바이스에 저장하거나, 프레임 시퀀스 (192) 를 다른 디바이스에 제공 (예를 들어, 스트리밍) 하거나, 또는 이들의 조합을 행한다.
따라서, 시스템 (100) 은 더 높은 모션 영역들의 사이즈 및 더 높은 모션 영역들에 의해 표시된 모션의 정도에 기초하여 선택적 모션-보상된 프레임 보간을 가능하게 한다. 예를 들어, 프레임 레이트 조정기 (140) 는 재생 평활도를 증가시키기 위해 모션-보상된 프레임 보간을 수행하는 것과 리소스들을 보존하기 위해 프레임 복사를 수행하는 것 사이에서 트랜지션한다.
도 2 를 참조하면, 프레임 레이트 조정기 (140) 의 예시적인 양태가 나타나 있다. 프레임 레이트 조정기 (140) 는 보간 팩터 생성기 (206) 를 통해 보간 선택기 (208) 에 커플링된 모션 추정기 (204) 를 포함한다. 보간 선택기 (208) 는 프레임 복사기 (210) 및 모션-보상 프레임 보간기 (214) 의 각각에 커플링된다.
모션 추정기 (204) 는 프레임 시퀀스 (180) 를 수신한다. 예를 들어, 모션 추정기 (204) 는 프레임 (101A) 및 프레임 (101B) 을 수신한다. 모션 추정기 (204) 는 프레임 시퀀스 (180) 의 연속적인 프레임들의 쌍들 사이의 추정된 모션을 표시하는 모션 데이터 (MD)(205) 를 생성한다. 예를 들어, 모션 추정기 (204) 는 프레임 (101A) 과 프레임 (101B) 사이의 추정된 모션을 표시하는 모션 데이터 (205)(예를 들어, 모션 벡터들의 세트) 를 생성한다. 모션 추정기 (204) 는 모션 데이터 (205) 를 보간 팩터 생성기 (206) 및 모션-보상된 프레임 보간기 (214) 각각에 제공한다.
보간 팩터 (IF) 생성기 (206) 는 모션 데이터 (205) 에 기초하여 보간 팩터 (207) 를 결정한다. 예를 들어, 보간 팩터 생성기 (206) 는 도 1 을 참조하여 설명된 바와 같이, 사이즈 메트릭 (113) 및 모션 메트릭 (115) 을 결정한다. 특정한 양태에서, 보간 팩터 생성기 (206) 는 모션 데이터 (205) 가 프레임 (101A) 과 프레임 (101B) 사이의 추정된 모션을 표시하는 모션 벡터들의 세트 (예를 들어, 16 개의 모션 벡터들) 를 포함한다고 결정한다. 보간 팩터 생성기 (206) 는 모션 벡터들의 서브세트 (예를 들어, 3개의 모션 벡터들) 가 모션 임계치 (111) 보다 큰 모션 (예를 들어, 2개의 픽셀 블록들) 을 표시한다고 결정한다. 보간 팩터 생성기 (206) 는 모션 임계치 (111) 보다 높은 모션을 표시하는 모션 데이터 (205) 의 모션 벡터들의 퍼센티지로서 사이즈 메트릭 (113)(예를 들어, 3/16 = 18.75 퍼센트) 을 결정한다. 보간 팩터 생성기 (206) 는 모션 벡터들의 서브세트 (예를 들어, 3개의 모션 벡터들) 에 의해 표시된 모션 (예를 들어, 평균 모션 또는 모션의 범위) 에 기초하여 모션 메트릭 (115) 을 결정한다. 보간 팩터 생성기 (206) 는 사이즈 메트릭 (113) 및 모션 메트릭 (115) 과 보간 팩터 결정 데이터 (270) 의 비교에 기초하여 보간 팩터 (207) 를 생성한다.
특정한 양태에서, 보간 팩터 결정 데이터 (270) 는 사이즈 메트릭 값들의 범위들, 모션 메트릭 값들의 범위들, 또는 이들의 조합에 의해 정의된 복수의 보간 팩터 영역들을 표시한다. 도 3 에, 보간 팩터 결정 데이터 (270) 의 일 예 (300) 가 나타나 있다. 보간 팩터 결정 데이터 (270) 는 풀 보간 영역 (362), 트랜지션 영역 (364) 및 복사 영역 (366) 을 포함하는 복수의 보간 팩터 영역들을 포함한다. 예를 들어, 복사 영역 (366) 은 프레임 보간이 재생 평활도가 두드러지지 않게 증가하게 될 가능성이 있는 프레임 (101A) 의 작은 부분들 (예를 들어, 낮은 사이즈 메트릭) 에 의해 표시된 작은 모션 또는 모션 없음 (예를 들어, 낮은 모션 메트릭) 에 대응한다. 풀 보간 영역 (362) 은 프레임 보간이 재생 평활도가 두드러지게 증가하게 될 가능성이 있는 프레임 (101A) 의 큰 부분 (예를 들어, 높은 사이즈 메트릭) 에 의해 표시된 높은 모션 (예를 들어, 높은 모션 메트릭) 에 대응한다. 트랜지션 영역 (364) 은 프레임 보간이 재생 평활도의 다소 두드러진 증가를 초래할 수도 있는 프레임 (101A) 의 큰 부분에서의 작은 모션 또는 프레임 (101A) 의 작은 부분에서의 높은 모션에 대응한다.
일부 구현들에서, 보간 팩터 결정 데이터 (270) 는 풀 보간 영역 (362) 및 복사 영역 (366) 을 포함하고, 어떠한 트랜지션 영역들도 포함하지 않는다. 일부 구현들에서, 보간 팩터 결정 데이터 (270) 는 다중 트랜지션 영역들을 포함한다. 특정한 양태에서, 보간 팩터 결정 데이터 (270) 는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다. 예시를 위해, 보간 팩터 결정 데이터 (270) 의 예 (300) 는 제 1 구성 설정 (예를 들어, 리소스 보존 설정), 제 1 사용자 입력 (예를 들어, 리소스 보존 입력), 제 1 검출된 컨텍스트 (예를 들어, 강의 비디오), 제 1 동작 모드 (예를 들어, 저전력 모드 또는 배터리 보존 모드), 제 1 스크린 사이즈 (예를 들어, 임계 스크린 사이즈보다 작음), 또는 이들의 조합에 대응하고, 보간 팩터 결정 데이터 (270) 의 예 (350) 는 제 2 구성 설정 (예를 들어, 재생 평활도 설정), 제 2 사용자 입력 (예를 들어, 재생 평활도 입력), 제 2 검출된 컨텍스트 (예를 들어, 영화), 제 2 동작 모드 (예를 들어, 충전 모드, 충전된 모드, 또는 풀 전력 모드), 제 2 스크린 사이즈 (예를 들어, 임계 스크린 사이즈 이상임), 또는 이들의 조합에 대응한다.
특정한 양태에서, 검출된 컨텍스트는 프레임 시퀀스 (180) 의 비디오 콘텐츠의 타입을 포함한다. 예를 들어, 재생 평활도는 제 1 타입의 비디오 콘텐츠 (예를 들어, 강의) 보다 제 2 타입의 비디오 콘텐츠 (예를 들어, 영화) 에 대해 더 관련이 있다. 특정한 양태에서, 검출된 컨텍스트는 프레임 시퀀스 (180) 와, 프레임 시퀀스 (180) 의 재생 시간과, 또는 양자 모두와 연관된 캘린더 이벤트를 포함한다. 예를 들어, 재생 평활도는 제 1 타입의 캘린더 이벤트들 (예를 들어, 워킹 아웃) 에 대해서보다 제 2 타입의 캘린더 이벤트들 (예를 들어, 광고 캠페인 프리젠테이션) 에 대해 더 관련이 있다. 특정한 양태에서, 검출된 컨텍스트는 디스플레이 디바이스 (106) 의 이동 양을 포함한다. 예를 들어, 재생 평활도는 디스플레이 디바이스 (106) 가 이동하고 있는 동안 프레임 시퀀스 (192) 가 재생될 때 덜 관련이 있다 (예를 들어, 디스플레이 디바이스 (106) 는 가상 현실 헤드셋의 사용자가 실행 중인 동안 프레임 시퀀스 (192) 를 재생하고 있는 가상 현실 헤드셋에 통합된다).
특정한 양태에서, 프레임 레이트 조정기 (140) 는 검출된 조건에 기초하여 보간 팩터 결정 데이터 (270) 의 영역들의 경계들을 조정한다. 특정한 양태에서, 검출된 조건은 구성 설정, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다. 예시를 위해, 프레임 레이트 조정기 (140) 는, 더 낮은 전력 동작 모드 (예를 들어, 낮은 배터리), 더 작은 스크린 사이즈, 제 1 타입의 비디오 (예를 들어, 강의) 를 표시하는 컨텍스트, 또는 이들의 조합을 검출하는 것에 응답하여 복사 영역 (366) 을 증가시키고 풀 보간 영역 (362) 을 감소시키기 위해 (예를 들어, 예 (300) 부터 예 (350) 까지) 보간 팩터 결정 데이터 (270) 의 영역들의 경계들을 (예를 들어, 우측, 상단, 또는 양자 모두를 향해) 시프트한다.
복사 영역 (366) 을 증가시키고 풀 보간 영역 (362) 을 감소시키는 것은 모션 메트릭 (115) 에 의해 만족되어야 하는 모션 임계치를 증가시키고 사이즈 메트릭 (113) 에 의해 만족되어야 하는 사이즈 임계치를 증가시켜 중간 프레임들을 생성하기 위해 모션-보상된 보간을 사용하는 것을 트리거한다. 리소스 소비는 높은 모션 및 큰 프레임 부분 모션에 대한 재생 평활도를 증가시키기 위해 모션-보상된 보간을 또한 가능하게 하면서 프레임 복사를 사용하는 가능성을 증가시킴으로써 감소된다. 대안으로, 프레임 레이트 조정기 (140) 는, 더 높은 전력 동작 모드 (예를 들어, 전력 공급장치에 플러깅됨), 더 큰 스크린 사이즈, 제 2 타입의 비디오 (예를 들어, 영화) 를 표시하는 컨텍스트, 또는 이들의 조합을 검출하는 것에 응답하여 복사 영역 (366) 감소시키고 풀 보간 영역 (362) 을 증가시키기 위해 (예를 들어, 예 (350) 부터 예 (300) 까지) 보간 팩터 결정 데이터 (270) 의 영역들의 경계들을 (예를 들어, 좌측, 하단, 또는 양자 모두를 향해) 시프트한다. 복사 영역 (366) 을 감소시키고 풀 보간 영역 (362) 을 증가시키는 것은 모션 메트릭 (115) 에 의해 만족되어야 하는 모션 임계치를 감소시키고 사이즈 메트릭 (113) 에 의해 만족되어야 하는 사이즈 임계치를 감소시켜 중간 프레임들을 생성하기 위해 모션-보상된 보간을 사용하는 것을 트리거한다. 재생 평활도는 낮은 모션 또는 작은 프레임 부분 모션에 대한 리소스들을 보존하기 위해 프레임 복사를 또한 가능하게 하면서 모션-보상된 보간을 사용하는 가능성을 증가시킴으로써 증가된다.
보간 팩터 결정 데이터 (270) 의 복수의 영역들 각각은 특정한 보간 팩터 값에 대응한다. 예를 들어, 복사 영역 (366) 은 제 1 보간 팩터 값 (예를 들어, 0) 에 대응하고, 풀 보간 영역 (362) 은 제 2 보간 팩터 값 (예를 들어, 1) 에 대응한다. 특정한 양태에서, 트랜지션 영역 (364) 은 제 3 보간 팩터 값 (예를 들어, 0.5) 에 대응한다.
보간 팩터 생성기 (206) 는, 사이즈 메트릭 (113) 및 모션 메트릭 (115) 이 보간 팩터 결정 데이터 (270) 의 특정한 영역에 대응한다고 (예를 들어, 거기에 있다고) 결정하는 것에 응답하여, 특정한 영역에 대응하는 특정한 보간 팩터 값을 표시하는 보간 팩터 (207) 를 생성한다. 예를 들어, 보간 팩터 생성기 (206) 는, 사이즈 메트릭 (113) 및 모션 메트릭 (115) 이 복사 영역 (366) 에 대응한다고 (예를 들어, 거기에 있다고) 결정하는 것에 응답하여, 복사 영역 (366)에 대응하는 제 1 보간 팩터 값 (예를 들어, 0) 을 표시하는 보간 팩터 (207) 를 생성한다. 대안으로, 보간 팩터 생성기 (206) 는 사이즈 메트릭 (113) 및 모션 메트릭 (115) 이 풀 보간 영역 (362) 에 대응한다고 (예를 들어, 거기에 있다고) 결정하는 것에 응답하여 제 2 보간 팩터 값 (예를 들어, 1) 을 표시하는 보간 팩터 (207) 를 생성한다. 특정한 구현에서, 보간 팩터 생성기 (206) 는 사이즈 메트릭 (113) 및 모션 메트릭 (115) 이 트랜지션 영역 (364) 에 있다는 결정에 응답하여 제 3 보간 팩터 값 (예를 들어, 0.5) 을 표시하는 보간 팩터 (207) 를 생성한다. 제 1 보간 팩터 값 (예를 들어, 0) 은 모션-보상된 프레임 보간이 수행되지 않을 것임을 표시한다. 제 2 보간 팩터 값 (예를 들어, 1) 은 풀 보간이 수행될 것임을 표시한다. 제 3 보간 팩터 값 (예를 들어, 0.5) 은 부분 보간이 수행될 것임을 표시한다.
예시적인 예로서 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하는 보간 팩터 결정 데이터 (270) 가 제공된다. 일부 예들에서, 보간 팩터 결정 데이터 (270) 는 사이즈 메트릭 값들의 범위들에 의해 정의되고 모션 메트릭 값들의 범위들과 무관한 복수의 보간 팩터 영역들을 표시한다. 이러한 예들에서, 보간 팩터 생성기 (206) 는, 사이즈 메트릭 (113) 이 보간 팩터 결정 데이터 (270) 의 특정한 영역에 대응한다고 결정하는 것에 응답하여, 특정한 영역에 대응하는 특정한 보간 팩터 값을 표시하는 보간 팩터 (207) 를 생성한다. 다른 예들에서, 보간 팩터 결정 데이터 (270) 는 사이즈 메트릭 값들의 범위들에 의해 정의되고 모션 메트릭 값들의 범위들과 무관한 복수의 보간 팩터 영역들을 표시한다. 이러한 예들에서, 보간 팩터 생성기 (206) 는, 모션 메트릭 (115) 이 보간 팩터 결정 데이터 (270) 의 특정한 영역에 대응한다고 (예를 들어, 거기에 있다고) 결정하는 것에 응답하여, 특정한 영역에 대응하는 특정한 보간 팩터 값을 표시하는 보간 팩터 (207) 를 생성한다.
도 2 로 돌아가면, 보간 팩터 생성기 (206) 는 보간 팩트 (207) 를 보간 선택기 (208) 및 모션-보상된 프레임 보간기 (214) 각각에 제공한다. 보간 선택기 (208) 는 보간 팩터 (207) 에 기초하여, 중간 프레임 (191A) 을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부를 결정한다. 예를 들어, 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터 (207) 가 보간 기준을 만족하는지 여부 (예를 들어, 보간 팩터 (207) 가 0 과 동일한지 여부) 에 기초한다. 예시를 위해, 보간 선택기 (208) 는, 보간 팩터 (207) 가 보간 기준을 만족한다고 (예를 들어, 보간 팩터 (207) 가 0과 동일하지 않다고) 결정하는 것에 응답하여, 모션-보상된 프레임 보간이 사용될 것이라고 결정하고, 모션-보상된 프레임 보간기 (214) 에 보간 활성화 커맨드 (213) 를 전송한다. 대안으로, 보간 선택기 (208) 는 보간 팩터 (207) 가 보간 기준을 만족하지지 못한다고 (예를 들어, 보간 팩터 (207) 가 0 과 동일하다고) 결정하는 것에 응답하여, 모션-보상된 프레임 보간이 사용되지 않을 것 (예를 들어, 모션-보상된 프레임 보간에 대한 대안이 사용될 것) 이라고 결정하고, 복사 활성화 커맨드 (209) 를 프레임 복사기 (210) 에 전송한다.
모션-보상된 프레임 보간기 (214) 는, 보간 활성화 커맨드 (213) 를 수신하는 것에 응답하여, 도 5 를 참조하여 추가로 설명된 바와 같이, 프레임 (101A) 및 프레임 (101B) 에 대해 모션-보상된 프레임 보간을 수행하여 중간 프레임 (191A) 으로서 보간된 프레임 (123) 을 생성한다. 예를 들어, 모션-보상된 프레임 보간기 (214) 는 모션 데이터 (205), 보간 팩터 (207), 프레임 (101A), 프레임 (101B), 또는 이들의 조합에 기초하여 모션-보상된 프레임 보간을 수행한다.
프레임 복사기 (210) 는, 도 1 를 참조하여 설명된 바와 같이, 복사 활성화 커맨드 (209) 를 수신하는 것에 응답하여, 프레임 (101A) 또는 프레임 (101B) 중 하나를 복사함으로써 복사된 프레임 (121) 을 생성한다. 프레임 레이트 조정기 (140) 는 복사된 프레임 (121) 을 중간 프레임 (191A) 으로서 출력한다. 예를 들어, 프레임 레이트 조정기 (140) 는 프레임 시퀀스 (192) 에서 프레임 (101A) 과 프레임 (101B) 사이의 프레임 (191) 을 출력한다.
제 1 구현에서, 보간 팩터 결정 데이터 (270) 는 임의의 트랜지션 영역들을 포함하지 않는다. 이러한 구현에서, 프레임 레이트 조정기 (140) 는 중간 프레임들을 생성하기 위해 풀 보간과 복사 사이에서 스위칭한다. 제 2 구현에서, 보간 팩터 결정 데이터 (270) 는 적어도 하나의 트랜지션 영역을 포함한다. 이러한 구현에서, 프레임 레이트 조정기 (140) 는 프레임 시퀀스 (180) 에서의 모션이 풀 보간 영역 (362) 과 복사 영역 (366) 사이의 트랜지션 영역 (364) 을 통해 트랜지션할 때 중간 프레임들을 생성하기 위해 풀 보간과 복사 사이의 부분 보간을 통해 트랜지션한다.
따라서, 프레임 레이트 조정기 (140) 는 사이즈 메트릭 (113) 및 모션 메트릭 (115) 에 기초하여 선택적 모션-보상된 프레임 보간을 가능하게 한다. 특정한 양태에서, 모션-보상된 프레임 보간을 선택하기 위한 기준들은 검출된 조건 (예를 들어, 구성 설정, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합) 에 기초하여 보간 팩터 결정 데이터 (270) 를 조정함으로써 동적으로 변경될 수 있다.
특정한 구현에서, 디바이스 (102) 는 온-디맨드 전력 도메인과 같은 제 2 전력 도메인 및 상시-온 전력 도메인을 포함한다. 일부 구현들에서, 프레임 레이트 조정기 (140) 의 제 1 스테이지는 상시-온 모드에서 동작하도록 구성되고, 프레임 레이트 조정기 (140) 의 제 2 스테이지는 온-디맨드 모드에서 동작하도록 구성된다. 특정한 양태에서, 모션 추정기 (204), 보간 팩터 생성기 (206), 보간 선택기 (208), 프레임 복사기 (210), 또는 이들의 조합은, 프레임 레이트 조정기 (140) 의 제1 스테이지에 포함되고, 모션-보상된 프레임 보간기 (214) 는 프레임 레이트 조정기 (140) 의 제 2 스테이지에 포함된다.
제 1 스테이지는 제 2 스테이지에서 하나 이상의 동작들을 개시하기 위해 보간 활성화 커맨드 (213) 를 생성하도록 구성된다. 일 예에서, 보간 활성화 커맨드 (213) 는 제 2 스테이지의 하나 이상의 컴포넌트들을 활성화하기 위해 제 2 전력 도메인을 저전력 모드로부터 활성 모드로 트랜지션하도록 구성된다. 예를 들어, 보간 선택기 (208) 는 전력 관리 회로부, 클록 회로부, 헤드 스위치 또는 풋 스위치 회로부, 버퍼 제어 회로부, 또는 이들의 임의의 조합을 포함하거나 이에 커플링될 수도 있다. 보간 선택기 (208) 는, 예컨대 제 2 스테이지의, 제 2 전력 도메인의, 또는 양자 모두의 전력 공급장치의 전압을 선택적으로 인가 또는 상승시킴으로써, 제 2 스테이지의 파워-온을 개시하도록 구성될 수도 있다. 다른 예로서, 보간 선택기 (208) 는 예컨대, 전력 공급장치를 제거하지 않으면서 회로 동작을 방지하거나 인에이블하기 위해, 클록 신호를 제 2 스테이지에 선택적으로 게이트 또는 언게이트하도록 구성될 수도 있다.
제 2 스테이지에 의해 생성된 보간 프레임 (123) 은 프레임 레이트 조정기 (140) 에 제공된다. 프레임 레이트 조정기 (140) 는 보간된 프레임 (123) 을 중간 프레임 (191A) 으로서 출력하도록 구성된다. 프레임 레이트 조정기 (140) 의 제 1 스테이지에서의 프레임들의 프로세싱의 결과에 기초하여 제 2 스테이지를 선택적으로 활성화함으로써, 선택적 모션-보상된 프레임 보간 또는 양자 모두를 수행하는 것과 연관된 전체 전력 소모가 감소될 수도 있다.
도 4 를 참조하면, 도 1 의 시스템 (100) 에 의해 생성된 프레임들의 예시적인 예들의 다이어그램 (400) 이 나타나 있다. 예 (402) 는 프레임 시퀀스 (192) 의 프레임들 (예를 들어, 하나 이상의 중간 프레임들 (191) 이 산재된 하나 이상의 프레임들 (101)) 의 일정한 재생 속도를 표시한다.
풀 보간 예 (404) 는 하나 이상의 중간 프레임들 (191) 의 각각이 선행 프레임 (101) 과 후속 프레임 (101) 사이의 유사성의 중간에 있음을 표시한다. 예를 들어, 프레임 레이트 조정기 (140) 는, 도 1 의 모션-보상된 프레임 보간 (124) 을 참조하여 설명된 바와 같이, 중간 프레임 (191A) 과 프레임 (101A) 및 프레임 (101B) 의 각각 사이의 제 2 모션이 프레임 (101A) 과 프레임 (101B) 사이의 제 1 모션의 절반에 대응하도록 중간 프레임 (191A) 을 생성한다. 풀 보간 예 (404) 는 중간 프레임 (191A) 을 생성하기 위해 보간 가중치 (IW)(119) 의 풀 보간 값 (예를 들어, 0.5) 을 제 1 모션에 적용하는 것을 나타낸다.
하프 보간 예 (406) 는 하나 이상의 중간 프레임들 (191) 의 각각이 후속 프레임 (101) 보다 선행 프레임 (101) 에 대한 유사성에 더 가깝다는 것을 표시한다. 예를 들어, 프레임 레이트 조정기 (140) 는 중간 프레임 (191A) 과 프레임 (101A) 사이의 제 2 모션이 제 1 모션의 1/4 에 대응하고, 중간 프레임 (191A) 과 프레임(101B) 사이의 제 3 모션이 제 1 모션의 3/4 에 대응하도록 중간 프레임 (191A) 을 생성한다. 하프 보간 예 (406) 는 중간 프레임 (191A) 을 생성하기 위해 보간 가중치 (IW)(119) 의 하프 보간 값 (예를 들어, 0.25) 을 제 1 모션에 적용하는 것을 나타낸다.
어떠한 보간 예 (408) 도 하나 이상의 중간 프레임들 (191) 의 각각이 선행 프레임 (101) 의 복사임을 표시하지 않는다. 예를 들어, 프레임 레이트 조정기 (140) 는 프레임 (101A) 의 복사로서 중간 프레임 (191A) 을 생성한다. 어떠한 보간 예 (408) 도 중간 프레임 (191A) 으로서 복사된 프레임 (121) 을 생성하는 것을 나타내지 않는다.
트랜지션 예 (410) 는 이전 중간 프레임들 (191) 이 선행 프레임 (101) 과 후속 프레임 (101) 사이의 유사성의 중간에 있고, 가운데 중간 프레임들 (191) 이 후속 프레임 (101) 보다 선행 프레임 (101) 에 더 가깝고, 나중의 중간 프레임들 (191) 이 선행 프레임 (101) 의 복사임을 표시한다. 예를 들어, 프레임 레이트 조정기 (140) 는 하나 이상의 중간 프레임들 (191) 을 생성하기 위해 풀 보간과 복사 사이의 부분 보간을 통해 트랜지션한다. 트랜지션 예 (410) 는 하나 이상의 중간 프레임들 (191) 이 생성될 때 보간 가중치 (119) 를 풀 보간 값 (예를 들어, 0.5) 으로부터 보간 없음 값 (예를 들어, 0) 으로 업데이트하는 것을 나타낸다. 부분 보간을 통한 풀 보간 간에서 복사로의 트랜지션은 풀 보간과 복사 사이에서 스위칭하는 것과 비교하여 재생 동안 덜 두드러진다.
도 5 를 참조하면, 모션-보상된 프레임 보간기 (214) 의 예시적인 양태가 나타나 있다. 모션-보상된 프레임 보간기 (214) 는 폐색 검출기 (504), 모션 벡터 프로젝터 (506), 폴백 분석기 (508), 또는 이들의 조합을 통해, 프레임 렌더러 (510) 에 커플링된 모션 벡터 프로세서 (502) 를 포함한다.
제 1 구현에서, 모션-보상된 프레임 보간기 (214) 는 미리결정된 가중치 (예를 들어, 0.5) 에 기초하여 보간 가중치 (119) 를 결정한다. 예를 들어, 모션-보상된 프레임 보간기 (214) 는 보간 팩터 (207) 와 독립적으로 미리결정된 가중치 (예를 들어, 0.5) 에 대응하는 보간 (예를 들어, 풀 보간) 을 수행한다. 제 2 구현에서, 모션-보상된 프레임 보간기 (214) 는 보간 팩터 (207) 에 적어도 부분적으로 기초하여 보간 가중치 (119) 를 결정한다. 예를 들어, 모션-보상된 프레임 보간기 (214) 는 보간 가중치 (119) 를 결정하기 위해 보간 팩터 (207) 에 미리결정된 팩터 (예를 들어, 0.5) 를 적용한다. 예시를 위해, 보간 팩터 (207) 의 풀 보간 값 (예를 들어, 1) 은 보간 가중치 (119) 의 풀 보간 값 (예를 들어, 0.5) 에 대응한다. 보간 팩터 (207) 의 하프 보간 값 (예를 들어, 0.5) 은 보간 가중치 (119) 의 하프 보간 값 (예를 들어, 0.25) 에 대응한다.
특정한 양태에서, 보간 가중치 (119) 는 보간 팩터 (207) 가 풀 보간 값을 가질 때 제 1 구현 및 제 2 구현 양자 모두에서 동일한 값 (예를 들어, 0.5) 을 갖는다. 보간 가중치 (119) 는 보간 팩터 (207) 가 풀 보간 값 이외의 값 (예를 들어, 하프 보간 값) 을 가질 때 제 1 구현에서와 상이한 값을 제 2구현에서 갖는다.
모션 벡터 프로세서 (502) 는 모션 데이터 (205), 프레임 (101A) 및 프레임 (101B) 에 기초하여 모션 벡터들 (503) 을 생성한다. 예를 들어, 모션 벡터 프로세서 (502) 는 모션 벡터들 (503) 을 생성하기 위해 모션 벡터 포스트 프로세싱 및 정제를 수행한다. 모션 벡터 프로세서 (502) 는 폐색 검출기 (504), 모션 벡터 프로젝터 (506), 폴백 분석기 (508), 또는 이들의 조합에 모션 벡터들 (503) 을 제공한다.
모션 벡터 프로젝터 (506) 는 보간 가중치 (119) 에 기초하여 모션 벡터 데이터 (507) 를 생성한다. 예를 들어, 모션 벡터 프로젝터 (506) 는, 모션 벡터들 (503) 중 제 1 모션 벡터가 프레임 (101A) 과 프레임 (101B) 사이의 제 1 방향 (예를 들어, 아래) 에서 영역 A 에 대한 제 1 픽셀 시프트 (예를 들어, 2개의 픽셀 블록들) 를 표시한다고 결정하는 것에 응답하여, 프레임 (101A) 과 보간된 프레임 (123) 사이의 제 1 방향에서 제 2 픽셀 시프트 (예를 들어, 1개의 픽셀 블록) 를 표시하는 제 2 모션 벡터를 포함하는 모션 벡터 데이터 (507) 를 생성한다. 제 2 픽셀 시프트는 보간 가중치 (119)(예를 들어, 0.5) 를 제 1 픽셀 시프트에 적용하는 것에 기초한다 (예를 들어, 제 2 픽셀 시프트 = 보간 가중치 (119) * 제1 픽셀 시프트). 모션 벡터 프로젝터 (506) 는 모션 벡터 데이터 (507) 를 프레임 렌더러 (510) 에 제공한다.
예 (550) 에서, 프레임 (101A) 은 영역 E 를 포함한다. 프레임 (101A) 과 프레임 (101B) 사이의 영역 E 의 이동은 프레임 (101A) 과 프레임 (101B) 사이의 영역 A 의 이동과 경로들을 교차한다. 모션 벡터 데이터 (507) 는 영역 E 가 영역 A 와 오버랩하고 영역 E 및 영역 A 양자 모두가 보간된 프레임 (123) 에서 가시적임을 표시한다. 예를 들어, 영역 E 또는 영역 A 중 하나는 윈도우의 유리에 대응한다.
폐색 검출기 (504) 는, 모션 벡터들 (503), 모션 벡터 데이터 (507), 또는 양자 모두가, 프레임 (101A) 과 프레임 (101B) 사이의 영역 E 의 이동이 프레임 (101A) 과 프레임 (101B) 사이의 영역 A 의 이동과 경로들을 교차한다고 표시한다고 결정하는 것에 응답하여 가능한 폐색을 검출한다. 폐색 검출기 (504) 는 가능한 폐색을 검출하는 것에 응답하여 폐색 데이터 (505) 를 생성한다. 예를 들어, 폐색 데이터 (505) 는 보간된 프레임 (123) 에서 영역 A 를 부분적으로 블록킹하는 영역 E 에 대응하는 폐색 데이터 (505A)(예를 들어, 모션 벡터들) 를 포함한다. 다른 예로서, 폐색 데이터 (505) 는 영역 A 에 대응하는 폐색 데이터 (505B)(예를 들어, 모션 벡터들) 를 포함하고 보간된 프레임 (123) 에서 영역 A 를 적어도 부분적으로 블록킹한다. 폐색 검출기 (504) 는 폐색 데이터 (505) 를 프레임 렌더러 (510) 에 제공한다.
폴백 분석기 (508) 는 모션 벡터들 (503), 모션 벡터 데이터 (507), 또는 양자 모두가 교차된 경로들의 임계 카운트보다 큰 것을 표시한다고 결정하는 것에 응답하여, 프레임 (101A) 에 대한 보간된 프레임 (123) 의 폴백에 대응하는 폴백 데이터 (509) 를 생성한다. 예를 들어, 폴백 데이터 (509) 는 프레임 (101A) 의 복사로서 보간된 프레임 (123) 을 표시한다. 폴백 분석기 (508) 는 폴백 데이터 (509) 를 프레임 렌더러 (510) 에 제공한다.
프레임 렌더러 (510) 는 모션 벡터 데이터 (507), 폐색 데이터 (505), 폴백 데이터 (509), 프레임 (101A), 프레임 (101B), 또는 이들의 조합에 기초하여 보간된 프레임 (123) 을 생성한다. 예를 들어, 프레임 렌더러 (510) 는, 폐색 데이터 (505) 가 어떠한 가능한 폐색들도 검출되지 않음을 표시한다고 결정하는 것에 응답하여, 모션 벡터 데이터 (507)(예를 들어, 모션 벡터들) 를 프레임 (101A) 에 적용하여 보간된 프레임 (123) 을 생성한다. 대안으로, 프레임 렌더러 (510) 는, 폐색 데이터 (505) 가 폐색의 임계 카운트보다 적은 수가 검출됨을 표시한다고 결정하는 것에 응답하여, 프레임 (101A) 에 폐색 데이터 (505) 를 적용하여 보간된 프레임 (123) 을 생성한다. 예를 들어, 프레임 렌더러 (510) 는 다양한 폐색 해상도 기법들을 사용하여 폐색 데이터 (505A) 또는 폐색 데이터 (505B) 를 선택하고, 폐색 데이터 (505A) 또는 폐색 데이터 (505B) 중 선택된 하나를 프레임 (101A) 에 적용하여 보간된 프레임 (123) 을 생성한다. 특정한 양태에서, 프레임 렌더러 (510) 는, 폴백 데이터 (509) 가 폐색들의 임계 카운트 이상이 검출됨을 표시한다고 결정하는 것에 응답하여, 프레임 (101A) 을 보간된 프레임 (123) 으로서 복사한다.
따라서, 모션-보상된 프레임 보간기 (214) 는 보간 가중치 (119) 에 기초하여 보간된 프레임 (123) 을 생성하는 것을 가능하게 한다. 모션-보상된 프레임 보간기 (214) 는 프레임 (101A) 으로 폴백하는 것을 포함하여, 검출된 폐색들에 기초하여 보간된 프레임 (123) 에 대한 조정들을 가능하게 한다.
도 6 은 하나 이상의 프로세서들 (190) 을 포함하는 집적 회로 (602) 로서의 디바이스 (102) 의 구현 (600) 을 도시한다. 집적 회로 (602) 는 또한 프레임 시퀀스 (180) 가 프로세싱을 위해 수신되는 것을 가능하게 하기 위해, 하나 이상의 버스 인터페이스들과 같은 신호 입력 (604) 을 포함한다. 집적 회로 (602) 는 또한 프레임 시퀀스 (192) 와 같은 출력 신호의 전송을 가능하게 하기 위해, 버스 인터페이스와 같은 신호 출력 (606) 을 포함한다. 집적 회로 (602) 는 도 7 에 도시된 바와 같은 모바일 폰 또는 태블릿, 도 8 에 도시된 바와 같은 웨어러블 전자 디바이스, 도 9 에 도시된 바와 같은 가상 현실 헤드셋 또는 증강 현실 헤드셋, 또는 도 10 또는 도 11 에 도시된 바와 같은 차량과 같은, 시스템에서의 컴포넌트로서 선택적 모션-보상된 프레임 보간의 구현을 가능하게 한다.
도 7 은 디바이스 (102) 가 예시적이고 비제한적인 예로서 전화 또는 태블릿과 같은 모바일 디바이스 (702) 를 포함하는 구현 (700) 을 도시한다. 모바일 디바이스 (702) 는 디스플레이 디바이스 (106)(예를 들어, 디스플레이 스크린) 를 포함한다. 프레임 레이트 조정기 (140) 를 포함하는 하나 이상의 프로세서들 (190) 의 컴포넌트들은 모바일 디바이스 (702) 에 통합되고, 모바일 디바이스 (702) 의 사용자에게 일반적으로 가시적이지 않은 내부 컴포넌트들을 표시하기 위해 파선들을 사용하여 도시된다. 특정한 예에서, 프레임 레이트 조정기 (140) 는 프레임 시퀀스 (192) 를 생성하도록 동작하며, 이는 그 후 그래픽 사용자 인터페이스를 론칭하거나 그렇지 않으면 프레임 시퀀스 (192) 를 디스플레이하기 위한 것과 같은, 모바일 디바이스 (702) 에서의 하나 이상의 동작들을 수행하도록 프로세싱된다.
도 8 은 디바이스 (102) 가 "스마트 워치” 로서 예시된 웨어러블 전자 디바이스 (802) 를 포함하는 구현 (800) 을 도시한다. 프레임 레이트 조정기 (140) 는 웨어러블 전자 디바이스 (802) 에 통합된다. 특정한 예에서, 프레임 레이트 조정기 (140) 는 프레임 시퀀스 (192) 를 생성하도록 동작하며, 이는 그래픽 사용자 인터페이스를 론칭하거나 또는 그렇지 않으면 웨어러블 전자 디바이스 (802) 의 디스플레이 디바이스 (106)(예를 들어, 디스플레이 스크린) 에서 프레임 시퀀스 (192) 를 디스플레이하기 위한 것과 같은, 웨어러블 전자 디바이스 (802) 에서의 하나 이상의 동작들을 수행하도록 프로세싱된다. 특정한 예에서, 웨어러블 전자 디바이스 (802) 는 프레임 시퀀스 (192) 가 디스플레이될 준비가 되어 있다는 검출에 응답하여 햅틱 통지 (예를 들어, 진동들) 를 제공하는 햅틱 디바이스를 포함한다. 예를 들어, 햅틱 통지는 사용자가 프레임 시퀀스 (192) 를 보기 위해 웨어러블 전자 디바이스 (802) 를 보게 할 수 있다. 따라서, 웨어러블 전자 디바이스 (802) 는 청각 장애가 있는 사용자 또는 헤드셋을 착용하는 사용자에게 비디오 데이터가 검출됨을 경고할 수 있다.
도 9 는 디바이스 (102) 가 가상 현실, 증강 현실, 또는 혼합 현실 헤드셋 (902) 에 대응하는 휴대용 전자 디바이스를 포함하는 구현 (900) 을 도시한다. 프레임 레이트 조정기 (140) 는 헤드셋 (902) 에 통합된다. 시각적 인터페이스 디바이스 (예를 들어, 디스플레이 디바이스 (106)) 는 헤드셋 (902) 이 착용되는 동안 사용자에게 증강 현실 또는 가상 현실 이미지들 또는 장면들의 디스플레이를 가능하게 하기 위해 사용자의 눈 앞에 포지셔닝된다. 특정한 예에서, 시각적 인터페이스 디바이스는 프레임 시퀀스 (192) 를 디스플레이하도록 구성된다.
도 10 은 디바이스 (102) 가 유인 또는 무인 항공기 디바이스 (예를 들어, 패키지 전달 드론) 로서 예시된 차량 (1002) 에 대응하거나 그 내에 통합되는 구현 (1000) 을 도시한다. 프레임 레이트 조정기 (140), 디스플레이 디바이스 (106)(예를 들어, 디스플레이 스크린), 또는 양자 모두는 차량 (1002) 에 통합된다. 프레임 시퀀스 (192) 는 수신자를 위한 배달 통신, 광고, 설치 명령, 또는 이들의 조합을 위해 디스플레이 디바이스 (106) 상에 디스플레이될 수 있다.
도 11 은 디바이스 (102) 가 자동차로서 예시된 차량 (1102) 에 대응하거나 그 내에 통합되는 다른 구현 (1100) 을 도시한다. 차량 (1102) 은 프레임 레이트 조정기 (140) 를 포함하는 하나 이상의 프로세서들 (190) 을 포함한다. 특정한 구현에서, 프레임 레이트 조정기 (140) 의 동작을 통해 프레임 시퀀스 (192) 를 생성하는 것에 응답하여, 프레임 시퀀스 (192) 는 디스플레이 디바이스 (106)(예를 들어, 디스플레이 스크린) 를 통해 디스플레이된다.
도 12 를 참조하면, 선택적 모션-보상된 프레임 보간의 방법 (1200) 의 특정한 구현이 나타나 있다. 특정한 양태에서, 방법 (1200) 의 하나 이상의 동작들은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 모션 추정기 (204), 보간 팩터 생성기 (206), 보간 선택기 (208), 프레임 복사기 (210), 모션-보상된 프레임 보간기 (214), 도 5 의 모션 벡터 프로세서 (502), 폐색 검출기 (504), 모션 벡터 프로젝터 (506), 폴백 분석기 (508), 프레임 렌더러 (510), 또는 이들의 조합 중 적어도 하나에 의해 수행된다.
방법 (1200) 은 1202 에서, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 것을 포함한다. 예를 들어, 도 2 의 모션 추정기 (204) 는 도 2 를 참조하여 설명된 바와 같이, 프레임 시퀀스 (180) 의 프레임 (101A) 과 프레임 (101B) 사이의 추정된 모션 (예를 들어, 이미지 프레임들, 비디오 프레임들, 포토 버스트, 또는 이들의 조합) 을 표시하는 모션 데이터 (205)(예를 들어, 모션 벡터들) 를 획득한다.
방법 (1200) 은 또한, 1204 에서, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 것을 포함한다. 예를 들어, 도 2 의 보간 팩터 생성기 (206) 는, 도 2 를 참조하여 설명된 바와 같이, 모션 데이터 (205) 에 기초하여, 모션 임계치 (111) 보다 큰 모션을 표시하는 프레임 (101A) 의 임의의 프레임 영역들을 식별한다.
방법 (1200) 은, 1206 에서, 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 것을 더 포함한다. 예를 들어, 도 2 의 보간 팩터 생성기 (206) 는, 도 2 를 참조하여 설명된 바와 같이, 모션 데이터 (205) 에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭 (115) 을 결정한다.
방법 (1200) 은 또한, 1208 에서, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 것을 포함한다. 예를 들어, 도 2 의 보간 팩터 생성기 (206) 는 도 2 를 참조하여 설명된 바와 같이, 모션 임계치 (111) 및 사이즈 메트릭 (113) 에 기초하여 보간 팩터 (207) 를 생성한다. 보간 선택기 (208) 는, 도 2 를 참조하여 설명된 바와 같이, 보간 팩터 (207) 에 기초하여, 중간 프레임 (191A) 을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행한다.
방법 (1200) 은 1210 에서, 결정에 기초하여 중간 프레임을 생성하는 것을 더 포함한다. 예를 들어, 도 2 의 보간 선택기 (208) 는, 도 2 를 참조하여 설명된 바와 같이, 보간 팩터 (207) 에 기초하여, 복사 활성화 커맨드 (209) 또는 보간 활성화 커맨드 (213) 중 하나를 생성한다. 특정한 양태에서, 프레임 복사기 (210) 는, 도 2 를 참조하여 설명된 바와 같이, 복사 활성화 커맨드 (209) 를 수신하는 것에 응답하여, 중간 프레임 (191A) 으로서 복사된 프레임 (121) 을 생성한다. 대안의 양태에서, 모션-보상된 프레임 보간기 (214) 는, 도 2 를 참조하여 설명된 바와 같이, 보간 활성화 커맨드 (213) 를 수신하는 것에 응답하여, 중간 프레임 (191A) 으로서 보간된 프레임 (123) 을 생성한다.
방법 (1200) 은 또한, 1212 에서, 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 것을 포함한다. 예를 들어, 도 1 의 프레임 레이트 조정기 (140) 는, 도 1 을 참조하여 설명된 바와 같이, 프레임 (101A) 과 프레임 (101B) 사이의 중간 프레임 (191A) 을 포함하는 프레임 시퀀스 (192) 를 생성한다.
따라서, 방법 (1200) 은 (예를 들어, 더 높은 모션 영역들의 사이즈에 대응하는) 사이즈 메트릭 (113) 및 (예를 들어, 더 높은 모션 영역들에 의해 표시된 모션의 정도에 대응하는) 모션 메트릭 (115) 에 기초하여 선택적 모션-보상된 프레임 보간을 가능하게 한다. 예를 들어, 프레임 레이트 조정기 (140) 는 재생 평활도를 증가시키기 위해 모션-보상된 프레임 보간을 수행하는 것과 리소스들을 보존하기 위해 프레임 복사를 수행하는 것 사이에서 트랜지션한다.
도 12 의 방법 (1200) 은 필드 프로그램가능 게이트 어레이 (FPGA) 디바이스, 주문형 집적 회로 (ASIC), 프로세싱 유닛, 예컨대 중앙 프로세싱 유닛 (CPU), DSP, 제어기, 다른 하드웨어 디바이스, 펌웨어 디바이스, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 일 예로서, 도 12 의 방법 (1200) 은 도 13 를 참조하여 설명된 바와 같은, 명령들을 실행하는 프로세서에 의해 수행될 수도 있다.
도 13 를 참조하면, 디바이스의 특정한 예시적인 구현의 블록 다이어그램이 도시되고 일반적으로 1300 으로 지정된다. 다양한 구현들에서, 디바이스 (1300) 는 도 13 에 예시된 것보다 더 많거나 또는 더 적은 컴포넌트들을 가질 수도 있다. 예시적인 구현에서, 디바이스 (1300) 는 디바이스 (102) 에 대응하거나, 이를 포함하거나, 그 내에 포함될 수도 있다. 예시적인 구현에서, 디바이스 (1300) 는 도 1 내지 도 12 를 참조하여 설명된 하나 이상의 동작들을 수행할 수도 있다.
특정한 구현에서, 디바이스 (1300) 는 프로세서 (1306)(예를 들어, 중앙 프로세싱 유닛 (CPU)) 를 포함한다. 디바이스 (1300) 는 하나 이상의 부가적인 프로세서들 (1310) (예를 들어, 하나 이상의 DSP들) 를 포함할 수도 있다. 특정한 양태에서, 도 1 의 하나 이상의 프로세서들 (190) 은 프로세서 (1306), 프로세서들 (1310), 또는 이들의 조합에 대응한다. 프로세서들 (1310) 은 음성 코더 ("보코더") 인코더 (1336), 보코더 디코더 (1338), 또는 양자 모두를 포함하는 스피치 및 뮤직 코더-디코더 (CODEC)(1308) 를 포함할 수도 있다. 프로세서들 (1310) 은 프레임 레이트 조정기 (140) 를 포함한다.
디바이스 (1300) 는 메모리 (132) 및 코덱 (1334) 을 포함할 수도 있다. 메모리 (132) 는 프레임 레이트 조정기 (140) 를 참조하여 설명된 기능성을 구현하기 위해 하나 이상의 부가적인 프로세서들 (1310)(또는 프로세서 (1306)) 에 의해 실행가능한 명령들 (196) 을 포함할 수도 있다. 디바이스 (1300) 는 트랜시버 (1350) 를 통해, 안테나 (1352) 에 커플링된 모뎀 (170) 을 포함할 수도 있다.
디바이스 (1300) 는 디스플레이 제어기 (1326) 에 커플링된 디스플레이 디바이스 (106) 를 포함할 수도 있다. 하나 이상의 스피커들 (1392) 및 하나 이상의 마이크로폰들 (1390) 이 코덱 (1334) 에 커플링될 수도 있다. 코덱 (1334) 은 디지털-투-아날로그 컨버터 (DAC)(1302), 아날로그-투-디지털 컨버터 (ADC)(1304), 또는 양자 모두를 포함할 수도 있다. 특정한 구현에서, 코덱 (1334) 은 하나 이상의 마이크로폰들 (1390) 로부터 아날로그 신호들을 수신하고, 아날로그 신호들을 아날로그-디지털 변환기 (1304) 를 사용하여 디지털 신호들로 변환하고, 디지털 신호들을 스피치 및 뮤직 코덱 (1308) 에 제공할 수도 있다. 스피치 및 뮤직 코덱 (1308) 은 디지털 신호들을 프로세싱할 수도 있다. 특정한 구현에서, 스피치 및 뮤직 코덱 (1308) 은 코덱 (1334) 에 디지털 신호들을 제공할 수도 있다. 코덱 (1334) 은 디지털-투-아날로그 변환기 (1302) 를 사용하여 디지털 신호들을 아날로그 신호들로 변환할 수도 있고 아날로그 신호들을 하나 이상의 스피커들 (1392) 에 제공할 수도 있다.
특정한 구현에서, 디바이스 (1300) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1322) 에 포함될 수도 있다. 특정한 구현에서, 메모리 (132), 프로세서 (1306), 프로세서들 (1310), 디스플레이 제어기 (1326), 코덱 (1334), 및 모뎀 (170) 은 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1322) 에 포함된다. 특정한 구현에서, 입력 디바이스 (1330) 및 전력 공급장치 (1344) 는 시스템-온-칩 디바이스 (1322) 에 커플링된다. 게다가, 특정한 구현에서, 도 13 에 도시된 바와 같이, 디스플레이 디바이스 (106), 입력 디바이스 (1330), 하나 이상의 스피커들 (1392), 하나 이상의 마이크로폰들 (1390), 안테나 (1352), 및 전력 공급장치 (1344) 는 시스템-온-칩 디바이스 (1322) 외부에 있다. 특정한 구현에서, 디스플레이 디바이스 (106), 입력 디바이스 (1330), 하나 이상의 스피커들 (1392), 하나 이상의 마이크로폰들 (1390), 안테나 (1352), 및 전력 공급장치 (1344) 의 각각은, 인터페이스 또는 제어기와 같은 시스템-온-칩 디바이스 (1322) 의 컴포넌트에 커플링될 수도 있다.
디바이스 (1300) 는 스마트 스피커, 스피커 바, 모바일 통신 디바이스, 스마트 폰, 셀룰러 폰, 랩톱 컴퓨터, 컴퓨터, 태블릿, 개인용 디지털 보조기, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 뮤직 플레이어, 라디오, 디지털 비디오 플레이어, 디지털 비디오 디스크 (DVD) 플레이어, 튜너, 카메라, 내비게이션 디바이스, 차량, 헤드셋, 증강 현실 헤드셋, 가상 현실 헤드셋, 항공 차량, 홈 자동화 시스템, 음성-활성화 디바이스, 무선 스피커 및 음성 활성화 디바이스, 휴대용 전자 디바이스, 자동차, 컴퓨팅 디바이스, 통신 디바이스, 사물 인터넷 (IoT) 디바이스, 가상 현실(VR) 디바이스, 기지국, 모바일 디바이스, 또는 이들의 임의의 조합을 포함할 수도 있다.
개시된 구현들과 함께, 장치는 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 수단을 포함한다. 예를 들어, 모션 데이터를 획득하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 모션 추정기 (204), 프로세서 (1306), 프로세서들 (1310), 모션 데이터를 획득하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 또한, 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 수단을 포함한다. 예를 들어, 식별하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 보간 팩터 생성기 (206), 프로세서 (1306), 프로세서들 (1310), 모션 임계치보다 큰 모션을 표시하는 임의의 프레임 영역들을 식별하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 수단을 더 포함한다. 예를 들어, 모션 메트릭을 결정하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 보간 팩터 생성기 (206), 프로세서 (1306), 프로세서들 (1310), 모션 메트릭을 결정하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 또한, 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 수단을 포함한다. 예를 들어, 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 보간 팩터 생성기 (206), 보간 선택기 (208), 프로세서 (1306), 프로세서들 (1310), 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 결정에 기초하여 중간 프레임을 생성하는 수단을 더 포함한다. 예를 들어, 중간 프레임을 생성하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 프레임 복사기 (210), 모션-보상된 프레임 보간기 (214), 프로세서 (1306), 프로세서들 (1310), 중간 프레임을 생성하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 또한 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 수단을 포함한다. 예를 들어, 출력 시퀀스를 생성하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 프레임 복사기 (210), 모션-보상된 프레임 보간기 (214), 프로세서 (1306), 프로세서들 (1310), 출력 시퀀스를 생성하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
특정한 양태에서, 장치는 또한 사이즈 메트릭 및 모션 메트릭에 기초하여 보간 팩터를 생성하는 수단을 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다. 예를 들어, 보간 팩터를 생성하는 수단은 도 1 의 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 보간 팩터 생성기 (206), 프로세서 (1306), 프로세서들 (1310), 보간 팩터를 생성하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
특정한 양태에서, 장치는 이미지 프레임들의 입력 시퀀스를 수신하는 수단을 더 포함한다. 예를 들어, 수신하는 수단은 도 1 의 모뎀 (170), 프레임 레이트 조정기 (140), 하나 이상의 프로세서들 (190), 디바이스 (102), 시스템 (100), 도 2 의 모션 추정기 (204), 프레임 복사기 (210), 모션-보상된 프레임 보간기 (214), 프로세서 (1306), 프로세서들 (1310), 트랜시버 (1350), 안테나 (1352), 이미지 프레임들의 입력 시퀀스를 수신하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
일부 구현들에서, 비일시적 컴퓨터 판독가능 매체 (예를 들어, 메모리 (132) 와 같은 컴퓨터 판독가능 저장 디바이스) 는, 하나 이상의 프로세서들 (예를 들어, 하나 이상의 프로세서들 (1310) 또는 프로세서 (1306)) 에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 이미지 프레임들의 입력 시퀀스 (예를 들어, 프레임 시퀀스 (180)) 의 제 1 프레임 (예를 들어, 프레임 (101A)) 과 제 2 프레임 (예를 들어, 프레임 (101B)) 사이의 추정된 모션을 표시하는 모션 데이터 (예를 들어, 모션 데이터 (205)) 를 획득하게 하는 명령들 (예를 들어, 명령들 (196)) 을 포함한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 또한 하나 이상의 프로세서들로 하여금 또한, 모션 데이터에 기초하여, 모션 임계치 (예를 들어, 모션 임계치 (111)) 보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭 (예를 들어, 모션 메트릭 (115)) 을 결정하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 또한 하나 이상의 프로세서들로 하여금, 식별된 프레임 영역들과 연관된 사이즈 메트릭 (예를 들어, 사이즈 메트릭 (113)) 및 모션 메트릭에 기초하여, 중간 프레임 (예를 들어, 중간 프레임 (191A)) 을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 결정에 기초하여 중간 프레임을 생성하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 또한 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스 (예를 들어, 프레임 시퀀스 (192)) 를 생성하게 한다.
본 개시의 특정한 양태들은 상호관련된 조항들의 다양한 세트들로 하기에서 설명된다:
조항 1 에 따라, 디바이스는 명령들을 저장하도록 구성된 메모리; 및 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함하고, 명령들은, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하고; 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하고; 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하고; 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하고; 결정에 기초하여 중간 프레임을 생성하며; 그리고 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하기 위한 것이다.
조항 2 는 조항 1 의 디바이스를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초한다.
조항 3 은 조항 1 또는 조항 2 의 디바이스를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 평균 모션에 기초한다.
조항 4 는 조항 1 내지 조항 3 중 임의의 것의 디바이스를 포함하며, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 최대 모션에 기초한다.
조항 5 는 조항 1 내지 조항 4 중 임의의 것의 디바이스를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 모션의 범위에 기초한다.
조항 6 은 조항 1 내지 조항 5 중 임의의 것의 디바이스를 포함하고, 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈, 식별된 프레임 영역들의 카운트, 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초한다.
조항 7 은 조항 1 내지 조항 6 중 임의의 것의 디바이스를 포함하며, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈에 기초한다.
조항 8 은 조항 1 내지 조항 7 중 임의의 것의 디바이스를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 카운트에 기초한다.
조항 9 는 조항 1 내지 조항 8 중 임의의 것의 디바이스를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지에 기초한다.
조항 10 은 조항 1 내지 조항 9 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 사이즈 메트릭 및 모션 메트릭에 기초하여 보간 팩터를 생성하도록 구성되고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 11 은 조항 10 의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 추가로, 사이즈 메트릭 및 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초하여 보간 팩터를 생성하도록 구성된다.
조항 12 는 조항 11 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 13 은 조항 11 또는 조항 12 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 14 는 조항 11 내지 조항 13 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 15 는 조항 11 내지 조항 14 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 16 은 조항 11 또는 조항 15 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 17 은 조항 11 내지 조항 16 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 18 은 조항 11 내지 조항 17 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 19 는 조항 11 내지 조항 18 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 하나 이상의 프로세서들은 추가로, 모션 메트릭 및 사이즈 메트릭이 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 보간 팩터를 생성하도록 구성된다.
조항 20 은 조항 1 내지 조항 9 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 사이즈 메트릭에 기초하여 보간 팩터를 생성하도록 구성되고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 21 은 조항 20 의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 추가로, 사이즈 메트릭과 보간 팩터 결정 데이터의 비교에 기초하여 보간 팩터를 생성하도록 구성된다.
조항 22 는 조항 21 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 23 은 조항 21 또는 조항 22 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 24 는 조항 21 내지 조항 23 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 25 는 조항 21 내지 조항 24 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 26 은 조항 21 또는 조항 25 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 27 은 조항 21 내지 조항 26 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 28 은 조항 21 내지 조항 27 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 29 는 조항 21 내지 조항 28 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 사이즈 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 하나 이상의 프로세서들은 추가로, 사이즈 메트릭이 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 보간 팩터를 생성하도록 구성된다.
조항 30 은 조항 1 내지 조항 9 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 모션 메트릭에 기초하여 보간 팩터를 생성하도록 구성되고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 31 은 조항 30 의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은 추가로, 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초하여 보간 팩터를 생성하도록 구성된다.
조항 32 는 조항 31 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 33 은 조항 31 또는 조항 32 의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 34 는 조항 31 내지 조항 33 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 35 는 조항 31 내지 조항 34 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 36 은 조항 31 또는 조항 35 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 37 은 조항 31 내지 조항 36 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 38 은 조항 31 내지 조항 37 중 임의의 것의 디바이스를 포함하고, 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 39 는 조항 31 내지 조항 38 중 임의의 것의 디바이스를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 하나 이상의 프로세서들은 추가로, 모션 메트릭이 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 보간 팩터를 생성하도록 구성된다.
조항 40 은 조항 1 내지 조항 39 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은, 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하도록 구성된다.
조항 41 은 조항 1 내지 조항 40 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은, 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하도록 구성된다.
조항 42 는 조항 1 내지 조항 41 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하도록 구성된다.
조항 43 은 조항 1 내지 조항 41 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션에 적용된 미리결정된 가중치에 기초하도록 중간 프레임을 생성하도록 구성된다.
조항 44 는 조항 1 내지 조항 43 중 임의의 것의 디바이스를 포함하고, 여기서 하나 이상의 프로세서들은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용되지 않을 것이라는 결정에 응답하여, 제 1 프레임 또는 제 2 프레임 중 하나의 복사로서 중간 프레임을 생성하도록 구성된다.
조항 45 는 조항 1 내지 조항 44 중 임의의 것의 디바이스를 포함하고, 이는 이미지 프레임들의 입력 시퀀스를 수신하도록 구성된 모뎀을 더 포함한다.
조항 46 에 따라, 방법은, 디바이스에서, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 단계; 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 단계; 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 단계; 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 단계; 디바이스에서, 결정에 기초하여 중간 프레임을 생성하는 단계; 및 디바이스에서, 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 단계를 포함한다.
조항 47 은 조항 46 의 방법을 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초한다.
조항 48 은 조항 46 또는 조항 47 의 방법을 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 평균 모션에 기초한다.
조항 49 는 조항 46 내지 조항 48 중 임의의 것의 방법을 포함하며, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 최대 모션에 기초한다.
조항 50 은 조항 46 내지 조항 49 중 임의의 것의 방법을 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 모션의 범위에 기초한다.
조항 51 은 조항 46 내지 조항 50 중 임의의 것의 방법을 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈, 식별된 프레임 영역들의 카운트, 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초한다.
조항 52 는 조항 46 내지 조항 51 중 임의의 것의 방법을 포함하며, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈에 기초한다.
조항 53 은 조항 46 내지 조항 52 중 임의의 것의 방법을 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 카운트에 기초한다.
조항 54 는 조항 46 내지 조항 53 중 임의의 것의 방법을 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지에 기초한다.
조항 55 는 조항 46 내지 조항 54 중 임의의 것의 방법을 포함하고, 이는 디바이스에서, 사이즈 메트릭 및 모션 메트릭에 기초하여 보간 팩터를 생성하는 단계를 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 56 은 조항 55 의 방법을 포함하고, 여기서 보간 팩터는 사이즈 메트릭 및 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 57 은 조항 56 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 58 은 조항 56 또는 조항 57 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 59 는 조항 56 내지 조항 58 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 60 은 조항 56 내지 조항 59 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 61 은 조항 56 또는 조항 60 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 62 은 조항 56 내지 조항 61 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 63 은 조항 56 내지 조항 62 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 64 는 조항 56 내지 조항 63 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 모션 메트릭 및 사이즈 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 65 는 조항 55 내지 조항 64 중 임의의 것의 방법을 포함하고, 이는 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하는 단계를 더 포함한다.
조항 66 은 조항 55 내지 조항 65 중 임의의 것의 방법을 포함하고, 이는 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하는 단계를 더 포함한다.
조항 67 은 조항 55 내지 조항 66 중 임의의 것의 방법을 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하는 단계를 더 포함한다.
조항 68 는 조항 46 내지 조항 54 중 임의의 것의 방법을 포함하고, 이는 디바이스에서, 사이즈 메트릭에 기초하여 보간 팩터를 생성하는 단계를 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 69 는 조항 68 의 방법을 포함하고, 여기서 보간 팩터는 사이즈 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 70 은 조항 69 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 71 은 조항 69 또는 조항 70 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 72 는 조항 69 내지 조항 71 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 73 은 조항 69 내지 조항 72 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 74 은 조항 69 또는 조항 73 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 75 는 조항 69 내지 조항 74 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 76 은 조항 69 내지 조항 75 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 77 은 조항 69 내지 조항 76 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 사이즈 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 사이즈 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 78 은 조항 46 내지 조항 54 중 임의의 것의 방법을 포함하고, 이는 디바이스에서, 모션 메트릭에 기초하여 보간 팩터를 생성하는 단계를 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 79 는 조항 78 의 방법을 포함하고, 여기서 보간 팩터는 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 80 은 조항 79 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 81 은 조항 79 또는 조항 80 의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 82 는 조항 79 내지 조항 81 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 83 은 조항 79 내지 조항 82 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 84 은 조항 79 또는 조항 83 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 85 는 조항 79 내지 조항 84 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 86 은 조항 79 내지 조항 85 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 87 은 조항 79 내지 조항 86 중 임의의 것의 방법을 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 모션 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 88 은 조항 46 내지 조항 87 중 임의의 것의 방법을 포함하고, 이는 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하는 단계를 더 포함한다.
조항 89 는 조항 46 내지 조항 88 중 임의의 것의 방법을 포함하고, 이는 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하는 단계를 더 포함한다.
조항 90 은 조항 46 내지 조항 89 중 임의의 것의 방법을 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하는 단계를 더 포함한다.
조항 91 은 조항 46 내지 조항 89 중 임의의 것의 방법을 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션에 적용된 미리결정된 가중치에 기초하도록 중간 프레임을 생성하는 단계를 더 포함한다.
조항 92 는 조항 46 내지 조항 91 중 임의의 것의 방법을 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용되지 않을 것이라는 결정에 응답하여, 제 1 프레임 또는 제 2 프레임 중 하나의 복사로서 중간 프레임을 생성하는 단계를 더 포함한다.
조항 93 에 따라, 비일시적 컴퓨터 판독가능 매체는 명령들을 저장하고, 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하게 하고; 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하게 하고; 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하게 하고; 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하게 하고; 결정에 기초하여 중간 프레임을 생성하게 하며; 그리고
제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하게 한다.
조항 94 는 조항 93 의 컴퓨터 판독가능 매체를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초한다.
조항 95 는 조항 93 또는 조항 94 의 컴퓨터 판독가능 매체를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 평균 모션에 기초한다.
조항 96 는 조항 93 내지 조항 95 중 임의의 것의 컴퓨터 판독가능 매체를 포함하며, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 최대 모션에 기초한다.
조항 97 은 조항 93 내지 조항 96 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 모션의 범위에 기초한다.
조항 98 은 조항 93 내지 조항 97 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈, 식별된 프레임 영역들의 카운트, 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초한다.
조항 99 는 조항 93 내지 조항 98 중 임의의 것의 컴퓨터 판독가능 매체를 포함하며, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈에 기초한다.
조항 100 은 조항 93 내지 조항 99 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 카운트에 기초한다.
조항 101 은 조항 93 내지 조항 100 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지에 기초한다.
조항 102 는 조항 93 내지 조항 101 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 사이즈 메트릭 및 모션 메트릭에 기초하여 보간 팩터를 생성하게 하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 103 은 조항 102 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터는 사이즈 메트릭 및 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 104 는 조항 103 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 105 는 조항 103 또는 조항 104 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 106 은 조항 103 내지 조항 105 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 107 은 조항 103 내지 조항 106 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 108 은 조항 103 또는 조항 107 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 109 는 조항 103 내지 조항 108 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 110 은 조항 103 내지 조항 109 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 111 은 조항 103 내지 조항 110 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 모션 메트릭 및 사이즈 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 112 는 조항 102 내지 조항 111 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하게 한다.
조항 113 은 조항 102 내지 조항 112 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하게 한다.
조항 114 는 조항 102 내지 조항 113 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하게 한다.
조항 115 는 조항 93 내지 조항 101 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 사이즈 메트릭에 기초하여 보간 팩터를 생성하게 하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 116 은 조항 115 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터는 사이즈 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 117 은 조항 116 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 118 는 조항 116 또는 조항 117 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 119 은 조항 116 내지 조항 118 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 120 은 조항 116 내지 조항 119 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 121 은 조항 116 또는 조항 120 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 122 는 조항 116 내지 조항 121 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 123 은 조항 116 내지 조항 122 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 124 는 조항 116 내지 조항 123 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 사이즈 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 사이즈 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 125 는 조항 93 내지 조항 124 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 모션 메트릭에 기초하여 보간 팩터를 생성하게 하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 126 은 조항 125 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터는 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 127 은 조항 126 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 128 는 조항 126 또는 조항 127 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 129 은 조항 126 내지 조항 128 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 130 은 조항 126 내지 조항 129 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 131 은 조항 126 또는 조항 130 의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 132 는 조항 126 내지 조항 131 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 133 은 조항 126 내지 조항 132 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 134 는 조항 126 내지 조항 133 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 모션 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 135 는 조항 93 내지 조항 134 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 이는 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하는 것을 더 포함한다.
조항 136 은 조항 93 내지 조항 135 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 이는 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하는 것을 더 포함한다.
조항 137 은 조항 93 내지 조항 136 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하는 것을 더 포함한다.
조항 138 은 조항 93 내지 조항 136 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션에 적용된 미리결정된 가중치에 기초하도록 중간 프레임을 생성하게 한다.
조항 139 는 조항 93 내지 조항 138 중 임의의 것의 컴퓨터 판독가능 매체를 포함하고, 여기서 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 추가로, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용되지 않을 것이라는 결정에 응답하여, 제 1 프레임 또는 제 2 프레임 중 하나의 복사로서 중간 프레임을 생성하게 한다.
조항 140 에 따라, 장치는 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 수단; 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 제 1 프레임의 임의의 프레임 영역들을 식별하는 수단; 모션 데이터에 기초하여, 식별된 프레임 영역들과 연관된 모션 메트릭을 결정하는 수단; 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 수단; 결정에 기초하여 중간 프레임을 생성하는 수단; 및 제 1 프레임과 제 2 프레임 사이의 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 수단을 포함한다.
조항 141 은 조항 140 의 장치를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초한다.
조항 142 는 조항 140 또는 조항 141 의 장치를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 평균 모션에 기초한다.
조항 143 는 조항 140 내지 조항 142 중 임의의 것의 장치를 포함하며, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 최대 모션에 기초한다.
조항 144 은 조항 140 내지 조항 143 중 임의의 것의 장치를 포함하고, 여기서 모션 메트릭은 식별된 프레임 영역들과 연관된 모션의 범위에 기초한다.
조항 145 은 조항 140 내지 조항 144 중 임의의 것의 장치를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈, 식별된 프레임 영역들의 카운트, 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초한다.
조항 146 는 조항 140 내지 조항 145 중 임의의 것의 장치를 포함하며, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 조합된 사이즈에 기초한다.
조항 147 은 조항 140 내지 조항 146 중 임의의 것의 장치를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들의 카운트에 기초한다.
조항 148 는 조항 140 내지 조항 147 중 임의의 것의 장치를 포함하고, 여기서 사이즈 메트릭은 식별된 프레임 영역들을 포함하는 제 1 프레임의 퍼센티지에 기초한다.
조항 149 는 조항 140 내지 조항 148 중 임의의 것의 장치를 포함하고, 이는 사이즈 메트릭 및 모션 메트릭에 기초하여 보간 팩터를 생성하는 수단을 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 150 은 조항 149 의 장치를 포함하고, 여기서 보간 팩터는 사이즈 메트릭 및 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 151 은 조항 150 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 152 은 조항 150 또는 조항 151 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 153 은 조항 150 내지 조항 152 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
항 154 는 조항 150 내지 조항 153 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 155 는 조항 150 또는 조항 154 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 156 은 조항 150 내지 조항 155 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 157 은 조항 150 내지 조항 156 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 158 은 조항 150 내지 조항 157 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 보간 팩터를 결정하는 수단은, 모션 메트릭 및 사이즈 메트릭이 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 보간 팩터를 생성한다.
조항 159 는 조항 149 내지 조항 158 중 임의의 것의 장치를 포함하고, 여기서 중간 프레임을 생성하는 수단은, 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용한다.
조항 160 은 조항 149 내지 조항 159 중 임의의 것의 장치를 포함하고, 여기서 중간 프레임을 생성하는 수단은, 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용한다.
조항 161 은 조항 149 내지 조항 160 중 임의의 것의 장치를 포함하고, 여기서 중간 프레임을 생성하는 수단은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성한다.
조항 162 는 조항 140 내지 조항 148 중 임의의 것의 장치를 포함하고, 이는 사이즈 메트릭에 기초하여 보간 팩터를 생성하는 수단을 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 163 은 조항 162 의 장치를 포함하고, 여기서 보간 팩터는 사이즈 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 164 는 조항 163 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 165 은 조항 163 또는 조항 164 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 166 은 조항 163 내지 조항 165 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 167 은 조항 163 내지 조항 166 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 168 은 조항 163 또는 조항 167 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 169 는 조항 163 내지 조항 168 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 170 은 조항 163 내지 조항 169 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 171 은 조항 163 내지 조항 170 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 사이즈 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 사이즈 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 172 는 조항 140 내지 조항 148 중 임의의 것의 장치를 포함하고, 이는 디바이스에서, 모션 메트릭에 기초하여 보간 팩터를 생성하는 단계를 더 포함하고, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정은 보간 팩터가 보간 기준을 만족하는지 여부에 기초한다.
조항 173 은 조항 172 의 장치를 포함하고, 여기서 보간 팩터는 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초한다.
조항 174 는 조항 173 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초한다.
조항 175 는 조항 173 또는 조항 174 의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 구성 설정에 기초한다.
조항 176 은 조항 173 내지 조항 175 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 디폴트 데이터에 기초한다.
조항 177 은 조항 173 내지 조항 176 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 사용자 입력에 기초한다.
조항 178 은 조항 173 또는 조항 177 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 검출된 컨텍스트에 기초한다.
조항 179 는 조항 173 내지 조항 178 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 동작 모드에 기초한다.
조항 180 은 조항 173 내지 조항 179 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 스크린 사이즈에 기초한다.
조항 181 은 조항 173 내지 조항 180 중 임의의 것의 장치를 포함하고, 여기서 보간 팩터 결정 데이터는 적어도 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 모션 메트릭은 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 보간 팩터는 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는다.
조항 182 는 조항 140 내지 조항 181 중 임의의 것의 장치를 포함하고, 이는 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용하는 단계를 더 포함한다.
조항 183 은 조항 140 내지 조항 182 중 임의의 것의 장치를 포함하고, 이는 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간에 대한 대안을 사용하는 단계를 더 포함한다.
조항 184 는 조항 140 내지 조항 183 중 임의의 것의 장치를 포함하고, 이는 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션 및 보간 팩터에 기초하도록 중간 프레임을 생성하는 단계를 더 포함한다.
조항 185 는 조항 140 내지 조항 183 중 임의의 것의 장치를 포함하고, 여기서 중간 프레임을 생성하는 수단은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 모션 데이터가 제 1 프레임과 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 제 1 프레임과 중간 프레임 사이의 제 2 모션이 제 1 모션에 적용된 미리결정된 가중치에 기초하도록 중간 프레임을 생성한다.
조항 186 은 조항 140 내지 조항 185 중 임의의 것의 장치를 포함하고, 여기서 중간 프레임을 생성하는 수단은, 모션-보상된 프레임 보간이 중간 프레임을 생성하기 위해 사용되지 않을 것이라는 결정에 응답하여, 제 1 프레임 또는 제 2 프레임 중 하나의 복사로서 중간 프레임을 생성한다.
조항 187 은 조항 140 내지 조항 186 중 임의의 것의 장치를 포함하고, 이는 이미지 프레임들의 입력 시퀀스를 수신하는 수단을 더 포함한다.
조항 188 은 조항 140 내지 조항 187 중 임의의 것의 장치를 포함하고, 여기서 모션 데이터를 획득하는 수단, 임의의 프레임 영역들을 식별하는 수단, 모션 메트릭을 결정하는 수단, 결정을 수행하는 수단, 중간 프레임을 생성하는 수단, 및 출력 시퀀스를 생성하는 수단은, 통신 디바이스, 컴퓨터, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 디지털 비디오 플레이어, 카메라, 내비게이션 디바이스, 차량, 헤드셋, 증강 현실 헤드셋, 가상 현실 헤드셋, 항공 차량, 홈 오토메이션 시스템, 음성-활성화된 디바이스, 사물 인터넷 (IoT) 디바이스, 가상 현실 (VR) 디바이스, 기지국, 또는 모바일 디바이스 중 적어도 하나에 통합된다.
당업자는 추가로, 본 명세서에서 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 프로세서에 의해 실행되는 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있음을 알 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 일반적으로 이들의 기능성의 관점에서 위에서 설명되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 프로세서 실행가능 명령들로 구현되는지는 전체 시스템에 부과된 특정한 애플리케이션 및 설계 제약들에 의존한다. 당업자는 설명된 기능성을 각각의 특정한 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정들은 본 개시의 범위로부터 벗어남을 야기하는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 구현들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 2개의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈이 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능 판독 전용 메모리 (PROM), 소거가능 프로그램가능 판독 전용 메모리 (EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 또는 종래에 알려진 임의의 형태의 비일시적 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수도 있도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 이산 컴포넌트들로서 상주할 수도 있다.
개시된 양태들의 이전 설명은 당업자가 개시된 양태들을 제조 또는 사용하는 것을 가능하게 하도록 제공된다. 이들 양태들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 것이며, 본 명세서에서 정의된 원리들은 본 개시의 범위로부터 벗어나지 않으면서 다른 양태들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 나타낸 양태들에 제한되도록 의도되는 것이 아니라, 다음의 청구항들에 의해 정의되는 원리들 및 신규한 특징들에 부합하는 가능한 최광의 범위를 부여하려는 것이다.

Claims (30)

  1. 디바이스로서,
    명령들을 저장하도록 구성된 메모리; 및
    상기 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함하고, 상기 명령들은,
    이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하고;
    상기 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 상기 제 1 프레임의 임의의 프레임 영역들을 식별하고;
    상기 모션 데이터에 기초하여, 식별된 상기 프레임 영역들과 연관된 모션 메트릭을 결정하고;
    상기 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 상기 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하고;
    상기 결정에 기초하여 상기 중간 프레임을 생성하며; 그리고
    상기 제 1 프레임과 상기 제 2 프레임 사이의 상기 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하기 위한 것인, 디바이스.
  2. 제 1 항에 있어서,
    상기 모션 메트릭은 상기 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초하는, 디바이스.
  3. 제 1 항에 있어서,
    상기 사이즈 메트릭은 상기 식별된 프레임 영역들의 조합된 사이즈, 상기 식별된 프레임 영역들의 카운트, 상기 식별된 프레임 영역들을 포함하는 상기 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초하는, 디바이스.
  4. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 사이즈 메트릭에 기초하여 보간 팩터를 생성하도록 구성되고, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간을 사용할지 여부의 결정은 상기 보간 팩터가 보간 기준을 만족하는지 여부에 기초하는, 디바이스.
  5. 제 4 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 사이즈 메트릭과 보간 팩터 결정 데이터의 비교에 기초하여 상기 보간 팩터를 생성하도록 구성되는, 디바이스.
  6. 제 5 항에 있어서,
    상기 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초하는, 디바이스.
  7. 제 5 항에 있어서,
    상기 보간 팩터 결정 데이터는 적어도 사이즈 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 상기 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 상기 하나 이상의 프로세서들은 추가로, 상기 사이즈 메트릭이 상기 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 상기 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 상기 보간 팩터를 생성하도록 구성되는, 디바이스.
  8. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 모션 메트릭에 기초하여 보간 팩터를 생성하도록 구성되고, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간을 사용할지 여부의 결정은 상기 보간 팩터가 보간 기준을 만족하는지 여부에 기초하는, 디바이스.
  9. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 추가로, 상기 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초하여 상기 보간 팩터를 생성하도록 구성되는, 디바이스.
  10. 제 9 항에 있어서,
    상기 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초하는, 디바이스.
  11. 제 9 항에 있어서,
    상기 보간 팩터 결정 데이터는 적어도 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 상기 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 상기 하나 이상의 프로세서들은 추가로, 상기 모션 메트릭이 상기 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함된다고 결정하는 것에 기초하여, 상기 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는 상기 보간 팩터를 생성하도록 구성되는, 디바이스.
  12. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 보간 팩터가 보간 기준을 만족한다고 결정하는 것에 응답하여, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간을 사용하도록 구성되는, 디바이스.
  13. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 보간 팩터가 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간에 대한 대안을 사용하도록 구성되는, 디바이스.
  14. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 모션-보상된 프레임 보간이 상기 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 상기 모션 데이터가 상기 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 상기 제 1 프레임과 상기 중간 프레임 사이의 제 2 모션이 상기 제 1 모션 및 보간 팩터에 기초하도록 상기 중간 프레임을 생성하도록 구성되는, 디바이스.
  15. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 모션-보상된 프레임 보간이 상기 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 상기 모션 데이터가 상기 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 상기 제 1 프레임과 상기 중간 프레임 사이의 제 2 모션이 상기 제 1 모션에 적용된 미리결정된 가중치에 기초하도록 상기 중간 프레임을 생성하도록 구성되는, 디바이스.
  16. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 모션-보상된 프레임 보간이 상기 중간 프레임을 생성하기 위해 사용되지 않을 것이라는 결정에 응답하여, 상기 제 1 프레임 또는 상기 제 2 프레임 중 하나의 복사로서 상기 중간 프레임을 생성하도록 구성되는, 디바이스.
  17. 제 1 항에 있어서,
    상기 이미지 프레임들의 상기 입력 시퀀스를 수신하도록 구성된 모뎀을 더 포함하는, 디바이스.
  18. 방법으로서,
    디바이스에서, 이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 단계;
    상기 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 상기 제 1 프레임의 임의의 프레임 영역들을 식별하는 단계;
    상기 모션 데이터에 기초하여, 식별된 상기 프레임 영역들과 연관된 모션 메트릭을 결정하는 단계;
    상기 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 상기 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 단계;
    상기 디바이스에서, 상기 결정에 기초하여 상기 중간 프레임을 생성하는 단계; 및
    상기 디바이스에서, 상기 제 1 프레임과 상기 제 2 프레임 사이의 상기 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    상기 모션 메트릭은 상기 식별된 프레임 영역들과 연관된, 평균 모션, 최대 모션, 모션의 범위, 또는 이들의 조합에 기초하는, 방법.
  20. 제 18 항에 있어서,
    상기 사이즈 메트릭은 상기 식별된 프레임 영역들의 조합된 사이즈, 상기 식별된 프레임 영역들의 카운트, 상기 식별된 프레임 영역들을 포함하는 상기 제 1 프레임의 퍼센티지, 또는 이들의 조합에 기초하는, 방법.
  21. 제 18 항에 있어서,
    상기 디바이스에서, 상기 사이즈 메트릭 및 상기 모션 메트릭에 기초하여 보간 팩터를 생성하는 단계를 더 포함하고, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간을 사용할지 여부의 결정은 상기 보간 팩터가 보간 기준을 만족하는지 여부에 기초하는, 방법.
  22. 제 21 항에 있어서,
    상기 보간 팩터는 상기 사이즈 메트릭 및 상기 모션 메트릭과 보간 팩터 결정 데이터의 비교에 기초하는, 방법.
  23. 제 22 항에 있어서,
    상기 보간 팩터 결정 데이터는 구성 설정, 디폴트 데이터, 사용자 입력, 검출된 컨텍스트, 동작 모드, 스크린 사이즈, 또는 이들의 조합에 기초하는, 방법.
  24. 제 22 항에 있어서,
    상기 보간 팩터 결정 데이터는 사이즈 메트릭 값들의 범위들 및 모션 메트릭 값들의 범위들에 의해 정의된 복수의 보간 팩터 영역들을 표시하고, 상기 복수의 보간 팩터 영역들의 각각은 특정한 보간 팩터 값에 대응하고, 상기 모션 메트릭 및 상기 사이즈 메트릭은 상기 복수의 보간 팩터 영역들 중 특정한 보간 팩터 영역에 포함되며, 상기 보간 팩터는 상기 특정한 보간 팩터 영역에 대응하는 보간 팩터 값을 갖는, 방법.
  25. 제 21 항에 있어서,
    상기 보간 팩터가 상기 보간 기준을 만족한다고 결정하는 것에 응답하여, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간을 사용하는 단계를 더 포함하는, 방법.
  26. 제 21 항에 있어서,
    상기 보간 팩터가 상기 보간 기준을 만족하지 못한다고 결정하는 것에 응답하여, 상기 중간 프레임을 생성하기 위해 상기 모션-보상된 프레임 보간에 대한 대안을 사용하는 단계를 더 포함하는, 방법.
  27. 제 21 항에 있어서,
    상기 모션-보상된 프레임 보간이 상기 중간 프레임을 생성하기 위해 사용될 것이라는 결정에 응답하여 그리고 상기 모션 데이터가 상기 제 1 프레임과 상기 제 2 프레임 사이의 제 1 모션을 표시한다는 결정에 기초하여, 상기 제 1 프레임과 상기 중간 프레임 사이의 제 2 모션이 상기 제 1 모션 및 상기 보간 팩터에 기초하도록 상기 중간 프레임을 생성하는 단계를 더 포함하는, 방법.
  28. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하게 하고;
    상기 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 상기 제 1 프레임의 임의의 프레임 영역들을 식별하게 하고;
    상기 모션 데이터에 기초하여, 식별된 상기 프레임 영역들과 연관된 모션 메트릭을 결정하게 하고;
    상기 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 상기 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하게 하고;
    상기 결정에 기초하여 상기 중간 프레임을 생성하게 하며; 그리고
    상기 제 1 프레임과 상기 제 2 프레임 사이의 상기 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  29. 장치로서,
    이미지 프레임들의 입력 시퀀스의 제 1 프레임과 제 2 프레임 사이의 추정된 모션을 표시하는 모션 데이터를 획득하는 수단;
    상기 모션 데이터에 기초하여, 모션 임계치보다 큰 모션을 표시하는 상기 제 1 프레임의 임의의 프레임 영역들을 식별하는 수단;
    상기 모션 데이터에 기초하여, 식별된 상기 프레임 영역들과 연관된 모션 메트릭을 결정하는 수단;
    상기 식별된 프레임 영역들과 연관된 사이즈 메트릭 및 상기 모션 메트릭에 기초하여, 중간 프레임을 생성하기 위해 모션-보상된 프레임 보간을 사용할지 여부의 결정을 수행하는 수단;
    상기 결정에 기초하여 상기 중간 프레임을 생성하는 수단; 및
    상기 제 1 프레임과 상기 제 2 프레임 사이의 상기 중간 프레임을 포함하는 이미지 프레임들의 출력 시퀀스를 생성하는 수단을 포함하는, 장치.
  30. 제 29 항에 있어서,
    상기 모션 데이터를 획득하는 수단, 상기 임의의 프레임 영역들을 식별하는 수단, 상기 모션 메트릭을 결정하는 수단, 상기 결정을 수행하는 수단, 상기 중간 프레임을 생성하는 수단, 및 상기 출력 시퀀스를 생성하는 수단은, 통신 디바이스, 컴퓨터, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 디지털 비디오 플레이어, 카메라, 내비게이션 디바이스, 차량, 헤드셋, 증강 현실 헤드셋, 가상 현실 헤드셋, 항공 차량, 홈 오토메이션 시스템, 음성-활성화된 디바이스, 사물 인터넷 (IoT) 디바이스, 가상 현실 (VR) 디바이스, 기지국, 또는 모바일 디바이스 중 적어도 하나에 통합되는, 장치.
KR1020237032263A 2021-03-31 2022-03-02 선택적 모션-보상된 프레임 보간 KR20230138052A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/219,080 2021-03-31
US17/219,080 US11558621B2 (en) 2021-03-31 2021-03-31 Selective motion-compensated frame interpolation
PCT/US2022/070914 WO2022212996A1 (en) 2021-03-31 2022-03-02 Selective motion-compensated frame interpolation

Publications (1)

Publication Number Publication Date
KR20230138052A true KR20230138052A (ko) 2023-10-05

Family

ID=80820315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237032263A KR20230138052A (ko) 2021-03-31 2022-03-02 선택적 모션-보상된 프레임 보간

Country Status (7)

Country Link
US (1) US11558621B2 (ko)
EP (1) EP4315853A1 (ko)
KR (1) KR20230138052A (ko)
CN (1) CN117083854A (ko)
BR (1) BR112023019069A2 (ko)
TW (1) TW202240527A (ko)
WO (1) WO2022212996A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594313B1 (en) 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
US20030202780A1 (en) * 2002-04-25 2003-10-30 Dumm Matthew Brian Method and system for enhancing the playback of video frames
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US20080025390A1 (en) 2006-07-25 2008-01-31 Fang Shi Adaptive video frame interpolation
JPWO2008126252A1 (ja) * 2007-03-30 2010-07-22 パイオニア株式会社 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
US20090310679A1 (en) * 2008-06-11 2009-12-17 Mediatek Inc. Video processing apparatus and methods
US8619198B1 (en) 2009-04-28 2013-12-31 Lucasfilm Entertainment Company Ltd. Adjusting frame rates for video applications
US8411751B2 (en) * 2009-12-15 2013-04-02 Nvidia Corporation Reducing and correcting motion estimation artifacts during video frame rate conversion
KR102411911B1 (ko) * 2015-12-24 2022-06-22 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10713753B2 (en) * 2018-10-12 2020-07-14 Apical Limited Data processing systems
CN110933497B (zh) * 2019-12-10 2022-03-22 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备

Also Published As

Publication number Publication date
US20220321889A1 (en) 2022-10-06
EP4315853A1 (en) 2024-02-07
TW202240527A (zh) 2022-10-16
WO2022212996A1 (en) 2022-10-06
BR112023019069A2 (pt) 2023-10-17
US11558621B2 (en) 2023-01-17
CN117083854A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US20200160609A1 (en) Hybrid rendering for a wearable display attached to a tethered computer
CN107135422B (zh) 信息处理设备和信息处理方法
US10068553B2 (en) Enhanced rendering by a wearable display attached to a tethered computer
CN107360458B (zh) 播放控制方法、装置、存储介质及终端
KR101971792B1 (ko) 동영상 플레이 방법 및 장치
CN109167890B (zh) 一种音画同步方法和装置及显示设备
CN108881894B (zh) Vr多媒体的体验质量确定方法及装置
JPWO2014199412A1 (ja) 出力データ提供サーバおよび出力データ提供方法
JP2014183379A (ja) 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
WO2016200721A1 (en) Contextual video content adaptation based on target device
KR20230138052A (ko) 선택적 모션-보상된 프레임 보간
JP2020522193A (ja) リバッファリングイベントの時間的配置
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US20120274845A1 (en) Image processing device and method, and program
JP5683291B2 (ja) 動画再生装置、方法及びプログラム並びに記録媒体
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
US20190075249A1 (en) Image processing device, imaging processing method, and program
JP2006311520A (ja) 通信システム、情報処理装置及びプログラム
KR102535031B1 (ko) 디스플레이장치, 그 제어방법 및 그 컴퓨터프로그램제품
JP6837802B2 (ja) ゲームプログラム及び記録媒体
JP5148732B2 (ja) 電子機器及び画像処理方法
KR102411911B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
JP2009135769A (ja) 画像処理装置
JP2006101063A (ja) 再生側の環境を考慮した動画像データの送信

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right