KR20110045026A - 압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑 - Google Patents

압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑 Download PDF

Info

Publication number
KR20110045026A
KR20110045026A KR1020117004626A KR20117004626A KR20110045026A KR 20110045026 A KR20110045026 A KR 20110045026A KR 1020117004626 A KR1020117004626 A KR 1020117004626A KR 20117004626 A KR20117004626 A KR 20117004626A KR 20110045026 A KR20110045026 A KR 20110045026A
Authority
KR
South Korea
Prior art keywords
frame
current video
video frame
threshold
skipping
Prior art date
Application number
KR1020117004626A
Other languages
English (en)
Inventor
민 다이
타오 쉐
치아-위안 텅
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20110045026A publication Critical patent/KR20110045026A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시물은, 프레임 스키핑으로 인한 품질 저하를 최소화하도록 도울 수도 있는 방식으로 프레임 스키핑을 용이하게 하기 위해 인코딩 디바이스 또는 디코딩 디바이스에 의해 이용될 수도 있는 지능형 프레임 스키핑 기술을 제공한다. 특히, 전술된 기술은 프레임 스키핑을 위한 우수한 후보 프레임들을 식별하도록 설계된 유사성 메트릭을 구현할 수도 있다. 이 방식으로, 비디오 시퀀스의 관찰자에 의해 인식되는 바와 같이, 프레임 스키핑에 의해 야기된 비디오 품질의 주목할만한 저하는 종래의 프레임 스키핑 기술에 비해 감소될 수도 있다. 유리하게, 설명된 기술은 압축 도메인에서 동작한다.

Description

압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑{INTELLIGENT FRAME SKIPPING IN VIDEO CODING BASED ON SIMILARITY METRIC IN COMPRESSED DOMAIN}
본 특허 출원은, 본 발명의 양수인에게 양도되어 있고 여기에 참조로서 명백하게 포함된 2008년 7월 29일 출원된 가출원 제61/084,534호에 대한 우선권을 주장한다.
본 개시물은 디지털 비디오 코딩에 관한 것으로, 더욱 상세하게는, 비디오 인코딩 또는 비디오 디코딩시에 프레임 스키핑 (frame skipping) 을 위한 기술에 관한 것이다.
수많은 상이한 비디오 코딩 기술이 디지털 비디오 시퀀스의 인코딩 및 디코딩을 위해 개발되어 있다. 예를 들어, MPEG (Moving Picture Experts Group) 는 MPEG-1, MPEG-2 및 MPEG-4 를 포함하는 몇몇 인코딩 표준을 개발했다. 다른 예시적인 코딩 기술은 ITU-T H.263 표준, 및 ITU-T H.264 표준과 같은 ITU (International Telecommunication Union) 에 의해 개발된 표준 및 그 동등물인 ISO/IEC MPEG-4, Part 10, 즉, AVC (Advanced Video Coding) 에서 설명된 것들을 포함한다. 이러한 비디오 코딩 기술 및 다른 비디오 코딩 기술은 압축 방식으로 데이터를 인코딩함으로써 비디오 시퀀스의 효율적인 송신을 지원한다. 압축은, 소정의 비디오 시퀀스를 통신하기 위해 디바이스들 사이에서 송신될 필요가 있는 데이터의 양을 감소시킨다.
비디오 압축은 비디오 시퀀스 내의 고유한 리던던시를 감소시키기 위해 공간적 및/또는 시간적 예측을 수반할 수도 있다. 인트라-코딩 (intra-coding) 은 동일한 비디오 프레임 내에서 비디오 블록들의 공간적인 리던던시를 감소시키기 위해 공간적 예측을 이용한다. 인터-코딩 (inter-coding) 은 연속적인 비디오 프레임들 내에서 비디오 블록들 사이에서 시간적 리던던시를 감소시키기 위해 시간적 예측을 이용한다. 인터-코딩에 대해, 비디오 인코더는 하나 이상의 기준 프레임들 내에서 대응하는 예측 비디오 블록들에 대한 비디오 블록들의 변위 (displacement) 를 나타내는 모션 벡터들을 발생시키기 위해 모션 추정을 수행한다. 비디오 인코더는 기준 프레임으로부터 예측 비디오 블록을 발생시키기 위해 모션 보상 (motion compensation) 을 수행하고, 코딩되는 오리지널 비디오 블록으로부터 예측 비디오 블록을 감산시킴으로써 나머지 비디오 블록을 형성한다.
보통, 프레임 스키핑 (frame skipping) 은 다양한 상이한 이유로 디바이스를 인코딩하고 디바이스를 디코딩함으로써 구현된다. 일반적으로, 프레임 스키핑은, 하나 이상의 프레임의 처리, 인코딩, 디코딩, 송신, 또는 디스플레이가 인코더에서 또는 디코더에서 고의로 회피되는 기술에 관련된다. 프레임 스키핑이 이용되는 경우, 비디오 시퀀스와 관련된 프레임 레이트 (frame rate) 는 감소될 수도 있고, 통상적으로 비디오 시퀀스의 품질을 다소 저하시킬 수도 있다. 예를 들어, 비디오 인코딩 애플리케이션은 비디오 시퀀스의 통신과 관련된 낮은 대역폭 조건을 충족시키기 위해 프레임 스키핑을 구현할 수도 있다. 대안으로, 비디오 디코딩 애플리케이션은 디코딩 디바이스에 의한 전력 소모를 감소시키기 위해 프레임 스키핑을 구현할 수도 있다.
본 개시물은, 프레임 스키핑으로 인한 품질 저하를 최소화하도록 도울 수도 있는 방식으로 프레임 스키핑을 용이하게 하기 위해 인코딩 디바이스 또는 디코딩 디바이스에 의해 이용될 수도 있는 지능형 프레임 스키핑 기술 (intelligent frame skipping technique) 을 제공한다. 특히, 설명된 기술은 프레임 스키핑을 위해 양호한 후보 프레임들을 식별하도록 설계된 유사성 메트릭 (similarity metric) 을 구현할 수도 있다. 개시된 기술에 따르면, 비디오 시퀀스의 관찰자에 의해 인지되는 바와 같이 프레임 스키핑에 의해 야기된 비디오 품질의 현저한 저하는 종래의 프레임 스키핑 기술에 비해 감소될 수도 있다. 설명된 기술은 비디오 시퀀스를 송신하는데 필요한 대역폭을 감소시키기 위해 인코더에 의해 구현될 수도 있다. 대안으로, 설명된 기술은 전력 소모를 감소시키기 위해 디코더에 의해 구현될 수도 있다. 디코더의 경우에서, 이 기술은 하나 이상의 프레임에 대해 함께 디코딩을 스킵하기 위해, 또는 오직 하나 이상의 프레임의 후처리 및 디스플레이만을 스킵하기 위해 구현될 수도 있다.
설명된 기술은 바람직하게는 압축된 도메인에서 동작한다. 특히, 이 기술은 프레임 스키핑 결정을 하기 위해 압축 도메인내의 코딩된 데이터에 의존할 수도 있다. 이 데이터는 비디오 블록 유형을 식별하는 인코딩된 신택스 (encoded syntax), 및 모션 벡터의 크기 및 방향을 식별하는 모션 정보와 같은 다른 신택스를 포함할 수도 있다. 또한, 이러한 데이터는 비디오 블록과 관련된 계수값, 즉, 변환된 계수값을 포함할 수도 있다. 압축 도메인 내의 이러한 정보에 기초하여, 유사성 메트릭이 정의된 후 선택적인 프레임 스키핑을 용이하게 하도록 이용된다. 이러한 방식으로, 본 개시물의 기술은 디코딩된 픽셀 도메인보다는 압축 도메인에서 프레임 스키핑 결정을 실행하고, 비디오 시퀀스의 감지된 품질을 실질적으로 저하시키지 않을 프레임 스키핑을 증진시킨다.
일 예에서, 본 개시물은 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하고, 현재 프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하는 유사성 메트릭을 발생시키는 단계 및 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 스키핑하는 단계를 포함하는 방법을 제공한다.
다른 예에서, 본 개시물은 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭을 발생시키는 프레임 스킵 유닛을 포함하는 장치를 제공하고, 여기서 유사성 메트릭은 현재 프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하며, 이 장치로 하여금 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 스킵하게 한다.
다른 예에서, 본 개시물은 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하고, 현재 프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하는 유사성 메트릭을 발생시키기 위한 수단, 및 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 스킵하기 위한 수단을 포함하는 디바이스를 제공한다.
다른 예에서, 본 개시물은 비디오 시퀀스의 현재 비디오 프레임과 인접 프레입 사이의 유사성을 정량화하고, 현재 프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하는 유사성 메트릭을 발생시키는 프레임 스킵 유닛, 및 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임의 송신을 스킵하는 통신 유닛을 포함하는 인코딩 디바이스를 제공한다.
다른 예에서, 본 개시물은 비디오 시퀀스의 압축 비디오 프레임을 수신하는 통신 유닛, 및 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭을 발생시키는 프레임 스킵 유닛을 포함하는 디코딩 디바이스를 제공하는데, 여기서 유사성 메트릭은 현재 프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하고 상기 디바이스로 하여금 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 스킵하게 한다.
본 개시물에 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 그 조합에서 구현될 수도 있다. 소프트웨어에서 구현되는 경우, 이 소프트웨어는 하나 이상의 프로세서에 의해 실행될 수도 있다. 이 소프트웨어는 컴퓨터 판독가능 매체에서 초기에 저장되어 실행을 위한 프로세서에 의해 로딩될 수도 있다. 따라서, 본 개시물은 하나 이상의 프로세서가 본 명세서에 설명된 것과 같은 기술을 수행하게 하기 위한 명령을 포함하는 컴퓨터-판독가능 매체를 고찰한다.
예를 들어, 몇몇 양태에서, 본 개시물은, 실행될 때, 디바이스로 하여금 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하고, 현재프레임과 인접 프레임 사이의 차이를 나타내는 압축 도메인의 데이터에 기초하는 유사성 메트릭을 발생하게 하고, 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 스킵하게 하는 명령들을 포함하는 컴퓨터-판독가능 매체를 제공한다.
개시된 기술의 하나 이상의 양태의 세부사항은 첨부된 도면 및 이하의 상세한 설명에서 설명된다. 다른 특징, 목적, 및 이점은 상세한 설명 및 도면으로부터 그리고 특허청구범위로부터 명백하게 될 것이다.
도 1 은 본 개시물과 일치하는 디코더 디바이스에서 프레임 스키핑을 구현하도록 구성된 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 2 는 본 개시물과 일치하는 인코더 디바이스에서 프레임 스키핑을 구현하도록 구성된 비디오 인코딩 및 디코딩 시스템을 예시하는 블록도이다.
도 3 은 본 개시물의 기술에 따라서 프레임 스키핑을 구현하도록 구성된 비디오 디코더 디바이스의 일 예를 예시하는 블록도이다.
도 4 는 디코더 디바이스에서 실행될 수도 있는 프레임 스키핑 기술을 예시하는 흐름도이다.
도 5 는 인코더 디바이스에서 실행될 수도 있는 프레임 스키핑 기술을 예시하는 흐름도이다.
도 6 은 예시적인 유사성 메트릭을 발생시키고 그 유사성 메트릭에 기초하여 프레임 스키핑을 수행하는 기술을 예시하는 흐름도이다.
도 7 은 디코더 디바이스에 의해 실행될 수도 있는 프레임 스키핑 기술을 예시하는 흐름도이다.
본 개시물은, 프레임 스키핑으로 인한 품질 저하를 최소화하도록 도울 수도 있는 방식으로 프레임 스키핑을 용이하게 하기 위해 인코딩 디바이스 또는 디코딩 디바이스에 의해 이용될 수도 있는 지능형 프레임 스키핑 기술을 제공한다. 특히, 본 개시물은 프레임 스키핑을 위한 양호한 후보 프레임을 식별하도록 설계된 유사성 메트릭의 이용을 설명한다. 일반적인 방식으로, 유사성 메트릭은 스키핑되지 않은 인접 프레임과 충분히 유사한 프레임을 식별하도록 이용될 수도 있다. 인접 프레임은 고려되는 현재 프레임에 시간적으로 인접하는 시퀀스의 이전 또는 후속 프레임일 수도 있다. 현재 프레임이 프레임 스키핑을 위한 양호한 후보인지의 여부를 식별함으로써, 프레임 스키핑은 디스플레이된 비디오 시퀀스의 품질에 사소한 충격만을 야기시킬 수도 있다. 또한, 프레임 스키핑 결정을 용이하게 하기 위해 유사성 메트릭을 이용함으로써, 비디오 시퀀스의 관찰자에 의해 인지될 때 프레임 스키핑에 의해 야기되는 비디오 품질의 현저한 저하가 종래의 프레임 스키핑 기술에 비해 감소될 수도 있다.
설명된 기술은 비디오 시퀀스를 전송하는데 이용된 대역폭을 감소시키기 위해 인코더에 의해 구현될 수도 있다. 대안적으로, 설명된 기술은 전력 소모를 감소시키기 위해 디코더에 의해 구현될 수도 있다. 디코더에서 전력 감소를 위해서, 이 기술은 하나 이상의 프레임에 대한 디코딩을 스킵하고, 또한 디코딩된 하나 이상의 프레임의 후처리 및/또는 디스플레이를 스킵하도록 구현될 수도 있다. 후처리는 매우 전력 집중적일 수 있다. 결과적으로, 프레임이 디코딩된다고 할지라도, 전력 소비를 감소시키기 위해 이러한 프레임의 후처리 및 디스플레이를 스킵하는 것이 여전히 바람직할 수도 있다.
설명된 기술은 바람직하게는 압축 도메인에서 동작한다. 압축 도메인의 비디오 데이터는 다양한 신택스 엘리먼트, 예를 들어, 비디오 블록 유형, 모션 벡터 크기 및 방향, 및 비디오 블록의 다른 특징을 식별하는 신택스를 포함할 수도 있다. 또한, 압축 도메인에서, 비디오 데이터는 압축 픽셀 값 이외에 압축 변형 계수를 포함할 수도 있다. 이산 코사인 변환 (DCT; discrete cosine transform) 계수와 같은 변환 계수 또는 개념상 유사 계수는 주파수 도메인에서 픽셀 값들의 세트의 집합적 표현을 포함할 수도 있다. 임의의 경우에서, 본 개시물의 기술은 프레임 스키핑 결정을 행하기 위해 압축 도메인의 코딩된 데이터에 기초할 수도 있다. 특히, 압축 도메인의 정보에 기초하여, 유사성 메트릭은 일 프레임에 대해 정의되고 그후 그 프레임이 스킵되어야만 하는지의 여부를 결정하기 위해 하나 이상의 임계값들과 비교된다. 몇몇 경우, 압축된 도메인의 데이터에 기초하여 정의된 유사성 메트릭은, 예를 들어, 디코딩 프로세스에 후속하는 프레임 스키핑을 제어함으로써, 디코딩된 비압축된 도메인의 프레임 스키핑 결정을 용이하게 하도록 이용될 수도 있다.
도 1 은, 본 개시물과 일치하는, 비디오 디코더 디바이스 (22) 에서의 프레임 스키핑을 구현하도록 구성된 비디오 인코딩 및 디코딩 시스템 (10) 을 예시하는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 비디오 인코더 디바이스 (12) 및 비디오 디코더 디바이스 (22) 를 포함할 수도 있고, 이들 각각은 비디오 코더 디바이스로서 일반적으로 지칭될 수도 있다. 도 1 의 예에서, 비디오 인코더 (12) 는 입력 비디오 프레임 (14) 을 인코딩하여 인코딩된 비디오 프레임 (18) 을 생성한다. 특히, 인코딩 유닛 (16) 은 입력 프레임 (14) 상에서 인트라-예측 또는 인터-예측 코딩과 같은 하나 이상의 비디오 코딩 기술을 수행할 수도 있다. 또한, 인코딩 유닛 (16) 은 하나 이상의 변형, 양자화 동작, 및 엔트로피 코딩 프로세스를 수행할 수도 있다. 통신 유닛 (19) 은 인코딩된 비디오 프레임 (18) 을 통신 채널 (15) 을 통해서 비디오 디코더 디바이스 (22) 의 통신 유닛 (21) 에 송신할 수도 있다.
비디오 디코더 디바이스 (22) 는, 가능한 한 하나 이상의 손상된 프레임 (corrupted frame) 을 포함하는, 소스 디바이스 (12) 로부터 전송된 인코딩된 프레임 (18) 을 포함할 수도 있는 인코딩된 프레임 (24) 을 수신한다. 도 1 의 예에서, 비디오 디코더 디바이스 (22) 는 비디오 디코더 디바이스 (22) 에서 전력을 보존하기 위해 본 개시물의 프레임 스키핑 기술을 실행하는 프레임 스킵 유닛 (26) 을 포함한다. 프레임 스킵 유닛 (26) 은 스킵될 수 있는 하나 이상의 프레임을 식별한다. 이러한 프레임 스키핑은 디코딩 유닛 (28) 에 의한 하나 이상의 프레임의 디코딩의 스키핑을 수반할 수도 있다. 대안적으로, 프레임 스키핑은 디코딩 유닛 (28) 에 의한 프레임의 디코딩이 후속하는 하나 이상의 프레임의 후처리 및/또는 디스플레이의 스키핑을 수반할 수도 있다. 양자의 경우에서, 하나 이상의 인코딩된 프레임 (24) 이 출력 프레임 (29) 의 디코딩, 후처리, 및/또는 디스플레이에서 스킵되는 한에 있어서는, 출력 프레임 (29) 은 인코딩된 프레임 (24) 의 서브세트를 포함할 수도 있다.
이하의 더욱 상세한 설명에서 명시되는 바와 같이, 프레임 스키핑 결정은 압축된 데이터, 예를 들어, 인코딩된 프레임 (24) 과 관련된 데이터에 기초하여 수행될 수도 있다. 다시, 이러한 데이터는 인코딩된 프레임 (24) 과 관련된 신택스 및 가능한 변형 계수를 포함할 수도 있다. 프레임 스킵 유닛 (26) 은, 현재 프레임이 비디오 시퀀스 내의 이전 프레임과 충분히 유사한지를 결정하기 위해 인코딩된 데이터에 기초하여 유사성 메트릭을 발생시킬 수도 있고, 이는 실질적인 품질 저하를 야기하지 않고 현재 프레임이 스킵될 수 있는지의 여부를 나타낼 수도 있다.
인코딩된 프레임 (24) 은 프레임 레이트, 예를 들어, 15, 30, 또는 60 초당 프레임 (fps; frames per second) 을 정의할 수도 있다. 프레임 스킵 유닛 (26) 은 하나 이상의 프레임들이 스킵되게 함으로써 인코딩된 프레임 (24) 에 대해 출력 프레임 (29) 과 관련된 프레임 레이트를 효과적으로 감소시킬 수도 있다. 다시, 프레임 스키핑은, 하나 이상의 프레임의 디코딩을 스키핑하는 것, 모든 프레임의 디코딩에 후속하는 하나 이상의 프레임의 임의의 후처리를 스키핑하는 것, 또는 모든 프레임의 디코딩 및 후처리에 후속하는 하나 이상의 프레임의 디스플레이를 스키핑하는 것을 수반할 수도 있다. 후처리 유닛은 단순화를 위해 도 1 에 예시되지 않지만, 이하에서 더욱 상세하게 설명된다.
통신 유닛 (19) 은 변조기 및 송신기를 포함할 수도 있고, 통신 유닛 (21) 은 복조기 및 수신기를 포함할 수도 있다. 인코딩된 프레임 (18) 은 통신 표준, 예를 들어, 코드 분할 다중화 액세스 (CDMA) 또는 다른 통신 표준 또는 기술에 따라서 변조될 수도 있고, 통신 유닛 (19) 을 통해서 목적 디바이스 통신 유닛 (21) 에 송신될 수도 있다. 통신 유닛 (19 및 21) 은 신호 변조를 위해 설계된 다양한 믹서, 필터, 증폭기 또는 다른 컴포넌트 뿐만 아니라 증폭기, 필터 및 하나 이상의 안테나를 포함하는 데이터 송신을 위해 설계된 회로를 포함할 수도 있다. 통신 유닛 (19 및 21) 은 디바이스 (12 및 22) 사이에서 양방향 통신을 지원하기 위해 대칭적 방식으로 동작하도록 설계될 수도 있다. 디바이스 (12 및 22) 는 임의의 비디오 인코딩 또는 디코딩 디바이스를 포함할 수도 있다. 일 예시에서, 디바이스 (12 및 22) 는 무선 통신 디바이스 핸드셋, 예를 들어, 소위 셀룰러 또는 위성 무선전화 (satellite radiotelephone) 를 포함한다. 디바이스 (12 및 22) 사이의 상호 양방향 통신의 경우, 디바이스 (12 및 22) 의 인코딩 유닛 (16) 및 디코딩 유닛 (28) 은 각각 비디오 시퀀스를 인코딩 및 디코딩할 수 있는 인코더/디코더 (CODEC) 를 포함할 수도 있다.
통신 채널 (15) 은, 임의의 무선 또는 유선 통신 매체, 예를 들어, 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인, 또는 무선 및 유선 매체의 임의의 조합을 포함할 수도 있다. 통신 채널 (15) 은, 로컬 영역 네트워크, 광대역 네트워크와 같은 패킷-기반 네트워크, 또는 인터넷과 같은 글로벌 네트워크를 포함할 수도 있다. 또한, 통신 채널 (15) 은, 사용자 디바이스들 사이에서 정보의 통신을 위해 설계된 기지국 또는 다른 장비를 포함하는 무선 셀룰러 통신 네트워크를 포함할 수도 있다. 기본적으로, 통신 채널 (15) 은, 비디오 인코더 디바이스 (12) 에서 비디오 디코더 디바이스 (22) 로 비디오 데이터를 송신하기 위해 임의의 적절한 통신 매체, 또는 상이한 통신 매체, 디바이스 또는 다른 엘리먼트들의 집합을 나타낸다.
비디오 인코더 디바이스 (12) 및 비디오 디코더 디바이스 (22) 는 하나 이상의 마이크로프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합으로서 구현될 수도 있다.
도 2 는, 본 개시물과 일치하는, 비디오 인코더 디바이스 (32) 내에서 프레임 스키핑을 구현하도록 구성된 비디오 인코딩 및 디코딩 시스템 (30) 을 나타내는 블록도이다. 도 2 의 시스템 (30) 은 도 1 의 시스템 (10) 과 유사하다. 그러나, 시스템 (30) 에서, 프레임 스킵 유닛 (37) 은 비디오 디코더 디바이스 (42) 가 아닌 비디오 인코더 디바이스 (32) 내에 포함된다. 이 경우, 비디오 인코더 디바이스 (32) 는 비디오 시퀀스를 전송하는데 필요한 대역폭을 감소시키기 위해 프레임 스키핑을 수행한다. 특히, 비디오 인코더 디바이스 (32) 에서 지능형 프레임 스키핑을 수행함으로써, 품질 저하를 경감시키면서 통신 채널 (35) 을 통해서 전송되는 비디오 데이터의 양은 감소될 수 있다.
비디오 인코더 디바이스 (32) 는 입력 프레임 (34) 을 인코딩하기 위해 인코딩 유닛 (36)을 인보크한다. 프레임 스킵 유닛 (37) 은 인코딩된 프레임 (38) 으로부터 하나 이상의 프레임을 제거하기 위해 압축된 도메인 내에서 프레임 스키핑을 수행한다. 통신 유닛 (39) 은 인코딩된 프레임 (38) 을 변조하고 이것을 통신 채널 (35) 을 통해서 비디오 디코더 디바이스 (42) 의 통신 유닛 (41) 에 송신한다.
비디오 디코더 디바이스 (42) 는, 어쩌면 프레임의 통신 도중에 정보 손실로 인한 하나 이상의 프레임에 대한 손상을 갖는 인코딩된 프레임 (38) 에 대응하는 수신된 프레임 (44) 을 디코딩하기 위해 디코딩 유닛 (46) 을 인보크한다. 출력 프레임 (48) 은, 예를 들어, 디스플레이를 통해서, 비디오 디코더 디바이스 (42) 에 의해 출력될 수 있다. 후처리는 출력 프레임 (48) 의 출력 이전에 수행될 수도 있지만, 간략함을 위해 후처리 컴포넌트들은 도 2 에는 도시되지 않는다. 도 2 에 도시된 다양한 유닛들 및 엘리먼트들은 앞서 더욱 상세하게 설명된 도 1 의 유사하게 지칭된 엘리먼트들과 유사하거나 또는 동일할 수도 있다.
시스템 (10 및 30) 은 화상 전화, 비디오 스트리밍, 비디오 브로드캐스팅 등을 위해 구성될 수도 있다. 따라서, 상호 인코딩, 디코딩, 다중화 (MUX) 및 역다중화 (DEMUX) 컴포넌트들은 인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42) 각각에 제공될 수도 있다. 몇몇 구현에서, 인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42) 는 비디오 스트리밍, 비디오 브로드캐스팅 수신, 및/또는 화상 전화, 예를 들어, 소위 무선 비디오폰 또는 카메라 폰에 장착된 무선 이동 단말기들과 같은 비디오 통신 디바이스들을 포함할 수도 있다.
이러한 무선 통신 디바이스는 무선 통신, 오디오 코딩, 비디오 코딩, 및 사용자 인터페이스 특징을 지원하기 위한 다양한 컴포넌트들을 포함한다. 예를 들어, 무선 통신 디바이스는 하나 이상의 프로세서, 오디오/비디오 인코더/디코더 (CODEC), 메모리, 하나 이상의 모뎀, 송수신 (TX/RX) 회로, 예를 들어, 증폭기, 주파수 변환기, 필터 등을 포함할 수도 있다. 예를 들어, 무선 통신 디바이스는 이미지 및 오디오 캡처 디바이스, 이미지 및 오디오 출력 디바이스, 관련 드라이버, 사용자 입력 매체 등을 포함할 수도 있다. 도 1 및 도 2 에 도시된 컴포넌트들은 오직 본 개시물의 지능형 프레임 스키핑 기술을 설명하는데 필요한 컴포넌트들이지만, 인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42) 는 수많은 다른 컴포넌트들을 포함할 수도 있다.
인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42), 또는 이들 모두는 전술한 바와 같은 무선 또는 유선 통신 디바이스를 포함할 수도 있고 이들에 통합될 수도 있다. 또한, 인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42) 또는 이들 모두는, 무선 또는 유선 통신 디바이스에 통합될 수도 있거나, 또는 디지털 미디어 플레이어, 개인용 휴대 단말기 (PDA), 디지털 텔레비전 등과 같은 다른 유형의 디바이스 지원 디지털 비디오 애플리케이션에 통합될 수도 있는 집적 회로 칩 또는 칩셋과 같은 집적 회로 디바이스로서 구현될 수도 있다.
시스템 (10 및 30) 은 SIP (Session Initiated Protocol), ITU-T H.323 표준, ITU-T H.324 표준 또는 다른 표준에 따라서 화상 전화를 지원할 수도 있다. 인코딩 디바이스 (12, 32) 는 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264, 또는 MPEG-4 의 Part 10 과 같은 비디오 압축 표준에 따라서 인코딩된 비디오 데이터를 발생시킬 수도 있다. 도 1 및 도 2 에는 도시되지 않았지만, 인코딩 디바이스 (12, 32) 및 디코딩 디바이스 (22, 42) 는 집적 오디오 인코더 및 디코더를 포함할 수도 있고, 데이터 스트림의 오디오 부분 및 비디오 부분 모두를 처리하기 위해 적절한 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수도 있다.
도 1 및 도 2 에 도시된 다양한 비디오 프레임은, 인트라 프레임 (I frames), 예측 프레임 (P frames), 및 양방향 예측 프레임 (B frames) 을 포함할 수도 있다. I 프레임은 공간적 코딩 기술을 이용하여 모든 비디오 정보를 완전하게 인코딩하는 프레임인 반면에, P 프레임 및 B 프레임은 시간적 코딩 기술에 기초하여 코딩되는 예측하여 코딩되는 프레임의 예이다. 인코딩된 프레임은 프레임을 형성하는 일련의 비디오 블록을 설명하는 정보를 포함할 수도 있다. 비디오 블록의 16x16 매크로블록, 더 작은 매크로 블록 분할, 또는 다른 블록을 포함하는 비디오 블록은, 예를 들어, 휘도 (Y), 색차 적색 (Cr), 색차 청색 (Cb) 컬러 채널에서 픽셀 값을 정의하는 비트들을 포함할 수도 있다. 일반적으로, 비디오 시퀀스에서 다른 인터-코딩된 프레임의 디코딩에 대한 기준 프레임, 즉, 예측 프레임인 프레임은 다른 프레임의 모션 추정 및 모션 보상에 대한 기준으로서 기능한다. 코딩 표준에 기초하여, 임의의 프레임은 다른 프레임의 데이터를 예측하도록 이용된 예측 프레임일 수도 있다. 그러나, 몇몇 표준에서, 오직 I 프레임 및 P 프레임만이 예측 프레임일 수도 있고, B 프레임은 다른 프레임의 데이터를 예측하는데 이용될 수 없는 비-예측 프레임을 포함한다.
임의의 코딩 프로세스에 후속하여, 비디오 블록의 픽셀 값을 정의하는 비트는 주파수 도메인에서 픽셀 값들을 집합적으로 나타내는 계수를 변형시키도록 변환될 수도 있다. 압축 프레임의 압축 비디오 블록은 나머지 데이터를 나타내는 변형 계수들의 블록을 포함할 수도 있다. 또한, 압축 비디오 블록은 비디오 블록의 유형을 식별하는 신택스를 포함하고, 인터-코딩된 블록에 대해서는 모션 벡터 크기 및 방향을 식별하는 신택스를 포함한다. 모션 벡터는, 디코딩된 비디오 블록을 위한 수단으로 픽셀 도메인에서 나머지 데이터와 결합될 수 있는 예측 블록을 식별한다.
전력 소모는 임의의 전력-제한된 디바이스에서 비디오 재생 (video playback) 에 대한 중요한 고려사항이다. 도 3 은 이와 같은 전력-제한된 디코드 디바이스 (50) 의 예시적인 블록도이다. 디바이스 (50) 는 디코딩 유닛 (52), 내부 메모리 버퍼 (54), 후처리 유닛 (56), 및 디스플레이 유닛 (58) 을 포함한다. 또한, 디바이스 (50) 는 전력 보존을 위해 프레임을 스킵하기 위해 본 개시물의 하나 이상의 기술을 수행하는 프레임 스킵 유닛 (55) 을 포함한다. 디바이스 (50) 는, 배터리 전력공급 디바이스일 수도 있고, 어느 경우에서나 하나 이상의 배터리 (미도시) 가 도 3 에 예시된 다양한 유닛에 전력을 공급한다. 또한, 디바이스 (50) 는 다른 디바이스로부터 인코딩된 데이터의 비트스트림을 수신하는 통신 유닛 (미도시) 을 포함할 수도 있다.
디코딩 유닛 (52) 은, 예를 들어, 디바이스 (50) 와 관련된 통신 유닛으로부터 비트스트림을 수신한다. 디코딩 및 복원 프로세스 도중에, 디코딩 유닛 (52) 은 외부 메모리 (미도시) 로부터 내부 메모리 버퍼 (54) 에 임의의 기준 프레임들을 페칭 (fetch) 하고 세이빙 (save) 할 수도 있다. 메모리 버퍼 (54) 는, 디코딩 유닛 (52) 과는 상이한 집적 회로상에 형성될 수도 있는 소위 "외부 메모리" 와 대조적으로, 디코딩 유닛 (52) 과 동일한 집적 회로 상에 형성될 수도 있는 한, "내부" 로 지칭된다. 그러나, 메모리의 위치 및 포맷은 상이한 실시예 및 구현에서 상이할 수도 있다.
비트스트림의 수신시에, 비트스트림 파서 (62) 는 압축 도메인에서 인코딩된 비디오 블록을 포함하는 비트스트림을 파싱한다. 예를 들어, 비트스트림 파서 (62) 는 비트스트림의 인코딩된 신택스 및 인코딩된 계수를 식별할 수도 있다. 엔트로피 디코더 (64) 는, 예를 들어, CAVLC (Context-Adaptive Variable Length Coding) 기술, CABAC (Context-Adaptive Binary Arithmetic Coding) 기술, 또는 다른 가변 길이 코딩 기술을 수행함으로써, 비트스트림의 엔트로피 디코딩을 수행할 수도 있다. 역양자화 및 역변환 유닛 (66) 은 데이터를 주파수 도메인에서 다시 픽셀 도메인으로 변환시킬 수도 있고, 픽셀 값을 역양자화할 수도 있다.
예측 디코더 (68) 는 인트라 비디오 블록의 공간 기반 디코딩, 및 인터 비디오 블록의 시간 기반 디코딩과 같은 예측 기반 디코딩 기술을 수행한다. 예측 디코더 (68) 는, 예를 들어, 신택스에 의해 식별될 수도 있는 비디오 블록의 인트라 모드에 기초하여, 공간-기반 예측 데이터를 발생시키는 다양한 공간 기반 컴포넌트들을 포함할 수도 있다. 또한, 예측 디코더 (68) 는, 예를 들어, 모션 벡터 또는 다른 신택스에 기초하여, 일시적-기반 예측 데이터를 발생시키는 다양한 일시적 기반 컴포넌트, 예를 들어, 모션 추정 및 모션 보상 유닛을 포함할 수도 있다. 예측 디코더 (68) 는 신택스에 기초하여 예측 블록을 식별하고, 수신된 비트스트림에 포함된 데이터의 인코딩된 나머지 블록에 예측 블록을 부가함으로써 오리지널 비디오 블록을 복원한다. 예측 디코더 (68) 는 프레임을 복원하기 위해 프레임의 비디오 블록 모두를 예측가능하게 디코딩할 수도 있다.
후처리 유닛 (56) 은 복원된 프레임상에서 임의의 후처리를 수행한다. 후처리 유닛 (56) 은 광범위하게 다양한 후처리 태스크들 중 임의의 태스크에 대한 커포넌트를 포함할 수도 있다. 후처리 태스크는, 스케일링 (scaling), 블렌딩 (blending), 크로핑 (cropping), 회전 (rotation), 샤프닝 (sharpening), 주밍 (zooming), 필터링, 디-플리킹 (de-flicking), 디-링잉 (de-ringing), 디-블로킹 (de-blocking), 리사이징 (resizing), 디-인터레이싱 (de-interlacing), 디-노이징 (de-noising), 또는 비디오 프레임의 원하는 후술하는 복원일 수도 있는 임의의 다른 이미징 결과와 같은 것들을 포함할 수도 있다. 후처리 유닛 (56) 에 의한 후처리에 후속하여, 이미지 프레임은 메모리 버퍼 (54) 에 시간적으로 저장되고 디스플레이 유닛 (58) 상에 디스플레이된다.
본 개시물에 따르면, 디바이스 (50) 는 프레임 스킵 유닛 (55) 을 포함한다. 프레임 스킵 유닛 (55) 은 스킵될 수 있는 하나 이상의 프레임을 식별한다. 특히, 프레임 스킵 유닛 (55) 은, 예를 들어, 비트스트림 파서 (62) 에 의해 수신 및 파싱된 비트스트림을 조사한다. 이러한 관점에서, 수신된 비트스트림은 압축 도메인에 여전히 존재한다. 또한, 이러한 데이터는 인코딩된 프레임과 관련된 신택스를 포함하고 가능한 한 이와 관련된 계수를 변형할 수도 있다. 프레임 스킵 유닛 (55) 은 인코딩된 데이터에 기초하여 유사성 메트릭을 발생시킬 수도 있다. 통상적으로, 프레임 스킵 유닛 (55) 은, 예를 들어, 유사성 메트릭이 하나 이상의 임계값을 초과하는지를 결정하기 위해 하나 이상의 임계값과 유사성 메트릭을 비교함으로써, 유사성 메트릭이 임계값을 충족하는지를 결정하기 위해 하나 이상의 임계값을 유사성 메트릭과 비교할 수도 있다. 이러한 방식으로, 유사성 메트릭은, 프레임 스킵 유닛 (55) 으로 하여금 현재 프레임이 비디오 시퀀스에서 이전 비스킵된 프레임과 충분히 유사한지를 정량화하게 하는 메커니즘이며, 이는 실절적인 품질 저하를 야기하지 않고 현재 프레임이 스킵되는지의 여부를 나타낼 수도 있다.
프레임 스키핑은 예측 디코더 (68) 에 의해 하나 이상의 프레임의 디코딩의 스키핑을 야기할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 은 프레임 스킵 유닛 (55) 에 의해 식별된 하나 이상의 프레임의 디코딩을 보류시키기 위해 제어 신호를 예측 디코더 (68) 에 전송할 수도 있다. 대안적으로, 프레임 스키핑은 프레임의 디코딩에 후속하는 하나 이상의 프레임의 후처리의 스키핑을 수반할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 은 프레임 스킵 유닛 (55) 에 의해 식별된 하나 이상의 프레임의 후처리를 보류시키기 위해 제어 신호를 후처리 유닛 (56) 으로 전송할 수도 있다. 이들 각각의 경우, 프레임 스킵 유닛 (58) 에 의한 하나 이상의 스킵된 프레임의 디스플레이는 보류된다. 디스플레이 유닛 (58) 에 의한 프레임 스키핑을 야기시키기 위해, 필요한 경우, 디스플레이 유닛 (58) 에 제어 신호가 제공될 수도 있다. 그러나, 제어 신호는, 예를 들어, 그 프레임의 디코딩 또는 후처리를 보류함으로써, 프레임의 처리가 먼저 보류되는 경우에는, 디스플레이 유닛 (58) 에 대한 제어 신호가 필요하지 않을 수도 있다. 또한, 본 개시물은 예측 디코더 (68), 후처리 유닛 (56) 또는 디스플레이 유닛 (55) 에서 프레임 스키핑을 고찰할 수도 있으며, 제어 신호는 이러한 프레임 스키핑을 야기하기 위해 프레임 스킵 유닛 (55) 으로부터 이들 유닛들 중 임의의 유닛으로 제공될 수도 있다.
몇몇 예에서, 프레임 스킵 유닛 (55) 은 프레임 스키핑을 위한 양호한 후보들을 식별할 수도 있고, 예측 디코더 (68), 후처리 유닛 (56) 에 또는 양호한 후보들의 양자 모두에 통지할 수도 있다. 이 경우, 예측 디코더 (68) 및/또는 후처리 유닛 (56) 은, 예를 들어, 이용가능한 전력에 기초하여, 프레임을 스킵할지의 여부의 결정을 실질적으로 실행할 수도 있다. 이에 따라, 프레임 스킵 유닛 (55) 은 프레임 스키핑을 위한 양호한 후보들을 식별할 수도 있고, 예측 디코더 (68), 후처리 유닛 (56), 또는 이들 양자와 같은 다른 유닛에 의해 통지된 프레임 스키핑 결정을 용이하게 할 수도 있다.
때때로, 프레임의 비디오 블록이 예측 디코더 (68) 에 의해 복원되는 이후까지 프레임 스키핑이 수행되어야만 하는지는 결정이 안 되었을 수도 있고 또는 알려지지 않았을 수도 있다. 이러한 경우, 후처리 유닛 (56) 에서의 프레임 스키핑은 실질적인 그리고 필요한 전력 보존을 달성할 수도 있다. 본 개시물의 기술에 따르면, 프레임 스킵 유닛 (55) 은, 이러한 프레임이 디코딩 및 복원되기 이전에, 프레임이 프레임 스키핑을 위해 양호한 후보들인지를 결정할 수도 있다. 이들 결정은, 프레임 디코딩 이전에, 또는 몇몇 경우에는 프레임 디코딩에 후속하여 이용될 수도 있다. 프레임 스킵 유닛 (55) 은 이러한 프레임의 프로세싱시에 매우 일찍 압축 도메인의 데이터 상에서 동작한다. 프레임 스키핑 유닛 (55) 에 의한 프레임 스키핑을 위한 양호한 후보들의 식별은, 전력 보존이 요구되는 경우, 이후의 처리의 임의의 단계에서 이용될 수도 있다. 임의의 경우, 프레임 스키핑 결정을 위한 압축 도메인의 동작은 비압축된 도메인에서 동작하는 것보다 적은 전력을 이용할 수도 있다. 따라서, 프레임 스키핑이 데이터의 후속하는 압축해제 (de-compression) 를 발생시킨다고 할지라도, 비-압축 데이터에 기초하여 프레임 스키핑 결정을 행하는 것은 바람직할 수도 있다.
일 예시에서, 예측 디코더 (68) 에 의해 복원된 데이터의 프레임은 1.5x 프레임 레이트에서 320 픽셀 × 240 픽셀의 프레임을 포함할 수도 있다 (여기서, x 는 실수임). 유닛 (56) 의 후처리가 QVGA 로부터 VGA 로의 스케일링을 수행한다고 가정하면, 후처리 유닛 (56) 의 출력은 3x 프레임 레이트에서 640 픽셀 × 480 픽셀의 프레임을 포함할 수도 있다. 이 경우, 후처리는 상당한 전력을 소모할 수도 있다. 따라서, 프레임의 예측 디코딩 이후에, 특히, 예측 디코딩 프로세스 이후까지 프레임이 스킵되어야만 하는지의 여부가 알려지지 않았을 때에는, 프레임을 후처리 및 스키핑하는 것을 보류하는 것은 여전히 바람직할 수도 있다. 또한, 디스플레이 유닛 (58) 에 의한 프레임의 디스플레이는 전력의 상당한 양을 소모하기 때문에, 디스플레이된 프레임의 수를 감소시키는 것은, 예측 디코딩 프로세스 이후까지 프레임이 스킵되어야만 하는지의 여부가 알려지지 않았을 때에도, 디바이스 (50) 내에서 전력 소모를 감소시키는데 양호한 방법일 수도 있다.
일 예시에서, 디코더 유닛 (52) 은 ITU-T H.264 표준에 따를 수도 있고, 수신된 비트스트림은 ITU-T H.264 순응 비트스트림을 포함할 수도 있다. 비트스트림 파서 (62) 는 비트스트림으로부터 신택스를 분리하기 위해 수신된 비트스트림을 파싱하고, 가변 길이 디코더 (64) 는 나머지 비디오 블록과 관련된 양자화된 변형 계수를 발생시키기 위해 비트스트림의 가변 길이 디코딩을 수행한다. 양자화된 변형 계수는 직접 메모리 액세스 (DMA) 를 통해서 메모리 버퍼 (54) 에 저장될 수도 있다. 메모리 버퍼 (54) 는 CODEC 프로세서 코어의 일부를 포함할 수도 있다. 또한, 모션 벡터 및 다른 제어 또는 신택스 정보는, 예를 들어, 소위 DSP EXP 인터페이스를 이용하여, 메모리 버퍼로 기록될 수도 있다.
역양자화 및 역변환 유닛 (66) 은 데이터를 역양자화하고, 데이터를 픽셀 도메인으로 변환한다. 예측 디코더 (68) 는 모션 추정 보상 (MEC; motion estimated compensation) 을 수행하고, 디-블록 필터링을 수해할 수도 있다. 다음으로, 예측 디코더 (68) 는 복원된 프레임을 다시 메모리 버퍼 (68) 에 기록한다. 본 명세서에 설명된 바와 같이, 전체 프로세스 동안, 디바이스 (50) 는 하나 이상의 프레임을 스키핑함으로써 전력을 절약하도록 프로그래밍될 수 있다. 비디오 디코더 (52) 의 전력 소모는 렌더링 프레임 레이트에 대략적으로 비례할 수도 있다.
디코딩되고, 후처리되고, 및/또는 디스플레이되는 프레임이 더 적을수록, 더 많은 전력이 절약된다. 그러나, 디스플레이되는 프레임이 적은 경우, 비디오 품질 저하가 발생한다. 즉, 비디오 특징의 나머지가 유사한 것으로 가정하는 경우, 더 낮은 프레임 레이트를 갖는 재생된 시퀀스는 일반적으로 비교적 더 높은 프레임 레이트에서의 시퀀스와 비교하여 더 낮은 품질을 갖는다. 본 개시물의 기술은, 프레임 스키핑이 발생할 때 이러한 품질 저하를 감소시키거나 제거할 수도 있다.
본 명세서에 기재된 기술들의 하나의 기본적인 목표는, 가시적인 품질에서 실질적인 불이익이 발생하지 않고 디스플레이 프레임 레이트를 감소시킴으로써 전력을 절약하는 것이다. 품질 저하를 제한하기 위해, 제안된 전력-절약 프레임 선택 방식은 스키핑 결정을 이루기 위해 유사성 메트릭을 이용한다.
프레임 스키핑 기술은 품질 저하를 제거하는 관점에서 효과적인 프레임 스키핑을 행하기 위해 후술하는 규칙들 중 일부 또는 전부에 따를 수도 있다. 예측 디코더 (68) 에 의한 프레임 스키핑에 대해, 몇몇 기본적인 규칙들이 존재할 수도 있다. 먼저, 프레임이 다른 프레임들을 예측하는데 이용되지 않은 비기준 프레임인 경우, 그리고 프레임을 포기하는 것이 품질 저하를 야기시키지 않는 경우 (예를 들어, 저키니스 (jerkiness) 없음), 예측 디코더 (68) 는 프레임 스킵 유닛 (55) 의 방향으로 프레임을 스킵할 수도 있다. 두 번째로, 프레임이 다른 프레밍을 예측하는데 이용된 기준 프레임이지만 나쁘게 손상된 경우, 예측 디코더 (68) 는 프레임 스킵 유닛 (55) 의 방향에서 프레임을 스킵할 수도 있다. 이와 다르게, 예측 디코더 (68) 는 프레임을 복원하기 위해 프레임의 비디오 블록 모두를 디코딩하고 복원할 수도 있다.
프레임 디스플레이에 대해, 기본적인 규칙들이 존재할 수도 있다. 예를 들어, 프레임 스킵 유닛 (55) 은 인접 프레임, 예를 들어, 비디오 시퀀스의 이전에 디스플레이된 프레임 또는 후속하여 디스플레이되는 프레임에 비해, 디스플레이될 프레임의 유사성을 체크할 수도 있다. 디스플레이될 프레임이 인접 비-스킵된 프레임과 매우 유사한 경우, 디코딩 유닛 (68) 에 의한 디코딩은 회피될 수도 있고, 후처리 유닛 (56) 에 의한 후처리도 회피될 수도 있으며, 및/또는 디스플레이 유닛 (58) 에 의한 디스플레이될 프레임의 디스플레이도 회피될 수도 있다. 이하 더욱 상세하게 설명된 유사성 메트릭은 이러한 유사도 체크를 용이하게 하고, 몇몇 경우에는, 예측 디코더 (68) 및 후처리 유닛 (56) 에 대한 프레임 스키핑 결정을 용이하게 하도록 이용될 수도 있다. 그러나, 정의된 수 이상의 프레임은 연속적으로 스킵되지 않는 것이 바람직할 수도 있으며, 따라서, 디바이스 (50) 의 컴포넌트들은 프레임 레이트에 대해 더 낮은 임계값을 정의할 수도 있다. 이 경우, 이러한 프레임 스키핑이 프레임 레이트를 그 프레임 레이트에 대한 더 낮은 임계값 아래로 강하하게 하는 경우, 프레임 스킵 유닛 (55) 은 어떠한 프레임 스키핑도 야기하지 않을 수도 있다. 또한, 소정의 프레임 레이트에서 조차도, 전반적인 프레임 레이트가 비교적 높게 유지된다고 할지라도 저키니스를 야기할 수 있기 때문에, 정의된 프레임의 수를 스킵하지 않는 것이 바람직할 수도 있다. 프레임 스킵 유닛 (55) 은 비디오 품질을 증진시키는 방식으로 이러한 경우, 및 제어 프레임 스키핑을 결정할 수도 있다.
어느 정도까지는, 디바이스의 전력 소모에 프레임 스킵 유닛 (55) 의 포함을 부가한다. 따라서, 프레임 스키핑 결정에 의해 야기된 이러한 전력 소모를 완화시키기 위해, 디스플레이될 프레임과 사전 디스플레이된 프레임 사이의 유사도 체크는 비교적 간단해야만 한다. 이러한 간단한 체크를 유지하기 위한 하나의 방법은, 오직 압축 도메인 파라미터에만 기초하여 유사도 비교를 실행하는 것이다. 이 경우, 디스플레이될 프레임과 사전에 디스플레이된 프레임 사이의 유사도 체크는 비디오 블록 유형, 및 모션 벡터 크기 및 방향을 나타내는 데이터와 같은 압축된 신택스 엘리먼트에 기초하여 행해질 수 있다. 나머지 데이터가 유사도 체크에 대해 조사되는 경우, 유사도 체크는 비압축된 픽셀 값이 아닌 변형된 도메인의 압축 변환 계수에 기초하여 이루어질 수 있다. 개시된 기술은, 프레임이 인접 프레임과 유사한지에 대해 유용한 입력을 제공하기 때문에, 일 프레임 내에서 넌-제로 계수의 갯수를 카운팅하는데만 필요할 수도 있다. 따라서, 임의의 넌-제로 계수의 실질적인 값이 프레임 스킵 유닛 (55) 에 대해 중요하지 않을 수도 있고; 오히려, 프레임 스킵 유닛 (55) 은 넌-제로 계수의 갯수를 간단하게 카운팅할 수도 있다.
일반적으로, 2 개의 이웃 프레임들 사이의 차이는 모션 또는 장면 변화에 의해 야기된다. 이전 프레임과 유사한 컨텐츠를 갖는 프레임들을 스킵함으로써, 인지적 품질 저하는 제한될 수도 있다. 임의의 다양한 후술하는 정보가 이용되어 프레임 스킵 유닛 (55) 이 프레임 스키핑을 위한 양호한 후보들을 식별하게 하기 위한 유사도 체크를 양호하게 할 수도 있다. 유사성 메트릭은 후술하는 팩터들의 하나 이상의 팩터에 기초하여 정의될 수도 있다.
프레임 유형 및 비디오 블록 유형은 인접하는 프레임들 사이의 유사성을 정량화하고 지능형 프레임 스키핑 결정을 용이하게 하는 유사성 메트릭에 포함될 수도 있는 2 개의 팩터이다. 예를 들어, 이는 임의의 I-프레임을 유지시키기 위해 (즉, 임의의 I-프레임의 스키핑을 회피하기 위해) 항상 신중해야할 수도 있다. 또한, 임의의 P 또는 B 프레임이 인트라 매크로블록의 큰 비율을 갖는 경우, 이는 통상적으로 이러한 P 또는 B 프레임이 프레임 스키핑을 위한 불량한 후보이고 이전의 프레임과는 상이한 컨텐츠를 가질 수도 있다는 것을 의미한다.
MPEG-2 또는 MPEG-4 코딩에서, 스킵된 매크로블록의 큰 비율은 현재 프레임이 이전 프레임과 매우 유사하다는 것을 나타낼 수도 있다. 코딩된 프레임 내에서 스킵된 매크로블록은 어떠한 나머지 데이터도 전송되지 않는 "스킵된" 것으로서 나타난 블록이다. 스킵된 매크로블록은 신택스에 의해 정의될 수도 있다. 이러한 유형의 블록에 대해, 보간 (interpolation), 외삽 (extrapolation), 또는 다른 유형의 데이터 복원이 나머지 데이터의 도움 없이 디코더에서 수행될 수도 있다. 그러나, ITU-T H.264 에서, 대부분의 스킵된 매크로블록은 오직 이러한 매크로블록들의 모션이 이웃 매크로블록과 유사하다는 것을 의미한다. 이 경우, 이웃 매크로블록의 모션은 스킵된 매크로블록에 귀속될 수도 있다. 본 개시물에 따르면, 스킵된 매크로블록의 수 및 대응하는 모션 방향은 모션 평활도를 검출하기 위해 고려될 수도 있다. 비디오 시퀀스가 느리지만 패닝 모션 (panning motion) 을 정의하는 경우, 인간의 눈은 프레임 스키핑의 효과를 쉽게 알아차릴 수도 있다. 따라서, 통상적으로, 느린 패닝 모션은 비디오 프레임 스키핑을 야기시키기 위한 불량한 시나리오이다.
또한, 모션 유형은 프레임 스키핑 결정을 용이하게 하기 위해 프레임 스킵 유닛 (55) 에 의해 이용될 수도 있다. 모션 유형에 대해, 프레임 스킵 유닛 (55) 은, 프레임이 스킵되어야만 하는지의 결정을 돕기 위해 모션 벡터 크기 및 모션 벡터 방향을 체크할 수도 있다. 통상적으로, 느린 모션 시퀀스는 프레임 스키핑에 대해 덜 민감하다. 그러나, 앞서 언급된 바와 같이, 느린 패닝 시퀀스는 프레임 스키핑에 대해 민감하다. 더 높은 레벨의 양자화가 더 많은 제로-값 계수들 및 더 적은 넌-제로 계수들을 초래하기 때문에, 프레임 스킵 유닛은 프레임 스키핑 결정을 하는데 있어서 각각의 비-인트라 매크로블록에 대한 넌-제로 계수의 갯수를 고려할 수도 있고, 매크로블록의 양자화 파라미터 값와 넌-제로 계수의 갯수에 대한 체크를 조합할 수도 있다.
소정의 매크로블록에 대해, 양자화 파라미터 값이 크지 않고 넌-제로 계수의 갯수가 작은 경우, 매크로블록은 공동-위치된 예측 블록과 매우 유사하다는 것을 나타내는 경향이 있다. 매크로블록에 대한 양자화 파라미터 값이 작지만 넌-제로 계수의 갯수가 많은 경우, 이는 벡터 모션은 매우 신뢰가능하지 않고 이 매크로블록이 공동-위치된 예측 블록과는 매우 상이하다는 것을 의미한다. 프레임의 상이한 비디오 블록과 관련된 양자화 파라미터의 분포는, 프레임 스키핑이 그 프레임에 대해 이용되어야만 하는지의 결정을 돕기 위해 프레임 스킵 유닛 (55) 에 의해 이용될 수도 있다. 양자화 파라미터가 특정 매크로블록에 대해 너무 높은 경우, 그 매크로블록에 대한 압축 도메인으로부터 획득된 정보는 유사성 체크에 충분히 도움이 되기에는 정확하지 않을 수도 있다. 따라서, 충분히 낮은 양자화 파라미터를 이용하여 코딩된 매크로블록만이 유사성 메트릭 계산시에 고려되고 이용되도록, 양자화 파라미터에 양자화 파라미터 임계값이 부과되는 것이 바람직할 수도 있다.
프레임 레이트는, 프레임 스키핑이 이용되어야만 할지를 결정하도록 돕기 위해 프레임 스킵 유닛 (55) 에 의해 이용될 수도 있다. 프레임 레이트가 더 높으면, 디바이스 (50) 는 프레임의 디코딩, 후처리 및 디스플레이를 위해 더 많은 전력을 소모한다. 비트스트림이 높은 프레임 레이트 (예를 들어, 초당 30 프레임 이상) 를 갖는 경우, 선택적인 프레임 스키핑은 비트스트림이 낮은 프레임 레이트 (예를 들어, 초당 30 프레임 미만) 를 가지는 경우보다 더 많은 전력을 절약할 수도 있다. 다른 방식으로 고려하면, 더 높은 프레임 레이트는 프레임 스킵 유닛 (55) 에 디바이스 내에서 전력을 절약하기 위한 높은 유연성을 제공할 수도 있다. 예를 들어, 프레임 레이트의 하한 (lower bound) 이 초당 15 프레임인 경우, 프레임 스킵 유닛 (55) 은, 초당 30 프레임의 오리지널 비디오 시퀀스로 작업하면서 절약될 수 있는 것보다 초당 60 프레임의 오리지널 비디오 시퀀스로 작업하면서, 디바이스 (50) 내의 전력을 절약하기 위한 높은 유연성을 가질 수도 있다.
프레임 스키핑이 이용되어야만 하는지의 결정을 돕기 위해 프레임 스킵 유닛 (55) 에 의해 보충 정보 (supplemental information) 가 이용될 수도 있다. 도 3 의 예에서, 보충 정보는 프레임 스킵 유닛 (55) 에 선택적인 입력으로서 도시된다. 일 예로서, 상위층 정보 (예를 들어, 데이터를 통신하는데 이용된 변조와 관련된 제어층 정보) 는 하나 이상의 프레임이 손상되는지를 나타내기 위해 비디오 프레임을 통해서 전송될 수도 있다. (예를 들어, 이러한 보충 정보에 의해 결정되는) 프레임이 손상되는 경우, 프레임 스킵 유닛 디바이스 (50) 는 그 프레임을 디코딩하고, 후처리하고, 및/또는 디스플레이하지 않고 프레임 스키핑하는 것을 선호할 수도 있다.
전술한 팩터들의 전체를 고려하여, 프레임 스킵 유닛 (55) 은 유사성 메트릭 ("SM") 을 정의하고 이용할 수도 있다. 특히, 유사도는, 현재 프레임이 프레임 스키핑을 위해 양호한 후보인지를 결정하기 위해 비디오 시퀀스의 이전 비디오 프레임과 디스플레이될 현재 비디오 프레임 사이의 유사성을 정량화한다. 현재 프레임은, 유사성 메트릭이 하나 이상의 임계값을 충족하는 경우, 스킵된다. 통상적으로, 유사성 메트릭의 값이 소정의 임계값을 초과할 때 유사성 메트릭의 값이 소정의 임계값을 충족시키도록, 유사성 메트릭 및 임계값이 정의된다. 그러나, 예를 들어, 대안적으로, 유사성 메트릭의 값이 소정의 임계값 미만일 때 유사성 메트릭의 값이 소정의 임계값을 충족하는 방향으로, 유사성 메트릭 및 임계값이 정의될 수 있다.
유사성 메트릭은 프레임의 비디오 블록과 관련된 비율에 기초할 수도 있다. 예를 들어, 유사성 메트릭은, 현재 비디오 프레임 내의 인트라 비디오 블록의 비율, 모션 벡터 크기 임계값을 초과하는 모션 벡터를 갖는 현재 비디오 프레임 내의 비디오 블록의 비율, 모션 벡터 방향 임계값에 의해 정량화된 것과 충분히 그 방향이 유사한 모션 벡터를 갖는 현재 비디오 프레임 내의 비디오 블록의 비율, 및 하나 이상의 넌-제로 계수 임계값들 보다 적은 넌-제로 변형 계수를 포함하는 현재 비디오 프레임 내의 비디오 블록의 비율에 기초할 수도 있다. 또한, 하나 이상의 넌-제로 계수 임계값은 현재 비디오 프레임의 비디오와 관련된 하나 이상의 양자화 파라미터의 함수일 수도 있다.
일 예에서, 프레임 스킵 유닛 (55) 에 의해 발생된 유사성 메트릭 (SM) 은:
Figure pct00001
을 포함한다.
여기서, W1, W2, W3 및 W4 는 유사성 메트릭의 상이한 항목으로 정의되고 적용될 수도 있는 가중 인자 (weight factor) 이다. IntraMBs% 는 현재 비디오 프레임 내의 인트라 비디오 블록의 비율을 정의할 수도 있다. MVs_Magnitude% 는 모션 벡터 크기 임계값을 초과하는 현재 비디오 프레임과 관련된 모션 벡터의 비율을 정의할 수도 있다. 프레임 스킵 유닛 (55) 은 MVs_Magnitude% 를 정의하기 위해 사전-정의된 모션 벡터 크기 임계값을 초과하는 크기를 갖는 모션 벡터들을 카운팅한다.
MVs_Samedirection% 은, 모션 벡터 방향 임계값에 의해 정량화된 것과 같은 서로 충분히 유사한 현재 비디오 프레임과 관련된 모션 벡터의 비율을 정의할 수도 있다. 모션 벡터 크기 임계값과 유사하게, 모션 벡터 방향 임계값이 사전-정의될 수도 있다. 모션 벡터 방향 임계값은 프레임 내의 모션 벡터와 관련된 유사도의 레벨, 예를 들어, 2 개 이상의 모션 벡터가 유사한 방향을 갖도록 고려될 수도 있는 각도 차이를 확립한다.
Nz% 는 하나 이상의 넌-제로 계수 임계값들 보다 적은 넌-제로 변환 계수를 포함하는 현재 비디오 프레임 내의 비디오 블록의 비율을 정의할 수도 있다. 유사성 메트릭과 관련된 다른 임계값과 유사하게, 넌-제로 계수 임계값이 사전-정의될 수도 있다. 또한, 넌-제로 계수 임계값은 현재 비디오 프레임 내의 비디오 블록과 관련된 하나 이상의 양자화 파라미터의 함수일 수도 있다. Nz% 는, nZ 가 하나 이상의 양자화 파라미터에 의해 정의된 임계값에 기초한다는 것을 나타내기 위해 항 fQP(nZ)% 로 교체될 수 있다.
가중 인자 (W1, W2, W3 및 W4) 는 하나 이상의 테스트 비디오 시퀀스에서 프레임 스키핑의 분석에 기초하여 사전-정의될 수도 있다. 몇몇 경우, W1, W2, W3 및 W4 는 하나 이상의 테스트 비디오 시퀀스에서 프레임 스키핑의 분석에 기초하여 비디오 모션의 상이한 유형에 대한 상이한 값을 갖도록 사전정의된다. 따라서, 프레임 스킵 유닛 (55) 은 비디오 시퀀스의 비디오 모션의 범위를 조사하고, 이러한 모션에 기초하여 가중 인자를 선택할 수도 있다. 테스트 시퀀스는, 상이한 레벨의 모션에 대한 상이한 인자들을 정의하는 하나 이상의 가중 인자 (W1, W2, W3 및 W4) 를 실험적으로 정의하도록 이용될 수도 있다. 이 방식에서, 대칭 매트릭이 인간 관찰자와 유사하게 관찰하는 비디오 프레임을 식별할 수 있다는 관점에서 효과적인 대칭 메트릭을 증진하는 방법으로, 가중 인자가 정의될 수 있다. 유사성 메트릭의 다양한 항 및 가중 인자는 전술한 다양한 인자들 및 고려사항들에 대해 고려할 수도 있다.
원하는 경우, 유사성 메트릭은 현재 비디오 프레임 내에 스킵된 비디오 블록을 포함하는 현재 비디오 프레임의 비디오 블록의 비율에 기초할 수도 있다. 또한, 전술된 다른 인자 또는 값이 유사성 메트릭을 정의하기 위해 이용될 수도 있다. 임의의 경우, 유사성 메트릭은 현재 비디오 프레임과 이전의 비디오 프레임 (또는 다른 인접 비디오 프레임) 사이의 유사성을 정량화한다. 유사도 메트릭의 값이 증가함에 따라서, 이 증가는 유사도에 대응할 수도 있다. 따라서, 유사도 메트릭에 대한 더 높은 값은 프레임 스키핑을 위한 더 나은 후보들에 대응할 수도 있다.
본 개시물에 따르면, 유사성 메트릭의 값이 제 1 유사성 임계값 T1 보다 더 큰 경우, 프레임 스킵 유닛 (55) 은 프레임의 유형에 관계없이 이 프레임이 스킵되게 할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 은 프레임의 디코딩이 스킵되도록 야기하기 위해 예측 디코더 (68) 에 제어 신호를 전송할 수도 있고, 또는 그 프레임의 후처리가 스킵되게 하기 위해 후처리 유닛 (56) 에 제어 신호를 전송할 수도 있다. 후처리가 스킵되면, 프레임은 디스플레이 유닛 (58) 을 구동하기 위해 후처리 유닛 (5) 으로부터 절대 전송되지 않는다. 디코딩이 스킵될 때, 프레임은 후처리 유닛 (56) 또는 디스플레이 유닛 (58) 으로 절대 전송되지 않는다.
유사성 메트릭이 임계값 T1 보다 작은 경우, 프레임 스킵 유닛 (55) 은 유사성 메트릭이 제 2 유사성 임계값 T2 보다 더 큰지를 관찰하기 위해 더 체크할 수도 있다 (여기서, T2 < T1). 유사성 메트릭이 임계값 T2 미만이면, 이는 현재 프레임이 이전 프레임 (프레임 시퀀스의 이전의 비-스킵된 프레임) 과는 상당히 다르고, 현재 프레임이 기준 프레임이라고 할지라도 현재 프레임은 스킵되어야만 한다는 것을 나타낼 수도 있다. 그러나, 유사성 메트릭이 임계값 T1 미만이고 임계값 T2 초과인 경우, 프레임 스킵 유닛 (55) 은 현재 프레임이 기준 프레임인지를 더 결정할 수도 있다. 현재 프레임이 임계값 T2 보다 큰 유사성 메트릭을 갖는 기준 프레임인 경우, 디바이스 (50) 는 그 프레임을 복원, 후처리, 및 디스플레이할 수도 있다. 현재 프레임이 기준 프레임이 아니고 임계값 T1 미만이고 임계값 T2 초과의 유사성 메트릭을 갖는 경우, 디바이스 (50) 는 그 프레임의 디코딩, 복원, 후처리, 및 디스플레이를 회피할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 이 현재 프레임이 기준 프레임이 아니고 임계값 T1 미만이고 임계값 T2 초과인 유사성 메트릭을 갖는다고 결정하는 경우, 프레임 스킵 유닛 (55) 은 예측 디코더 (68), 후처리 유닛 (56), 및 디스플레이 유닛 (58) 이 그 프레임을 스킵하게 하기 위해 하나 이상의 제어 신호를 전송할 수도 있다. 이러한 방식으로, 높은 임계값 T1 은 비기준 프레임을 포함하는 모든 프레임에 적용되고, 낮은 프레임 T2 은 비기준 프레임에만 적용된다. 이는, 현재 비기준 프레임이 인접 프레임과 매우 상이한 한, 기준 프레임을 스킵할 가능성은 낮게 하고 비기준 프레임을 스킵할 가능성은 높게 한다.
몇몇 경우, 전력 정보는 프레임 스키핑에 관련된 더 많은 통지 결정들을 형성하기 위해 프레임 스킵 유닛 (55) 에 제공될 수도 있다. 예를 들어, 디바이스 (50) 의 전력이 낮은 경우, 전력을 보존하기 위해 프레임 스키핑시에 공격적인 것이 더욱 바람직할 수도 있다. 한편, 디바이스 (50) 가 앰플 전력 (ample power) 을 가지거나 또는 외부 전원에 의해 현재 재충전되고 있는 경우, 프레임 스키핑을 구현하는데는 덜 바람직할 수도 있다. 전원이 도 3 에 도시되지 않지만, 도 3 에 도시된 "보충 정보" 의 일부로서 전력 정보가 고려될 수도 있다. 이 경우, "보충 정보" 는 디바이스 (50) 에 이용가능한 현재 전력의 측정치, 및 전력 이용의 현재 레이트의 측정치를 포함할 수도 있다. 이 경우, 임계값 T1 및 T2 는 디바이스 (50) 에 대해 이용가능한 전력에 기초하여 정의되거나 또는 조절될 수도 있다. 이용가능 전력이 매우 높은 프레임 레이트를 지원하기에 충분한 경우, 임계값 T1 및 T2 는 증가되어 프레임 스키핑을 할 가능성을 적게 할 수 있다. 반면에, 이용가능 전력이 낮은 경우, 임계값 T1 및 T2 는 낮아져서 전력 보존을 촉진시킬 수도 있다. 이 방법으로, 유사성 메트릭과 비교된 하나 이상의 유사성 임계값들은 디코딩 디바이스 (50) 의 이용가능한 배터리 전력에 기초하여 조절되는 조절가능한 임계값일 수도 있다.
또한, 몇몇 경우, 디코딩 디바이스 (50) 는 비디오 시퀀스의 프레임 레이트를 결정할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 은, 유사성 메트릭을 발생시킬 수도 있고, 비디오 시퀀스의 프레임 레이트가 프레임 레이트 임계값을 초과하는 경우에만 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임의 스키핑을 야기할 수도 있다. 이 방법으로, 디바이스 (50) 는, 프레임 스키핑이 특정 프레임 레이트 이하로 되는 것이 회피되도록 프레임 레이트에 대한 하한이 확립되도록 보증할 수도 있다. 이에 따라, 프레임 스킵 유닛 (55) 은, 현재 비디오 프레임을 스키핑하는 것이 프레임 레이트 임계값 아래로 프레임 레이트를 감소시키지 않을 경우에만 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 현재 비디오 프레임을 디바이스 (50) 로 하여금 스킵하게 할 수도 있다. 또한, 몇몇 경우, 비디오 시퀀스와 관련된 비트 레이트는 프레임 스키핑 결정을 행하기 위해 프레임 스킵 유닛 (55) 에 의해 이용될 수도 있다. 이 경우, 이 비트 레이트는 비트 레이트 임계값과 비교될 수도 있고, 이 임계값 아래의 프레임 스키핑은 회피된다. 비트 레이트는, 특히 프레임이 상이한 레벨의 양자화에서 코딩될 때 특히 프레임 레이트와 상이하게 될 수도 있고, 상이한 프레임의 비트 레이트들이 프레임마다 실질적으로 변경되게 하는 상이한 레벨의 모션을 정의할 수도 있다.
언급된 바와 같이, 예시된 "보충 정보" 는 이용가능 배터리 전력의 표시를 포함할 수도 있다. 그러나, "보충 정보" 는 광범위하게 다양한 다른 정보, 예를 들어, 손상된 프레임의 표시를 포함할 수도 있다. 이 경우, 프레임 스킵 유닛 (55) 은, 현재 프레임이 손상되었다는 것을 나타내는 현재 비디오 프레임과 관련된 보충 정보를 식별하고, 디바이스 (55) 로 하여금 보충 정보가 현재 프레임이 손상되었다고 나타낼 때 현재 비디오 프레임을 스킵하게 한다. 예를 들어, 프레임 손상은, 수신된 데이터가 기대되는 데이터 포맷에 따르지 않는다고 결정하는 (도 1 의 통신 유닛 (21) 과 같은) 통신 유닛에 의해 결정될 수도 있고, 또는 다른 방식으로 결정될 수 있다.
일반적으로, 도 3 의 논의는 디코더에 적용된다. 그러나, 전술한 것과 유사한 유사성 메트릭이, 비디오 시퀀스의 송신시에 스킵되는 프레임을 식별하기 위해 인코딩 디바이스에 의해 프레임 스키핑이 사용되는 도 2 의 시스템과 같은 시스템에 이용될 수 있다. 인코딩 디바이스의 경우, 인코딩 디바이스의 프레임 스킵 유닛은 스킵하기 위한 프레임의 지능형 선택을 용이하게 할 수 있어서, 예를 들어, 인코딩 디바이스가 코딩된 비디오 시퀀스의 송신에 대한 대역폭 제한을 충족시킬 수 있다.
도 4 는, 도 1 의 비디오 디코더 디바이스 (22) 와 같은 디코더 디바이스 또는 도 3 의 디코더 디바이스 (50) 에서 실행될 수도 있는 프레임 스키핑 기술을 나타내는 흐름도이다. 도 4 의 논의는, 예시적인 목적으로 도 1 의 비디오 디코더 디바이스 (22) 를 참조할 것이다.
도 4 에 도시된 바와 같이, 비디오 디코더 디바이스 (22) 의 통신 유닛 (21) 은 압축 비디오 프레임을 포함하는 비트스트림을 수신한다 (401). 프레임 스팁 유닛 (26) 은 현재 프레임과 인접 프레임 사이의 차이를 정량화하기 위해 전술한 것과 같은 유사성 메트릭을 발생시킨다 (402). 예를 들어, 인접 프레임은 비디오 시퀀스 내에서 현재 프레임에 시간적으로 인접한 이전 프레임을 포함할 수도 있다. 유시 메트릭이 유사성 임계값을 초과하는 경우, 프레임 스킵 유닛 (26) 이 하나 이상의 제어 신호들을 전송하여 비디오 디코더 디바이스 (22) 로 하여금 현재 프레임의 디코딩, 후처리, 및/또는 디스플레이를 스킵하게 한다 (403). 이 방식으로, 유사성 메트릭은 비디오 디코더 디바이스 (22) 에서 지능형 프레임 스키핑 결정을 용이하게 한다.
도 5 는 도 2 의 비디오 인코더 디바이스 (32) 와 같은 인코더 디바이스 내에서 실행될 수도 있는 프레임 스키핑 기술을 예시하는 흐름도이다. 도 5 에 도시된 바와 같이, 비디오 인코더 디바이스 (32) 의 인코딩 유닛 (36) 은 인코딩된 비트스트림을 생성하기 위해 비디오 프레임을 압축한다 (501). 프레임 스킵 유닛 (37) 은 압축 도메인 내의 인코딩된 비트스트림의 현재 프레임과 인접 프레임 사이의 차이를 정량화하는 유사성 메트릭을 발생시킨다 (502). 따라서, 프레임 스킵 유닛 (37) 은, 유사성 메트릭이 유사성 임계값을 초과하는 경우, 통신 유닛 (39) 이 현재 프레임의 송신을 스킵하게 한다 (503). 이 방법으로, 본 개시물의 기술은 비디오 품질의 실질적 저하 없이 대역폭의 효율적 이용을 증진시키기 위해 인코딩 디바이스가 인코딩 프레임을 감소시키는 것을 허용할 수도 있다.
본 개시물의 다양한 프레임 스키핑 기술은 트랜스코딩 애플리케이션에 이용될 수도 있다. 이 경우, 일 표준 (예를 들어, MPEG-2) 에 따라서 압축 비트스트림이 코딩되지만, 제 2 표준 (예를 들어, ITU-T H.264) 에 따라서 디코딩된 후 재-인코딩될 수도 있다. 이 경우, 본 개시물의 프레임 스키핑 기술은, 디코더 스테이지에서 프레임 레이트 전력 절약의 이유로 또는 인코더 스테이지에서 리소스 또는 대역폭 제한의 이유로 몇몇 프레임의 디코딩 및/또는 재-인코딩을 회피하게 하는데 이용될 수도 있다.
도 6 은, 유사성 메트릭에 기초하여 예시적인 유사성 메트릭을 발생시키고 프레임 스키핑을 수행하게 하는 기술을 예시하는 흐름도이다. 도 6 의 기술은, 도 2 의 디바이스 (32) 와 같은 비디오 인코더 디바이스에 의해, 또는 도 1 의 디바이스 (22) 또는 도 3 의 디코드 디바이스 (50) 와 같은 비디오 디코더 디바이스에 의해 수행될 수 있다. 설명을 위해, 도 6 의 기술은 도 3 의 디코드 디바이스 (50) 의 관점에서 설명될 것이다.
도 6 에 도시된 바와 같이, 비트스트림 파서 (62) 는 압축 비디오 프레임을 포함하는 인코딩된 비트스트림을 파싱한다 (601). 이러한 파싱은 압축 도메인에서 인코딩된 비트스트림의 신택스 및/또는 데이터를 식별한다. 프레임 스킵 유닛 (55) 은, 현재 프레임과 현재 프레임에 인접한 프레임 사이의 유사성을 나타내는 유사성 메트릭을 발생시키기 위해 압축 도메인 내에서 파싱된 데이터를 이용한다. 특히, 프레임 스킵 유닛 (55) 은 인트라 블록을 포함하는 프레임 내에서 블록의 비율 (P1) 을 결정한다 (602). 또한, 프레임 스킵 유닛 (55) 은 모션 벡터 크기 임계값을 초과하는 모션 벡터를 갖는 프레임 내에서 블록의 비율 (P2) 을 결정하고 (603), 모션 벡터 방향 임계값에 의해 정량화된 것과 유사한 모션 벡터를 갖는 프레임 내에서 블록의 비율 (P3) 를 결정한다 (604). 또한, 프레임 스킵 유닛 (55) 은 넌-제로 계수 임계값보다 적은 넌-제로 변형 계수를 갖는 프레임 내의 블록의 비율 (P4) 를 결정한다. 선택적으로, 프레임 스킵 유닛 (55) 은 프레임 내에 스킵된 비디오 블록들을 포함하는 프레임 내에서 블록의 비율 (P5) 을 결정할 수도 있다 (605).
이러한 비율 (P1, P2, P3, P4 및 P5) 중 몇몇 또는 모두를 이용하여, 프레임 스킵 유닛 (55) 은 현재 프레임과 인접 프레임 사이의 차이를 정량화하는 유사성 메트릭을 계산한다 (606). P1, P2, P3, P4 및 P5 를 발생시키는데 필요한 모든 정보는, 신택스 및 압축 변형 계수를 포함하는 압축 도메인 내의 인코딩된 비트스트림의 데이터를 포함할 수도 있다. 따라서, 픽셀 도메인으로 데이터를 디코딩하는 것은 유사성 메트릭을 발생시키는데 필요하지 않다. 몇몇 경우에서, 유사성 메트릭은 프레임 스킵 유닛 (55) 에 의해 결정된 상이한 비율들로 할당된 가중 인자들을 가질 수도 있다. 일 유사성 메트릭의 더욱 상세한 예가 앞서 설명되었다.
임의의 경우, 프레임 스킵 유닛은, 유사성 메트릭이 유사성 임계값을 초과하는 경우 디바이스 (50) 가 프레임을 스킵하게 할 수 있다 (607). 예를 들어, 프레임 스킵 유닛 (55) 은 예측 디코더 (68) 가 프레임의 디코딩을 스킵하게 하기 위한 제어 신호를 예측 디코더 (68) 에 전송할 수도 있고, 또는 후처리 유닛 (56) 이 프레임의 후처리를 스킵하게 하기 위한 제어 신호를 후처리 유닛 (56) 에 전송할 수도 있다. 전자의 경우, 프레임의 디코딩, 후처리 및 디스플레이가 회피된다. 후자의 경우, 프레임의 디코딩이 수행되지만, 프레임의 후처리 및 디스플레이는 회피된다. 이 2 가지의 경우 모두에서, 전력 보존은 프레임 스키핑에 의해 증진되고, 이러한 프레임 스키핑에 대한 프레임 선택은 이러한 프레임 스키핑으로 인한 품질 저하를 감소시킬 수 있다.
몇몇 경우, 프레임이 디코딩되는 중일 때 전력을 보존하기 위해 프레임 스키핑이 필요한지의 여부는 알려져 있지 않을 수도 있다. 그러나, 전력 보존이 필요한 경우, 디코딩 이후에, 디코딩된 프레임의 후처리 및 디스플레이를 스킵하는 것이 바람직할 수도 있다. 프레임 스키핑 결정은, 예를 들어, 압축된 인코딩된 데이터 및 신택스에 기초하여, 압축 도메인 내에서 이루어질 수도 있다. 다음으로, 그 데이터의 디코딩에 후속하여, 프레임의 후처리 및 디스플레이의 프레임 스키핑이 바람직할 수도 있다.
도 7 은 도 1 의 비디오 디코더 디바이스 (22) 또는 도 3 의 디코드 디바이스 (50) 와 같은 디코더 디바이스에 의해 실행될 수도 있는 프레임 스키핑 기술을 예시하는 흐름도이다. 도 7 의 논의는 예시적인 목적으로 도 3 의 디코드 디바이스 (50) 를 지칭할 것이다.
도 7 에 도시된 바와 같이, 디코드 디바이스 (50) 의 프레임 스킵 유닛 (55) 은 현재 프레임과 현재 프레임에 인접하는 프레임 사이의 유사성을 나타내는 유사성 메트릭을 계산한다 (701). 본 명세서에 설명된 바와 같이, 유사성 메트릭은, 예를 들어, 비디오 블록 유형, 모션 벡터 크기 및 방향, 코딩시에 이용되는 양자화 파라미터와 같은 압축 도메인의 데이터와 같은 현재 프레임의 압축 데이터, 및 비디오 블록과 관련된 정량화된 나머지 변형 계수들에만 오직 기초할 수도 있다.
프레임 스킵 유닛 (55) 은, 유사성 메트릭이 제 1 임계값 T1 을 충족하는지의 여부를 결정한다 (702). 유사성 메트릭이 제 1 임계값 T1 을 충족하는 경우 (단계 702 에서 "예" 인 경우), 프레임 스킵 유닛 (55) 은 디바이스 (50) 가 프레임의 디코딩을 스킵하게 하는 제어 신호를 예측 디코더 (68) 에 전송한 후 (706), 이에 따라 프레임의 후처리 및 디스플레이를 스킵하게 한다 (708). 특히, 프레임 스킵 유닛 (55) 으로부터의 스킵 커맨드에 응답하여, 예측 디코더 (68) 는 그 프레임에 대한 디코딩을 스킵한다 (706). 이 경우, 후처리 유닛 (56) 및 디스플레이 유닛 (58) 은 프레임에 대한 데이터를 절대 수신하지 않고, 이에 따라, 프레임을 후처리하지 않고, 프레임을 디스플레이하지 않는다 (708).
유사성 메트릭이 제 1 임계값 T1 을 충족하지 않는 경우 (단계 702 에서 "아니오" 인 경우), 프레임 스킵 유닛 (55) 은 유사성 메트릭이 제 2 임계값 T2 을 충족하는지의 여부를 결정한다 (704). 이 경우, 유사성 메트릭은 제 2 임계값 T2 을 충족하지 않는 경우 (단계 704 에서 "아니오" 인 경우), 프레임은 디코딩되고, 후처리되고, 디스플레이된다 (707). 특히, 유사성 메트릭이 제 2 임계값 T2 를 충족하지 않는 경우 (단계 704 에서 "아니오" 인 경우), 프레임은 예측 디코더 (68) 에 의해 디코딩되고, 후처리 유닛 (56) 에 의해 후처리되고, 디스플레이 유닛 (58) 에 의해 디스플레이될 수도 있다.
유사성 메트릭이 제 2 임계값 T2 을 충족하는 경우 (단계 704 에서 "예" 인 경우), 프레임 스킵 유닛 (55) 은 그 프레임이 기준 프레임인지의 여부를 결정한다. 그 프레임이 기준 프레임인 경우 (단계 705 에서 "예" 인 경우), 그 프레임은 디코딩되고 후처리되고 디스플레이된다 (707). 특히, 유사성 메트릭이 제 2 임계값 T2 을 충족하고 (단계 704 에서 "예" 이고), 그 프레임이 기준 프레임인 경우 (단계 705 에서 "예" 인 경우), 그 프레임은 예측 디코더 (68) 에 의해 디코딩되고, 후처리 유닛 (56) 에 의해 후처리되고, 디스플레이 유닛 (58) 에 의해 디스플레이될 수도 있다.
그러나, 유사성 메트릭이 제 2 임계값 T2 을 충족하지만 (단계 704 에서 "예"), 그 프레임은 기준 프레임이 아닌 경우 (단계 705 에서 "아니오" 인 경우), 디바이스 (50) 는 프레임의 디코딩을 스킵하고 (706), 프레임의 후처리 및 디스플레이를 스킵하게 된다 (708). 이에 따라, 유사성 메트릭이 제 1 임계값 T1 을 충족하지 않지만 (단계 703 에서 "아니오") 제 2 임계값을 충족하는 (단계 704 에서 "예") 비-참조 프레임은 디코딩, 후처리, 또는 디스플레이되지 않는다. 이 방법으로, 더 높은 임계값 T1 은 비기준 프레임을 포함하는 모든 프레임에 적용되고, 더 낮은 임계값 T2 는 비기준 프레임에만 적용된다. 이는, 현재 비기준 프레임이 인접 프레임과는 많이 다르지 않는 한, 기준 프레임을 스킵할 가능성은 적게되고 비기준 프레임을 스킵할 가능성이 더 많게 된다. 기준 프레임이 다른 프레임을 코딩하는데 이용되기 때문에, 기준 프레임의 프레임 스키핑은 덜 바람직할 수도 있다. 따라서, 기준 프레임의 프레임 스키핑은, 비기준 프레임들이 임계값 T1 또는 T2 둘 중 하나를 초과하는 유사성 메트릭을 갖는 경우 이 비기준 프레임들이 스킵될 수도 있으면서, 기준 프레임이 높은 임계값 T1 을 초과하는 유사성 메트릭을 가질 때에만 실행될 수도 있다.
통상적으로, 유사성 메트릭 및 임계값들은, 유사성 메트릭의 값이 소정의 임계값을 초과할 때 유사성 메트릭의 값이 소정의 임계값을 초과하도록, 정의된다. 그러나, 대안적으로, 유사성 메트릭 및 임계값은, 유사성 메트릭 값이 소정의 임계값 미만일 때 유사성 메트릭의 값이 소정의 임계값을 초과하도록, 정의된다.
또 다른 예시에서, 특정 프레임상의 다른 변화들이 스킵되고 어떻게 이러한 프레임들이 스킵되는지는 본 개시물의 교시에 기초하여 구현될 수 있다. 도 7 의 흐름도는 오직 일 예이다. 또한, 프레임 스키핑은 예측 디코더 (68) 에 의한 디코드 이후에 후처리 유닛 (56) 에서 발생할 수 있거나 또는 예측 디코더 (68) 에 의한 예측 디코드 및 후처리 유닛 (56) 에 의한 후처리에 후속하여 디스플레이 유닛 (58) 에서 발생할 수 있다. 이러한 경우, 압축 도메인의 데이터는 디코딩된 그리고 비압축된 도메인에서 프레임 스키핑을 용이하게 한다.
본 명세서에 설명된 기술은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 모듈, 유닛 또는 컴포넌트로서 설명된 임의의 특징이 통합 로직 디바이스에서 함께 또는 이산적이 아닌 상호운용 (interoperable) 로직 디바이스로서 개별적으로 구현될 수도 있다. 몇몇 경우, 다양한 특징이 집적 회로 칩 또는 칩셋과 같은 집적 회로 디바이스로서 구현될 수도 있다. 하드웨어에서 구현되는 경우, 본 개시물은 집적 회로 칩 또는 칩셋과 같은 집적 회로 디바이스 또는 프로세서와 같은 장치와 관련될 수도 있다. 대안적으로 또는 추가적으로, 소프트웨어에서 구현되는 경우, 이 기술은 실행시에 프로세서로 하여금 전술한 하나 이상의 방법들을 수행하도록 하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 예를 들어, 컴퓨터-판독가능 매체는 이러한 명령들을 저장할 수도 있다.
컴퓨터 판독가능 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터-판독가능 매체는, RAM, SDRAM, ROM, NVRAM, EEPROM, FRASH 메모리, 자기 또는 광학 데이터 저장 매체 등과 같은 컴퓨터 데이터 저장 매체를 포함할 수도 있다. 추가적으로 또는 대안적으로, 이 기술은, 명령 또는 데이터 구조의 형태로 코드를 운반 또는 통신하고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
코드 또는 명령은, 하나 이상의 DSP, 범용 마이크로프로세서, ASIC, FPGA, 또는 다른 동등한 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서에 의해 실행될 수도 있다. 이에 따라, 본 명세서에 이용된 것과 같은 용어 "프로세서" 는 전술한 구조들 중 임의의 구조 또는 본 명세서에 설명된 기술의 구현에 적절한 임의의 다른 구조를 지칭할 수도 있다. 또한, 몇몇 양태에서, 본 명세서에 설명된 기능은 전용 소프트웨어 모듈 또는 하드웨어 모듈에 제공될 수도 있다. 또한, 본 개시물은 본 개시물에 설명된 하나 이상의 기술들을 구현하기 위한 회로를 포함하는 다양한 집적 회로 디바이스들 중 임의의 디바이스를 고찰한다. 이러한 회로는 소위 칩셋 내에서 단일 집적 회로 칩 또는 다수의 상호운용가능한 집적 회로 칩에 제공될 수도 있다. 이러한 집적 회로 디바이스는 다양한 애플리케이션에 이용될 수도 있고, 이들 중 몇몇 애플리케이션은 모바일 전화기 핸드셋과 같은 무선 통신 디바이스내에서의 이용을 포함할 수도 있다.
기재된 기술들의 다양한 양태들이 설명되었다. 이러한 양태들 및 다른 양태들이 이하의 청구범위에 포함된다.

Claims (50)

  1. 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭 (similarity metric) 을 발생시키는 단계로서, 상기 유사성 메트릭은 상기 현재 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인내의 데이터에 기초하는, 상기 유사성 메트릭을 발생시키는 단계; 및
    상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 방법은 인코딩 방법이고,
    상기 현재 비디오 프레임을 스킵하는 단계는, 다른 디바이스에 대한 상기 현재 비디오 프레임의 송신을 스킵하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 방법은 디코딩 방법이고,
    상기 현재 비디오 프레임을 스킵하는 단계는, 상기 현재 비디오 프레임의 예측 디코딩을 스킵하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 방법은 디코딩 방법이고,
    상기 현재 비디오 프레임을 스킵하는 단계는, 상기 현재 비디오 프레임의 후처리를 스킵하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 방법은 디코딩 방법이고,
    상기 현재 비디오 프레임을 스킵하는 단계는, 상기 현재 비디오 프레임의 디스플레이를 스킵하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 유사성 메트릭은:
    상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율;
    모션 벡터 크기 임계값을 초과하는 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율;
    모션 벡터 방향 임계값에 의해 정량화될 때 방향이 충분히 유사한 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율; 및
    하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율
    에 기초하는, 방법.
  7. 제 6 항에 있어서,
    상기 하나 이상의 넌-제로 계수 임계값들은, 상기 현재 비디오 프레임내의 상기 비디오 블록들과 관련된 하나 이상의 양자화 파라미터들의 함수들인, 방법.
  8. 제 6 항에 있어서,
    상기 유사성 메트릭 (SM) 은:
    Figure pct00002

    을 포함하고,
    W1, W2, W3 및 W4 는 가중 인자들이고,
    IntraMBs% 는 상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율이고,
    MVs_Magnitude% 는 상기 모션 벡터 크기 임계값을 초과하는 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    MVs_Samedirection% 는 상기 모션 벡터 방향 임계값에 의해 정량화될 때 충분히 유사한 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    Nz% 는 상기 하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율인, 방법.
  9. 제 8 항에 있어서,
    상기 W1, W2, W3 및 W4 는, 하나 이상의 테스트 비디오 시퀀스들에서의 프레임 스키핑의 분석에 기초하여 사전정의되는, 방법.
  10. 제 9 항에 있어서,
    상기 W1, W2, W3 및 W4 는, 하나 이상의 테스트 비디오 시퀀스들에서의 프레임 스키핑의 분석에 기초하여 상이한 유형의 비디오 모션에 대해 상이한 값을 갖도록 사전정의되는, 방법.
  11. 제 6 항에 있어서,
    상기 유사성 메트릭은, 상기 현재 비디오 프레임 내에 스킵된 비디오 블록들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율에 기초하는, 방법.
  12. 제 1 항에 있어서,
    상기 방법은 디코딩 방법이고,
    상기 현재 비디오 프레임을 스킵하는 단계는:
    상기 유사성 메트릭이 제 1 임계값보다 큰 경우, 상기 현재 비디오 프레임을 스킵하는 단계; 및
    상기 유사성 메트릭이 제 2 임계값보다 크고, 상기 프레임이 하나 이상의 다른 프레임들의 예측 코딩을 위해 이용된 기준 프레임이 아닌 경우, 상기 현재 비디오 프레임을 스킵하는 단계를 포함하는, 방법.
  13. 제 1 항에 있어서,
    상기 방법은 디코딩 디바이스에 의해 구현된 디코딩 방법이고,
    상기 임계값은 상기 디코딩 디바이스에서 이용가능한 배터리 전력에 기초하여 조절하는 조절가능한 임계값인, 방법.
  14. 제 1 항에 있어서,
    상기 비디오 시퀀스의 프레임 레이트를 결정하는 단계; 및
    상기 비디오 시퀀스의 상기 프레임 레이트가 프레임 레이트 임계값을 초과하는 경우에만, 상기 유사성 메트릭을 발생시키고, 상기 유사성 메트릭이 상기 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하는 단계를 더 포함하는, 방법.
  15. 제 1 항에 있어서,
    상기 현재 프레임이 손상되었다는 것을 나타내는 상기 현재 비디오 프레임과 관련된 보충 정보를 식별하는 단계; 및
    상기 현재 프레임이 손상되었다는 것을 상기 보충 정보가 나타내는 경우 상기 현재 비디오 프레임을 스킵하는 단계를 더 포함하는, 방법.
  16. 제 1 항에 있어서,
    상기 현재 비디오 프레임을 스킵하는 단계가 프레임 레이트 임계값 아래로 프레임 레이트를 감소시키지 않을 경우에만, 상기 유사성 메트릭이 상기 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하는 단계를 더 포함하는, 방법.
  17. 장치로서,
    비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭 (similarity metric) 을 발생시키고, 상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 장치로 하여금 상기 현재 비디오 프레임을 스킵하게 하는 프레임 스킵 유닛 (frame skip unit) 을 포함하고,
    상기 유사성 메트릭은 상기 현재 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인 내의 데이터에 기초하는, 장치.
  18. 제 17 항에 있어서,
    상기 장치는 인코딩 장치이고,
    상기 프레임 스킵 유닛은, 통신 유닛으로 하여금, 상기 현재 비디오 프레임의 다른 디바이스로의 송신을 스킵하게 하는 제어 신호를 발생시키는, 장치.
  19. 제 17 항에 있어서,
    상기 장치는 디코딩 장치이고,
    상기 프레임 스킵 유닛은, 예측 디코더로 하여금, 상기 현재 비디오 프레임의 예측 디코딩을 스킵하게 하는 제어 신호를 발생시키는, 장치.
  20. 제 17 항에 있어서,
    상기 장치는 디코딩 장치이고,
    상기 프레임 스킵 유닛은, 후처리 유닛으로 하여금, 상기 현재 비디오 프레임의 후처리를 스킵하게 하는 제어 신호를 발생시키는, 장치.
  21. 제 17 항에 있어서,
    상기 장치는 디코딩 장치이고,
    상기 프레임 스킵 유닛은, 디스플레이 유닛으로 하여금, 상기 현재 비디오 프레임의 디스플레이를 스킵하게 하는 제어 신호를 발생시키는, 장치.
  22. 제 17 항에 있어서,
    상기 유사성 메트릭은:
    상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율;
    모션 벡터 크기 임계값을 초과하는 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율;
    모션 벡터 방향 임계값에 의해 정량화될 때 방향이 충분히 유사한 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율; 및
    하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율
    에 기초하는, 장치.
  23. 제 22 항에 있어서,
    상기 하나 이상의 넌-제로 계수 임계값들은, 상기 현재 비디오 프레임내의 상기 비디오 블록들과 관련된 하나 이상의 양자화 파라미터들의 함수들인, 장치.
  24. 제 22 항에 있어서,
    상기 유사성 메트릭 (SM) 은:
    Figure pct00003

    을 포함하고,
    W1, W2, W3 및 W4 는 가중 인자들이고,
    IntraMBs% 는 상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율이고,
    MVs_Magnitude% 는 상기 모션 벡터 크기 임계값을 초과하는 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    MVs_Samedirection% 는 상기 모션 벡터 방향 임계값에 의해 정량화될 때 충분히 유사한 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    Nz% 는 상기 하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율인, 장치.
  25. 제 24 항에 있어서,
    상기 W1, W2, W3 및 W4 는, 하나 이상의 테스트 비디오 시퀀스들에서의 프레임 스키핑의 분석에 기초하여 사전정의되는, 장치.
  26. 제 25 항에 있어서,
    상기 W1, W2, W3 및 W4 는, 하나 이상의 테스트 비디오 시퀀스들에서의 프레임 스키핑의 분석에 기초하여 상이한 유형의 비디오 모션에 대해 상이한 값을 갖도록 사전정의되는, 장치.
  27. 제 22 항에 있어서,
    상기 유사성 메트릭은, 상기 현재 비디오 프레임 내에 스킵된 비디오 블록들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율에 기초하는, 장치.
  28. 제 17 항에 있어서,
    상기 장치는 디코딩 장치이고,
    상기 프레임 스킵 유닛은, 예측 코딩 유닛으로 하여금,
    상기 유사성 메트릭이 제 1 임계값보다 큰 경우, 상기 현재 비디오 프레임의 예측 코딩을 스킵하게 하고,
    상기 유사성 메트릭이 제 2 임계값보다 크고, 상기 프레임이 하나 이상의 다른 프레임의 예측 코딩에 이용되는 기준 프레임이 아닌 경우, 상기 현재 비디오 프레임의 예측 디코딩을 스킵하게 하는, 장치.
  29. 제 17 항에 있어서,
    상기 장치는 디코딩 장치이고,
    상기 임계값은 상기 디코딩 장치에서 이용가능한 배터리 전력에 기초하여 조절하는 조절가능한 임계값인, 장치.
  30. 제 17 항에 있어서,
    상기 프레임 스킵 유닛은:
    상기 비디오 시퀀스의 프레임 레이트를 결정하고;
    상기 비디오 시퀀스의 상기 프레임 레이트가 프레임 레이트 임계값을 초과할 때에만 상기 유사성 메트릭이 상기 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임의 스키핑을 야기하는, 장치.
  31. 제 17 항에 있어서,
    상기 프레임 스킵 유닛은:
    상기 현재 프레임이 손상되었다는 것을 나타내는 상기 현재 비디오 프레임과 관련된 보충 정보를 식별하고;
    상기 현재 프레임이 손생되었다는 것을 상기 보충 정보가 나타내는 경우 상기 현재 비디오 프레임의 스키핑을 야기하는, 장치.
  32. 제 17 항에 있어서,
    상기 프레임 스킵 유닛은:
    상기 현재 비디오 프레임을 스킵하는 것이 프레임 레이트를 프레임 레이트 임계값 아래로 감소시키지 않을 경우에만, 상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임의 스키핑을 야기하는, 장치.
  33. 제 17 항에 있어서,
    상기 장치는 집적 회로를 포함하는, 장치.
  34. 제 17 항에 있어서,
    상기 장치는 마이크로프로세서를 포함하는, 장치.
  35. 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭을 발생시키는 수단으로서, 상기 유사성 메트릭은 상기 현재 비디오 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인내의 데이터에 기초하는, 상기 유사성 메트릭을 발생시키는 수단; 및
    상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하는 수단을 포함하는, 디바이스.
  36. 제 35 항에 있어서,
    상기 유사성 메트릭은:
    상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율;
    모션 벡터 크기 임계값을 초과하는 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율;
    모션 벡터 방향 임계값에 의해 정량화될 때 방향이 충분히 유사한 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율; 및
    하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율
    에 더 기초하는, 디바이스.
  37. 제 35 항에 있어서,
    상기 하나 이상의 넌-제로 계수 임계값들은, 상기 현재 비디오 프레임내의 상기 비디오 블록들과 관련된 하나 이상의 양자화 파라미터들의 함수들인, 디바이스.
  38. 제 36 항에 있어서,
    상기 유사성 메트릭 (SM) 은:
    Figure pct00004

    을 포함하고,
    W1, W2, W3 및 W4 는 가중 인자들이고,
    IntraMBs% 는 상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율이고,
    MVs_Magnitude% 는 상기 모션 벡터 크기 임계값을 초과하는 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    MVs_Samedirection% 는 상기 모션 벡터 방향 임계값에 의해 정량화될 때 충분히 유사한 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    Nz% 는 상기 하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율인, 디바이스.
  39. 제 35 항에 있어서,
    상기 디바이스는 디코딩 디바이스이고,
    상기 현재 비디오 프레임을 스킵하는 수단은:
    상기 유사성 메트릭이 제 1 임계값 보다 큰 경우, 상기 현재 비디오 프레임을 스킵하는 수단; 및
    상기 유사성 메트릭이 제 2 임계값 보다 크고, 상기 프레임이 하나 이상의 다른 프레임들의 예측 코딩에 이용된 기준 프레임이 아닌 경우, 상기 현재 비디오 프레임을 스킵하는 수단을 포함하는, 디바이스.
  40. 제 35 항에 있어서,
    상기 디바이스는 디코딩 디바이스이고,
    상기 임계값은 상기 디코딩 디바이스에서 이용가능한 배터리 전력에 기초하여 조절하는 조절가능한 임계값인, 디바이스.
  41. 컴퓨터 판독가능 매체로서,
    실행시에 디바이스로 하여금:
    비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭을 발생시키며,
    상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하게 하는 명령들을 포함하고,
    상기 유사성 메트릭은 상기 현재 비디오 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인 내의 데이터에 기초하는, 컴퓨터 판독가능 매체.
  42. 제 41 항에 있어서,
    상기 유사성 메트릭은:
    상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율;
    모션 벡터 크기 임계값을 초과하는 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율;
    모션 벡터 방향 임계값에 의해 정량화될 때 방향이 충분히 유사한 모션 벡터들을 갖는 상기 현재 비디오 프레임내의 비디오 블록들의 비율; 및
    하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율
    에 기초하는, 컴퓨터 판독가능 매체.
  43. 제 42 항에 있어서,
    상기 유사성 메트릭 (SM) 은:
    Figure pct00005

    을 포함하고,
    W1, W2, W3 및 W4 는 가중 인자들이고,
    IntraMBs% 는 상기 현재 비디오 프레임내의 인트라 비디오 블록들의 비율이고,
    MVs_Magnitude% 는 상기 모션 벡터 크기 임계값을 초과하는 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    MVs_Samedirection% 는 상기 모션 벡터 방향 임계값에 의해 정량화될 때 충분히 유사한 상기 현재 비디오 프레임과 관련된 모션 벡터들의 비율이고,
    Nz% 는 상기 하나 이상의 넌-제로 계수 임계값들보다 적은 넌-제로 변환 계수들을 포함하는 상기 현재 비디오 프레임내의 비디오 블록들의 비율인, 컴퓨터 판독가능 매체.
  44. 제 41 항에 있어서,
    상기 디바이스는 디코딩 디바이스이고,
    상기 명령들은 상기 디바이스로 하여금:
    상기 유사성 메트릭이 제 1 임계값보다 큰 경우에, 상기 현재 비디오 프레임의 예측 코딩, 후처리 및 디스플레이를 스킵하게 하고;
    상기 유사성 메트릭이 제 2 임계값보다 크고, 상기 프레임이 하나 이상의 다른 프레임들의 예측 코딩에 이용된 기준 프레임이 아닌 경우에, 상기 현재 비디오 프레임의 예측 코딩, 후처리 및 디스플레이를 스킵하게 하는, 컴퓨터 판독가능 매체.
  45. 제 41 항에 있어서,
    상기 디바이스는 디코딩 디바이스이고,
    상기 임계값은 상기 디코딩 디바이스에서 이용가능한 배터리 전력에 기초하여 조절하는 조절가능한 임계값인, 컴퓨터 판독가능 매체.
  46. 제 41 항에 있어서,
    상기 명령들은 상기 디바이스로 하여금:
    상기 비디오 시퀀스의 프레임 레이트를 결정하게 하고;
    상기 비디오 시퀀스의 상기 프레임 레이트가 프레임 레이트 임계값을 초과하는 경우에만, 상기 유사성 메트릭이 상기 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임을 스킵하게 하는, 컴퓨터 판독가능 매체.
  47. 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하는 유사성 메트릭을 발생시키는 프레임 스킵 유닛으로서, 상기 유사성 메트릭은 상기 현재 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인내의 데이터에 기초하는, 상기 프레임 스킵 유닛; 및
    상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 현재 비디오 프레임의 송신을 스킵하는 통신 유닛을 포함하는, 인코딩 디바이스.
  48. 제 47 항에 있어서,
    상기 인코딩 디바이스는 무선 통신 핸드셋을 포함하는, 인코딩 디바이스.
  49. 디코딩 디바이스로서,
    비디오 시퀀스의 압축 비디오 프레임들을 수신하는 통신 유닛; 및
    프레임 스킵 유닛을 포함하고,
    상기 프레임 스킵 유닛은,
    상기 비디오 시퀀스의 현재 비디오 프레임과 인접 프레임 사이의 유사성을 정량화하고, 상기 현재 프레임과 상기 인접 프레임 사이의 차이를 나타내는 압축 도메인 내의 데이터에 기초하는 상기 유사성 메트릭을 발생시키고,
    상기 유사성 메트릭이 임계값을 충족하는 것을 조건으로 하여 상기 디코딩 디바이스로 하여금 상기 현재 비디오 프레임을 스킵하게 하는, 디코딩 디바이스.
  50. 제 49 항에 있어서,
    상기 디코딩 디바이스는 무선 통신 핸드셋을 포함하는, 디코딩 디바이스.
KR1020117004626A 2008-07-29 2009-07-29 압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑 KR20110045026A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8453408P 2008-07-29 2008-07-29
US61/084,534 2008-07-29
US12/248,825 2008-10-09
US12/248,825 US20100027663A1 (en) 2008-07-29 2008-10-09 Intellegent frame skipping in video coding based on similarity metric in compressed domain
PCT/US2009/052165 WO2010014759A2 (en) 2008-07-29 2009-07-29 Intelligent frame skipping in video coding based on similarity metric in compressed domain

Publications (1)

Publication Number Publication Date
KR20110045026A true KR20110045026A (ko) 2011-05-03

Family

ID=41608337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004626A KR20110045026A (ko) 2008-07-29 2009-07-29 압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑

Country Status (7)

Country Link
US (1) US20100027663A1 (ko)
EP (1) EP2321971A2 (ko)
JP (1) JP2011530221A (ko)
KR (1) KR20110045026A (ko)
CN (1) CN102113329A (ko)
TW (1) TW201029475A (ko)
WO (1) WO2010014759A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170042235A (ko) * 2015-10-08 2017-04-18 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR20190117772A (ko) * 2017-03-31 2019-10-16 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254449B2 (en) * 2008-08-29 2012-08-28 Georgia Tech Research Corporation Video traffic bandwidth prediction
US8400918B2 (en) * 2009-08-06 2013-03-19 Georgia Tech Research Corporation Video traffic smoothing
US8254445B2 (en) * 2009-08-06 2012-08-28 Georgia Tech Research Corporation Video transmission using video quality metrics
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US9877033B2 (en) * 2009-12-21 2018-01-23 Qualcomm Incorporated Temporal and spatial video block reordering in a decoder to improve cache hits
TWI421682B (zh) * 2010-03-08 2014-01-01 Novatek Microelectronics Corp 記憶體控制系統及方法
TWI491262B (zh) * 2010-09-14 2015-07-01 Alpha Imaging Technology Corp 影像編碼積體電路及其影像編碼資料傳輸方法
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US8966036B1 (en) * 2010-11-24 2015-02-24 Google Inc. Method and system for website user account management based on event transition matrixes
WO2012089116A1 (zh) * 2010-12-27 2012-07-05 汉王科技股份有限公司 扫描识别装置和方法
JP2012165071A (ja) * 2011-02-03 2012-08-30 Sony Corp 撮像装置、受信装置、映像送信システムおよび映像送信方法
CA2829290C (en) 2011-03-10 2017-10-17 Vidyo, Inc. Render-orientation information in video bitstream
US20120230594A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
US9723315B2 (en) * 2011-07-01 2017-08-01 Apple Inc. Frame encoding selection based on frame similarities and visual quality and interests
US8787454B1 (en) 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
GB2559062B (en) * 2011-10-17 2018-11-14 Kt Corp Video decoding method using transform method selected from a transform method set
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
JPWO2014057555A1 (ja) * 2012-10-10 2016-08-25 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
US10095663B2 (en) 2012-11-14 2018-10-09 Amazon Technologies, Inc. Delivery and display of page previews during page retrieval events
US9558043B2 (en) * 2013-01-25 2017-01-31 Cisco Technology Inc. System and method for abstracting and orchestrating mobile data networks in a network environment
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9712634B2 (en) 2013-03-15 2017-07-18 Cisco Technology, Inc. Orchestrating mobile data networks in a network environment
US9578333B2 (en) 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US10154265B2 (en) * 2013-06-21 2018-12-11 Nvidia Corporation Graphics server and method for streaming rendered content via a remote graphics processing service
US9270709B2 (en) 2013-07-05 2016-02-23 Cisco Technology, Inc. Integrated signaling between mobile data networks and enterprise networks
US10863387B2 (en) 2013-10-02 2020-12-08 Cisco Technology, Inc. System and method for orchestrating policy in a mobile environment
US9414215B2 (en) 2013-10-04 2016-08-09 Cisco Technology, Inc. System and method for orchestrating mobile data networks in a machine-to-machine environment
CN104618662B (zh) * 2013-11-05 2019-03-15 富泰华工业（深圳）有限公司 视频播放系统及方法
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9723377B2 (en) 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US11169666B1 (en) 2014-05-22 2021-11-09 Amazon Technologies, Inc. Distributed content browsing system using transferred hardware-independent graphics commands
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9454515B1 (en) 2014-06-17 2016-09-27 Amazon Technologies, Inc. Content browser system using graphics commands and native text intelligence
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
CN105323592A (zh) * 2014-07-11 2016-02-10 中兴通讯股份有限公司 一种码率控制方法及装置
US9672626B2 (en) * 2014-12-08 2017-06-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for generating adaptive fast forward of egocentric videos
KR102372026B1 (ko) * 2015-05-29 2022-03-11 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 시스템
KR20170007665A (ko) * 2015-07-10 2017-01-19 삼성전자주식회사 스킵 모드 정보를 이용한 레이트 조절 인코딩 방법 및 그에 따른 인코딩 장치
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
TWI605705B (zh) * 2015-11-30 2017-11-11 晨星半導體股份有限公司 位元流解碼方法與位元流解碼電路
DE102015121148A1 (de) 2015-12-04 2017-06-08 Technische Universität München Reduzieren der Übertragungszeit von Bildern
US10368074B2 (en) 2016-03-18 2019-07-30 Microsoft Technology Licensing, Llc Opportunistic frame dropping for variable-frame-rate encoding
US20180213150A1 (en) * 2017-01-24 2018-07-26 Qualcomm Incorporated Adaptive buffering rate technology for zero shutter lag (zsl) camera-inclusive devices
CN106851282A (zh) * 2017-02-15 2017-06-13 福建时迅信息科技有限公司 一种vdi协议中减少视频图像编码数据量的方法和系统
CN110113600B (zh) * 2018-02-01 2022-08-26 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读存储介质和计算机设备
US20190379926A1 (en) * 2018-06-06 2019-12-12 Microsoft Technology Licensing, Llc Method of optimizing media used to display moving images
CA3070812A1 (en) * 2019-03-13 2020-09-13 Alexander GILADI Method and apparatus for content-adaptive frame duration extension
US11259035B2 (en) * 2019-03-15 2022-02-22 Ati Technologies Ulc Macroblock coding type prediction
CN110113610B (zh) * 2019-04-23 2021-04-20 西安万像电子科技有限公司 数据传输方法及装置
US10997731B2 (en) * 2019-06-14 2021-05-04 Rockwell Collins, Inc. Motion vector vision system integrity monitor
CN112819021B (zh) * 2019-11-15 2024-05-07 北京地平线机器人技术研发有限公司 图像检测方法及装置、电子设备和存储介质
US10923158B1 (en) 2019-11-25 2021-02-16 International Business Machines Corporation Dynamic sequential image processing
US11570477B2 (en) * 2019-12-31 2023-01-31 Alibaba Group Holding Limited Data preprocessing and data augmentation in frequency domain
US11741712B2 (en) 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization
CN113301332B (zh) * 2021-04-12 2024-06-21 阿里巴巴创新公司 视频解码方法、系统和介质
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置
CN115499707B (zh) * 2022-09-22 2024-08-06 上海联屏文化科技有限公司 视频相似度的确定方法和装置
CN116761036B (zh) * 2023-08-21 2023-11-14 北京中关村科金技术有限公司 视频编码方法及装置、电子设备、计算机可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530477A (en) * 1994-04-29 1996-06-25 Intel Corporation Method and apparatus for selectively omitting video frames during playback
US6549948B1 (en) * 1994-10-18 2003-04-15 Canon Kabushiki Kaisha Variable frame rate adjustment in a video system
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US5883977A (en) * 1996-12-30 1999-03-16 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal of a contour of an object
US6385345B1 (en) * 1998-03-31 2002-05-07 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6452610B1 (en) * 1998-12-16 2002-09-17 Intel Corporation Method and apparatus for displaying graphics based on frame selection indicators
JP4140202B2 (ja) * 2001-02-28 2008-08-27 三菱電機株式会社 移動物体検出装置
US7017053B2 (en) * 2002-01-04 2006-03-21 Ati Technologies, Inc. System for reduced power consumption by monitoring video content and method thereof
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7483487B2 (en) * 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems
US6710578B1 (en) * 2002-08-27 2004-03-23 Motorola, Inc. Power resource management in a portable communication device
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
US7596143B2 (en) * 2004-12-16 2009-09-29 Alcatel-Lucent Usa Inc. Method and apparatus for handling potentially corrupt frames
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US8582660B2 (en) * 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
KR100819404B1 (ko) * 2006-10-27 2008-04-04 삼성전자주식회사 휴대용 단말기에서 부화면 디코딩 방법 및 장치
KR100800815B1 (ko) * 2006-11-21 2008-02-01 삼성전자주식회사 디지털 방송을 수신하는 이동 단말기 및 방법
US7387228B2 (en) * 2006-11-22 2008-06-17 Apach Industrial Co., Ltd. Magazine with positioning device for nail gun
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170042235A (ko) * 2015-10-08 2017-04-18 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR20190117772A (ko) * 2017-03-31 2019-10-16 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
KR20200009128A (ko) * 2017-03-31 2020-01-29 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
US10897644B2 (en) 2017-03-31 2021-01-19 Gracenote, Inc. Music service with motion video
KR20210010647A (ko) * 2017-03-31 2021-01-27 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
KR20210044316A (ko) * 2017-03-31 2021-04-22 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
KR20210088014A (ko) * 2017-03-31 2021-07-13 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
KR20210125612A (ko) * 2017-03-31 2021-10-18 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
US11240551B2 (en) 2017-03-31 2022-02-01 Gracenote, Inc. Music service with motion video
KR20220109482A (ko) * 2017-03-31 2022-08-04 그레이스노트, 인코포레이티드 모션 비디오를 갖는 음악 서비스
US11770578B2 (en) 2017-03-31 2023-09-26 Gracenote, Inc. Music service with motion video
US12108105B2 (en) 2017-03-31 2024-10-01 Gracenote, Inc. Music service with motion video

Also Published As

Publication number Publication date
WO2010014759A3 (en) 2010-05-20
CN102113329A (zh) 2011-06-29
WO2010014759A2 (en) 2010-02-04
US20100027663A1 (en) 2010-02-04
EP2321971A2 (en) 2011-05-18
TW201029475A (en) 2010-08-01
JP2011530221A (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
KR20110045026A (ko) 압축 도메인에서 유사성 메트릭에 기초한 비디오 코딩의 지능형 프레임 스키핑
US10574988B2 (en) System and methods for reducing slice boundary visual artifacts in display stream compression (DSC)
RU2498523C2 (ru) Быстрое принятие решения о дельте параметра квантования макроблока
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
KR101322498B1 (ko) 부호화 장치, 부호화 방법 및 프로그램
US9414086B2 (en) Partial frame utilization in video codecs
CN102986211B (zh) 视频编码中的速率控制
US10284849B2 (en) Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
US9936203B2 (en) Complex region detection for display stream compression
KR101993966B1 (ko) 디스플레이 스트림 압축 (ｄｓｃ) 을 위한 평탄도 검출을 위한 시스템 및 방법
KR20030090308A (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
Naccari et al. Intensity dependent spatial quantization with application in HEVC
EP3135034A1 (en) System and method for coding in pattern mode for display stream compression (dsc)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application