KR102154443B1 - 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법 - Google Patents

복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법 Download PDF

Info

Publication number
KR102154443B1
KR102154443B1 KR1020190126094A KR20190126094A KR102154443B1 KR 102154443 B1 KR102154443 B1 KR 102154443B1 KR 1020190126094 A KR1020190126094 A KR 1020190126094A KR 20190126094 A KR20190126094 A KR 20190126094A KR 102154443 B1 KR102154443 B1 KR 102154443B1
Authority
KR
South Korea
Prior art keywords
intra
encoding
image frame
image
region
Prior art date
Application number
KR1020190126094A
Other languages
English (en)
Other versions
KR20200060231A (ko
Inventor
에드팜 빅토르
샤 마야
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20200060231A publication Critical patent/KR20200060231A/ko
Application granted granted Critical
Publication of KR102154443B1 publication Critical patent/KR102154443B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 주기적 인트라 리프레시를 사용하는 비디오 인코딩에 관한 것으로, 더욱 구체적으로 이미지 프레임에서의 움직임에 기초하여 이미지 프레임 사이의 인트라 인코딩 영역의 패딩을 적용시킬 수 있는 방법 및 인코더에 관한 것이다.

Description

복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법{METHOD FOR INTRA REFRESH ENCODING OF A PLURALITY OF IMAGE FRAMES}
본 발명은 주기적인 인트라 리프레쉬를 사용하는 비디오 인코딩에 관한 것으로, 특히 이미지 프레임에서의 모션에 기초하여 이미지 프레임들 사이의 인트라 인코딩 영역의 패딩을 적용시킬 수 있는 방법 및 인코더에 관한 것이다.
H.264 인코딩(및 유사한 표준)의 일반적인 문제는 I-프레임 비트레이트 스파이크(I-frame bitrate spike)이다. 이러한 문제는 동일한 네트워크에 많은 수의 카메라가 존재할 수 있고 일반적인 감시 장면은 I- 프레임 대 P- 프레임 크기 비율이 매우 크기 때문에 감시 카메라의 경우 종종 더 나쁘다. 이상적으로, 네트워크는 일정한 비트레이트를 선호한다.
카메라에 대한 비트레이트 스파이크를 감소시키는 하나의 해결책은 I-프레임을 복수의 이미지 프레임에 걸쳐 확산시키고 대신에 각각의 이미지 프레임의 일부(인트라 리프레쉬 영역)를 I- 블록으로 인코딩되도록 강제하는 것이다. 인트라 리프레쉬 영역은 이미지 프레임 세트를 걸쳐 이미지 프레임을 가로 질러 이동되어, 이미지를 "리플레싱(refreshing, 새로 고침)"한다. 이러한 방법을 주기적인 인트라 리플레쉬 또는 그냥 인트라 리프레쉬라고 한다.
그러나 이러한 방법에는 바람직하지 않은 비트레이트 페널티가 동반된다. 작동하기 위해, 인트라 리프레쉬는 이미지 프레임의 이미지 데이터에서 이동에 적합한 인트라 리프레쉬 영역의 업데이트 패턴을 필요로 하고, 예를 들어 캡처된 장면에서 모션을 야기하거나 장면을 캡처하는 동안 카메라의 이동으로 인해, 블록 일치 알고리즘이 여전히 잘 작동할 수 있다. 이는 많은 경우에, 이미지 프레임의 불필요한 부분이 I-블록으로 인코딩되도록 강제된다는 것을 의미한다.
따라서 이러한 맥락에서 개선이 필요하다.
상기를 고려하여, 본 발명의 목적은 상기 논의된 문제점 중 적어도 일부를 극복하거나 완화시키는 것이다. 특히, 이미지 프레임과 관련된 모션 레벨에 기초하여 인트라 인코딩되어야 하는 이미지 프레임의 영역의 크기를 동적으로 선택하기 위한 방법, 장치, 소프트웨어 및 시스템을 제공하는 것이 목적이다.
본 발명의 제1 양태에 따르면, 비디오 스트림의 복수의 이미지 프레임들의 인트라 리프레쉬 인코딩을 위한 방법이 제공되며, 상기 인트라 리프레쉬 인코딩은 인트라 인코딩되어야 하는 이미지 프레임의 영역을 정의하는 미리 정의된 주기적인 인트라 리프레쉬 패턴에 기초하고, 상기 방법은 각각의 이미지 프레임에 대해:
· 상기 이미지 프레임과 관련된 현재의 모션 레벨을 수신하는 단계 - 상기 현재의 모션 레벨은 상기 비디오 스트림의 이전에 인코딩된 이미지 프레임의 이미지 데이터와 비교하여 상기 이미지 프레임의 이미지 데이터의 일부가 크게 변화된 정도를 추정함 -,
· 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴에 따라 상기 이미지 프레임의 인트라 인코딩 영역을 결정하는 단계를 포함한다.
상기 현재 모션 레벨이 제1 임계값을 초과하지 않는 경우, 상기 방법은 :
· 상기 이미지 프레임의 상기 인트라 인코딩 영역을 인트라 인코딩하는 단계, 및
·나머지 이미지 프레임을 인터 프레임 인코딩하는 단계를 포함한다.
상기 현재 모션 레벨이 상기 제1 임계값을 초과하는 경우, 상기 방법은:
· 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 결정된 범위(extent)로 확장하는 단계,
· 상기 이미지 프레임의 확장된 인트라 인코딩 영역을 인트라 인코딩하는 단계, 및
·나머지 이미지 프레임을 인터 프레임 인코딩하는 단계를 포함한다.
"인터 프레임 인코딩(inter frame encoding)"은 일반적으로 나머지 이미지 프레임, 즉 인트라 인코딩되도록 강제되지 않은 부분이 P-프레임 또는 B-프레임으로 인코딩됨을 의미한다. 이는 나머지 프레임의 매크로블록이 인터 인코딩되거나 인트라 인코딩되는 것을 의미하고, 인코더에 따른 결정이 예를 들어 블록 일치의 결과, 나머지의 크기 등에 좌우된다는 것을 의미한다.
"주기적인 인트라 리프레쉬 패턴(periodic intra refresh pattern)"은 일반적으로 인트라 인코딩, 즉 I-블록으로 인코딩되도록 강제되어야 하는 이미지 프레임의 영역/부분/매크로블록(들)을 정의하는 순환 패턴(cyclic pattern)을 의미한다. 상기 패턴은 주기적/순환적이며, 이는 n개의 이미지 프레임마다 패턴이 다시 시작됨을 의미한다.
현재 모션 레벨이 수신되며, 이는 상기 비디오 스트림의 이전에 인코딩된 이미지 프레임의 이미지 데이터와 비교하여 상기 이미지 프레임의 이미지 데이터의 일부가 크게 변한 정도를 추정한다. 상기 이전에 인코딩된 이미지 프레임은 상기 비디오 스트림의 시간적으로 선행하는 이미지 프레임 또는 상기 비디오 스트림의 시간적으로 후속하는 이미지 프레임일 수 있다(즉, B-프레임 인코딩의 경우). 상기 모션 레벨은 본 발명의 실시 형태를 구현하는 인코더에 연결된 다른 유닛에 의해 계산되거나 인코더에 의해 계산될 수 있다. 상기 모션 레벨은 임의의 적절한 방식, 예를 들어 인코딩될 상기 이미지 프레임의 이미지 데이터를 상기 비디오 스트림에서 이전 프레임의 이미지 데이터와 비교함으로써, 결정될 수 있다. 일부 실시 형태들에서, 상기 모션 레벨은 이전에 인코딩된 이미지 프레임에 대해 결정/계산되고, 그 모션 레벨은 상기 현재 모션 레벨, 즉 인코딩될 이미지 프레임에 대한 모션 레벨의 추정으로서 사용된다. 바람직하게, 이는 예를 들어 제2, 제3, 제4 등의 이미지 프레임에 대한 모션 레벨을 결정하는 것만을 허용하고, 이는 계산 복잡성을 감소시킨다. 이러한 실시 형태는 또한 모션 감지가 예를 들어 다른 프로세서를 사용하여 개별적으로 수행될 수 있기 때문에, 비디오 스트림의 복수의 이미지 프레임들을 인코딩하기 위한 분산된 구조(distributed architecture)를 용이하게 하고, 그런 다음 상기 모션 레벨은 인코딩될 이미지 프레임의 모션 레벨에 대한 추정으로서 사용되도록 인코더로 전송될 수 있다. 따라서, 모션 레벨은 이후 인코딩시 추정으로서 사용되는 이미지 프레임에 대해 결정될 필요가 없다는 것을 주목해야 한다. 일부 실시 형태에서, 상기 모션 레벨은 예를 들어 인코딩될 프레임 이전의 프레임에 대해 결정된다. 그러나, 이러한 측정은 인코딩될 프레임의 모션 레벨에 대해 여전히 양호한 추정(최상의 추측)일 수 있다.
본 발명은 상기 인트라 리프레쉬 패딩(padding)에 대한 페널티(penalty)(즉, 상기 비디오 스트림에서 연속적인 이미지 프레임들 사이에서 인트라 리프레쉬 영역을 중첩하는 것과 관련된 비트레이트 페널티)가 픽셀들의 블록을 인터 프레임 인코딩하기 위한 비트레이트 코스트(cost)와 비교하여 픽셀들의 블록(I-블록)을 인트라 인코딩하기 위한 비트레이트 코스트의 비율과 관련되고, 이는 모션 레벨과 관련된다는 사실에 기초한다. 특정 이미지 콘텐츠(specific image content)를 갖는 인터 블록이 동일하거나 유사한 이미지 콘텐츠를 갖는 이전 이미지 프레임에서 인트라-블록으로 지칭될 수 있는 가능성을 증가시키기 위해, 이미지에서의 모션의 경우에 중첩이 필요할 수 있다. 그러나, 인트라 블록을 인코딩하기 위한 비트레이트에서의 코스트는 인터 블록을 인코딩하기 위한 코스트보다 높다. 이를 고려하여, 본 발명자들은 인트라 리프레쉬 패딩의 최적 레벨(즉, 상기 비디오 스트림에서 이미지 프레임들 사이의 인트라 인코딩 영역들 사이의 중첩)을 동적으로 선택함으로써, 비트레이트 페널티가 최소화될 수 있음을 인지하였다. 다시 말해, 이미지 프레임들의 시퀀스를 통한 인트라 리프레쉬 영역의 커버리지(coverage)는 예를 들어, 묘사된 장면에서의 모션 레벨 및/또는 비디오 캡처 장치의 시야의 조정(비디오 캡처 장치의 팬(pan) 및/또는 틸트(tilt) 및/또는 줌(zoom) 조정)으로 인해 이미지 데이터에서의 모션 레벨에 기초하여 동적으로 조정된다.
결과적으로, 낮은 현재 모션 레벨(즉, 제1 임계값 이하)의 경우, 결정된 인트라 인코딩 영역(예를 들어, 이미지 프레임의 슬라이스(slice) 또는 타일(tile), 또는 이미지 프레임에 걸쳐 학산된 복수의 매크로블록, 또는 임의의 다른 적절한 구성)은 미리 정의된 주기적인 인트라 리프레쉬 패턴에서 정의되는 바와 같이 사용되고, 결정된 인트라 인코딩 영역의 매크로블록의 인코딩은 I-블록으로 강제된다. 이미지 프레임의 나머지 부분은 상기 정의된 바와 같이 인터 프레임 인코딩된다. 현재의 모션 레벨이 낮기 때문에, 이미지 프레임들 사이의 인트라 리프레쉬 패딩이 감소/제거될 때에도, 이미지 프레임의 나머지 부분의 대부분의 매크로블록은 인터 블록으로서 인코딩될 것이다.
그러나, 현재 모션 레벨이 모션 레벨 임계값을 초과하면, 인트라 인코딩 영역은 결정된(미리 정의된) 범위까지 확장된다. 이는 인트라 인코딩 영역이 현재 모션 레벨이 중첩이 없거나 중첩이 적은 곳에서 보다 높지 않은 경우와 비교하여, 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩(또는 크게 중첩)될 것임을 의미한다. 이미지 프레임의 나머지 부분은 상기 정의된 바와 같이 인터 프레임 인코딩된다. 이러한 경우 패딩이 증가하므로, 이미지 프레임의 나머지 부분의 대부분의 매크로블록은 인터 블록으로서 인코딩될 것이다. 그러나, 인트라 인코딩 영역이 확장되기 때문에, 인트라 리프레쉬 영역에 대한 비트레이트 코스트가 증가된다.
상기 비디오 스트림의 이전에 인코딩된 이미지 프레임의 이미지 데이터와 비교하여 상기 이미지 데이터의 일부가 크게 변한 정도의 추정으로서 상기 현재 모션 레벨을 정의함으로써, 이러한 측정(measure)은 인트라 리프레쉬 패팅의 범위를 결정하기 위해 바람직하게 사용될 수 있고, 이는 이러한 추정이 패딩이 없거나 패딩이 덜 사용되는 경우 인트라 블록으로서 종료될 이미지 프레임의 인터 프레임 인코딩된 부분의 매크로블록의 수를 추정하는데 사용될 수 있기 때문이다. 모션으로 인한 여분의 인트라 블록에 대한 추정된 코스트는 인트라 리프레쉬 영역으로서 이미지 프레임의 더 큰 부분을 인코딩하기 위한 코스트, 즉 패딩을 증가시키기 위한 코스트(즉, 인트라 리프레쉬 영역을 확장하는 것)과 비교될 수 있다.
일부 실시 형태들에 따르면, 복수의 이미지 프레임에 대해, 미리 정의된 주기적인 인트라 리프레쉬 패턴에서의 영역이 중첩되지 않는다. 결과적으로, 현재의 모션 레벨이 제1 임계값 이하일 때, 이는 이미지 프레임의 인트라 인코딩 영역과 복수의 이미지 프레임들 중 이전에 인코딩된 인트라 인코딩 영역 사이에 패딩이 사용되지 않도록 한다. 바람직하게, 이는 인트라 리프레쉬 인코딩에 대한 비트레이트 페널티를 감소시킬 수 있다.
일부 실시 형태들에 따르면, 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는: 비디오 스트림에서 직전에 참조된 이미지 프레임의 인트라 인코딩 영역과 중첩되도록 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계를 포함한다. 참조 이미지 프레임은 현재 인코딩된 이미지 프레임의 인터 인코딩된 매크로블록의 이미지 데이터를 정의하기 위해 이미지 데이터가 사용되는 이미지 프레임을 의미한다. 결과적으로, 인코딩 효율이 증가될 수 있다. 다른 실시 형태들에서, 두개의 시간적 방향들에서 복수의 참조들을 허용하는 GOP 구조들이 사용될 수 있고, 예를 들어 하나의 역방향 및 하나의 전방 참조 프레임, 또는 장기 참조 프레임 및 직전 참조 프레임 또는 두개의 이전 프레임들의 일부 혼합이 사용된다. 이러한 경우, 이미지 프레임의 인트라 인코딩 영역의 확장이 이에 따라 수행되어야 한다.
일부 실시 형태들에 따르면, 상기 방법은:
현재 모션 레벨이 제2 임계값을 초과하면, 상기 제2 임계값은 상기 제1 임계값보다 크며, 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 이미지 프레임의 인트라 인코딩 영역을 제1 범위로 확장하는 단계,
현재 모션 레벨이 상기 제2 임계값을 초과하지 않을 때, 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 인트라 인코딩 영역을 제2 범위로 확장하는 단계를 포함하고, 여기서 제1 범위는 제2 범위보다 크다.
이러한 실시 형태에서, 적어도 3개의 레벨의 인트라 리프레쉬 패딩이 사용된다. 일부 실시 형태들에서, 제1 범위는 최대 패딩을 나타내며, 이는 더 큰 현재 모션 레벨이 더 많은 패딩을 야기하지 않음을 의미한다. 3가지 레벨의 패딩을 사용하는 것은 인코딩 방법의 계산 복잡성과 인트라 리프레쉬 인코딩 방법에 대한 비트레이트 페널티 감소 가능성 사이의 균형이 양호한 것을 나타낼 수 있다.
일부 실시 형태들에 따르면, 인트라 인코딩 영역 및 확장된 인트라 인코딩 영역 각각은 하나 이상의 슬라이스 또는 타일에 의해 정의된다. 이러한 실시 형태는 주기적인 인트라 리프레쉬 패턴 및 이의 인트라 리프레쉬 영역을 정의하는 복잡성이 낮은 방법을 나타낼 수 있다. H.264, H.265와 같은 고효율 비디오 코딩(HEVC) 코덱을 사용하면, 슬라이스(H.264, H.265) 및/또는 타일(H.265)이 인코딩의 병렬 처리를 용이하게 하여, 효율성을 높일 수 있다. 다시 말해, H.264, H.265, VP9, AV1과 같은 최신 블록 기반 비디오 코덱을 사용하면, 슬라이스 및/또는 타일이 인코딩의 병렬 처리를 용이하게 할 수 있어, 처리량을 증가시킨다. 또한, 슬라이스/타일은 인트라 리프레쉬 영역을 정의하기 위한 복잡성이 낮은 구조를 나타낼 수 있다.
일부 실시 형태들에 따르면, 미리 정의된 주기적인 인트라 리프레쉬 패턴은 2개의 연속 이미지 프레임들 사이에서 수직 방향 또는 수평 방향으로만 변위되는 인트라 인코딩 영역을 정의한다. 예를 들어, 패턴에서의 제1 인트라 리프레쉬 영역이 매크로블록의 가장 왼쪽의 열(들)에 해당하는 경우, 패턴에서의 다음 인트라 리프레쉬 영역은 매크로블록의 인접한 열(들)에 해당할 수 있고, 마지막 인트라 리프레쉬 영역까지 매크로블록의 가장 오른쪽 열(들)에 해당한다. 그런 다음 패턴은 가장 왼쪽 열(들)부터 다시 시작한다. 바람직하게, 이러한 실시 형태는 주기적인 인트라 리프레쉬 패턴의 복잡성과 이의 사용을 감소시킨다.
일부 실시 형태들에 따르면, 미리 정의된 주기적인 인트라 리프레쉬 패턴은 수직 방향으로 변위되는 인트라 인코딩 영역을 정의하며, 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는 이미지 프레임의 인트라 인코딩 영역의 높이를 증가시키는 단계를 포함한다. 예를 들어, 제1 인트라 인코딩 영역이 이미지 프레임의 이미지 데이터에서 매크로블록의 처음 3개의 행을 정의하고, 제2 인트라 인코딩 영역이 이미지 프레임의 이미지 데이터에서 매크로블록의 4행 내지 6행을 정의하는 경우, 확장된 제2 인트라 인코딩 영역은 예를 들어, 확장된 인트라 인코딩 영역이 이미지 프레임의 이미지 데이터에서 3행 내지 6행의 매크로블록을 정의하는 것으로 나타날 수 있다. 유사하게, 일부 실시 형태들에서, 미리 정의된 주기적인 인트라 리프레쉬 패턴은 수평 방향으로 변위되는 인트라 인코딩 영역을 정의하며, 여기서 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는 이미지 프레임의 인트라 인코딩 영역의 폭을 증가시키는 단계를 포함한다.
일부 실시 형태들에 따르면, 현재 모션 레벨이 제1 임계값을 초과하지 않는 경우, 상기 방법은 나머지 이미지 프레임의 인터 프레임 인코딩에 대한 모션 벡터 검색 범위를 현재 검색 범위에서 미리 정의된 검색 범위로 조정하는 단계를 포함한다. 인코딩될 이미지 프레임의 이미지 데이터에 낮은 모션이 존재하는 것으로 이미 추정되기 때문에, 이러한 지식은 인터 프레임 인코딩을 위한 모션 벡터 검색 범위를 감소(조정)하는데 바람직하게 사용될 수 있다. 미리 정의된 검색 범위는, 예를 들어 미리 정의된 주기적인 인트라 리프레쉬 패턴에서의 영역이 중첩되지 않는 경우 0으로 설정될 수 있다. 이러한 경우에 인트라 리프레쉬 패딩이 사용되지 않기 때문에, 0보다 큰 모션 벡터 검색 범위가 반드시 이점을 제공할 필요는 없으며, 사용하지 않기 위해 계산 복잡성이 증가할 뿐이다. 미리 정의된 주기적인 인트라 리프레쉬 패턴에서의 영역이 일부 범위, 예를 들어 16, 32 또는 80 픽셀과 중첩되는 경우, 미리 정의된 검색 범위는 대응하여 정의될 수 있으며, 즉 16, 32 또는 80 픽셀로 설정될 수 있다.
일부 실시 형태들에 따르면, 상기 방법은 현재 모션 레벨이 제2 임계값을 초과하면, 나머지 이미지 프레임의 인터 프레임 인코딩에 대한 모션 벡터 검색 범위를 제1 범위에 해당하도록 조정하는 단계, 및 현재 모션 레벨이 제2 임계값을 초과하지 않으면, 나머지 이미지 프레임의 인터 프레임 인코딩에 대한 모션 벡터 검색 범위를 제2 범위에 해당하도록 조정하는 단계를 포함한다. 전술한 것과 유사하게, 제1 범위가 32 픽셀(예를 들어, 2개의 매크로블록)에 해당하고, 제2 범위가 16 픽셀에 해당하는 경우, 모션 벡터 검색 범위는 인코딩될 이미지 프레임에 대해 추정된 현재 모션 레벨에 따라 해당하는 값으로 설정될 수 있다. 일부 실시 형태들에 따르면, 모션 벡터 검색 범위는 주기적인 인트라 리프레쉬 패턴에서 인트라 인코딩된 영역들의 변위 방향에 해당하는 방향으로만 제한된다. 예를 들어, 미리 정의된 주기적인 인트라 리프레쉬 패턴이 수평 방향으로 변위되는 인트라 인코딩 영역을 정의하면, 모션 벡터는 수평 방향으로 상기에 따라 제한된다.
상기 실시 형태들에서, 모션 벡터 검색 범위는 복수의 이미지 프레임들 중 인트라 인코딩된 영역들 사이의 결정된 중첩을 고려하여 바람직하게 조정된다. 이들 실시 형태들의 기술적 효과는 비트레이트 감소 및 인코딩의 계산 복잡도 감소(예를 들어, 낮은 모션 레벨이 결정될 때 감소된 검색 범위로 인해)일 수 있다. 이들 실시 형태들에서, 비디오 스트림의 이전 이미지 프레임의 이미지 데이터와 비교하여 현재 모션 레벨을 이미지 프레임의 이미지 데이터의 일부가 크게 변화된 정도의 추정으로서 정의함으로써, 이러한 측정은 인트라 리프레쉬 패팅의 범위를 결정하기 위해 바람직하게 사용될 수 있고, 이는 이러한 추정이 모션 검색이 없거나 모션 검색이 덜 사용된 경우 인트라 블록으로서 종료될 이미지 프레임의 인터 프레임 인코딩된 부분의 매크로블록의 수를 추정하는데 사용될 수 있기 때문이다. 모션 검색이 없거나 모션 검색이 적기 때문에 여분의 인트라 블록에 대한 추정된 코스트는 이미지 프레임의 더 큰 부분을 인트라 리프레쉬 영역으로서 인코딩하기 위한 코스트, 즉 패딩(즉, 인트라 리프레쉬 영역 확장) 및 모션 검색 범위를 증가시키는 것과 비교될 수 있다.
본 발명의 제2 양태에 따르면, 상기 목적은 장면을 묘사하는 비디오 스트림의 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위해 구성된 인코더에 의해 달성되며, 상기 인트라 리프레쉬 인코딩은 인트라 인코딩되어야 하는 이미지 프레임의 영역을 정의하는 미리 정의된 주기적인 인트라 리프레쉬 패턴에 기초하고, 상기 인코더는:
· 장면에서 현재 모션 레벨을 수신하고 - 상기 현재 모션 레벨은 상기 비디오 스트림의 이전에 인코딩된 이미지 프레임의 이미지 데이터와 비교하여 상기 이미지 프레임의 이미지 데이터의 일부가 변경된 정도를 추정함 -;
· 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴에 따라 상기 이미지 프레임의 인트라 인코딩 영역을 결정하도록 구성된 프로세서를 포함한다.
현재 모션 레벨이 제1 임계값을 초과하지 않으면, 상기 프로세서는:
· 상기 이미지 프레임의 인트라 인코딩 영역을 인트라 인코딩하고,
· 상기 나머지 이미지 프레임을 인터 프레임 인코딩하도록 구성된다.
현재의 모션 레벨이 제1 임계값을 초과하면, 상기 프로세서는:
· 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 결정된 범위로 확장하고,
·상기 이미지 프레임의 확장된 인트라 인코딩 영역을 인트라 인코딩하고, 나머지 이미지 프레임을 인터 프레임 인코딩하도록 구성된다.
일부 실시 형태들에 따르면, 상기 프로세서는 현재 모션 레벨이 제2 임계값을 초과하면(제2 임계값이 제1 임계값보다 더 큼):
· 복수의 이미지 프레임들 중 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제1 범위로 확장하도록 추가로 구성된다.
현재 모션 레벨이 제2 임계값을 초과하지 않는 경우, 상기 프로세서는:
· 복수의 이미지 프레임들 중 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제2 범위로 확장하도록 구성되고, 상기 제1 범위는 상기 제2 범위보다 크다.
일부 실시 형태들에 따르면, 상기 프로세서는 현재 모션 레벨이 제1 임계값을 초과하지 않으면, 나머지 이미지 프레임의 인터 프레임 인코딩에 대한 모션 벡터 검색 범위를 현재 검색 범위에서 미리 정의된 검색 범위로 조정하도록 추가로 구성된다.
본 발명의 제3 양태에 따르면, 상기 목적은 비디오 캡처 장치, 모션 감지기 및 제2 양태에 따른 인코더를 포함하는 시스템에 의해 달성되고,
상기 비디오 캡처 장치는 장면을 묘사하고 복수의 이미지 프레임들을 포함하는 비디오 스트림을 캡처하도록 구성되며, 상기 비디오 스트림의 이미지 프레임을 모션 감지기 및 인코더로 연속적으로 전송하도록 구성되며,
상기 모션 감지기는 수신된 이미지 프레임들에서 이미지 데이터에 기초하여 캡처된 이미지 프레임들에서의 현재 모션 레벨을 지속적으로 감지하고, 현재 모션 레벨을 인코더로 전송하도록 구성된다.
본 발명의 제4 양태에 따르면, 상기 목적은 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태의 방법을 수행하도록 적용된 명령어를 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.
제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 장점을 가질 수 있다. 또한, 본 발명은 달리 명시되지 않는 한 모든 가능한 특징의 조합에 관한 것이다.
본 발명의 전술한 것뿐만 아니라, 추가적인 목적, 특징 및 장점은 첨부된 도면을 참조하여 이하의 예시적이고 비-제한적인 상세한 설명을 통해 보다 잘 이해될 것이고, 동일한 참조 번호는 유사한 요소에 사용될 것이다.
도 1은 본 발명에 사용될 수 있는 미리 정의된 주기적인 인트라 리프레쉬 패턴의 4가지 다른 예를 개략적으로 도시한다.
도 2는 종래 기술에 따른 비디오 스트림의 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법을 도시한다.
도 3은 제1 실시 형태에 따른 비디오 스트림의 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법을 도시한다.
도 4는 제2 실시 형태에 따른 비디오 스트림의 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법을 도시한다.
도 5a-c는 모션 레벨과 인트라 리프레쉬 영역의 확장 사이의 매핑의 실시 형태를 도시한다.
도 6은 실시 형태에 따른 비디오 스트림의 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법의 흐름도를 도시한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 형태에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 명세서에 개시된 시스템 및 장치는 작동 중에 설명될 것이다.
전술한 바와 같이, 주기적인 인트라 리프레쉬는 GOP 당 1회, 즉 이미지 프레임이 인트라 인코딩을 사용하여 인코딩될 때 발생하는 비트레이트에서의 스파이크를 제거하기 위한 확립된 방법이다. 인트라 리프레쉬 방법에서, 주기적인 인트라 리프레쉬 패턴은 "리프레쉬"(즉, 다른 이미지 프레임을 참조하지 않고 인코딩됨)되어야 하는 이미지 프레임의 부분을 정의하기 위해 사용되며, 따라서 인트라 코딩된 영역으로 인코딩되게 강제된다.
이러한 패턴의 예는 도 1에 도시된다. 각각의 예는 전체 이미지 프레임이 리프레쉬될 수 있도록 3개의 이미지 프레임을 포함하지만, 일반적인 경우, 인트라 리프레쉬 패턴은 더 큰 복수의 이미지 프레임, 32 또는 64 등에 걸쳐 순환한다는 것을 이해해야 한다.
도 1에서(뿐만 아니라, 도 2 내지 5에서), 점선 영역은 인트라 리프레쉬 영역을 나타내고, 채워지지 않은 영역은 이미지 프레임의 나머지 부분을 나타낸다.
도 1의 좌측 상단 예에서, 주기적인 인트라 리프레쉬 패턴(100a)이 도시되고, 이미지 프레임에서 매크로블록의 완전한 행이 인트라 리프레쉬 영역을 정의한다. 일부 실시 형태들에서, 패턴(100a)에서의 인트라 리프레쉬 영역은 하나 이상의 슬라이스에 의해 정의될 수 있다. 일부 실시 형태들에서, 인트라 리프레쉬 영역은 하나의 행의 매크로블록을 포함하는데, 이는 인트라 리프레쉬 패턴이 이미지 프레임에서 매크로블록의 행의 수와 동일한 다수의 이미지 프레임에 걸쳐 순환한다는 것을 의미한다. 도 1a에서, 주기적인 인트라 리프레쉬 패턴(100a)은 2개의 연속 이미지 프레임들 사이에서 수평 방향으로 변위(스태거)되는 인트라 인코딩 영역을 정의한다.
도 1의 좌측 하단 예에서, 주기적인 인트라 리프레쉬 패턴(100b)이 도시되고, 이미지 프레임에서 매크로블록의 완전한 열(들)이 인트라 리프레쉬 영역을 정의한다. 일부 실시 형태들에서, 패턴(100a)에서의 인트라 리프레쉬 영역은 하나 이상의 타일에 의해 정의될 수 있다. 일부 실시 형태들에서, 인트라 리프레쉬 영역은 매크로블록의 하나의 열을 포함하는데, 이는 인트라 리프레쉬 패턴이 이미지 프레임에서 매크로블록의 열의 수와 동일한 이미지 프레임의 수에 걸쳐 순환한다는 것을 의미한다. 도 1b에서, 주기적인 인트라 리프레쉬 패턴(100b)은 2개의 연속 이미지 프레임들 사이에서 수직 방향으로 변위(스태거)되는 인트라 인코딩 영역을 정의한다.
주기적인 인트라 리프레쉬 패턴을 정의하는 다른 방법들도 동일하게 가능하다. 도 1은 이러한 패턴의 2개의 추가 실시 형태들을 예로서 도시한다. 우측 상단 예에서, 주기적인 인트라 리프레쉬 패턴(100c)은 이미지 프레임의 하나의 코너에서 반대 코너로 이동하는 대각선 영역에 의해 정의된다. 우측 하단 코너에서, 보다 임의의 접근법에 따른 인트라 리프레쉬 패턴(100d)이 정의되며, 여기서 별도의 매크로블록은 각각의 이미지 프레임에 대한 인트라 리프레쉬 영역을 정의한다. 도 1에서의 인트라 리프레쉬 패턴의 모든 예에서, 이미지 프레임 픽셀의 모든 정의된 매크로블록이 패턴(100a-d)의 사이클 동안, 즉 인트라 리프레쉬 패턴의 사이클이 연장되는 n개의 이미지 프레임(이들 예에서 n = 3)에 걸쳐 인트라 리프레쉬된다.
도 1의 미리 정의된 주기적인 인트라 리프레쉬 패턴의 예에서, 패턴에서의 영역은 연속 이미지 프레임 사이에서 중첩되지 않는다. 그러나, 일부 실시 형태들에 따르면, 일부 중첩이 존재할 수 있다.
도 2-4의 예에서, 도 1의 인트라 리프레쉬 패턴(100a)의 좌측 상단 예는 본 발명의 다른 실시 형태를 예시하기 위해 사용된다. 도 1의 임의의 다른 예시적인 패턴(100b-d) 또는 도 1에 도시되지 않은 임의의 다른 적절한 인트라 리프레쉬 패턴이 이용될 수 있음에 유의해야 한다.
인트라 리프레쉬 인코딩 방법을 사용할 때, 이미지 프레임의 인트라 리프레쉬 영역의 이미지 데이터(예를 들어, 매크로블록)가 인트라 인코딩된다. 이미지 프레임의 나머지 이미지 데이터는 인터 프레임 인코딩되고, 이는 인코딩된 이미지 프레임의 이러한 부분의 매크로블록이 인트라 인코딩되거나 인터 인코딩된다는 것을 의미한다. 인트라 리프레쉬 인코딩 방법을 사용하여 복수의 이미지 프레임을 인코딩할 때 비트레이트를 최소화하기 위해, 인터 프레임 인코딩된 영역에서 가능한 많은 매크로블록이 예측된 매크로블록, 즉 인터 인코딩된 매크로블록으로서 인코딩되는 것이 바람직하다. 인터 또는 인트라로서 매크로블록을 인코딩하는 것 사이의 선택은 인코더에 의해 이루어지며, 이전 이미지 프레임에서 임의의 매크로블록이 현재 인코딩된 매크로블록을 효율적으로 예측하기 위해 발견되고 사용될 수 있는지에 기초한다. 결국, 인코딩 효율을 증가시키기 위해, 인트라 리프레쉬 방법을 사용하여 인코딩될 복수의 이미지 프레임에서의 새로운 이미지 콘텐츠의 가능한 많은 것이 이미지 프레임의 인트라 리프레쉬 영역의 이미지 데이터의 일부일 필요가 있다. 이해될 수 있는 바와 같이, 2개의 연속 이미지 프레임의 인트라 리프레쉬 영역 사이의 경계 영역에서 이미지 데이터(및 새로운 이미지 데이터)의 이동은 일부 이미지 콘텐츠가 인트라 리프레쉬 영역에 결코 포함되지 않을 수 있는 것으로 나타날 수 있다.
일반적으로 사용되는 하나의 해결책은 두개의 이미지 프레임 사이의 인트라 리프레쉬 영역이 항상 어느 정도 중첩하도록 하는 것이다. 이를 인트라 리프레쉬 패딩이라고 할 수 있으며, 도 2는 종래 기술에서 사용된 실시 형태를 도시한다. 도 2는 제1, 제2 및 제3 이미지 프레임(102a-c)을 도시한다. 상이한 이미지 프레임들의 인트라 리프레쉬 영역(104a-c)은 미리 정의된 주기적인 인트라 리프레쉬 패턴으로부터 결정된다. 도 2에 도시된 바와 같이, 제2 이미지 프레임(102b) 및 제3 이미지 프레임(102c)에 대한 인트라 리프레쉬 영역은 중첩(202b, 202c)(도 2에서 경계를 갖는 점선 영역으로 도시됨)이 제1 이미지 프레임(102a)의 인트라 리프레쉬 영역(104a)과 제2 이미지 프레임(102b)의 인트라 리프레쉬 영역(104b) 사이, 및 제2 이미지 프레임(102b)의 인트라 리프레쉬 영역(104b)과 제3 이미지 프레임(102c)의 인트라 리프레쉬 영역(104c) 사이에서 형성되도록 연장된다. 이러한 해결책으로, 인트라 리프레쉬 방법은 복수의 이미지 프레임들(102a-c) 중 이미지 데이터에서 콘텐츠의 이동에 덜 민감하다. 그러나, 제2 및 제3 이미지 프레임(102b-c)의 이미지 데이터의 대부분이 인트라 인코딩되도록 강제되기 때문에, 도 2의 해결책은 바람직하지 않은 비트레이트 페널티(보통 20-30% 초과)를 동반한다. 예를 들어, 각각의 이미지 프레임의 높이가 68 매크로블록이고 인트라 블록 및 인터 블록(낮은 모션 장면에서 공통) 코딩 사이의 x100의 크기 차이가 있는 FHD 비디오의 경우, 비디오 스트림의 이미지 프레임의 인트라 인코딩 영역 사이에 두개의 블록 패딩을 적용하면 >100% 비트레이트 증가를 생성할 것이다.
본 발명자들은 패딩의 크기가 비디오 스트림의 이전 이미지 프레임의 이미지 데이터와 비교하여 이미지 프레임의 이미지 데이터의 일부가 크게 변한 정도를 적용할 수 있고, 이는 낮은 모션 장면이 여전히 효율적인 인코딩을 수행하는데 높은 모션 장면만큼 많은 패딩이 필요하지 않기 때문인 것을 인지하였다.
도 3은 도 5a 및 도 6과 관련하여 설명될 인트라 리프레쉬 인코딩 방법의 일 실시 형태를 도시한 것이다. 도 3은 제1, 제2 및 제3 이미지 프레임(102a-c)을 도시한다. 제1 이미지 프레임(102a)에 대해, 인트라 인코딩 영역(104a)은 미리 정의된 주기적인 인트라 리프레쉬 패턴(도 1의 좌측 상단)에 따라 결정된다. 결과적으로, 이미지 프레임(102a)의 상부(인트라 인코딩 영역(104a))는 인트라 인코딩되도록 강제된다. 이미지 프레임(102a)의 나머지 부분에 대해, 이미지 데이터는 인트라 프레임 인코딩된다.
제2 이미지 프레임(102b)에 대해, 현재의 모션 레벨이 수신된다(S02). 이러한 예에서, 도 5a의 맵핑 방식(502a)은 이러한 이미지 프레임에 대해 결정된(S04) 인트라 인코딩 영역(104b)의 확장이 수행되어야 하는지 여부를 결정하기 위해 사용된다. 제2 이미지 프레임(102b)에 대해, 현재의 모션 레벨이 제1 임계값(506)을 초과하지 않는 것으로 결정된다(S06). 도 5a에 도시된 바와 같이, 이는 인트라 리프레쉬 영역(104b)의 확장이 수행되지 않아야 한다는 것을 의미한다. 제2 이미지 프레임(102b)에 대해, 이는 인트라 인코딩 영역(104b)이 확장되지 않고, 그 영역에서의 이미지 데이터가 인트라 인코딩(S14)되도록 강제된다는 것을 의미한다. 나머지 이미지 프레임은 인터 프레임 인코딩된다(S16). 이는 제2 이미지 프레임(102b)의 추가 부분이 인트라 인코딩되도록 강제되지 않음을 의미하며, 이는 낮은 모션 장면(임계값 미만의 현재 모션 레벨)에 대해, 효율성 관점에서 바람직하며, 예를 들어 인트라 리프레쉬 영역들 사이의 패딩(확장)이 항상 이루어지는 도 2의 실시 형태와 비교하여 비트레이트를 감소시킬 것이다.
제3 이미지 프레임(102c)에 대해, 현재의 모션 레벨이 수신된다(S02). 도 5a의 맵핑 방식(502a)은 이러한 이미지 프레임(102c)에 대해 결정된(S04) 인트라 인코딩 영역(104c)의 확장이 수행되어야 하는지 여부를 결정하는데 사용된다. 제3 이미지 프레임(102c)에 대해, 현재의 모션 레벨이 제1 임계값(506)을 초과하는 것으로 결정된다(S06). 도 5a에 도시된 바와 같이, 이는 인트라 리프레쉬 영역(104b)의 확장이 수행되어야 함을 의미한다. 결과적으로, 제3 이미지 프레임(102c)의 인트라 인코딩 영역(104c)은 이전에 인코딩된 이미지 프레임(102b)(이러한 실시 형태에서 제3 이미지 프레임에 일시적으로 선행함)의 인트라 인코딩 영역(104b)과 중첩되도록 결정된 범위(302c)로 확장된다(S08). 중첩 범위는 사용된 맵핑 방식(502a)에 의해 결정되며, 이러한 경우 맵핑 방식(502a)에 정의된 최대 확장(504)에 해당한다. 인트라 인코딩 영역(104c)의 확장은 인트라 인코딩 영역(104c)의 높이를 증가시킴으로써 이루어지며, 이는 영역(104c)을 확장하는 복잡성이 낮은 방법이다. 이는 사용된 인트라 리프레쉬 패턴에 의존하고, 도 1의 좌측 하단 실시 형태의 인트라 리프레쉬 패턴이 대신 사용된 경우, 이미지 프레임의 인트라 인코딩 영역의 폭을 증가시킴으로써 확장이 이루어질 수 있다.
인트라 인코딩 영역(104c)을 확장함으로써, 블록 일치 알고리즘은 이미지 데이터의 이동에도 불구하고 여전히 효율적으로 기능할 수 있다.
도 4는 도 5b 및 도 6과 관련하여 설명될 인트라 리프레쉬 인코딩 방법의 하나의 실시 형태를 도시한 것이다. 도 4는 제1, 제2 및 제3 이미지 프레임(102a-c)을 도시한다. 제1 이미지 프레임(102a)에 대해, 인트라 인코딩 영역(104a)은 미리 정의된 주기적인 인트라 리프레쉬 패턴(도 1의 좌측 상단)에 따라 결정된다. 결과적으로, 이미지 프레임(102a)의 상부(인트라 인코딩 영역(104a))는 인트라 인코딩되도록 강제된다. 이미지 프레임(102a)의 나머지 부분에 대해, 이미지 데이터는 인트라 프레임 인코딩된다.
제2 이미지 프레임(102b)에 대해, 현재의 모션 레벨이 수신된다(S02). 이러한 이미지 프레임(102b)에 대해 결정된(S04) 인트라 인코딩 영역(104b)의 확장이 수행되어야 하는지 여부를 결정하기 위해 도 5b의 맵핑 방식(502b)이 사용된다. 제2 이미지 프레임(102b)에 대해, 현재의 모션 레벨이 제1 임계값(506)을 초과하는 것으로 결정된다(S06). 도 5a의 맵핑 방식(502a)과 달리, 도 4의 복수의 이미지 프레임(102a-c)에 사용된 맵핑 방식(502b)은 현재의 모션 레벨에 따라 인트라 인코딩 영역의 하나 이상의 확장 레벨을 정의한다. 이러한 실시 형태에서, 현재의 모션 레벨이 제1 임계값(506)을 초과하는 것으로 결정되면, 현재의 모션 레벨은 제2 임계값(508)과 비교된다. 제2 이미지 프레임(102b)에 대해, 현재의 모션 레벨은 제2 임계값(508)을 초과하지 않는다. 결과적으로, 인트라 인코딩 영역(104b)은 맵핑 방식(502b)에 의해 정의된 확장 레벨(510)에 따라 결정된 범위(402b)까지 확장된다(S08). 이어서, 제2 이미지 프레임(102b)의 상이한 영역은 도 3과 관련하여 전술한 바와 같이 인코딩된다(S14, S16).
제3 이미지 프레임(102c)에 대해, 현재의 모션 레벨이 수신된다(S02). 도 5b의 맵핑 방식(502b)은 이러한 이미지 프레임(102c)에 대해 결정된(S04) 인트라 인코딩 영역(104c)의 확장이 수행되어야 하는지 여부를 결정하는데 사용된다. 제3 이미지 프레임(102c)에 대해, 현재 모션 레벨이 제1 임계값(506)을 초과하는 것으로 결정된다(S06). 전술한 바와 같이, 이러한 실시 형태에서, 현재 모션 레벨이 제1 임계값(506)을 초과하는 것으로 결정되면(S06), 현재의 모션 레벨은 제2 임계값(508)과 비교된다. 제3 이미지 프레임(102c)에 대해, 현재 모션 레벨이 제2 임계값(508)을 초과하는 것으로 결정된다(S10). 결과적으로, 맵핑 방식(502b)에 의해 정의된 확장 레벨(512)에 따라, 인트라 인코딩 영역(104c)은 결정된 범위(402c)로 확장된다(S08). 이어서, 제2 이미지 프레임(102b)의 상이한 영역은 도 3과 관련하여 전술한 바와 같이 인코딩된다(S14, S16).
도 5b의 3개의 레벨 확장 방식(502b)은 예로서 설명되며, 4, 6, 10 등의 레벨 확장 방식으로 확장될 수 있음에 유의해야 한다. 이는 도 6에 개략적으로 도시되며, 일부 실시 형태에 따르면, 현재의 모션 레벨은 복수의 임계값과 비교(S10)될 수 있고, 인트라 리프레쉬 영역의 추가 확장(들)(S08)을 초래할 수 있다. 인트라 리프레쉬 영역을 확장하는 이러한 방식은 단지 예일 뿐이고, 일부 실시 형태에 따르면, 현재의 모션 레벨이 특정 확장 레벨(즉,도 5a-c에 정의된 바와 같이)로 직접적으로 맵핑되며, 인트라 리프레쉬 영역이 이에 따라 확장된다. 일부 실시 형태들에 따르면, 현재의 모션 레벨과 인트라 리프레쉬 영역의 확장 사이의 반-연속 맵핑이 도 5c에 도시된 바와 같이 사용된다. 맵핑 방식(502c)은 매크로블록의 크기, 16x16 픽셀의 크기에 따라 단계적으로 인트라 리프레쉬 영역의 확장을 정의한다.
도 4의 실시 형태에서, 인트라 인코딩 영역의 확장이 제1 임계값(506)을 초과하는 현재의 모션 레벨로 인해 이루어져야 한다고 결정되면, 실제 확장 범위는 현재 모션 레벨에 의존한다. 도 4에 도시된 바와 같이, 제3 이미지 프레임(102c)에서 중첩 범위(402c)는 제2 이미지 프레임에서 중첩 범위(402b)보다 크고, 이는 제3 이미지 프레임(102c)에 대한 현재의 모션 레벨이 제2 이미지 프레임(102b)에 대한 현재의 모션 레벨보다 크다. 바람직하게, 도 4의 실시 형태의 인코딩된 이미지 프레임에 대한 비트레이트는 도 3의 실시 형태의 두개의 레벨 맵핑 방식(확장 방식)과 비교하여 추가로 최적화될 수 있다.
도 3 및 도 4의 실시 형태에서, 이미지 프레임의 인트라 인코딩 영역은 비디오 스트림에서 직전의 이미지 프레임의 인트라 인코딩 영역과 중첩되도록 확장된다. 사용된 인코딩 방법에 따라, 예를 들어 비디오 스트림에서의 다른 모든 프레임이 빈 프레임에 해당하는 경우에서 비디오 스트림에서 직전 참조된 이미지 프레임의 인트라 인코딩 영역과 중첩되도록 이미지 프레임의 인트라 인코딩 영역이 확장된다. 다른 실시 형태들에서, 전술한 바와 같이, 시간적으로 후속하는 이미지 프레임 및 이의 인트라 인코딩 영역은 또한 확장을 결정하기 위한 참조로서 사용될 수 있다.
비디오 스트림에서 인트라 리프레쉬 영역들 간의 중첩을 정의하는 전술한 방법은 일부 실시 형태들에 따라 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위를 정의하도록 확장될 수도 있다(즉, 이미지 데이터의 인코딩이 이미지 프레임의 인트라 인코딩 영역의 부분이 아님). 전술한 바와 같이, 중첩은 캡처된 장면의 콘텐츠가 이미지 프레임들의 캡처 사이에서 이동하더라도 참조된 이미지 프레임들 사이의 성공적인 블록 일치의 가능성을 증가시키도록 정의된다. 결과적으로, 인트라 인코딩된 영역의 결정된 중첩은 인코더의 모션 벡터 검색 범위를 설정하기 위해 바람직하게 사용될 수 있다. 결과적으로, 일부 실시 형태들에 따르면, 도 6의 방법은 인트라 리프레쉬 영역들 사이의 중첩(인트라 리프레쉬 패딩)에 따라 모션 벡터 검색 범위를 조정(설정)(S12)하도록 확장될 수 있다. 일부 실시 형태들에 따르면, 현재의 모션 레벨이 제1 임계값(506)을 초과하지 않으면, 나머지 이미지 프레임의 인터 프레임 인코딩에 대한 모션 벡터 검색 범위가 현재 모션 벡터 검색 범위에서 미리 정의된 검색 범위, 예를 들어 0 또는 하나의 매크로블록 검색 범위로 조정(제한)된다(S12). 도 4의 실시 형태에서, 제1 임계값(506)을 초과하는 모션 레벨에 따른 결정된 중첩 범위는 모션 벡터 검색 범위를 조정하는데 사용될 수 있다. 예를 들어, 현재 모션 레벨이 제2 임계값을 초과하면, 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위가 제1 범위에 해당하도록 조정된다(S12). 제1 범위가 3개 또는 2개의 매크로블록 중첩을 정의하면, 모션 벡터 검색 범위는 3개 또는 2개의 매크로블록으로 조정될 수 있다(S12). 유사하게, 현재의 모션 레벨이 제2 임계값을 초과하지 않으면, 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위는 제2 범위에 해당하도록 조정될 수 있다(S12). 제2 범위가 2개 또는 하나의 매크로블록 중첩을 정의하면, 모션 벡터 검색 범위는 2개 또는 하나의 매크로블록으로 조정될 수 있다(S12).
전술한 방법은 바람직하게 방법을 수행하도록 구성된 하나 이상의 프로세서를 갖는 인코더에 의해 구현된다.
인코더는 감시 카메라와 같은 비디오 캡처 장치 및 모션 감지기를 더 포함하는 시스템의 부분을 형성할 수 있다. 모션 감지기는 비디오 캡처 장치 또는 인코더에서 구현될 수 있다. 일부 실시 형태들에서, 모션 감지기 및 인코더 모두는 비디오 캡처 장치에서 구현된다.
이러한 시스템에서, 비디오 캡처 장치는 장면을 묘사하고 복수의 이미지 프레임을 포함하는 비디오 스트림을 캡처하도록 구성되고, 비디오 스트림의 이미지 프레임을 모션 감지기 및 인코더로 연속적으로 전송하도록 구성된다. 모션 감지기는 수신된 이미지 프레임에서 이미지 데이터에 기초하여 캡처된 이미지 프레임들에서의 현재 모션 레벨을 지속적으로 감지하고 현재 모션 레벨을 인코더로 전송하도록 구성된다. 감지된 모션은 장면에서의 모션 및/또는 비디오 캡처 장치의 시야에서의 변화에 의존할 수 있다. 전술한 바와 같이, 일부 실시 형태들에 따르면, 모션 감지는 계산 복잡성을 감소시키기 위해 캡처된 이미지 프레임들 중 일부에 대해서만 수행될 수 있다.
전술한 방법은 컴퓨터 판독 가능 저장 매체에 저장된 소프트웨어로 구현될 수도 있다.
상기 본 발명의 개념은 제한된 수의 예를 참조하여 주로 설명되었다. 그러나, 당업자가 쉽게 이해할 수 있는 바와 같이, 전술한 것 이외의 다른 예는 첨부 된 청구 범위에 의해 정의된 바와 같이 본 발명의 범위 내에서 동일하게 가능하다. 예를 들어, 모션 벡터 검색 범위를 조정할 때(도 6에서의 S12), 일부 실시 형태들에 따르면, 벡터 검색 범위는 현재 이미지 프레임의 인트라 인코딩 영역과 이전 이미지 프레임의 인트라 인코딩 영역 사이의 중첩 범위에 기초하여 수평 또는 수직 방향으로만 조정되고(S12), 벡터 검색 범위가 설정/제한되는 방향은 미리 정의된 주기적인 인트라 리프레쉬 패턴에 기초한다. 예를 들어, 모션 벡터 검색 범위는 주기적인 인트라 리프레쉬 패턴에서 인트라 인코딩된 영역의 변위 방향에 해당하는 방향(예를 들어, 수평 또는 수직)으로 조정될 수 있다(S12).

Claims (15)

  1. 비디오 스트림의 복수의 이미지 프레임(102)의 인트라 리프레쉬 인코딩을 위한 방법으로서, 상기 인트라 리프레쉬 인코딩은 인트라 인코딩되어야 하는 이미지 프레임(102a-c)의 영역(104a-c)을 정의하는 미리 정의된 주기적인 인트라 리프레쉬 패턴(100a-d)에 기초하고, 상기 방법은 각각의 이미지 프레임에 대해:
    상기 이미지 프레임과 관련된 현재의 모션 레벨을 수신하는 단계(S02);
    상기 미리 정의된 주기적인 인트라 리프레쉬 패턴에 따라 상기 이미지 프레임의 인트라 인코딩 영역(104a-c)을 결정하는 단계(S04);
    상기 현재의 모션 레벨이 제1 임계값을 초과하지 않으면(506):
    상기 이미지 프레임의 인트라 인코딩 영역을 인트라 인코딩하는 단계(S14); 및
    상기 인트라 인코딩 영역과 상이한 상기 이미지 프레임의 영역을 인터 프레임 인코딩하는 단계(S16);
    상기 현재의 모션 레벨이 상기 제1 임계값을 초과하면:
    복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 결정된 범위(302c, 402b, 402c, 504, 510, 512)로 확장하는 단계(S08);
    상기 이미지 프레임의 확장된 인트라 인코딩 영역을 인트라 인코딩하는 단계(S14); 및
    상기 확장된 인트라 인코딩 영역과 상이한 상기 이미지 프레임의 영역을 인터 프레임 인코딩하는 단계(S16);를 포함하는 방법.
  2. 제1항에 있어서, 상기 복수의 이미지 프레임들에 대해, 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴에서의 영역이 중첩되지 않는 방법.
  3. 제1항에 있어서, 상기 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는:
    상기 비디오 스트림에서 직전의 참조된 이미지 프레임의 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 현재의 모션 레벨이 상기 제1 임계값을 초과하면:
    상기 현재의 모션 레벨이 제2 임계값(508)을 초과할 시(상기 제2 임계값은 제1 임계값보다 더 큼),
    상기 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제1 범위(402c, 512)로 확장하는 단계,
    상기 현재의 모션 레벨이 상기 제2 임계값을 초과하지 않을시,
    상기 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제2 범위(402b, 510)로 확장하는 단계(상기 제1 범위는 상기 제2 범위보다 큼)를 추가로 포함하는 방법.
  5. 제1항에 있어서, 상기 인트라 인코딩 영역은 하나 이상의 슬라이스 또는 타일에 의해 정의되고 상기 확장된 인트라 인코딩 영역은 하나 이상의 슬라이스 또는 타일에 의해 정의되는 방법.
  6. 제1항에 있어서, 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴은 두개의 연속적인 이미지 프레임들 사이에서 수직 방향 또는 수평 방향으로만 변위되는 인트라 인코딩 영역을 정의하는 방법.
  7. 제6항에 있어서, 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴은 수직 방향으로 변위되는 인트라 인코딩 영역을 정의하고, 상기 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는 상기 이미지 프레임의 인트라 인코딩 영역의 높이를 증가시키는 단계를 포함하는 방법.
  8. 제6항에 있어서, 상기 미리 정의된 주기적인 인트라 리프레쉬 패턴은 수평 방향으로 변위되는 인트라 인코딩 영역을 정의하고, 상기 이미지 프레임의 인트라 인코딩 영역을 확장하는 단계는 상기 이미지 프레임의 인트라 인코딩 영역의 폭을 증가시키는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 현재의 모션 레벨이 상기 제1 임계값을 초과하지 않으면, 현재의 검색 범위로부터 미리 정의된 검색 범위로 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위를 조정하는 단계(S12)를 더 포함하는 방법.
  10. 제4항에 있어서, 상기 현재의 모션 레벨이 상기 제2 임계값을 초과하면, 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위를 상기 제1 범위에 해당하도록 조정하는 단계(S12), 및
    상기 현재의 모션 레벨이 상기 제2 임계값을 초과하지 않으면, 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 상기 모션 벡터 검색 범위를 제2 범위에 해당하도록 조정하는 단계(S12)를 더 포함하는 방법.
  11. 비디오 스트림의 복수의 이미지 프레임들(102)의 인트라 리프레쉬 인코딩을 위해 구성되는 인코더로서, 상기 인트라 리프레쉬 인코딩은 인트라 인코딩되어야 하는 이미지 프레임(102a-c)의 영역(104a-c)을 정의하는 미리 정의된 주기적인 인트라 리프레쉬 패턴(100a-d)에 기초하고, 상기 인코더는:
    장면에서 현재의 모션 레벨을 수신하고(S02);
    상기 미리 정의된 주기적인 인트라 리프레쉬 패턴에 따라 상기 이미지 프레임의 인트라 인코딩 영역(104a-c)을 결정하며(S04);
    상기 현재의 모션 레벨이 제1 임계값을 초과하지 않으면(506):
    상기 이미지 프레임의 인트라 인코딩 영역을 인트라 인코딩하고(S14); 및
    상기 인트라 인코딩 영역과 상이한 상기 이미지 프레임의 영역들을 인터 프레임 인코딩(S16)하며;
    상기 현재의 모션 레벨이 상기 제1 임계값을 초과하면:
    상기 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 결정된 범위(302c, 402b, 402c)로 확장하고(S08);
    상기 이미지 프레임의 확장된 인트라 인코딩 영역을 인트라 인코딩하며(S14); 및
    상기 확장된 인트라 인코딩 영역과 상이한 상기 이미지 프레임의 영역을 인터 프레임 인코딩(S16);하도록 구성된 프로세서를 포함하는 인코더.
  12. 제11항에 있어서, 상기 프로세서는 상기 현재의 모션 레벨이 제2 임계값(508)을 초과하면(상기 제2 임계값은 상기 제1 임계값보다 큼):
    상기 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제1 범위(402b)로 확장하고;
    상기 현재의 모션 레벨이 제2 임계값을 초과하지 않으면,
    상기 복수의 이미지 프레임들 중에서 이전에 인코딩된 인트라 인코딩 영역과 중첩되도록 상기 이미지 프레임의 인트라 인코딩 영역을 제2 범위(402c)로 확장(상기 제1 범위는 상기 제2 범위보다 큼)하도록 추가로 구성되는 인코더.
  13. 제11항에 있어서, 상기 프로세서는:
    상기 현재의 모션 레벨이 상기 제1 임계값을 초과하지 않으면, 현재의 검색 범위로부터 미리 정의된 검색 범위로 나머지 이미지 프레임의 인터 프레임 인코딩을 위한 모션 벡터 검색 범위를 조정(S12)하도록 추가로 구성되는 인코더.
  14. 비디오 캡처 장치, 모션 감지기 및 제11항의 인코더를 포함하고,
    상기 비디오 캡처 장치는 장면을 묘사하는 비디오 스트림을 캡처하도록 구성되며(상기 비디오 스트림은 복수의 이미지 프레임들을 포함함), 상기 비디오 스트림의 이미지 프레임을 상기 모션 감지기 및 상기 인코더로 연속적으로 전송하도록 구성되고,
    상기 모션 감지기는 상기 수신된 이미지 프레임들에서의 이미지 데이터에 기초하여 상기 캡처된 이미지 프레임들에서의 현재의 모션 레벨을 지속적으로 감지하고, 상기 현재의 모션 레벨을 상기 인코더로 전송하도록 구성되는 시스템.
  15. 처리 능력을 갖는 장치에 의해 실행될 때 제1항의 방법을 수행하도록 적용된 명령어를 갖는 프로그램을 기록한 컴퓨터 판독 가능 저장 매체.
KR1020190126094A 2018-11-22 2019-10-11 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법 KR102154443B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18207682.8 2018-11-22
EP18207682.8A EP3657799B1 (en) 2018-11-22 2018-11-22 Method for intra refresh encoding of a plurality of image frames

Publications (2)

Publication Number Publication Date
KR20200060231A KR20200060231A (ko) 2020-05-29
KR102154443B1 true KR102154443B1 (ko) 2020-09-09

Family

ID=64456757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190126094A KR102154443B1 (ko) 2018-11-22 2019-10-11 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법

Country Status (6)

Country Link
US (1) US11025906B2 (ko)
EP (1) EP3657799B1 (ko)
JP (1) JP6900452B2 (ko)
KR (1) KR102154443B1 (ko)
CN (1) CN111212283B (ko)
TW (1) TWI801692B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
CN112004089A (zh) * 2020-09-04 2020-11-27 白华 一种支持任意显示区域局部刷新的方法
CN114630113B (zh) * 2021-02-23 2023-04-28 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备
CN114630122B (zh) * 2021-03-19 2023-04-28 杭州海康威视数字技术股份有限公司 基于自适应帧内刷新机制的解码、编码方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129911A2 (en) 2006-05-10 2007-11-15 Ntnu Technology Transfer Method and device for video encoding and decoding
JP2015516761A (ja) 2012-04-13 2015-06-11 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レートひずみ最適量子化におけるレベル決定

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328324A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動き補償フレーム間予測符号化のリフレッシュ方式
JP3210082B2 (ja) * 1992-07-14 2001-09-17 キヤノン株式会社 符号化装置及びその方法
JP3618783B2 (ja) * 1994-05-25 2005-02-09 キヤノン株式会社 画像符号化方法及び画像符号化装置
JPH0837663A (ja) * 1994-07-22 1996-02-06 Canon Inc 符号化装置
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
US8218641B2 (en) 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
JP2011205465A (ja) * 2010-03-26 2011-10-13 Hitachi Consumer Electronics Co Ltd 画像符号化方法および画像符号化装置
US8711933B2 (en) 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing
JP2013165340A (ja) * 2012-02-09 2013-08-22 Sony Corp 画像処理装置と画像処理方法
US9100636B2 (en) * 2012-09-07 2015-08-04 Intel Corporation Motion and quality adaptive rolling intra refresh
JP2015106747A (ja) * 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US20170013274A1 (en) 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Intra-refresh for video streaming
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
EP3220642B1 (en) * 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
US10652572B2 (en) * 2016-04-29 2020-05-12 Ati Technologies Ulc Motion-adaptive intra-refresh for high-efficiency, low-delay video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129911A2 (en) 2006-05-10 2007-11-15 Ntnu Technology Transfer Method and device for video encoding and decoding
JP2015516761A (ja) 2012-04-13 2015-06-11 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ レートひずみ最適量子化におけるレベル決定

Also Published As

Publication number Publication date
US20200169727A1 (en) 2020-05-28
EP3657799A1 (en) 2020-05-27
JP2020099042A (ja) 2020-06-25
JP6900452B2 (ja) 2021-07-07
CN111212283A (zh) 2020-05-29
TW202038610A (zh) 2020-10-16
KR20200060231A (ko) 2020-05-29
TWI801692B (zh) 2023-05-11
EP3657799B1 (en) 2020-11-04
CN111212283B (zh) 2021-03-26
US11025906B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
KR102154443B1 (ko) 복수의 이미지 프레임의 인트라 리프레쉬 인코딩을 위한 방법
CN108737837B (zh) 形成视频流的方法及图像处理单元
KR101908639B1 (ko) 비디오 스트림을 인코딩하는 방법 및 시스템
US8817871B2 (en) Adaptive search range method for motion estimation and disparity estimation
JP2007067469A (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体
TWI776867B (zh) 用於編碼視訊串流之方法、視訊編碼器及視訊攝影機
JP3531532B2 (ja) 動画像符号化装置、及び方法
US8792562B2 (en) Moving image encoding apparatus and method for controlling the same
EP3131295A1 (en) Video encoding method and system
KR101242560B1 (ko) 탐색 영역 조정 장치 및 방법
KR102446097B1 (ko) 비디오 시퀀스의 이미지를 인코딩하기 위한 방법 및 시스템
JP4507896B2 (ja) 動画像圧縮装置と動画像圧縮処理方法
US10051270B2 (en) Video encoding method using at least two encoding methods, device and computer program
KR100943636B1 (ko) 매크로블록의 부호화 모드 고속 결정 방법
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP7309676B2 (ja) ビデオ符号化方法およびそのような方法を実行するように構成されたビデオエンコーダ
KR101215138B1 (ko) 매크로블록의 인터/인트라모드 고속 결정 방법
JP3661711B2 (ja) 画像符号化方法および装置
JP2009296328A (ja) 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体
Beak et al. Content Awareness-Based Fast Block Motion Estimation Algorithm for H. 264/AVC Encoding System
Chandrasekaran Parallel Parsing of MPEG Video in a Multi-threaded Multiprocessor Environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant