KR102394371B1 - 볼록 및 오목 분포 함수를 이용하여 복수의 이미지 프레임의 인트라 리프레시 인코딩을 위한 방법 - Google Patents

Abstract

본 발명은 비디오 인코딩에 관한 것으로, 구체적으로 이전 리프레시 이후의 이미지 프레임 수를 기반으로 하고 볼록 또는 오목한 형태의 분포 함수를 통해 변조되는 이미지 프레임 서브디비전의 인트라 리프레시의 확률을 적용할 수 있는 방법 및 인코더에 관한 것이다. 컴퓨터 프로그램 제품, 인코더 및 비디오 인코딩 방법을 사용하도록 구성된 모니터링 장치도 제공된다.

Description

볼록 및 오목 분포 함수를 이용하여 복수의 이미지 프레임의 인트라 리프레시 인코딩을 위한 방법{METHOD FOR INTRA REFRESH ENCODING OF A PLURALITY OF IMAGE FRAMES USING CONVEX AND CONCAVE DISTRIBUTION FUNCTIONS}

본 발명은 비디오 인코딩에 관한 것으로, 특히 이전 리프레시 이후 이미지 프레임들의 카운트를 기반으로 이미지 프레임 세분서브디비션들의 인트라 리프레시의 확률을 적용시키고 볼록하거나 오목한 형상의 분포 함수를 통해 변조시킬 수 있는 방법 및 인코더에 관한 것이다.

H.264 인코딩 및 인터 프레임 예측을 사용하는 기타 압축 표준의 일반적인 문제는 I-프레임 비트 레이트 스파이크(spike)이다. 이러한 문제는 동일한 네트워크에 많은 수의 카메라가 있을 수 있고 일반적인 감시 장면이 매우 큰(x10 - x100) I-프레임 대 P-프레임 크기 비율을 갖기 때문에 감시 카메라의 경우 더 심하다. 이상적으로, 네트워크는 일정한 비트 레이트를 선호한다.

카메라에 대한 비트 레이트 스파이크를 줄이는 한 가지 해결책은 I-프레임을 복수의 이미지 프레임들에 걸쳐 확산시키고 대신 I-블록으로 인코딩되도록 강제되는 각각의 이미지 프레임의 일부(인트라 리프레시 영역)를 갖는 것이다. 상기 인트라 리프레시 영역은 한 세트의 이미지 프레임들에 걸쳐 이미지 프레임을 건너 이동하여, 이미지를 "리프레싱(refreshing)"한다. 이러한 방법을 주기적 인트라 리프레시 또는 단순히 인트라 리프레시라고 한다.

인트라 리프레시 인코딩은 비교적 부드러운 비트 레이트를 달성하고 전송 손실로 인한 오류 전파를 종료하거나 줄일 수 있다. 이벤트를 감지하고 비디오 스트림에서 우수한 디테일(detail)을 유지하려면 인트라 리프레시의 높은 레이트가 바람직하다. 그러나, 리프레시 레이트가 높을수록 비트 레이트 요건도 높아진다. 인트라 리프레시 인코딩과 전체 프레임 리프레시 인코딩(예를 들어, 인트라 프레임 인코딩)을 활용하는 또 다른 문제는 비트 레이트가 일반적으로 관심 영역(ROI)에 따라서가 아니라 전체 이미지 프레임에 균등하게 분산된다는 것이다.

따라서 기술 분야에서 개선의 여지가 있다.

본 발명의 목적은 인트라 리프레시 인코딩의 개선된 방법을 제공하는 것이다. 특히 이의 비트 레이트 할당에서 ROI에 의존하는 인트라 리프레시 인코딩을 개선하는 방법, 인코더, 소프트웨어 및 모니터링 시스템을 제공하는 것이 목적이다.

본 발명의 제1 양태에 따르면, 비디오 스트림의 이미지 프레임들의 시퀀스의 인트라 리프레시 인코딩 방법이 제공된다. 상기 방법은 복수의 분포 함수를 결정하는 단계를 포함한다. 상기 복수의 분포 함수 내에서, 각각의 분포 함수는 상기 비디오 스트림에서 이전 이미지 프레임의 공간적으로 해당하는 처리 유닛이 인트라 리프레쉬된 이후에 통과한 복수의 프레임들에 대해 상기 비디오 스트림에서 이미지 프레임의 처리 유닛의 인트라 리프레시 확률을 정의한다. 상기 복수의 분포 함수 중 제1 분포 함수는 볼록한 형상을 갖는 누적 분포 함수에 해당한다. 상기 복수의 분포 함수 중 제2 분포 함수는 오목한 형상을 갖는 누적 분포 함수에 해당한다.

상기 방법은 상기 비디오 스트림에 포함된 이미지 프레임을 수신하는 단계를 더 포함한다.

상기 수신된 이미지 프레임에서의 각각의 처리 유닛에 대해, 상기 방법은:

· 상기 비디오 스트림에서 이전 이미지의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 이후 상기 비디오 스트림에서 통과한 이미지 프레임들의 수를 정의하는 프레임 카운트(count)를 결정하는 단계,

· 상기 처리 유닛이 상기 이미지 프레임의 높은 관련 영역에 해당하는지 또는 낮은 관련 영역에 해당하는지 결정하는 단계,

· 상기 처리 유닛이 높은 관련 영역에 해당한다고 결정하면, 상기 결정된 프레임 카운트에 대해 제1 분포 함수를 적용하여 상기 처리 유닛이 인트라 리프레시되어야하는지 여부를 결정하는 단계,

· 상기 처리 유닛이 낮은 관련 영역에 해당한다고 결정되면, 상기 결정된 프레임 카운트에 대해 제2 분포 함수를 적용하여 상기 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하는 단계,

· 상기 처리 유닛이 인트라 리프레시되는 것으로 결정되면 상기 수신된 이미지 프레임의 처리 유닛을 인트라 인코딩하는 단계를 더 포함한다.

인트라 인코딩 또는 인트라 프레임 인코딩은 예를 들어, 인접하거나 가까운 픽셀로 컬러를 비교함으로써, 디지털 이미지 프레임에서 픽셀의 공간 중복을 이용하는 것을 의미한다. 인트라 프레임 코딩이라는 용어는 다양한 무손실 및 손실 압축 기술이 비디오 시퀀스에서의 임의의 다른 프레임이 아닌, 현재 프레임에만 포함된 정보에 대해 수행된다는 사실을 의미한다.

인코딩을 위해 또는 인코더에 의해, 이미지 프레임들은 복수의 처리 유닛으로 세분될 수 있다. 처리 유닛은 일반적으로 복수의 픽셀들을 포함할 수 있다. 처리 유닛에 대한 대체 명명법의 예들은 픽셀 매크로블록들(MB), 픽셀 블록(BOP), 코딩 트리 유닛들 및 수퍼블록들의 그룹을 포함한다. 상기 이미지 프레임은 복수의 동일한 크기의 처리 유닛으로 세분될 수 있다. 처리 유닛은 상기 이미지 프레임에걸쳐 크기가 다를 수도 있다. 처리 유닛들은 비디오 스트림에서 이전 및 이후 프레임들에 공간적으로 해당할 수 있다. 이에 의해 처리 유닛들은 후속 이미지 프레임들에 대한 이미지 프레임의 동일한 공간 영역에서 부분적으로 중첩되거나, 완전히 중첩되거나, 정적으로 유지되거나, 적어도 남아있을 수 있음을 이해할 수 있다. 처리 유닛들은 후속 이미지 프레임들 사이에서 크기와 위치가 변경될 수 있어, 예를 들어 비디오 스트림에서 움직이는 물체를 따르거나 상기 비디오 스트림을 캡처하는 소스 장치의 움직임을 설명한다.

ROI 검출/결정은 관찰자에 대해 상기 영역이 얼마나 관련될 수 있는지에 따라 이미지 프레임의 처리 유닛 또는 상이한 공간 영역들의 검출 및 분류와 관련된다. 관련성이 결정되는 방법과 이에 사용되는 기준은 애플리케이션에 따라 다를 수 있다. ROI 검출을 활용하는 하나의 인코딩 방법은 액시스 커뮤니케이션(Axis Communications)에서 제공하는 짚스트림(Zipstream) 알고리즘이다. 이러한 알고리즘의 부분들은 예를 들어 유럽 특허 출원 번호 EP3021583에 설명되어 있으며, 여기에 참조로 포함된다. 짚스트림 알고리즘은 픽셀 중복과 같은 공간적 측면과 프레임들 사이에 묘사된 물체의 이동과 같은 시간적 측면을 평가한다.

이미지 프레임에서 관련 영역들은 ROI 임계값과의 정량적 또는 정성적 비교에 의해 결정될 수 있다. 상기 임계값은 이미지 프레임을 예를 들어 높은, 낮은 및 중간 관련 영역들로 분할하는데 사용될 수 있다.

복수의 프레임들 또는 프레임 카운트는 상기 이미지 프레임의 공간 영역, 예를 들어 처리 유닛이 마지막 인트라 리프레시된(예를 들어, 인트라 인코딩되게 강제됨) 이후 상기 비디오 스트림에서 복수의 프레임들을 나타낸다.

누적 분포 함수(CDF)는 특정 입력 값들에 대해 이벤트가 발생할 0 내지 100% 확률에 해당하는 0 내지 1의 값을 출력한다. 본 출원서에서 상기 이벤트는 이미지 프레임의 처리 유닛이 인트라 리프레시되어야 하는지 여부이고 상기 입력 값들은 상기 이미지 프레임의 공간 영역 또는 해당 처리 유닛이 마지막으로 인트라 리프레시된 이후의 프레임 카운트이다.

볼록하고 오목한 형상에 의해, 상기 CDF 곡선은 볼록한 경우에 대해 음의 2차 도함수 또는 오목한 경우에 대해 양의 2차 도함수를 가짐을 의미한다. 상기 CDF는 부분적으로 또는 전체적으로 볼록하거나 오목한 경우 각각 볼록하거나 오목한 것으로 간주될 수 있다. 볼록한 CDF의 일례는 완전히 볼록한 지수 분포 CDF이다. 적어도 부분적으로 오목한 CDF의 일례는 100% 확률에 도달하기 전에 볼록하고 평평해지기 전에 처음에(원점에서 시작) 오목한 정규 분포 CDF이다. 볼록 또는 오목 확률을 초래하는 다른 수학적 함수가 본 발명에서 설명된 CDF 예들에 추가하여 본 발명을 수행하는데 사용될 수 있음을 이해할 수 있다. 상기 분포 함수는 반드시 수학적 함수를 기반으로 하지 않는 룩업-테이블로 정의될 수도 있다. 곡선의 x-축은 디스크리트(discreet) 단계에서 프레임들에 해당하므로, 테이블에는 허용 가능한 가장 긴 인트라 리프레시 레이트보다 더 많은 개별 값들이 필요하지 않을 수 있다.

실질적으로 볼록한 제1 분포 함수를 이미지 프레임의 높은 관련 영역에 적용하면 낮은 프레임 카운트에서도, 인트라 리프레시의 확률을 높일 수 있다. 이를 통해 가장 관련성이 높은 비디오 스트림 품질을 유지하여, 프레임들에서 흥미로운 디테일의 더 잘 유지할 수 있다. 즉, 높은 관련 영역에서의 처리 유닛들은 상대적으로 더 자주 인트라 리프레시될 것이다.

실질적으로 오목한 제2 분포 함수를 상기 이미지 프레임의 낮은 관련 영역에 적용하면 인트라 리프레시의 확률이 감소될 수 있다. 이는 예를 들어, 높은 관련 영역과 같은 다른 데이터에 대해 사용될 수 있도록 비트 레이트 사용을 보존한다. 제2 분포 함수는 복수의 특정 프레임들을 통과한 후 인트라 리프레시의 확률이 높아져, 낮은 관련 영역들이 고정되지 않지만, 결국 예측 가능한 리프레시를 보장한다.

바람직하게, 본 실시 형태는 또한 데이터 전송 채널의 비트 레이트 용량과 일치하기 위해 그렇지 않으면 비트 레이트 요건을 설정하기 위해 상기 비트 레이트의 낮은 복잡성 조정을 용이하게 한다.

또한, 해당하는 처리 유닛의 관련성이 이미지 프레임들 사이에서 변경되는 경우에 대해, 본 실시 형태는 처리 유닛의 인트라 리프레시 확률 사이에 낮은 복잡성 전송을 허용한다.

일부 실시 형태들에 따르면, 상기 제1 분포 함수는 제1 임계 프레임 수 이후 처리 유닛의 인트라 리프레시의 100% 확률을 정의한다. 상기 제2 분포 함수는 제2 임계 프레임 수 이후 처리 유닛의 인트라 리프레시의 100% 확률로 정의한다. 상기 제1 임계 프레임 수는 상기 제2 임계 프레임 수보다 낮다.

이러한 실시 형태들은 미리 설정된 임계값에서 인트라 리프레시의 100% 확률에 도달하도록 본질적으로 분포 함수 곡선을 구성함으로써 인트라 리프레시 프로세스에 대한 신뢰성, 유연성 및 예측 가능성을 제공한다. 바람직하게, CDF는 비트 레이트 요건을 충족하도록 조정 가능하며, 또한 충분한 레이트로 높은 관련 영역들의 인트라 리프레시를 제공한다. 따라서 낮은 관련 영역들의 평균 리프레시 레이트는 높은 관련 영역들을 희생하지 않고 높게 유지될 수 있다.

일부 실시 형태들에 따르면, 상기 제1 분포 함수는 제1 임계 프레임 수 이후 처리 유닛의 인트라 리프레시의 100% 확률을 정의한다. 상기 제2 분포 함수는 제2 임계 프레임 수 이후 처리 유닛의 인트라 리프레시의 100% 확률을 정의한다. 상기 제1 임계 프레임 수는 상기 제2 임계 프레임 수와 동일하다.

이러한 실시 형태들은 낮고 높은 관련 처리 유닛 모두가 항상 최근에 인트라 리프레시할 복수의 공통 프레임들을 가질 수 있는 것을 보장한다. 이러한 실시 형태의 한가지 이점은 비디오가 화상 그룹(Group of Pictures) 길이에 대략적으로 해당하는 가장 낮은 리프레시 레이트로 업데이트될 수 있다는 것이다. 따라서, 특정 이미지 프레임을 로드하려고 할 때, 로드되어야 하는 이전 이미지 프레임들의 수가 더 낮게 유지된다. 이는 녹화된 비디오 스트림에서 스크러빙(데이터 스크러빙, 메모리 스크러빙)할 때 특히 유용하다.

일부 실시 형태들에 따르면, 상기 방법은 상기 비디오 스트림에서 이미지 프레임에 대한 낮은 관련 영역과 높은 관련 영역 사이의 비율을 수신하는 단계를 더 포함한다. 상기 제1 및 제2 분포 함수는 상기 수신된 비율에 따라 결정될 수 있다.

상기 비율은 예를 들어, 현재 이미지 프레임에서 높은 관련 영역들의 수 및 낮은 관련 영역들의 수 사이의 비율일 수 있다. 이러한 실시 형태들은 비트 레이트의 효율적인 분포를 가능하게 한다. 이러한 실시 형태에 의해, 실질적으로 변경되지 않고 오히려 각각의 이미지 프레임 내에서 이용 가능한 비트 레이트 리소스를 최적으로 분포하는 균형 잡힌 또는 일관된 비트 레이트를 달성하는 것이 가능하다.

일부 실시 형태들에 따르면, 상기 제1 및 제2 분포 함수는 평균적으로, 실질적으로 동일한 수의 처리 유닛들이 상기 비디오 스트림의 각각의 이미지 프레임에 대해 인트라 리프레시되게 결정되도록 구성된다.

이미지 프레임 당 인트라 리프레시되는 동일한 수의 처리 유닛은 크게 변동하지 않는 안정적인 비트 레이트를 달성하는 것과 실질적으로 관련될 수 있다. 이는 예를 들어, 제1 및 제2 분포 함수의 형상/기울기를 정의하기 위한 값을 변경할 뿐만 아니라, CDF가 처리 유닛의 인트라 리프레시의 100% 확률을 정의하는 임의의 임계 프레임 수를 튜닝(tuning)함으로써 달성될 수 있다.

일부 실시 형태들에 따르면, 복수의 분포 함수는 선형 형상을 갖는 누적 분포 함수인 제3 분포 함수를 포함한다. 그런 다음 상기 방법은 상기 수신된 이미지 프레임에서 각각의 처리 유닛에 대해:

· 상기 처리 유닛이 상기 이미지 프레임의 중간 관련 영역에 해당하는지 여부를 결정하고,

· 상기 처리 유닛이 중간 관련 영역에 해당한다고 결정하면, 상기 결정된 프레임 카운트에 대해 상기 제3 분포 함수를 적용하여 상기 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하는 것을 더 포함한다.

낮고 높은 관련 영역 사이의 중간 지대(ground)는 ROI 분류의 두가지 이상의 관련 레벨이 비트 레이트 사용을 최적화하거나 균형을 맞추는데 사용될 수 있으므로 인코딩에 더 많은 유연성을 제공할 수 있다.

일부 실시 형태들에 따르면 상기 방법은 상기 비디오 스트림의 각각의 이미지 프레임에 대해, 상기 이미지 프레임에서 각각의 처리 유닛의 관련 레벨을 나타내는 데이터를 수신하는 단계를 더 포함한다.

이들 실시 형태들은 본질적으로 관련 레벨을 업데이트하기 위한 분포된 실행 구조(implementation architecture)를 용이하게 할 수 있다. 따라서 관련 레벨의 계산은 별도의 장치 또는 유닛에 의해 수행될 수 있다.

일부 실시 형태들에 따르면, 상기 방법은 상기 비디오 스트림의 각각의 이미지 프레임에 대해,

· 상기 처리 유닛에 대한 그룹 값을 형성하기 위해 상기 처리 유닛에서 픽셀 값들의 합, 평균 또는 중앙값을 계산하는 단계,

· 상기 이미지 프레임에서 공간적으로 이웃하는 처리 유닛의 그룹 값들 사이의 차이를 계산하여, 각각의 처리 유닛을 차이 값과 관련시키는 단계,

· 상기 관련된 차이 값을 미리 결정된 임계값과 비교하여 상기 이미지 프레임에서 각각의 처리 유닛의 관련 레벨을 결정하는 단계를 더 포함한다. 상기 차이 값이 상기 임계값 이상이면, 상기 처리 유닛은 높은 관련 영역에 해당하는 것으로 식별된다. 대안으로, 상기 차이 값이 상기 임계값 미만이면, 상기 처리 유닛은 낮은 관련 영역에 해당하는 것으로 식별된다.

이러한 실시 형태들은 상기 처리 유닛에서의 픽셀의 특성, 예를 들어 이들의 컬러, 밝기 또는 대비에 대한 평균 값들이 상기 처리 유닛의 관련 레벨을 결정하는데 사용될 수 있다.

일부 실시 형태들에 따르면, 상기 방법은 상기 비디오 스트림의 각각의 이미지 프레임에 대해,

· 상기 처리 유닛에 대한 그룹 값을 형성하기 위해 상기 처리 유닛에서 픽셀 값들의 합, 평균 또는 중앙값을 계산하는 단계,

· 상기 이미지 프레임에서 공간적으로 이웃하는 처리 유닛들의 그룹 값들 사이의 차이를 계산하여, 각각의 처리 장치를 차이 값과 관련시키는 단계,

· 상기 관련된 차이 값을 제1 및 제2 미리 결정된 임계값과 비교함으로써 상기 이미지 프레임에서 각각의 처리 유닛의 관련 레벨을 결정하는 단계를 더 포함한다. 상기 차이 값이 제1 임계값 이상이면, 상기 처리 유닛은 높은 관련 영역에 해당하는 것으로 식별된다. 대안으로, 상기 차이 값이 제1 임계값과 제2 임계값 사이에 있으면, 상기 처리 유닛은 중간 관련 영역에 해당하는 것으로 식별된다. 또한, 상기 차이 값이 제1 임계값 및 제2 임계값 미만이면, 상기 처리 유닛은 낮은 관련 영역에 해당하는 것으로 식별된다.

이러한 실시 형태들은 처리 유닛에서의 픽셀의 특성, 예를 들어 이들의 컬러, 밝기 또는 대비에 대한 평균 값들이 상기 처리 유닛의 관련 레벨을 결정하는데 사용될 수 있지만, 더 많은 관련 레벨에 액세스할 수 있는 유사한 이점을 수반한다. 따라서 상기 이미지에서 다른 영역들의 더욱 세밀한 인트라 리프레시 레이트가 달성된다.

일부 실시 형태들에 따르면 이미지 프레임의 처리 유닛은 하나 이상의 매크로블록들, 코딩 트리 유닛들 또는 수퍼 블록들로 구성된다.

이는 이들 유형의 처리 유닛들이 많은 비디오 스트림 포맷 및 인코딩 방법과 호환될 수 있기 때문에 유리할 수 있다.

일부 실시 형태들에 따르면 상기 비디오 스트림은 제1 및 바로 후속하는 제2 이미지 프레임들을 포함한다. 상기 제1 이미지 프레임에 대해, 제1 처리 유닛은 높은 관련 영역에 해당하도록 결정된다. 상기 제1 처리 유닛의 경우, 상기 제1 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 제1 분포 함수가 적용된다. 제2 이미지 프레임의 경우, 제1 처리 유닛에 공간적으로 해당하는 제2 처리 유닛이 낮은 관련 영역에 해당하도록 결정되고, 여기서 상기 제2 처리 유닛에 대해, 상기 제2 분포 함수는 상기 제2 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용된다.

이들 실시 형태들은 비디오 스트림의 후속 이미지 프레임들에서 공간적으로 해당하는 처리 유닛들에 대한 리프레시 확률 곡선들 사이의 빠른 전송을 특징으로 한다. 보다 구체적으로, 볼록 형상의 곡선(제1 분포 함수)에서 오목 형상의 곡선(제2 분포 함수)으로의 전송을 특징으로 한다. 바람직하게, 본 실시 형태는 이미지 프레임들의 공간적으로 해당하는 처리 유닛들의 관련 레벨에서의 갑작스런 변경을 복잡성이 낮고 신뢰할 수 있는 방법으로 처리한다.

이러한 또 다른 이점은 분포 함수들 간에 변경하는 경우에도 마지막 리프레시 이후의 카운터(counter)가 유지될 수 있다는 것이다. 이는 이들이 변경하는 동안 불필요하게 빈번하게 리프레시되는 것을 피할 수 있는 것을 보장하며, 이는 비트 레이트를 낮게 유지하기 때문에 좋다. 동시에, 두개의 리프레시 사이의 시간은 현재 분포 함수에 의해 규정되는 것보다 길지 않을 것이다.

일부 실시 형태들에 따르면, 상기 비디오 스트림은 제1 및 바로 후속하는 제2 이미지 프레임들을 포함한다. 상기 제1 이미지 프레임에 대해, 제1 처리 유닛은 낮은 관련 영역에 해당하도록 결정된다. 상기 제1 처리 유닛의 경우, 상기 제1 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 상기 제2 분포 함수가 적용된다. 상기 제2 이미지 프레임의 경우, 상기 제1 처리 유닛에 공간적으로 해당하는 제2 처리 유닛은 높은 관련 영역에 해당하는 것으로 결정된다. 상기 제2 처리 유닛에 대해, 상기 제1 분포 함수를 적용하여 상기 제2 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정한다.

이들 실시 형태들은 또한 리프레시 확률 곡선들 사이의 빠른 전송을 특징으로 하지만 이제 전송은 오목 형상의 곡선(제2 분포 함수)에서 볼록 형상의 곡선(제1 분포 함수)으로 이동한다. 바람직하게, 본 실시 형태는 이미지 프레임들의 공간적으로 해당하는 처리 유닛들의 관련 레벨에서의 갑작스런 변경을 복잡성이 낮고 신뢰할 수 있는 방법으로 처리한다.

특히 이러한 실시 형태는 상기 비디오 스트림의 이전에 흥미롭지 않은 부분이 단일 프레임 업데이트와 관련이 있는 경우에 유리할 것이다. 이는 예를 들어, 상기 처리 유닛의 모든 픽셀 컬러와, 아마도 인접한 처리 유닛들이 순간적으로 변경되거나, 이미지 프레임들의 공간 영역 내에서 물체의 움직임이 갑자기 증가하는 경우이다. 이들 두 경우 모두는 관련 처리 유닛 또는 공간 영역에서 즉시 증가된 인트라 리프레시 확률에 대한 필요성을 촉진할 수 있다.

본 발명의 제2 양태에 따르면, 처리 능력을 갖는 장치에 의해 실행될 때 본 발명의 제1 양태의 방법을 수행하도록 적용되는 컴퓨터 코드 명령어들이 저장된 비 일시적 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품이 제공된다.

이러한 컴퓨터 프로그램 제품은 본 발명의 제1 양태에 의해 이전에 제공된 방법을 가능하게 하고 따라서 유사한 이점을 수반한다.

본 발명의 제3 양태에 따르면, 비디오 스트림의 이미지 프레임들의 시퀀스의 인트라 리프레시 인코딩을 위한 인코더가 제공된다. 상기 인코더는 복수의 분포 함수들을 결정하도록 구성되는 회로를 포함하고, 각각은 상기 비디오 스트림에서 이전 이미지 프레임의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 후 통과한 복수의 프레임들에 대해 상기 비디오 스트림에서 이미지 프레임의 처리 유닛의 인트라 리프레시 확률을 정의한다. 복수의 분포 함수 중 제1 분포 함수는 볼록 형상을 갖는 누적 분포 함수에 해당한다. 복수의 분포 함수 중 제2 분포 함수는 오목 형상을 갖는 누적 분포 함수에 해당한다. 상기 인코더 회로는 또한 상기 비디오 스트림에 포함된 이미지 프레임을 수신하도록 구성된다. 상기 수신된 이미지 프레임에서의 각각의 처리 유닛에 대해, 상기 인코더 회로는:

· 상기 비디오 스트림에서 이전 이미지의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 이후 상기 비디오 스트림에서 통과한 이미지 프레임들의 수를 정의하는 프레임 카운트를 결정하고,

· 상기 처리 유닛이 상기 이미지 프레임의 높은 관련 영역 또는 낮은 관련 영역에 해당하는지 여부를 결정하고,

· 상기 처리 유닛이 높은 관련 영역에 해당한다고 결정되면, 상기 결정된 프레임 카운트에 대해 상기 제1 분포 함수를 적용하여 상기 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하고,

· 상기 처리 유닛이 낮은 관련 영역에 해당하는 것으로 결정하면, 상기 결정된 프레임 카운트에 대해 상기 제2 분포 함수를 적용하여 상기 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하고,

· 인트라 리프레시되는 것으로 결정되면 상기 수신된 이미지 프레임의 처리 유닛을 인트라 인코딩하도록 추가로 구성된다.

이러한 인코더는 본 발명의 제1 양태에 의해 제공되는 방법을 가능하게 하고 따라서 유사한 이점을 수반한다.

당업자에 의해 이해되는 바와 같이, 상기 인코더의 회로는 하나 이상의 프로세서, ASIC 등 또는 프로세서, ASIC의 조합에 의해 구현될 수 있다.

본 발명의 제4 양태에 따르면, 이미지 센서 및 본 발명의 제3 양태에 따른 인코더를 포함하는 모니터링 장치가 제공된다. 상기 인코더는 상기 이미지 센서에 의해 캡처되는 이미지 프레임들을 지속적으로 수신하도록 구성된다.

이러한 모니터링 장치는 본 발명의 다른 양태에 의해 제공되는 방법, 컴퓨터 프로그램 제품 및 인코더를 이용할 수 있으며, 유사한 이점을 수반할 수 있다. 특히, 비트 레이트 이점은 원격 모니터링 장치, 선택적으로 복수의 모니터링 장치를 갖는 모니터링 시스템의 부분에 바람직하며, 여기에서 많은 양의 데이터가 이미지 센서들에 의해, 녹화된 다음, 유선 또는 무선으로 중앙 제어 스테이션으로 전송된다. 이러한 시스템에서 전송 대역폭, 따라서 비트 레이트가 제한될 수 있다. 예측할 수 없는 비트 레이트 변동도 문제가 될 수 있으며, 시간이 지남에 따라 일정한 비트 레이트를 사용하는 것이 바람직하다. 이는 복수의 모니터링 장치를 갖는 시스템의 경우 더욱 바람직하다.

제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 이점을 가질 수 있다. 본 발명은 달리 명시적으로 언급하지 않는 한 특징의 모든 가능한 조합에 관한 것임을 추가로 유의한다.

본 발명의 추가 목적, 특징 및 이점뿐만 아니라 상기 내용은 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들에 대한 다음의 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이고, 유사한 요소에는 동일한 숫자가 사용된다.
도 1은 비디오 스트림의 이미지 프레임의 인트라 리프레시 인코딩을 위한 방법에 대한 흐름도를 도시하며, 인트라 리프레시를 수행해야 하는지 여부를 결정하기 위해 각각 높고 낮은 관련 영역에 볼록 및 오목 분포 함수를 적용하는 것을 수반한다.
도 2는 일부 실시 형태들의 선택적 단계를 포함하는 인트라 리프레시 인코딩을 위한 방법에 대한 흐름도를 도시한다.
도 3은 제3, 중간, 관련 레벨을 포함하는 일부 실시 형태들에 따른 인트라 리프레시 인코딩을 위한 방법에 대한 흐름도를 도시한다.
도 4는 처리 유닛이 실시 형태들에 따라 높거나 낮은 관련 레벨을 가져야 하는지 여부를 결정하는 방법에 대한 흐름도를 도시한다.
도 5는 처리 유닛이 실시 형태들에 따라 높은, 중간 또는 낮은 관련 레벨을 가져야 하는지 여부를 결정하는 방법에 대한 흐름도를 도시한다.
도 6은 볼록 형상을 갖는 지수 분포 CDF 곡선의 예를 도시한다.
도 7은 오목하고 볼록한 형상을 갖는 정규 분포 CDF 곡선의 예를 도시한다.
도 8은 임계값을 갖는 지수 분포 CDF 곡선을 도시한다.
도 9는 임계값을 갖는 정규 분포 CDF 곡선을 도시한다.
도 10은 선형 CDF 곡선의 예를 도시한다.
도 11은 높은, 중간 및 낮은 관련성의 여러 처리 유닛으로 세분화된 이미지 프레임을 도시한다.
도 12는 이미지 센서 및 인코더를 포함하는 모니터링 장치를 개략적으로 도시한다.
도 13은 수직으로 잘린 정규 분포 CDF를 도시한다.
도 14는 수평으로 잘린 정규 분포 CDF를 도시한다.

본 발명은 이제 본 발명의 실시 형태들이 도시된, 첨부 도면을 참조하여 이하에서 보다 완전하게 설명될 것이다. 본 발명에서 개시된 시스템 및 장치는 작동 동안 설명될 것이다.

도 1은 비디오 스트림의 이미지 프레임들의 시퀀스의 인트라 리프레시 인코딩 방법에 대한 흐름도를 도시한다. 예시적인 이미지 프레임(200)이 도 11에 도시된다. 비디오 스트림은 짧은 이미지 프레임들의 시퀀스, 예를 들어 이상적으로 중단없이 몇초 길이 또는 연속 스트림을 포함할 수 있다. 비디오 스트림은 카메라와 같은 이미지 센서를 갖는 장치에서 비롯될 수 있다. 이미지 센서는 장면을 지속적으로 또는 간헐적으로 녹화하는 모니터링 장치의 부분으로 설정될 수 있다. 이와 같이 비디오 스트림은 장면을 묘사하는 이미지 프레임들을 포함할 수 있다.

도 11은 이미지 프레임(200)의 공간 영역에 해당하는 적어도 하나의 처리 유닛(210)을 포함하는 이미지 프레임(200)을 도시한다. 도면의 예에서 이미지 프레임(200)은 동일한 크기의 정사각형 처리 유닛으로 세분화된다.

이미지 프레임들의 시퀀스에서 제2 이미지 프레임(미도시)은 제1 이미지 프레임(100)의 처리 유닛(210)에 공간적으로 해당하는 처리 유닛을 포함한다. 이에 의해, 크기, 형상 및 위치가 동일할 수 있거나, 제1 이미지 프레임의 처리 유닛과 단지 중첩, 완전히 또는 부분적으로 중첩될 수 있다. 이미지 프레임들의 픽셀 좌표에 기초하여 공간적 해당 부분이 결정될 수 있다. 픽셀 좌표는 (x, y) 형태로 기술될 수 있다. 제1 픽셀 좌표 값(x)은 예를 들어, 이미지 프레임의 수직 모서리에 대해 수평 위치를 결정할 수 있고, 제2 픽셀 좌표 값(y)은 예를 들어 이미지 프레임의 수평 모서리에 대해 수직 위치를 결정할 수 있다.

예를 들어, 픽셀(1, 1)에서 픽셀(30, 20)까지의 직사각형은 제1 이미지 프레임의 처리 유닛일 수 있다. 제2 이미지 프레임의 처리 유닛이 픽셀(1, 1)에서 픽셀(30, 20)까지의 직사각형에 해당하면, 처리 유닛은 동일하다. 제2 이미지 프레임의 처리 유닛이 픽셀(10, 10)에서 픽셀(30, 30)까지의 정사각형에 해당하면, 처리 유닛이 서로 중첩되는 것을 의미한다. 이들 경우뿐만 아니라 다른 경우에도, 제2 이미지 프레임의 처리 유닛이 제1 이미지 프레임의 처리 유닛에 공간적으로 해당한다.

치수, 크기 및/또는 위치가 변경되는 처리 유닛(210)은 동적 처리 유닛으로 나타낼 수 있다. 처리 유닛은 시간이 지남에 따라 치수, 크기 및/또는 위치를 변경하도록 설정될 수 있다.

동적 처리 유닛, 예를 들어 크기가 변경될 수 있는 처리 유닛(210)은 이미지의 임의의 작은 부분이 마지막으로 리프레시될 때를 추적하는 것과 관련될 수 있다. 일부 시나리오에서, 개별 픽셀들조차도 이와 관련된 카운터를 가질 수 있다. 동적 처리 유닛 크기는 동적 카운터 영역 크기를 의미하거나 처리 유닛(210)에서의 변경이 수용될 수 있는 작은 카운터 영역(예를 들어 매크로블록)을 의미할 것이다.

동적 처리 유닛 크기의 추가 의미는 처리 유닛(210)의 상이한 하위 영역이 리프레시 이후 상이한 수의 프레임들을 가질 수 있다는 것이다. 이를 처리하는 방법은 처리 유닛(210) 내에서 가장 높은 카운터를 사용하는 것일 수 있다. 보다 진보된 해결책은 상이한 시기(ages) 사이의 비율이 곡선 선택 및/또는 형상에 영향을 미치도록 하는 것일 수 있다.

이미지 프레임(200)의 처리 유닛(210)은 하나 이상의 매크로블록들, 코딩 트리 유닛들 또는 수퍼블록들을 포함하거나 구성될 수 있다. 즉, 처리 유닛(210)은 적어도 하나의 픽셀 그룹을 포함한다

이 방법은 복수의 분포 함수를 결정하는 단계(S02)를 포함하고, 각각은 비디오 스트림에서 이전 이미지 프레임의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 이후 통과한 복수의 프레임들(fc)(도 6-10에서 fc로 나타냄)에 대해 비디오 스트림에서 이미지 프레임(200)의 처리 유닛(210)의 인트라 리프레시의 확률(p)(도 6-10에서 p로서 나타냄)을 정의한다. 마지막 리프레시 이벤트가 발생한 이후, 프레임 카운터로도 나타내는 프레임 수(fc)는 룩업 테이블에 기록 및 저장될 수 있다. 따라서 룩업 테이블은 각각의 처리 유닛에 대한 최신 리프레시 프레임의 표시를 포함할 수 있다. 즉, 룩업 테이블은 따라서 각각의 처리 유닛에 대해, 처리 유닛의 최근 인트라 리프레시 이후에 통과한 프레임들의 수의 표시를 포함할 수 있다.

프레임 카운트(fc)는 처리 유닛(210)마다 기록 및 저장될 수 있다. 프레임 카운트(fc)는 이미지 프레임(200)의 픽셀마다 기록 및 저장될 수 있다. 픽셀 당 프레임 카운트(fc)의 평균 또는 중앙값은 처리 유닛(210)에 대한 프레임 카운트 값 또는 평가된 픽셀들을 포함하는 이미지 프레임(200)의 공간 영역으로 계산 및 사용될 수 있다. 픽셀 당 프레임 카운트(fc)의 평균 또는 중앙값은 처리 유닛 크기 또는 치수의 변경을 용이하게 하기 위해 사용될 수 있다.

평균/중앙값 프레임 카운트(fc)를 사용하는 것에 대한 대안은 전체 처리 유닛(210)에 대해 가장 높은 프레임 카운트(fc)가 사용되도록 하는 것일 수 있다. 대부분의 픽셀들이 프레임 카운트(fc)를 공유한다면, 이는 다른 프레임 카운트(fc)를 고려하지 않고 전체 처리 유닛(210)에 대해 사용될 수 있다.

프레임 카운트(fc)는 시간의 값에 해당하는 것으로 이해될 수 있다. 프레임 카운트(fc)를, 예를 들어 비디오 스트림의 초당 프레임(FPS) 값으로 나눔으로써, 이러한 시간 값이 계산될 수 있다.

인트라 리프레시의 확률(p)은 0 또는 1 사이의 값일 수 있으며, p=0은 인트라 리프레시의 0% 확률에 해당하고 p=1은 인트라 리프레시의 100% 확률에 해당한다. 확률(p)은 난수 생성(RNG)을 통해 변조되어 인트라 리프레시 결정을 위한 확실한 참 또는 거짓 상태를 출력할 수 있다.

처리 유닛에 대한 프레임 카운트(fc)는 룩업 테이블 또는 프레임 카운트 맵(frame count map)에 저장될 수 있다. 이러한 동적 처리 유닛의 치수와 위치가 더 실행 가능할 수 있다.

복수의 분포 함수는 도 6 및 도 7에 각각 예시된, 볼록 형상을 갖는 제1 분포 함수(110) 및 오목 형상을 갖는 제2 분포 함수(120)를 포함한다. 복수의 분포 함수는 도 10에서 예에 의해 예시된 바와 같이 선형 형상을 갖는 누적 분포 함수인 제3 분포 함수(130)를 추가로 포함할 수 있다. 당업자는 복수의 분포 함수가 또 다른 분포 함수를 포함할 수 있다는 것을 이해할 것이다.

제1 분포 함수(110)는 볼록 형상을 갖는 CDF에 해당한다. 볼록 형상은 음의 값을 갖는 프레임 카운트에 대해, 제1 분포 함수 곡선의 2차 도함수로 설명될 수 있다. 형상은 전체적으로 또는 부분적으로 볼록할 수 있다. 제1 분포 함수(110)는 일부 실시 형태들에서 지수 분포 CDF의 적어도 일부에 해당할 수 있다. 도 6은 지수 분포 CDF 곡선의 예들을 도시한다.

지수 분포 CDF는 수학적으로 다음과 같이 설명될 수 있다:

여기서 p는 인트라 리프레시의 확률을 나타내고, fc는 프레임 카운트를 나타내며 λ는 곡선이 볼록한 정도를 정의하는 임의의 값을 나타낸다. 도 6의 세 곡선은 λ에 대해 서로 다른 값을 갖는 세개의 CDF 곡선을 나타낸다. 파선은 λ에 대해 가장 낮은 값을 가지고, 점선은 λ에 대해 가장 높은 값을 가지며, 실선은 파선과 점선 값들 사이에서 정확하게 λ에 대한 값을 갖는다.

도 7의 제2 분포 함수(120)는 주로 오목 형상을 갖는 CDF에 해당한다. 오목 형상은 양의 값을 갖는 프레임 카운트에 대해, 제2 분포 함수 곡선의 2차 도함수로 설명될 수 있다. 형상은 전체적으로 또는 부분적으로 오목할 수 있다. 제2 분포 함수(120)는 일부 실시 형태들에서 정규 분포 CDF의 적어도 일부에 해당할 수 있다.

도 7은 고려될 수 있는 정규 분포 CDF 곡선의 예를 나타낸다. 제2 분포 함수(120)는 정규 분포 CDF의 부분, 예를 들어 확률(p)이 0%에 도달하는 낮은 프레임 카운트(fc) 값을 향한 오목 부분으로서 정의될 수 있다.

정규 분포 CDF는 수학적으로 다음과 같이 설명될 수 있다:

여기서 p는 인트라 리프레시의 확률을 나타내고, fc는 프레임 카운트를 나타내며, μ는 정규 분포의 평균에 해당하는 임의의 값을 나타내고, σ는 정규 분포의 표준 편차에 해당하는 임의의 값을 나타낸다. μ 값은 곡선이 중심에 있는 프레임 카운트를 결정할 수 있으며 σ 값은 곡선이 볼록하고 오목하게 기울어지는 것의 정도를 결정할 수 있다. 도 7의 세 곡선은 μ에 대해 동일한 값을 갖지만 σ에 대해 다른 값을 갖는 세개의 CDF 곡선을 나타낸다. 파선은 σ에 대해 가장 낮은 값을 가지며, 점선은 σ에 대해 가장 높은 값을 가지고, 실선은 파선과 점선 값들 사이에 정확하게 σ에 대해 값을 갖는다.

본질적으로 볼록, 오목 또는 선형인 임의의 곡선 또는 함수는 부분적으로 또는 전체적으로 제1, 제2 및 제3 분포 함수(110, 120, 130)에 대해 각각 고려될 수 있다.

분포 함수(110, 120, 130)는 예를 들어, 이들을 수직 또는 수평으로 임의적으로 오프셋팅(offsetting), 곡선을 미러링(mirroring) 또는 플리핑(flipping), 분포를 곱하는 임의의 인자를 도입하는 것에 의해 사용 전에 변조될 수 있다. 상기 임의의 조합도 이용 가능하다.

제1 분포 함수(110)는 제1 임계 프레임 수(ft1) 이후에 처리 유닛(210)의 인트라 리프레시(p)의 100% 확률을 정의할 수 있다. 제2 분포 함수는 제2 임계 프레임 수(ft2) 이후의 처리 유닛(210)의 인트라 리프레시의 100% 확률을 정의한다. 제1 임계 프레임 수(ft1)는 제2 임계 프레임 수(ft2)보다 낮을 수 있다. 제1 임계 프레임 수(ft1)는 제2 임계 프레임 수(ft2)와 동일할 수 있다. 제1 임계 프레임 수(ft1)는 또한 제2 임계 프레임 수(ft2)보다 클 수 있다. 임계값(ft1, ft2)은 시간 값에 해당하는 것으로 이해될 수 있다. 임계값(ft1, ft2)을 예를 들어, 비디오 스트림의 FPS 값으로 나눔으로써, 이러한 시간 값은 계산될 수 있다.

도 8에 도시된 제1 임계 프레임 수(ft1)는 임계값(ft1)이 인트라 리프레시의 100% 확률에 적어도 실질적으로 해당하는 최저 프레임 카운트(fc)에 해당하도록 곡선을 본질적으로 수평으로 압축 또는 신장함으로써 제1 분포 함수(110)를 정의하도록 선택될 수 있다.

도 9에 도시된 제2 임계 프레임 수(ft2)는 임계값(ft2)이 인트라 리프레시의 100% 확률에 적어도 실질적으로 해당하는 최저 프레임 카운트(fc)에 해당하도록 곡선을 본질적으로 수평으로 압축 또는 신장함으로써 제2 분포 함수(120)를 정의하도록 선택될 수 있다.

분포 함수(110, 120, 130)는 또한 예를 들어, 특정 프레임 카운트(fc) 또는 확률 값(p)에 도달한 후, 프레임 카운트(fc)에 대해, 확률(p)에 대한 고정된 값으로 곡선을 대체하는 임계값을 포함할 수 있다. ft2에서 수직으로 절단된 정규 분포 CDF를 나타내는 도 13은 프레임 카운트 임계값을 초과하는 모든 프레임 카운트(fc)가 예를 들어 p=1, 즉 100% 인트라 리프레시 확률에 해당하도록 결정될 수 있는 방법을 나타낸다.

임계값을 선택하는 것은 도 14에 도시된 바와 같이, 상기 함수에서 p=1 레벨을 낮춤으로써 달성될 수 있고, 이는 유사한 정규 분포 CDF가 ft2 또는 p=1에서 수평으로 절단된 것을 나타낸다. 이로 인해 곡선이 더 빨리 100% 확률에 도달할 수 있다. 이는 또한 도 7의 예와는 대조적으로, p=1에 도달할 때까지만 오목하도록 곡선을 제한할 수 있다. 이는 CDF가 p>1의 값에 대해 정의될 수 없는 바와 같이 종래에 정의된 바와 같이, CDF 이외의, CDF의 형상을 사용하는 것으로 이해될 수 있다. 레벨 p=1을 낮추는 것은 단순히 그래프에서의 p-축에서 값을 간단히 등급화함으로써 달성될 수 있다. 등급화는 곡선에서의 점에 대한 모든 p-값을 곱하는 것을 포함할 수 있다. 인트라 리프레시에 대한 확률이 100%를 초과하지 않을 수 있으므로, p>1에 대한 결과 값은 p=1로 대체될 수 있다.

이러한 실시 형태들은 사실상 무한 프레임 카운트에 도달한 후에 인트라 리프레시의 100% 확률에 도달하는 CDF 곡선의 끝을 대체함으로써 인트라 리프레시 프로세스에 대한 신뢰성 및 예측 가능성을 제공한다.

분포 함수의 실제 구현은 다를 수 있음을 유의해야 한다. 예를 들어, 각각의 분포 함수는 확률 값들의 벡터로 정의될 수 있으며, 인트라 리프레시 확률을 정의하는 각각의 정의 확률 값은:

· 비디오 스트림에서 이전 이미지 프레임의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 이후로 얼마나 많은 프레임(fc)이 통과했는지, 그리고

· 처리 유닛의 관련성에 따라 처리 유닛에 대해 수행될 것이다.

예를 들어, 제1 분포 함수(110)는 다음 확률 벡터에 의해 정의될 수 있다: [0, 40, 70, 85, 93, 96, 98, 99, 100] (8은 제1 분포 함수(110)에 대한 임계값(ft1)임).

예를 들어, 제2 분포 함수(120)는 다음과 같은 확률 벡터에 의해 정의될 수 있다:[0, 1, 2, 4, 8, 16, 32, 64, 100] (8은 제2 분포 함수(120)에 대한 임계값(ft2)임) .

이들 벡터는 또한 하나 이상의 등급 인자로 이들 내의 모든 값을 곱하여 등급화될 수 있다. 이와 같이, 벡터에 의해 정의된 곡선은 프레임 카운트(fc) 축, 즉도 6-10의 수평 축을 따라 압축되거나 늘어날 수 있다. 이러한 방법은 등급 인자가 1보다 작거나 등급화된 곡선이 p=1과 교차하는 교차점을 찾는 경우 p 값들의 외삽을 요구할 수 있다.

당업자는 벡터, 따라서 함수 및 곡선을 수정하는 다른 수학적 접근법이 가능하다는 것을 이해할 것이다. 본 발명에서 사용된 수치값은 단지 예를 제공하기 위한 것이며 당업자는 다른 값들이 전적으로 가능하다는 것을 이해한다.

방법은 비디오 스트림에서 이미지 프레임(200)에 대해 낮은 관련 영역(214)및 높은 관련 영역(212) 사이의 비율을 수신하는 단계(S05)를 더 포함할 수 있으며, 제1 및 제2 분포 함수(110, 120)는 수신된 비율에 따라 결정된다. 도 2의 흐름도는 이러한 추가 단계를 포함한다. 비율은 예를 들어, 이미지 프레임에서 높은 관련 영역(112)의 수와 낮은 관련 영역(114)의 수 사이의 비율이다. 비율은 대안으로 각각의 관련 영역에 의해 실제 영역 커버리지의 비율과 관련될 수 있다. 제1 및 제2 분포 함수(110, 120)는 평균적으로, 실질적으로 동일한 수의 처리 유닛(210)이 비디오 스트림의 각각의 이미지 프레임(200)에 대해 인트라 리프레시되게 결정되도록 구성될 수 있다. 이는 예를 들어 분포 함수(110, 120)를 수정함으로써, 예를 들어 등급 인자를 사용한 곱셈 또는 곡선 오프셋팅에 의해 달성될 수 있다.

방법은 비디오 스트림의 각각의 이미지 프레임(200)에 대해, 이미지 프레임(200)에서 각각의 처리 유닛(210)의 관련 레벨을 나타내는 데이터를 수신하는 단계(S07)를 더 포함할 수 있다. 도 2의 흐름도는 이러한 추가 단계를 포함한다. 관련 레벨은 처리 유닛(210) 또는 이미지 프레임에서의 공간 영역이 예를 들어, 높은 관련 영역(212), 낮은 관련 영역(214) 또는 중간 관련 영역(216)에 해당하는지 여부와 관련될 수 있다. 추가 또는 대안적인 관련 레벨이 고려될 수 있다.

도 1의 방법은 비디오 스트림에 포함된 이미지 프레임(200)을 수신하는 단계(S04)를 더 포함한다. 수신된 이미지 프레임(200)에서의 각각의 처리 유닛에 대해, 방법은 비디오 스트림에서 이전 이미지의 공간적으로 해당하는 처리 유닛이 인트라 리프레시된 이후에 비디오 스트림에서 통과한 이미지 프레임 수를 정의하는 프레임 카운트(fc)를 결정하는 단계(S06)를 더 포함한다.

수신된 이미지 프레임(200)에서의 각각의 처리 유닛(210)에 대해, 방법은 처리 유닛(210)이 이미지 프레임(200)의 높은 관련 영역(212) 또는 낮은 관련 영역(214)에 해당하는지 여부를 결정하는 단계(S08)를 더 포함한다. 처리 유닛(210)이 높은 관련 영역(212)에 해당하는 것을 결정하면, 방법은 결정된 프레임 카운트(fc)에 대해 제1 분포 함수(110)를 적용하여 처리 유닛(210)이 인트라 리프레시되어야 하는지 여부를 결정하는 단계(S10a)를 포함한다. 처리 유닛(210)이 낮은 관련 영역에 해당하는 것으로 결정되면, 방법은 결정된 프레임 카운트(fc)에 대해 제2 분포 함수(120)를 적용하여 처리 유닛(210)이 인트라 리프레시되어야 하는지 여부를 결정하는 단계(S10b)를 포함한다.

수신된 이미지 프레임(200)에서의 각각의 처리 유닛(210)에 대해, 방법은 처리 유닛이 이미지 프레임(200)의 중간 관련 영역(216)에 해당하는지 여부를 결정하는 단계(S09)를 더 포함할 수 있다. 처리 유닛(210)이 중간 관련 영역(216)에 해당하는 것으로 결정하면, 방법은 결정된 프레임 카운트(fc)에 대해 제3 분포 함수(130)를 적용하여 처리 유닛(210)이 인트라 리프레시되어야 하는지 여부를 결정하는 단계(S10c)를 포함할 수 있다. 도 3의 흐름도는 이들 추가 단계를 포함한다.

제1, 제2 또는 제3 분포 함수(110, 120, 130)를 적용함으로써 인트라 리프레시의 확률(p)이 입력 프레임 카운트(fc)의 결과로 출력된다.

처리 유닛(210) 또는 공간적으로 해당하는 영역이 높은 관련 영역(212) 또는 낮은 관련 영역(214)으로 결정되었는지 여부에 대한 데이터는 룩업 테이블에 기록되고 저장될 수 있다. 다른 관련 등급도 존재할 수 있으며 유사하게 기록 및 저장될 수 있다.

도 4는 방법이 비디오 스트림의 각각의 이미지 프레임(200)에 대해 처리 유닛(210)에서 특정 픽셀과 관련된 픽셀 값의 합, 평균 또는 중앙값을 계산하여 처리 유닛(210)에 대한 그룹 값을 형성하는 단계를 더 포함할 수 있는 방법을 도시한다. 픽셀 값, 즉 픽셀 특정 값은 예를 들어, 픽셀의 컬러 또는 밝기와 관련된다. 픽셀 값은 대안으로 인접 픽셀에 대해 픽셀의 대비와 관련될 수 있다.

도 4는 방법이 이미지 프레임(200)에서 공간적으로 이웃하는 처리 유닛(210)의 그룹 값들 사이의 차이를 계산하여, 각각의 처리 유닛(210)을 차이 값과 관련시키는 단계(S23)를 더 포함할 수 있는 방법을 추가로 예시한다. 방법은 관련된 차이 값을 미리 결정된 임계값과 비교함으로써 이미지 프레임(200)에서 각각의 처리 유닛(210)의 관련 레벨을 결정하는 단계(S25)를 더 포함할 수 있다. 상기 차이 값이 상기 임계값 이상이면, 방법은 높은 관련 영역(212)에 해당하는 것으로 처리 유닛(210)을 식별하는 단계(S29a)를 더 포함할 수 있다. 상기 차이 값이 상기 임계값 미만이면, 방법은 낮은 관련 영역(214)에 해당하는 것으로 처리 유닛(210)을 식별하는 단계(S29b)를 더 포함할 수 있다.

대안으로, 그리고 도 5에 도시된 바와 같이, 이미지 프레임에서 각각의 처리 유닛(210)의 관련 레벨을 결정하는 단계(S25)는 관련된 차이 값을 제1 및 제2 미리 결정된 임계값과 비교하는 단계(S28)를 포함할 수 있다. 상기 차이 값이 제1 임계값 이상이면, 방법은 높은 관련 영역(212)에 해당하는 것으로 처리 유닛(210)을 식별하는 단계(S29a)를 더 포함할 수 있다. 상기 차이 값이 제1 임계값과 제2 임계값 사이이면, 방법은 중간 관련 영역(216)에 해당하는 것으로 처리 유닛(210)을 식별하는 단계(S29c)를 더 포함할 수 있다. 상기 차이 값이 제1 임계값 및 제2 임계값 미만이면, 방법은 낮은 관련 영역(214)에 해당하는 것으로 처리 유닛(210)을 식별하는 단계(S29b)를 더 포함할 수 있다.

처리 유닛의 관련 레벨을 결정하기 위한 임의의 다른 적절한 측정이 사용될 수 있다는 점에 유의해야 한다. 예를 들어, 각각의 처리 유닛에서의 움직임의 레벨이 측정으로 사용될 수 있으며, 여기서 높은 움직임의 레벨을 갖는 처리 유닛(즉, 이전 이미지 프레임들에서 공간적으로 해당하는 처리 유닛(들)에 비해 처리 유닛의 픽셀 데이터/값들의 큰 차이)은 움직임의 낮은 레벨을 갖는 처리 유닛보다 더 중요한 것으로 간주된다. 또 다른 예는 각각의 처리 유닛 내의 모서리 검출을 포함하며, 여기서 더 많은 모서리를 포함하는 처리 유닛은 적은 모서를 갖는 처리 유닛보다 더 관련성이 높은 것으로 간주될 수 있다. 관련 레벨은 모션 센서, 열 카메라, 보조 카메라, 레이더 또는 기타 유형의 센서와 같은 외부 센서에 의해 트리거되거나 결정될 수 있다.

도 1의 방법은 수신된 이미지 프레임(200)에서의 각각의 처리 유닛(210)에 대해, 처리 유닛이 인트라 리프레시되도록 결정되면 수신된 이미지 프레임의 처리 유닛을 인트라 인코딩하는 단계(S12)를 더 포함한다. 인트라 리프레시 자체는 당업자에게 이용 가능한 종래의 인트라 리프레시 방법에 따라 수행될 수 있다.

비디오 스트림은 제1 및 바로 후속하는 제2 이미지 프레임(200)을 포함할 수 있다. 제1 이미지 프레임의 경우, 제1 처리 유닛은 높은 관련 영역(212)에 해당하도록 결정될 수 있다. 제1 처리 유닛에 대해, 제1 분포 함수(110)는 제1 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용될 수 있다. 제2 이미지 프레임에 대해, 제1 처리 유닛에 공간적으로 해당하는 제2 처리 유닛은 낮은 관련 영역(214)에 해당하도록 결정될 수 있다. 제2 처리 유닛의 경우, 제2 분포 함수(120)는 제2 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하도록 적용된다.

대안으로, 제1 이미지 프레임에 대해, 제1 처리 유닛이 낮은 관련 영역(214)에 해당하도록 결정될 수 있다. 제1 처리 유닛에 대해, 제2 분포 함수(120)는 제1 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용될 수 있다. 제2 이미지 프레임에 대해, 제1 처리 유닛에 공간적으로 해당하는 제2 처리 유닛이 높은 관련 영역(212)에 해당하도록 결정될 수 있다. 제2 처리 유닛에 대해, 제1 분포 함수(110)는 제2 처리 유닛이 인트라 리프레시되어야 하는지 여부를 결정하도록 적용될 수 있다.

예를 들어, 확률 값의 두 벡터가 있는 위의 예를 고려한다.

제1 프레임의 제1 처리 유닛에 대해, 2% 인트라 리프레시 확률이 결정된다(마지막 리프레시 이후 두개의 프레임을 통과함). 이러한 예에서 제1 처리 유닛은 인트라 리프레시되지 않는다. 제2 프레임의 제2 처리 유닛에 대해, 관련 레벨이 높은 관련성으로 증가한다. 결과적으로, 제2 처리 유닛(85)에 대해 인트라 리프레시의 85% 가능성이 결정된다(이제 마지막 리프레시 이후 세개의 프레임을 통과함).

계산, 결정, 비교, 적용, 식별, 인코딩, 수신 등의 단계는 유선 또는 무선으로, 처리 능력과 데이터 또는 명령어를 수신할 수 있는 기능을 갖는 장치에 의해 수행될 수 있다. 이러한 장치는 예를 들어, 컴퓨터나 인코더일 수 있다.

컴퓨터 코드 명령어가 저장된 비 일시적 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 프로그램 제품은 처리 능력을 갖는 장치에 의해 실행될 때 본 발명에서 제공되는 방법을 수행하도록 적용될 수 있다.

비디오 스트림의 이미지 프레임 시퀀스(200)의 인트라 리프레시 인코딩을 위한 인코더(304)가 제공될 수 있다. 인코더(304)는 본 발명에서 제공된 방법을 수행하도록 구성된 회로를 포함할 수 있다. 인코더(304)는 표준화, 속도 또는 압축을 목적으로, 정보를 하나의 폴맷 또는 코드에서 다른 폴맷 또는 코드로 변환하는 장치, 회로, 변환기, 컴퓨터 프로그램 제품 또는 알고리즘일 수 있다.

인코더(304)는 도 12에 도시된 바와 같이 모니터링 장치(300)의 부분일 수 있다. 모니터링 장치(300)는 이미지 센서(302)를 더 포함할 수 있다. 이미지 센서(302)는 카메라 또는 비디오 카메라의 부분일 수 있다. 이미지 센서(302)는 보다 구체적으로 팬-틸트-줌(pan-tilt-zoom) 카메라일 수 있다. 이미지 센서(302)는 장면 또는 복수의 장면을 묘사하는 이미지 프레임을 포함하는 비디오 스트림을 캡처하도록 설정될 수 있다.

인코더(304)는 이미지 센서(302)에 의해 캡처된 이미지 프레임(200)을 연속적으로 수신하도록 구성될 수 있다. 모니터링 장치(300) 또는 적어도 이미지 센서(302)는 범죄 과학 수사, 보안, 안전 또는 일부 비-제한적인 예들을 명명하는 연구 목적을 위해 관심 장면을 연속적으로 또는 간헐적으로 기록하도록 설정될 수 있다.

각각의 처리 유닛의 관련 레벨을 나타내는 데이터는 이러한 관련 레벨을 결정하도록 구성된 이미지 분석 유닛(인코더(304)와의 주변 또는 통합)으로부터 수신될 수 있다. 이미지 분석 유닛은 또한 모니터링 장치(300)와 주변일 수 있거나 통합될 수 있다.

모니터링 장치(300), 인코더(304) 또는 이미지 센서(302)는 본 발명에서 설명된 방법을 수행하도록 구성될 수 있다.

이미지 센서(302)와 인코더(304)는 하나의 장치로 일체로 형성될 수 있다. 이미지 센서(302) 및 인코더(304)는 대안적으로 분리되고 유선 또는 무선으로 연결될 수 있다.

전술한 시스템 및 방법은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에서, 상기 설명에서 언급된 기능 유닛들 사이의 작업 분할이 반드시 물리적 유닛으로의 분할에 해당하지 않고; 반대로, 하나의 물리적 구성 요소는 여러 기능을 가질 수 있으며 하나의 작업은 여러 물리적 구성 요소가 협력하여 수행될 수 있다. 특정 구성 요소 또는 모든 구성 요소는 디지털 신호 프로세서 또는 마이크로 프로세서에 의해 실행되는 소프트웨어로 구현되거나 하드웨어 또는 애플리케이션별 집적 회로로 구현될 수 있다. 이러한 소프트웨어는 컴퓨터 저장 매체(또는 비 일시적 매체) 및 통신 매체(또는 일시적 매체)를 포함할 수 있는 컴퓨터 판독 가능 매체에 배포될 수 있다.

위에서 본 발명의 양태들은 제한된 수의 예를 참조하여 주로 설명되었다. 그러나, 당업자에 의해 용이하게 이해되는 바와 같이, 상기 개시된 것 이외의 다른 예는 첨부된 청구 범위에 의해 정의된 바와 같이, 본 발명 개념의 범위 내에서 동등하게 가능하다.

Claims (13)

1. 비디오 스트림에서 연속적인 이미지 프레임들의 인트라 리프레시를 사용하여 인코딩하는 방법으로서,
   복수의 분포 함수들을 결정하는 단계 - 각각은 상기 비디오 스트림에서 현재 이미지 프레임의 이전 이미지 프레임에 공간적으로 대응되는 픽셀들 블록이 인트라 리프레시된 이후에 통과한 복수의 프레임들에 관련된 상기 비디오 스트림에서 이미지 프레임의 픽셀들 블록에 대한 인트라 리프레시 확률을 정의하고, 상기 복수의 분포 함수들 중 제1 분포 함수는 볼록 형상을 갖는 누적 분포 함수에 해당하며, 상기 복수의 분포 함수들 중 제2 분포 함수는 오목 형상을 갖는 누적 분포 함수에 해당함 -,
   상기 비디오 스트림에 포함된 이미지 프레임을 수신하는 단계,
   상기 수신된 이미지 프레임에서의 각각의 픽셀들 블록에 대해,
   상기 비디오 스트림에서 상기 이전 이미지 프레임에 공간적으로 대응되는 픽셀들 블록이 인트라 리프레시된 이후에 상기 비디오 스트림에서 통과한 이미지 프레임의 수를 정의하는 프레임 카운트를 결정하는 단계,
   상기 픽셀들 블록이 상기 이미지 프레임의 관심 영역(ROI)에 공간적으로 대응되는지 여부를 결정하는 단계,
   상기 픽셀들 블록이 ROI에 공간적으로 대응된다고 결정되면, 상기 결정된 프레임 카운트에 대해 제1 분포 함수를 적용하여 상기 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하는 단계,
   상기 픽셀들 블록이 ROI에 공간적으로 대응되지 않는다고 결정되면, 상기 결정된 프레임 카운트에 대해 상기 제2 분포 함수를 적용하여 상기 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하는 단계,
   상기 픽셀들 블록이 인트라 리프레시되도록 결정되면 상기 수신된 이미지 프레임의 픽셀들 블록을 인트라 인코딩하는 단계를 포함하는 방법.
2. 제1항에 있어서,
   상기 제1 분포 함수는 제1 임계 프레임 수 이후에 픽셀들 블록의 인트라 리프레시의 100% 확률을 정의하고, 상기 제2 분포 함수는 제2 임계 프레임 수 이후에 픽셀들 블록의 인트라 리프레시의 100% 확률을 정의하며, 상기 제1 임계 프레임 수는 상기 제2 임계 프레임 수보다 적은 것을 특징으로 하는 방법.
3. 제1항에 있어서,
   상기 제1 분포 함수는 제1 임계 프레임 수 이후에 픽셀들 블록의 인트라 리프레시의 100% 확률을 정의하고, 상기 제2 분포 함수는 제2 임계 프레임 수 이후에 픽셀들 블록의 인트라 리프레시의 100% 확률을 정의하며, 상기 제1 임계 프레임 수는 상기 제2 임계 프레임 수와 동일한 것을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 비디오 스트림에서 이미지 프레임에 대해 상기 ROI에 해당하지 않는 공간 영역과 상기 ROI에 해당하는 공간 영역 사이의 비율을 수신하는 단계를 더 포함하고, 상기 제1 및 제2 분포 함수는 상기 수신된 비율에 따라 결정되는 것을 특징으로 하는 방법.
5. 제4항에 있어서,
   상기 제1 및 제2 분포 함수는 평균적으로, 동일한 수의 픽셀들 블록이 상기 비디오 스트림의 각각의 이미지 프레임에 대해 인트라 리프레시되게 결정되도록 구성되는 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 비디오 스트림의 각각의 이미지 프레임에 대해, 상기 이미지 프레임에서의 각각의 픽셀들 블록에 대해, 상기 픽셀들 블록이 상기 이미지 프레임의 ROI에 공간적으로 대응되는지 여부를 나타내는 데이터를 수신하는 단계를 더 포함하는 방법.
7. 제1항에 있어서,
   상기 비디오 스트림의 각각의 이미지 프레임에 대해,
   상기 이미지 프레임에서의 각각의 픽셀들 블록에 대해, 상기 픽셀들 블록에서 픽셀 값들의 합, 평균 또는 중앙값을 계산하여 상기 픽셀들 블록을 나타내는 제1 값을 계산하는 단계,
   상기 이미지 프레임에서 공간적으로 이웃하는 픽셀들 블록의 제1 값들 사이의 차이를 계산하여, 각각의 픽셀들 블록을 차이 값과 관련시키는 단계,
   상기 이미지 프레임에서의 각각의 픽셀들 블록에 대해, 상기 픽셀들 블록이 상기 이미지 프레임의 ROI에 공간적으로 대응되는지 여부를
   상기 관련된 차이 값을 미리 결정된 임계값과 비교하고,
   상기 차이 값이 상기 미리 결정된 임계값 이상이면, 상기 픽셀들 블록을 상기 ROI에 공간적으로 대응되는 것으로 식별하며,
   상기 차이 값이 상기 미리 결정된 임계값 미만이면, 상기 픽셀들 블록을 상기 ROI에 공간적으로 대응되지 않는 것으로 식별하여 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
8. 제1항에 있어서,
   이미지 프레임의 픽셀들 블록은 하나 이상의 매크로블록들, 코딩 트리 유닛들 또는 수퍼 블록들로 구성되는 것을 특징으로 하는 방법.
9. 제1항에 있어서,
   상기 비디오 스트림은 제1 이미지 프레임, 및 상기 제1 이미지 프레임에 바로 후속하는 제2 이미지 프레임을 포함하고, 상기 제1 이미지 프레임에 대해, 제1 픽셀들 블록이 상기 제1 이미지 프레임의 ROI에 공간적으로 대응되도록 결정되며, 상기 제1 픽셀들 블록에 대해, 상기 제1 분포 함수는 상기 제1 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용되고, 상기 제2 이미지 프레임에 대해, 상기 제1 픽셀들 블록에 공간적으로 대응되는 제2 픽셀들 블록은 상기 제2 이미지 프레임의 ROI에 공간적으로 대응되지 않도록 결정되며, 상기 제2 픽셀들 블록에 대해, 상기 제2 분포 함수는 상기 제2 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용되는 것을 특징으로 하는 방법.
10. 제1항에 있어서,
    상기 비디오 스트림은 제1 이미지 프레임, 및 상기 제1 이미지 프레임에 바로 후속하는 제2 이미지 프레임을 포함하고, 상기 제1 이미지 프레임에 대해, 제1 픽셀들 블록이 상기 제1 이미지 프레임의 ROI에 공간적으로 대응되지 않도록 결정되며, 상기 제1 픽셀들 블록에 대해, 상기 제2 분포 함수는 제1 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하기 위해 적용되고, 상기 제2 이미지 프레임에 대해, 상기 제1 픽셀들 블록에 공간적으로 대응되는 제2 픽셀들 블록은 상기 제2 이미지 프레임의 ROI에 공간적으로 대응되도록 결정되며, 상기 제2 픽셀들 블록에 대해, 상기 제1 분포 함수는 상기 제2 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하도록 적용하는 것을 특징으로 하는 방법.
11. 처리 능력을 갖는 장치에 의해 실행될 때 제1항에 따른 방법을 수행하도록 적용되는 컴퓨터 코드 명령어가 저장된 비 일시적 컴퓨터 판독 가능 매체.
12. 비디오 스트림에서 연속적인 이미지 프레임들의 인트라 리프레시를 사용하여 인코딩하는 인코더로서,
    복수의 분포 함수들을 결정하고 - 각각은 상기 비디오 스트림에서 현재 이미지 프레임의 이전 이미지 프레임에 공간적으로 대응되는 픽셀들 블록이 인트라 리프레시된 이후에 통과한 복수의 프레임에 대해 상기 비디오 스트림에서 이미지 프레임의 픽셀들 블록의 인트라 리프레시 확률을 정의하며, 상기 복수의 분포 함수들 중 제1 분포 함수는 볼록 형상을 갖는 누적 분포 함수에 해당하고, 상기 복수의 분포 함수들 중 제2 분포 함수는 오목 형상을 갖는 누적 분포 함수에 해당함 -,
    상기 비디오 스트림에 포함된 이미지 프레임을 수신하고,
    상기 수신된 이미지 프레임에서의 각각의 픽셀들 블록에 대해,
    상기 비디오 스트림에서 상기 이전 이미지 프레임에 공간적으로 대응되는 픽셀들 블록이 인트라 리프레시된 이후 상기 비디오 스트림에서 통과한 이미지 프레임들의 수를 정의하는 프레임 카운트를 결정하며,
    상기 픽셀들 블록이 상기 이미지 프레임의 관심 영역(ROI)에 공간적으로 대응되는지 여부를 결정하고,
    상기 픽셀들 블록이 ROI에 공간적으로 대응된다고 결정하면, 상기 결정된 프레임 카운트에 대해 상기 제1 분포 함수를 적용하여 상기 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하며,
    상기 픽셀들 블록이 ROI에 공간적으로 대응되지 않는다고 결정하면, 상기 결정된 프레임 카운트에 대해 상기 제2 분포 함수를 적용하여 상기 픽셀들 블록이 인트라 리프레시되어야 하는지 여부를 결정하고,
    인트라 리프레시되는 것으로 결정되면 상기 수신된 이미지 프레임의 픽셀들 블록을 인트라 인코딩하도록 구성되는 회로를 포함하는 인코더.
13. 이미지 센서 및 제12항에 따른 인코더를 포함하는 모니터링 장치로서, 상기 인코더는 상기 이미지 센서에 의해 캡처된 이미지 프레임들을 연속적으로 수신하도록 구성되는 모니터링 장치.

Images