KR102263619B1 - 과도 정보의 신호 분석 및 생성 - Google Patents

Abstract

신호 프로세서가 세팅 정보를 수신한다. 세팅 정보는 소정의 엘리먼트가 존재하는 다수의 이미지들의 시퀀스에서 각 이미지에 대한 소정의 엘리먼트의 세팅을 특정한다. 신호 프로세서는 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도를 특정하는 정확도 메타데이터를 또한 수신한다. 세팅 정보 및 정확도 메타데이터에 기초하여, 신호 프로세서는 소정의 엘리먼트에 대한 세팅값을 생성한다. 소정의 엘리먼트에 대해 생성된 세팅값이 비교적 안정적이어서, 소정의 엘리먼트의 현재의 세팅 보다 소정의 엘리먼트에 대한 세팅의 더 양호한 표현일 가능성이 있으면, 신호 프로세서는 인코딩 목적을 위해 현재의 세팅 대신에 생성된 세팅값을 활용한다.

Description

과도 정보의 신호 분석 및 생성{SIGNAL ANALYSIS AND GENERATION OF TRANSIENT INFORMATION}

디지털화된 신호가 동일한 기반 정보(비-제한적 예로서, 2D 이미지, 3D 체적 이미지, 또는 심지어 3차원 초과의 차원을 갖는 엘리먼트들의 평면)의 여러 개의 후속하는 샘플들을 가짐으로써, 다차원 신호(예를 들어, 비-제한적 예들로서, 후속하는 2D 이미지들의 시퀀스를 나타내는 3D 신호, 또는 3D/체적 이미지들의 시퀀스를 나타내는 4D 신호, 등)를 생성하는 일은 매우 종종 발생하고, 여기서, 그 차원들 중 하나의 차원 T(예를 들어, 비-제한적 예로서, 시간 기반 신호들에서의 시간 차원)에 대해, 여러 후속하는 샘플들에 걸쳐 어느 정도의 신호 안정성을 가정할 수 있다. 비-제한적인 실제의 예들은, 컴퓨터 단층촬영 스캔에서의 후속하는 슬라이스들, MRI 스캔에서의 후속하는 체적 이미지들, 영화에서의 후속하는 프레임들 등이다.

실제 센서들 및 송신 채널들의 속성 때문에, 동일한 기반 정보의 상이한 샘플들은 상이한 특성들을 가질 가능성이 매우 높다. 예를 들어, 특정한 샘플은 다른 샘플들에서는 존재하는 않는 모션 블러(motion blur), 또는 샘플링시에 약간 상이한 방사선 강도(또는 광 상태들), 또는 센서에서의 열 잡음, 또는 채널에서의 송신 에러들 등으로 인해 이전의 샘플들 및/또는 후속하는 샘플들과 약간 상이한 값의 동일한 기반 정보를 가질 수도 있다. 이와 유사한 영향들의 최종 결과는, 안정성 가설을 갖는 차원(T)을 따른 신호 엘리먼트들의 통계적 변동성(variability)이 필요하거나 바람직한 것보다 높다는 것이다.

엘리먼트 세팅들의 변동성은 ― 이러한 변동성이 없었다면 하나의 프레임으로부터 다음 프레임으로 갈 때 엘리먼트 세팅들은 동일했을 것임 ―, 많은 양의 세부 정보(예를 들어, 불필요한 강도/컬러 변동들, 잘못된 컬러의 평면 엘리먼트 등)를 생성하고, 이러한 상세 정보는 신호에서 실존하는 그리고 필요한 디테일들(details)로부터 구별되기가 어렵고, 추가의 신호 프로세싱(예를 들어, 모션 추정, 콘텐츠 식별 등)을 복잡하게 할 수 있다.

안정적/관련된 정보("코어 신호")를 과도적/불필요한 정보("과도층")로부터 분리하는 능력이 유용할 수 있다. 예를 들어, 본원의 실시예들에 따른 안정 정보 대 과도 정보의 분리는, 현실(reality)에 대한 디지털화된 신호의 고유 충실도(intrinsic adherence)를 향상시킨다(또한 추가의 프로세싱을 용이하게 한다). 또한, 안정 정보 대 과도 정보의 분리는 신호의 더 양호한 압축을 가능하게 하는데, 왜냐하면, (이웃하는 샘플들로부터는 통상적으로 예측불가능한) 과도 정보의 정보 엔트로피의 양이 (비록 매우 상세할지라도 통상적으로 이웃하는 샘플들로부터 적어도 부분적으로 예측될 수 있는) 안정 정보의 정보 엔트로피의 양 보다 높은 경향이 있기 때문이다.

본원의 실시예들은 종래의 시스템들 및 방법들을 벗어난다. 예를 들어, 본원의 실시예들은 신호에서 과도 정보("과도 정보" 또는 "과도층")를 안정 정보("코어 신호")로부터 분리하기 위한 새롭고 고유한 방법들을 제공하는 것을 포함한다.

보다 구체적으로는, 본원에서 논의하는 바와 같은 안정-과도 분리기(Stable-Transient Separator)(때때로 본원에서 STS로 칭함)는, 차원 T와 같은 적어도 하나의 차원에 대해 안정성 가설이 적용될 수 있는(즉, 상기 차원 T에 따른 신호의 세팅들은 비교적 안정한 것으로 가정될 수 있는) 임의의 다차원 신호에 적용 가능한 보편적인 방법이다. 일 실시예에서, 본원에서의 논의하는 바와 같은 STS 또는 신호 프로세서는, 코어 신호로부터 과도 정보의 분리를 가능하게 하면서, 동시에, 실제의/관련된 정보를 구성하는 모든 디테일들을 코어 신호에 보존할 수 있다. 일 실시예에 따른 STS는 또한, 과도층의 특성들(예를 들어, 잡음의 스펙트럼 분포 등)을 추출함으로써, 필요한 경우에, 원래의 과도층과 유사한 특성들(반드시 동일하지는 않음)을 갖는 과도층을 재구성할 수 있도록 한다.

신호로부터 불필요한 과도 정보(예를 들어, 잡음, 필름 그레인(film grain), 매우 변동적인 디테일들 등)를 식별하고 그리고/또는 제거하는 것과 연관된 하나 이상의 이점들이 있다. 예를 들어, 세팅들로부터 과도 성분들을 식별하고 제거하는 것은, 하나의 이미지로부터 다음 이미지로 바뀔 때 또는 심지어 동일한 이미지내에서 엘리먼트 세팅들의 정보 엔트로피를 감소시키는데 도움을 줄 수 있다. 정보 엔트로피를 감소시키는 것은, 신호의 렌디션(rendition)을 인코딩하기 위해 필요한 데이터량을 감소시킨다. 추가로, 세팅들로부터 과도/잡음 성분들을 식별하고 제거하는 것은, 더욱 정확하고 더 높은 품질로 신호의 렌디션을 인코딩할 수 있게 한다.

단순화를 위해 그리고 본 발명을 설명하기 위해, 본원에 예시된 실시예들은 3D 시간-기반 신호들을 참조하고, 다른 특정한 경우들에서는, 2D 평면들의 세팅들의 시퀀스들(예를 들어, 적합한 컬러 공간에서의 2D 이미지들의 시퀀스들)을 참조한다. 그러나, 본원에서 논의하는 바와 같은 개념들은 반드시 시간-기반이 아닌, 적어도 하나의 차원 T(예를 들어, 시간)가 안정성 가설에 적합한, 즉, 상기 차원(들)에 따른 신호의 세팅들이 비교적 안정한 것으로 가정될 수 있는, 임의의 다른 타입의 다차원 신호에 적용될 수 있다.

예를 들어, 본원의 실시예들은 모션을 보상하는 것을 포함할 수 있고, 임계값 이상의 변동들은 제외하고, 신호는 차원 T를 따른 여러 후속 샘플들에 대해 유사한 값들을 유지한다. 본질적으로, 신호는 차원 T를 따라 어느 정도 예측가능성을 갖는 것으로 가정될 수 있다. 신호가 비교적 안정하다는 가설이 유효하지 않은 차원들에 대해서는, 비록 세부 정보가 매우 국부적이고 그리고/또는 이들 차원들을 따른 신호의 다른 부분들과 상관되지 않더라도, 이러한 세부 정보를 잃어버리려고 하지 않는다고 가정된다.

특히, 시퀀스 내의 각각의 2D 평면이 "위치 t에서의 신호의 샘플"로서 참조될 것이고, 여기서, t는 차원 T에서의 적당한 위치이다.

본원의 일 실시예는 위치 t에서의 신호의 샘플의 엘리먼트들 각각에 대한 이동 평균(moving average)을 생성하도록 구성된 신호 프로세서를 포함하고, 이동 평균은 신호의 이웃하는 샘플들에서의 대응하는 엘리먼트들의 측정치들의 가중 평균으로서 계산된다.

일 실시예에서, 이동 평균은 신호의 각 평면 샘플의 통계적 특성들을 고려하여, 정확도-기반 가중치들로 가중된다. 예를 들어, 과도 정보의 통계적 특성들은 신호의 각 샘플에 대해 일정한 것으로 가정되지 않아서, 상이한 샘플로부터의 측정치들은 이동 평균에서 상이하게 가중된다.

추가의 보다 구체적인 실시예에서, 더 높은 정확도를 갖는 것으로 여겨지는 샘플들에 더 높은 가중치들이 할당된다. 위치 T에서의 엘리먼트의 세팅들(즉, 그것의 대응하는 세팅들)의 측정치가 대응하는 이동 평균에 대해 임계량보다 크게 차이가 나면, 그 엘리먼트에 대한 이동 평균 세팅은 위치 T에서 시작하도록 리셋된다. 따라서, 버퍼 또는 이동 평균 맵이 시퀀스 내의 각 엘리먼트에 대한 하나 이상의 엘리먼트 세팅들이 안정적이거나 안정적이지 않은 정도를 나타내는 정보를 포함할 수 있다.

다른 실시예들에 따르면, 원래의 신호에 이전에 포함된 과도 정보를 인코딩하지 않고, 신호("코어 신호")의 샘플의 새로운 렌디션을 생성하기 위해, 신호 프로세서는 하나 이상의 엘리먼트들과 연관된 이동 평균들의 맵을 레버리징(leverage)한다. (예를 들어, 원래의 샘플로부터 샘플의 "코어 신호" 렌디션을 감산함으로써 획득된) 과도 정보가 개별적으로 분석되고 저장될 수 있다. 특정한 경우들에서, 과도 정보는 필요한 경우에 추가의 사용을 위해 이용가능할 수 있다.

또 다른 실시예에서, 신호 프로세서는 신호에서 식별된 과도 정보의 속성들을 분석한다. 신호 프로세서는 과도 정보의 본질을 특정한 타입의 수학적 분포인 것으로 포착할 수 있다. 원하는 경우에, 신호는 과도 정보 없이 인코딩될 수 있다. 신호의 렌디션을 재생하는 디코더가 식별된 과도 정보 없이 신호의 렌디션을 생성하도록 데이터를 디코딩할 수 있다. 언급한 바와 같이, 일 실시예에서, 신호 프로세서는, 식별된 과도 정보와 연관된 특정한 타입의 수학적 분포에 따라, (신호 프로세서에 의해 식별된 속성들을 따른) 과도 정보를 신호에 다시 추가할 수 있다.

(과도 정보를 포함하는) 원래의 신호와 이에 대응하는 (특정한 타입의 수학적 분포에 기초하여 생성된 과도 정보를 포함하는) 신호의 재생된 버전은, 원래의 신호에 존재하는 과도 정보와 정확하게 동일한 위치에서 그리고/또는 그 과도 정보와 동일한 세팅들을 갖는 신호로 다시 추가되지 않기 때문에, 서로 동일하지 않을 수 있다. 그러나, 원래의 신호와 재생된 신호의 본질은 매우 유사한 것으로 나타난다.

다른 실시예에서, 신호의 각 샘플과 연관된 정확도 정보를 업데이트하기 위해 이동 평균들의 맵이 피드백 루프에서 사용될 수 있다.

또 다른 실시예들에서, 차원 T에 대해 가정된 안정성 가설을 완화하기 위해, 정확한 보조 맵들(예를 들어, 하나의 샘플로부터 다른 샘플로의 변환을 나타내는, 신호의 각 샘플의 각 엘리먼트에 대한 모션 벡터/예측 벡터를 제공하는 모션 맵들/예측 맵들)이 레버리징될 수 있다. 이러한 실시예에서, 이동 평균들의 맵은 과도 정보 없이 신호의 샘플의 새로운 렌디션을 생성하기 위해 레버리징되기 이전에 모션-보상된다.

다른 보다 구체적인 실시예들에 따르면, 모션 벡터들과 연관된 값들(예를 들어, 비-제한적인 예들로서, 각 모션 벡터의 반경, 또는 각 모션 벡터와 연관된 신뢰 레벨/정확도)이 이동 평균들의 맵에 영향을 미치기 위해 레버리징된다. 예를 들어, 이미지들의 시퀀스(예를 들어, 비디오 프레임들)는 이동하는 객체를 나타내는 하나 이상의 엘리먼트들을 포함할 수 있다. 모션 맵들은 이미지들의 시퀀스에서 하나 이상의 객체들의 이동을 나타내는 정보를 포함한다. 하나의 이미지로부터 다음의 이미지로 바뀔 때 소정의 객체를 나타내는 엘리먼트들의 x-y 위치가 이동하더라도, 이미지들에서 그 객체에 대한 엘리먼트들의 세팅들은 동일할 수 있다. 하나의 이미지로부터 다음의 이미지로 바뀔 때의 객체의 이동을 식별하고 트래킹하기 위해 소위 모션 맵들(예를 들어, 모션 벡터 정보)이 사용될 수 있다.

본원의 실시예들은 시퀀스에서의 하나의 평면(예를 들어, 비디오 프레임 등)으로부터 다음의 평면으로 변화할 때 이동하는 객체를 나타내는 엘리먼트들을 모니터링하고 분석하는 것을 포함한다. 일 실시예에서, 모션 맵 정보는 엘리먼트들의 이동을 특정한다. 이미지들과 연관된 세팅 정보(예를 들어, YUV, RGB, HSV 등과 같은 적합한 컬러 공간에서의 디스플레이 세팅 정보)는 이동하는 엘리먼트들에 할당된 세팅들을 나타낸다. 신호 프로세서는, 각 엘리먼트에 대해, 이동하는 소정의 엘리먼트에 대한 세팅들의 변화들이 과도 정보(예를 들어, 획득 잡음, 필름 그레인, 매우 변동적인 디테일들 등)에 해당하는지 또는 이들이 장면의 변화로 인해 발생하는 것인지를 여부를 결정하도록 구성될 수 있다.
또 다른 실시예에 따르면, 신호 프로세서는 세팅 정보를 수신한다. 세팅 정보는 소정의 엘리먼트가 존재하는 다수의 이미지들의 시퀀스에서의 각 이미지(예를 들어, 평면, 프레임 등)에 대한 소정의 엘리먼트의 세팅을 특정한다. 신호 프로세서는 시퀀스 내의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도를 특정하는 정확도 메타데이터를 또한 수신한다. 신호 프로세서는 세팅 정보 및 정확도 메타데이터에 기초하여 소정의 엘리먼트에 대한 세팅값을 생성한다. 일 실시예에서, 세팅값은 시간에 걸쳐 느리게 변화하는 이동 평균이다. 세팅값은 소정의 엘리먼트에 대한 세팅들이 이미지들 하나 이상에 걸쳐 안정한 정도를 나타낼 수 있다.

삭제

일 예시적인 실시예에서, 소정의 엘리먼트에 대해 생성된 세팅값 또는 이동 평균이 비교적 안정적이어서 소정의 엘리먼트의 현재의 세팅보다 소정의 엘리먼트에 대한 세팅의 더 양호한 표현이 된다면, 신호 프로세서는 이미지들의 시퀀스의 하나 이상의 이미지들에 대한 소정의 엘리먼트의 세팅을 인코딩하기 위한 기초로서, 소정의 엘리먼트의 현재의 세팅 대신에 다수의 이미지들의 시퀀스에 걸쳐 생성된 세팅값(예를 들어, 과도 정보를 뺀 엘리먼트의 세팅, 또는 "생성된 안정값")을 각 이미지에 대해 활용한다.

소정의 엘리먼트의 각각의 세팅과 연관되는 추정된 정확도 정보는 다수의 세팅들 중 각각의 세팅이 상당한 과도 정보의 성분(예를 들어, 잡음, 필름 그레인 등)을 포함할 가능성 또는 정도를 나타내는 통계적 측정치일 수 있다. 일 실시예에서, 소정의 이미지의 엘리먼트들에 대한 이러한 추정된 정확도 정보는 이전의 이미지의 생성된 안정값들에 적어도 부분적으로 기초하여 계산된다.

다른 실시예에 따르면, 신호 프로세서는 시퀀스 내의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도들의 합에 적어도 부분적으로 기초하여, 이미지들의 시퀀스에 대해 소정의 엘리먼트에 대한 안정한 세팅값(예를 들어, 이동 평균)에 대응하는 정확도값을 할당한다.

보다 구체적인 실시예에서, 신호 프로세서는, 소정의 엘리먼트에 대한 안정한 세팅값을 생성할 때, 가중치 인자들을 세팅들 각각에 적용하고; 가중치 인자들은 소정의 엘리먼트에 대한 세팅들의 추정된 정확도들에 적어도 부분적으로 기초하여 변화한다. 신호 프로세서는 소정의 엘리먼트에 대한 세팅값을 생성하기 위해 가중된 세팅들을 합산한다. 따라서, 본원에서의 실시예들은 시퀀스에서의 세팅들의 상이한 가중치들에 기초하여 소정의 엘리먼트에 대한 세팅값을 생성하는 것을 포함할 수 있다.

다른 실시예에 따르면, 신호 프로세서는 분석되는 소정의 엘리먼트와 연관된 세팅들 또는 샘플들의 윈도우에 대한 가중치 인자들을 정규화할 수 있다. 예를 들어, 다른 실시예에 따르면, 신호 프로세서는 가중치 인자들을 세팅들에 적용하기 이전에 가중치 인자들을 정규화한다.

또 다른 실시예에서, 언급한 바와 같이, 이미지들의 시퀀스에 걸친 소정의 엘리먼트에 대한 안정한 세팅값은 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들의 가중치들에 기초하여 계산된 이동 평균값이다. 언급한 바와 같이, 세팅들에 적용된 가중치들의 크기는 세팅들 각각의 추정된 정확도에 적어도 부분적으로 의존하여 변화한다.

소정의 엘리먼트에 대한 안정한 세팅값은 소정의 엘리먼트가 존재하는 각각의 추가의 샘플 이미지에 대해 업데이트될 수 있다. 예를 들어, 일 실시예에서, 신호 프로세서는, 이미지들의 이전에 분석된 시퀀스에 후속하는 차원 T를 따른 다음의 연이은 이미지에 대한 소정의 엘리먼트에 할당된 다음의 세팅값 및 이에 대응하는 정확도 값을 수신할 수 있다. 신호 프로세서는 다음의 연이은 이미지에 대한 소정의 엘리먼트의 다음 세팅의 가중치와 할당된 세팅값의 조합에 기초하여 소정의 엘리먼트에 할당된 세팅값을 업데이트한다.

소정의 엘리먼트에 대한 세팅값은 하나의 이미지로부터 다음의 이미지로 바뀔 때 대폭적으로 변할 수 있다. 이것은 (비디오 이미지들의 경우) 조명 조건들의 변화, 엘리먼트가 속하는 엔티티의 본질의 변화, 또는 이미지들에 의해 캡처된 배경의 변화와 같은 여러 이유들로 인해 발생할 수 있다. 이러한 실시예에서, 이동 평균 또는 세팅값은 리셋되거나, 대안적으로는 소정의 엘리먼트에 대한 안정한 세팅값의 기초가 된 초기 시퀀스의 이미지들에 후속하는 다른 이미지의 속성들에 기초하여 업데이트될 수 있다.

예를 들어, 제1 샘플 경우에 따르면, 신호 프로세서가 시퀀스에 후속하는 후속 이미지에 대해 소정의 엘리먼트에 할당된 다음의 세팅값 및 이에 대응하는 정확도 값을 수신한다고 가정한다. 신호 프로세서는 (하나 이상의 이미지들의 윈도우에 대한) 이전에 생성된 세팅값과 (이미지들의 윈도우에 후속하는 다음 이미지에서의) 소정의 엘리먼트에 대한 다음의 세팅값 사이의 차이를 나타내는 차이값을 생성한다. 신호 프로세서는 그 차이값을 임계값에 비교한다. 차이값이 임계값 미만이라는 검출에 응답하여, 신호 프로세서는 소정의 엘리먼트의 다음의 세팅의 가중치와 생성된 세팅값의 조합에 적어도 부분적으로 기초하여 소정의 엘리먼트에 할당된 세팅값을 업데이트한다.

대안적으로, 제2 예시적인 경우에 따르면, 신호 프로세서가 이미지들의 시퀀스에 후속하는 다음의 연속 이미지에 대한 소정의 엘리먼트에 할당된 다음의 세팅값 및 이에 대응하는 정확도 값을 수신한다고 가정한다. 언급한 바와 같이, 신호 프로세서는 (윈도우 이미지들에 대한) 생성된 세팅값과 (이미지들의 윈도우에 후속하는 다음 이미지에서의) 소정의 엘리먼트에 대한 다음의 세팅값 사이의 차이를 나타내는 차이값을 생성할 수 있다. 신호 프로세서는 그 차이값을 임계값에 비교한다. 이러한 예에서, 차이값이 임계값보다 크다는 검출에 응답하여, 신호 프로세서는 버퍼링된 세팅값을 리셋하고 소정의 엘리먼트에 대한 세팅값을 다음의 세팅값과 동일하게 되도록 업데이트한다. 따라서, 차이가 임계값 이상일 때, 신호 프로세서는 이전의 세팅들을 무시한다.

소정의 엘리먼트가 시퀀스에서의 각 이미지의 상이한 위치 좌표들에 존재하는 엔티티(예를 들어, 객체)를 나타낼 수 있음을 주목한다. 신호 프로세서는 시퀀스의 각 이미지에서의 소정의 엘리먼트의 상이한 위치 좌표들을 식별하기 위해 이미지들의 시퀀스와 연관된 모션 벡터 정보를 활용하도록 구성될 수 있다. 모션 벡터 정보는 이미지들의 시퀀스에서의 엔티티의 이동을 나타낸다.

엘리먼트 세팅들의 정확도의 크기들에 의존하여 가중치 인자들을 생성하는 것에 부가하여 또는 그에 대한 대안으로서, 본원의 실시예들은 모션 벡터 정보와 연관된 정확도 메타데이터에 적어도 부분적으로 기초하여 세팅들에 적용되는 가중치들의 크기를 생성하는 것을 포함할 수 있다. 모션 벡터들과 연관된 정확도 메타데이터는 모션 벡터가 정확한 정도를 나타낼 수 있다.

앞서 언급한 바와 같이, 신호를 인코딩하기 위해, 이미지들 각각에서의 소정의 엘리먼트에 대한 원래의 세팅들을 사용하는 것이 아니라, 하나 이상의 이미지들의 시퀀스에서의 각 이미지에 대해 생성된 안정한 세팅값 또는 이동 평균값이 사용될 수 있다. 이는 신호를 인코딩하기 위해 필요한 데이터량을 잠재적으로 감소시키고, 종종 그와 동시에 신호의 인지되는 품질을 향상시킨다. 다시 말해, 본원의 실시예들은 과도 정보(예를 들어, 잡음, 필름 그레인, 매우 변동적인 디테일들 등)를 특징화하고, 감소된 양의 과도 정보로 신호를 인코딩하는 것을 포함할 수 있다.

본원의 실시예들은 세팅들에서의 과도 성분들의 속성들을 식별하고 감소된 과도 성분들로 신호를 인코딩하기 위해 이미지들의 세팅들에서의 변동들을 분석하는 것을 더 포함할 수 있다. 디코더 및/또는 재생 디바이스는, 후속하는 재생 동안 다수의 이미지들의 시퀀스의 렌더링시에, 식별된 과도 성분들(예를 들어, 잡음)을 재생 동안 다수의 이미지들의 시퀀스의 렌디션에 다시 주입하도록 구성되어, 다수의 이미지들의 시퀀스의 렌디션이 원래의 신호와 유사하게 나타나게 할 수 있다.

다른 실시예들에 따르면, 정확도 메타데이터는 하나의 이미지로부터 다음의 이미지로 바뀔 때 단지 하나의 엘리먼트의 세팅들을 분석하는 것이 아니라, 엘리먼트들의 그룹 또는 전체 이미지의 분석에 기초하여 생성될 수 있다. 예를 들어, 일 실시예에서, 프로세싱 자원은, 각각의 이미지에 대하여, 적어도 하나의 이전의 이미지에서의 대응하는 세팅들과 비교되는 각각의 이미지에서의 다수의 엘리먼트 세팅들의 그룹의 전체적인 분석에 기초하여 시퀀스에서의 각각의 이미지 및 소정의 엘리먼트에 대한 정확도 메타데이터를 생성할 수 있다.

이들 실시예들 및 다른 실시예들의 변형들이 아래에서 더욱 상세히 논의된다.

위에서 언급한 바와 같이, 본원의 실시예들은 소프트웨어 또는 하드웨어로 구현될 수 있거나, 소프트웨어와 하드웨어의 조합을 사용하여 구현될 수 있고, 본원에 개시된 임의의 또는 모든 방법 동작들을 수행하고 그리고/또는 지원하기 위한 하나 이상의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 핸드헬드 또는 랩탑 컴퓨터들, 셋-탑 박스들 등의 구성을 포함할 수 있다는 것에 유의한다. 다시 말해, 하나 이상의 컴퓨터화된 디바이스들 또는 프로세서들이 본원에서 설명하는 바와 같이 동작하도록 프로그래밍되고 그리고/또는 구성되어, 다양한 실시예들을 수행할 수 있다.

위에서 논의한 바와 같은 기술들에 부가하여, 본원의 또 다른 실시예들은 위에서 요약하고 아래에 상세히 개시되는 단계들 및 동작들을 수행하기 위한 소프트웨어 프로그램들을 포함한다. 하나의 이러한 실시예들은 프로세서 및 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 본원에 개시된 임의의 동작들을 수행하도록 프로세서를 프로그래밍하고 그리고/또는 프로세서로 하여금 그 임의의 동작들을 수행하게 하는 인코딩된 컴퓨터 프로그램 로직, 명령들 등을 포함하는 컴퓨터 판독가능한 하드웨어 저장 자원(즉, 비일시적 컴퓨터 판독가능한 매체)을 포함한다. 이러한 장치들은 광학 매체(예를 들어, CD-ROM, 또는 DVD-ROM), 플로피 또는 하드 디스크 또는 하나 이상의 ROM 또는 RAM 또는 PROM 칩들에 펌웨어 또는 마이크로코드와 같은 컴퓨터 판독가능한 명령들을 저장할 수 있는 임의의 다른 매체와 같은 컴퓨터 판독가능한 매체상에 배열되거나 인코딩된 소프트웨어, 코드, 및/또는 다른 데이터(예를 들어, 데이터 구조들) 또는 응용 주문형 집적 회로(ASIC)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 이러한 구성들은 컴퓨터화된 디바이스로 하여금 본원에 설명된 기술들을 수행하게 하도록 컴퓨터화된 디바이스상에 설치될 수 있다.

이와 같이, 본 개시의 하나의 특정한 실시예는 본원에서 논의한 바와 같은 임의의 신호 프로세싱 동작들 지원하는 명령들이 저장된 컴퓨터 판독가능한 하드웨어 저장 매체를 포함하는 컴퓨터 프로그램 물건에 관한 것이다.

명료함을 위해 단계들의 순서가 추가되었다. 이들 단계들은 임의의 적합한 순서로 수행될 수 있다.

본 개시의 다른 실시예들은 위에서 요약되고 아래에 상세히 개시되는 임의의 방법 실시예들의 단계들 및 동작들을 수행하기 위해 소프트웨어 프로그램, 펌웨어 및/또는 각각의 하드웨어를 포함한다.

또한, 본원에 논의하는 바와 같은 시스템, 방법, 장치, 컴퓨터 판독가능한 저장 매체상의 명령들 등은, 엄격하게 소프트웨어로서, 또는 소프트웨어, 펌웨어, 및/또는 하드웨어의 하이브리드로서, 또는 하드웨어 단독으로서, 예를 들어, 프로세서 내에서, 또는 운영 시스템 내에서 또는 소프트웨어 애플리케이션 내에서 실시될 수 있다.

위에서 논의한 바와 같이, 본원의 기술들은 신호들을 프로세싱하고 모션 벡터들을 생성하는 소프트웨어, 펌웨어, 및/또는 하드웨어 애플리케이션들에서의 사용에 매우 적합하다. 그러나, 본원의 실시예들이 이러한 애플리케이션들에서의 사용에 제한되지 않으며, 본원에서 논의되는 기술들이 다른 애플리케이션들에도 매우 적합하다는 것에 유의해야 한다.

추가로, 본원의 상이한 특징들, 기술들, 구성들 등 각각이 본 개시의 상이한 곳들에서 논의될 수 있지만, 개념들 각각이 서로 독립적으로 또는 서로 조합하여 실행될 수 있다는 것에 유의한다. 따라서, 본원에서 설명한 바와 같은 하나 이상의 본 발명들, 실시예들 등은 다수의 상이한 방식들로 실시될 수 있고 보여질 수 있다.

또한, 본원에서의 실시예들의 이러한 예비 논의가 본 개시 또는 청구하는 발명(들)의 모든 실시예 및/또는 점증적인 신규한 양태를 특정하지 않는다는 것에 유의한다. 대신에, 이러한 간략한 설명은 종래의 기술들 이상의 일반적인 실시예들 및 신규성의 대응하는 포인트들을 단지 제공한다. 발명(들)의 추가의 상세사항들 및/또는 가능한 관점들(치환들)에 대해, 독자는 아래에 더 논의되는 바와 같은 본 개시의 상세한 설명부 및 대응하는 도면들을 참조한다.

또 다른 실시예에 따르면, 본원에서의 실시예들은 신호의 차원들 중 하나의 차원 T를 따른 안정성 가설에 기초하여 안정값(v)을 다차원 신호의 각 엘리먼트(m) 마다 생성하는 방법을 포함하고, 이 방법은 신호의 평면 엘리먼트(m)를 선택하는 단계; 엘리먼트(m)의 좌표들에 적어도 부분적으로 기초하여, 신호의 k-1개 추가 평면 엘리먼트들을 선택하는 단계 (여기서, k≥2) ― k개 엘리먼트들 각각은 안정성 가설을 갖는 차원(T)을 따른 상이한 좌표를 특징으로 함 ―; 및 k개 엘리먼트들 각각의 세팅들에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 포함한다.

또 다른 실시예에서, k개 엘리먼트들은 안정성 가설을 갖는 차원(T)을 따라 하나가 다른 하나에 후속하여 위치된다.

또 다른 실시예에서, 안정값(v)에 대한 k개 엘리먼트들 각각의 기여도는 안정값과 연관된 통계적 파라미터들에 적어도 부분적으로 의존한다. 방법은 신호의 평면 엘리먼트(m)를 선택하는 단계; 엘리먼트(m)의 좌표들에 적어도 부분적으로 기초하여, 신호로부터 k-1개 추가의 평면 엘리먼트들을 선택하는 단계 ― k개 엘리먼트들 각각은 안정성 가설을 갖는 차원(T)을 따른 상이한 좌표를 특징으로 함 ― 및; k개 엘리먼트들 각각의 세팅들 및 각 엘리먼트와 연관된 통계적 파라미터에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함한다.

또 다른 실시예에서, 각 엘리먼트와 연관된 통계적 파라미터들은 각 엘리먼트의 정확도에 대한 정보를 포함한다 (예를 들어, 비-제한적인 예로서, 정확도는 세팅들의 추정된 편차의 역으로서 계산될 수 있다).

또 다른 실시예에서, 안정값(v)에 대한 k개 엘리먼트들 각각의 선택 및 기여도는 엘리먼트(m)의 세팅에 적어도 부분적으로 의존한다. 방법은 신호의 평면 엘리먼트(m)를 선택하는 단계; 엘리먼트(m)의 좌표들 및 엘리먼트(m)의 세팅들에 적어도 부분적으로 기초하여, 신호로부터 k-1개 추가의 평면 엘리먼트들을 선택하는 단계 - k개 엘리먼트들 각각은 안정성 가설을 갖는 차원(T)을 따른 상이한 좌표를 특징으로 함 -; 및 k개 엘리먼트들 각각의 세팅들 및 각 엘리먼트와 연관된 통계적 파라미터에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함한다.

또 다른 실시예에서, 각 엘리먼트(m)과 연관된 안정값은 k개 엘리먼트들 각각과 연관된 통계적 파라미터들에 기초하여 k개 엘리먼트들 각각의 세팅들을 가중함으로써 생성될 수 있다.

다른 실시예에 따르면, 세팅들이 임계값을 넘어 엘리먼트(m)의 세팅들과 상이한 엘리먼트들과 연관된 가중치들은 제로로 세팅된다. 임계값의 세팅은 엘리먼트(m)과 동일한 차원(T)을 따른 좌표를 갖는 엘리먼트들에 대한 신호의 측정치들의 추정된 통계적 특성들에 적어도 부분적으로 의존할 수 있다.

또 다른 실시예에서, 엘리먼트(m)에 대한 안정값(v)을 생성하기 위해 선택된 k-1개 엘리먼트들 각각은 적합한 모션 벡터들을 레버리징함으로써 식별되고, 방법은 신호의 평면 엘리먼트(m)를 선택하는 단계; 엘리먼트(m)의 좌표들,엘리먼트(m)의 세팅들 및 엘리먼트(m)과 연관된 모션 벡터에 적어도 부분적으로 기초하여, 안정성 가설을 갖는 차원(T)을 따른 선행 또는 후속 좌표를 특징으로 하는, 신호의 적어도 하나의 추가 평면 엘리먼트(i)를 선택하는 단계; k개 엘리먼트들이 선택될 때까지(여기서, k≥2), 최종 선택된 엘리먼트의 좌표들, 최종 선택된 엘리먼트의 세팅들 및 그와 연관된 모션 벡터에 적어도 부분적으로 기초하여, 안정성 가설을 갖는 차원(T)을 따른 선행 또는 후속 좌표를 특징으로 하는, 신호의 적어도 하나의 추가의 평면 엘리먼트(j)를 선택하는 단계; 및 식별된 엘리먼트들 각각의 세팅들 및 각 엘리먼트와 연관된 통계적 파라미터들에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함한다.

또 다른 실시예에서, 안정값에 대한 각 선택된 엘리먼트의 기여도는 모션 벡터들과 연관된 메타 정보(예를 들어, 비-제한적인 예로서, 모션 벡터들과 연관된 정확도 정보)에 의존하고, 방법은 신호의 평면 엘리먼트(m)를 선택하는 단계; 엘리먼트(m)의 좌표들, 및 엘리먼트(m)과 연관된 모션 벡터에 적어도 부분적으로 기초하여, 안정성 가설을 갖는 차원(T)을 따른 선행 또는 후속 좌표를 특징으로 하는, 신호의 적어도 하나의 추가 평면 엘리먼트 i를 선택하는 단계; k개 엘리먼트들이 선택될 때까지(여기서, k≥2), 최종 선택된 엘리먼트의 좌표들 및 그와 연관된 모션 벡터에 적어도 부분적으로 기초하여, 안정성 가설을 갖는 차원(T)을 따른 선행 또는 후속 좌표를 특징으로 하는, 신호의 적어도 하나의 추가의 평면 엘리먼트 j를 선택하는 단계; 및 식별된 엘리먼트들 각각의 세팅들, 각 엘리먼트와 연관된 통계적 파라미터들 및 엘리먼트들을 식별하기 위해 사용된 모션 벡터와 연관된 통계적 파라미터들에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함한다.

또 다른 실시예에 따르면, 각 엘리먼트(m)과 연관된 안정값은 차원(T)을 따른 엘리먼트(m)의 좌표와 연관된 버퍼 v^old 에 포함된 세팅들에 적어도 부분적으로 기초하여 생성되고, 방법은 차원(T)을 따른 소정의 좌표(t)에 대한 신호의 평면(M)을 선택하는 단계; M내에서, 신호의 평면 엘리먼트(m)를 선택하는 단계; 신호의 평면(M)에 대응하는 버퍼 V^old를 식별하는 단계; 엘리먼트(m)의 좌표들에 적어도 부분적으로 기초하여, 버퍼 V^old에서 엘리먼트 v^old를 선택하는 단계; 및 엘리먼트(m)의 세팅들, v^old의 세팅들 및 m과 v^old의 세팅들과 연관된 적합한 가중 파라미터들에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함한다.

또 다른 실시예들에서, 가중치들의 합이 1이 되도록 m 및 v^old와 연관된 가중 파라미터들은 정규화된다.

또 다른 실시예에서, 가중 파라미터들은 m 및 v^old의 추정된 정확도들과 같은 통계적 파라미터들에 의존한다. 비-제한적인 실시예에서, 정확도들은 편차의 역으로서 계산된다.

다른 실시예들에 따르면, v^old와 연관된 가중 파라미터는, m과 v^old의 세팅들이 임계값을 넘어 상이할 때 마다 제로로 설정되고, 임계값은 m과 v^old의 추정된 통계적 특성들에 적어도 부분적으로 의존한다.

다른 실시예에서, 버퍼값 P^old는 추정치들 p^old의 평면을 포함하고, 버퍼 P^old의 각 엘리먼트 p^old는 버퍼 V^old의 엘리먼트 v^old에 대응하고, 방법은 차원(T)을 따른 소정의 좌표(t)에 대한 신호의 평면(M)을 선택하는 단계; M내에서, 신호의 평면 엘리먼트(m)를 선택하는 단계; 신호의 평면(M)에 대응하는 버퍼 V^old를 식별하는 단계; 엘리먼트(m)의 좌표들에 적어도 부분적으로 기초하여, 버퍼 V^old에서 엘리먼트 v^old를 선택하는 단계; 평면 V^old에 대응하는 버퍼 Pold를 식별하는 단계; 엘리먼트 v^old의 좌표들에 적어도 부분적으로 기초하여, 엘리먼트 v^old와 연관된 버퍼 P^old에서 엘리먼트 p^old를 선택하는 단계; 및 엘리먼트(m)의 세팅들, v^old의 세팅들 및 m과 v^old의 세팅들과 연관된 적합한 가중 파라미터들에 적어도 부분적으로 기초하여, 평면 엘리먼트(m)에 대한 안정값(v)을 생성하는 단계를 더 포함하고, v^old와 연관된 가중 파라미터는 엘리먼트 p^old의 세팅들에 적어도 부분적으로 의존한다.

다른 실시예에서, 엘리먼트(m)의 세팅들과 연관된 가중 파라미터들은 신호 측정치들(예를 들어, 신호 엘리먼트들의 세팅들)과 엘리먼트(m)의 차원(T)을 따른 좌표에 이웃하는 차원(T)을 따른 좌표에 대한 대응하는 생성된 안정값들 사이의 차이들의 평면의 통계적 특성들 p^new에 적어도 부분적으로 의존한다.

다른 실시예들에 따르면, 차원(T)을 따른 소정의 좌표(t)에 대한 버퍼 V^old의 세팅들은 신호와 연관된 보조 맵의 콘텐츠에 적어도 부분적으로 기초하여, 좌표 T = t를 갖는 신호의 엘리먼트들의 평면(M)에 대해 생성된 안정한 세팅들 V의 평면을 조정함으로써 생성된다.

다른 실시예들에 따르면, 차원(T)을 따른 소정의 좌표(t)에 대한 버퍼 P^old의 세팅들은 신호와 연관된 보조 맵의 콘텐츠에 적어도 부분적으로 기초하여, 차원(T)을 따른 좌표(t)의 이웃하는 좌표(예를 들어, t-1 또는 t+1)에 대한 버퍼 P^old의 세팅들에 적어도 부분적으로 기초하여 생성되는 세팅들의 평면을 조정함으로써 생성된다.

또 다른 실시예들에 따르면, 신호와 연관된 보조 맵의 좌표 T = t와 연관된 평면(MM)(모션 맵)은 모션 맵이고, 방법은 좌표 T = t에서 신호의 평면과 연관된 모션 맵(MM)에 포함된 모션 벡터들에 적어도 부분적으로 기초하여, 좌표 T = t를 갖는 신호의 엘리먼트들의 평면(M)에 대해 생성된 안정한 세팅들 V의 평면을 모션 보상함으로써 차원(T)을 따른 소정의 좌표(t)에 대한 버퍼 V^old의 세팅들을 생성하는 단계를 더 포함한다.

또 다른 실시예들에 따르면, 신호와 연관된 보조 맵의 좌표 T = t를 갖는 평면(MM)(모션 맵)은 모션 맵이고, 방법은 좌표 T = t에서 신호의 평면과 연관된 모션 맵(MM)에 포함된 모션 벡터들에 적어도 부분적으로 기초하여, 차원(T)을 따른 좌표(t)의 이웃하는 좌표(예를 들어, t-1 또는 t+1)에 대한 버퍼 P^old의 세팅들에 적어도 부분적으로 기초하여 생성된 세팅들의 평면을 모션 보상함으로써 차원(T)을 따른 소정의 좌표(t)에 대한 버퍼 P^old의 세팅들을 생성하는 단계; 및 모션 벡터들의 통계적 특성들에 대한 메타 정보가 이용가능할 때(예를 들어, 비-제한적인 예로서, 각 모션 벡터의 정확도에 대한 정보), 대응하는 모션 벡터들의 통계적 특성들에 기초하여 버퍼 P^old의 세팅들을 조정하는 단계를 더 포함한다.

다른 실시예에서, 안정값들은 신호의 해상도와 상이한 해상도(즉, 다양한 좌표들을 따른 엘리먼트들의 수)로 생성되고, 방법은 차원(T)을 따른 소정의 좌표(t)에 대한 신호의 평면(M)을 선택하는 단계; 신호의 평면(M)에 대응하는 버퍼 V^new를 식별하는 단계 ― 버퍼 V^new는 평면(M)의 해상도와 상이한 해상도(즉, 다양한 좌표들을 따른 엘리먼트들의 수)를 특징으로 함 ―; 평면(M)의 세팅들에 적어도 부분적으로 기초하여 버퍼 V^new에 대한 세팅들을 생성하는 단계; V^new내에서, 평면 엘리먼트 v^new를 선택하는 단계; 신호의 평면(M)에 대응하는 버퍼 V^old를 식별하는 단계 ― 버퍼 V^old는 버퍼 V^new와 동일한 해상도를 특징으로 함 ―; 엘리먼트 v^new의 좌표들에 적어도 부분적으로 기초하여, 버퍼 V^old에서 엘리먼트 v^old를 선택하는 단계; 평면 V^old에 대응하는 버퍼 P^old를 식별하는 단계 ― 버퍼 P^old는 버퍼 V^new 및 V^old와 동일한 해상도를 특징으로 함 ―; 엘리먼트 v^old의 좌표들에 적어도 부분적으로 기초하여, 엘리먼트 v^old와 연관된 버퍼 P^old에서 엘리먼트 p^old를 선택하는 단계; v^new의 세팅들, v^old의 세팅들, 및 v^new 및 v^old의 세팅들과 연관된 적합한 가중 파라미터들에 적어도 부분적으로 기초하여, 평면 엘리먼트 v^new에 대응하는 안정값 v을 생성하는 단계 ― v^old와 연관 가중 파라미터는 엘리먼트 p^old의 세팅들에 적어도 부분적으로 의존함 ―;를 더 포함한다.

또 다른 실시예들에서, 안정한 세팅들 v와 신호의 엘리먼트들의 대응하는 세팅들 사이의 차이에 적어도 부분적으로 기초하여, 신호의 과도 성분에 대한 정보가 생성되고, 방법은 차원(T)을 따른 소정의 좌표(t)에 대한 신호의 평면(M)을 선택하는 단계; 평면(M)의 각 엘리먼트(m)에 대해 안정값(v)을 생성하는 단계; 및 평면(M)의 세팅들과 대응하는 안정값들 사이의 차이들에 적어도 부분적으로 기초하여, 평면(M)의 과도 성분에 대한 정보(TC)를 생성하는 단계를 더 포함한다.

다른 실시예에서, 정보(TC)(과도 성분)는 평면(M)의 세팅들과 대응하는 안정값들 사이의 차이들의 스펙트럼 분포를 나타내는 파라미터들을 포함한다.

또 다른 실시예에서, 정보(TC)는 참조로 본원에 통합되는 티어드(tiered) 신호 디코딩 및 신호 재구성의 방법에 따라, 평면(M)의 세팅들과 대응하는 안정값들 사이의 차이들의 렌디션들의 티어드 계층(tiered hierarchy)(즉, 품질의 점진적으로 더 높은 레벨들)을 재구성하기 위해 재구성 데이터를 포함한다.

다른 실시예에서, 차원(T)을 따른 신호의 평면들은 프로세싱을 위해 모두 즉시 이용가능한 것과 대조적으로, 시간을 통해 점진적으로 이용가능하다.

본 발명의 상술한 목적 및 다른 목적, 특징들, 및 이점들은 동일한 참조 부호가 상이한 도면들 전반적으로 동일한 부분을 지칭하는 첨부한 도면들에 예시된 바와 같이, 본원에서의 바람직한 실시예들의 아래의 보다 구체적인 설명으로부터 명백할 것이다. 도면들은 반드시 실제대로 도시되지 않고, 대신에 실시예들, 원리들, 개념들 등을 예시할 때 강조가 표시된다.
도 1은 본원에서의 실시예들에 따른 평면들의 시퀀스에서 평면 엘리먼트들의 세팅들에서의 변동들을 예시하는 예시도이다.
도 2a 및 도 2b는 본원에서의 실시예들에 따른 평면 엘리먼트들의 샘플링을 예시하는 예시도들이다.
도 3a, 도 3b, 및 도 3c는 본원에서의 실시예들에 따른 평면 엘리먼트들의 이동 및 샘플링을 예시하는 예시도들이다.
도 4는 본원에서의 실시예에 따른 안정성 정보를 생성하기 위한 평면 엘리먼트들의 프로세싱을 예시하는 예시도이다.
도 5는 본원에서의 실시예에 따른 안정성 정보를 생성하기 위한 평면 엘리먼트들의 프로세싱을 예시하는 예시도이다.
도 6은 본원의 실시예에 따른 정확도 정보의 생성을 예시하는 예시도이다.
도 7a 및 도 7b는 본원에서의 실시예들에 따른 프로세싱 평면 엘리먼트 세팅들 및 대응하는 정확도 정보의 생성을 예시하는 예시도들이다.
도 8a 및 도 8b는 본원에서의 실시예들에 따른 인코딩 및 디코딩을 예시하는 예시도들이다.
도 9는 본원에서의 실시예에 따른 프로세싱을 수행하기 위한 아키텍처를 예시하는 예시도이다.
도 10 및 도 11은 본원에서의 실시예들에 따른 예시적인 방법들을 도시하는 예시도들이다.

일 예시적인 실시예에 따르면, 신호 프로세서는 세팅 정보를 수신한다. 세팅 정보는 소정의 엘리먼트가 존재하는 다수의 이미지들의 시퀀스에서 각 이미지(예를 들어, 평면, 프레임 등)에 대한 소정의 엘리먼트의 세팅을 특정한다. 신호 프로세서는 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도를 특정하는 정확도 메타데이터와 같은 통계적 정보를 또한 수신한다. 신호 프로세서는 세팅 정보 및 정확도 메타데이터에 기초하여, 소정의 엘리먼트에 대한 세팅값을 생성한다.

테스트하의 엘리먼트(예를 들어, 소정의 엘리먼트)에 대해 생성된 세팅값은 시간에 거쳐 변하는 이동 평균일 수 있다. 세팅값은 소정의 엘리먼트에 대한 세팅이 이미지들의 하나 이상에 걸쳐 안정한 정도를 나타낼 수 있다. 일 예시적인 실시예에서, 소정의 엘리먼트에 대해 생성된 세팅값 또는 이동 평균이 비교적 안정적이어서 소정의 엘리먼트의 현재의 세팅보다 소정의 엘리먼트에 대한 세팅의 더 양호한 표현일 가능성이 있으면, 신호를 인코딩하는 신호 프로세서는, 이미지들의 시퀀스의 하나 이상의 이미지들에 대한 소정의 엘리먼트의 세팅을 인코딩하기 위한 기초로서, 소정의 엘리먼트의 현재의 세팅 대신에 다수의 이미지들의 시퀀스를 통해 생성된 안정한 세팅값을 활용한다.

본 문헌에서 사용되는 명명 규칙(비-제한적인 예로서, 차원들 중 하나(즉, 차원 T, 시간으로 가정됨)에 안정성 가설이 적용되는 3차원 신호)

명명 규칙 설명

좌표들(X,Y,t)에서의 신호의 측정치들, 또는 등가적으로(equivalently), T=t에서의 이미지에 대한 좌표들(X,Y)에서의 엘리먼트에 대한 측정치들.

측정치들은 신호의 각 샘플링된 엘리먼트에 대한 원래의 세팅들이고, 안정한 성분들 및 과도 성분들을 포함한다.

T=t에서의 재샘플링된 이미지의 세팅들.

버퍼

는 차원들 X 및 Y를 따라, 샘플 M과 동일한 해상도, 또는 상이한 해상도(더 높거나 더 낮음) 중 어느 하나를 가질 수 있고, 해상도들이 동일할 때, 좌표들의 소정의 세트에 대한

의 세팅들은 동일한 좌표들에서의 M의 세팅들과 일치한다.

T=t에서의 이미지의 세팅들의 정확도 값.

본원에 설명하는 비-제한적인 예에서,

가 T=t에서의 소정의 이미지의 모든 좌표들(x,y)에 대해 동일하더라도, 좌표들(x,y)의 상이한 세트들은 상이한 정확도

를 특징으로 할 수 있다.

T=t에서의 이미지의 좌표들(x,y)의 세트에 대한 계산된 안정한 세팅들.

안정한 세팅들은 과도 성분들을 갖지 않으면 소정의 엘리먼트(x,y,t)의 "실제값"을 추정하고, 따라서, "값"에 대해 문자 "v"이다.

시간 T=t에서의 샘플을 처리하기 이전에 T=t에서의 이미지의 좌표들(x,y)의 세트에 대한 버퍼링된 추정된 안정한 세팅들; 비-제한적인 예에서, T=t에서의 안정한 세팅들

의 평면은 T=t-1에서 계산된 안정한 세팅들 V의 모션 보상에 의해 계산된다.

T=t에서의 이미지의 좌표들(x,y)의 세트에 대한 버퍼링된 추정된 안정한 세팅들

의 축적된 정확도.

모션 벡터에 의해 좌표들(x,y,t)에 링크된 좌표들의 세트, 다시 말해, (x¹,y¹)은 T=t에서 위치 (x,y)에 있었던 동일한 안정값의 T=t+1에서의 추정된 새로운 위치이다.

T=t에서의

및

에 기초하여, 소정의 T=t+1에서

를 계산하기 위해 사용된 가중 파라미터들; 파라미터 a가 1 미만(<1)이면, 더 구형의 샘플들이 더욱 최근의 샘플들 보다 점진적으로 더 낮은 중요도를 갖는다는 것을 의미하고, a=b=1이면, 소정의 시간 T=t+1에서의 안정값을 결정하기 위해 각 샘플의 중요도는 T=t+1에 관하여 얼마나 최근에 또는 오래전에 있었는지에 의존하지 않고 정확도에만 의존한다.

값/측정치/세팅의 기대값(즉, 통계적 평균값).

기대값은 특히, 통계적 특성의 엔티티들: 예를 들어, 측정치 M에 대해 적합하고, 이는 통계적 성분들(즉, 과도 성분들)의 일부에서 이루어진다.

차원(T)을 따른 상이한 좌표들에서 신호의 샘플들을 고려하여 계산된, 위치 (x,y)에서의 S의 추정치.

를 만들도록 정의된 정규화 파라미터.

값/측정치/세팅의 통계적 편차.

도 1은 본원에서의 실시예들에 따라 차원들 중 하나 Z에 대해 안정성 가설을 가정한 3D 신호를 예시하는 예시도이다. 이러한 예시적인 실시예에서, 차원 Z는 이 차원에 대해, 안정한 정보로부터 과도 정보를 분리하기를 원한다는 것을 강조하기 위해 차원(T)로 재명명된다.

좌표들(x, y, t)에 의해 식별된 신호의 각 평면 엘리먼트에 대해, "측정치" M(x, y, t)을 이용할 수 있다. 소정의 T=t에 대한 모든 측정치들 M(x, y, t)의 평면을 " 위치 T=t에서 신호의 샘플"로서 본원에서 또한 지칭된다(예를 들어, 비디오 신호에서, 이것은 시간 차원을 따라 이미지들의 시퀀스에서의 소정의 이미지에 대응한다).

안정성 가설을 가정하면, M(x, y, t)가 안정한 성분 S(x, y, t) 및 과도 성분 Tr(x, y, t)의 합으로 이루어진다는 것을 가정할 수 있다. 과도 성분은 통계적으로 0과 동일한 기대값 E(Tr)을 갖는 것으로 가정되어서, 측정치의 기대값 E(M)은 사실 안정한 컴포넌트이다:

일 실시예에서, 본질적으로, S는 과도 성분이 없는(예를 들어, 획득 잡음 및/또는 다른 매우 가변인 성분들이 없는) 평면 엘리먼트의 "실제" 값이다. 차원(T)에 따른 다수의 샘플들/측정치들을 가지면, 이러한 실제값을 추정할 수 있다. 엘리먼트의 실제값의 추정치로서 "v"를 라벨링하는 경우에,

와 같이, 최종 k개 샘플들의 적합한 가중 평균으로 v를 계산할 수 있다.

가중 파라미터들 p_i는 이동 평균의 사전 설정값들일 수 있거나, 더욱 구체적인 실시예들에서는, T=i에서의 샘플 데이터의 통계적 특성들의 추정치들에 의존할 수 있다(예를 들어, 비-제한적인 예는 T=i에서의 샘플의 편차의 역으로서 정확도 p_i를 계산하여, 높은 편차/낮은 정확도를 갖는 샘플들로부터 오는 측정치들은 낮은 편차/높은 정확도를 갖는 샘플로부터 오는 측정치들에 비하여 가중 평균에서 더 낮은 가중치를 갖는다).

비-제한적인 예로서, 언급한 바와 같은 기본적인 가설은, M이 안정하다는 것이고, 즉, (x, y)의 소정의 세트에 대한 모든 M_x,y,i(도 1에서의 모든 측정치들(110)(110-1 내지 110-k))가 동일한 기대값(반드시는 아니지만, 과도 성분들의 본질이 차원(T)을 따라 다를 수 있기 때문에 동일한 확률 분포)을 갖는다. 이러한 가설을 처리하기 위해, 실시예는 T=i에서의 측정치 M가 (T=i에서의 M의 특정한 확률 분포를 처리하기 위해 p_i에 의존하거나, 다른 비-제한한적인 예에서는 절대적인) 임계값을 넘는 T<i에서의 측정치와 상이할 때 마다, 실제값의 추정치 v가 T<i에서의 측정치들(이들 중 모두, 또는 다른 비-제한적인 실시예에서는, 임계값을 넘어 다른 것들)을 고려하지 않는다는 것을 확실히 한다.

도시된 바와 같이, 소정의 엘리먼트(110-1)는 다수의 평면들의 시퀀스에 걸쳐 평면의 동일한 (x, y) 위치에 존재하고, 이동하지 않는다. 엘리먼트들(110-1 내지 110-N)에 대한 M의 세팅들은 13, 14, 12, 15, ..., 13이다. 엘리먼트(110-1 내지 110-N)에 대한 세팅들은 시간을 통해 비교적 변화되지 않는다. 즉, 잡음 또는 다른 과도 성분들로 인해 세팅들 중에 작은 변동이 있을 수 있다.

또한, 도시된 바와 같이, 소정의 엘리먼트(120-1)는 다수의 평면들의 시퀀스에 걸쳐 평면의 동일한 (x, y) 위치에 존재한다. 엘리먼트들(120-1 내지 120-N)에 대한 M의 세팅들은 240, 238, 241, 242, ... 239이다. 엘리먼트(120-1 내지 120-N)에 대한 세팅들은 시간을 통해 비교적 변화되지 않는다. 세팅들 중에 작은 변동이 잡음 또는 다른 과도 성분들로 인해 발생할 수 있다.

도 2a는 본원에서의 실시예들에 따라 차원들 중 하나 Z(T로 재명명됨)에 대해 안정성 가설을 가정한 3D 신호를 예시하는 다른 예시도이다.

이러한 실시예에서, 각 좌표 (x, y)에 대해, 차원(T)을 따라 상이하고 사전 결정되지 않은 양의 측정치들을 수반할 수 있는 정확도들에 기초한 측정치들의 이동 평균이 하나 이상의 버퍼들의 도입에 의해 더 용이하고 더 효율적으로 이루어진다. T=t에서, 버퍼 v^old는 각 좌표 (x, y)에 대해 T=t-1에서의 신호의 샘플에 대해 추정된 값 v_x,y를 포함한다.

실시예에서, 버퍼 v_old에 포함된, T=t-1에서의 세팅 v_x,y의 각각의 추정치의 정확도 정보(예를 들어, 통계적 정보)를 각 좌표 (x, y)에 대해 포함하는 버퍼 p^old가 또한 이용가능하다.

일 실시예에서, 소정의 T=t에서의 각각의 엘리먼트 (x, y)에 대한 측정치 M은 엘리먼트의 대략적인 세팅을 제공한다. 대응하는 정확도 정보 p^new는 소정의 엘리먼트에 대한 세팅 정보가 기대값(즉, 그것의 안정값)에 관하여 변할 수 있는 정도를 나타내는 정확도 데이터를 포함한다.

비-제한적인 예로서, 정확도 정보는 각각의 엘리먼트의 대응하는 세팅이 하나 이상의 샘플들을 통해 안정한 정도를 나타낸다. 예를 들어, 정확도 정보는 0과 무한대 사이의 값일 수 있다. 0에 더 근접한 값은 세팅이 정밀하지 않거나 불안정하다는 것을 나타내고(즉, 위치 x, y에서의 측정치 M은 위치 x, y에서 찾아야 하는 "실제값" 또는 "안정값"과 잠재적으로 매우 상이할 수 있고), 0 보다 훨씬 큰 값은 세팅이 정밀하고 안정하다는 것을 나타낸다.

안정값(v)_{x ,y}의 추정치 및 버퍼들에서의 새로운 값들은 다음과 같이 계산된다:

β, a 및 b는 적합한 파라미터들이다. 일 예시적인 실시예에서, a=b=1이다. a 및 b의 세팅들은 엘리먼트의 이전에 프로세싱된 구형(old) 세팅들에 대해 엘리먼트의 새로운 세팅에 다소의 가중치를 두도록 조정될 수 있다. 예시적인 실시예에서, p^old는 무한하게 증가할 수 없고, 임계값에 도달한 이후에는 포화된다(saturate)(즉, 클램프(clamp)된다).

안정성 가설을 설명하기 위해, 본원에서의 일 실시예는 M_{x ,y,t}와 버퍼 v^old에 포함된 값 사이의 차이가 안정성 가설과 일치하지 않을 때 좌표 (x, y)에서의 p^old의 값을 0으로 "리셋"하는 하기의 동작을 추가하는 것을 포함한다:

다른 실시예들은 상이한 방식들로 p^old 및 v^old의 값들을 리셋함으로써 안정성 가설을 설명한다. 임계값은 고정된 상수일 수 있거나, 신호의 로컬 통계적 특성들(비-제한적인 예로서, 정확도 p^new 및/또는 p^old)에 의존할 수 있다.

도 2b는 본원에서의 실시예들에 따라 차원(T)을 따른 후속 샘플에서 도 2a의 동일한 예시적인 실시예를 예시한다. 이러한 예에서, 측정치(220-1)(예를 들어, M=77)는 안정성 가설과 상반되고, 이는 버퍼 v^old(290)에 포함된 값(290-1)(예를 들어, v^old = 14)으로부터 임계값 이상 상이하다. 다시 말해, 77과 14 사이의 차이는 임계값(예를 들어, 임계값 = 25) 보다 크다. 그 결과, p^old는 값 v를 추정하기 이전에 0으로 설정되어, 값(290-1)은 추정치 v에 영향을 미치지 않는다.

반대로, 측정치(220-2)(예를 들어, M=238)는 안정성 가설을 준수하고, 이는 버퍼 v^old(290)에 포함된 값(290-2)(예를 들어, v^old = 239)과 충분히 유사하다. 예를 들어, 239와 238 사이의 차이는 임계값 보다 작다. 그 결과, T=N+1에서의 안정값 v의 추정치는 값(290-2) 및 값(220-2)의 각각의 정규화된 정확도들을 가중치들로서 활용하는, 값(290-2) 및 값(220-2)의 가중된 평균이다. 그 후, T=N+1에서의 추정치들 v는 값들 v^old가 T=N+2에서 사용되게 되도록 버퍼(290)에 저장된다.

도 3a 및 도 3b는 본원에서의 실시예들에 따라 차원들 중 하나 Z(T로 재명명됨)에 대해 안정성 가설을 가정하고, 상이한 샘플들 T에서, 안정값들이 차원들 X 및 Y를 따른 그들의 정확한 위치를 유지한다는 가설을 릴렉스한 3D 신호를 예시하는 예시도들이다. 이것은 차원(T)에 따른 선행 샘플에서의 각 값의 위치가 측정치 M_x,y,t의 위치 (x, y)와 상이할 수 있다는 것을 의미한다.

그러나, 도면에 예시된 바와 같이, 각 샘플 t에 대해, 각 좌표 (x^t, y^t)에 대해 T=t-1에서의 신호의 샘플에서의 대응하는 엘리먼트의 각각의 위치 (x^t-1, y^t-1)를 나타내는 적합한 모션 벡터들을 이용하면, 도 1, 도 2a 및 도 2b에 설명된 동일한 접근방식이 채용될 수 있다. 평면에서의 각 엘리먼트에 대한 각각의 모션 벡터 세팅은 엘리먼트가 속하는 대응하는 객체가 일 평면으로부터 다른 평면으로 그 위치를 변경하는지 나타낸다.

따라서, 모션 벡터들로, 일 평면으로부터 다른 평면으로의 객체의 이동을 트래킹하는 것이 가능하다.

모션을 보상한 이후에, 신호 프로세서는 다음과 같은 안정값들을 계산한다:

본질적으로, 가중된 평균을 고려하기 위한 측정치들 M은 모션 벡터들에 기초하여 획득되어, T=N에서의 소정의 위치 (x^N, y^N)에서의 측정치 M은 T=N-k+1에서의 위치들 (x^{N -k+1}, y^{N -k+1})에서 대응하는 k-1개의 값들로 평균될 수 있다.

실시예에서, i<N에 대해, 정확도 정보 p_i가 T=i에서의 신호의 추정된 통계적 특성들과 위치 (x^N, y^N)를 (xⁱ, yⁱ)에 연결하는 모션 벡터들의 통계적 특성들(예를 들어, 비-제한적인 실시예에서, 모션 벡터들의 정확도) 모두를 고려한다는 것을 강조하는 것이 유용하다. 따라서, T=i에서의 소정의 샘플에서 위치 (xⁱ, yⁱ)에서의 측정치 M는, T=i에서의 샘플의 통계적 특성들(즉, 덜 정밀한 샘플들이 더 낮은 가중치로 가중됨)과 모션 벡터들이 가중된 평균에 포함하기 위해 정확한 위치를 정확하게 식별한다는 확실성(즉, 덜 정밀한 위치들이 더 낮은 가중치로 가중됨) 모두를 반영하는 방식으로 가중된다.

따라서, 본원의 비-제한적인 예에 따르면, 세팅들에 적용된 가중치들의 크기는 모션 벡터 정보와 연관된 정확도 메타데이터에 적어도 부분적으로 의존할 수 있다. 일 실시예에서, 모션 벡터와 연관된 정확도 메타데이터는 평면에서의 상이한 위치들에 존재하는 엘리먼트들이 서로 관련되는 확실성의 정도를 나타낸다.

다른 비-제한적인 실시예에서, k개의 샘플들 모두를 매번 직접 평균하는 대신에, 신호 프로세서는 v의 구형 추정치(v^old) 및 이러한 v의 구형 추정치의 정확도 p^old에 대해 버퍼들을 레버리징한다. 버퍼 v^old는 v의 구형 추정치들의 평면의 모션 보상에 의해 획득되지만, 버퍼 p^old는 p^new와 (각각의 모션 벡터들의 정확도들에 기초하여 정정된) 정확도들 p^old의 구형 평면의 합의 모션 보상에 의해 획득된다. 공식들은 다음과 같다:

본질적으로, 버퍼들의 새로운 값은 모션 보상을 또한 레버리징함으로써 획득되어서, T=N에서의 소정의 위치 (x^N, y^N)에서의 측정치 M은 T=N-k+1에서의 위치 (x^N-1, y^N-1)에서 대응하는 추정된 값으로 평균될 수 있다. 정확도들은 모션 보상을 위해 사용되는 모션 벡터들의 정확도 및 신호의 통계적 특성들 모두를 반영한다.

안정성 가설을 설명하기 위해, 본원에서의 일 실시예는 M_x,y,t와 버퍼 v^old에 포함된 값 사이의 차이가 안정성 가설과 일치하지 않을 때 각각의 엘리먼트에 대한 p^old의 값을 0으로 "리셋"하는 것을 포함한다. 다시 말해, 테스트하의 엘리먼트의 값이 일 평면으로부터 다음의 평면으로 임계값 보다 크면, 버퍼에서의 엘리먼트에 대한 값은 새로운 정확도 및 세팅 정보를 사용하여 리셋된다.

도 3b는 이미지의 시퀀스에서 일 평면으로부터 다음의 평면으로의 좌표들의 관계 및 객체의 샘플 이동을 예시한다. 예를 들어, 이미지들의 시퀀스는 이미지(300-1), 이미지(300-2), 이미지(300-3) 등을 포함한다. 모션 벡터(350-2)는 이미지(300-2)에서의 엘리먼트(310-2)가 이미지(300-1)에서의 엘리먼트(310-1)에 대응한다는 것을 나타내고, 모션 벡터(350-3)는 이미지(300-3)에서의 엘리먼트(310-3)가 이미지(300-2)에서의 엘리먼트(310-2)에 대응한다는 것을 나타낸다. 언급한 바와 같이, 각 평면/이미지에서의 상이한 좌표에서의 엘리먼트들(310-1, 310-2, 310-3 등)의 시퀀스는 이미지에서의 공통 객체를 나타낼 수 있다. 평면들(300)에서의 각 엘리먼트는 하나 이상의 대응하는 세팅들을 갖는다.

본원에서의 실시예들은 각 엘리먼트에 대한 정확도 메타데이터를 또한 포함한다. 정확도 메타데이터는 엘리먼트들의 세팅들을 트래킹하기 위해 미러링된(mirrored) 방식으로 용이하게 저장될 수 있다. 예를 들어, 평면(360-3)에서의 정확도 메타데이터(365-3)는 엘리먼트(310-3)와 연관된 정확도 세팅을 나타내고, 평면(360-2)에서의 정확도 메타데이터(365-2)는 엘리먼트(310-2)와 연관된 정확도 세팅을 나타내고, 평면(360-1)에서의 정확도 메타데이터(365-1)는 엘리먼트(310-1)와 연관된 정확도 세팅을 나타낸다.

도 3c는 본원에서의 실시예들에 따라 평면들 v^old 및 p^old의 해상도(즉, 엘리먼트들의 수)가 측정치들 M의 평면의 해상도 보다 높은 실시예를 예시하는 예시도이다. 이러한 비-제한적인 예에서, 해상도는 차원 X 및 Y 모두를 따라 2배 만큼 높지만, 임의의 다른 스케일 팩터들이 사용될 수 있다. 버퍼들이 더 높은 해상도를 갖는다는 것은 신호의 각 샘플에 대해 이용가능한 실제 측정치들 보다 높은 해상도에서 "실제" 값들을 추정하려 하는 것을 분석이 포함한다는 것을 의미한다. 이것을 행하는 논리적 근거는 차원(T)을 따른 안정성을 가정하고 차원(T)을 따른 신호의 다수의 샘플들을 이용가능하다는 것이고: 샘플들이 다수의 하위 해상도 샘플들을 결합한 (이용가능한 모션 맵들/모션 벡터들에 의해 특정될 때) 상이한 위치들에서 잠재적으로 취해지기 때문에, 안정값들의 더 높은 해상도 추정치를 획득할 수 있다. 이러한 비-제한적인 실시예에서, 모션 벡터들은 서브-엘리먼트 해상도로 이동들을 특정하고, 즉, 모션 벡터들은 일 평면에서의 엘리먼트가 다른 평면에서의 엘리먼트에 대응한다는 것을 단지 나타내는 것과 대조적으로 각각의 평면에서 엘리먼트의 일부의 이동들(예를 들어, "위로 1.5개 엘리먼트들, 우측으로 2와 3/4개 엘리먼트들")을 특정할 수 있다.

실시예는 도 3a 및 도 3b에 대해 예시된 바와 유사한 방식으로 작동하고, 차이점은, (측정치들 M의 평면에 기초하여 적합한 동작들로 획득되는) 평면 v^new가 평면 v^old와 동일한 해상도를 갖기 때문에, 소정의 T=t에서의 값들 v^new의 평면이 T=t에서의 측정치들 M의 평면과 더 이상 일치하지 않는다는 것이다. 위치 (h, k)에서의 값 v의 추정치가 아래와 같이 계산된다:

T=t+1에서의 후속 반복을 위해, 버퍼들 v^old 및 p^old은 모션 보상되어 적합한 모션 맵들에 대해 레버리징한다. 예시적인 실시예에서, 이러한 모션 맵들은 엘리먼트 정확도를 갖는 평면 v의 해상도에서 직접적으로 수신된다. 다른 예에서, 모션 맵들은 서브-엘리먼트 정확도를 갖는 평면(M)의 해상도에서 수신되고 평면 v의 해상도로 적절하게 업샘플링된다.

도 4는 본원에서의 실시예들에 따른 안정-과도 분리기의 실시예의 예시도이다. 이미지 재샘플러(406)는 시퀀스에서의 현재의 이미지의 측정치들(405)을 수신한다. 이전의 도면들에 대해 설명한 접근방식들과 유사하게, 본원에서 논의하는 바와 같은 안정-과도 분리기(400)가 이미지 재샘플러(406)로부터의 입력으로서, 샘플링된 각각의 평면에서의 각 엘리먼트에 대한 세팅들 v^new(410), 평면의 각 엘리먼트에 대한 정확도 p^new(420-1)(이러한 실시예에서, 전체 평면에 대해 단일 값), 모션 보상된 안정한 세팅들 v^old(480)을 포함하는 제1 구동 버퍼, 및 모션 보상된 정확도 정보 p^old(490-1)를 포함하는 제2 구동 버퍼 평면을 수신한다. 분리기(400)는 안정한 세팅들 v(470)의 평면을 생성하고, 수정된 정확도 정보 p^old(490-2)의 평면을 생성함으로써 p^old의 값들을 업데이트한다.

언급한 바와 같이, 새로운 또는 다음의 이미지 평면에서의 각 엘리먼트에 대해, 분리기(400)는 버퍼에서의 엘리먼트에 대한 구동값 세팅을 다음의 이미지에서의 대응하는 새로운 값에 비교한다. 차이가 임계값 미만이면, 신호 프로세서는 소정의 엘리먼트에 대한 p 및 v에 대한 이전의 값들 뿐만 아니라 소정의 엘리먼트에 대한 p 및 v에 대한 새로운 세팅들의 조합에 기초하여 버퍼에서의 값들을 업데이트한다. 차이가 임계값 보다 크면, 신호 프로세서는 다음의 이미지에서의 소정의 엘리먼트에 대한 세팅들 p 및 v에 기초하여 버퍼에서의 값들을 업데이트한다.

도 5는 본원에서의 실시예들에 따른 정확도(p^new 및 p^old) 및 값들(v^old)의 버퍼들을 업데이트하기 위한 실시예들의 예시도이다.

일 실시예에서, 평면 p^old(590-1)는 모션 맵(510-1)에서의 모션 벡터들의 좌표들을 사용하여 평면(550)을 모션 보상하고, 모션 맵(510-1)에 또한 포함된 모션 벡터들의 메타데이터(예를 들어, 모션 벡터의 정확도들)에 기초하여 각 엘리먼트의 정확도를 조정함으로써 계산된다.

예를 들어, 도시된 바와 같이, 본원에서의 실시예들은 정확도 추정기(500-1), 정확도 트래커(500-2), 모션 보상기(500-3), 및 모션 보상기(500-4)를 포함할 수 있다.

정확도 추정기(500-1)는 현재 이미지의 세팅들(410) 및 이미지의 안정한 세팅들(470)을 수신하고 과도 성분들에 대한 정보(595) 뿐만 아니라 현재 이미지의 정확도(520)를 생성한다.

정확도 트래커(500-2)는 현재 이미지의 정확도(420) 및 이미지의 수정된 모션 보상된 정확도 평면(490-2)을 수신하고, 이미지의 정확도 평면(550)을 생성한다.

모션 보상기(500-3)는 이미지의 정확도 평면(550) 및 모션 맵(510-1)을 수신하고, 이미지의 모션 보상된 정확도 평면(590-1)을 생성한다.

모션 보상기(500-4)는 이미지의 안정한 세팅들(470) 및 모션 맵(510-2)을 수신하여, 이미지의 모션 보상된 안정한 세팅들(580)을 생성한다.

도 6은 본원에서의 실시예들에 따른 정확도 추정기(500-1)의 실시예의 예시도이다.

일 실시예에서, 안정-과도 분리기의 다음의 반복(즉, T=t+1)을 위해 사용될 정확도 p^new를 계산하는 것에 부가하여, 정확도 추정기(500-1)는 T=t에서의 신호의 과도 성분에 대한 정보(595)를 또한 계산한다. 이러한 정보(통상적으로, 원래의 과도 성분 자체 보다 낮은 정보 엔트로피를 특징으로 함)는 신호 프로세서(예를 들어, 디코더)가 T=t에서의 원래의 과도 성분의 렌디션을 재구성하게 하고, 이는 T=t에서의 신호의 안정한 성분의 렌디션에 합산되면, 원래의 신호에 (반드시 동일하지는 않지만) 매우 유사한 전체 신호의 렌디션을 재구성한다. 높은 유사도는, 안정한 성분이 더욱 중요한 정보를 반송하는 성분이어서, 정확하게 재구성되어야 한다는 사실로 인한 것이다. 반면에, (덜 예측가능하고 더욱 "무작위(randomic)" 성질로 인해, 샘플 마다 매우 상이한) 과도 성분은 (명확히는 그것의 예측불가능성으로 인해) 더 높은 정보 엔트로피를 특징으로 하지만, "덜 중요한" 정보를 반송한다.

다수의 애플리케이션들에서, 과도 성분의 정밀한 표현을 인코딩하기 보다는 과도 성분의 유사한 렌디션을 단지 재구성하는 것으로 충분할 수 있다(예를 들어, 비-제한적인 예로서, 과도 성분은 동일한 스펙트럼 분포를 특징으로 한다).

도시된 바와 같이, 정확도 추정기(500-1)는 모듈(600-1), 모듈(600-2), 모듈(600-3), 모듈(600-4), 모듈(600-5), 및 모듈(600-6)을 포함한다.

모듈(600-1)은 세팅들(410) 및 안정한 세팅들(470)에 기초하여 차이값들을 생성한다. 모듈(600-1)은 차이값들을 모듈(600-6) 및 모듈(600-2)로 출력한다.

모듈(600-2)은 수신된 차이값을 제곱하고 차이값의 제곱을 모듈(600-3)로 출력한다. 모듈(600-3)은 다수의 티어(tier)들에서 제곱된 차이값들을 다운샘플링한다. 모듈(600-4)은 다운샘플링된 값의 티어를 모듈(600-6)로 출력하는 멀티플렉서 또는 선택기 회로이다. 모듈(600-6)은 정보(595)를 출력한다.

모듈(600-5)은 이동 평균을 저장하고 현재 이미지의 정확도를 나타내는 값을 출력한다.

다른 실시예들에 따르면, 정확도 추정기(500-1)는 하나의 이미지로부터 다음의 이미지로 단일 엘리먼트의 세팅들을 단지 분석하는 것과 대조적으로 엘리먼트들의 그룹 또는 전체 이미지의 분석에 기초하여 정확도 메타데이터(520)를 생성할 수 있다. 예를 들어, 일 실시예에서, 정확도 추정기(500-1)는 각각의 이미지에 관한 적어도 하나의 이전의 이미지에서의 대응하는 세팅들과 비교하여 각각의 이미지에서의 다수의 엘리먼트 세팅들의 그룹화의 전체 분석에 기초하여 엘리먼트들에 대한 정확도 메타데이터를 생성한다.

도 7a 및 도 7b는 본원에서의 실시예들에 따른 가중 샘플링을 수행하기 위한 동작들의 예시적인 시퀀스를 예시한다.

이러한 예에서, 안정-과도 분리기(400)가 본원에서의 실시예들에 따라, T=1에서의 위치 (x, y)에서 특정한 값에 대한 추정치를 점진적으로 리파인(refine)한다는 것을 가정한다. 언급한 바와 같이, 평면에서의 값의 위치는 적합한 모션 맵에 포함된 모션 벡터들에 의해 특정되기 때문에, 이미지 마다 변할 수 있다.

하기의 이러한 비-제한적인 예에서, T=1과 T=4 사이의 이미지들에 대해, a=b=1 및 테스트하의 엘리먼트에 대한 세팅들 v^new은 p^old를 0의 값으로 리셋하는 임계값 이상의 v^old와 다르지 않다.

앞서 언급한 바와 같이, 일 실시예에 따르면, 안정-과도 분리기(400)와 같은 신호 프로세서는 시퀀스에서 엘리먼트들(예를 들어, 프레임, 평면들 등)의 다수의 그룹들 각각에 대한 세팅 정보를 수신한다. 세팅 정보는 소정의 엘리먼트가 존재하는 다수의 이미지들의 시퀀스에서 각 이미지(예를 들어, 평면, 프레임 등)에 대한 소정의 엘리먼트의 세팅을 특정한다. 예를 들어, T=1에서의 제1 이미지에서 엘리먼트(예를 들어, 테스트하의 소정의 엘리먼트)의 세팅은 150이고; T=2에서의 제2 이미지에서 엘리먼트의 세팅은 152이고; T=3에서의 제3 이미지에서 엘리먼트의 세팅은 149이고; T=4에서의 제4 이미지에서 엘리먼트의 세팅은 143이다. 앞서 언급한 바와 같이, 신호 프로세서는 일 평면으로부터 다음의 평면으로의 소정의 엘리먼트의 이동을 결정하기 위해 모션 벡터 정보를 사용할 수 있다.

세팅들 v는 플레이백 동안 각각의 엘리먼트를 디스플레이하는 디스플레이 세팅들과 같은 임의의 타입의 데이터를 나타낼 수 있다. 시간을 통해 플레이백 동안 필드에서 다수의 엘리먼트들의 세팅들을 제어하는 것은 시청을 위한 동영상을 생성한다.

비-제한적인 예로서, 신호 프로세서(예를 들어, 안정-과도 분리기(400))는 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도를 특정하는 정확도 메타데이터를 또한 수신한다. 이러한 예에서, T=1에서의 제1 이미지에서 엘리먼트와 연관된 정확도 메타데이터 정보는 0.2이고; T=2에서의 제2 이미지에서 엘리먼트의 정확도 메타데이터 세팅은 0.05이고; T=3에서의 제3 이미지에서 엘리먼트의 정확도 메타데이터 세팅은 149이고; T=4에서의 제4 이미지에서 엘리먼트의 세팅은 143인 식이라는 것을 가정한다.

세팅 정보 및 대응하는 정확도 메타데이터 정보에 기초하여, 신호 프로세서는 테스트하의 소정의 엘리먼트에 대한 버퍼링된 세팅값(예를 들어, v^old) 및 대응하는 버퍼링된 정확도 세팅값(예를 들어, p^old)을 생성한다. 일 실시예에서, 버퍼링된 세팅값 v^old은 시간을 통해 변화하는 이동 가중 평균 값이다. 버퍼링된 정확도 세팅값 p^old은 소정의 엘리먼트에 대한 세팅이 이미지들 중 하나 이상의 것 보다 안정한 정도를 나타낸다.

T=1에서의 이미지에 대해, 버퍼링된 세팅 값 v^old의 세팅들 및 버퍼링된 정확도 세팅 값 p^old은 초기에 0으로 설정된다. T=1에서의 테스트하의 엘리먼트에 대한 현재의 정확도 세팅값은 0.1이고; T=1에서의 이미지에서 테스트하의 엘리먼트의 현재의 세팅은 150이다. T=1에서의 이미지에 대해 도 7a에서의 수학식들에 따르면, 신호 프로세서는 버퍼링된 세팅값 v^old의 세팅들을 150으로 설정하고 버퍼링된 정확도 세팅값 p^old을 0.1로 설정한다.

시퀀스에서 다음의 이미지인 T=2에서의 이미지에 대해, 이전의 이미지를 프로세싱하는 것으로부터 버퍼링된 세팅값 V^old의 세팅들 및 버퍼링된 정확도 세팅값 p^old은 위에서 논의한 바와 같이 각각 150 및 0.1이다. T=2에서의 이미지에서 테스트하의 엘리먼트에 대한 현재의 정확도 세팅값은 0.1이고; T=2에서의 이미지에서 테스트하의 엘리먼트의 현재의 세팅은 152이다. 신호 프로세서는 차이 방정식을 통해, 버퍼링된 값(150)을 새로운 값(152)에 비교한다. 2의 차이(예를 들어, 152-150)의 절대값이 임계값(예를 들어, 임계값=20) 보다 크지 않기 때문에, 엘리먼트에 대한 버퍼링된 값들은 리셋되지 않는다. 대신에, T=2에서의 이미지에서 테스트하의 엘리먼트에 대해 도 7a에서의 계산들에 따르면, 신호 프로세서는 버퍼링된 세팅값 v^old의 세팅들을 151로 설정하고 버퍼링된 정확도 세팅값 p^old을 0.2로 설정한다.

이러한 경우에서, T=2에서의 테스트하의 엘리먼트에 대한 버퍼링된 세팅값 v^old을 생성하기 위해, 도시된 바와 같이, 신호 프로세서는 대응하는 정확도 메타데이터 세팅들에 기초하여 세팅들(152 및 150)에 상이한 가중치들(예를 들어, 정규화된 가중치들)을 적용한다. T=2에서의 이미지에 대한 버퍼링된 정확도 세팅값 p^old를 생성하기 위해, 신호 프로세서는 시퀀스에서의 엘리먼트 세팅들 각각에 대해 정확도 세팅값들을 가산한다. 이러한 예에서, 신호 프로세서는 0.2의 값을 생성하기 위해 p₁ ^new = 0.1 및 p₂ ^new = 0.1을 가산함으로써 버퍼링된 정확도 세팅값을 생성한다.

T=3에서의 이미지에 대해, 이전의 이미지를 프로세싱하는 것으로부터 버퍼링된 세팅 값 v^old의 세팅들 및 버퍼링된 정확도 세팅 값 p^old은 각각 151 및 0.2이다. T=3에서의 이미지에서 테스트하의 엘리먼트에 대한 현재의 정확도 세팅값은 0.2이고; T=3에서의 이미지에서 테스트하의 엘리먼트의 현재의 세팅은 149이다.

일반적으로, 테스트하의 엘리먼트의 세팅은 이미지들의 이러한 시퀀스를 훨씬 넘어 변하지 않는다. 신호 프로세서는 버퍼링된 값(151)을 새로운 값(149)에 비교한다. 2의 차이(예를 들어, 151-149)의 절대값이 임계값(예를 들어, 임계값=20) 보다 크지 않기 때문에, 버퍼링된 값들은 리셋되지 않는다. 대신에, T=3에서의 이미지에서 테스트하의 엘리먼트에 대해 도 7b에서의 계산들에 따르면, 신호 프로세서는 버퍼링된 세팅값 v^old의 세팅들을 150으로 설정하고 버퍼링된 정확도 세팅값 p^old을 0.4로 설정한다.

이러한 경우에서, T=3에서의 테스트하의 엘리먼트에 대한 버퍼링된 세팅값 v^old을 생성하기 위해, 도시된 바와 같이, 신호 프로세서는 대응하는 정확도 메타데이터 세팅들(0.2, 0.1, 및 0.1)에 기초하여 세팅들(149, 152 및 150)에 상이한 가중치들(예를 들어, 정규화된 가중치들)을 적용한다. T=3에서의 이미지에 대한 버퍼링된 정확도 세팅값 p^old를 생성하기 위해, 신호 프로세서는 시퀀스에서의 엘리먼트 세팅들 각각에 대해 정확도 세팅값들을 가산한다. 이러한 예에서, 신호 프로세서는 p₁ ^new = 0.1, p₂ ^new = 0.1, 및 p₃ ^new = 0.2를 가산함으로써 엘리먼트에 대한 버퍼링된 정확도 세팅값을 생성한다.

T=4에서의 이미지에 대해, 이전의 이미지를 프로세싱하는 것으로부터 버퍼링된 세팅 값 v^old의 세팅들 및 버퍼링된 정확도 세팅 값 p^old은 각각 150 및 0.4이다. T=4에서의 이미지에서 테스트하의 엘리먼트에 대한 현재의 정확도 세팅값은 0.05이고; T=4에서의 이미지에서 테스트하의 엘리먼트의 현재의 세팅은 143이다. 일반적으로, 테스트하의 엘리먼트의 세팅은 이미지들의 이러한 시퀀스를 훨씬 넘어 변하지 않는다. 신호 프로세서는 버퍼링된 값(150)을 새로운 값(143)에 비교한다. 7의 차이(예를 들어, 150-143)가 임계값(예를 들어, 임계값=20) 보다 크지 않기 때문에, 버퍼링된 값들은 리셋되지 않는다. 대신에, T=4에서의 이미지에서 테스트하의 엘리먼트에 대해 도 7b에서의 계산들에 따르면, 신호 프로세서는 버퍼링된 세팅값 v^old의 세팅들을 149로 설정하고 버퍼링된 정확도 세팅값 p^old을 0.45로 설정한다.

이러한 경우에서, T=4에서의 테스트하의 엘리먼트에 대한 버퍼링된 세팅값 v^old을 생성하기 위해, 도시된 바와 같이, 신호 프로세서는 대응하는 정확도 메타데이터 세팅들(0.05, 0.2, 0.1 및 0.1)에 기초하여 세팅들(143, 149, 152 및 150)에 상이한 가중치들(예를 들어, 정규화된 가중치들)을 적용한다. T=4에서의 이미지에 대한 버퍼링된 정확도 세팅값 p^old를 생성하기 위해, 신호 프로세서는 시퀀스에서의 엘리먼트 세팅들 각각에 대해 정확도 세팅값들을 가산한다. 이러한 예에서, 신호 프로세서는 p₁ ^new = 0.1, p₂ ^new = 0.1, p₃ ^new = 0.2, 및 p₄ ^new = 0.05를 가산함으로써 버퍼링된 정확도 세팅값을 생성한다.

따라서, 일 실시예에 따르면, 신호 프로세서는 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도들의 합에 적어도 부분적으로 기초하여 이미지들의 시퀀스에 대한 소정의 엘리먼트에 대한 버퍼링된 세팅값(예를 들어, 이동 평균)에 대응하는 정확도값을 할당한다. 예를 들어, T=1에서의 이미지, T=2에서의 이미지, T=3에서의 이미지, 및 T=4에서의 이미지를 포함하는 이미지들의 시퀀스에 대한 정확도 메타데이터는 p₁ ^new + p₂ ^new + p₃ ^new + p₄ ^new와 동일하다.

따라서, 테스트하의 엘리먼트의 세팅들이 일 평면으로부터 다음 평면으로 시간을 통해 임계값 범위내에 있을 때, 버퍼링된 세팅값 v^old은 비교적 변화되지 않고 유지된다. 버퍼링된 정확도 세팅값 p^old이 시간을 통해 증가할 때(예를 들어, 각각의 엘리먼트의 세팅이 임계값 양 보다 많이 변하지 않을 때 누적되기 때문에), 이것은 버퍼링된 세팅값 v^old이 안정하다는 것을 나타낸다(즉, 여러 샘플들 및/또는 정밀한 샘플들을 평균함으로써 계산되기 때문에 "실제값"을 잘 표현한다). 즉, p^old의 값이 더 클수록, v^old에 의해 특정되는 바와 같은 세팅의 안정성이 더 높다.

일 예시적인 실시예에서, 소정의 엘리먼트에 대해 생성된 버퍼링된 세팅값 또는 이동 평균(예를 들어, 차원(T)을 따른 후속 좌표에 대한 v, 또는 등가적으로 v^old)이 버퍼링된 정확도 세팅값 p^old에 의해 표시된 바와 같이 비교적 안정적이어서, 이미지에서의 소정의 엘리먼트의 현재의 세팅 v^new 보다 소정의 엘리먼트에 대한 세팅의 더 양호한 표현일 가능성이 있으면, 신호 프로세서는 이미지들 대한 소정의 엘리먼트의 세팅을 인코딩하기 위한 기초로서 소정의 엘리먼트의 현재의 세팅 대신에 생성된 세팅값 v를 활용한다. 일례로서, 신호 프로세서는 값들(150, 152, 149, 143, ...) 대신에 엘리먼트의 각각의 세팅에 대해 150, 151, 150, 149 ...의 버퍼링된 세팅값들을 사용한다.

또한, 시퀀스를 통해 버퍼링된 세팅값들(150, 151, 150, 149)을 사용하는 것에 대한 대안으로서, 본원에서의 실시예들은 값 150과 같은 대표 세팅값을 선택하는 것을 포함할 수 있다. 150의 대표값이 엘리먼트에 할당되어 신호의 일부를 인코딩하는데 필요한 비트들의 수를 감소시킨다. 다시 말해, 소정의 엘리먼트 값들(150, 151, 150, 149 ...)과 연관된 세팅들에 대해 잠재적으로 사용된 버퍼링된 값들 각각이 값 150으로 대체될 수 있다. 이것은 신호에서의 소정의 엘리먼트를 인코딩하는데 필요한 데이터량을 더 감소시킨다.

따라서, 본원에서의 실시예들은 과도 성분들(예를 들어, 잡음, 필름 그레인, 매우 변동적인 디테일 등)를 특징화하고, 감소된 양의 과도 성분들로 시퀀스 내의 특정한 엘리먼트와 같은 신호 및/또는 성분을 인코딩하는 것을 포함할 수 있다.

동일한 타입의 프로세싱이 다차원 신호에서의 엘리먼트들 각각에 대해 수행될 수 있다.

앞서 논의한 바와 같이, 신호에서의 각 엘리먼트의 각각의 세팅과 연관된 추정된 정확도(예를 들어, 정확도 메타데이터)는 다수의 세팅들 중 각각의 세팅이 잡음의 상당한 성분을 포함할 수 있는 확률 또는 정도를 나타내는 통계적 측정치일 수 있다. 비-제한적인 실시예에서, 통계적 측정치는 편차의 역에 적어도 부분적으로 기초하여 생성될 수 있다.

보다 구체적인 실시예에서, 소정의 엘리먼트에 대한 세팅값을 생성할 때, 신호 프로세서는 가중치 인자들을 세팅들 각각에 적용하고; 가중치 인자들은 소정의 엘리먼트에 대한 세팅들의 추정된 정확도들에 적어도 부분적으로 기초하여 변화한다.

일례로서, T=2에서의 이미지의 프로세싱(예를 들어, 2개의 이미지의 시퀀스를 프로세싱하는 것)은 하기의 정규화된 가중치 인자들을 생성하는 것을 포함한다:

및

다른 예로서, T=3에서의 이미지의 프로세싱(예를 들어, 3개의 이미지의 시퀀스를 프로세싱하는 것)은 하기의 정규화된 가중치 인자들을 생성하는 것을 포함한다:

및

다른 예로서, T=4에서의 이미지의 프로세싱(예를 들어, 4개의 이미지의 시퀀스를 프로세싱하는 것)은 하기의 정규화된 가중치 인자들을 생성하는 것을 포함한다:

및

도 7에 관하여 앞서 논의한 바와 같이, 신호 프로세서는 소정의 엘리먼트에 대한 안정값(예를 들어, v) 및 버퍼링된 세팅값(예를 들어, v^old) 모두를 생성하기 위해 엘리먼트의 가중-조정 세팅들을 합산한다(예를 들어, 시퀀스의 대응하는 이미지에서 엘리먼트의 각각의 세팅에 의한 가중치 인자의 승산). 따라서, 본원에서의 실시예들은 시퀀스에서의 엘리먼트의 세팅들의 상이한 가중치들에 기초하여 소정의 엘리먼트에 대한 안정값 및 버퍼링된 세팅값을 생성하는 것을 포함할 수 있다.

도시된 바와 같이, 이미지들의 시퀀스에 걸친 소정의 엘리먼트에 대한 안정값(v) 및 버퍼링된 세팅값 v^old은, 필요한 경우에, 시퀀스의 이미지들을 따라 발생하는 모션을 설명하는, 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들의 가중치들에 기초하여 계산된 가중된 이동 평균값들이다. 세팅들에 적용된 가중치들 각각의 크기는 세팅들 각각의 추정된 정확도에 적어도 부분적으로 의존하여 변화한다. 시퀀스에서의 각각의 세팅의 정확도 값이 높을수록, 안정값(v), 및 그에 따른, 버퍼링된 세팅값 v^old를 생성하는데 사용된 값의 가중치가 더 크다.

소정의 엘리먼트에 대한 버퍼링된 세팅값 v^old은 소정의 엘리먼트가 존재하는 각각의 추가의 샘플 이미지에 대해 업데이트된다. 예를 들어, 일 실시예에서, 신호 프로세서는 이미지들의 이전에 분석된 시퀀스에 후속하여 다음의 연속 이미지에 대한 소정의 엘리먼트에 할당된 다음의 세팅값 및 대응하는 정확도 값을 수신한다. 도시된 바와 같이, 다음의 연속 이미지에 대한 소정의 엘리먼트의 버퍼링된 세팅값 v^old의 가중치 및 다음의 세팅 v^new의 가중치의 조합에 기초하여 안정한 세팅값 v을 생성할 때, 신호 프로세서는 버퍼링된 엘리먼트 v^old에 할당된 세팅값을 또한 업데이트한다.

앞서 언급한 바와 같이, 분석되는 소정의 엘리먼트에 대한 세팅값은 하나의 이미지로부터 다음의 이미지로 현저하게 변할 수 있다. 이것은 이미지들에 의해 캡처된 엔티티들에서의 관련 변화와 같은 여러 팩터들로 인해 발생할 수 있다. 이러한 실시예에서, 이동 평균 또는 세팅값은 리셋될 수 있다. 대안으로서, 버퍼링된 값들은 소정의 엘리먼트에 대한 세팅값이 기초하는 이미지들의 초기 시퀀스에 후속하여 다른 이미지의 속성들에 기초하여 업데이트될 수 있다.

예를 들어, 제1 샘플 경우에 따르면, 신호 프로세서가 초기 샘플 시퀀스에 후속하는 후속 평면(예를 들어, 다음 이미지)에 대한 소정의 엘리먼트에 할당된 다음의 세팅값 및 대응하는 정확도 값을 수신한다는 것을 가정한다. 신호 프로세서는 (시간 T1, T2, 및 T3에서의 이미지들과 같은 이미지들의 윈도우에 대한) 이전에 생성된 세팅값과 (T1, T2, 및 T3에서의 이미지들의 윈도우에 후속하는 T4에서의 다음 이미지에서) 소정의 엘리먼트에 대한 다음의 세팅값 사이의 차이를 나타내는 차이값을 생성한다. 신호 프로세서는 차이값(예를 들어, 시간 T=4에 대한 세팅과 T1, T2, 및 T3에서의 이미지들의 조합에 대한 버퍼링된 세팅값 사이의 차이)을 임계값에 비교한다. 차이값이 임계값 미만이라는 검출에 응답하여, 앞서 논의한 바와 같은 방식으로, 신호 프로세서는 이전에 생성된 세팅값(예를 들어, T1, T2, 및 T3에서의 이미지들의 조합에 대한 버퍼링된 세팅값)과 소정의 엘리먼트의 다음의 세팅(예를 들어, 시간 T=4에서의 엘리먼트의 세팅)의 가중치의 조합에 적어도 부분적으로 기초하여 소정의 엘리먼트에 할당된 세팅값을 업데이트한다.

대안으로는, 제2 예시적인 경우에 따르면, 신호 프로세서가 T=4를 포함하여 이전의 이미지들의 시퀀스에 후속하는 다음의 연속 이미지(예를 들어, T=5에서의 이미지)에 대한 소정의 엘리먼트에 할당된 다음의 세팅값 및 대응하는 정확도 값을 수신한다는 것을 가정한다. T=5에서의 소정의 엘리먼트의 세팅이 250이라는 것을 가정한다. 이러한 예에서, 신호 프로세서는 생성된 세팅값(T=4까지의 윈도우 이미지에 대해 149)과 (이미지들의 윈도우에 후속하는 T=5에서의 다음 이미지에서의) 소정의 엘리먼트에 대한 다음의 세팅값(250) 사이의 차이를 나타내는 차이값을 생성한다. 신호 프로세서는 그 차이(예를 들어, 250-149)값을 임계값에 비교한다. 임계값이 25로 설정된다는 것을 가정한다. 차이값이 임계값(이러한 예에서 25를 가정) 보다 크다는 검출에 응답하여, 신호 프로세서는 버퍼링된 세팅값을 리셋하고 T=5에서의 소정의 엘리먼트에 대한 세팅값을 소정의 엘리먼트에 대한 다음의 세팅값(예를 들어, 값 250)과 동일하게 되도록 업데이트한다. 따라서, 차이가 다음의 샘플링에 대해 임계값 이상일 때, 신호 프로세서는 이전의 세팅들을 무시하고 새로운 시퀀스를 시작한다. 다시 말해, 신호 프로세서는 하나의 이미지 또는 프레임으로부터 다음의 이미지 또는 프레임으로의 세팅에서의 실질적인 변화의 검출에 응답하여 이미지들의 다음의 시퀀스에 존재하는 엘리먼트들의 새로운 스트링들에서 프로세스 세팅들을 시작하도록 구성될 수 있다.

이미지에서의 소정의 엘리먼트가 시퀀스에서의 각 이미지의 상이한 위치 좌표들에 존재하는 엔티티(예를 들어, 객체 등)를 나타낼 수 있다는 것에 다시 유의한다. 예를 들어, 일 실시예에 따르면, 신호 프로세서는 시퀀스의 각 이미지에서의 소정의 엘리먼트의 상이한 위치 좌표들을 식별하기 위해 이미지들의 시퀀스와 연관된 모션 벡터 정보를 활용하도록 구성될 수 있다. 이러한 실시예에서, 모션 벡터 정보는 테스트하의 엘리먼트(예를 들어, 소정의 엘리먼트)가 하나의 이미지로부터 다음의 이미지로 이동하는 곳을 신호 프로세서에 통지한다.

이미지들과 연관된 이미지들, 모션 맵들 등의 인코딩/디코딩의 추가의 상세사항들이 참조로 본원에 통합되는 관련 출원들에서 발견될 수 있다.

본원에서의 실시예들은 세팅들에서의 과도 성분들의 속성들을 식별하고 감소된 과도 성분들로 신호를 인코딩하기 위해 이미지들의 세팅들에서의 변동들을 분석하는 것을 더 포함할 수 있다. 언급한 바와 같이, 신호 프로세서는 더 많은 안정값 세팅들을 생성하기 위해 다수의 이미지들에 걸쳐 세팅들을 프로세싱할 수 있다.

이러한 실시예에서, 신호 프로세서는 인코딩된 신호를 생성하기 위해 제거되는 과도 성분(예를 들어, 잡음, 필름 그레인, 매우 가변적인 디테일들 등)을 특징화하도록 구성될 수 있다. 과도 성분들을 특징으로 하는 일례로서, 신호 프로세서는 엘리먼트의 각각의 세팅에 대한 150, 151, 150, 149 ...의 버퍼링된 세팅값들과 150, 152, 149, 143, ...의 원래의 세팅값들 사이의 차이에 기초하여 신호에 존재하는 과도 성분의 분포를 결정하도록 구성될 수 있다. 과도 성분 분포는 인코딩하는데 있어서 정보의 비교적 적은 데이터 비트들을 요구하는 수학식(또는 다른 적합한 수단)의 파라미터들로서 캡처될 수 있다.

플레이백 동안 다수의 이미지들의 시퀀스의 후속 렌더링시에, 디코더 및/또는 플레이백 디바이스는 (과도 성분이 제거된) 신호를 재생하고, 그 후, 수학식에 의해 특정된 바와 같은 과도 성분 분포에 기초하여 과도 성분들을 디코딩된 신호에 다시 가산하도록 구성될 수 있다. 이러한 실시예에 따르면, 디코딩된 신호에 도입된 과도 성분들은 플레이백되는 신호가 과도 성분을 포함하는 원래의 신호와 유사하게 또는 그와 동일하게 나타나도록 플레이백 동안 다수의 이미지들의 시퀀스의 렌디션의 플레이백을 가능하게 한다. 따라서, 비디오 신호의 비-제한적인 예에서, 획득 잡음 및 필름 그레인을 포함하는 비디오의 원래의 "룩 앤드 필(look and feel)"은 인코딩 및 디코딩 동안 정보의 더 적은 비트들을 사용하여 유지될 수 있다.

신호로부터 과도 성분을 제거하는 다른 이점은 증가된 화상 품질을 제공하는 것이다. 따라서, 특정한 경우들에서, 콘텐츠(예를 들어, 의료 영상, 과학 영상 등)를 인코딩하고 그리고/또는 플레이백할 때 신호에 검출된 과도 성분을 다시 추가하는 것은 바람직하지 못할 수 있다.

도 8a는 본원에서의 실시예들에 따른 신호를 인코딩하는 예를 예시하는 도면이다.

예를 들어, 이미지 재샘플러(406)가 상이한 시간 프레임들에서 이미지들의 세팅들을 수신한다. 이미지 재샘플러(406)로부터의 입력에 기초하여, 과도 분리기(800)가 앞서 논의한 바와 같은 방식으로 이미지들에서의 엘리먼트들에 대한 안정값 세팅들(470)을 생성한다. 과도 분리기(800)는 이미지들에서의 엘리먼트들과 연관된 과도 성분들을 나타내는 정보(595)를 또한 생성한다. 인코더(810)가 안정한 세팅들(470) 및 정보(595)를 수신하고, 인코딩된 신호(820)를 생성한다.

본원에서의 실시예들에 따라 인코딩 및 디코딩을 수행하기 위해 임의의 적합한 방법들이 사용될 수 있다는 것에 유의한다. 비-제한적인 예로서, 이미지들과 연관된 이미지들, 모션 맵들 등의 인코딩/디코딩의 추가의 상세사항들이 참조로 본원에 통합되는 관련 출원들에서 발견될 수 있다.

도 8b는 본원에서의 실시예들에 따른 인코딩된 신호를 디코딩하는 예를 예시하는 도면이다.

도시된 바와 같이, 디코더(850)가 인코딩된 신호(820)를 수신한다. 디코더(850)는 인코딩된 신호(820)를 안정한 세팅들(860)(즉, 과도 성분들이 제거된 원래 이미지 세팅들)의 렌디션 및 원래의 이미지 세팅들과 연관된 과도 성분 정보(865)의 렌디션으로 디코딩한다. 안정한 세팅들(860) 및 과도 성분 정보(865) 모두에 기초하여, 과도 성분 재구성기(870)는 플레이백 디바이스상에서 플레이백을 위해 세팅들(880)의 렌디션을 생성한다.

도 9는 본원에서의 실시예들에 따른 컴퓨터 프로세싱을 제공하는 컴퓨터 시스템(800)의 예시적인 블록도이다.

컴퓨터 시스템(800)은 스위치, 라우터, 서버, 클라이언트 등으로서 동작하는 개인 컴퓨터, 프로세싱 회로, 텔레비전, 플레이백 디바이스, 인코딩 디바이스, 워크스테이션, 휴대용 컴퓨팅 디바이스, 콘솔, 네트워크 단말기, 프로세싱 디바이스, 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 이를 포함할 수 있다.

아래의 논의는 이전에 논의한 바와 같은 신호 프로세서(813)와 연관된 기능을 어떻게 수행하는지 나타내는 기본적인 실시예를 제공한다는 것에 유의한다. 그러나, 본원에 설명한 바와 같은 동작들을 수행하는 실제 구성은 각각의 애플리케이션에 의존하여 변할 수 있다는 것에 유의해야 한다.

도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은 디지털 정보가 저장되고 복구될 수 있는 비일시적 타입의 컴퓨터 판독가능 매체, 하드웨어 저장 매체 등과 같은 컴퓨터 판독가능 저장 매체(812)를 커플링하는 인터커넥트(811)를 포함한다. 컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814), 및 통신 인터페이스(817)를 더 포함할 수 있다.

I/O 인터페이스(814)는 저장소(repository)(180), 및 만약 존재한다면, 디스플레이 스크린, 키보드, 컴퓨터 마우스 등과 같은 주변 디바이스들(816)에 접속성을 제공한다.

컴퓨터 판독가능 저장 매체(812)(예를 들어, 하드웨어 저장 매체)는 메모리, 광학 스토리지, 하드 드라이브, 플로피 디스크 등과 같은 임의의 적합한 디바이스 및/또는 하드웨어일 수 있다. 컴퓨터 판독가능 저장 매체는 본원에서 논의한 바와 같은 신호 프로세서와 연관된 명령들을 저장하기 위한 비일시적 저장 매체일 수 있다. 명령들은 본원에서 논의한 바와 같은 임의의 동작들을 수행하기 위해 신호 프로세서(813)와 같은 각각의 리소스에 의해 실행된다.

통신 인터페이스(817)는 컴퓨터 시스템(800)이 원격 소스들로부터 정보를 검색하기 위해 네트워크(190)를 통해 통신할 수 있게 하고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들 등과 통신할 수 있게 한다. I/O 인터페이스(814)는 또한 프로세서(813)가 저장소(180)로부터 저장된 정보를 검색할 수 있게 하거나 그 저장된 정보의 검색을 시도할 수 있게 한다.

도시된 바와 같이, 컴퓨터 판독가능 저장 매체(812)는 신호 프로세서 프로세스(840-2)로서 프로세서(813)에 의해 실행된 신호 프로세서 애플리케이션(840-1)으로 인코딩될 수 있다.

컴퓨터 시스템(800) 또는 안정 과도 분리기(400)가 데이터 및/또는 로직 명령들을 저장하는 컴퓨터 판독가능 저장 매체(812)(예를 들어, 하드웨어 저장 매체, 비일시적 저장 매체 등)를 포함하도록 또한 구현될 수 있다는 것이 주목된다.

컴퓨터 시스템(800)은 이러한 명령들을 실행하고 본원에서 논의한 바와 같은 동작들을 수행하기 위한 프로세서(813)를 포함할 수 있다. 그에 따라, 실행될 때, 신호 프로세서 애플리케이션(840-1)과 연관된 코드가 본원에서 논의한 바와 같은 프로세싱 기능을 지원할 수 있다. 언급한 바와 같이, 신호 프로세서(813)는 인코딩 및/또는 디코딩을 지원하도록 구성될 수 있다.

일 실시예의 동작 동안, 프로세서(813)는 컴퓨터 판독가능 저장 매체(812)에 저장된 신호 프로세서 애플리케이션(840-1)의 명령들을 론치(launch)하고, 구동하고, 실행하고, 해석하거나 그렇지 않으면 수행하기 위해 인터커넥트(811)의 사용을 통해 컴퓨터 판독가능 저장 매체(812)에 액세스한다. 신호 프로세서 애플리케이션(840-1)의 실행은 프로세서(813)에서 프로세싱 기능을 생성한다. 다시 말해, 프로세서(813)와 연관된 인코더 프로세스(840-2)는 컴퓨터 시스템(800)에서의 프로세서(813)내에서 또는 프로세스(813)상에서 신호 프로세서 애플리케이션(840-1)을 실행하는 하나 이상의 양태들을 나타낸다.

당업자는 컴퓨터 시스템(800)이 신호 프로세서 애플리케이션(840-1)을 실행하기 위해 하드웨어 프로세싱 리소스들의 할당 및 사용을 제어하는 운영 시스템과 같은 다른 프로세스들 및/또는 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다.

이제, 네트워크 관리 애플리케이션(140)에 의해 지원된 기능을 도 10 및 도 11에서의 플로우차트들을 통해 논의한다. 아래의 플로우차트들에서의 단계들이 임의의 적합한 순서로 실행될 수 있다는 것에 유의한다.

도 10은 본원에서의 실시예들에 따라 신호에서의 각각의 엘리먼트들의 안정성을 트래킹하는 방법을 예시하는 예시도이다. 앞서 논의한 개념들에 관하여 일부 중복이 있다는 것에 유의한다.

단계 1010에서, 신호 프로세서(예를 들어, 분리기(400)는 v와 같은 세팅들을 수신한다. 세팅들은 소정의 엘리먼트가 존재하는 다수의 이미지들의 시퀀스에서 각 이미지에 대한 소정의 엘리먼트의 세팅을 특정한다.

단계 1020에서, 신호 프로세서는 시퀀스에서의 각 이미지에 대한 소정의 엘리먼트의 세팅들 각각의 추정된 정확도를 특정하는 정확도 메타데이터를 수신한다.

단계 1030에서, 신호 프로세서는 소정의 엘리먼트에 대한 세팅값을 생성하고, 그 세팅값은 세팅 정보 및 정확도 메타데이터에 기초하여 생성된다.

도 11은 본원에서의 실시예들에 따라 신호에서의 각각의 엘리먼트들의 안정성을 트래킹하는 방법을 예시하는 예시도이다. 앞서 논의한 개념들에 관하여 일부 중복이 있다는 것에 유의한다.

일 실시예에서, 신호 프로세서는 신호의 차원들 중 하나 T에 따른 안정성 가설에 기초하여, 안정값(v)을 다차원 신호의 각 엘리먼트(m) 마다 생성한다.

단계 1110에서, 신호 프로세서(예를 들어, 분리기(400)는 신호의 평면 엘리먼트(m)를 선택한다.

단계 1120에서, 엘리먼트(m)의 좌표들에 적어도 부분적으로 기초하여, 신호 프로세서는 신호의 k-1개의 추가 평면 엘리먼트들을 선택하고(여기서, k≥2), k개 엘리먼트들 각각은 안정성 가설을 갖는 차원(T)을 따른 상이한 좌표를 특징으로 한다.

단계 1130에서, k개 엘리먼트들 각각의 세팅들에 적어도 부분적으로 기초하여, 신호 프로세서는 평면 엘리먼트(m)에 대한 안정값(v)을 생성한다.

상이한 실시예들에 따르면, 컴퓨터 시스템은 개인 컴퓨터 시스템, 데스크탑 컴퓨터, 랩탑, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 태블릿, 스마트폰, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 스토리지 디바이스, 카메라, 캠코더, 셋탑 박스, 모바일 디바이스, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스와 같은 소비자 전자 디바이스, 스위치, 모뎀, 라우터와 같은 주변 디바이스, 또는 일반적으로 임의의 타입의 컴퓨팅 또는 전자 디바이스를 포함하는 임의의 다양한 타입의 디바이스들일 수도 있지만, 이에 제한되지 않는다는 것이 주목된다.

본원의 기술들이 신호들의 안정 성분을 과도 성분으로부터 분리하는데 사용하기에 매우 적합하다는 것에 다시 유의한다. 그러나, 본원에서의 실시예들이 이러한 애플리케이션들에서의 사용에 제한되지 않으며, 본원에서 논의되는 기술들이 다른 애플리케이션들에 또한 매우 적합하다는 것에 유의해야 한다.

본원에 설명한 설명에 기초하여, 다수의 특정한 상세사항들은 청구물의 완전한 이해를 제공하기 위해 설명되었다. 그러나, 청구물이 이들 특정한 상세사항들 없이 실시될 수도 있다는 것을 당업자는 이해할 것이다. 다른 경우들에서, 당업자에게 공지되어 있는 방법들, 장치들, 시스템들 등은 청구물을 모호하게 하지 않기 위해 상세히 설명하지 않는다. 상세한 설명의 일부 부분들은 컴퓨터 메모리와 같은 컴퓨팅 시스템 메모리내에 저장된 데이터 비트들 또는 이진 디지털 신호들에 대한 동작들의 알고리즘들 또는 심볼 표현들과 관련하여 제공되었다. 이들 알고리즘적 서술들 또는 표현들은 다른 당업자에게 작업의 본질을 전달하기 위해 데이터 프로세싱 분야의 당업자에 의해 사용된 기술들의 예들이다. 본원에서 일반적으로 설명한 바와 같은 알고리즘은 동작들의 일관된 시퀀스 또는 원하는 결과를 초래하는 유사한 프로세싱인 것으로 고려된다. 이러한 맥락에서, 동작들 또는 프로세싱은 물리량들의 물리적 조작을 수반한다. 통상적으로, 반드시는 아니더라도, 이러한 양들은 저장되고, 전달되고, 결합되고, 비교되거나 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호들의 형태를 취할 수 있다. 이러한 신호들을 비트들, 데이터, 값들, 엘리먼트들, 심볼들, 문자들, 항들, 수들, 부호들 등으로서 지칭하는 것이 주로 공통 사용으로 인해 때때로 편리하다는 것이 입증되었다. 그러나, 이들 및 유사한 용어들 중 모두가 적절한 물리적 양들과 연관되고 단지 편리한 라벨들이라는 것을 이해해야 한다. 구체적으로 다르게 언급하지 않으면, 아래의 논의로부터 명백한 바와 같이, 본원 전반적으로, "프로세싱하는", "컴퓨팅하는", "계산하는", "결정하는" 등과 같은 용어들을 활용하는 논의들은 메모리들, 레지스터들, 또는 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 컴퓨팅 플랫폼의 디스플레이 디바이스들내에서 물리적 전자 또는 자기 양들로서 표현된 데이터를 조작하거나 변환하는 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은 컴퓨팅 플랫폼의 액션들 또는 프로세스들을 지칭한다.

본 발명이 본 발명의 바람직한 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 형태 및 상세사항들에서의 다양한 변경들이 첨부한 청구항들에 의해 정의된 바와 같은 본 출원의 사상 및 범위를 벗어나지 않고 그 안에서 이루어질 수 있다는 것을 당업자는 이해할 것이다. 이러한 변형들은 본 출원의 범위에 의해 커버되도록 의도된다. 이와 같이, 본 출원의 실시예들의 상술한 설명은 제한하는 것으로 의도되지 않는다. 오히려, 본 발명에 대한 임의의 제한들은 아래의 청구항들에 존재한다.

Claims (34)

1. 안정(stable) 성분 및 과도(transient) 성분을 갖는 신호를 인코딩하기 위한 방법으로서,
   상기 신호는 샘플들의 시퀀스를 포함하고, 각각의 샘플은 다수의 엘리먼트들을 포함하고, 상기 엘리먼트는 대응하는 샘플을 내타내기 위한 임의의 유형의 데이터에 대응하고,
   상기 방법은,
   상기 엘리먼트가 존재하는 다수의 샘플들의 시퀀스 내의 각 샘플에 대한 소정의 엘리먼트의 세팅 정보를 수신하는 단계 ― 상기 세팅 정보는 상기 소정의 엘리먼트의 원래의 측정과 연관된 값을 포함함 ―;
   상기 수신된 세팅 정보의 각각에 대한 정확도 정보를 수신하는 단계 ― 상기 정확도 정보는 상기 시퀀스 내의 각 샘플에 대한 소정의 엘리먼트의 수신된 세팅 정보가 통계적 기대값과 차이가 날 가능성을 나타내고, 상기 소정의 엘리먼트에 대한 정확도 정보는 상기 시퀀스에서의 적어도 하나의 이전 샘플에 있어서의 상기 소정의 엘리먼트의 세팅 정보 및 상기 세팅 정보의 통계적 기대값에 기초하여 계산됨 ―;
   상기 수신된 세팅 정보 및 정확도 정보에 기초하여, 상기 소정의 엘리먼트에 대한 추정 세팅값을 생성하는 단계 ― 상기 추정 세팅값은 상기 소정의 엘리먼트에 대한 안정 성분의 추정값임 ―; 및
   상기 소정의 엘리먼트에 대하여 연관된 상기 추정 세팅값을 이용하여 상기 신호를 인코딩하는 단계
   를 포함하고,
   상기 소정의 엘리먼트에 대한 추정 세팅값을 생성하는 단계는,
   상기 세팅 정보의 각각에 대해 가중치 인자들을 적용하는 단계 ― 상기 가중치 인자들은 상기 세팅 정보의 정확도 정보에 적어도 부분적으로 기초하여 계산됨 ―; 및
   가중된 세팅 정보를 합산하여, 상기 소정의 엘리먼트에 대한 추정 세팅값을 산출하는 단계
   를 포함하는,
   방법.
2. 제1항에 있어서,
   상기 소정의 엘리먼트는 상기 샘플들의 시퀀스의 각 샘플에 존재하고,
   상기 방법은 상기 소정의 엘리먼트에 대해 각각의 샘플 마다 수행되는,
   방법.
3. 제1항에 있어서,
   상기 방법은 상기 샘플의 모든 엘리먼트들 또는 일부의 엘리먼트들의 각각에 대해 샘플 내에서 수행되는,
   방법.
4. 제2항에 있어서,
   상기 샘플들의 시퀀스 내의 소정의 엘리먼트들 각각에 대해 추정 세팅값이 생성되어, 이로써 상기 샘플들의 시퀀스 내의 상기 소정의 엘리먼트들 각각에 대해 개별적인 추정 세팅값이 발생하는,
   방법.
5. 제4항에 있어서,
   상기 신호의 인코딩은 상기 소정의 엘리먼트들 각각에 대한 개별적인 추정 세팅값을 사용하여 수행되는,
   방법.
6. 제5항에 있어서,
   상기 신호의 인코딩은 상기 소정의 엘리먼트들 각각에 대해 동일한 추정 세팅값을 사용하여 수행되고, 상기 동일한 추정 세팅값은 상기 개별적인 추정 세팅값들 중 하나인,
   방법.
7. 제1항에 있어서,
   상기 세팅 정보에, 대응하는 정확도 값을 할당하는 단계를 더 포함하고,
   상기 정확도 값은 상기 시퀀스 내의 각 샘플에 대한 상기 소정의 엘리먼트의 세팅 정보 각각의 정확도의 합에 적어도 부분적으로 기초하여 계산되는,
   방법.
8. 제1항에 있어서,
   상기 세팅 정보에 상기 가중치 인자들을 적용하기 이전에 상기 가중치 인자들을 정규화하는 단계를 더 포함하는,
   방법.
9. 제1항에 있어서,
   상기 추정 세팅값은 상기 시퀀스 내의 각 샘플에 대한 상기 소정의 엘리먼트의 세팅 정보의 가중된 값들에 기초한 이동 평균(moving average)으로 계산되고,
   상기 세팅 정보의 가중된 값들은 상기 세팅 정보 각각의 정확도 정보에 적어도 부분적으로 의존하여 변화하는,
   방법.
10. 제1항에 있어서,
    상기 샘플들의 시퀀스의 다음 샘플에서의 상기 소정의 엘리먼트에 대한 이전의 세팅 정보를 수신하는 단계; 및
    상기 수신된 이전의 세팅 정보의 가중치 및 상기 소정의 엘리먼트에 대해 수신된 새로운 세팅 정보의 가중치에 기초하여, 상기 소정의 엘리먼트에 대한 추정 세팅값을 생성하는 단계
    를 더 포함하는,
    방법.
11. 제1항에 있어서,
    상기 샘플들의 시퀀스의 다음 샘플에서의 상기 소정의 엘리먼트에 대한 다음 세팅 정보를 수신하는 단계;
    상기 샘플들의 시퀀스의 이전의 샘플에서의 상기 소정의 엘리먼트에 대해 수신된 세팅 정보와 상기 수신된 다음 세팅 정보 간의 차이를 나타내는 차이값을 생성하는 단계;
    상기 차이값을 임계값에 비교하는 단계; 및
    상기 차이값이 상기 임계값 미만이라는 검출에 응답하여, 상기 소정의 엘리먼트의 상기 수신된 다음 세팅 정보의 가중치와 상기 이전에 수신된 세팅 정보의 조합에 적어도 부분적으로 기초하여, 상기 소정의 엘리먼트에 할당된 상기 세팅 정보를 업데이트하는 단계
    를 더 포함하는,
    방법.
12. 제1항에 있어서,
    상기 샘플들의 시퀀스의 다음 샘플에서의 상기 소정의 엘리먼트에 대한 다음 세팅 정보를 수신하는 단계;
    상기 샘플들의 시퀀스의 이전 샘플에서의 상기 소정의 엘리먼트에 대해 수신된 세팅 정보와 상기 수신된 다음 세팅 정보 간의 차이를 나타내는 차이값을 생성하는 단계;
    상기 차이값을 임계값에 비교하는 단계; 및
    상기 차이값이 상기 임계값보다 크다는 검출에 응답하여, 상기 소정의 엘리먼트에 할당된 상기 세팅 정보를 상기 다음 세팅 정보와 동일하게 되도록 업데이트하는 단계
    를 더 포함하는,
    방법.
13. 제1항에 있어서,
    상기 소정의 엘리먼트는 다수의 이미지들의 시퀀스에서의 각 이미지의 상이한 위치 좌표들에 존재하는 엔티티를 나타내고,
    상기 시퀀스의 각 이미지에서의 상기 소정의 엘리먼트의 상기 상이한 위치 좌표들을 식별하기 위해 모션 벡터 정보가 사용되고,
    상기 모션 벡터 정보는 상기 이미지들의 시퀀스에서 상기 엔티티의 이동을 나타내는,
    방법.
14. 제13항에 있어서,
    상기 세팅 정보에 적용되는 값들은 상기 모션 벡터 정보와 연관된 정확도 정보에 적어도 부분적으로 의존하는,
    방법.
15. 제1항 또는 제13항에 있어서,
    상기 추정 세팅값을 생성하기 위한 상기 수신된 세팅 정보 중 적어도 하나를 모션 보상하는 단계를 더 포함하는,
    방법.
16. 제1항에 있어서,
    상기 세팅 정보에서 과도 성분들의 불필요한 과도 정보를 식별하기 위해 상기 세팅 정보의 변동들을 분석하는 단계; 및
    후속하여 재생(playback) 동안 다수의 샘플들의 시퀀스를 렌더링할 때, 상기 과도 성분들의 상기 불필요한 과도 정보를 상기 재생 동안 상기 다수의 샘플들의 시퀀스의 렌디션에 다시 부가하는 단계
    를 더 포함하는,
    방법.
17. 제1항에 있어서,
    각각의 샘플에 대하여, 적어도 하나의 이전의 샘플에서의 세팅 정보에 비교되는, 상기 각각의 샘플에서의 다수의 엘리먼트 세팅 정보의 전체적인 분석에 기초하여, 상기 소정의 엘리먼트에 대해 상기 정확도 정보를 사용하는 단계를 더 포함하는,
    방법.
18. 제1항에 있어서,
    상기 시퀀스에서의 상기 세팅 정보의 상이한 가중치들에 기초하여, 상기 소정의 엘리먼트에 대한 상기 추정 세팅값을 생성하는 단계를 더 포함하는,
    방법.
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제

Images