KR20150122715A

KR20150122715A - 이미지 시퀀스에서 객체 오클루전의 판정

Info

Publication number: KR20150122715A
Application number: KR1020157026133A
Authority: KR
Inventors: 비드흐야 세란; 윌리엄 엘. 가디
Original assignee: 에이2젯로직스, 인코포레이티드
Priority date: 2013-02-26
Filing date: 2013-10-29
Publication date: 2015-11-02
Also published as: CN105074726A; US8831288B1; US20140241582A1; CA2899401A1; EP2962247A1; US8718328B1; JP2016508652A; WO2014133597A1; EP2962247A4

Abstract

이미지들의 쌍 사이 오클루전 구역 검출 및 측정을 위한 방법 및 시스템이 개시된다. 프로세싱 디바이스는 제 1 이미지 및 제 2 이미지를 수신한다. 프로세싱 디바이스는 제 1 이미지와 제 2 이미지 사이에서 모션 벡터들의 필드를 추정한다. 프로세싱 디바이스는, 모션 보상된(motion-compensated) 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상한다. 프로세싱 디바이스는 오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션 보상된 이미지의 복수의 픽셀 값들을 비교한다. 프로세싱 디바이스는 초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력한다. 프로세싱 디바이스는 정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화한다.

Description

이미지 시퀀스에서 객체 오클루전의 판정 {DETERMINATION OF OBJECT OCCLUSION IN AN IMAGE SEQUENCE}

관련 출원들에 대한 교차 참조

[0001] 본 출원은 2013년 2월 26일자로 출원된 미국 가특허 출원 제 61/769,311호의 이익을 주장하며, 그의 개시물은 그 전체가 인용에 의해 본원에 포함된다.

기술 분야

[0002] 본 발명은, 일반적으로 디지털 이미지 프로세싱에 관한 것이며, 더 구체적으로, 이미지들의 쌍 사이에 오클루전 구역(occlusion region)들의 존재, 로케이션 및 유형의 자동 판정을 위한 방법 및 시스템에 관한 것이다.

[0003] 특히 비디오 프레임들 및/또는 필드들의 시퀀스들을 위한, 2 개의 이미지들 사이의 옵티컬 플로우 또는 모션 벡터 필드를 판정하는 것은, 코딩, 프레임 레이트 컨버젼, 노이즈 리덕션 등과 같은 많은 하이-밸류 비디오 프로세싱 태스크들에 종종 직면한다. 옵티컬 플로우를 계산하는 종래의 방법들은, 수개의 장애물들에 직면하며, 장애물들의 많은 해법들은 그 전체가 인용에 의해 본원에 포함된 미국 특허 제 8,355,534 호(이하,“534 특허”라 함)에서 설명된다. 534 특허의 교시와 같이, 객체 오클루전(object occlusion)은 임의의 모션 추정 시스템, 이를테면 옵티컬 플로우 추정 시스템을 위한 도전을 제시한다.

[0004] 도 1은 배경(105) 및 전경(110)을 갖는 이미지 쌍(100a, 100b)의 예시를 도시하며, 여기서 전경 객체(115)는 움직이고 있으며, 이 이미지 쌍은 오클루전 구역(120) 및 디스오클루전 구역(125)을 도시한다. 전경 객체(115)가 비디오 시퀀스에서 움직이고 있을 때, 모션 방향 전방에서의 이미지(100b)의 배경 픽셀들은 감춰지며(오클루전 또는 오클루전 구역(120)으로서 본원에 공지됨), 한편 모션 후방에서의 이미지(100b)의 배경 픽셀들은 드러난다(디스오클루전 또는 디스오클루전 구역(125)으로서 본원에 공지됨). 이미지의 가려진(occluded) 영역들에서, 배경에 기인하는 유한 모션(definite motion)은 존재하지 않으며, 부수적으로, 이미지의 가려지지 않은 구역들에서 전방 객체에 기인하는 유한 모션도 존재하지 않는다. 이미지들의 쌍 내에 있는 이들 2 개의 유형들(집합적으로 오클루전 구역들로서 본원에 공지됨)은 일반적으로 모션 추정에 대해 그리고 특히 많은 옵티컬 플로우 시스템들에 대해 큰 문제가 되는데, 이는 왜냐하면 이러한 구역들에서 오차가 있는 모션 벡터값들이 논-오클루전 구역들 내로 전파하는 경향이 있어 옵티컬 플로우 추정의 전체적인 정확성에 악영향을 미치기 때문이다. 오클루전 구역들의 판정은, 옵티컬 플로우 및 모션 추정의 개선에 추가로 다른 하이-밸류 비디오 해석 태스크들, 이를 테면 시차(disparity) 및 심도(depth) 추정, 이미지 세그먼테이션, 객체 식별, 및 3D 컨버전 및 프로젝션에 대해 많은 이익들을 갖는다.

[0005] 오클루전의 검출은 모션 추정, 심도 추정 및 이미지/비디오 세그먼테이션의 맥락에서 많은 주목을 받고 있다. 오클루전은 명시적(explicitly) 또는 묵시적(implicitly)으로 추정 또는 연산될 수 있다. 오클루전 경계들 자체는, 3D 장면 복원(scene reconstruction)을 위한 강력한 단서들을 제공한다. A. Saxena, M. Sun, 및 A. Y. Ng에 의한 "“Make3D: Learning 3D Scene structure form a Single Image,” PAMI, 31: 824-840, 2009" 에서 설명되는 방법들 그리고, D. Hoiem, A. A. Efros, 및 A.Hebert에 의한"“Recovering Occlusion Boundaries from an Image,” International Journal on Computer Vision, pages 1-19, 2010"에서 설명되는 방법들은, 과분할(over-segmentation) 및 감독 학습(supervised-learning)에 의해 단일 프레임을 사용하는 오클루전 경계들을 발견하는 것을 제안한다. 모션 정보가 없다면, 오클루전 경계 검출은 본질적으로 모호한 문제이다. 다른 방법들은, 가려진 픽셀들/구역들을 추론하기 위해서 플렉시블 스프라이트들 내로 인풋 비디오를 계층화하도록 시도한다(예컨대, N. Jojic 및 B. J. Frey, “Learning Flexible Sprites in Video layers,” in CVPR, 2001 참조). 계층화된(layered) 방법들은 오클루전 경계들의 실감형 모델링(realistic modeling)을 제공하지만, 이들 방법들은 연속 구역들, 표면들의 상대 명령(relative order), 및 미리 정해진 모션을 갖는 것을 필요로 한다. Sun, D., Sudderth, E. B., Black, M. J. 에 의한 "“Layered image motion with explicit occlusions, temporal consistency, and depth ordering,” in: Advances in Neural Information Processing Systems, pp. 2226-2234 (2010),"에서 설명되는 방법은, 오클루전을 명시적으로 모델링하고, 얻어진 결과들이 비교적 정확하지만, 이 방법은 거대한 연산 로드(computational load)를 갖는다. 오클루전 구역들을 찾는 것은, 멀티-뷰 3D 프로젝션 및 디스플레이 방법들에서 공통적인 문제를 나타낸다. 이러한 분야에서 가장 최신에 연구된 방법들은, 이들 구역들에서 배경 또는 전경의 기초가 되는 픽셀 데이터가 동질적이거나(homogeneous) 텍스처 정보를 갖지 않을 때 여전히 큰 오차들을 일으키기 쉽다.

[0006] Alvarez 등에 의한 "“Symmetrical dense optical flow estimation with occlusions detection,” International Journal of Computer Vision 75(3), 371-385 (2007)"(이하, 알바레즈라 함)에서, 패싱 인터레스트(passing interest)는 디퓨전 텐서 및 후속하는 고유치 해석(eigenvalue analysis)의 역할에 초점을 맞추지만, 이는, 옵티컬 플로우 해법의 전방 및 후방 대칭을 해석하는데만 사용되고, 옵티컬 플로우 연산 또는 오클루전 연산 어느 것의 정확도를 직접 개선하는데 사용되지 않는다.

[0007] Ince, S., Konrad, J.에 의한 "“Occlusion-aware optical flow estimation,” IEEE Trans. Image Processing 17(8), 1443-1451 (2008)"(이하, 인스라 함)는, 옵티컬 플로우 및 오클루전의 공동 결정을 위한 방법 및 시스템들을 개시하지만, 이 시스템들은 커플링되고, 이 방법은 논-옵티컬-플로우 모션 추정 시스템, 이를테면 블록 매칭으로의 커플링을 위해서는 적용 불가하다. 게다가, 인스는 강건함을 개선하기 위해서 이미지들의 스트럭처 텐서 또는 디퓨전 텐서의 개념을 무시한다.

[0008] 모션 큐(motion cue)들은 오클루전 구역들 및 경계들을 식별하는데 매우 중요하다. 전술된 바와 같이, 임의의 모션 추정의 목적은, 2 개의 연속 프레임들에서 포인트들의 모션을 나타내는 플로우 필드를 연산하는 것이며, 가장 정확한 모션 추정 기술들은 오클루전들을 핸들링할 수 있어야 한다. 알바레즈 및 인스에서 설명된 바와 같은 모션을 기반으로 하는 일부 오클루전 검출 작업은, 함께 후방 및 전방 모션을 추정하고, 가려진 구역들로서 불일치하는(inconsistent) 픽셀들을 마킹한다. 이러한 환경들에서, 오클루전은 묵시적으로 검출되고, 오클루전 검출은 모션 추정 방법에 자체로 커플링된다. 이들 방법들은 하이 텍스처드 이미지 에이리어들 내에서 문제들과 직면하며, 큰 변위들 또는 오클루전 구역들에서 성공하지 못한다.

[0009] Xiao 등에 의한 "“Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection,” Leonardis, A., Bischof, H., Pinz, A. (eds.) ECCV 2006, Part I. LNCS, vol. 3951, pp. 211-224, Springer, Heidelberg (2006)"는 옵티컬 플로우 및 오클루전 연산을 위한 다른 공동 방법을 개시하지만, 이의 2 개의 연산들은 공동 정규화 프레임워크 내로 긴밀하게 커플링된다. 게다가, 이 방법은 개시된 정규화 함수의 수렴을 위한 여러 번의 반복(multiple iterations)들을 필요로 하며, 이에 따라 1080 및 4K와 같은 동시(contemporaneous) 비디오 해상도들을 위한 실시간 연산에는 적합하지 않다.

[0010] 심지어, 커플링된 오클루전 검출 시스템들을 갖는 가장 보편적인 모션 추정 방법들조차 2 개의 주된 문제점들을 겪는다. 첫 번째로, 이들 방법들은 실시간 프로세싱을 위해서는 연산이 너무 복잡하다. 두 번째로, 이들이 만드는 오클루전 구역 맵들은 본질적으로 노이즈가 있다. 오클루전들로서 마킹된 픽셀들은 빈번하게 폴스-포지티브(false-positive)들 또는 폴스-네가티브(false-negative)들일 수 있으며, 후속한 비디오 프로세싱 및 해석 태스크들에서의 이들의 사용은 의심되거나 불가능해진다.

[0011] 이에 따라, 모션 추정 시스템과 함께 큰 모션들 및 발생하는 큰 오클루전 구역들의 존재시 이러한 시스템의 강건함 및 정확성을 증가시키는 정확하고 정교하며 연산 복잡성이 낮은 오클루전 추정 시스템 및 방법에 대한 요구가 존재한다.

[0012] 이미지들의 쌍 사이에 오클루전 구역 검출 및 측정을 위한 방법 및 시스템을 제공함으로써 기술 분야에서 상술된 문제들이 해결되고 기술적 해결책이 달성된다. 프로세싱 디바이스는 제 1 이미지 및 제 2 이미지를 수신한다. 프로세싱 디바이스는 제 1 이미지와 제 2 이미지 사이에서 모션 벡터들의 필드를 추정한다. 프로세싱 디바이스는, 모션 보상된(motion-compensated) 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상한다. 프로세싱 디바이스는 오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션 보상된 이미지의 복수의 픽셀 값들을 비교한다. 프로세싱 디바이스는 초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력한다. 프로세싱 디바이스는 정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화한다.

[0013] 일 예에서, 정규화하는 단계는 정규화된 오차 필드를 얻는 단계를 더 포함할 수 있다. 일 예에서, 상기 정규화된 오클루전 맵 또는 정규화된 오차 필드 중 적어도 하나를 기반으로 한 값이 임계값 미만이 될 때까지 상기 비교하는 단계 및 상기 정규화하는 단계가 반복될 수 있다. 일 예에서, 상기 제 2 이미지를 향해서 제 1 이미지를 모션 보상하는 단계는, 제 2 이미지를 향해서 제 1 이미지로부터 모션 벡터들의 필드를 이미지 와핑하는 단계(image warping)를 포함한다. 일 예에서, 상기 초기 오클루전 맵 및 정규화된 오클루전 맵 각각은 가중된 오차 비용 함수(error cost function)를 기반으로 한다. 상기 가중된 오차 비용 함수는, 제곱합 차이 측정(sum-of-square differences measure), 국부적으로 스케일링되는(locally scaled) 제곱합 차이 측정, 정규 교차 상관(normalized cross-correlation) 측정, 또는 제로 평균(zero-mean) 정규 교차 상관 측정 중 적어도 하나일 수 있다. 가중 오차 비용 함수는 서포트의 국부적 구역에 대한 국부적 가중에 기초할 수 있다. 일 예에서, 서포트의 국부적 구역에 대한 국부적 가중은, 모션 보상된 이미지의 국부적 구조 텐서(tensor)의 아이겐 시스템(eigensystem) 해석에 기초할 수 있다. 다른 예에서, 서포트의 국부적 구역에 대한 국부적 가중은, 서포트의 국부적 구역에 대한 그래디언트 에너지 가중이다. 서포트의 국부적 구역에 대한 그래디언트 에너지 가중은, 서포트의 국부적 구역에 대한 통계적 변수 또는 국부적 콘트라스트의 합일 수 있다.

[0014] 일 예에서, 정규화된 오클루전 맵을 얻기 위한 오클루전 맵의 정규화는, 오클루전 맵 및 오차 필드에 멀티-시그마 정규화를 적용하는 것을 포함할 수 있다. 오클루전 맵에 멀티-시그마 정규화를 적용하는 것은 오클루전 맵에 4-팩터 시그마 필터를 적용하는 것을 포함할 수 있다. 상기 멀티-팩터 시그마 필터를 위한 입력 가중치들은, 초기 조악한(coarse) 오클루전 필드 추정, 그리고 제 1 이미지와 제 2 이미지 사이에서 컬러 값 또는 휘도의 유사성들, 순환하는 모션 벡터 방향들의 값들, 또는 모션 벡터 규모들의 유사성들 등 중 하나 또는 그 초과의 유사성들을 포함할 수 있다. 상기 멀티-팩터 시그마 필터는 하나 또는 그 초과의 가중치들, 이를 테면 레인지-투-타겟 필드의 심도(depth) 또는 불연속성들을 포함할 수 있다.

[0015] 본 개시물의 예들은, 장면(scene) 유형들, 모션 유형들, 또는 지도 학습(supervised learning) 데이터세트들에 의존하는 임의의 가정들 없이 오클루전 구역들을 검출 및 특성화하기 위한 방법 및 시스템을 제공한다. 본 개시물의 예들은, 정확하고 정교한 오클루전 구역 맵을 제공한다. 오클루전 검출은, 모션 추정으로부터 자체적으로 디커플링되며, 임의의 적절한 옵티컬 플로우 또는 모션 추정 시스템 또는 방법에 추가로 유연성을 제공한다.

[0016] 도 1은 배경(background) 및 전경(foreground)을 갖는 이미지 쌍의 예를 도시하며, 여기서 전경 객(object)체는 이동중이며 오클루전 및 디스오클루전 영역들을 도시한다.
[0017] 도 2는 이미지 시퀀스에서 하나 또는 그 초과의 오클루전 영역들을 검출하는 컴퓨팅 시스템의 일례의 블록도이며, 여기서 본 개시물의 예들이 작동할 수 있다.
[0018] 도 3은 예시적 오클루전 필드/맵을 도시한다.
[0019] 도 4는 도 2의 컴퓨팅 시스템을 사용하여 이미지들의 시퀀스에서 오클루전 영역들 및/또는 디스오클루전 영역들을 검출하는 방법의 예를 예시하는 흐름도이다.
[0020] 도 5는 도 4의 방법을 구현하는 모듈들 사이에서의 예시적 데이터 흐름의 블록 선도이다.
[0021] 도 6은 도 5의 가중(weighted) 거리 필드 모듈을 구현하는 모듈들 사이 예시적 데이터 흐름의 블록 선도이다.
[0022] 도 7은 도 5의 정규화 모듈에서 적용되는 4-팩터 시그마 필터를 통과한 예시적 데이터 흐름의 블록 선도이다.
[0023] 도 8은 컴퓨터 시스템의 예시적 형태의 머신의 도식 표현을 예시하며, 이 시스템 내에서, 머신이 본원에서 논의된 방법론들 중 임의의 하나 또는 그 초과의 방법을 실행하는 것을 유발하는 명령들의 세트가 실행될 수 있다.

[0024] 모션 추정(motion estimation)은 종래 기술에서 광범위하게 연구되고 있으며, 이미지들 사이의 정확한 모션 벡터들의 판정은 여전히 도전 과제이다. 수개의 해법들, 이를테면 심플 블록 매칭, 계층적 블록(hierarchical block) 매칭 및 옵티컬 플로우 추정과 같은 모션 추정을 위해서 역사적으로 사용되고 있다. 정확한 모션 벡터 필드를 추정하기 위해서는, 오클루전 문제와 분명히 맞닥뜨릴 필요가 있다. 오클루전 검출이 또한 스테레오 매칭을 위한 시차 맵(disparity map)을 추정하는데 매우 중요하다. 오클루전 마킹은, 모션 추정 및 시차 맵 이상으로 독립적인 어플리케이션들, 이를 테면 비디오 감시에서 객체 소팅/객체 제거 및 멀티-뷰 비디오 및 영상(imagery)의 재투영(reprojection)을 갖는다. 또한, 마킹 오클루전은 이미지 분할(image segmentation), 모션 분할(motion segmentation), 이미지 인-페인팅(image in-painting) 및 시차 인-페인팅(disparity in-painting)에 매우 유용하다.

[0025] 오클루전은 다음 조건들 중 하나 하에 발생한다: 카메라 또는 캡처 시스템이 줌인/줌아웃 되고, 새로운 객체가 프레임에 나타나거나 오래된 객체들이 프레임으로부터 사라지며, 움직이는 전경 객체들이 배경 픽셀들을 드러낸다(reveal). 예컨대, 스테레오그래픽 이미지 쌍들에서, 2 개의 이미지들은 상이한 각도들로부터 캡처 되며 일부 픽셀들이 단지 하나의 뷰에서 존재한다. 본원에 사용되는 바와 같이, 이들 픽셀들은 가려진 픽셀들로서 공지된다. 유사하게, 비디오 감시에서, 카메라로부터 멀리 이동하는 사람 또는 카메라의 전방에 나타나는 새로운 사람은 오클루전을 도입한다.

[0026] 도 2는 본 개시의 예들이 동작할 수 있는 하나 또는 그 초과의 오클루전 구역들을 검출하는 예시적인 컴퓨팅 시스템(200)의 블록 선도이다. 비제한적인 예로써, 컴퓨팅 시스템(200)은 비디오 카메라 또는 스틸 카메라 또는 온-라인 스토리지 디바이스 또는 송신 매체와 같은 하나 또는 그 초과의 데이터 소스들(205)로부터 데이터를 수신한다. 컴퓨팅 시스템(200)은 또한 디지털 비디오 캡처 시스템(210) 및 컴퓨팅 플랫폼(215)을 포함할 수 있다. 디지털 비디오 캡처링 시스템(210)은 데이터 소스(205)로서 컴퓨팅 플랫폼(215)에 의해 프로세싱될 수 있는 형태로, 디지털 비디오의 스트림들을 프로세싱하거나 아날로그 비디오 투 디지털 비디오를 변환한다. 컴퓨팅 플랫폼(215)은 하나 또는 그 초과의 중앙 프로세싱 유닛들(230a-230n) 같은 예를 들어 프로세싱 디바이스(225)를 포함할 수 있는 호스트 시스템(220)을 포함한다. 프로세싱 디바이스(225)는 호스트 메모리(235)에 커플링될 수 있다.

[0027] 프로세싱 디바이스는 그래픽 프로세싱 유닛(240)(GPU)을 추가로 구현할 수 있다. GPU들, 이를 테면 DSP들, FPGA들, 또는 ASIC들, 또는 프로세싱 디바이스(225) 자체의 부가 고정-기능 피처들(이들로 제한되지 않음) 외에 다른 코프로세서 아키텍처들이 활용될 수 있다는 것이 당업자들에 의해 이해될 것이다. GPU(240)가, 모바일 폰들 및 태블릿들에서 발견될 수 있는 바와 같이, 또한 가속 처리 유닛("APU")으로서 알려진 중앙 프로세싱 유닛들(230a-230n)과 동일한 물리적 칩 또는 논리 디바이스 상에 배치될(collocated) 수 있다는 것이 당업자들에 의해 추가로 이해될 것이다. 별도의 GPU 및 CPU 기능들은 GPU가 물리적 확장 카드인 컴퓨터 서버 시스템들, 및 퍼스널 컴퓨터 시스템들 및 랩톱들에서 발견될 수 있다. GPU(240)는 GPU 메모리(237)를 포함할 수 있다. 호스트 메모리(235) 및 GPU 메모리(237)가 또한 APU 같은, 동일한 물리적 칩(들) 또는 논리 디바이스 상에 배치될 수 있다는 것이 당업자들에 의해 이해될 것이다.

[0028] 프로세싱 디바이스(225)는, 이미지들의 시퀀스에서 오클루전 영역들 및/또는 디스오클루전 영역들을 검출하는 오클루전 맵 생성기(245)를 구현하도록 구성된다. 오클루전 맵 생성기(245)는 데이터 소스(205)로부터 데이터(예컨대, 제 1 이미지 및 제 2 이미지)를 수신하고, 이미지 버퍼(255)로서 GPU 메모리(237)에 전달되는 이미지 데이터 버퍼(250)를 수신하도록 구성될 수 있다. 일 예에서, 프로세싱 디바이스(225)는 GPU(240)의 컴포넌트로서 오클루전 맵 생성기(245)를 구현할 수 있다. 오클루전 맵 생성기(245)는 도 3에 도시된 바와 같이 이미지 버퍼(255)로부터 정규화된(regularized) 오클루전 맵을 얻도록 구성된다. 본원에 사용된 바와 같이, 부여된 이미지를 위한 전체 가려진 구역들은 오클루전 맵으로서 지칭된다. 일 예에서, 정규화된 오클루전 맵은 디스플레이(270) 상에 디스플레이될 수 있다. 다른 예에서, 오클루전 맵 생성기(245)는 직접 또는 네트워크(295)를 통해 하나 또는 그 초과의 다운스트림 디바이스(290)들에 정규화된 오클루전 맵을 전송할 수 있다.

[0029] 도 4는 이미지들의 시퀀스에서 오클루전 영역들 및/또는 디스오클루전 영역들을 검출하는 방법(400)의 예를 예시하는 흐름도이다. 방법(400)은 도 2의 컴퓨터 시스템(200)에 의해 수행될 수 있고, 하드웨어(예를 들어, 회로소자, 전용 로직, 프로그램 가능 로직, 마이크로코드, 등), 소프트웨어(예를 들어, 프로세싱 디바이스 상에서 운용되는 명령들), 또는 이들의 결합을 포함할 수 있다. 일 예에서, 방법(400)은 도 2의 컴퓨팅 시스템(200)의 오클루전 맵 생성기(245)에 의해 수행된다.

[0030] 도 4에 도시된 바와 같이, 컴퓨팅 시스템(200)이 이미지들의 시퀀스로부터 정규화된 오클루전 맵을 생성하는 것을 허용하기 위해서, 블록(410)에서, 오클루전 맵 생성기(245)는 이미지 버퍼(255)로부터 수신된 데이터에 기초하여 제 1 이미지와 제 2 이미지 사이에서 모션 벡터들의 필드를 추정한다. 블록(420)에서, 오클루전 맵 생성기(245)는 모션-보상된 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상하도록 모션 벡터들의 필드를 작동시킨다. 일 예에서, 오클루전 맵 생성기(245)가 제 2 이미지를 향해서 제 1 이미지를 모션 보상할 때, 오클루전 맵 생성기(245)는 제 2 이미지를 향해서 제 1 이미지로부터 모션 벡터의 필드를 이미지 와프(image warp)한다.

[0031] 블록(430)에서, 오클루전 맵 생성기(245)는 오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션-보상된 이미지의 복수 개의 픽셀 값들을 비교한다. 블록(440)에서, 오클루전 맵 생성기(245)는 초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력한다. 일 예에서, 가중된 오차 비용 함수는, 제곱합 차이 측정(sum-of-square differences measure), 국부적으로 스케일링되는(locally scaled) 제곱합 차이 측정, 정규 교차 상관(normalized cross-correlation) 측정, 또는 제로 평균(zero-mean) 정규 교차 상관 측정 중 적어도 하나일 수 있다. 일 예에서, 가중 오차 비용 함수는 서포트의 국부적 구역에 대한 국부적 가중에 기초할 수 있다. 서포트의 국부적 구역에 대한 국부적 가중은, 모션 보상된 이미지의 국부적 구조 텐서(tensor)의 아이겐 시스템(eigensystem) 해석에 기초할 수 있다. 일 예에서, 서포트의 국부적 구역에 대한 국부적 가중은, 서포트의 국부적 구역에 대한 그래디언트 에너지 가중일 수 있다. 예에서, 서포트의 국부적 구역에 대한 국부적 가중은, 서포트의 국부적 구역에 대한 그래디언트 에너지 가중일 수 있다.

[0032] 블록(450)에서, 오클루전 맵 생성기(245)는 정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화한다. 일 예에서, 오클루전 맵 생성기(245)는 초기 오클루전 맵을 정규화할 때, 오클루전 맵 생성기(245)는 오차 필드를 더 정규화할 수 있다.

[0033] 일 예에서, 정규화된 오클루전 맵을 얻기 위한 오클루전 맵을 정규화하는 것은, 오클루전 맵 및 오차 필드에 멀티-시그마 정규화를 적용하는 것을 포함할 수 있다. 일 예에서, 오클루전 맵 및 오차 필드에 멀티-시그마 정규화를 적용하는 것은 오클루전 맵에 4-팩터 시그마 필터를 적용하는 것을 포함할 수 있다.

[0034] 블록(460)에서, 정규화된 오클루전 맵 또는 정규화된 오차 필드 중 하나 이상을 기초로 하는 값이 임계값을 초과한다면, 오클루전 맵 생성기(245)는 비교 및 정규화하는 단계들을 반복하며(즉, 단계(430-460)들을 반복함); 그렇지 않다면, 프로세싱은 종료한다.

[0035] f(x, y, t)는 현재 프레임을 f(x, y, t-1)는 이전 프레임을 프레임으로 나타내는 것으로 한다. f(x, y, t)와 f(x, y, t-1) 사이의 관계는 수학식 1로서 나타낼 수 있다.

여기서, W_t->(t-1)는 프레임f(x, y, t-1) 대 프레임f(x, y, t)의 모션 보상 맵핑을 나타낸다.

[0036] 이에 따라, 오퍼레이터는 2 개의 프레임들 사이의 퍼-픽셀(per-pixel) 맵핑을 부여하며, 이는 임의의 모션 모델 및 추정 시차 맵에 적용가능하다. 식(1)은 가려진 구역들 o(x, y, t-1)을 제외하고는 비디오 프레임에서 어느 곳에서나 "참(true)"을 유지한다. 부여된 이미지를 위한 전체 가려진 구역들은 오클루전 맵에서와 같이 언급된다. 이 맵은 그레이 스케일 이미지 마스크 또는 대안으로 포지티브 값들의 2-차원 매트릭스(이상적인 상황들에서, 가려지는 각각의 픽셀을 정확하게 식별함)를 나타내며, 여기서 중간 범위 값들은 신뢰구간(in confidence)에서 편차들 또는 대안으로 오클루딩 객체(들)의 투시도를 나타낼 수 있다. 본 개시물에서, 해결되는 문제들은 이미지들의 시퀀스에서 가려지는 면적들을 찾으며, 일시적 안정성을 획득하도록 발생하는 오클루전 맵의 정규화를 실행하고 재귀(recursive) 오차 전파를 방지하는 것이다.

[0037] 도 5는 도 3의 오클루전 맵 생성기(245)를 포함하는 모듈(500)들의 시퀀스를 통한 데이터 흐름의 일 예시의 블록 선도이다. 모션 추정 모듈(508)은 제 1 프레임(504)(예컨대, 이전 프레임(504)(f(x, y, t-1))으로부터 제 2 프레임(506)(예컨대, 오리지널 프레임(506) 프레임 f(x, y, t))으로의 모션 벡터 필드(502)의 모션 벡터들을 추정한다. 모션 추정 모듈(508)은, 모션 추정 방법을 구현할 수 있으며, 이 방법은 예컨대 서브-픽셀 계층적 블록-기반 방법, 스테레오스코픽 쌍들을 위한 광학 흐름 또는 재귀 시차 추정일 수 있다. 계산된 모션 벡터들 mv_u(x, y, t-1) 및 mv_v(x, y, t-1)에 기초하여, 모션 보상된 와핑(warping) 모듈(510)은 모션 와핑된 제 1 프레임(512)(예컨대, 모션 와핑된 이전 프레임(512)을 얻기 위해서 모션 벡터 필드(502)에 모션 보상 와핑 함수W_t->(t-1)을 적용할 수 있다. 예에서, 함수W_t->(t-1)은 수학식 2로서 확장될 수 있다.

[0038] 임의의 수의 모션 보상 레짐들이 적용될 수 있으며, 상기 예시는 설명의 명확함을 위해 제공되는 것이 당업자에 의해 이해될 것이다. 가려진 영역들은, 모션 추정 시스템을 위해서 어떠한 정보도 입수 불가하기 때문에 트루(true) 모션 벡터들을 가질 수 없을 것이다. 이상적인 모션 추정 시스템은, 이러한 에이리어들을 신뢰도 맵(confidence map)과 통신하는 것과 같은 아웃 오브 밴드 방법(out-of-band method)에 의해 제로 규모 모션 벡터들 또는 이들의 정확도의 신뢰 부족에 대한 적어도 신호를 실장(populate)할 수 있다.

[0039] 전형적인 모션 보상 리짐들에 의해 설명된 와핑 방법과 구별하는 것이 중요하다. 대부분의 모션 보상 시스템에서, "게더" 방법이 적용된다.

[0040] 한편 식 3에서와 같은 리짐들이 보상시 모든 데스티네이션 픽셀이 비짓될(visited) 수 있음을 보장하여 조밀 이미지를 보장하지만, 이는 또한 오클루전을 무시한다. 비교함으로써, 식 2의 와핑 방법은"스캐터" 방법으로서 설명될 수 있으며, 이에 의해 보상된 이미지의 모든 픽셀이 비짓 되거나 채워지는 것이 보장되지 않는다. 보상된 이미지 버퍼에 단일 값을 미리 채움으로써, 스캐터-기반 와핑 작동시 언 비짓 구역들은 이러한 신호 값은 비교란(undisturbed) 상태가 된다. 따라서, 이는, 오클루전 맵(514)의 시작 지점을 형성한다.

[0041] 다음으로, 제 2 또는 오리지널(참(true)) f(x, y, t) 프레임(506)이 공지되어 있기 때문에, 가중 함수 블록(516)은 각각의 픽셀을 위해 오차 비용 함수 해석에 적용될 가중치의 후속 프로세싱 단계들을 알려주는 가중 필드(513)를 얻기 위해서 모션 와프된 제 1 (예컨대, 이전) 프레임(512)에 가중 함수를 적용할 수 있다. 예시에서, 가중 필드(513)는 모션 와프된 제 1 (예컨대, 이전) 프레임(512)의 별개의 데이터 버퍼 또는 알파 채널 또는 제 4 채널에서 저장될 수 있다. 가중 함수는 단순한 아이덴티티 함수 또는 국부적 구조 텐서의 아이겐시스템 해석과 같은 다소 복잡한 함수를 포함할 수 있다.

[0042] 가중된 오차 비용 함수 블록(518)은 가중 필드(513)에 의해 공급되는 가중치들을 사용하여 가중된 오차 비용 함수를 적용할 수 있다. 모션 와프된 제 1 (예컨대, 이전) 프레임(512)으로부터의 오차 픽셀들은 가중된 오차 비용 함수로부터 계산될 수 있으며, 이에 의해 가려진 영역들이 이미 마킹된 영역들을 회피하면서 추가로 마킹될 수 있다.

[0043] 그럼에도 불구하고, 오차를 추정하기 위해서 오차 비용 함수를 선택할 때 특별한 고려가 요구되는데, 이는 왜냐하면 단순한 퍼-픽셀 차이들(SAD(sum-of-absolute-difference)들로서 보편적으로 공지됨) 또는 비가중식 SSD(sum of squared difference)들이 강한 콘트래스트 및 에지들을 갖는 이미지 구역들에서 낮은 텍스쳐 및 폴스-포지티브들을 갖는 균일한 구역들 및 객체들을 위해서 폴스-네거티브들을 표시할 수 있다. 프레임에서 각각의 픽셀을 위한 오차 픽셀들을 추정하는 하기의 상관에 기초한 유사성 조치들(예컨대, Nuno Roma, Jose Santos-Victor, Jose Tome, “A Comparative Analysis Of Cross-Correlation Matching Algorithms Using a Pyramidal Resolution Approach,” 2002 참조)이 이것으로 제한하는 것은 아니지만 바람직한 실시예의 목적을 위해서 유익하다:

상기 도시된 수학식 4 내지 수학식 7들을 위해서, R은 상관 매칭을 위해 고려되는 서포트의 구역이며, 3X3 픽셀들로서 R을 선택하는 것은 실시간 프로세싱을 위해 적합할 것이며, 5X5는 오프라인 프로세싱을 위해 적합할 것이다. 서포트의 시간에 걸친, 대부분의 구역들이 기저 시스템 속도 및 복잡도가 증가함에 따라 실시간 및 오프라인 프로세싱을 위해서 적용될 수 있음이 당업자에 의해 이해될 것이다. 3X3 및 5X5 서포트 구역들이 예시들로서 제공될 수 있다.

[0044] 보정에 기초한 매칭 매트릭스들은 매우 많은 자원이 필요하지만(computationally expensive), 모션 벡터들은 외부 시스템으로부터 이미 추정되어 있기 때문에, 더 작은 구역들을 위해서 매트릭스 차이가 추정될 수 있으며, 서포트의 더 큰 픽셀 구역에서의 서치를 필요로 하지 않는다.

[0045] 상기 수학식 4 내지 수학식 7에서 개시된 바와 같이 전체적 그리고 국부적 평균(mean)과 같은 국부적 가중을 판정하는 수치 방법들에 추가로, 아이겐시스템 해석은 보다 정교하고 정확한 가중을 제공하도록 활용될 수 있다. 미국특허 제 8, 355, 534호(인용에 의해 본원에 포함됨)에 설명된 방법들이 특히 효과적이지만, 여기서는, 구역이 등방성의, 동질적 구역이며, 상당한 이미지 텍스처를 포함하는 것 또는 강력한 콘트라스트 에지를 포함하는 것인지의 여부를 판정하기 위해서 서포트의 국부적 구역의 그래디언트 구조 텐서의 고유치들의 사용이 특히 주목하는 것이다. 동질적 등방성 구역 이미지 차이들은 예컨대 이러한 텐서 해석을 기반으로 하는 하이 텍스쳐드 구역에서의 차이보다 덜 가중될 것이다.

[0046] 옵티칼 플로우 모션 벡터들 및 시차 맵들은 보편적으로 불연속들 및 아웃라이어들을 매끄럽게 하기 위해서 정규화 및 스무딩 스텝들을 사용하며 비디오의 경우에 일시적 축을 따라 모션 벡터 필드들을 안정화하는 것을 더 돕는다. 오클루전 및 오차 필드들은 모션 벡터 필드 및 이미지 필드와 별개로 정규화 모듈(520)과 동일한 방식으로 별도 처리로부터 유익하다는 점에 주목된다.

[0047] 노이즈 문제들을 해결하기 위해서, 최종으로 발생하는 오클루전 맵(514), 가중 함수(516) 및 가중된 오차 비용 함수(518)에서 종래 기술의 폴스-포지티브들, 및 폴스-네거티브들은 도 6에 도시된 바와 같이 아이겐시스템 해석을 포함할 수 있다. 먼저, 시공간적 그래디언트 추정(630)은 '534 특허에서 교시된 바와 같이 이전 프레임(610) 및 현재 프레임(620)을 위한 픽셀들의 필드에 적용될 수 있으며, 이는 2 차원 그래디언트 필드(640)를 유발하며, 여기서 그래디언트 도함수들은 예컨대, 수학식 9에서 추정될 수 있다.

[0048] 그래디언트 필드(640)는 그래디언트 텐서 해석(650) 내로 입력되며, 여기서 그래디언트 값들이 텐서로 입력되며, 텐서는 수학식 10에서와 같이 아이겐시스템 해석된다:

[0049] 수학식 10의 아이겐시스템 해석은, 각각 그리고 모든 픽셀에 대한 2 개의 고유치(λ₁및 λ₂)들을 유발하며, 여기서 각각의 고유치의 조합은 상기 언급된 임의의 픽셀을 둘러싸는 이미지의 국부적 구조를 식별한다.

[0050] 그래디언트 텐서 해석(650)으로부터 얻어지는 고유치들은, 고유치들 필드(660)들을 유발하며, 이는 입력 이미지(610, 620)들의 각각의 픽셀을 위한 국부적 구조 텐서의 고유치들을 식별한다. 각각 그리고 모든 픽셀에 대한 2 개의 고유치(λ₁ 및 λ₂)들은, 높은 균등 관계(예컨대, 낮은 λ₁ 및 λ₂) 그리고 낮은 에지 우위(예컨대, λ₂에 대해 낮은 λ₁)를 갖는 구역들에서 오차 값들을 디스카운팅함으로써 가중 함수(670)에 영향을 미칠 수 있다.

[0051] 서포트 구역의 가중(670)에서와 같이 가중 필드(675)를 연산한 후에, 가중된 오차 비용 함수(680)는 도 5의 가중 함수 블록(516)에서 설명된 바와 같이 가중된 오차 필드(690)를 연산한다.

[0052] 도 7을 참조하면, 이전 프레임(710), 현재 프레임(720), 발생하는 오차 필드(730) 및 초기 오클루전 맵(740)은 초기 오클루전 맵 및 필드(730 및 740) 상에서 작동하는 멀티-팩터 시그마 필터(750)(토마시(Tomasi) 등에 의한, “Bilateral filtering for gray and color images,” InternationalConference on Computer Vision, (1998) pp 839-846에서 교시된 바와 같이 주지된 2-팩터 양방향 필터(Bilateral Filter)와 유사함)에 입력될 수 있지만, 4 개 또는 그 초과의 시그마들(팩터들); 이전 프레임(710), 현재 프레임(720)을 기반으로 하는 이미지 컬러 거리 함수(RGB/YUV), 가중된 거리 필드(730)를 기반으로 하는 2D 모션 벡터들을 위한 방향성 거리 함수, 가중된 거리 필드(730)를 기반으로 하는 2D 모션 벡터들을 위한 매그니튜드 거리 함수, 및 초기 오클루전 맵(740)에서 초기에 마킹된 오클루전을 포함할 수 있다.

[0053] 멀티-팩터 시그마 필터(750)는, 공간 평활화(spatial smoothing)가 적용될 때, 픽셀 로케이션이 가려지는 바와 같이 마킹된다면, 필터 뱅크(bank) 계수들에 대한 그의 기여는, 몹시 불리해질 수 있으며, 이는 따라서 객체 바운더리들에서 임의의 원치않는 왜곡(distortion)을 회피한다. 게다가, 유사하지 않은 모션 구역들로부터 이들 구역들과 연관된 모션 벡터 방향들 또는 크기들로 인한 차이 데이터는 이들 구역이 유사하지 않다면 불리해질 수 있다. 멀티-팩터-시그마 필터(750)는 양방향 필터들 및 이 필터들의 다양한 방식의 유도체들과 상이한데, 이는 왜냐하면 원래 제안된 필터가 단지 2 개의 파라미터들: 공간 반경 및 이미지 컬러 차이만 사용했기 때문이다. 일 예에서, 멀티-팩터 시그마 필터(750)는 수학식 11에서와 같은 식의 형태로 나타낼 수 있다:

여기서, e()는 이미지를 위한 오차 필드(690)이며, o()는 와핑 보상(510)에 의해 제공되는 초기 오클루전 필드(685)를 나타내며, 그리고 e'()는 오클루전 맵(760)에서 정규화된 합성물이며; 그리고 여기서 g()는 가우스 공간 거리 함수이며, 수학식 12와 같다.

여기서, 수학식 11의 r()는 라디오시티 함수(radiosity function)이며, 이는 색상 차이들 및/또는 조도 값들을 관찰하며, 수학식 12의 r()는 이미지(I)에서 존재하는 RGB 또는 YUV를 기반으로 하는 적절한 색상 차이 함수이며, 식 13에서와 같다.

여기서, 수학식 13의 fC()는, RGB 또는 YUV 값들을 일예에서 HSV 컬러스페이스 표시로 변환할 수 있음며, 수학식 14 내지 도 19에서와 같다 :

그리고, 여기서 함수 fC()는 HSV 컬러 스페이스에서 컬러 유사성을 측정하며, 수학식 20에서와 같은 일예에서:

여기서, a, b 및 c는 사용자 공급된 가중치들이며, 이는 비제한적인 예시를 통해, 제각기 0.5, 0.5 및 1.0일 수 있으며; 그리고, 여기서 수학식 11의 함수 d()는 모션 벡터 유사성을 측정하며, 이는 예를 들어 수학식 21에서와 같은 단순한 규모 차이 측정 함수를 포함할 수 있으며,

여기서,d()는 모션 벡터들 사이의 단순한 유클리드 거리(Euclidian distance)를 측정하는 함수이며, 여기서 D()는 수학식 22 내지 25에서와 같은 함수이며, 이에 의해 모션 벡터 방향 유사성들을 독립적으로 평가하는 방법이 제공된다:

[0054] 프레임-투-프레임 모션 벡터들 사이의 방향 차이의 측정으로서, 서로 반대를 가리키는(180도 대향됨) 모션 벡터들은 수학식 24에서와 같이 대부분 상이한 것으로 고려된다. 이러한 2 개의 벡터들은 방향(세타) 및 규모(거리, 또는 D)에서의 차이들을 가질 것이다:

[0055] 게다가, 모션 벡터들의 각도 차이들을 수치적으로 강조하기 위해서, 각도들의 차이는 로그 스케일(logarithmic scale)로 변환된다. 특별한 공간 로케이션을 위한 모션 벡터들이 대량으로 방향을 변화한다면, 이 벡터들의 차이D()가 수학식 25에서와 같은 로그 가중 스케일(logarithmic weighting scale) 상에서 연산된다:

[0056] 이어서, 각각의 공간 로케이션을 위한 개별 옵티컬 플로우 벡터들의 수학식 21의 규모 차이들d() 은 로그 스케일로 변환된다. 이는 작은 차이들에 반하여 큰 차이점들을 강조한다. 일 예에서, 이들을 위한 값들이 수학식 26에서와 같이 연산된다:

[0057]

[0058] 수학식 11의 출력 오클루전 필드 값들o() 및 오차 필드 값들e'()의 정규화는 단지 고려되는 반경을 사용하는 것뿐만 아니라, 또한 모션 벡터들, 이미지 휘도 및 오클루전 마킹들의 차이를 포함한다. 이는, 작동으로부터 가려진 영역들을 배제하며, 불완전한 모션 추정 벡터들로 인해 임의의 왜곡들을 도입하지 않을 것이다.

[0059] 따라서, 오차 필드는, 이제 단순하고 일관된 임계 작동을 위해 잘 조절되며, 이에 의해 부여된 임계값 아래의 오차 필드 값들에 대응하는 오클루전 필드 픽셀들이 최종 오클루전 맵O()에서 논-오클루전으로서 마킹되는 한편, 이보다 더 큰 것은 최종 오클루전 맵O()에서 오클루전으로써 긍정적으로 마킹된다. 비제한적인 예가 수학식 27에 제공된다:

여기서, 함수 O()의 연산은, 도 5에 도시된 바와 같이 최종 개정된 오클루전 맵을 유발하며, 여기서 최종 임계값들은 비제한적인 예를 통해 0.003 내지 0.006 범위에 있다.

[0060] 도 8은 컴퓨터 시스템(800)의 예시적 형태의 머신의 도식 표현을 예시하며, 이 시스템 내에서, 머신이 본원에서 논의된 방법론들 중 임의의 하나 또는 그 초과의 방법을 실행하는 것을 유발하는 명령들의 세트가 실행될 수 있다. 몇몇 예들에서, 머신은 LAN, 인트라넷, 익스트라넷, 또는 인터넷으로 다른 머신들에 연결(예를 들어, 네트워킹)될 수 있다. 머신은 클라이언트-서버 네트워크 환경에서 서버 머신의 능력으로 동작할 수 있다. 머신은 퍼스널 컴퓨터(PC), 셋톱 박스(STB), 서버, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신에 의해 취해질 동작들을 특정하는 명령들의 세트를 실행(순차적 또는 다른 방식으로)할 수 있는 임의의 머신일 수 있다. 게다가, 단지 하나의 머신이 예시되지만, 용어 "머신"은 또한 본원에 논의된 방법론들 중 임의의 하나 또는 그 초과를 수행하도록 명령들의 세트(또는 다수의 세트들)를 개별적으로 또는 함께 실행하는 머신들의 임의의 컬렉션(collection)을 포함하도록 취해질 것이다.

[0061] 예시적 컴퓨터 시스템(800)은 프로세싱 디바이스(프로세서)(802), 메인 메모리(804)(예를 들어, 판독 전용 메모리(ROM), 플래시 메모리, 동적 랜덤 액세스 메모리(DRAM) 이를 테면 동기식 DRAM(SDRAM)), 정적 메모리(806)(예를 들어, 플래시 메모리, 정적 랜덤 액세스 메모리(SRAM)), 및 버스(808)를 통해 서로 통신하는 데이터 스토리지 디바이스(816)를 포함한다.

[0062] 프로세서(802)는 마이크로프로세서, 중앙 프로세싱 유닛, 등 같은 하나 또는 그 초과의 범용 프로세싱 디바이스들을 나타낸다. 보다 구체적으로, 프로세서(802)는 복합 명령 세트 컴퓨팅(CISC) 마이크로프로세서, 감소된 명령 세트 컴퓨팅(RISC) 마이크로프로세서, 매우 긴 명령 워드(VLIW) 마이크로프로세서, 또는 다른 명령 세트들을 구현하는 프로세서 또는 명령 세트들의 결합을 구현하는 프로세서들일 수 있다. 프로세서(802)는 또한 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP), 네트워크 프로세서 등 같은 하나 또는 그 초과의 특수 목적 프로세싱 디바이스들일 수 있다. 도 2에 도시된 오클루전 맵 생성기(245)는 본원에 논의된 동작들 및 단계들을 수행하도록 구성된 프로세서(802)에 의해 실행될 수 있다.

[0063] 컴퓨터 시스템(800)은 네트워크 인터페이스 디바이스(822)를 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 비디오 디스플레이 유닛(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT)), 문자 숫자식 입력 디바이스(812)(예를 들어, 키보드), 커서 제어 디바이스(814)(예를 들어, 마우스), 및 신호 생성 디바이스(820)(예를 들어, 스피커)를 포함할 수 있다.

[0064] 드라이브 유닛(816)은 본원에 설명된 방법론들 또는 기능들 중 임의의 하나 또는 그 초과를 구현하는 명령들(예를 들어, 오클루전 맵 생성기(245)의 명령들)의 하나 또는 그 초과의 세트들이 저장된 컴퓨터-판독가능 매체(824)를 포함할 수 있다. 오클루전 맵 생성기(245)의 명령들은 또한, 완전히 또는 적어도 부분적으로, 컴퓨터 시스템(800), 메인 메모리(804) 및 컴퓨터-판독가능 매체들을 또한 구성하는 프로세서(802)에 의해 상기 명령들의 실행 동안 메인 메모리(804) 내에 및/또는 프로세서(802) 내에 상주할 수 있다. 오클루전 맵 생성기(245)의 명령들은 추가로 네트워크 인터페이스 디바이스(822)를 경유하여 네트워크를 통해 전송되거나 수신될 수 있다.

[0065] 컴퓨터-판독 가능 스토리지 매체(824)가 예에서 단일 매체인 것으로 도시되지만, 용어 "컴퓨터-판독가능 스토리지 매체"는 명령들의 하나 또는 그 초과의 세트들을 저장하는 단일 비-일시적 매체 또는 다수의 비-일시적 매체들(예를 들어, 중앙 집중식 또는 분산식 데이터베이스, 및/또는 연관된 캐시들 및 서버들)을 포함하도록 취해져야 한다. 용어 "컴퓨터-판독가능 스토리지 매체"는 또한 머신에 의한 실행을 위한 명령들의 세트를 저장, 인코딩 또는 운반할 수 있고 머신으로 하여금 본 개시의 방법론들 중 임의의 하나 또는 그 초과를 수행하게 하는 임의의 매체를 포함하도록 취해질 것이다. 용어 "컴퓨터-판독가능 스토리지 매체"는 따라서 고체-상태 메모리들, 광학 매체들, 및 자기매체들을 포함(이들로 제한되지 않음)하도록 취해질 것이다.

[0066] 상기 설명에서, 다수의 상세들이 설명되었다. 그러나, 본 개시의 예들이 이들 특정 상세들 없이 실시될 수 있다는 것은 본 개시의 이익을 가진 당업자에게 명백하다. 몇몇 예들에서, 잘-알려진 구조들 및 디바이스들은, 설명을 모호하게 하지 않기 위하여, 상세히 보다 블록도 형태로 도시된다.

[0067] 상세한 설명의 몇몇 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 알고리즘 및 심볼 표현들의 측면에서 제시된다. 이들 알고리즘 설명들 및 표현들은 다른 당업자들에게 그들의 작업 핵심을 가장 효율적으로 전달하기 위하여 데이터 프로세싱 기술들의 당업자들에 의해 사용된 수단이다. 알고리즘은 여기서, 그리고 일반적으로 원하는 결과로 유도하는 단계들의 자가-일관성 시퀀스일 것으로 생각된다. 단계들은 물리적 양들의 물리적 조작들을 요구하는 것들이다. 보통, 반드시는 아니지만, 이들 양들은 저장되고, 전달되고, 결합되고, 비교되고, 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호들의 형태를 취한다. 주로 공통 이용의 이유들 때문에, 이들 신호들을 비트들, 값들, 엘리먼트들, 심볼들, 문자들, 용어들, 수들 등으로 지칭하는 것은 때로는 편리하다고 증명되었다.

[0068] 그러나, 이들 및 유사한 용어들 모두가 적당한 물리적 양들과 연관되고 단순히 이들 양들에 적용된 편리한 라벨들인 것임이 유념되어야 한다. 상기 논의로부터 명백한 바와 같이 구체적으로 다르게 언급되지 않으면, 설명 도처에서, "수신", "기록", "유지" 등 같은 용어들을 이용한 논의들이 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(예를 들어, 전자) 양들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그런 정보 스토리지, 송신 또는 디스플레이 디바이스들 내의 물리적 양들로서 유사하게 표현된 다른 데이터로 조작 및 새로운 좌표 시스템으로 번역하는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 동작들 및 프로세스들을 지칭하는 것이 인식된다.

[0069] 개시의 예들은 또한 본원의 동작들을 수행하기 위한 장치에 관련된다. 이 장치는 구체적으로 요구된 목적들을 위하여 구성되거나, 컴퓨터 내에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수 있다. 하나보다 많은 옥타브만큼 데시메이팅된 채도 채널들의 송신, 수신, 및 복원과 업스케일링을 위하여 본원에 개시된 바와 같은 시스템 및 방법은 기존 이미지 및 비디오 압축 또는 송신 시스템들 및 방법들의 인지 품질 및/또는 송신 또는 스토리지 효율성을 개선하고, 그러나 몇몇 예들로서, 많은 분야들에서 문제들, 이를 테면 오버더톱 비디오 전달을 위한 실시간 효율성, 모바일 디바이스들로부터 비디오 및 이미지 데이터를 업로딩 및 다운로딩하는 것 둘 다를 수행할 때 공공 라디오-액세스-네트워크 혼잡의 경제적 실시간 감소, 증가된 실시간 대역-통과 텔레비전 전달 능력, 위성 트랜스폰더 능력의 증가, 콘텐츠 관리 시스템들 및 네트워크 DVR 아키텍처들에 대한 스토리지 비용들의 감소, 및 분산 네트워크 코어에서 이미지들 및 비디오의 높은 처리량 처리를 해결한다.

[0070] 그런 컴퓨터 프로그램은 컴퓨터 판독가능 스토리지 매체, 이를 테면 플로피 디스크(disk)들, 광학 디스크(disk)들, CD-ROM들, 및 자기-광학 디스크(disk)들, 판독-전용 메모리(ROM)들, 랜덤 액세스 메모리(RAM)들, EPROM들, EEPROM들, 자기 또는 광학 카드들을 포함하는 임의의 타입의 디스크(disk), 또는 전자 명령들을 저장하기에 적당한 임의의 타입의 매체들(이들로 제한되지 않음)에 저장될 수 있다.

[0071] 본원에 제시된 알고리즘 및 디스플레이들은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치에 관련되지 않는다. 다양한 범용 시스템들은 본원의 지침들에 따른 프로그램들과 함께 사용될 수 있거나, 요구된 방법 단계들을 수행하기 위하여 보다 특수한 장치를 구성하기에 편리하다고 증명할 수 있다. 다양한 이들 시스템들에 대한 예시적 구조는 본원의 설명으로부터 나타난다. 게다가, 본 개시는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들이 본원에 설명된 바와 같은 개시의 지침들을 구현하기 위하여 사용될 수 있다는 것이 인식될 것이다.

[0072] 상기 설명이 제한이 아닌 예시 이도록 의도되는 것이 이해될 것이다. 많은 다른 예시들이 상기 설명을 판독 및 이해하자마자 당업자에게 명확해질 것이다. 이에 따라, 개시물의 범주는, 이러한 청구항들이 자격을 부여한 등가물들의 전체 범주와 함께 첨부된 청구항들에 대해 판정되어야 한다.

Claims

프로세싱 디바이스에서 제 1 이미지 및 제 2 이미지를 수신하는 단계;
상기 프로세싱 디바이스를 사용하여 제 1 이미지와 제 2 이미지 사이의 모션 벡터들의 필드를 추정하는 단계;
상기 프로세싱 디바이스를 사용하여, 모션 보상된(motion-compensated) 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상하는 단계;
상기 프로세싱 디바이스를 사용하여, 오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션 보상된 이미지의 복수의 픽셀 값들을 비교하는 단계;
상기 프로세싱 디바이스를 사용하여, 초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력하는 단계; 및
상기 프로세싱 디바이스를 사용하여, 정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화하는 단계를 포함하는,
오클루전 구역 검출 방법.
제 1 항에 있어서,
상기 정규화하는 단계는 정규화된 오차 필드를 얻는 단계를 더 포함하는,
오클루전 구역 검출 방법.
제 2 항에 있어서,
상기 정규화된 오클루전 맵 또는 정규화된 오차 필드 중 적어도 하나를 기반으로 한 값이 임계값 미만이 될 때까지 상기 비교하는 단계 및 상기 정규화하는 단계를 반복하는 단계를 더 포함하는,
오클루전 구역 검출 방법.
제 1 항에 있어서,
상기 제 2 이미지를 향해서 제 1 이미지를 모션 보상하는 단계는, 제 1 이미지로부터 제 2 이미지를 향해서 모션 벡터들의 필드를 이미지 와핑하는 단계(image warping)를 포함하는,
오클루전 구역 검출 방법.
제 1 항에 있어서,
상기 초기 오클루전 맵 및 정규화된 오클루전 맵 각각은 가중된 오차 비용 함수(error cost function)를 기반으로 하는,
오클루전 구역 검출 방법.
제 5 항에 있어서,
상기 가중된 오차 비용 함수는, 제곱합 차이 측정(sum-of-square differences measure), 국부적으로 스케일링되는(locally scaled) 제곱합 차이 측정, 정규 교차 상관(normalized cross-correlation) 측정, 또는 제로 평균(zero-mean) 정규 교차 상관 측정 중 적어도 하나인,
오클루전 구역 검출 방법.
제 6 항에 있어서,
상기 가중된 오차 비용 함수는 서포트의 국부적 구역에 대한 국부적 가중에 기초하는,
오클루전 구역 검출 방법.
제 7 항에 있어서,
상기 서포트의 국부적 구역에 대한 국부적 가중은, 모션 보상된 이미지의 국부적 구조 텐서(tensor)의 아이겐 시스템(eigensystem) 해석에 기초하는,
오클루전 구역 검출 방법.
제 7 항에 있어서,
상기 서포트의 국부적 구역에 대한 국부적 가중은, 서포트의 국부적 구역에 대한 그래디언트 에너지 가중인,
오클루전 구역 검출 방법.
제 9 항에 있어서,
상기 서포트의 국부적 구역에 대한 그래디언트 에너지 가중은, 서포트의 국부적 구역에 대한 통계적 변수 또는 국부적 콘트라스트의 합인,
오클루전 구역 검출 방법.
제 1 항에 있어서,
상기 정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화하는 단계는, 오클루전 맵에 멀티-시그마 필터를 적용하는 단계를 포함하는,
오클루전 구역 검출 방법.
제 11 항에 있어서,
상기 오클루전 맵에 멀티-시그마 필터를 적용하는 단계는 오클루전 맵에 4-팩터 시그마 필터를 적용하는 단계를 포함하는,
오클루전 구역 검출 방법.
제 12 항에 있어서,
상기 멀티-팩터 시그마 필터를 위한 입력 가중치들은, 초기 조악한(coarse) 오클루전 필드 추정, 그리고 제 1 이미지와 제 2 이미지 사이에서 컬러 값 또는 휘도의 유사성들, 순환하는 모션 벡터 방향들의 값들, 또는 모션 벡터 규모들의 유사성들 등 중 하나 또는 그 초과의 유사성들을 포함하는,
오클루전 구역 검출 방법.
제 13 항에 있어서,
상기 멀티-팩터 시그마 필터는 하나 또는 그 초과의 가중치들, 이를 테면 레인지-투-타겟 필드의 심도(depth) 또는 불연속성들을 포함하는,
오클루전 구역 검출 방법.
메모리;
상기 메모리에 커플링되며 메모리를 사용하는 프로세싱 디바이스를 포함하며, 상기 프로세싱 디바이스는,
제 1 이미지 및 제 2 이미지를 수신하고;
상기 제 1 이미지와 제 2 이미지 사이의 모션 벡터들의 필드를 추정하며;
상기 모션 보상된(motion-compensated) 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상하고;
오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션 보상된 이미지의 복수의 픽셀 값들을 비교하며;
초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력하고; 그리고
정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화하는,
시스템.
제 15 항에 있어서,
상기 정규화는 정규화된 오차 필드를 얻는 것을 더 포함하는,
시스템.
제 16 항에 있어서,
상기 정규화된 오클루전 맵 또는 정규화된 오차 필드 중 적어도 하나를 기반으로 한 값이 임계값 미만이 될 때까지 상기 비교 및 상기 정규화를 반복하는 것을 더 포함하는,
시스템.
프로세싱 디바이스에 의해 억세스될 때, 상기 프로세싱 디바이스가
제 1 이미지 및 제 2 이미지를 수신하는 단계;
상기 제 1 이미지와 제 2 이미지 사이의 모션 벡터들의 필드를 추정하는 단계;
상기 모션 보상된(motion-compensated) 이미지를 얻기 위해서 제 2 이미지를 향해서 제 1 이미지를 모션 보상하는 단계;
오차 필드를 추정하기 위해서 제 1 이미지의 복수 개의 픽셀들과 모션 보상된 이미지의 복수의 픽셀 값들을 비교하는 단계;
초기 오클루전 맵을 얻기 위해서 오차 필드를 가중 오차 비용 함수에 입력하는 단계; 및
정규화된 오클루전 맵을 얻기 위해서 초기 오클루전 맵을 정규화하는 단계를 포함하는,
작동들을 실행하는 것을 유발하는 명령들을 포함하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 18 항에 있어서,
상기 정규화하는 단계는 정규화된 오차 필드를 얻는 단계를 더 포함하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 19 항에 있어서,
상기 정규화된 오클루전 맵 또는 정규화된 오차 필드 중 적어도 하나를 기반으로 한 값이 임계값 미만이 될 때까지 상기 비교하는 단계 및 상기 정규화하는 단계를 반복하는 단계를 더 포함하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 18 항에 있어서,
상기 초기 오클루전 맵 및 정규화된 오클루전 맵 각각은 가중된 오차 비용 함수(error cost function)를 기반으로 하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 21 항에 있어서,
상기 가중된 오차 비용 함수는 서포트의 국부적 구역에 대한 국부적 가중에 기초하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 22 항에 있어서,
상기 서포트의 국부적 구역에 대한 국부적 가중은, 모션 보상된 이미지의 국부적 구조 텐서(tensor)의 아이겐 시스템(eigensystem) 해석에 기초하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 18 항에 있어서,
정규화된 오클루전 맵을 얻기 위해서 오클루전 맵을 정규화하는 단계는, 오클루전 맵에 멀티-시그마 필터를 적용하는 단계를 포함하는,
비휘발성 컴퓨터-판독가능 저장 매체.
제 24 항에 있어서,
상기 오클루전 맵에 멀티-시그마 필터를 적용하는 단계는 오클루전 맵에 4-팩터 시그마 필터를 적용하는 단계를 포함하는,
비휘발성 컴퓨터-판독가능 저장 매체.