KR101498532B1 - 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템 - Google Patents

Abstract

본 발명은 한 쌍의 이미지들 사이에서 광 흐름 필드를 결정하기 위한 방법 및 시스템에 관한 것이다. 상기 한 쌍의 이미지들 각각은 비-옥타브(non-octave) 피라미드 인자를 사용하여 이미지 피라미드들로 분해된다. 상기 분해된 이미지들의 쌍은 상기 분해된 이미지들의 쌍 내의 픽셀들의 밝기 변화가 일정하다는 가정하에 제 1 피라미드 스케일에서 제 2 도함수 표현들로 변환된다. 상기 제 2 도함수 이미지 표현들의 이산 시간 도함수들이 추정된다. 로우 광 흐름 필드를 생성하기 위해 광 흐름 추정 프로세스가 상기 이산 시간 도함수들에 적용된다. 상기 로우 광 흐름 필드는 상기 비-옥타브 피라미드 인자로 스케일링된다. 최종 광 흐름 필드를 생성하기 위해 모든 피라미드 스케일들이 방문될 때까지 또 다른 피라미드 스케일에서 상기 이미지들의 쌍에 대하여 전술된 단계들이 반복되며, 상기 시공간의 변화도 추정들은 이전의 로우 광 흐름 추정에 의해 왜곡된다.

Description

광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템{DIGITAL PROCESSING METHOD AND SYSTEM FOR DETERMINATION OF OPTICAL FLOW}

관련된 출원들의 상호 참조

본 출원은 2008년 10월 15일에 제출된 미국 임시 특허 출원 제 61/105,515의 우선권을 청구하며, 상기 임시 출원은 본 명세서 전체에서 참조로서 통합된다.

기술 분야

본 발명은 일반적으로 디지털 이미지 프로세싱에 관한 것이며, 특히 한 쌍의 이미지들 사이에 광 흐름 필드(optical flow field)의 자동 결정을 위한 방법 및 시스템에 관한 것이다.

특히 비디오 프레임들 및/또는 필드들의 시퀀스들에 대하여 2개의 이미지들 사이에 광 흐름 필드를 결정하는 것은 코딩, 프레임 레이트 변환, 잡음 감소 등등과 같은 다수의 높은 값의 비디오 프로세싱 작업들에서 자주 당면하는 단계이다. 광학 흐름을 계산하기 위한 공지된 방법들은 몇몇 장해물들을 경험한다. 다수의 방법들은 낮은 정확성 때문에 어려움에 처한다 - 모션 벡터들은 실제 모션을 반영할 수 없다; 다른 방법들은 정밀도가 부족하다 - 모션 벡터들은 단일 픽셀의 차례 또는 제한된 영역 내에서 픽셀의 특정 부분에 대한 정확성이 제한된다; 다른 방법들은 밀도의 부족 때문에 어려움에 처한다 - 단일 모션 벡터들은 픽셀 기반 대신에 이미지의 전체 영역들 또는 블럭들을 위해서만 사용가능할 수 있다. 추가로, 광범위하게 변화하는 계산 및 메모리 대역폭 비용들은 상기 방법들의 전부가 아니더라도 다수의 방법들에 발생된다.

현존하는 방법들은 광범위하게 3가지 카테고리들: (1) 블럭-기반 매칭, (2) 위상-기반 추정, 및 (3) 변화도-기반 추정으로 분류될 수 있다. 블럭-기반 매칭 방법들은 상대적으로 작은 복잡성 및 직관성 특징으로 인해 비디오 코딩 및 다른 실시간 작업들에서 자주 사용될 수 있다. 그러나, 블럭-기반 매칭 방법들은 블럭 탐색의 범위에 의해 동적 범위가 제한되고, 블럭 탐색의 정도에 의해 정확성이 제한되고, 서브-픽셀 레벨에서 픽셀 값들을 샘플링하기 위해 사용된 보간기의 정확성이 제한되며, "구경 문제(aperture problem)"라 알려진 문제로 인해 정확성이 제한된다. "구경 문제"는 블럭 매칭 방법이 전체 최소값보다 국부 최소값으로 모션 벡터를 발생하는 변화도를 따른 에지 차이들 또는 텍스처가 없는 블럭들 사이의 충분한 차이들의 부족으로 인해 잘못된 모션 벡터를 추정할 때 발생한다. 종래의 블럭-기반의 광 흐름 및 모션 추정 방법들은 구경 문제를 경험하며, 구경 문제는 탐색 깊이 및 과도한 탐색의 탐색 너비를 감소시키기 위해 멀티-스케일 또는 다른 기술들을 사용함으로써 탐색의 복잡도를 감소시키려고 시도하는 블럭 기반의 방법들에서 더 심해진다. 다수의 블럭 기반의 방법들은 광 흐름 추정의 절대적인(또는 조밀한) 정확성을 요구하지 않음으로써 구경 문제를 회피한다. 상기 방법들은 관찰 하에 2개의 프레임들 사이의 모션 보상 단계에 광 흐름 필드를 적용한 후에 남은 나머지 차이들만을 코딩한다. 결과적으로, 모션-보상된 블럭-기반의 방법들은 감소된 정확성을 희생하여 비디오 코딩 분야에서 널리 보급된 응용을 발견하였다.

위상-기반 모션 추정 기술들은 "The Engineer's Guide to Motion Compensation," by John Watkinson, 1994 Snell & Wilcox Ltd , pp 23-38에 개시된 위상-기반 모션 추정 방법과 같이, 상대적으로 정확하고, 정밀하고, 실질적으로 잡음에 영향받지 않는 광 흐름을 계산하기 위해 사용되고 있다. 그러나, 위상-기반 모션 추정은 주파수 영역에서 수행되고, 그 내부에서 계산되는 위상 정보에 영향을 미치며, 따라서 입력 이미지들이 2D로 주파수 영역의 매우 계산적으로 비용이 드는 비디오 프로세스로 변환되도록 한다. 계산 효율을 개선하기 위한 시도로서, 다른 위상-기반 모션 추정 프로세스들은 가보르(Gabor)-기반의 방향-기반 변환 필터링과 같이 전체로부터 국부로 변환 타입을 변경함으로써 푸리에-기반의 위상 계산들에 기초하여 프로세스들에 대하여 증가된 개선점을 보여준다. 유감스럽게, 상기 기술들은 여전히 큰 필터-뱅크들을 연속하여 각각의 픽셀에 적용하는 것을 수반하며, 그 결과 비교적 전체 계산 복잡도 및 메모리 대역폭 요구조건들에서 적당히 감소된 높은 메모리 대역폭 요구 조건을 발생한다. 변화도-기반의 추정은 몇몇 오프라인 및 실시간 응용들에서 사용되며, 상기 응용들은 U.S. Pat. No. 5,627,905에 개시된 것과 같은 FLIR(전방 적외선 감시) 타겟 포착/거부를 위한 물체 분할 및 Thanakorn and Sakchaicharoenkul, "MCFI-based animation tweening algorithm for 2D parametric motion flow/optical flow," Machine Graphics & Vision International Journal, v.15 n.l , p.29-49, January 2006에 개시된 것과 같은 슬로우-모션 및 프레임 레이트 변환 결과들을 위한 시간-보간된 비디오 프레임들("트윈 프레임들")의 계산을 포함한다. B.K.P. Horn and B G. Schunck, "Determining optical flow," Artificial Intelligence, vol. 17, pp. 185-203, 1981 (이하 "Horn and Schunck") 및 Lucas, B. D. and Kanade T., 1981, "An iterative image registration technique with an application to stereo vision," Proceedings of Imaging understanding workshop, pp. 121-130 (이하 "Lucas and Kanade")에 개시된 전통적인 광 흐름 방법들은 픽셀 기반으로 조밀한 광 흐름 필드들을 발생하지만, 단일 픽셀보다 큰 크기를 가진 모션 벡터들을 생성할 수 없고, 심한 잡음, 물체 차단 및 복잡한 비-병진 운동의 존재시 모순된 흐름 필드들로 인해 손해를 입는다. U.S. Pat. No. 5,680,487에 개시된 방법 및 시스템은 멀티-스케일 방법을 사용함으로써 단일-픽셀 제한을 극복하지만, 잡음 및/또는 차단의 존재시 견고하지 못하다. 변화도-기반의 추정에 대한 추가의 개선점들은 U.S. Pat. No.6,345,106에 개시되며, 고유-시스템 분석은 추정 프로세스들의 수학적인 안정성을 확인하기 위해 각각의 픽셀과 연관된 구조 텐서의 고유 분석을 통해 각 픽셀의 주변 변화도 영역에 적용된다. 이는 계산된 결과들을 선택적으로 수용하거나 거부하기 위해 사용될 수 있는 신뢰 값의 계산을 허용하며, 따라서 구경 문제 및 잡음에 대한 경고성을 증가시킨다.

변화도-기반의 추정에 대한 또 다른 개선점은 Nagel, H.-H. and Enkelmann, W., "An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences," IEEE trans Pattern Anal. Mach. Intell., Sep. 1986, 8, pp.565-593 (이하 "Nagel and Enkelmann")에 개시된 것과 같이 장면 및 물체 조명에서 변화들에 대한 계산의 견고성을 증가시키기 위해 검사중인 실제 변화도들을 추정하기 위해 밝기("밝기-향상성 가설") 대신에 제 2 도함수들("변화도-향상성 가설")을 사용하는 것이다. Nagel and Enkelmann에 의해 사용되는 접근 방식에 대한 단점은 변화도-향상성 제약이 스케일링 및 회전과 같은 복잡한 모션 모델들에서 위반되는 것이다. 또한, Nagel and Enkelmann의 방식에서 이산-공간 시공간 도함수들의 추정은 에러 없는 구현 문제들을 만드는 것으로 증명된다.

전술한 종래 기술의 광 흐름 방법들은 잡음 및 차단의 존재시 수학적인 불안정성으로 인해 손해를 입으며, 추정 프로세스의 휴지가 의존하는 실제 시공간 변화도 계산의 모순 없이 적용되지만 매우 조밀한 근사화(분석 중인 실제 샘플 위치에서 샘플링된 값들을 완전히 무시하는 중심-차분 방법과 같은)로 인해 추가로 손해를 입는다. 상기 조밀한 근사화들은 초기 추정 프로세스에서 불필요한 에러들을 발생하며, 후속 단계들이 추가로 복잡성을 상당히 희생하여 수행되는, 추가의 불완전한 비교법들, 임계치들 또는 제약들에 기초하여 추정된 값들을 소거하거나 거부하도록 한다.

전술한 종래 기술의 광 흐름 방법들은 추가로 (1) 높은 계산 복잡도, (2) 수치 불안정성으로 인한 잡음 발생도, (3) 하나의 프레임으로부터 다른 프레임으로의 픽셀들의 차단들의 설명 불이행, (4) 모션의 제한된 범위, (5) 장면 또는 장면 내의 물체들의 조명 변화들로 인한 밝기 변경의 존재시 흐름 필드를 정확히 계산하는데 있어 불안정성, 및/또는 (6) 이산-샘플링된 변화도 필드의 모델에서 부정확하거나 부적당한 가설들로 인한 정확성 문제들의 하나 이상의 문제들로 인해 피해를 입는다.

따라서, 변화하는 장면 및 물체 조명, 복잡한 모션 및 물체 차단을 포함하는 잡음이 있는 비디오 이미지들에 작용하기에 더 적합한, 정확하고, 정밀하고, 상대적으로 낮은 계산 복잡성의 디지털 광 흐름 추정 방법 및 시스템이 요구된다.

한 쌍의 이미지들 사이에서 광 흐름 필드를 결정하기 위한 방법 및 시스템을 제공함으로써 전술된 문제들이 처리되고 기술적인 해결책들이 달성되며, 상기 방법은, (a) 비-옥타브(non-octave) 피라미드 인자를 사용하여 상기 한 쌍의 이미지들 각각을 이미지 피라미드들로 분해하는 단계; (b) 상기 분해된 이미지들의 쌍 내의 픽셀들의 밝기 변화가 일정하다는 가정하에 제 1 피라미드 스케일에서 상기 분해된 이미지들의 쌍을 제 2 도함수 표현들로 변환하는 단계; (c) 상기 제 2 도함수 이미지 표현들의 이산 시간 도함수들을 추정하는 단계; (d) 로우(raw) 광 흐름 필드를 생성하기 위해 광 흐름 추정 프로세스를 상기 이산 시간 도함수들에 적용하는 단계; (e) 상기 비-옥타브 피라미드 인자로 상기 로우 광 흐름 필드를 스케일링하는 단계; 및 (f) 최종 광 흐름 필드를 생성하기 위해 모든 피라미드 스케일들이 방문될 때까지 또 다른 피라미드 스케일에서 상기 이미지들의 쌍에 대하여 상기 단계들 (b)-(e)을 반복하는 단계를 포함하며, 상기 단계 (c)에서 시공간의 변화도 추정들은 이전의 로우 광 흐름 추정에 의해 왜곡된다.

본 발명의 일 실시예에 따라, 상기 방법은 (g) 상기 제 2 도함수 이미지 표현들을 컬러-공간으로부터 스칼라 컬러-거리 공간으로 변환하는 단계를 더 포함한다. 상기 단계 (g)는 컬러-거리들의 벡터 감산의 라플라시안(laplacian) 연산을 사용하여 실행될 수 있다. 상기 라플라시안 연산자는 상기 제 2 도함수 이미지 표현들의 모든 컬러 채널들의 강도들에 개별적으로 적용될 수 있다. 상기 비-옥타브 피라미드 인자는 1.5와 2.0 사이가 되도록 선택된다.

본 발명의 일 실시예에 따라, 상기 제 1 피라미드 스케일은 최저 해상도의 피라미드 스케일이며, 또 다른 피라미드 스케일은 다음의 더 높은 해상도의 피라미드 스케일이 될 수 있다. 상기 단계 (c)는 시공간 변화도 추정 방법을 사용하여 달성될 수 있다. 상기 광 흐름 추정 프로세스는 최소 자승법(a least-squares-fit method)을 사용할 수 있다.

본 발명의 일 실시예에 따라, 상기 방법은 상기 최고 해상도의 피라미드 스케일이 폭 및 높이의 정수 이미지 크기들로 제공되도록 보장하기 위해 이중 선형 보간을 통해 사전-스케일링 단계를 사용하는 단계를 더 포함할 수 있다. 상기 방법은 상기 광 흐름 필드에 비-선형의 구분적 선형성 제약을 부과하는 적어도 하나의 비선형 필터를 사용하여 상기 로우 광 흐름 필드를 처리하는 단계를 더 포함할 수 있다. 상기 적어도 하나의 비선형 필터는 전체 변동 최소화(L1 및 L2 놈) 필터, 이방성 확산 필터, 로컬 이미지 구조들에 작용하는 타원형 가동 필터 및 핵심 회기 필터 중 적어도 하나가 될 수 있는 비선형, 저역 통과, 평탄화 및 통계적인 정규화 필터 중 적어도 하나이다.

본 발명의 일 실시예에 따라, 상기 방법은 픽셀-샘플 기준으로 상기 로우 광 흐름 필드의 역 일관성을 검사하기 위해 상기 로우 광 흐름 필드에 다중-픽셀 모션-보상 및 편자자승합 계산을 수행하는 단계를 더 포함한다. 상기 방법은 후속하는 더 낮은 해상도의 피라미드 스케일들로 1.5 및 2.0 사이에서 비-옥타브(2.0) 피라미드 스케일링 인자를 선택하기 위한 피드백 메카니즘을 제공하기 위해 2D 구조 텐서 고유시스템 분석을 상기 이산-시간 도함수들에 적용하는 단계를 더 포함한다. 다른 피라미드 스케일들을 초과하는 단일 피라미드 스케일에 대하여 픽셀들의 임계 퍼센트율 미만의 작은 고유값들이 2D 구조 텐서 고유 시스템 분석 동안 충돌되면, 더 미세한 피라미드 스케일이 후속 피라미드 스케일들 중 적어도 하나를 위해 사용된다.

상기 로우 광 흐름 필드는 최저 스케일부터 최고 스케일까지의 피라미드 스케일들에서 차례로 스케일링된다. 모션 벡터는 로버트 크로스 구성(Robert's Cross configuration)의 5개 이상의 위치들 내에서 상기 이미지들의 쌍 중 제 2 이미지를 샘플링하기 위해 사용된다. 본 발명의 일 실시예에 따라, 상기 방법은 단일 픽셀 이상값들을 제거하기 위해 (비선형) 3x3 중간 필터 연산에 의해 모든 피라미드 스케일들에 대하여 상기 로우 광 흐름 필드를 처리하는 단계 및 변화하는 수의 반복들 동안 L2 놈 전체 변동 연산자로 상기 필터링된 로우 광 흐름 필드를 처리하는 단계를 더 포함한다.

본 발명은 하기의 첨부된 도면들과 함께 하기에서 제시되는 예시적인 실시예의 상세한 설명으로부터 더 쉽게 이해될 것이다.

도 1은 본 발명의 일 실시예에 따라 한 쌍의 이미지들 사이에서 광 흐름 필드를 계산하기 위한 예시적인 단계를 설명하는 프로세스 흐름도를 도시한다.
도 2는 2개의 차원들에서 라플라시안 연산자의 이산-시간 근사화를 도시한다.
도 3A는 하나의 차원에서 이산-시간 중심-차분 연산자를 도시한다.
도 3B는 2개의 차원들에서 이산-시간 중신-차분 연산자를 도시한다.
도 4A는 본 발명의 일 실시예에 따른 3개의 차원들에서 샘플링 영역의 공간-시간 큐브이다.
도 4B-4E는 본 발명의 일 실시예에 따른, 도 4A의 공간 시간 큐브를 사용하는 추정된 변화도 방법을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 한 쌍의 이미지들 사이에서 광 흐름 필드를 계산하기 위한 시스템을 도시한다.
첨부된 도면들은 본 발명의 개념들을 설명하기 위한 것이며, 스케일링될 수 없음이 이해되어야 한다.

도 1은 본 발명의 일 실시예에 따라 한 쌍의 이미지들 사이에서 광 흐름 필드를 계산하기 위한 예시적인 단계를 설명하는 프로세스 흐름도를 도시한다. 단계 10에서, 한 쌍의 이미지들 각각은 이미지 피라미드들로 분해된다. 이미지 피라미드를 생성하는 프로세스에서, 몇몇의 선형 및/또는 비선형 필터들 중 적어도 하나는 분해된 이미지들의 쌍에 적용될 수 있다. 이미지 피라미드들은 전체 최소값 대신 국부 최소값으로 고정되는 후속 추정 단계들의 문제점을 감소시키기 위해 레벨당 하나의 옥타브 미만의 임시 스케일링 인자들을 사용하여 분해되 수 있으며, 따라서 "구경 문제"라 불리는 문제를 방지한다. 단계 12에서, 밝기 변화 (또는 선택적으로, 제 2 밝기 도함수)가 일정하다는 가정하에, 최저 해상도의 이미지 피라미드 스케일로, 분해된 이미지들의 쌍은 제 2 도함수 표현들로 변환된다. 단계 14에서, 이미지들의 쌍의 제 2 도함수 표현들은 컬러-공간으로부터 스칼라 컬러-거리 공간으로 변환된다. 단계 16에서, 시공간 변화도 추정 방법은 제 2 도함수 이미지 표현의 이산 시간 도함수들을 추정하기 위해 사용된다. 단계 18에서, 2D 구조 텐서 고유 시스템 분석은 후속 피라미드 스케일들로 1.5 및 2.0 사이에서 비-옥타브 (2.0) 피라미드 스케일링 인자를 선택하기 위한 피드백 메카니즘을 제공하기 위해 이산 시간 도함수들에 적용된다. 단계 20에서, 공지된 제약-기반의 광 흐름 추정 프로세스는 로우 광 흐름 필드를 생성하기 위해 최소자승법을 사용하여 이산 시간 도함수들에 적용된다. 단계 22에서, 다중-픽셀 모션-보상 단계 및 편차 자승합 계산은 픽셀-샘플 기준으로 제약-기반의 광 흐름 추정 계산의 역 일관성을 추가로 검사하기 위해 로우 광 흐름 필드에 수행된다. 단계 24에서, 결과적인 로우 광 흐름 필드 계산은 흐름 필드에 비선형의, 잡음에 견고한 구분적 선형성 제약들을 효율적으로 부과하는 결합 효과를 가진 비선형 필터링 단계들에 의해 추가로 처리된다. 특정 실시예들에서, 비선형 필터는 잡음 발생도를 감소시키고, 광 흐름 추정의 정확성 및 정밀도를 개선하는 추가의 통계적인 제약들을 추가로 부가하기 위한 통계적인 정규화 필터이다. 단계 26에서, 광 흐름 필드는 비-옥타브 피라미드 인자가 곱해지고, 공간적으로 스케일링되며, 다음의 더 높은 해상도의 피라미드 스케일로 전파되며, 단계 28에서, 시공간 변화도 계산들은 이전의 광 흐름 추정에 의해 모션 보상된다(왜곡된다). 단계들 12-28은 최종 광 흐름 필드를 발생하기 위해 모든 피라미드 스케일들이 방문될 때까지 각각의 후속 피라미드 스케일에 대하여 반복된다.

본 발명의 목적은 2개의 이미지들의 시공간 변화도들로부터 정확한 광 흐름 필드를 제공하는 것이다. Horn 및 Shunck와 Lucas 및 Kanade에서 강조된 변화도-기반의 광 흐름 모델들에서 설명된 것과 같이, 물체들의 장면/세트의 2개의 임의의 이미지 샘플들 사이에 광 흐름 모델필드의 결정은 둘 이상의 해답을 가질 수 있거나, 해답이 전혀 없거나, 무한한 해답들을 가질 수 있는 해를 구하기 어려운 역 문제(ill-posed inverse problem)이다. 해를 구하기 어려운 역 문제를 구속하기 위해, 하나 이상의 제약들이 필요하다. 종래 기술에서 사용되는 공지된 제약은 모션 대신에, 2개의 샘플링된 이미지들 내의 물체들의 발기는 일정하게 유지된다고 가정하는 "밝기 불변 가설"이다. 샘플링된 이미지들에서 물체의 표현은 식 1에 의해 설명된다:

상기 x, y, t는 관찰된 광-필드의 연속-영역 시공간 위치들이고, I는 x, y, 및 t에 의해 표시되는 위치에서 물체의 강도 또는 휘도이며, u 및 v는 물체의 병진 모션을 설명하는 벡터를 표시한다. 밝기 불변 가설에 기초한 구속 식은 편도함수들의 항으로 식 2에 도시된다:

"밝기 불변 가설"은 조명이 하나의 이미지 시간 샘플 포인트로부터 다른 샘플 포인트로 변화되거나 물체들이 2개의 이미지 샘플 시간들 사이에 밝은 지역으로부터 음영 지역들로 이동하는 경우에 2개의 이미지들의 세트에 대하여 무너진다. 서로 다르지만 관련된 제약은 "밝기 불변 가설"과 같이 주어진 물체에 대한 제약을 가정하지만, 일정하게 가정되는 모션과 관련하여 물체의 밝기 대신에, 밝기 변화도(또는 선택적으로, 밝기의 제 2 도함수)는 하기의 식 3에 도시된 것과 같이 제 2 도함수가 식 2에 도시된 것과 같이 (이산 시간) 라플라시안 연산자 ▽의 적용에 따라 근사화될 수 있는 경우에 일정한 것으로 가정된다:

식 3의 "변화도 불변 제약"의 사용은 모션 대신에, 주위의 조명이 변화하는 상황에서 광 흐름을 결정하기 위해 비교되는 2개의 이미지들 내에서 물체들의 관련된 에지의 휘도 강도 및 텍스트 특징의 강도 관계식들이 일정하게 유지된다고 가정하는 결과를 갖는다. 상기 접근 방식은 입력 이미지들 각각을 도 2에 도시된 것과 같은 라플라시안 연산자 ▽의 개별 근사화와 합치고, 그 후에 이산 영역에서 원래의 이미지 강도 샘플들 대신에 합쳐진 이미지 샘플들에 동일한 변화도 추정 프로세스를 적용함으로써 이산 영역에서 근사화될 수 있다.

이미지 샘플들의 밝기 또는 휘도의 제 2 도함수는 컬러 값들 자체를 도입함으로써 더 상세하고 선택적으로 형성될 수 있지만, 종래 기술의 접근 방식은 식 4의 몇몇 밀접한 변형들과 같이 단일 휘도/강도 스칼라 값을 계산하기 위해 컬러 이미지들로부터 RGB 또는 YUV 값들을 포함하는 3-벡터의 도트 곱을 사용하는 것이다:

상기 식은 단일 스칼라 값으로 감소시킴으로써 상기 문제를 간략화하고 (밝기 항에서 입력 데이터를 배치하지만), 휘도에 추가로 색도가 제공할 수 있는 가능한 정보를 무시한다. 예를 들어, 어두운 녹색 픽셀은 수학적으로 밝은 청색 픽셀과 구별되지 않을 것이다. 특정 응용들에서, 상기 차이는 무시할 수 있지만, 다른 응용들에서, 작은 차이가 중요할 수 있다.

본 발명의 일 실시예에 따라, 컬러-거리 함수 D는 식 5에서 2개의 RGB(또는 YUV) 3-벡터 샘플들 I₁ 및 I₂ 사이에서 정의된다:

상기 식 5의 감산은

에서 감산의 벡터 의미로 정해진다. 당업자는 컬러-거리 함수 D가 3차원 컬러 큐브 내의 2개의 3-벡터 컬러들 사이에 거리의 크기를 효율적으로 정의하는 것을 인식할 것이다. 컬러-거리 함수 D를 사용하는 장점은 휘도에 부가하여 색도/컬러를 추가의 제약으로서 사용하면서 단일 컬러 값으로 감소하는 것이다. 만약 대부분의 물체들이 고유한 밝기 내에서 변화하면, 고유한 컬러 및 밝기는 변화하지 않을 것임을 가정하는 것은 타당하다. 추가로, 비디오 및 이미지 프로세싱 시스템들에 공통인 다수의 동시 GPU 및 DSP 하드웨어 플랫폼들은 상기 타입의 연산을 단일-클럭-사이클 원시 기계 명령으로서 구현한다.

추가로, 당업자는 본 명세서에서 참조로서 통합되고, 계산들을 DSP 및 GPU 계산에 적합한 더 용이하게 벡터화된 연산들로 감소시킬 수 있는 CIE76 또는 더 최근의 CIEDE2000에서 정의되는 것과 같은 더 정확한 색차들 측정 및 방법이 사용될 수 있다. 색차를 사용하는 미묘한 부작용은 밝기의 변화들이 직관적으로 음의 값(어두워짐) 또는 양의 값(밝아짐)의 항들로 표현될 수 있지만, 컬러 벡터들에 대한 부수적인 개념은 직관적이지 않고 사실상 부정적이다. 선택된 맵핑은 이상적으로 주어진 이미지들 내에서 가능한 컬러 범위의 50%를 더 작은/음의 스칼라 맵핑된 값으로서 및 다른 50%를 더 큰/양의 값으로서 및 대부분의 이미지들 및 비디오에 대하여 가능한 분배로서 가중할 것이다. 전체적인 접근 방식은 Shibata, M.; Yanagisawa, T., "A study of optimal angle of color vector for optical flow extraction," SICE, 2007 Annual Conference, vol., no., pp.2518-2523, 17-20 Sept. 2007에서 예측되며, 바람직한 실시예에 대하여 선택된 맵핑은 간단히 0.0 내지 1.0으로 정규화된 현재 픽셀의 U 및 V를 포함하는 2-벡터의 각도를 계산하기 위한 것이다.

바람직한 실시예는 조명 변화에 대한 견고성을 위해 강도의 라플라시안을 사용하는 것과 관련하여 Nagel 및 Enkelmann에서 발견되는 기술에 간단한 기술을 사용할 수 있다. 바람직한 실시예에서, 컬러-거리들의 벡터 감산의 라플라시안은 강도-차이들의 라플라시안을 대신하여 사용될 수 있다. 상기 결합을 실행하기 위해, 바람직한 실시예에서, 라플라시안 연산자는 식 6에 도시된 것과 같은 RGB 컬러 공간 또는 YUV 컬러 공간에서 이미지의 모든 "컬러" 채널들의 강도들에 개별적으로 적용된다:

따라서, 상기 제약 식(들)은 식 7의 제약식이 된다:

제 2 도함수 가설과 컬러 제약의 결합은 가능하게 동일한 가정의 광도의 적색으로부터 녹색으로 변화하는 물체의 주변 조명이 상기 제약을 허용할 것이라는 점에서 물체의 실제 모션으로 인해 컬러 값 변경들의 가속들만이 고려되고 컬러 변경 자체는 고려되지 않는 것을 의미한다. 강도에 부가하여 컬러의 추가 정보의 통합은 평가 구경의 제한된 사이즈의 결과들 및 해결책의 불충분하게 결정된 속성과 관련된 문제들로 인해 구별할 수 없는 변화도들을 구별하는 것을 돕는다.

전술한 편도함수들을 기초로 하는 시공간 변화도들의 이산 영역 근사화를 구성할 때 샘플링 위치들 및 가중 계수들을 모델화하기 위한 최적의 방법을 발견하는 것은 바람직하다. 해결되어야 하는 한가지 예시적인 문제점은 앞서 개시된 근사화들에서 불변의 위치를 보장하는 것이다(예컨대, dl/dx 변화도 근사화는 dl/dy 변화도 근사화와 동일한 공간 샘플링 위치에 구성되는 것을 보장하는 것이다). 광 흐름 정확성은 특히 상기 근사화들의 작은 변동들에 민감하다. 상기 주제에 대한 완전한 처리를 위해, 기술들이 Kennedy, H. L. 2007에서 발견된다. Proceedings of the 9th Biennial Conference of the Austialian Pattern Recognition Society on Digital Image Computing techniques and Applications (December 03 - 05, 2007)에서, DICTA. IEEE Computer Society, Washington, DC, 346-351., 및 Christmas에서, W.J., "Spatial Filtering Requirements for Gradient-Based Optical Flow Measurement," Centre for Vision, Speech and Signal Processing University of Surrey, Guildford GU2 5XH, UK가 도움이 된다.

일 예로서, 도 3A에 1차원으로 설명된, 자주 적용되는 중심-차분 연산자를 고려한다. 변화도 측정의 위치는 0에 중심을 가지도록 고려될 수 있지만, 위치 0에서 샘플링된 정보는 완전히 무시된다. 또한, x축을 따른 전방 차분은 y축을 따른 전방 차분과 함께 고려될 때 도 3B에 도시된 것과 같이 2차원을 사용하여 공간 변화도를 추정한다. 본 발명의 또 다른 양상에 따라, 일관성있는 로컬 변화도 계산을 제공하기 위해, 이산-샘플링된 시공간 변화도 필드는 도 4A에 도시된 8-픽셀 시공간 영역에 대하여 식 8에 도시된 것과 같은 픽셀 샘플들의 강도의 근사한 이산-영역 부분적인 미분들의 시리즈로서 모델화되거나:

또는, 선택적으로, 식 9에 도시된 픽셀 샘플들의 라플라시안의 전술된 색 거리들로 모델화된다:

식들 8 및 9의 변화도 계산들은 모든 근사화된 부분적인 미분 계산에서 2x2x2 시공간 픽셀 영역의 모든 픽셀을 포함함으로써 불변하는 위치를 설명한다 - 가능한 양의 1/2 픽셀 공간 샘플링 바이어스 및 1/4 픽셀 시간 샘플링 바이어스로 인해 종래 기술에서 회피되는 전략(즉, 이전에 표현된 것과 같은 변화도는 L_RGB(0.0, 0.0, 0.0) 대신에 위치 L_RGB(0.5, 0.5, 0.25)에서 측정되는 것으로 언급된다). 상기 시공간 바이어스는 전술된 추정된 변화도 방법을 사용하는 후속 단계에서 처리되는 한 회피될 수 있다. 사실상, 식 9의 변화도 추정 방법은 도 4B-4E에 도시된 것과 같은 신호 잡음 및 1차 불연속성의 존재시 안정적이다.

식 9에서 표현된 것과 같은 변화도들을 계산하는 전술된 방법은 시공간 변화도 계산에 의해 커버되는 영역의 1-픽셀 범위 내에서 로컬 모션 벡터들을 계산하기 위해 사용될 수 있는 범위까지 유용하다. 상기 계산들의 위치를 확장하기 위해(광 흐름으로 제한되는 것이 아니라 블럭 매칭 및 다수의 다른 응용들) 코스-투-파인(coarse-to-fine) 정책을 구현하기 위한 멀티-스케일 이미지 피라미드들의 사용이 공지되며, 상기 계산은 코스-투-파인 스케일로 평가되고, 차례로 이전 스케일의 계산 결과들을 최종 스케일에 도달할 때까지 다음 스케일로 전파한다.

광 흐름 추정의 특정 경우에, 종래 기술의 코스-투-파인 정책은 이미지 피라미드를 생성하는 형식을 취하며, 상기 경우에 소스 이미지는 주파수-에일리어싱(frequency-aliasing) 및 원래 (1 옥타브 공간 데시메이션(decimation))의 높이 및 폭의 1/2인 이미지를 생성하는 후속 공간-데시메이션(일반적으로 차수-0 및 차수-1 보간)을 방지하기 위해 가우시안 연산자를 근사화하는 컨볼루션으로 저역 통과 필터링되고, 프로세스는 스케일들 - 후속 스케일들에 대한 입력을 제공하는 이전 스케일들의 고정된 회수 동안 반복된다. 그 후에, 광 흐름 계산은 최고 스케일로 수행되며(최소 또는 최저 해상도의 피라미드 이미지), 상기 경우에 상기 스케일에 대한 결과적인 광 흐름 크기들의 벡터 u 및 v 성분들에 2가 곱해진다. 그 결과들은 다음 스케일의 이미지를 위해 사용되고, 나머지 광 흐름이 계산되며, 그 결과는 다음 스케일을 위해 사용되고, 반복된다. 최종 스케일에 도달하면, 충분히 사용가능한 논-로컬(nonlocal) 광 흐름 필드가 생성된다.

유감스럽게, 종래 기술의 2X 코스-투-파인 접근방식은 종래의 블럭-매칭 방법들을 위해 이전에 개시된 2X 코스-투-파인 "멀티-스케일" 접근 방식들을 사용함으로써 직면하는 단점들과 유사한 상당한 단점들이 문제가 되며 - 즉 특정 스케일의 계산은 실제 전체 최소값 대신에 제약이 해가 존재하는 문제를 생성하기 위해 사용되는 것에 따라 국부 최소값에 고정할 수 있다.

본 발명은 2개의 중요한 개선점들을 가진 이미지 피라미드들을 사용한다: 먼저, 본 발명은 이미지 피라미드들의 생성을 위해 비-선형, 비-가우시안, 저역-통과, 평활 또는 통계적인 정규화 필터들을 사용하며, 전체 변화 최소화(L1 및 L2 놈) 필터들, 비등방성 확산 필터들, 로컬 이미지 구조들에 작용하는 타원형 조종가능 필터들, 커널 회기 필터들 및 다른 비선형 필터들을 포함하지만, 이에 제한되지 않는다. 선형 필터링은 이미지들이 데시메이션될 때 공간-주파수 에일리어싱 결과들을 감소시키기 위해 사용된다. 비-선형 필터링 연산들은 후속 단계들의 모션 경계들 주변의 잡음 및 성능에 대하여 견고성을 개선할 수 있다. 특히, 본 발명의 일 실시예에 따라, 가우시안 연산자와 함께 L2 놈 전체 변화 필터의 단일 반복은 각각의 스케일에 대하여 사용될 수 있고, 잠음-민감 특성들에서 상당한 개선을 나타낸다.

본 발명의 일 실시예에 따른 제 2 개선점은 2.0과 다른 피라미드 생성 인자를 사용하는 것이다. 2.0과 다른 피라미드 생성 인자들은 몇몇 잡음 장애들 및 강한 1차 변화도들을 가진 이미지 상들을 처리하기 위해 필요하다. 피라미드 생성 인자가 2의 정수 스칼라 값으로부터 더 작은, 1.0보다 큰 실수 스칼라 값들로 감소함에 따라, 로컬 최소값 고정 문제는 더 적어지고 덜 두드러진다(특히 상기 인자가 1.0에 접근함에 따라 상당한 비용의 메모리 저장, 대역폭 및 계산 복잡도로). 본 발명의 일 실시예에 따라, 1.5와 2.0 사이의 잠정적인 피라미드 인자가 사용될 수 있다. 로컬 최소값 문제는 스케일링 인자들이 1.75로부터 1.5로 감소함에 따라 민감도에서 잡음으로의 교환으로 덜 두드러지게 된다. 1.75의 바람직한 인자에 대하여, 추가의 메모리 저장 요구조건들 및 계산 복잡도 요구조건들은 입도의 25% 개선 및 코스-스케일의 로컬 최소값으로 고정되는 가능성에서 상대적으로 큰 부수적인 감소에 따라 5-레벨 피라미드에 대하여 2.0의 인자보다 더 큰 약 13%까지 증가할 수 있다. 다수의 종래 기술의 접근 방식들은 반복적인 정밀 해결책들로 상기 특별한 문제를 해결하고, 바람직한 실시예의 13% 대신에 주어진 스케일에서 전술된 잡음-손상된 소스들에 대하여 계산 복잡도를 10,000% 보다 많이 증가시킬 수 있다. 다른 접근 방식들은 구조적인 분석을 통해 주어진 이미지 위치에서 완전히 해결할 수 없는 문제를 특징으로 하며, 이는 이후 비선형 사후처리 요구조건들 또는 주어진 이미지 위치 내에서 완전히 사용될 수 없는 광 흐름 필드를 결과로 하는 통계적인 정규화 요구조건들(상당한 수반 비용들로 다시 반복적으로)을 부과한다.

비-정수 피라미드 값들의 사용은 (1) 이미지 피라미드 값들 및 (2) 주어진 스케일의 후속 모션 벡터 필드들의 반복되는 이중 선형 보간이 비-정수 샘플링 위치들로 인해 요구될 수 있는 상황들의 가능성을 증가시킬 수 있음이 당업자에 의해 인식될 것이다. 차수-0의 보간이 요구될 수 있지만, 차수-0의 보간을 사용하는 장점들은 대부분의 DSP 및 GPU 플랫폼들에서 비-2X 이미지 피라미드들을 사용하는 것과 비교할 때 발생하는 상당한 추정 에러들보다 중요하지 않다. 이미지 값들의 차수-1 보간이 GPU 플랫폼들 내의 하드웨어 프리미티브로서 제공될 수 있지만, 이는 DSP 또는 FPGA 시스템들에 대하여 (적어도, 효율적으로) 사실이 아닐 수 있다. 상기 이유로 인해, 바람직한 실시예에 따라, 이중 선형 보간(또는 세제곱 또는 겹세제곱과 같은 더 높은 차수의 스케일링 연산자)을 통한 사전-스케일링 단계는 초기 스케일(초기의, 최고, 해상도)는 (W',H')의 정수 이미지 크기에 귀속되며, 따라서 식 10에서와 같이 N개 스케일들의 깊이에 대하여 이미지 피라미드를 적용할 때 반복되는 샘플간 보간에 대한 필요성을 상당히 감소시키는 것을 보장하기 위해 사용될 수 있다. (하기 식 10에서, W: 이미지의 너비, H: 이미지의 높이, N: 스케일들의 갯수 임):
W'=floor(W/N)*pyramid_factor^N, H'=floor(H/N)*pyramid_factor^N (10)

삭제

최종 스케일의 결과적인 광 흐르 필드는 통상의 2.0 대신에 식 10의 폭 및 높이 인자들의 역이 곱해지고, 1-옥타브 데시메이션 대신에 동일한 역 비-정수 폭 및 높이 인자들에 따라 공간 스케일링되는 크기들을 갖는다.

편도함수들을 사용하는 광 흐름 계산의 해가 없는 특성을 감소시키는 것이 바람직하다 - 주어진 편도함수 데시메이션과 관련하여 단일 계산은 연속적인 선형 범위의 잠재적으로 적합한 값들을 제공한다. 상기 편도함수들을 단일 해답으로 감소시키기 위해, 다수의 주변의 샘플링된 값들의 편도함수들(개별적으로 불충분하게 결정된 해답을 생성함)은 그룹화되고, 최소 제곱들이 적용된다. 이를 위해, 바람직한 실시예에서, 식들 8 및 9에서 구상된 것과 같은 각각의 픽셀 샘플들에 대하여 변화도 계산들이 식 11에서 설명되는 것과 같이 픽셀 샘플들 주위의 3x3 영역에 적용된다:

식 10에서, 가중치 함수는 그 중심에서 변화도들쪽으로 계산을 바이어싱하며, 어느 정도 떨어져서 더 적은 가중치를 적용한다. 본 발명의 바람직한 실시예에서, 식 11의 가중치 함수는 식 12에 따라 정의된다:

수학적으로 안정적인 결과에 도달하기 위해 필요한 정보가 여전히 부족하다. 분석중인 전체 영역은 실질적으로 동일한 변화도 값을 가질 수 있거나, 더 엄밀하게 수치적으로 안정한 추정치를 획득하기 위한 변화도가 존재하지 않는다. 다른 상황들에서, 분석중인 영역은 하나의 영역을 평가할 때, 임의의 모션 벡터 성분이 하나의 모션이 존재하는 경우에도 제 1 변화도 특징에 대한 법선에 수직인 모션들 없이 결정될 수 없는 단일의 두드러진 수직 변화도를 갖는다.

본 발명의 일 실시예에 따라, 분석 중인 이미지 쌍의 영역의 주변 변화도 특징들을 표현하는 2-차원 구조 텐서는 식 13에서와 같이 사용될 수 있다:

각 구조 텐서의 2-차원 고유 시스템 분석은 평가 중인 현재 영역을 제 1의, 강한 변화도(최대 고유값 크기는 제 2 변화도 보다 상당히 크다)를 소유하거나, 강한 텍스처 성분(모든 고유값들이 큼)을 소유하거나, 또는 동일하고 균등한 것을(모든 고유값들이 작음) 특징으로 할 수 있다. 명백한 제곱근 계산을 수행하기 위한 메모리 페치(fetch) 스케줄링 및 레이턴시로 인해 현재의 GPU 및 DSP 하드웨어에서 테이블 검색들을 위한 메모리 판독을 실행하는데 잠정적으로 더 많은 비용이 들 수 있다. 그러므로, 본 발명의 일 실시예에 따라, 고유값들의 직접 계산이 사용된다. 본 발명의 바람직한 실시예에서, 전술된 구조 텐서의 2개의 고유값들의 직접 계산은 식 14의 형태를 취한다:

추가로, 바람직한 실시예에 따라, 사용할 최선의 피라미드 스케일 인자의 결정(1.5부터 2.0까지의 범위)은 전술된 구조 텐서 고유 시스템 분석의 일관성, 위치(locality) 및 수치적 안정성에 관한 정보를 통합하는 피드백 메카니즘에 의해 감독된다. 특히, 다른 스케일들을 초과하여 주어진 단일 스케일에 대하여 (임의의 주어짐 이미지 내의 픽셀 샘플들의 10% 이상에 대하여 일반적으로 통계적으로 벗어난, 작은 고유 값들로 정의되는) 픽셀들의 임계 퍼센트율 미만의 작은 고유값들(또는 0에 접근하는 행렬식)에 의해 표시되는 불충분한 결정 또는 수치적인 불안정성의 우위(preponderance)는 더 미세한 피라미드 스케일이 사용되어야 하는 양의 신호이다. 본 발명의 바람직한 실시예에서, 상기 조건이 표시되는 상황들에서 후속 피라미드 레벨들을 위한 광 흐름의 후속 평가들은 1.75부터, 1.666 및 최종적으로 1.5까지 진행하는 "강등된" 피라미드 인자들을 사용할 수 있다.

특정 상황들에서, 각각의 스케일에 대하여 계산된 광 흐름 필드는 분석중인 이미지들의 일부 영역들이 임의의 유용한 광 흐름 정보를 전혀 제공하지 않는 수치적 불안정성들에 의해 손상될 수 있다(즉, 하나 이상의 식들의 분모는 0에 접근하거나 0이 될 것이다). 예를 들어, 만약 이동하는 물체의 중심이 동일한 색상을 가지고, 상기 물체가 생성된 이미지 피라미드를 사용한 최대 스케일의 평가에 의해 제공되는 구경보다 크면, 상기 물체의 중심은 물체의 휴지부와 일치하는 모션 벡터들을 보여주지 못하며, 이는 분모의 작은 사이즈를 사용하는 나눗셈이 광 흐름 계산 방법을 구현하는 디지털 시스템의 정확도 한계치에 접근하기 때문이다. 변화도-기반의 광 흐름 방법들은 폐쇄(occlusion) 경계들과 대조될 때 불일치하는 결과들이 문제가 될 수 있다(예컨대, 전경의 물체가 정지한 배경에서 이동할 때, 몇몇 배경 픽셀들은 모션 경계의 전단부에서 폐쇄되고, 다른 픽셀들은 물체의 반대쪽 단부에서 공개된다). 추가로, 정확도 한계치들은 후속 스테이지의 후속 스케일들에 대한 평가 단계들에 불안정성들을 부과할 수 있다.

모션 경계들에서 및 폐쇄부들을 포함하는 이미지의 영역들 내에서 수학적 안정성과 관련된 문제들을 처리하기 위해, 본 발명의 실시예들은 광 흐름을 역으로 처리할 수 있다(예컨대, 마치 제 1 프레임이 제 2 프레임이었던 것처럼, 및 그 반대로). 감지할 수 있는 모션의 존재시 전방(forward) 및 역 광 흐름 계산들은 유사한 크기의 모션 벡터를 발생하지만, 180도 반대 방향을 가질 수 있다(즉, "가역성 제약"). 계산된 모션 벡터는 구서 이미지들의 원래의 RGB 또는 YUV 값들 전체의 편차 자승합을 결정하기 위해 바람직한 실시예에 따라 5개 이상의 위치들에서, 즉 로버트 크로스 구성에서 현재 스케일의 제 2 이미지를 샘플링하기 위해 사용된다(즉, "모션-보상된 SSD 제약"). 3x3 픽셀들, 5x5 픽셀들 등등과 같은 다른 샘플링 영역들/사이즈들이 가능하지만, 5-샘플 로버트 크로스 구성은 경제적인 타협 지점을 표시하는 것이 당업자에 의해 인식될 것이다. 만약 가역성 제약이 만족되지 않그나, 모션-보상된 SSD 제약이 만족되지 않으면, 현재 스케일에 대한 나머지 평가는 (0,0)으로 리셋되고, 이전 스케일(들)의 모션 벡터의 평가는 변경되지 않고 유지된다.

전술된 잠정적인 수학적 안정성 문제들을 추가로 처리하기 위해, 각 피라미드 스케일의 로우 광 흐름 필드 추정을 위한 사후 처리 단계들은 후속 피라미드 스케일들의 계산의 정확성 및 정밀도를 개선하며, 따라서 최종 결과의 정확성 및 정밀도를 개선한다. 형식적인 점에서, 이는 공통으로 전술된 밝기 또는 변화도 일관성 제약에 대한 추가사항들로서 모델화된다. 다수의 경우들에서, 상기 추가 제약들은 로우 광 흐름 필드에 대하여 평활성 가설들 또는 구분적 일관성 가설들의 형태를 취한다. 본 발명의 바람직한 실시예에서, 모든 스케일들에 대한 로우 광 흐름 필드 출력은 먼저 단일-픽셀 이상값(outlier)들을 제거하기 위해 단일의(비-선형) 3x3 중간 필터 연산에 의해 처리된다. 중간 필터 연산 이후에, L2 놈 전체 변동 연산자는 사용자에 의한 세팅에 따라 결정되는 변화하는 수의 반복들(일반적으로, 1-3회 반복들) 동안 로우 광 흐름 필드 추정에 실행된다. 본 문서에서, 2D 이산-샘플링된 공간에서 L1 놈(구분적 일관성) 또는 L2 놈(구분적 선형성)의 관점에서 주어진 전체 변동 최소화가 표현되는지에 관하여 중요한 모순이 존재한다. 특이성을 위해, 본 발명의 바람직한 실시예에서, L2 놈 TV 연산자가 사용되며, 단일 반복을 위해 식 15의 형태를 취할 수 있다:

상기 식 15의 I는 전술된 비선형 처리 이후에 로우 광 흐름 필드 추정으로부터 모션 벡터 필드의 이미지 샘플로 해석된다. 상기 접근 방식의 장점은 비선형 통계적 연산들(중앙 값과 같은) 및 L2 놈 전체 변동 제약을 광 흐름 필드 평가로부터 분리할 수 있는 사후 처리 단계들로서 사용하는 것을 허용하는 것이며, 따라서 실행 병렬성을 위한 추가의 기회들을 허용한다.

도 5는 본 발명의 일 실시예에 따라 한 쌍의 이미지들 사이에서 광 흘므 필드를 계산하기 위한 시스템을 도시한다. 제한되지 않는 예로서, 시스템(510)은 하나 이상의 스틸 또는 비디오 카메라들과 같은 하나 이상의 이미지 캡처 디바이스들(512)로부터 디지털화된 비디오 또는 스틸 이미지들을 수신한다. 시스템(510)은 또한 디지털 비디오 캡처 시스템(514) 및 컴퓨팅 플랫폼(516)을 포함할 수 있다. 디지털 비디오 캡처 시스템(514)은 디지털 비디오 스트림들을 처리하거나, 아날로그 비디오를 컴퓨팅 플랫폼(516)에 의해 처리될 수 있는 형태인 디지털 비디오로 변환한다. 디지털 비디오 캡처 시스템(514)은 독립형 하드웨어 또는 컴퓨팅 플랫폼(516)에 직접 플러그인 할 수 있는 파이어와이어 카드들이 될 수 있다. 본 발명의 일 실시예에 따라, 이미지 포착 디바이스들(512)은 무선 링크(예컨대, 항공기와 지상국 사이) 및 디지털 데이터 링크(예컨대, 지상국과 컴퓨팅 플랫폼(516) 사이, 이더넷)과 같은 동종의 데이터 링크를 통해 비디오 캡처 시스템(514)/컴퓨팅 플랫폼(516)과 인터페이싱할 수 있다. 컴퓨팅 플랫폼(516)은 하나 이상의 프로세서들(520)을 통해 비디오 데이터 스트림들(524)에 의해 제공되거나 컴퓨터 판독가능한 매체(526)로 직접 제공되는 버스 시스템(522)을 포함하는 하나 이상의 프로세서들(520)을 포함하는 개인 컴퓨터 또는 워크 스테이션(예컨대, 펜티엄-M 1.8GHz PC-104 또는 그 이상)을 포함할 수 있다. 선택적으로, 컴퓨팅 플랫폼(516)은 FPGA 또는 ASIC 내에 구현되는 그래픽 처리 유니트(GPU) 또는 디지털 신호 프로세서(DSP)와 같은 집적 회로 또는 그 일부로 구현될 수 있다.

컴퓨터 판독가능 매체(526)은 윈도우 또는 리눅스 운영 시스템과 같은 선택적인 운영 시스템을 포함하는, 하나 이상의 프로세서들(520)에 의해 실행될 시스템(510)의 명령들을 저장하기 위해 사용될 수 있다. 컴퓨터 판독가능 매체(526)는 추가로 하나 이상의 데이터 베이스들 내에 본 발명의 비디오 클립들의 저장 및 검색을 위해 사용될 수 있다. 컴퓨터 판독가능 매체(526)는 RAM 메모리와 같은 휘발성 메모리 및 플래시 메모리, 광학 디스크(들) 및/또는 하드 디스크(들)과 같은 비휘발성 메모리의 조합을 포함할 수 있다. 처리된 비디오 데이터 스트림(528)의 부분들은 향후 모니터(530)로의 출력을 위해 컴퓨터 판독가능 매체(526) 내에 일시적으로 저장될 수 있다. 모니터(530)는 처리된 비디오 데이터 스트림/스틸 이미지들을 디스플레이할 수 있다. 모니터(530)는 분석자에 의해 관심이 있는 물체들을 선택하기 위해 키보드(532) 및 마우스(534)를 갖출 수 있다.

본 발명은 광 흐름을 계산하기 위한 종래 방법들에 비해 상당한 장점들을 갖는다. 정확한, 밀집한 광 흐름 필드는 입력 이미지들 내에 존재하는 정상 및 비정상 잡음의 엄한 조건들에서 중요한 가공물들 및 장애물들 없이 생성된다. 개선된 비디오 코더 효율, 초고해상도-기반의 스케일링, 모션-보상된 디인터레이싱 및 프레임 레이트 변환, 깊이-맵 추정 및 실시간 장면 분석, 사진 측량을 위한 물체 세분화를 포함하는 밀집한 광 흐름을 위한 새로운 응용들을 개시하는, 동시대의, 상업적인, 대량 판매용 하드웨어에서 30fps로 표준 선명도 및 고선명도 방송 해상도 비디오를 위해 실시간 이상으로 수행하기에 충분히 효율적이다.

예시적인 실시예들은 본 발명을 설명하기 위한 것이며, 전술된 실시예들의 다수의 변형들은 본 발명의 사상으로부터 벗어나지 않고 당업자에 의해 고안될 수 있음이 이해될 것이다. 그러므로 상기 변형들은 하기의 청구항들 및 그 등가물들 내에 포함되는 것으로 해석된다.

Claims (29)

1. 한 쌍의 이미지들 사이에서 광 흐름 필드(optical flow field)를 결정하기 위한 방법으로서,
   (a) 비-옥타브(non-octave) 피라미드 인자를 사용하여 상기 한 쌍의 이미지들 각각을 이미지 피라미드들로 분해하는 단계;
   (b) 분해된 상기 한 쌍의 이미지들 내의 픽셀들의 밝기 변화도(gradient)가 일정하다는 가정하에 제 1 피라미드 스케일에서 분해된 상기 한 쌍의 이미지들을 제 2 도함수 이미지 표현들로 변환하는 단계;
   (c) 상기 제 2 도함수 이미지 표현들의 이산-시간 도함수들을 추정하는 단계;
   (d) 로우(raw) 광 흐름 필드를 생성하기 위해 광 흐름 추정 프로세스를 상기 이산-시간 도함수들에 적용하는 단계;
   (e) 상기 비-옥타브 피라미드 인자로 상기 로우 광 흐름 필드를 스케일링하는 단계; 및
   (f) 최종 광 흐름 필드를 생성하기 위해 모든 피라미드 스케일들에서 상기 단계들 (b)-(e)이 수행될 때까지 상기 한 쌍의 이미지들에 대하여 상기 단계들 (b)-(e)을 반복하는 단계를 포함하며,
   상기 단계 (c)에서 시공간의 변화도 추정들은 이전의 로우 광 흐름 추정에 의해 왜곡되는,
   광 흐름 필드를 결정하기 위한 방법.
2. 제 1 항에 있어서,
   (g) 상기 제 2 도함수 이미지 표현들을 컬러-공간으로부터 스칼라 컬러-거리 공간으로 변환하는 단계를 더 포함하는,
   광 흐름 필드를 결정하기 위한 방법.
3. 제 2 항에 있어서,
   상기 단계 (g)는 컬러-거리들의 벡터 감산(subtraction)의 라플라시안(Laplacian) 연산을 사용하여 실행되는,
   광 흐름 필드를 결정하기 위한 방법.
4. 제 3 항에 있어서,
   라플라시안 연산자가 상기 제 2 도함수 이미지 표현들의 모든 컬러 채널들의 강도들(intensities)에 개별적으로 적용되는,
   광 흐름 필드를 결정하기 위한 방법.
5. 제 1 항에 있어서,
   상기 비-옥타브 피라미드 인자는 1.5와 2.0 사이가 되도록 선택되는,
   광 흐름 필드를 결정하기 위한 방법.
6. 제 5 항에 있어서,
   최고 해상도의 피라미드 스케일이 (W', H')의 정수 이미지 사이즈들에 의존함을 보장하기 위해 이중 선형 보간(bilinear interpolation)을 통해 사전-스케일링 단계를 사용하는 단계를 더 포함하며,
   상기 W' 및 H'는 하기의 식들,
   W'=floor(W/N)*pyramid_factor^N
   H'=floor(H/N)*pyramid_factor^N
   (W: 이미지의 너비, H: 이미지의 높이, N: 스케일들의 갯수)
   에 의해 제공되는,
   광 흐름 필드를 결정하기 위한 방법.
7. 제 1 항에 있어서,
   상기 제 1 피라미드 스케일은 최저 해상도의 피라미드 스케일부터 최고 해상도의 피라미드 스케일까지 각 반복마다 변화되는,
   광 흐름 필드를 결정하기 위한 방법.
8. 제 1 항에 있어서,
   상기 단계 (c)는 시공간 변화도 추정 방법을 사용하여 달성되는,
   광 흐름 필드를 결정하기 위한 방법.
9. 제 1 항에 있어서,
   상기 광 흐름 추정 프로세스는 최소 자승법(a least-squares-fit method)을 사용하는,
   광 흐름 필드를 결정하기 위한 방법.
10. 제 1 항에 있어서,
    상기 광 흐름 필드에 비-선형의 구분적 선형성 제약을 부과하는 적어도 하나의 비-선형 필터를 사용하여 상기 로우 광 흐름 필드를 처리하는 단계를 더 포함하는,
    광 흐름 필드를 결정하기 위한 방법.
11. 제 10 항에 있어서,
    상기 적어도 하나의 비-선형 필터는 전체 변동 최소화(L1 및 L2 놈(norm)) 필터, 이방성 확산 필터, 로컬 이미지 구조들에 반응하는 타원형 가동 필터(elliptic steerable filter) 및 핵심 회기 필터(kernel regression filter) 중 적어도 하나인,
    광 흐름 필드를 결정하기 위한 방법.
12. 제 1 항에 있어서,
    픽셀-샘플(per-pixel-sample) 기반으로 상기 로우 광 흐름 필드의 역 일관성을 검사하기 위해 상기 로우 광 흐름 필드에 다중-픽셀 모션-보상 및 편자자승합(sum-of-square-differences) 계산을 수행하는 단계를 더 포함하는,
    광 흐름 필드를 결정하기 위한 방법.
13. 제 1 항에 있어서,
    후속하는 더 낮은 해상도의 피라미드 스케일들에서 1.5 및 2.0 사이에서 비-옥타브(2.0) 피라미드 스케일링 인자를 선택하기 위한 피드백 메카니즘을 제공하기 위해 2D 구조 텐서 고유시스템 분석(tensor eigensystem analysis)을 상기 이산-시간 도함수들에 적용하는 단계를 더 포함하는,
    광 흐름 필드를 결정하기 위한 방법.
14. 제 13 항에 있어서,
    다른 피라미드 스케일들을 초과하는 단일 피라미드 스케일에 대하여 픽셀들의 임계 퍼센트율 미만의 작은 고유값들이 상기 2D 구조 텐서 고유시스템 분석 동안 충돌되면, 더 미세한 피라미드 스케일이 후속 피라미드 스케일들 중 적어도 하나에 대해 사용되는,
    광 흐름 필드를 결정하기 위한 방법.
15. 제 1 항에 있어서,
    상기 로우 광 흐름 필드는 최저 스케일부터 최고 스케일까지의 피라미드 스케일들로 차례로 스케일링되는,
    광 흐름 필드를 결정하기 위한 방법.
16. 제 15 항에 있어서,
    모션 벡터는 로버트의 크로스 구성(Robert's Cross configuration)의 5개 이상의 위치들 내에서 상기 한 쌍의 이미지들 중 제 2 이미지를 샘플링하기 위해 사용되는,
    광 흐름 필드를 결정하기 위한 방법.
17. 제 1 항에 있어서,
    단일-픽셀 이상값들(outliers)을 제거하기 위해 (비-선형)3x3 중간 필터(median filter) 연산에 의해 모든 피라미드 스케일들에 대하여 상기 로우 광 흐름 필드를 처리하는 단계 및 변화하는 수의 반복들 동안 L2 놈 전체 변동 연산자로 필터링된 상기 로우 광 흐름 필드를 처리하는 단계를 더 포함하는,
    광 흐름 필드를 결정하기 위한 방법
18. 한 쌍의 이미지들 사이에서 광 흐름 필드(optical flow field)를 결정하는 컴퓨터 코드를 저장하는 컴퓨터 판독가능 매체로서, 상기 코드는 적어도 하나의 프로세서에 의해 실행되고, 상기 컴퓨터 코드는,
    (a) 비-옥타브 피라미드 인자를 사용하여 상기 한 쌍의 이미지들 각각을 이미지 피라미드들로 분해하고;
    (b) 분해된 상기 한 쌍의 이미지들 내의 픽셀들의 밝기 변화도가 일정하다는 가정하에 제 1 피라미드 스케일에서 분해된 상기 한 쌍의 이미지들을 제 2 도함수 이미지 표현들로 변환하고;
    (c) 상기 제 2 도함수 이미지 표현들의 이산-시간 도함수들을 추정하고;
    (d) 로우 광 흐름 필드를 생성하기 위해 광 흐름 추정 프로세스를 상기 이산-시간 도함수들에 적용하고;
    (e) 상기 비-옥타브 피라미드 인자로 상기 로우 광 흐름 필드를 스케일링하며; 그리고
    (f) 최종 광 흐름 필드를 생성하기 위해 모든 피라미드 스케일들에서 상기 단계들 (b)-(e)이 수행될 때까지 상기 한 쌍의 이미지들에 대하여 상기 단계들 (b)-(e)을 반복하기 위한 코드를 포함하며,
    상기 단계 (c)에서 시공간의 변화도 추정들은 이전의 로우 광 흐름 추정에 의해 왜곡되는,
    컴퓨터 판독가능 매체.
19. 제 18 항에 있어서,
    (g) 상기 제 2 도함수 이미지 표현들을 컬러-공간으로부터 스칼라 컬러-거리 공간으로 변환하기 위한 코드를 더 포함하는,
    컴퓨터 판독가능 매체.
20. 제 19 항에 있어서,
    상기 (g)는 컬러-거리들의 벡터 감산의 라플라시안(laplacian) 연산을 사용하여 실행되는,
    컴퓨터 판독가능 매체.
21. 제 18 항에 있어서,
    상기 비-옥타브 피라미드 인자는 1.5와 2.0 사이가 되도록 선택되는,
    컴퓨터 판독가능 매체.
22. 제 18 항에 있어서,
    상기 제 1 피라미드 스케일은 최저 해상도의 피라미드 스케일부터 최고 해상도의 피라미드 스케일까지 각 반복마다 변화되는,
    컴퓨터 판독가능 매체.
23. 제 18 항에 있어서,
    상기 (c)는 시공간 변화도 추정 방법을 사용하여 달성되는,
    컴퓨터 판독가능 매체.
24. 제 18 항에 있어서,
    상기 광 흐름 추정 프로세스는 최소 자승법을 사용하는,
    컴퓨터 판독가능 매체.
25. 제 18 항에 있어서,
    상기 광 흐름 필드에 비-선형의 구분적 선형성 제약을 부과하는 적어도 하나의 비-선형 필터를 사용하여 상기 로우 광 흐름 필드를 처리하기 위한 코드를 더 포함하는,
    컴퓨터 판독가능 매체.
26. 제 25 항에 있어서,
    상기 적어도 하나의 비-선형 필터는 전체 변동 최소화(L1 및 L2 놈) 필터, 이방성 확산 필터, 로컬 이미지 구조들에 반응하는 타원형 가동 필터 및 핵심 회기 필터 중 적어도 하나인,
    컴퓨터 판독가능 매체.
27. 제 18 항에 있어서,
    후속하는 더 낮은 해상도의 피라미드 스케일들에서 1.5 및 2.0 사이에서 비-옥타브(2.0) 피라미드 스케일링 인자를 선택하기 위한 피드백 메카니즘을 제공하기 위해 2D 구조 텐서 고유시스템 분석을 상기 이산-시간 도함수들에 적용하기 위한 코드를 더 포함하는,
    컴퓨터 판독가능 매체.
28. 제 18 항에 있어서,
    상기 로우 광 흐름 필드는 최저 스케일부터 최고 스케일까지의 피라미드 스케일들로 차례로 스케일링되는,
    컴퓨터 판독가능 매체.
29. 제 28 항에 있어서,
    모션 벡터는 로버트의 크로스 구성(Robert's Cross configuration)의 5개 이상의 위치들 내에서 상기 한 쌍의 이미지들 중 제 2 이미지를 샘플링하기 위해 사용되는,
    컴퓨터 판독가능 매체.

Images