KR20160085708A

KR20160085708A - 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치

Info

Publication number: KR20160085708A
Application number: KR1020160000976A
Authority: KR
Inventors: 더크 간돌프; 조에른 자찰스키; 울프람 푸쯔케-로에밍
Original assignee: 톰슨 라이센싱
Priority date: 2015-01-08
Filing date: 2016-01-05
Publication date: 2016-07-18
Also published as: EP3043316A1; US20160203612A1; EP3043315A1; CN105791797A; EP3043315B1; JP2016171558A

Abstract

멀티뷰 영상들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 방법 및 장치(20)가 설명된다. 시퀀스 생성기(23)가 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성하고(10), 여기서, 제2 멀티뷰 캡처의 뷰들은 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가진다. 그 후 슈퍼픽셀 생성기(24)가 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성한다(11).

Description

멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING SUPERPIXELS FOR MULTI-VIEW IMAGES}

본 발명은 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치에 관한 것이다. 특히, 본 발명은 멀티뷰 영상들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 방법 및 장치에 관한 것이다.

영상 분할(image segmentation)은 컴퓨터 비전에서 기본적인 처리 단계이다. 분할의 목적들은 영상 분석을 위해 영상 표현(image representation)을 단순화하는 것과 객체 적응 필터링(object adaptive filtering)을 최적화하는 것이다. 경계화(thresholding), 에지 검출(edge detection), 군집화(clustering), 그리고 더 많은 것들을 포함하는, 다양한 최신 기술의 분할 알고리즘들이 존재한다.

더 새로운 분할 알고리즘[1]은 유사한 피처(feature)들을 공유하는 공간적으로 코히런트 픽셀들(spatially coherent pixels)을 소위 슈퍼픽셀들(superpixels)로 그룹화하는 것에 의해 과분할(over-segmentation)을 준비한다. 이 슈퍼픽셀 접근법은 신뢰할 수 있고 객체-일치하는 세그먼트들(reliable and object-coincident segments)을 제공한다. 그러나, 그것은 더 많은 인기를 얻을 때까지 많은 성능 개선을 요구한다. 필요한 변화는 [2]에 기술되었는데, 여기서는 슈퍼픽셀 알고리즘이 SLIC(simple linear iterative clustering method)를 이용하여 가속화되었다.

지금까지 분할 알고리즘의 초점은 정지 영상들에만 설정되었다. 그러나, 최근 간행물들은 시간적 일관된 분할 결과들을 요구하는 영상 시퀀스들을 고려하였고 [3]에서 개발된 바와 같이 시간적 일관된 슈퍼픽셀들을 생성하는 것에 의해 비디오를 위한 접근법을 제안하였다.

정지 영상들로부터 영상 시퀀스들로의 확장은 계산 복잡도의 추가적인 증가와 밀접한 관련이 있는 차원 증가(dimensional increment)를 야기하고, 이미 [3]에서의 슈퍼픽셀 계산은 하이브리드 피처 부분 공간들(hybrid feature subspaces)을 분석할 때 증가하는 계산량을 억제하기 위한 적절한 조치를 취하였다.

영상 처리 기술에서 분할을 위해 취해져야 하는 다음 중요한 단계는 시간적 멀티뷰 시퀀스들(temporal multi-view sequences)을 분할하는 알고리즘들로 진행하는 것이다. 그러한 시간적 멀티뷰 시퀀스들의 최근 응용예들은 입체적 3D 영화 및 라이트 필드 카메라(Light-field camera)이다. 멀티뷰 시퀀스들을 향한 이 단계는 다시 처리 비용을 증가시킨다. 입체적 시퀀스는 단지 영상의 수를 두 배로 만들지만, 라이트 필드 카메라는 모든 시간 인스턴스(time instance)에서 다수의 영상을 생성한다.

더욱이, 오늘날 시간적으로 그리고 뷰 일관되기 위해 요구되는, 슈퍼픽셀들의 계산은 아직 해결되지 않았고 알고리즘 안정성과 처리 능력에 상당한 요구를 부과한다.

본 발명의 목적은 멀티뷰 캡처들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 개선된 솔루션을 제안하는 것이다.

본 발명에 따르면, 멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하는 방법은,

- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로(joined path)를 형성하는 순서화된 뷰들의 시퀀스(ordered sequence of views)를 생성하는 단계 - 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -; 및

- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하는 단계를 포함한다.

따라서, 컴퓨터 판독 가능 저장 매체에 멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하는 것을 가능하게 하는 명령어들이 저장되고, 상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,

- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성하고 - 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -;

- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하게 한다.

또한, 일 실시예에서, 멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하도록 구성된 장치는,

- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성하도록 구성된 시퀀스 생성기 - 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -; 및

- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하도록 구성된 슈퍼픽셀 생성기를 포함한다.

또 다른 실시예에서, 멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하도록 구성된 장치는, 처리 디바이스와, 상기 처리 디바이스에 의해 실행될 때, 상기 장치로 하여금,

- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하게 하는 명령어들이 저장되어 있는 메모리 디바이스를 포함한다.

슈퍼픽셀들은 정지 영상들 및 영상 시퀀스들을 위해 개발된 신뢰할 수 있고 객체 일치하는 분할(reliable and object coincident segmentation)을 나타낸다. 정지 영상들로부터 영상 시퀀스들로의 확장은 이미 증가하는 계산량을 처리하는 데 어려움을 드러내었지만, 시간적으로 일관된 멀티뷰 분할로의 전환은 훨씬 더 복잡하다. 제안된 솔루션은 슈퍼픽셀 생성을 위해 연역적 지식(a priori knowledge)을 통합함으로써 한 차원에서 증가하는 처리량을 감소시키는 것에 의해 시간적으로 그리고 뷰 일관된 슈퍼픽셀 생성을 제공한다. 이를 위하여 제1 멀티뷰 캡처 및 시간적으로 연속적인 제2 멀티뷰 캡처의 뷰들의 직렬화(serialization)가 수행된다. 그 후 직렬화된 뷰들에 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 알고리즘이 적용된다.

일 실시예에서, 제2 멀티뷰 캡처의 뷰를 위해 생성된 슈퍼픽셀들의 라벨들이 제1 멀티뷰 캡처의 대응하는 뷰를 위해 생성된 슈퍼픽셀들을 이용하여 정제(refine)된다. 또 다른 실시예에서, 제2 멀티뷰 캡처의 뷰를 위해 생성된 슈퍼픽셀들의 라벨들이 제2 멀티뷰 캡처의 이웃 뷰를 위해 생성된 슈퍼픽셀들을 이용하여 정제된다. 양쪽 실시예들에서 귀납적 정정(a posteriori correction)이 슈퍼픽셀 라벨들에 적용되고, 이는 이전에 처리된 뷰를 위해 생성된 슈퍼픽셀들을 이용하여 더 최근에 처리된 뷰를 위한 슈퍼픽셀들을 개선한다. 예를 들어, 정정은 슈퍼픽셀 라벨들을 정제하기 위해, 컬러 정보, 깊이 정보, 및 움직임 벡터들과 같은, 기하학적 측정(geometrical measure) 또는 유사도 측정(similarity measure)을 이용한다.

도 1은 멀티뷰 캡처들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 방법의 일 실시예를 개략적으로 보여준다.
도 2는 도 1에 따른 방법을 수행하도록 구성된 장치의 제1 실시예를 개략적으로 보여준다.
도 3은 도 2에 따른 방법을 수행하도록 구성된 장치의 제2 실시예를 개략적으로 보여준다.
도 4는 단일 영상 센서를 이용하여 그리고 멀티뷰 영상 센서 또는 다수의 영상 센서를 이용하여 획득된 영상 시퀀스들의 예들을 보여준다.
도 5는 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 일반적인 스킴을 도시한다.
도 6은 시간적으로 그리고 또한 멀티뷰 일관된 슈퍼픽셀들을 생성하기 위한 스킴에서 영상 입력들의 증가와 함께 발생하는 문제를 스케치한다.
도 7은 멀티뷰 영상들의 도입에 의해 야기되는 자유도의 증가를 보여준다.
도 8은 멀티뷰 영상들의 직렬화를 위한 하나의 접근법을 보여준다.
도 9는 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀 생성의 3개의 구현의 단순화된 블록도를 보여준다.
도 10-11은 도 9(b)에 도시된 구현의 기본적인 처리 스킴을 도시한다.
도 12-19는 도 9(c)에 도시된 구현의 기본적인 처리 스킴을 도시한다.
도 20은 슈퍼픽셀 맵(superpixel map)의 상세를 도시한다.
도 21은 2개의 상이한 슈퍼픽셀 맵의 상세를 보여준다.
도 22는 2개의 상이한 슈퍼픽셀 맵에서 대응들의 결정을 보여준다.
도 23은 2개의 시간 인스턴스에 걸쳐 정적 장면을 처리하는 예를 보여준다.
도 24-25는 2개의 시간 인스턴스에 대한 상이한 뷰들의 직렬화 후에 생성된 중간 슈퍼픽셀들을 보여준다.
도 26-28은 양쪽 시간 인스턴스에서 일치하는 뷰들의 직접 비교를 위해 도 24-25에 도시된 중간 슈퍼픽셀 맵들을 도시한다.
도 29는 2개의 시간 인스턴스에 걸쳐 동적 장면을 처리하는 예를 보여준다.
도 30-31은 2개의 시간 인스턴스에 대한 상이한 뷰들의 직렬화 후에 생성된 중간 슈퍼픽셀들을 보여준다.
도 32-34는 양쪽 시간 인스턴스에서 일치하는 뷰들의 직접 비교를 위해 도 30-31에 도시된 중간 슈퍼픽셀 맵들을 도시한다.

더 나은 이해를 위해, 이제 도면들을 참고하여 본 발명을 더 상세히 설명한다. 본 발명은 이들 예시적인 실시예들에 제한되지 않으며 명시된 특징들은 첨부된 청구항들에서 정의된 본 발명의 범위를 벗어나지 않고 편의상 결합되고/되거나 수정될 수도 있는 것으로 생각된다.

도 1은 멀티뷰 캡처들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 방법의 일 실시예를 개략적으로 보여준다. 제1 단계에서 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스가 생성되고(10), 여기서 제2 멀티뷰 캡처의 뷰들은 제1 멀티뷰 캡처의 뷰들의 순서와 역순인 순서를 가진다. 제2 단계에서 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들이 생성된다(11).

본 발명에 따른 방법을 수행하도록 구성된 장치(20)의 일 실시예가 도 2에 개략적으로 도시되어 있다. 이 장치(20)는, 예컨대, 네트워크 또는 외부 저장 시스템으로부터, 멀티뷰 캡처들의 시퀀스를 수신하기 위한 입력(21)을 가지고 있다. 대안적으로, 멀티뷰 캡처들의 시퀀스는 로컬 저장 유닛(22)으로부터 검색된다. 시퀀스 생성기(23)가 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성하고(10), 여기서 제2 멀티뷰 캡처의 뷰들은 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가진다. 그 후 슈퍼픽셀 생성기(24)가 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성한다(11). 결과로 생성되는 시간적으로 일관된 슈퍼픽셀들은 바람직하게는 출력(25)을 통해 이용 가능하게 된다. 슈퍼픽셀들은 또한 로컬 저장 유닛(22)에 저장될 수 있다. 출력(25)은 또한 입력(21)과 결합되어 단일 양방향 인터페이스가 될 수 있다. 물론, 상이한 유닛들(23, 24)은 마찬가지로 완전히 또는 부분적으로 결합되어 단일 유닛이 되거나 프로세서에서 실행되는 소프트웨어로 구현될 수 있다.

본 발명에 따른 방법을 수행하도록 구성된 장치(30)의 또 다른 실시예가 도 3에 개략적으로 도시되어 있다. 이 장치(30)는 처리 디바이스(31)와, 실행될 때, 장치로 하여금 설명한 방법들 중 하나에 따른 단계들을 수행하게 하는 명령어들을 저장한 메모리 디바이스(32)를 포함한다.

예를 들어, 처리 디바이스(31)는 설명한 방법들 중 하나에 따른 단계들을 수행하도록 적응된 프로세서일 수 있다. 일 실시예에서 상기 적응은 상기 프로세서가 설명한 방법들 중 하나에 따른 단계들을 수행하도록 구성되는, 예컨대, 프로그램되는 것을 포함한다.

본 명세서에 사용된 프로세서는 마이크로프로세서, 디지털 신호 프로세서, 또는 이들의 조합과 같은, 하나 이상의 처리 유닛을 포함할 수 있다.

로컬 저장 유닛(22) 및 메모리 디바이스(32)는 휘발성 및/또는 비휘발성 메모리 영역들 및 하드 디스크 드라이브, DVD 드라이브와 같은 저장 디바이스들을 포함할 수 있다. 메모리의 일부는 제안된 솔루션의 원리들에 따라 본 명세서에 기술된 프로그램 단계들을 수행하기 위해 처리 디바이스(31)에 의해 실행 가능한 명령어들의 프로그램을 유형적으로 구현하는, 처리 디바이스(31)에 의해 판독 가능한 비일시적 프로그램 저장 디바이스이다.

이하에서는 제안된 접근법을 더 상세히 설명한다. [3]에서는 예를 들어 영화와 같은 영상 시퀀스들에 적용될 수 있는, 시간적으로 일관된 슈퍼픽셀 알고리즘이 개발되었다. 영상 시퀀스의 예가 도 4에 도시되어 있다. 서브-픽처(sub-picture) (a)와 (b)는 별개의 시간 인스턴스들(t_i)에 대한 영상 프레임들을 생성하는, 단일 영상 센서(C0)를 보여준다. 서브-픽처들 (c)와 (d)에 도시된 바와 같이, 단일 영상 센서가 멀티뷰 센서로 대체되는 경우 또는 동시 캡처 카메라의 수가 증가될 때, 각각의 별개의 시간 인스턴스(t_i)에서 다수의 영상이 제공된다.

시간적으로 일관된 슈퍼픽셀들(temporally consistent superpixels, TCS)을 생성하기 위한 일반적인 스킴이 도 5에 도시되어 있다. 이 스킴에서의 슈퍼픽셀 알고리즘은 단일 솔루션에 한정되지 않는다. 예를 들어, [3]에서 설명된 방법 또는 임의의 다른 적절한 접근법이 이용될 수 있다. 블록도는 시간적으로 일관된 슈퍼픽셀들을 생성하기 위해 후속 프레임들이 요구된다는 것을 보여준다. 시간적으로 일관된 슈퍼픽셀들은 슈퍼픽셀들의 일관된 라벨링에 의해 특징지어지고, 이는 연속적인 프레임들 사이의 약간의 변화들이 국부적으로 지속적 슈퍼픽셀 ID들의 사용을 막지 않는다는 것을 의미한다. 약간 움직이거나 모양이 변화하는, 동일한 영상 영역에 위치하는 슈퍼픽셀들은 끊임없이 동일한 슈퍼픽셀 ID로 라벨링된다. 이것은 시간이 흐름에 따라 슈퍼픽셀들을 추적하고 따라서 장면 객체들을 식별하는 것을 가능하게 한다.

시간적으로 일관된 슈퍼픽셀들의 생성은 단일 영상 센서가 멀티뷰 센서로 대체되는 경우 또는 동시 캡처 카메라의 수가 증가될 때 더 복잡해진다. 영상 센서의 수를 도시된 9개의 센서 C1...C9 대신에 2개로, 예컨대, C4 및 C6으로 제한하는 것에 의해 입체 영상 시퀀스의 케이스가 도 4의 (c) 및 (d)에 도시된 예에 포함되어 있다. 일반적으로, 뷰들의 수는 임의적이고 1보다 큰 어떤 수라도 선택될 수 있다. 그러나, 이하의 설명은 라이트 필드 카메라뿐만 아니라 다수의 카메라를 커버하므로, 용어 "뷰(view)"는 용어 "센서(sensor)"와 교환 가능하다.

도 6은 시간적으로(TCS) 그리고 또한 멀티뷰(MCS) 일관된 슈퍼픽셀들을 생성하기 위한 스킴에서 영상 입력들의 증가와 함께 발생하는 문제를 스케치한다. 여기서 후속 멀티뷰 영상들이 입력이고 슈퍼픽셀 생성은 시간적(순차적)뿐만 아니라 공간적(멀티뷰) 일관성도 고려해야 한다. 그러나, 이것은 새로운 분할 작업에 의해 처리되어야 하는 자유도를 증가시킨다. 도 6에서 원하는 출력은 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들의 시퀀스이다.

멀티뷰 영상들의 도입에 의해 야기되는 자유도의 증가가 도 7에 도시되어 있는데, 이는 도 7(a)에 도시된 단일 뷰 시퀀스와 도 7(b)에 도시된 멀티뷰 시퀀스를 비교한다. 도시된 이중 화살표들은 슈퍼픽셀들의 라벨링에서의 일관성에 대한 요구를 나타낸다. 이것은 화살표들에 의해 연결된 영상들 내에서 생성된 슈퍼픽셀들은 상이한 뷰들 및/또는 상이한 시간 인스턴스들에서 보는 동일한 장면 영역들을 커버할 때 그들의 ID들을 통해 추적 가능해야 한다는 것을 의미한다. 이중 화살표들은 2개의 카테고리로 분리된다. 제1 카테고리는 시간적 슈퍼픽셀들(TSP), 즉 상이한 시간 인스턴스들의 일치하는 멀티뷰들에 속하는 슈퍼픽셀들이고, 제2 카테고리는 동시 멀티뷰 슈퍼픽셀들(MSP), 즉 동일한 시간 인스턴스의 상이한 뷰들에 속하는 슈퍼픽셀들이다. TSP 관계들은 점선 화살표들에 의해 표시되는 반면에, MSP 관계들은 실선 화살표들에 의해 표시된다. MSP 및 TSP 관계들의 수는 직교(직사각형) 이웃들만을 통합하고 임의의 대각선 이웃들은 무시하는 것에 의해 이론적으로 가능한 것의 서브세트라는 점에 유의해야 한다. 이것은 영상들 사이의 공간적 거리에 의해 정당화된다. 도 7에 포함된 관계들은 최소의 거리들을 가진 것들과 유사한, 직접 인접한 영상들을 결합하는 것들만이다. 제외된 비-직교 이웃들은 항상 더 멀리 떨어져 있다. 그러나, 이것은 비-직교 이웃들을 가로지르는 슈퍼픽셀 ID 추적을 방해하지 않는다.

증가된 자유도에 대처하기 위하여, 멀티뷰 영상들에 직렬화가 적용된다. 이하에서는 3×3 멀티뷰 영상들을 참고하여 직렬화를 예시적으로 설명한다. 솔루션은 입체 비전을 포함하여, 멀티뷰 영상들의 임의의 배열들에 대해 일반화될 수 있다. 도 8은 3개의 시간 인스턴스 t₁, t₂, 및 t₃을 도시한다. 더 큰 영상 시퀀스들은 도시된 직렬화 스킴을 계속함으로써 그에 맞춰 취급된다.

도시된 예에서 직렬화 스캔은 뷰 C1.1부터 시작된다. 점 앞의 수는 뷰 위치 C1을 나타내고 점 뒤의 수는 시간 인스턴스 t₁을 나타낸다. 이 예에서 직렬화 스캔은 C1.1부터 수직으로 아래로 C4.1 및 C7.1로 진행하여, 항상 가장 가까운 이웃 뷰들을 연결한다. 그 후 스캔은 오른쪽으로 돌아 C8.1로 진행한 후에 위쪽으로 C5.1 및 C2.1로 진행한다. 직렬화는 계속해서 오른쪽으로 돌아 C3.1로 그리고 아래로 C6.1 및 C9.1로 진행한다. 이 스킴은 단지 예이다. 물론, 직접 이웃들(direct neighbors) 사이에 최소의 거리를 가진 하나의 시간 인스턴스 내의 모든 뷰들을 연결하기 위한 다른 직렬화 순서들이 가능하다.

t₁에 속하는 모든 뷰들을 스캔한 후에, 직렬화는, 항상 일치하는 뷰인, 최소 거리를 가진 뷰로 진행함으로써 다음 시간 인스턴스 t₂에 속하는 뷰들로 넘어간다. 도 8에서 이것은 C9.2이다. 바꾸어 말해서, 멀티-스캔 직렬화(multi-scan serialization)는 인접한 시간 인스턴스들에 대한 일치하는 뷰들을 연결한다.

다음의 시간 인스턴스 내의 스캐닝을 위해, 뷰들 사이에 최선의 일관성에 도달하기 위해 그리고 상이한 스캐닝 순서들을 혼합하지 않기 위해 이전과 역순의 스캔을 이용하는 것이 유리하다. 도 8의 예에서 스캔은 C9.2, C6.2, C3.2, C2.2, C5.2, C8.2, C7.2, C4.2, 및 C1.2가 된다. 제3 시간 인스턴스 t₃은 다시 시간 인스턴스 t₁과 유사하게 취급된다, 즉, 스캔 순서는 한 번 더 역전된다. 보다 일반적으로, 임의의 추가 시간 인스턴스 t_k는 이전 시간 인스턴스 t_k-2로서 취급될 것이다.

바람직하게는, 모든 다음의 시간 인스턴스들(두 번째 이상)의 스캐닝 순서는 이전 시간 인스턴스의 역순의 스캔이다. 그렇지 않으면 뷰들은 후속 시간 인스턴스들에서 상이하게 재순서화되고 생성된 슈퍼픽셀들에서 시간적 불일치들의 증가를 초래할 것이다. 이것은 시간적 일관성의 손실들로 이어질 수 있다.

이하에서는 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하기 위한 제안된 솔루션의 3개의 구현을 더 상세히 설명한다. 모든 3개의 구현은 슈퍼픽셀 일관성을 개선한다. 도 9는 3개의 구현의 단순화된 블록도들을 보여준다. 모두 공통적으로 직렬화 스캔을 실행하는 멀티뷰 직렬화 블록(40) 및 시간적으로 일관된 슈퍼픽셀들을 생성하기 위한 TCS 블록(41)을 가진다.

이미 도 8에 도시된 직렬화 스킴은 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하기 위한 가장 간단한 솔루션을 나타내며, 이는 도 9(a)에 도시되어 있다. 이 솔루션은 객체 가림들(objet occlusions)에 의해 영향을 받지 않는 정적인 장면 영역들에 대한 일관된 슈퍼픽셀 라벨링을 제공한다. 이것은 영상 내의 장면 객체들이 카메라로부터 충분히 먼 거리를 갖는 경우에 해당한다. 직렬화된 멀티뷰 영상들은 시간적으로 가까운 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하기 위해 임의의 추가 처리 단계 없이 TCS 블록(41)에 의해 단순히 처리된다. 카메라에 가까이 위치하는 객체들의 경우에는 슈퍼픽셀 일관성이 보장될 수 없다. 그러나, 추가 처리량은 최소이다.

슈퍼픽셀 일관성은 시간적 슈퍼픽셀 정제(refinement) 블록(42)을 통합하는, 도 9(b)에 도시된 솔루션에 의해 개선될 수 있다. 기본적인 처리 스킴은 도 10 및 도 11에 도시되어 있다. 양쪽 도면들은 상이한 처리 단계들을 도시하는, 서브-픽처들 (a)와 (b)로 나누어진다. (a)로 라벨링된 서브-픽처들은 멀티뷰 직렬화를 수행하는 도 9의 제1 단계 S1의 일부이고 그 후에 중간 슈퍼픽셀 ID들을 생성하는 TCS 알고리즘이 수행되는, 직렬화 스킴을 보여주는 반면에, (b)로 라벨링된 서브-픽처들은 슈퍼픽셀 라벨 정제를 위해 실행되는 후처리 단계 S2를 보여준다. 나중에 상세히 설명될 후처리 단계 S2는 본의 아니게 생성된 슈퍼픽셀 라벨 ID들을 없애버리고 그것들을 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하기 위해 필요한 최소한도로 줄이는 역할을 한다. 그러나, 슈퍼픽셀 모양들은 유지된다. 이 제2 솔루션은 동적 장면들 및 객체 가림들을 취급하기에 더 적합하다.

도 10 및 도 11에 도시된 바와 같이, 단계 S1은 후처리 단계 S2와 교대로 적용된다. 정제된 솔루션에서의 멀티뷰 영상들의 직렬화는 도 8에 도시된 것과 동일하지만, 그것은 ID 정제 단계 S2에 의해 교차된다. 도 10(a)에 도시된 시간 인스턴스들 t₁ 및 t₂에서 중간 시간적으로 일관된 슈퍼픽셀들의 생성 후에, ID 정제 S2는 도 10(b)에 점선 화살표들에 의해 나타내어진 바와 같이, 일치하는 뷰들의 영상들을 분석하는 것에 의해 시간 일관성을 보장한다. 제1 단계 S1 내에서 이미 취급되는 일치하는 뷰들의 영상들은 재차 처리될 필요가 없고 스킵될 수 있다. 도 10(b)에서 이것은 C9.1 및 C9.2의 경우에 해당한다. ID 정제 S2는 시간 인스턴스 t₂에서 슈퍼픽셀 라벨 ID들 중 하나 이상을 변화시킬 수 있다. 결과로 생성되는 라벨 ID들은 그 후 도 11에 도시된 다음 처리 단계들에서 이용된다. 여기서 도 11(a)에 도시된 제1 단계 S1은 뷰 직렬화를 계속하는 것과 TCS 알고리즘을 적용하는 것에 의해 시간 인스턴스 t₃에 대한 중간 슈퍼픽셀들을 생성하기 위해 이전에 정제된 슈퍼픽셀 ID들을 처리하는 것에 있다. 그 후 도 11(b)에 도시된 바와 같이, 추가 ID 정제 단계 S2가 수행되어, 본의 아니게 생성된 슈퍼픽셀 라벨 ID들을 줄이는 것에 의해 일치하는 뷰들 사이의 시간적 일관성을 보장한다. 임의의 추가 시간 인스턴스 t_k는 시간 인스턴스 t_k-2와 동일한 방식으로 취급될 것이다.

도 9(b)의 전술한 정제된 솔루션은 개선된 슈퍼픽셀 일관성 및 더 높은 강건성을 제공한다. 게다가, 그것은 카메라에 더 가깝고 따라서 멀티뷰들에서 가림들을 포함할 수 있는 움직이는 객체들을 포함하는 동적 장면들을 처리하는 것이 가능하다. 동시에 그것은 약간 증가된 처리 능력만을 요구한다.

도 9(c)에 도시된 또 다른 개선된 솔루션을 도 12 내지 19를 참고하여 이하에서 설명한다. 이 접근법은 ID 정제 단계 S2 내에서 적용되는, 제2 ID 정제를 추가하는 것에 의해 도 9(b)의 솔루션을 더 확장한다. 슈퍼픽셀 정제 블록(43)에 의해 실행되는 ID 정제 단계들 중 하나는 MSP 관계들을 취급하지만, 슈퍼픽셀 정제 블록(42)에 의해 실행되는 또 다른 ID 정제 단계는 TSP 관계들을 처리한다. ID 정제 프로세스를 이중으로 함으로써 결과적으로 슈퍼픽셀 라벨 일관성이 추가 개선되지만, 또한 제1 단계 S1과 후처리 단계 S2 사이에 더 높은 교차를 요구한다.

이 접근법의 처리 단계들은 도 12에 도시된 바와 같이 시작되며, 여기서 TCS 알고리즘을 적용하기 위해, 시간 인스턴스 t₁에서의 뷰들의 제1 부분이 도 12(a)에 도시된 바와 같이, 단계 S1에서 직렬화된다. 그 후 도 12(b)에 도시된 바와 같이, MSP 관계들에 대해 ID 정제 단계가 수행된다. 처리된 영상들은 동일한 시간 인스턴스에 속하므로 TSP 정제가 요구되지 않는다. 정제된 슈퍼픽셀 ID들은 도 13(a)를 진행하는 데 이용되며, 여기서 직렬화된 뷰들은 TCS를 이용하여 처리되며 중간 ID들은 시간 인스턴스 t₁의 처리를 완료하기 위해 도 13(b)의 단계 S2에서 MSP 관계에 대해 정제된다. MSP 관계들 C7.1 대 C8.1과 C2.1 대 C3.1에 대한 ID 정제는 중복이므로 스킵된다.

시간 인스턴스 t₂의 처리는 도 14(a)에서 시작하여, 3개의 교차로 이루어지며, 여기서 직렬화된 뷰들 C9.2, C6.2, 및 C3.2는 TCS 알고리즘을 이용하여 처리된다. TSP 관계들에 관한 ID 정제는 도 14(b)의 점선 화살표들에 의해 나타내어진 바와 같이 제2 단계 S2에서 행해진다. TCS 관계 C9.1 내지 C9.2에 대한 중복 정제는 스킵된다. 도 15(a)에 도시된 제2 교차는 TCS 알고리즘을 C2.2, C5.2, 및 C8.2에 적용하고, 그 후 도 15(b)에 도시된 바와 같이, 시간 인스턴스 t₁로부터 일치하는 뷰들을 이용하여 C6.2로부터 C5.2로 및 C9.2로부터 C8.2로 MSP 관련 ID 정제 및 TSP 관련 ID 정제가 수행된다. 도 16(a)에 도시된 바와 같이, 제3 교차는 TCS를 이용하여 t₂의 뷰들의 나머지, 즉 C7.2, C4.2, 및 C1.2를 처리한다. ID 정제는 다시, 도 16(b)에 도시된 바와 같이, MSP 관계들 및 TSP 관계들에 관한 정제의 캐스케이드(cascade of refinement)이다. C8.2 대 C7.2의 MSP 관계는 중복이고 스킵된다. 이것은 시간 인스턴스 t₂를 완료한다.

또한 시간 인스턴스 t₃은 도 17(a)에서 C1.3, C4.3, 및 C7.3에 TCS 알고리즘을 적용하는 것으로 시작하여, 3개의 교차를 가진다. 그 후 TSP 관계들에 관한 ID 정제들은, C1.3을 제외하고, 도 17(b)의 점선 화살표들에 의해 도시된 바와 같이 수행된다. 도 18(a)는 제2 교차를 도시하고, 여기서 TCS 알고리즘은, 다시 이전에 생성된 슈퍼픽셀 정제들을 이용하여, C8.3, C5.3, 및 C2.3에 적용된다. 도 18(b)는, 중복 C7.3 대 C8.3 관계를 제외하고, MSP 관계들을 고려하고, 그 후 일치하는 뷰들을 결합하는 TSP 관계들을 고려하는 2개의 ID 정제를 보여준다. 시간 인스턴스 t₃을 완료하는 마지막 교차는 도 19에 도시되어 있으며, 여기서 서브-픽처 (a)에서 뷰들 C3.3, C6.3, 및 C9.3은 TCS 알고리즘을 이용하여 처리되며 서브-픽처 (b)에서 MSP 관계들 C5.3 대 C6.3과 C8.3 대 C9.3에 관한 ID 정제들이 처리되고, 그 후 3개의 TSP 관계들 C3.2 대 C3.3, C6.3 대 C6.3, 및 C9.2 대 C9.3에 대한 일치하는 뷰 ID 정제들이 수행된다. 이것은 처음 3개의 시간 인스턴스에 대해 요구되는 처리를 완료한다. 임의의 추가 시간 인스턴스 t_k는 시간 인스턴스 t_k-2와 동일한 방식으로 취급될 것이다.

전술한 솔루션은 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀 생성에서 최고의 품질을 제공한다. 동시에 그것은 종래의 솔루션들에 대해 요구되는 다항식 처리 증가를 회피한다.

ID 정제는 뷰 내의 모든 슈퍼픽셀들에 반드시 적용되는 것은 아니며 일부 정의들이 정확하게 공식화될 것을 요구한다. 도 20은 슈퍼픽셀 맵의 상세를 도시하고 있는데, 여기서 각각의 슈퍼픽셀 ID는 상이한 그레이 값을 가진다. 이 맵은 각각의 픽셀에 대해 하나의 슈퍼픽셀에의 멤버십을 결정한다. 슈퍼픽셀 맵은 뷰 c 및 시간 인스턴스 t에 속할 수 있다. 그것은 그들의 ID에 의해 구별되고 슈퍼픽셀들의 세트 SPS(c,t):

를 형성하는 Φ 슈퍼픽셀들을 포함한다.

각각의 슈퍼픽셀은 좌표들

을 가진 N개의 픽셀을 포함하는

에 따른 픽셀들의 세트이고, 다음과 같은 질량 중심

를 가진다.

도 21은 2개의 상이한 슈퍼픽셀 맵들의 상세들을 보여줌으로써 이전의 공식들을 일반화한다. 슈퍼픽셀들의 제1 세트

는 뷰 v와 시간 인스턴스 i에 속하고 슈퍼픽셀들의 제2 세트

는 뷰 w와 시간 인스턴스 j에 속한다. 양쪽 슈퍼픽셀 맵들 내부에는 단일 슈퍼픽셀이 표시되어 있다. 이들 2개는

및

이다.

슈퍼픽셀 맵들

및

를 가진 2개의 뷰 사이의 도 9(b) 및 (c)의 솔루션들의 단계 S2에서 적용된 ID 정제는 양쪽 뷰의 슈퍼픽셀 ID들을 분석한다. 먼저 양쪽 SPS 세트들에 존재하는 슈퍼픽셀 ID들은 제외되고, 이는 다음과 같은 서브-세트들

및

을 생성한다.

그 후 솔루션은 ID가 사라진 나머지 슈퍼픽셀들

를 취하고 모든 불일치 ID들을 보유하고 있는 슈퍼픽셀 서브-세트

에서 그들의 소재(whereabouts)를 찾는다.

슈퍼픽셀

인, 후보들

내의

멤버

에 대한 대응을 찾은 후에,

의 슈퍼픽셀 ID는 일관성을 보존하기 위해

의 슈퍼픽셀 ID로 대체된다. 인덱스

는 대응

를 나타낸다. 게다가, ID 리-라벨링(re-labeling)은 후보들

의 세트가

를 제거하는 것에 의해 감소되는 것을 야기한다.

도 22는 대응들이 어떻게 결정되는지를 보여준다.

의 후보들로부터

멤버 슈퍼픽셀

에 대한 대응들을 찾기 위해, 다음 식에 따라 기하학적 거리 D가 계산되고,

다음 식에 따라 대응 함수가 결정된다.

바꾸어 말해서, 슈퍼픽셀

에 대해 거리 D는

와,

로부터 취해진 불일치 슈퍼픽셀들인, 서브-세트

의 모든 멤버 사이에 계산된다. 구해진 최소 거리 D는 대응하는 슈퍼픽셀 인덱스

를 결정한다. 이것은 공간적으로 가장 가까운 질량 중심을 가진 슈퍼픽셀이다.

물리적인 이유 때문에 기하학적 거리 D는 장면 고유 움직임 및 멀티뷰 베이스라인들의 크기에 의해 결정되는 한계를 초과해서는 안 된다. 그러므로, 최대 허용 기하학적 거리

를 초과하는, 대응하는 슈퍼픽셀

는 거부된다. 변수 D는

의 픽셀 카운트이고, 그 제곱근은 가상 슈퍼픽셀 직경을 결정하고, 변수 s는 예상되는 최대 변위 또는 움직임이다. 바람직하게는, s의 값은 TCS 알고리즘 내에서 움직임 추정으로부터 얻어진 결과들에 의해 제어된다. 슈퍼픽셀

에 대해 추정된 로컬 움직임 벡터는 최대 허용 기하학적 거리를 연장하는 데 이용될 수 있다.

검색 영역을 장면에 존재하는 움직임에 적응시키기 위한 제2 솔루션은 다음 수학식

에 따라 로컬 움직임만큼 슈퍼픽셀 질량 중심을 시프트하는 것에 의해 수학식 (1)의 기하학적 거리 D에 대한 계산을 수정하는 것이고,

상기 수학식에서

는

에 대한 지배적 움직임 벡터(dominant motion vector)(광학 흐름)를 기술한다:

대응 함수 수학식 2에 대한 제3의 유리한 솔루션은 대응하는 슈퍼픽셀들을 검색하기 위해 중첩 영역들을 결정하고 가장 큰 양의 중첩 영역을 가진 매치를 선택하는 것이다. 중첩 영역은 커트-세트 카디널리티(cut-set cardinality)

에 의해 결정되어 수정된 대응 함수는 아래 식과 같이 된다.

수학식 (7)은 모든 슈퍼픽셀

를 커버하지만, 수학식 (6)에 따른 커트-세트 카디널리티들 중 어느 것이든 0보다 크게 되는 경우에만 적용된다. 이런 경우가 아니라면, 수학식 (2)가 대신에 취해진다.

슈퍼픽셀 ID 정제를 위한 앞의 3개의 솔루션은 기하학적 측정들만을 이용하지만, 다른 비-기하학적 피처들에 의하여, 또는 심지어 이용 가능하다면 그것들 중 복수개에 의하여 슈퍼픽셀들 사이의 유사도들을 분석하는 것도 가능하다. 피처들은 슈퍼픽셀들의 속성들을 특징짓는 것이고 컬러 정보, 깊이 정보, 움직임 벡터, 및 다른 것들에 의해 표현된다. 피처 특징들 각각은 실현 가능한 평가들을 제공하는 특정 유사도 측정들을 가질 것이다.

슈퍼픽셀들에 대한 컬러 정보 피처는 히스토그램들에 의해 표현될 수 있다. 히스토그램 거리들에 대한 다양한 측정들이 있다[4][5]. 예로는 카이제곱(Chi-square) 거리

또는 [5]에 기술된 것과 같은 EMD(earth mover distance)가 있다. 수학식 (8) 및 [5]에서의 히스토그램들

및

는 정규화된 카디널리티들을 가진 슈퍼픽셀들

및

에 속한다(즉, 양쪽 히스토그램들은 동일한 수의 간격들을 가진다).

또한 깊이 정보 피처는 다음 수학식

에 따른 부등의 정규화된 평균 차이(normalized mean difference of disparity)와 같은 적합한 거리 측정을 요구한다.

깊이 정보의 통합은 컬러 정보 내의 가능한 모호성들을 떨쳐버린다. ε의 임계치는 전형적으로 수학식 (9)에 대해 1 픽셀로 설정되고 깊이 정보에 존재하는 노이즈를 제거하도록 적응될 필요가 있다. 깊이 평균들

및

는 2개의 슈퍼픽셀들

및

에 대한 깊이 값들을 나타낸다.

수학식 (8) 및 수학식 (9)에서 정의된 거리 측정들은 구별을 위해 이용되고 하나의 피처에 대해 개별적으로 적용된다면 수학식 (2)에서 거리 D를 대체한다. 그러나, 바람직한 것은 둘 이상의 피처를 더 신뢰할 수 있는 증거로 결합하는 것이다. 이것은, 예를 들어, 유클리드 결합(Euclidean combination)에 의해 또는 다수표(majority vote)에 의해 달성될 수 있다.

유클리드 결합은 다음 수학식

을 이용해 수학식 (2)에서 최소를 검색하고, 여기서

는 다음과 같은 제곱근이다.

수학식 (11)에서의 거리 측정들은 단순화된 표기법을 가진다는 것에 유의한다.

다수표는 각각 전문화된 피처 기능을 가진 상이한 슈퍼픽셀 정제 후보들을 결정하는 것에 의해 상이하게 최소를 계산한다:

여기서 거리

는 수학식 (1), (4), (7), (8), 및/또는 (9)를 나타낸다. 그 후 가장 많은 표를 받는 슈퍼픽셀이 슈퍼픽셀 ID 교체를 위해 선택된다. 다수 찾기가 실패하는 경우에 대해 예외가 정의된다. 여기서 유클리드 결합은 결정을 강제할 필요가 있다.

다수표 솔루션의 추가 수정예는 가중 표(weighted votes)를 이용하는 것이다. 가중 다수표에서, 깊이 피처 거리의 결과는 결정에 대한 그것의 영향을 확대하기 위해 두 번 카운트된다. 다른 가중 조합들도 가능하다.

이하에서는 개시된 알고리즘의 기능이 다음의 2개의 예에 의해 제시된다.

첫 번째 예는 2개의 시간 인스턴스 t_i와 t_j에 걸쳐 정적 장면을 처리한다. 장면은 정적이기 때문에 모든 일치하는 뷰들은 도 23에 도시된 바와 같이 동일한 영상들을 나타낸다. 서브-픽처 (a)는 멀티뷰 카메라 필드를 가진 3차원 객체 샷을 스케치하고, 서브-픽처 (b)는, 2개의 처리되는 시간 인스턴스 t₁과 t₂에 대해 불변인 채로 있는, 9개의 뷰에 대한 결과 영상들을 도시한다.

도 24 및 도 25는 직렬화 스캔(단계 S1) 후에 적용된 TCS(예컨대, [3])에 의해 생성된 중간 슈퍼픽셀들을 보여준다. 이 중간 슈퍼픽셀 맵들은 스캔 순서에서 시간적으로 일관되고 슈퍼픽셀 ID들의 모든 변화들은 상이한 그레이 값들로 표시되어 있다. 도 24는 9개의 뷰 C1.1 내지 C1.9에서 나타나는 슈퍼픽셀들의 분할과 병합에 대한 예들을 포함하고, 여기서 동일한 넘버링은 도 8에서 설명된 바와 같이 사용된다. 예를 들어, 뷰 C1.1 내의 슈퍼픽셀 SP₇은 분할되어 뷰 C4.1 내의 새로운 슈퍼픽셀 SP₇₁을 생성한다. 뷰 C4.1 내의 슈퍼픽셀들 SP₇ 및 SP₇₁에 대해서는 정반대가 발생한다. 그것들은 뷰 C7.1 내의 단일 슈퍼픽셀 SP₇₁로 병합된다. 이 2개의 가능한 유형의 변화들, ID들의 새로운 생성뿐만 아니라 사라지는 것은 이미 위에 설명되었다.

도 26 내지 28은 양쪽 시간 인스턴스들(TSP)에서 일치하는 뷰들의 직접 비교를 위한 중간 슈퍼픽셀 맵들을 도시한다. 이 예에서 도시된 정적 장면은 각각의 사라지는 슈퍼픽셀에 대해 적절한 새로운 슈퍼픽셀이 생성되고 개시된 슈퍼픽셀 ID 정제(단계 S2)를 적용함으로써 시간적 슈퍼픽셀 일관성의 보존이 달성되는 것을 명백하게 만든다.

두 번째 예는 도 29에 도시된 바와 같이 2개의 시간 인스턴스 t_i와 t_j에 걸쳐 동적 장면을 처리한다. 서브-픽처 (a)는 멀티뷰 카메라 필드를 가진 3차원 객체 샷을 스케치하고, 서브-픽셀 (b)는 그 뷰들에 대한 결과 영상들을 도시한다. 객체가 카메라의 전방에서 이동함에 따라, 일치하는 뷰들에 대한 영상들은 상이하다.

도 30 및 도 31은 직렬화 스캔(단계 S1) 후에 적용된 TCS에 의해 생성된 중간 슈퍼픽셀들을 보여주는 개시된 알고리즘의 결과를 도시한다. 다시 중간 슈퍼픽셀 ID들 내의 모든 변화들은 상이한 그레이 값들로 표시되고 뷰 넘버링은 도 8과 유사하다. 동적 장면의 예에서는 장면 내의 움직이는 객체로 인해 더 많은 변화들이 발생한다. 예를 들어, 슈퍼픽셀 SP₇₂가 뷰 C8.1에서 생성되고 뷰 C2.1에서는 이미 사라진다(도 30).

도 32 내지 34에 도시된 슈퍼픽셀 맵들은 양쪽 시간 인스턴스들에서의 일치하는 뷰들의 시각적 비교를 허용한다. 그것은 설명된 슈퍼픽셀 ID 정제(단계 S2)가 어떻게 누락 슈퍼픽셀 ID들에 대한 적절한 새로운 슈퍼픽셀들을 찾는지를 증명한다. 따라서 도 32에서 C1.1 SP₇이 C1.2 SP₇₆에 할당되고, C4.1 SP₇이 C4.2 SP₇₆에 할당되고, C4.1 SP₇₁이 C4.2 SP₇₅에 할당되고, C7.1 SP₇₁이 C7.2 SP₇₅에 할당되고, 기타 등등이다. SP₃₁, SP₃₂, 및 SP₅₂로서, 새로 나타나는 슈퍼픽셀들 중 일부만이 짧은 시간 동안만 존재하고 교체를 찾지 않고 나중에 사라진다. 그러나, 이것은 드문 것이 아니며 단일 뷰 시퀀스들에 대해 TCS 알고리즘들을 이용하여 시간적으로 일관된 슈퍼픽셀들을 생성할 때에도 발생한다. 그러므로 이 경우들은 기껏해야 결과의 시간적 및 멀티뷰 일관성에 대해 품질에서 미미한 손실을 야기한다.

인용 문헌들

[1] X. Ren et al.: "Learning a classification model for segmentation", Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV '03) (2003), pp.　10-17.

[2] R. Achanta et al.: " SLIC superpixels compared to state-of-the-art superpixel methods", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34 (2012), pp.　2274-2282.

[3] M. Reso et al.: "Temporally Consistent Superpixels ", Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV '13), pp.　385-392

[4] B. Schiele et al.: "Object Recognition Using Multidimensional Receptive Field Histograms", Proceedings of the 4th European Conference on Computer Vision (ECCV　'96), pp. 610-619.

[5] Y. Rubner et al.: "The Earth Mover's Distance as a Metric for Image Retrieval", International Journal of Computer Vision, Vol.　40 (2000), pp. 99-121.

Claims

멀티뷰 캡처들의 시퀀스(a sequence of multi-view captures) - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들(temporally and multi-view consistent superpixels)을 생성하는 방법으로서,
- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로(joined path)를 형성하는 순서화된 뷰들의 시퀀스(ordered sequence of views)를 생성(10)하는 단계 - 상기 결합된 경로에서 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -; 및
- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성(11)하기 위한 알고리즘을 적용하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 제1 멀티뷰 캡처와 상기 제2 멀티뷰 캡처는 시간적으로 연속적인 멀티뷰 캡처들인 방법.
제1항 또는 제2항에 있어서,
상기 제1 멀티뷰 캡처의 대응하는 뷰에 대해 생성된 슈퍼픽셀들을 이용하여 상기 제2 멀티뷰 캡처의 뷰에 대해 생성된 슈퍼픽셀들의 라벨들을 정제(refine)하는 단계를 더 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제2 멀티뷰 캡처의 이웃하는 뷰에 대해 생성된 슈퍼픽셀들을 이용하여 상기 제2 멀티뷰 캡처의 뷰에 대해 생성된 슈퍼픽셀들의 라벨들을 정제하는 단계를 더 포함하는 방법.
제3항 또는 제4항에 있어서,
슈퍼픽셀들의 라벨들을 정제하기 위해 기하학적 측정(geometrical measure)과 유사도 측정(similarity measure) 중 적어도 하나가 사용되는 방법.
제5항에 있어서,
상기 유사도 측정은 컬러 정보, 깊이 정보, 및 움직임 벡터들 중 적어도 하나를 포함하는 방법.
멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하는 것을 가능하게 하는 명령어들이 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 명령어들은 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금,
- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성(10)하고 - 상기 결합된 경로에서 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -;
- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성(11)하기 위한 알고리즘을 적용하게 하는 컴퓨터 판독 가능 저장 매체.
멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하도록 구성된 장치(20)로서,
- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성(10)하도록 구성된 시퀀스 생성기(23) - 상기 결합된 경로에서 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -; 및
- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성(11)하기 위한 알고리즘을 적용하도록 구성된 슈퍼픽셀 생성기(24)
를 포함하는 장치(20).
멀티뷰 캡처들의 시퀀스 - 각각의 멀티뷰 캡처는 적어도 2개의 뷰를 포함함 - 에 대해 시간적으로 그리고 멀티뷰 일관된 슈퍼픽셀들을 생성하도록 구성된 장치(30)로서,
처리 디바이스(31)와,
상기 처리 디바이스(31)에 의해 실행될 때, 상기 장치(30)로 하여금,
- 제1 멀티뷰 캡처의 뷰들 및 제2 멀티뷰 캡처의 뷰들로부터 결합된 경로를 형성하는 순서화된 뷰들의 시퀀스를 생성(10)하고 - 상기 결합된 경로에서 상기 제2 멀티뷰 캡처의 뷰들은 상기 제1 멀티뷰 캡처의 뷰들의 순서의 역순인 순서를 가짐 -;
- 상기 순서화된 뷰들의 시퀀스에 대해 시간적으로 일관된 슈퍼픽셀들을 생성(11)하기 위한 알고리즘을 적용하게 하는 명령어들이 저장되어 있는 메모리 디바이스(32)
를 포함하는 장치(30).