KR20150146419A - 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치 - Google Patents

시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20150146419A
KR20150146419A KR1020150086034A KR20150086034A KR20150146419A KR 20150146419 A KR20150146419 A KR 20150146419A KR 1020150086034 A KR1020150086034 A KR 1020150086034A KR 20150086034 A KR20150086034 A KR 20150086034A KR 20150146419 A KR20150146419 A KR 20150146419A
Authority
KR
South Korea
Prior art keywords
images
pixels
sequence
image
cluster
Prior art date
Application number
KR1020150086034A
Other languages
English (en)
Inventor
마티아스 레소
요른 자칼스키
보도 로젠한
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14306209.9A external-priority patent/EP2980754A1/en
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150146419A publication Critical patent/KR20150146419A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

이미지들의 시퀀스에 대한 수퍼픽셀들을 생성하기 위한 방법 및 장치가 설명된다. 클러스터 할당 생성기(22)가 예를 들어 이미지들의 시퀀스의 제1 이미지의 픽셀들을 수퍼픽셀들로 클러스터링함으로써 또는 제1 이미지에 대한 초기 클러스터 할당을 검색하고 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리함으로써 제1 이미지에 대한 클러스터 할당을 생성한다(10). 라벨 전파기(23)가 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화한다(11). 이어서, 윤곽 픽셀 프로세서(24)가 이미지들의 시퀀스의 후속 이미지들에 대해 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리한다(12).

Description

시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING TEMPORALLY CONSISTENT SUPERPIXELS}
본 발명은 비디오 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치에 관한 것이다. 더 상세하게는, 윤곽 전개(contour evolution)를 이용하여 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치가 설명된다.
수퍼픽셀 알고리즘들은 비디오 분할, 추적, 멀티뷰 객체 분할, 장면 흐름, 실내 장면들의 3D 레이아웃 추정, 상호작용 장면 모델링, 이미지 파싱 및 시맨틱 분할과 같은 광범위한 컴퓨터 비전 응용들을 위한 매우 유용하고 점점 더 인기 있는 처리 단계를 나타낸다. 유사한 픽셀들을 이른바 수퍼픽셀들로 그룹화하는 것은 이미지 프리미티브들을 크게 줄인다. 이것은 후속 처리 단계들에 대한 계산 효율을 증가시키고, 픽셀 레벨에서 계산적으로 실행 불가능한 더 복잡한 알고리즘들을 허용하며, 영역 기반 특징들에 대한 공간 지원을 생성한다.
수퍼픽셀 알고리즘들은 픽셀들을 수퍼픽셀들로 그룹화한다. [1]에서 지시되는 바와 같이, 수퍼픽셀들은 국지적이고 일관되며, 관련된 스케일에서의 분할에 필요한 구조의 대부분을 유지한다. 수퍼픽셀들은 크기 및 형상에서 대략적으로 균일해야 한다. 많은 수퍼픽셀 접근법은 주로 정지 이미지들을 목표로 하며, 따라서 비디오 시퀀스들에 적용될 때는 제한된 시간 일관성(temporal consistency)을 제공하거나 시간 일관성을 전혀 제공하지 못하지만, 일부 접근법들은 비디오 시퀀스들을 목표로 한다[2][3]. 이러한 접근법들은 시간적 일관성의 문제를 다루기 시작한다.
수퍼픽셀 생성 자체는 수퍼픽셀들을 반드시 공간적으로 응집되게 하지는 않는다. 따라서, 클러스터들, 따라서 수퍼픽셀들 내에 포함된 픽셀들의 공간적 연결을 보증하기 위해 후처리 단계가 필요하다. 게다가, [4]는 [5]에서 제안된 후처리 방법이 격리된 수퍼픽셀 단편들과 그들이 할당되는 수퍼픽셀들 간의 어떠한 유사성 척도도 고려하지 않고서 단편들을 임의의 이웃 수퍼픽셀들에 할당한다는 것을 언급하였다. [4]에서 제안된 바와 같은 윤곽 전개 접근법들은 종종 많은 수의 반복의 대가로 이러한 결점을 극복할 수 있다. 게다가, 그들은 종종 정지 이미지들에 집중하며, 따라서 시간 일관성 문제를 해결하지 못한다.
발명의 요약
본 발명의 목적은 이미지들의 시퀀스의 이미지들과 관련된 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 개선된 솔루션을 제안하는 것이다.
본 발명에 따르면, 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법은
- 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하는 단계;
- 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화하는 단계; 및
- 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하는 단계
를 포함한다.
따라서, 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하도록 구성되는 장치는
- 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하도록 구성되는 클러스터 할당 생성기;
- 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화하도록 구성되는 라벨 전파기; 및
- 이미지들의 상기 시퀀스의 후속 이미지들에 대해 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하도록 구성되는 윤곽 픽셀 프로세서
를 포함한다.
또한, 컴퓨터 판독 가능 저장 매체가 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들의 생성을 가능하게 하는 명령어들을 저장하며, 상기 명령어들은 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금,
- 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하고;
- 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화하고;
- 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하게 한다.
더구나, 컴퓨터 프로그램이 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들의 생성을 가능하게 하는 명령어들을 포함하며, 상기 명령어들은 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금,
- 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하고;
- 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화하고;
- 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하게 한다.
제안되는 솔루션은 [6]에 설명된 클러스터링 기반 수퍼픽셀 접근법에 대해 윤곽 전개 기반 전략을 도입한다. 클러스터링 동안 비디오 볼륨 내의 모든 픽셀들을 처리하는 대신에, 윤곽 픽셀들만이 처리된다. 따라서, 각각의 반복에서, 윤곽 픽셀들만이 변경될 수 있는데, 즉 상이한 클러스터에 할당될 수 있다. 나머지 픽셀들은 그들의 이전 할당을 유지한다. 비디오 볼륨에 들어가는 새로운 이미지들은 역방향 흐름 정보를 이용하여 최후 이미지의 윤곽들을 전파함으로써 초기화된다.
일 실시예에서, 이미지들의 상기 시퀀스의 상기 제1 이미지에 대한 상기 클러스터 할당을 생성하는 단계는 상기 제1 이미지의 픽셀들을 수퍼픽셀들로 클러스터링하는 단계를 포함한다.
다른 실시예에서, 이미지들의 상기 시퀀스의 상기 제1 이미지에 대한 상기 클러스터 할당을 생성하는 단계는 상기 제1 이미지에 대한 초기 클러스터 할당을 검색하고, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하는 단계를 포함한다. 상기 제1 이미지에 대한 상기 초기 클러스터 할당은 예를 들어 정사각형들, 직사각형들 또는 육각형들일 수 있는 기하 형상들을 이용하는 상기 이미지의 테셀레이션(tessellation)에 의해 생성된다. 동일 형상에 의해 커버되는 모든 픽셀들은 동일 클러스터에 할당된다. 이것은 결국 초기 클러스터 할당을 생성한다.
비디오 시퀀스들 상의 수퍼픽셀들에 대한 완전 윤곽 기반 접근법이 제안되며, 이는 예측 최대화(EM) 프레임워크에서 표현되며, 공간적으로 응집되고 시간적으로 일관된 수퍼픽셀들을 생성한다. 역방향 광 흐름을 이용하는 효율적인 라벨 전파는 적절한 경우에 수퍼픽셀 형상들의 유지를 장려한다.
제안되는 접근법의 경우, 클러스터링 후에 공간 응집성(spatial coherency)을 보증하기 위해 일반적으로 어떠한 후처리 단계도 필요하지 않다. 이와 동시에, 생성되는 수퍼픽셀들은 높은 경계/윤곽 정밀도 및 높은 시간 일관성을 보인다. 게다가, 본 접근법은 선택적인 처리로 인해 적절히 빠르게 동작한다. 생성되는 수퍼픽셀들은 분할, 이미지 파싱 내지 분류 등의 범위에 걸치는 광범위한 컴퓨터 비전 응용들에 유리하다.
더 나은 이해를 위해, 본 발명은 이제 아래의 설명에서 도면들을 참조하여 더 상세히 설명된다. 본 발명은 이러한 실시예로 한정되지 않으며, 상술되는 특징들은 첨부된 청구항들에서 정의되는 바와 같은 본 발명의 범위로부터 벗어나지 않고서 편리하게 결합 및/또는 변경될 수도 있다는 것을 이해한다.
도 1은 시간 일관성을 갖는 수퍼픽셀들의 일례를 나타낸다.
도 2는 2개의 수퍼픽셀 간의 5x5 픽셀 이웃을 나타낸다.
도 3은 새로운 프레임들로의 수퍼픽셀 라벨 전파의 가능한 변형들을 나타낸다.
도 4는 평균 광 흐름에 의해 전체 수퍼픽셀들을 전파할 때 발생하는 문제들을 설명한다.
도 5는 본 발명에 따른 방법을 개략적으로 나타낸다.
도 6은 본 발명에 따른 방법을 수행하도록 구성되는 장치를 개략적으로 나타낸다.
도 1은 시간 일관성을 갖는 수퍼픽셀들의 일례를 나타낸다. 도 1(a)는 오리지널 이미지를 나타내는 반면, 도 1(b)에서는 비디오의 완전 분할이 수행되었고, 하나 이미지 내에서 수퍼픽셀들의 서브세트가 수동으로 선택되어, 가시화를 위해 회색 값들을 제공받았다. 도 1(c)는 여러 개의 이미지 후의 동일 서브세트를 나타낸다. 동일한 회색 값은 시간적 연결을 의미한다.
주 아이디어의 더 양호한 이해를 위해, 아래에서는 윤곽 전개 기반 접근법이 먼저 정지 이미지들에 대해 간단히 설명된 후에, 약간 다른 설명적인 접근법을 이용하여 비디오에 대해 확장된다.
정지 이미지들에 대한 간단한 설명
클러스터링 기반 접근법들의 경우, 이미지의 픽셀들은 다차원 특징 공간에서 데이터 포인트들로 간주되며, 각각의 차원은 픽셀들의 컬러 채널 또는 이미지 좌표에 대응한다. 수퍼픽셀들은 이러한 다차원 특징 공간에서 클러스터들에 의해 표현되며, 각각의 데이터 포인트는 하나의 클러스터에만 할당될 수 있다. 이러한 할당은 결국 과잉 분할, 따라서 수퍼픽셀 생성을 결정한다.
완전 윤곽 전개 기반 접근법을 이용하여 이러한 할당 문제에 대한 최적의 솔루션을 찾기 위해, 에너지 함수 Etotal이 정의되며, 이는 아래와 같이 클러스터
Figure pat00001
에 윤곽 픽셀
Figure pat00002
를 할당하는 데 필요한 에너지 E(n,k)를 합산한다.
Figure pat00003
여기서,
Figure pat00004
는 이미지 내의 윤곽 픽셀들의 세트이고,
Figure pat00005
은 윤곽 픽셀 n에 그리고 윤곽 픽셀 n이 할당되는 클러스터에 인접하는 클러스터들의 세트이다. 에너지 E(n,k)는 아래와 같이 컬러 차이 관련 에너지
Figure pat00006
와 공간 거리 관련 에너지
Figure pat00007
의 가중 합으로서 더 정밀화될 수 있다.
Figure pat00008
에너지
Figure pat00009
는 윤곽 픽셀 n과 선택된 컬러 공간 내의 클러스터 k의 컬러 중심 사이의 유클리드 거리들에 정비례한다. 또한,
Figure pat00010
는 n의 공간 위치와 클러스터 k의 중심의 공간 위치의 유클리드 거리에 비례한다. 결과들을 이미지 크기와 무관하게 하기 위해, 공간 거리는 팩터
Figure pat00011
을 이용하여 스케일링되며, 여기서 |·|은 세트 내의 요소들의 수이고,
Figure pat00012
은 이미지 내의 모든 픽셀들의 세트이고,
Figure pat00013
는 이미지 내의 모든 클러스터들의 세트이다. 파라미터
Figure pat00014
를 이용하여, 사용자는 분할 결과들을 더 치밀하고, 미세 입자화된 이미지 구조들에 더 민감하도록 조종할 수 있다. 주어진 수의 클러스터
Figure pat00015
및 사용자 정의
Figure pat00016
에 대해, Etotal을 최소화하는 클러스터들의 성상도를 찾음으로써 에너지와 관련된 최적의 과잉 분할이 결정될 수 있다.
할당 문제는 국지적 최적 솔루션으로 수렴되는 반복 로이드(Lloyd) 알고리즘의 적용에 의해 해결된다. 클러스터들은 예를 들어 공간 하위 공간(spatial subspace)에서 균일하게 분산되고 오버랩되지 않는 직사각형들 또는 정사각형들로서 초기화된다. 에너지 항 Etotal을 최소화하기 위해, 알고리즘은 2개의 교대하는 단계, 즉 할당 단계 및 갱신 단계를 반복한다. 할당 단계에서, 각각의 윤곽 픽셀 n은 클러스터
Figure pat00017
에 할당되며, 이 클러스터에 대해 에너지 항 E(n,k)는 세트
Figure pat00018
이 주어질 때 그의 최소치를 갖는다. 윤곽 픽셀들이 아닌 나머지 픽셀들은 그들의 할당들을 유지한다. 할당들에 기초하여, 클러스터 중심들의 파라미터들은 갱신 단계에서 그들의 할당된 픽셀들의 평균 컬러 및 평균 위치를 계산함으로써 재추정된다. 할당 단계에서의 어떠한 변화도 검출되지 않거나, 최대 수의 반복이 수행된 때 반복이 종료된다.
윤곽 픽셀 n은 상이한 클러스터에 할당되는 적어도 하나의 인접 픽셀을 갖는 픽셀이다. 모든 윤곽 픽셀들의 세트
Figure pat00019
는 세트
Figure pat00020
의 (작은) 서브세트이다. 윤곽 픽셀 n이 할당되는 클러스터 및 n과 다른 클러스터에 할당되는 인접 픽셀들의 모든 클러스터들은 세트
Figure pat00021
을 형성한다.
할당 단계에서 이미지를 트래버스하는 데 사용되는 일정한 스캔 순서에 의해 유발되는 바이어스를 최소화하기 위해, 각각의 반복에 대해 스캔 순서가 변경되어야 한다. 가능한 스캔 순서들은 예를 들어 좌에서 우로 그리고 위에서 아래로의 스캔, 우에서 좌로 그리고 위에서 아래로의 스캔, 좌에서 우로 그리고 아래에서 위로로의 스캔, 우에서 좌로 그리고 아래에서 위로의 스캔이다.
(
Figure pat00022
및
Figure pat00023
가 아니라)
Figure pat00024
및
Figure pat00025
이 Etotal을 결정하는 데 고려됨에 따라, 처리 부하가 상당히 감소한다.
비디오들에 대한 접근법
초반에 지시된 바와 같이, 수퍼픽셀 알고리즘들은 예를 들어 컬러 또는 텍스처와 동일한 저레벨 특징들을 공유하는 공간적으로 응집된 픽셀들을 대략 동일한 크기 및 형상의 작은 세그먼트들로 그룹화한다. 따라서, 하나의 중요하고 본질적인 제약은 수퍼픽셀들의 경계들이 이미지 내에 존재하는 주요 객체 경계들에 따라야 한다는 것이다. 주요 객체 경계들의 이러한 캡처링은 초기 수퍼픽셀 분할 상에 형성되는 이미지 또는 비디오 분할에 대해 다소 중요하다. 더욱이, 비디오 콘텐츠에 대한 수퍼픽셀 분할을 위해서는, 추적 또는 비디오 분할과 같은 응용들에 대해 이용될 수 있는 일관된 라벨링을 달성하기 위해 연속 이미지들 내의 수퍼픽셀들 간의 시간적 연결들을 캡처하는 것이 필요하다.
전술한 바와 같이, 여기서 설명되는 접근법은 Temporally Consistent Superpixels (TCS)라는 명칭의 [6]에서 설명되는 접근법을 확장한다. 더 나은 이해를 위해, TCS의 주요 아이디어들이 아래에 짧게 요약된다.
일반적으로, TCS는 글로벌 컬러 하위 공간 및 다수의 로컬 공간 하위 공간으로 분할되는 다차원 특징 공간에 대한 하이브리드 클러스터링 전략을 이용하여 비디오 볼륨에 대한 에너지 최소화 클러스터링을 수행한다.
더 구체적으로, TCS에서 사용되는 에너지 최소화 프레임워크는 픽셀들을 그들의 5차원 특징 벡터 [labxy]에 기초하여 클러스터링하며, 그러한 5차원 특징 벡터는 CIE-Lab-컬러 공간에서의 3개의 컬러 값 [lab] 및 픽셀 좌표 [xy]를 포함한다. 연속 이미지들 내의 수퍼픽셀들 간의 시간적 연결들을 캡처하기 위해, K개의 이미지에 걸치는 관찰 윈도를 통해 클러스터링이 수행된다. 분할된 특징 공간은 아래의 방식으로 실현된다. 하나의 시간 수퍼픽셀을 나타내는 각각의 클러스터 중심은 완전한 관찰 윈도에 대한 하나의 컬러 중심 및 관찰 윈도 내의 각각의 이미지에 대해 하나씩인 다수의 공간 중심으로 구성된다. 기본적인 가정은 시간 수퍼픽셀이 연속 이미지들에서 동일 컬러를 공유해야 하지만 동일 위치를 공유할 필요는 없다는 것이다.
타임라인을 따라 시프트되는 관찰 윈도에 대해, 클러스터 중심들의 최적 세트
Figure pat00026
는 물론, 관찰 윈도 내의 픽셀들의 이러한 클러스터 중심들로의 맵핑
Figure pat00027
도 획득된다. 따라서, 이미지 k 내의 위치 x,y에 있는 픽셀을 클러스터 중심
Figure pat00028
에 할당하는 데 필요한 에너지들을 합산하는 에너지 함수가 정의된다. 이러한 할당 또는 맵핑은 여기서
Figure pat00029
로 표시된다.
Figure pat00030
할당에 필요한 에너지는 컬러 종속 에너지
Figure pat00031
와 공간 에너지
Figure pat00032
의 가중 합이다. 양 에너지 항은 각각 컬러 공간 및 이미지 평면에서의 유클리드 거리에 비례한다. 컬러 감도와 공간 치밀성 간의 균형은 0(완전히 컬러에 민감함)과 1(완전히 치밀함) 사이의 범위를 갖는 가중 팩터
Figure pat00033
에 의해 제어된다. 에너지 함수는 예측 최대화(EM) 접근법으로 간주될 수 있는 반복 최적화 스킴을 이용하여 최소화된다.
반복
Figure pat00034
의 E-단계(예측 단계)에서, 여기서
Figure pat00035
로 표시되는 최적 맵핑의 새로운 추정이 결정되며, 이는 반복
Figure pat00036
의 M-단계(최대화 단계)에서 계산된 클러스터 중심의 최적 세트
Figure pat00037
의 추정에 기초하여
Figure pat00038
을 최소화한다.
그 후, 반복
Figure pat00039
의 M-단계에서 갱신된 맵핑이 주어질 때 할당된 픽셀들의 평균 컬러 및 평균 공간 값들을 계산함으로써 최적 클러스터 세트
Figure pat00040
의 추정이 갱신된다. 2개의 단계의 교대는 에너지
Figure pat00041
이 특정 한도 아래로 떨어지거나 고정 수의 반복이 수행될 때까지 계속된다. TCS에 대해 제안되는 하이브리드 클러스터링에서는, 관찰 윈도 내의
Figure pat00042
개의 가장 미래의 이미지들만이 최적화 동안 재할당된다. 나머지
Figure pat00043
개의 이미지에 대해서는, 발견된 컬러 클러스터링을 유지하기 위해, 결정된 맵핑이 유지된다.
관찰 윈도는 비디오 볼륨을 따라 시프트되며, 관찰 윈도에 들어가는 새로운 이미지들은 아래에 더 상세히 설명되는 바와 같이 초기화된다. 생성된 시간적으로 일관된 수퍼픽셀들의 공간 응집성을 보증하기 위해, 윤곽 기반 후처리 단계가 적용된다.
TCS의 아이디어들을 다시 참조하면, 아래의 두 가지 관찰이 수행된다. (a) 더 높은 실행 시간 성능을 달성하기 위해, 초기 에너지 최소화 클러스터 및 윤곽 기반 후처리는 분리된 단계들이다. (b) 관찰 윈도에 추가되는 새로운 이미지들은 선행 이미지의 공간 중심들만을 새로운 이미지 내에 투영함으로써 초기화된다. 결과적으로, 이전에 이미지들에서 획득된 형상 정보는 적어도 부분적으로 폐기된다.
TCS와 달리, 제안되는 접근법에 대한 에너지 함수
Figure pat00044
은 수퍼픽셀의 윤곽(또는 경계)에 있는 픽셀들, 소위 윤곽 픽셀들에 대해서만 최적화된다. 위치 x,y에 있는 윤곽 픽셀은 그의 4-연결 이웃
Figure pat00045
내의 적어도 하나의 픽셀을 가지며, 이는 상이한 클러스터, 즉 시간 수퍼픽셀에 할당되거나, 할당되지 않는다. 미할당 픽셀들의 발생 및 그들의 처리는 아래에 상세히 설명된다. 또한, 윤곽 픽셀의 할당은
Figure pat00046
내의 픽셀들의 클러스터들 중 하나에 대해서만 변경될 수 있다. 최적화의 E-단계는 아래와 같이 표현된다.
Figure pat00047
여기서,
Figure pat00048
는 프레임 k에서의 반복 단계
Figure pat00049
후의 윤곽 픽셀들의 세트이다. 최적화는 관찰 윈도 내의
Figure pat00050
개의 가장 미래의 이미지에 대해 행해진다. M-단계는 변경 없이 유지된다. 최적화는 윤곽 픽셀들에 대한 추가 할당 변경이 존재하지 않는 경우에 또는 최대 수의 반복에 도달한 경우에 종료될 수 있다.
위의 설명에 더하여, 두 가지 제약이 존재한다. 첫째, 수퍼픽셀들의 공간 응집성이 보증되는 경우에만 할당 변경이 행해진다. 이러한 제약은 도 2에 도시된 바와 같이 시간 수퍼픽셀의 단편들이 최적화 동안 분할되는 것을 방지한다. 3개의 하위 도면은 2개의 수퍼픽셀(밝은 회색 및 어두운 회색) 사이의 5x5 픽셀 이웃을 나타낸다. 중심 픽셀((b) 내의 중간 회색)이 그의 할당을 변경하는 경우, 그의 우측의 2개의 픽셀은 밝은 회색 수퍼픽셀에 대한 연결을 잃으며, 따라서 그들은 ((c) 내에 예시적으로 도시된 바와 같은) 주요 매스(mass)로부터 분할될 것이다. 따라서, 이들과 같은 상황들에서는 할당 변경이 행해지지 않는다.
둘째, 윤곽 픽셀이 할당되지 않는 경우, 이것은
Figure pat00051
에 기초하여 그의 인접 픽셀들 중 하나의 윤곽 픽셀의 클러스터에 할당된다. 결과적으로, 공간 응집성을 보증하기 위해 TCS에서 요구되는 추가적인 후처리 단계는 더 이상 필요하지 않으며, 생략될 수 있다. 특히 첫 번째 제약이 시간 수퍼픽셀들이 비디오 콘텐츠에 적응할 수 있는 방법에 대한 유연성을 어느 정도 제한하지만, 실험들은 그것이 분할 정밀도에 악영향을 미치지 않는다는 것을 입증하였다.
전술한 바와 같이, TCS는 단지 관찰 윈도에 들어가는 새로운 이미지 내에 공간 중심들을 투영함으로써 새로운 이미지들을 초기화한다. 따라서, 클러스터에 할당된 모든 픽셀들에 대해 결정된 고밀도 광 흐름의 가중 평균이 투영에 사용된다. 특히, 균일한 컬러 또는 구조를 갖는 이미지 영역들에 대해, 이것은 이미지마다의 수퍼픽셀들의 불안정한 배치를 유발할 수 있다. 수퍼픽셀 분할에 의존하는 응용에 따르면, 이것은 바람직하지 않은 효과일 수 있다. 이러한 문제를 극복하기 위해, 한 가지 솔루션은 초기화될 새로운 이미지에 수퍼픽셀들의 형상을 전사하는 것이다. 이것은 형상 정보는 물론, 이전의 이미지들에서 획득된 수퍼픽셀 성상도도 유지하는 것을 돕는데, 그 이유는 그것이 적어도 EM 프레임워크에서의 다음 번 최적화에 대한 시작이기 때문이다.
새로운 이미지들의 그러한 초기화를 실현하기 위한 여러 방법이 존재한다. 하나의 방법은 도 3(a)에 도시된 바와 같이 평균 광 흐름을 이용하는 완전한 수퍼픽셀 라벨의 시프트이다. 대안적인 방법은 수퍼픽셀의 각각의 픽셀에 대해 예측되는 고밀도 광 흐름의 사용이다. 따라서, 수퍼픽셀 라벨은 도 3(b)에 도시된 바와 같이 새로운 이미지 내로 투영된다. 이러한 2개의 옵션은 아래의 단점을 갖는다. 새로운 이미지 내로 투영되는 2개의 수퍼픽셀이 오버랩되는 경우, 이러한 충돌을 검출하는 것이 적어도 필요하다. 게다가, 예를 들어 인접 수퍼픽셀들이 서로 떨어져 투영되는 경우에, 초기화되어야 하는 이미지 내의 미할당 부분들이 존재하는 것이 가능하다. 양 사례는 찢어져 열린 수퍼픽셀 라벨(밝은 회색 줄무늬들) 및 오버랩핑 영역들(흑색)을 도시하는 도 4에 예시되며, 고밀도 광 흐름에 의한 픽셀들의 시프팅과 유사한 방식으로 적용된다.
이러한 문제들을 방지하기 위해, 관찰 윈도에 들어가는 이미지 k+1로부터 윈도 내의 선행 이미지 k까지 계산되는 고밀도 역방향 광 흐름을 이용하는 것이 제안된다. 이러한 접근법은 도 3(c)에 도시된다. 역방향 광 흐름 성분 u 및 v를 수평 및 수직 방향에 대해 가장 가까운 정수로 반올림하고, 유효 이미지 영역 밖을 가리키는 성분들을 잘라냄으로써,
Figure pat00052
로서 표시되는 새로운 이미지 k+1의 클러스터 중심들로의 픽셀들의 초기 맵핑이 아래와 같이 이미지 k의 L번의 반복 후에 이전 맵핑으로부터 추론될 수 있다.
Figure pat00053
이러한 접근법은 전술한 문제를 해결하며, 각각의 픽셀에 대한 명백한 라벨을 유도한다. 순방향 광 흐름에 대해서도 존재하는 남겨진 유일한 문제는 투영된 수퍼픽셀들이 단편화될 수 있다는 것인데, 즉 그들이 공간적으로 응집되지 않는다는 것이다. 수퍼픽셀이 단편화되는 경우, 가장 큰 단편이 결정되고, 나머지 단편들은 미할당으로 설정되며, 그들은 윤곽 픽셀들의 일부이므로 최적화의 E-단계에서 처리된다.
[6]에서는, 예를 들어 교합(occlusion), 이개(disocclusion) 및 카메라에 접근하는 물체는 물론, 줌잉이기도 한 비디오 볼륨의 구조적 변화들에 대응하기 위해 휴리스틱이 도입되었다. 시간 수퍼픽셀을 분할하거나 종결하기 위한 결정은 수퍼픽셀 크기의 선형 증가 가정에 기초하여 행해졌다. 게다가, 프레임당 수퍼픽셀들의 수를 일정하게 유지하기 위해 별도의 균형화 단계가 수행되었다. 수퍼픽셀들의 처리를 간소화하기 위해, 이러한 2개의 단계는 수퍼픽셀 크기에 대한 상한 및 하한을 도입함으로써 단일 단계로 대체된다. 최적화 후에 상한보다 큰 수퍼픽셀들은 분할되며, 최적화 후에 하한보다 작은 수퍼픽셀들은 종결된다. 따라서, 이러한 한도들은 사용자에 의해 초기에 지정된 수퍼픽셀들의 수에 결합된다. 따라서, 사용자는 이미지당 수퍼픽셀들의 최소 및 최대 수
Figure pat00054
및
Figure pat00055
를 각각 정의한다. 그에 기초하여, 아래와 같이 상한 및 하한
Figure pat00056
및
Figure pat00057
이 도출된다.
Figure pat00058
및
Figure pat00059
여기서,
Figure pat00060
는 이미지당 픽셀들의 수이다. 본 구현에서, 수퍼픽셀들의 수는 N으로 지정되며,
Figure pat00061
및
Figure pat00062
는 각각
Figure pat00063
및 2N으로 설정된다.
제안되는 접근법을 요약하기 위해, 하이브리드 클러스터링 스킴은 할당 단계에서 슬라이딩 윈도의 가변 이미지들 내의 윤곽 픽셀들만을 처리하도록 확장된다. 슬라이딩 윈도의 가변 이미지들은 현재 이미지 및 미래 이미지들이다.
슬라이딩 윈도에 들어가는 새로운 이미지들은 아래의 방식으로 초기화된다. 슬라이딩 윈도에 들어갈 새로운 이미지와 슬라이딩 윈도 내의 최후 이미지 사이에서 역방향 흐름이 계산된다. 새로운 이미지 내의 각각의 픽셀에 대한 이러한 역방향 흐름에 기초하여, 최후 이미지 내의 대응하는 픽셀이 결정된다. 이어서, 새로운 이미지 내의 각각의 픽셀은 최후 이미지 내의 대응하는 픽셀이 할당되는 것과 동일한 클러스터에 할당된다. 남은 유일한 문제는 투영된 수퍼픽셀들이 단편화될 수 있다는 것, 즉 그들이 공간적으로 응집되지 않다는 것이다. 단편화된 수퍼픽셀의 경우, 최대 단편이 결정되며, 나머지 단편들에 속하는 픽셀들은 미할당으로 설정된다. 미할당 픽셀들은 최적화의 E-단계에서 처리된다.
할당 변경들은 수퍼픽셀들의 공간 응집성이 보증되는 경우에만 행해지며, 이는 최적화 동안 시간 수퍼픽셀의 단편들이 분할되는 것을 방지한다. 게다가, 임의의 미할당 윤곽 픽셀은 그의 인접 픽셀들 중 하나의 인접 픽셀의 클러스터에 할당된다. 결과적으로, 공간 응집성을 보증하기 위해 어떠한 추가 후처리도 단계도 필요하지 않다.
초기화를 위한 윤곽 전파를 포함하는 비디오 볼륨에 대한 윤곽 전개 기반 클러스터링은 상이한 유형의 카메라 이동, 비강체 모션(non-rigid motion) 및 모션 블러(motion blur)를 갖는 데이터세트들에 대해서도 높은 시간 일관성 및 높은 경계/윤곽 정밀도를 유도한다. 더욱이, 선택적 처리(할당 단계 동안 윤곽 픽셀들만 처리)로 인해, 경쟁력 있는 실행 시간 성능이 달성된다.
이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 본 발명에 따른 방법이 도 5에 개략적으로 도시된다. 제1 단계에서, 예를 들어 이미지들의 시퀀스의 제1 이미지의 픽셀들을 수퍼픽셀들로 클러스터링함으로써 또는 제1 이미지에 대한 초기 클러스터 할당을 검색하고 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리함으로써 제1 이미지에 대한 클러스터 할당을 생성한다(10). 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화한다(11). 이어서, 이미지들의 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리한다(12).
도 6은 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 본 발명에 따른 장치(20)를 개략적으로 나타낸다. 장치(20)는 이미지들의 시퀀스를 수신하기 위한 입력(21)을 포함한다. 클러스터 할당 생성기(22)는 예를 들어 이미지들의 시퀀스의 제1 이미지의 픽셀들을 수퍼픽셀들로 클러스터링함으로써 또는 제1 이미지에 대한 초기 클러스터 할당을 검색하고 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리함으로써 제1 이미지에 대한 클러스터 할당을 생성한다(10). 라벨 전파기(23)는 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화한다(11). 이어서, 윤곽 픽셀 프로세서(24)는 이미지들의 시퀀스의 후속 이미지들에 대해 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리한다(12). 결과적인 수퍼픽셀들은 바람직하게 출력(25)에서 이용 가능해진다. 물론, 장치(20)의 상이한 유닛들(22, 23, 24)은 또한 단일 유닛으로 완전히 또는 부분적으로 결합될 수 있거나, 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 또한, 입력(21) 및 출력(25)은 또한 단일 양방향 인터페이스를 형성할 수 있다.
참고 문헌
Figure pat00064

Claims (11)

  1. 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법으로서,
    - 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하는 단계(10);
    - 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화하는 단계(11); 및
    - 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하는 단계(12)
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하는 단계(10)는 상기 제1 이미지의 픽셀들을 수퍼픽셀들로 클러스터링하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성하는 단계(10)는 상기 제1 이미지에 대한 초기 클러스터 할당을 검색하고, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 수퍼픽셀들의 공간 응집성(coherency)이 보증되는 경우에만 픽셀의 할당 변경이 행해지는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    수퍼픽셀의 단편화(fragmentation)의 경우에, 상기 수퍼픽셀의 최대 단편이 결정되며, 상기 수퍼픽셀의 나머지 단편들에 속하는 픽셀들은 미할당으로 설정되는 방법.
  6. 제5항에 있어서,
    임의의 미할당 픽셀이 그의 인접 픽셀들 중 하나의 인접 픽셀의 클러스터에 할당되는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상한보다 큰 수퍼픽셀들을 분할하고, 하한보다 작은 수퍼픽셀들을 종결하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서,
    상기 상한 및 상기 하한은 이미지당 픽셀들의 수 및 이미지당 최소 및 최대 수퍼픽셀들의 수 각각으로부터 결정되는 방법.
  9. 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들을 생성하도록 구성되는 장치(20)로서,
    - 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성(10)하도록 구성되는 클러스터 할당 생성기(22);
    - 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화(11)하도록 구성되는 라벨 전파기(23); 및
    - 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리(12)하도록 구성되는 윤곽 픽셀 프로세서(24)
    를 포함하는 장치(20).
  10. 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들의 생성을 가능하게 하는 명령어들을 저장한 컴퓨터 판독 가능 저장 매체로서,
    상기 명령어들은 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금,
    - 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성(10)하고;
    - 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화(11)하고;
    - 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리(12)하게 하는 컴퓨터 판독 가능 저장 매체.
  11. 이미지들의 시퀀스에 대한 시간적으로 일관된 수퍼픽셀들의 생성을 가능하게 하는 명령어들을 포함하는 컴퓨터 프로그램으로서,
    상기 명령어들은 컴퓨터에 의해 실행될 때 상기 컴퓨터로 하여금,
    - 이미지들의 상기 시퀀스의 제1 이미지에 대한 클러스터 할당을 생성(10)하고;
    - 역방향 광 흐름을 이용하는 라벨 전파에 기초하여 후속 이미지들을 초기화(11)하고;
    - 이미지들의 상기 시퀀스의 후속 이미지들에 대해, 윤곽 픽셀들만을 그들의 클러스터 할당과 관련하여 처리(12)하게 하는 컴퓨터 프로그램.
KR1020150086034A 2014-06-20 2015-06-17 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치 KR20150146419A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP14305959 2014-06-20
EP14305959.0 2014-06-20
EP14306209.9 2014-07-28
EP14306209.9A EP2980754A1 (en) 2014-07-28 2014-07-28 Method and apparatus for generating temporally consistent superpixels

Publications (1)

Publication Number Publication Date
KR20150146419A true KR20150146419A (ko) 2015-12-31

Family

ID=53540578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086034A KR20150146419A (ko) 2014-06-20 2015-06-17 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10176401B2 (ko)
EP (1) EP2958077B1 (ko)
JP (1) JP2016009488A (ko)
KR (1) KR20150146419A (ko)
CN (1) CN105303519A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6851163B2 (ja) * 2016-09-23 2021-03-31 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107038221B (zh) * 2017-03-22 2020-11-17 杭州电子科技大学 一种基于语义信息引导的视频内容描述方法
US10304192B2 (en) * 2017-07-11 2019-05-28 Sony Corporation Fast, progressive approach to supervoxel-based spatial temporal video segmentation
JP2021144253A (ja) * 2018-05-22 2021-09-24 ソニーグループ株式会社 画像処理装置、画像処理方法、およびプログラム
CN109767388B (zh) * 2018-12-28 2023-03-24 西安电子科技大学 基于超像素提升图像拼接质量的方法、移动终端、相机
CN109903334A (zh) * 2019-02-25 2019-06-18 北京工业大学 一种基于时间一致性的双目视频运动物体检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003085599A1 (en) * 2002-04-11 2003-10-16 Koninklijke Philips Electronics N.V. Motion estimation unit and method of estimating a motion vector
US7515766B2 (en) 2004-09-22 2009-04-07 Intel Corporation Apparatus and method for edge handling in image processing
US7760911B2 (en) * 2005-09-15 2010-07-20 Sarnoff Corporation Method and system for segment-based optical flow estimation
US8472718B2 (en) 2011-04-27 2013-06-25 Sony Corporation Superpixel segmentation methods and systems
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN102903128B (zh) 2012-09-07 2016-12-21 北京航空航天大学 基于局部特征结构保持的视频图像内容编辑传播方法
US9299157B2 (en) * 2012-10-31 2016-03-29 Environmental Systems Research Institute (ESRI) Scale-invariant superpixel region edges
CN103067705B (zh) 2012-12-19 2016-06-08 宁波大学 一种多视点深度视频预处理方法
US9129399B2 (en) * 2013-03-11 2015-09-08 Adobe Systems Incorporated Optical flow with nearest neighbor field fusion
US10121254B2 (en) * 2013-08-29 2018-11-06 Disney Enterprises, Inc. Methods and systems of detecting object boundaries
US9247129B1 (en) * 2013-08-30 2016-01-26 A9.Com, Inc. Self-portrait enhancement techniques
US9430499B2 (en) * 2014-02-18 2016-08-30 Environmental Systems Research Institute, Inc. Automated feature extraction from imagery

Also Published As

Publication number Publication date
JP2016009488A (ja) 2016-01-18
US10176401B2 (en) 2019-01-08
US20150371113A1 (en) 2015-12-24
CN105303519A (zh) 2016-02-03
EP2958077B1 (en) 2017-05-31
EP2958077A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
KR20150146419A (ko) 시간적으로 일관된 수퍼픽셀들을 생성하기 위한 방법 및 장치
CN109791697B (zh) 使用统计模型从图像数据预测深度
US11455712B2 (en) Method and apparatus for enhancing stereo vision
US11967083B1 (en) Method and apparatus for performing segmentation of an image
US8737723B1 (en) Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
US20150339828A1 (en) Segmentation of a foreground object in a 3d scene
EP2980754A1 (en) Method and apparatus for generating temporally consistent superpixels
US9153203B2 (en) Temporally consistent superpixels
CN107871321B (zh) 图像分割方法及装置
CN111373441B (zh) 使用运动估计的随时间注视点渲染
US20180005039A1 (en) Method and apparatus for generating an initial superpixel label map for an image
US20060165315A1 (en) Method and apparatus for depth ordering of digital images
Akin et al. Dynamically adaptive real-time disparity estimation hardware using iterative refinement
JP6472279B2 (ja) 画像処理装置及び画像処理方法
KR101316848B1 (ko) 배경 합성을 위한 자동 객체 분할 장치 및 방법
KR20120125970A (ko) 스테레오 매칭 방법 및 그 장치
Hu et al. 3D map reconstruction using a monocular camera for smart cities
US8934055B1 (en) Clustering based motion layer detection
JP4177689B2 (ja) 映像特徴情報生成装置
Reso et al. Superpixels for video content using a contour-based em optimization
Nawaf et al. Color and flow based superpixels for 3D geometry respecting meshing
Tian et al. Recovering depth of background and foreground from a monocular video with camera motion
JP4287391B2 (ja) 画像マッチング装置
Reso et al. JSuperpixels for Video Content Using
CN114972517A (zh) 一种基于raft的自监督深度估计方法