KR20110103409A - 이미지 분할 - Google Patents

이미지 분할 Download PDF

Info

Publication number
KR20110103409A
KR20110103409A KR1020117015695A KR20117015695A KR20110103409A KR 20110103409 A KR20110103409 A KR 20110103409A KR 1020117015695 A KR1020117015695 A KR 1020117015695A KR 20117015695 A KR20117015695 A KR 20117015695A KR 20110103409 A KR20110103409 A KR 20110103409A
Authority
KR
South Korea
Prior art keywords
segment
class
segment class
boundary
image
Prior art date
Application number
KR1020117015695A
Other languages
English (en)
Inventor
크리스티아안 바레캄프
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110103409A publication Critical patent/KR20110103409A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이미지를 분할하기 위한 디바이스는 이미지에 대한 세그먼트 표시들 및 경계 표시들을 수신하기 위한 사용자 입력(301, 305, 307)을 포함한다. 각 세그먼트 표시는 화소 영역들의 세트, 및 화소 영역들의 세트와 복수의 세그먼트 클래스들의 연관된 세그먼트 클래스 간의 관계를 식별한다. 각 경계 표시는 상이한 세그먼트 클래스들에 속하는 화소들 간의 경계를 식별한다. 이후, 분할 처리기(309)는 다수의 세그먼트 표시들 및 다수의 경계 표시들 모두에 응답하여 이미지를 복수의 세그먼트 클래스들로 분할한다. 구체적으로, 화소 영역들을 세그먼트 클래스들에 연결하는 값들의 전파는 경계 표시들에 의해 전파가 제한되는(예를 들어, 감쇠되는 또는 차단되는) 세그먼트 표시들에 기초하여 전파된다. 본 발명은, 예를 들어, 비디오 신호의 프레임들에 대한 대화형 이미지 분할을 향상시키거나 용이하게 할 수도 있다.

Description

이미지 분할{IMAGE SEGMENTATION}
본 발명은 이미지의 분할에 관한 것으로, 특히, 비 배타적으로는 비디오 신호의 이미지들의 분할에 관한 것이다.
이미지들의 분할은 많은 디지털 이미지 처리 기술들에 있어서 중요한 처리이다. 예를 들어, 이미지 분할은 3차원 이미징, 객체 식별, 인공적인 착색 등을 위한 깊이 맵들을 발생시키기 위해 사용될 수도 있다. 조작자에 의한 효율적인 대화형 이미지 분할은, 예를 들어, 디지털 사진 및 이미지 처리에서 또는 비디오나 디지털 이미지들에 대한 사후-제작 작업에서 중요하다. 예를 들어, 스테레오스코픽 비디오에 대한 깊이 맵 또는 디스패리티 맵의 생성은 깊이 또는 디스패리티를 정확하게 할당하기 위해서 객체 경계들의 명세를 필요로 한다.
이미지들의 대화형 분할을 수행하기 위한 방법들의 예들은 2004는 8월, 시그라프(SIGGRAPH, Special Interest Group on GRAPHics and Interactive Techniques) 2004의 카르스텐 로터, 블라드미르 콜모고로브, 앤드류 블래이크에 의한 논문 "그랩컷(GrabCut) - 반복된 그래프 컷들을 사용하는 대화형 전경 추출"에서 찾아볼 수도 있다(http://research.microsoft.com/vision/Cambridge/papers/siggraph04.pdf에서 이용 가능하다).
현재 방법들은 관심있는 객체가 어디에 위치되어 있는지를 대략 식별하기 위해 소위 "스크리블들(scribbles)"을 위치시키는 것을 기초로 하는 효율적인 분할이 존재한다. 스크리블은 일반적으로 특정 객체에 속하는 것으로 알고 있는, 즉, 동일한 세그먼트에 속하도록 하기 위해 사용자에 의해 지시되는 화소들을 명시하기 위해 사용자에 의해 이미지 위에 손으로 그려진 곡선이다. 예를 들어, 스크리블은 기본 화소들이 이미지 객체의 일부인 것을 명시하기 위해 이미지 객체 내부에 그려질 수도 있다. 이후, 분할된 영역은 (예를 들어, 색상 변화의 검출로 인해) 객체의 에지에 도달된 것으로 추정될 때까지 이웃하는 화소들이 동일한 세그먼트에 할당되는 스크리블로부터 확산될 수도 있다. 대안적으로 또는 부가적으로, 특정 객체에 속하지 않도록 하기 위해 사용자에 의해 지시되는 다수의 화소들을 식별하고, 그에 따라서, 이미지 객체 세그먼트에 포함되지 않아야 하는 (일반적으로, 이미지 객체 세그먼트에 대한 보완 세그먼트에 포함되어야 하는 다수의 화소들을 규정하는 스크리블과 동등한) 스크리블이 그려질 수도 있다. 이 경우에, 변화가 검출될 때까지, 이미지 객체에 대응하는 세그먼트와는 다른 세그먼트에 화소들을 할당하기 위해 동일한 방식이 사용될 수도 있다. 예를 들어, 외부 객체 스크리블은 배경 화소들을 규정하기 위해 사용될 수도 있고, 내부 객체 스크리블은 전경 객체에 대한 전경 화소들을 규정하기 위해 사용될 수도 있다. 이러한 스크리블들이 있는 이미지의 예가 도 1에 도시되어 있다.
그러나, 이러한 방식들이 이미지의 분할에 도움이 될 수도 있을지라도, 많은 이미지들에 대한 차선의 성능을 제공할 수도 있다. 예를 들어, 이웃하는 객체들 간에 색상 변화가 매우 작거나 없다면, 알고리즘은 종종 상이한 세그먼트들 간에 최적의 선명한 분리를 발생시키지는 않을 것이다. 분할 정확도에서의 이러한 열화가 추가의 더욱 정확하고 상세한 스크리블들을 배치함으로써 완화될 수도 있을지라도, 이것은 실질적으로 필요한 사용자 상호작용을 증가시키고, 성가시고 힘든 처리가 되도록 한다.
대화형 분할을 위해 제안된 또 다른 방식은 상이한 객체들 간의 에지들을 사용자들이 직접 규정하는 것이다. 예를 들어, 사용자는 이미지 객체의 특정 윤곽을 따라 그릴 수도 있고, 분할은 윤곽의 한 측에 있는 화소들을 하나의 세그먼트에 할당하고 다른 측에 있는 화소들을 또 다른 세그먼트에 할당함으로써, 상이한 세그먼트들 간의 경계를 규정하는 것으로서 이것을 사용할 수도 있다. 그러나, 이 방식은 사용자에게 매우 부담이 되고 시간 소모적인 경향이 있으며, 분할을 제공하기 위해 사용자가 많은 (또는 심지어는 모든) 윤곽들을 손으로 따라 그려야 할 필요가 있다. 따라서, 분할 방식은 매우 힘들고 성가시다. 또한, 결과적인 분할은 종종 사용자가 입력한 윤곽들이 기본 객체 에지들과 정확히 일치하지 않을 수도 있기 때문에 차선일 수도 있다. 또한, 윤곽의 한 측에 하나 이상의 세그먼트가 나타나는 경우에, 개별 화소들이 어느 세그먼트들에 속하는지를 정확히 식별하기가 어려울 수도 있다. 사용자가 규정한 윤곽들이 있는 이미지의 예가 도 2에 도시되어 있다.
따라서, 이미지 분할에 대한 개선된 방식이 유리할 수도 있고, 특히, 유연성이 증가되고, 복잡도가 감소되고, 사용자 상호작용이 감소되고, 분할이 개선되고 및/또는 성능이 개선될 수 있는 시스템이 유리할 수도 있다.
따라서, 본 발명은 바람직하게 상술된 단점들 중 하나 이상을 개별적으로 또는 임의의 조합으로 완화시키거나 경감시키거나 제거하는 것을 추구한다.
이미지를 분할하는 방법이 제공되는 본 발명의 양태에 따르면, 본 방법은: 이미지에 대한 다수의 세그먼트 표시들을 수신하는 단계로서, 각 세그먼트 표시는 화소 영역들의 세트, 및 화소 영역들의 세트와 복수의 세그먼트 클래스들의 연관된 세그먼트 클래스 사이의 관계를 식별하는, 상기 다수의 세그먼트 표시들을 수신하는 단계; 이미지에 대한 다수의 경계 표시들을 수신하는 단계로서, 각 경계 표시는 복수의 세그먼트 클래스들의 상이한 세그먼트 클래스들에 속하는 화소들 간의 경계를 식별하는, 상기 다수의 경계 표시들을 수신하는 단계; 및 다수의 세그먼트 표시들 및 다수의 경계 표시들 모두에 응답하여 이미지를 복수의 세그먼트 클래스들로 분할하는 단계를 포함한다.
본 발명은 개선된 분할을 제공할 수도 있다. 특히, 사용자가 제공한 세그먼트 표시들 및 경계 표시들에 기초하여 개선된 대화형 이미지 분할이 달성될 수 있다. 본 발명은 특히 강한 시각적 변화들을 나타내지 않는 객체 에지들 주변에서의 개선된 분할을 가능하게 할 수도 있고, 또한 반-자동화된 분할을 가능하게 할 수도 있다. 소정의 이미지 및 분할 정확도를 위해 필요한 사용자 상호작용이 많은 실시예들에서 감소될 수도 있다.
분할화는, 화소 영역을 세그먼트 클래스에 할당할 때, 세그먼트 및 이미지 표시들 모두를 동시에 고려하는 조합된 분할일 수도 있다. 분할은, 경계 표시들에 의해 전파(propagation)가 제한되는 세그먼트 표시들로부터의 세그먼트 클래스 할당들의 전파에 기초하여 화소 영역들을 세그먼트 클래스들에 할당하는 것에 의할 수도 있다.
세그먼트 표시들 및/또는 경계 표시들은 사용자에 의해 규정될 수도 있고, 사용자 입력으로부터 수신될 수도 있다. 세그먼트 표시는 구체적으로 사용자가 입력한 스크리블일 수도 있고, 경계 표시는 사용자가 입력한 윤곽일 수도 있다. 각 화소 영역이 단일 화소나 몇몇 화소를 포함할 수도 있거나, 또는 모든 화소 영역들이 복수의 화소들을 포함할 수도 있다. 세그먼트 클래스는 그에 할당된 하나도 없거나 하나 또는 그 이상의 세그먼트들을 가질 수도 있다. 몇몇 실시예들에 있어서, 세그먼트 클래스는 그에 할당된 단 하나의 세그먼트만을 가질 수도 있고, 그에 따라서, 세그먼트 및 세그먼트 클래스는 동등할 수도 있다.
본 발명의 선택적인 특징에 따르면, 분할화는: 적어도 제 1 세그먼트 표시에 의해 식별되는 각 화소 영역에 세그먼트 클래스 링크 값을 할당하는 단계로서, 세그먼트 클래스 링크 값은 제 1 세그먼트 표시의 연관된 세그먼트 클래스 및 화소 영역의 연결을 나타내는, 상기 세그먼트 클래스 링크 값을 할당하는 단계; 세그먼트 클래스 링크 값들을 이미지의 할당되지 않은 화소 영역들에 전파하는 단계; 및 경계 표시에서 세그먼트 클래스 링크 값들의 전파를 감쇠시키는 단계를 포함한다.
이것은 개선된 분할을 제공하고 및/또는 동작을 용이하게 하고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 세그먼트 표시들에 의해 표시되는 세그먼트들은 적절한 이미지 구역들을 커버하기 위해 자동으로 확장될 수도 있는 한편, 이 확장은 경계 표시들에 의해 제한되게 되고, 그로써, 개선된 이미지 세그먼트 에지 결정을 제공한다. 이 방식은 제공될 선택적인 세그먼트 경계 정보가 세그먼트 표시 기반 전파를 명령할 수도 있도록 함으로써, 구역들을 분할하기가 아주 힘든 경우에 개선된 분할을 보장한다.
이 방식은 특히 세그먼트 표시들 및 경계 표시들에 의해 제공되는 정보 사용의 유리한 조합을 제공할 수도 있다. 특히, 단일 알고리즘에서의 표시들의 효율적인 통합에 대해 낮은 복잡도 및 자원 요건들을 제공할 수도 있다. 이 방식은 또한 분할을 수행할 때 세그먼트 표시들 및 경계 표시들로부터의 정보의 적절한 균형을 제공할 수도 있다.
경계 표시들에서의 세그먼트 클래스 링크 값들의 전파의 감쇠는 구체적으로 경계 표시를 가로지르는 세그먼트 클래스 링크 값들의 블록 전파일 수도 있다.
본 발명의 선택적인 특징에 따르면, 세그먼트 클래스 값들의 전파는 또한 화소 영역들에 대한 시각적 속성들의 유사성에 의존한다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 세그먼트 및 경계 표시들의 사용과 조합될 수도 있다.
본 발명의 선택적인 특징에 따르면, 분할화는: 복수의 세그먼트 클래스들의 제 1 세그먼트 클래스에 대한 제 1 세그먼트 클래스 링크 값을, 제 1 세그먼트 클래스와 연관된 적어도 하나의 세그먼트 표시에 의해 식별되는 화소 영역들에 할당하는 단계로서, 각 세그먼트 클래스 링크 값은 화소 영역 및 제 1 세그먼트 클래스 간의 링크 강도 표시를 제공하는, 상기 할당 단계; 화소 영역들의 그룹에 대한 제 1 세그먼트 클래스에 대한 세그먼트 클래스 링크 값들을 결정하는 단계; 및 화소 영역들의 그룹의 적어도 몇몇 화소 영역들에 대해서, 화소 영역에 대한 제 1 세그먼트 클래스에 대한 세그먼트 클래스 링크 값에 응답하여 복수의 세그먼트 클래스들의 세그먼트 클래스를 선택하는 단계를 포함하고; 세그먼트 클래스 링크 값들을 결정하는 단계는: 화소 영역들의 인근 세트의 세그먼트 클래스 링크 값들의 조합으로서 화소 영역들의 그룹의 각 화소 영역에 대한 세그먼트 클래스 링크 값들을 결정하는 단계를 포함하고, 조합은 경계 표시에 의해 각 화소 영역으로부터 분리되는 화소 영역들의 인근 세트 중 임의의 세트에 의존한다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 동작을 용이하게 할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 세그먼트 표시들에 의해 표시된 세그먼트들은 적절한 이미지 구역들을 커버하기 위해 자동으로 확장될 수도 있는 한편, 이 확장이 경계 표시들에 의해 제한되도록 함으로써, 개선된 이미지 세그먼트 에지 결정을 제공한다. 방식은 제공될 선택적인 세그먼트 경계 정보가 세그먼트 표시 기반 전파를 명령하는 것을 가능하게 할 수도 있음으로써, 구역들을 분할하기가 아주 힘들 때 개선된 분할을 보장한다.
방식은 세그먼트 표시들 및 경계 표시들에 의해 제공되는 정보의 사용의 특히 유리한 조합을 제공할 수도 있다. 특히, 단일 알고리즘에서의 표시들의 효율적인 통합에 대해 낮은 복잡도 및 자원 요건들을 제공할 수도 있다. 방식은 또한 분할을 수행할 때 세그먼트 표시들 및 경계 표시들로부터의 정보의 적절한 균형을 제공할 수도 있다.
화소 영역들의 이웃하는 세트들을 사용하는 전파는 고품질의 분할을 유지하면서 낮은 복잡도, 낮은 자원 이용을 제공할 수도 있다.
화소 영역 및 세그먼트 클래스에 대한 세그먼트 클래스 링크 값은 화소 영역이 세그먼트 클래스에 속할 가능성을 나타낼 수도 있다. 화소 영역들의 그룹은 이미지의 모든 화소 영역들을 포함할 수도 있거나 또는 그 서브세트일 수도 있다.
화소 영역들의 그룹은 구체적으로 세그먼트 표시에 기초한 세그먼트 클래스 링크 값을 할당받는 화소 영역들을 배제할 수도 있다. 화소 영역들의 그룹은 구체적으로 화소 영역들의 할당되지 않은 세트에 대응할 수도 있고, 화소 영역들의 할당되지 않은 세트는 세그먼트 표시에 응답하여 세그먼트 클래스 링크 값을 할당받지 않은 화소 영역들에 대응한다. 화소 영역들의 인근 세트는 구체적으로 조합이 수행되는 화소 영역에 대한 거리, 방향 및/또는 위치 기준을 충족하는 화소 영역들의 세트일 수도 있다.
본 발명의 선택적인 특징에 따르면, 할당하는 단계는, 초기 세그먼트 클래스 링크 값을, 제 1 세그먼트 클래스 링크 값이 할당되지 않은 적어도 몇몇 화소 영역들에 할당하는 단계를 더 포함하고, 초기 세그먼트 클래스 링크 값은 제 1 세그먼트 클래스 링크 값보다 약한 제 1 세그먼트 클래스에 대한 링크를 나타낸다.
이것은 분할을 개선할 수도 있고 및/또는 용이하게 할 수도 있다. 이 방법은, 예를 들어, 초기에 세그먼트 클래스에 대한 세그먼트 표시들에 의해 식별되는 화소 영역들과 연관되는 세그먼트 클래스 링크 값들에 최대 링크 값을 할당하고, 세그먼트 표시들에 의해 식별되지 않은 화소 영역들과 연관되는 클래스 링크 값들에 최소 링크 값을 할당할 수도 있다. 예를 들어, 화소 영역이 제 1 세그먼트 클래스에 속할 1의 확률에 대응하는 세그먼트 클래스 링크 값은, 모든 다른 화소 영역들에 할당될 0의 확률을 갖는 제 1 세그먼트 표시에 의해 식별되는 화소 영역들에 할당될 수도 있다.
본 발명의 선택적인 특징에 따르면, 화소 영역들의 인근 세트의 분리된 화소 영역에 대한 세그먼트 클래스 링크 값의 가중치가 감소되도록 조합이 이루어지고, 분리된 화소 영역은 경계 표시에 의해 각 화소 영역으로부터 분리되는 화소 영역이다.
이것은 분할을 개선할 수도 있고 및/또는 용이하게 할 수도 있다.
본 발명의 선택적인 특징에 따르면, 분리된 화소 영역의 가중치는 0이다.
이것은 분할을 개선할 수도 있고 및/또는 용이하게 할 수도 있다. 특히, 전파를 차단할 수도 있고, 그로써, 명백한 분할 에지를 반영하게 된다.
본 발명의 선택적인 특징에 따르면, 화소 영역들의 인근 세트의 인근 화소 영역에 대한 세그먼트 클래스 링크 값의 가중치가 인근 화소 영역의 시각적 특성 및 각 화소 영역의 시각적 특성에 대한 유사성 척도에 의존하도록 조합이 이루어진다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 동작을 용이하게 할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 세그먼트 및 경계 표시들의 사용과 잘 조합될 수도 있다.
본 발명의 선택적인 특징에 따르면, 화소 영역들의 세트의 각 화소 영역에 대한 세그먼트 클래스 링크 값들을 결정하는 단계는, 화소 영역들의 그룹의 각 화소 영역에 대해 세그먼트 클래스를 선택하는 단계 이전에 반복된다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 동작을 용이하게 할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다.
본 발명의 선택적인 특징에 따르면, 방법은: 복수의 세그먼트 클래스들의 제 2 세그먼트 클래스에 대한 제 2 세그먼트 클래스 링크 값을 제 2 세그먼트 클래스와 연관된 적어도 하나의 세그먼트 표시에 의해 식별되는 화소 영역들에 할당하는 단계로서, 각 세그먼트 클래스 링크 값은 화소 영역과 제 2 세그먼트 클래스 간의 링크 강도 표시를 제공하는, 상기 할당 단계; 및 제 2 세그먼트 클래스에 대한 화소 영역들의 그룹에 대한 세그먼트 클래스 링크 값들을 결정하는 단계를 더 포함하고; 화소 영역들의 그룹의 각 화소 영역에 대해 세그먼트 클래스를 선택하는 단계는, 제 1 세그먼트 클래스에 대한 제 1 화소 영역에 대한 세그먼트 클래스 링크 값 및 제 2 세그먼트 클래스에 대한 제 1 화소 영역에 대한 세그먼트 클래스 링크 값의 비교에 응답하여 제 1 화소 영역에 대한 세그먼트 클래스를 선택하는 단계를 포함한다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 동작을 용이하게 할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 개별 화소 영역이 어느 세그먼트 클래스에 속하는지에 대한 선택을 개선하는 것을 가능하게 할 수도 있다. 이 방식은, 예를 들어, 모든 세그먼트 클래스들로 확장될 수도 있다. 화소 영역에 대한 세그먼트 클래스의 선택은 구체적으로 세그먼트 클래스에 대한 화소 영역의 가장 강한 링크를 나타내는 세그먼트 클래스 링크 값을 갖는 세그먼트 클래스의 선택에 대응할 수도 있다.
본 발명의 선택적인 특징에 따르면, 방법은: 이미지의 분할을 사용자에게 표시하는 단계; 이미지에 대한 새로운 세그먼트 표시 및 새로운 경계 표시 중 적어도 하나의 사용자 입력을 수신하는 단계; 및 새로운 세그먼트 표시 및 새로운 경계 표시 중 적어도 하나에 응답하여 분할을 갱신하는 단계를 더 포함한다.
본 발명은 개선된 반복적 사용자 대화형 분할 처리를 제공할 수도 있다. 이 방법은, 특히, 사용자로 하여금 분할을 위한 중대한 구역들을 식별할 수 있도록 하는 분할 결과들을 사용자에게 표시할 수도 있다. 이후, 이러한 구역들의 분할은 갱신된 및 개선된 분할의 결과를 가져오는 부가적인 경계 정보를 제공하는 사용자에 의해 개선될 수도 있다. 예를 들어, 반-자동화 전파 기반 분할이 부가적인 사용자 입력에 의해 반복적으로 개선될 수도 있다.
본 발명의 선택적인 특징에 따르면, 방법은 임의의 경계 표시들 또는 세그먼트 표시들에 기초하지 않는 초기 분할에 의해 화소 영역들을 발생시키는 단계를 더 포함한다.
이것은 개선된 분할을 제공할 수도 있고 및/또는 동작을 용이하게 할 수도 있고 및/또는 복잡도를 감소시킬 수도 있다. 특히, 개별 화소 기반 처리가 불필요하기 때문에 연산 자원을 감소시킬 수도 있다. 초기 분할은 일반적으로 예상 세그먼트 크기들보다 상당히 작은 세그먼트들을 발생시킬 수도 있다.
본 발명의 선택적인 특징에 따르면, 분할은 깊이 맵 분할이다.
본 발명은, 예를 들어, 3차원 이미지 데이터를 발생시키기에 적합한 개선된 깊이 맵 분할을 제공할 수도 있다. 깊이 맵은 깊이 표시들, 디스패리티 표시들 또는 이미지 객체들이나 구역들에 대한 절대 또는 상대 깊이를 나타내는 임의의 다른 속성을 포함할 수도 있다.
본 발명의 선택적인 특징에 따르면, 상술된 방법을 실행하기 위한 컴퓨터 프로그램 제품이 제공된다.
본 발명의 양태에 따르면, 이미지를 분할하기 위한 디바이스가 제공되고, 디바이스는: 이미지에 대한 다수의 세그먼트 표시들을 수신하기 위한 수단으로서, 각 세그먼트 표시는 화소 영역들의 세트, 및 화소 영역들의 세트와 복수의 세그먼트 클래스들의 연관된 세그먼트 클래스 간의 관계를 식별하는, 상기 다수의 세그먼트 표시들을 수신하기 위한 수단; 이미지에 대한 다수의 경계 표시들을 수신하기 위한 수단으로서, 각 경계 표시는 복수의 세그먼트 클래스들의 상이한 세그먼트 클래스들에 속하는 화소들 간의 경계를 식별하는, 상기 다수의 경계 표시들을 수신하기 위한 수단; 및 다수의 세그먼트 표시들 및 다수의 경계 표시들 모두에 응답하여, 이미지를 복수의 세그먼트 클래스들로 분할하기 위한 수단을 포함한다.
본 발명의 이들 및 다른 양태들, 특징들 및 이점들은 이하 설명되는 실시예(들)로부터 명백해질 것이며, 이를 참조하여 설명될 것이다.
본 발명의 실시예들은 도면들을 참조하여 단지 예시적으로 설명될 것이다.
본 발명에 따르면, 비디오 신호의 프레임들에 대한 상호 이미지 분할을 향상시키거나 용이하게 할 수 있다.
도 1은 스크리블들이 있는 이미지의 예를 도시하는 도면.
도 2는 사용자가 규정한 윤곽들이 있는 이미지의 예를 도시하는 도면.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지를 분할하기 위한 장치의 예를 도시하는 도면.
도 4는 2개의 이미지 객체들을 포함하는 이미지의 단면의 예를 도시하는 도면.
도 5는 본 발명의 몇몇 실시예들에 따른 대화형 이미지 분할 방법의 예를 도시하는 도면.
도 6은 본 발명의 몇몇 실시예들에 따른 대화형 이미지 분할을 위한 특성들을 전파하는 방법의 예를 도시하는 도면.
이어지는 설명은 상이한 이미지 객체들 또는 구역들에 대한 상이한 깊이 레벨들 (및 구체적으로는 전경 및 배경 깊이)를 나타내는 깊이 맵을 발생시키기 위해서 이미지의 분할에 응용할 수 있는 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이 응용으로 제한되지 않고, 많은 다른 종류들의 및 목적들의 이미지 분할에 응용될 수도 있다는 것이 인식될 것이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지를 분할하기 위한 장치의 예를 도시한다.
이 장치는 사용자로부터 입력들을 수신할 수 있는 사용자 입력(301) 및 분할될 이미지를 디스플레이할 수 있는 디스플레이(303)를 포함한다. 특정 예에서, 디스플레이는 디스플레이 배치의 터치 감지부에 대응하는 사용자 입력(301)을 갖는 터치 감지 디스플레이이다. 다른 실시예들에 있어서, 예를 들어, 마우스, 터치 패드 또는 그래픽 태블릿을 포함한 다른 종류들의 사용자 입력이 사용될 수도 있다는 것이 인식될 것이다. 사용자 입력은 분할 처리기(309)에 모두 연결되는 세그먼트 처리기(305)와 경계 처리기(307)에 연결되고, 분할 처리기(309)는 또한 디스플레이(303)에 연결된다.
분할 처리기(309)는 또한 분할될 이미지를 분할 처리기(309)에 제공하는 이미지 소스(311)에 연결된다. 특정 예에서, 이미지는 비디오 시퀀스의 이미지이고, 구체적으로는 비디오 신호의 프레임일 수도 있다. 그러나, 다른 예들에서는, 디지털 사진과 같은 단일 이미지가 분할될 수도 있다는 것이 인식될 것이다.
분할 처리기(309)는 분할되는 이미지를 디스플레이(303) 상에 표시할 수도 있고, 사용자는 분할을 돕기 위해 사용자 입력들을 제공할 수도 있다. 구체적으로, 사용자는 동일한 세그먼트 내에(또는 대안적으로는 외부에) 있는 것으로 고려되는 특정 화소들을 나타내는 데이터 및 상이한 세그먼트들 간의 경계들 또는 에지들을 나타내는 정보를 입력할 수도 있다.
조작자는 특정 세그먼트 클래스에 속해야 하는 화소들의 세트를 나타내는 세그먼트 표시를 입력할 수도 있다. 구체적으로, 이미지의 분할은 이미지를 각각 특정 세그먼트 클래스에 속하는 상이한 세그먼트들로 나눌 것이고, 동일한 세그먼트 클래스에 모두 속하는 화소들의 세트는 세그먼트 표시에 의해 식별될 수도 있다.
이어지는 설명은 이미지를 다수의 세그먼트들로 분할하고, 여기서, 각 세그먼트는 2개의 세그먼트 클래스들 중 하나에 속할 수 있는 예에 초점을 맞출 것이다. 예에서, 이미지의 배경에 대응하는 하나의 세그먼트 클래스들 및 이미지의 전경에 대응하는 또 다른 세그먼트 클래스에 대해 이진 깊이 분할이 수행된다. 따라서, 이미지는 간단히 전경 이미지 객체들 및 배경 이미지 구역들로 분할된다. 그러나, 다른 실시예들에 있어서는, 2개 이상의 세그먼트 클래스들로 분할이 이루어질 수도 있고, 그 분할은 다른 목적들을 위해 의도된 및 다른 특성들을 고려한 분할일 수도 있다. 예를 들어, 이 방식은 각 이미지 객체와 연관되는 개별 세그먼트 클래스를 갖는 (예를 들어, 움직임 추정을 위한) 개별 이미지 객체들을 식별하기 위해 사용될 수도 있다.
사용자에 의해 제공되는 세그먼트 표시는 동일한 세그먼트 클래스에 속하는 것으로 고려되는 화소들의 세트를 나타낸다. 예를 들어, 사용자는 전경 세그먼트에 포함되어야 하는 전경 화소들의 세트를 나타낼 수도 있다. 유사하게, 사용자는 배경 세그먼트에 포함되어야 하는 배경 화소들의 세트를 나타낼 수도 있다.
특정 예로서, 사용자는, 예를 들어, 전경 세그먼트 클래스와 같은 세그먼트 클래스를 먼저 선택할 수도 있다. 이어서, 사용자는 그 세그먼트 클래스에 속해야 하는 몇몇 화소들을 수동으로 나타낼 수도 있으며, 즉, 몇몇 전경 화소들을 나타낼 수도 있다. 이 표시는 도 3의 시스템에서 사용자가 터치 감지 디스플레이에 스타일러스를 직접 적용하여, 예를 들어, 전경 화소들을 나타내는 선이나 곡선을 그림으로써 제공된다.
사용자는 동일한 세그먼트(또는 세그먼트 클래스)에 대한 또는 상이한 세그먼트 클래스들에 대한 여러 개의 세그먼트 표시들을 포함하는 복수의 세그먼트 표시들을 입력할 수도 있다.
몇몇 실시예들에서, 세그먼트 표시들은 대안적으로 또는 부가적으로 소정의 세그먼트 클래스에 속하지 않아야 하는 화소들의 세트를 규정할 수도 있다. 예를 들어, 사용자는 전경 세그먼트 클래스를 선택할 수도 있고, 이어서, 선택된 화소들이 선택된 세그먼트 클래스의 일부가 아닌 것을 반영하는 옵션을 선택할 수도 있다. 따라서, 사용자는 대안적으로 또는 부가적으로 화소들이 전경 화소들이 아닌 것을 식별하는 세그먼트 표시를 입력할 수도 있다. 이러한 표시는 또 다른 세그먼트 클래스에 속하는 화소들의 식별에 대응할 수도 있지만(예를 들어, 전경 및 배경만으로의 분할에 대해서, 네가티브 전경 표시는 포지티브 배경 표시에 대응하지만), 반드시 그런 것은 아니다. 예를 들어, 배경, 중간 및 전경 세그먼트 클래스들로의 분할에 대해서, 분할 표시는, 전경 화소들은 아니지만 그들이 배경 화소들인지 중간 화소들인지를 명시하지 않은 화소들을 나타낼 수도 있다.
사용자가 세그먼트 표시를 입력할 때, 사용자 입력은 선택된 세그먼트 클래스에 대한 화소 위치들의 선택된 세트를 규정하는 데이터를 발생시키도록 하는 세그먼트 처리기(305)에 공급된다. 이 데이터는 이어서 이미지를 분할할 때 사용되는 분할 처리기(309)로 전달된다.
시스템의 조작자는 또한 상이한 세그먼트 클래스에 속하는 화소들 간의 경계를 나타내는 경계 표시를 입력할 수 있다. 따라서, 사용자는 상이한 세그먼트 클래스들에 속하는 상이한 세그먼트들에 속하는 이미지 객체들 간의 에지를 규정할 수도 있다. 구체적으로, 조작자는 전경 이미지 객체 및 배경 이미지 구역 간의 경계를 규정할 수도 있다.
특정 예로서, 사용자는 경계 표시를 입력하는 옵션을 먼저 선택할 수도 있다. 이어서, 사용자는 2개의 세그먼트들(및 세그먼트 클래스들)을 분리하는 몇몇 위치들을 수동으로 나타낼 수도 있다. 이 표시는 도 3의 시스템에서 사용자가 터치 감지 디스플레이에 스타일러스를 직접 적용하여, 예를 들어, 2개의 세그먼트들 간의 경계를 나타내는 선이나 곡선을 그림으로써 제공된다.
사용자는 복수의 경계 표시들을 입력할 수도 있다. 또한, 경계 표시는 0의 폭을 가질 수도 있거나(즉, 화소들 사이에 놓이도록 결정될 수도 있거나), 또는 하나 이상의 화소들의 폭을 가질 수도 있다(그에 의해, 화소들 중 몇몇이 경계 화소들이 되는 결과를 가져온다). 이어지는 설명은 화소들 사이에 놓이는 경계 표시들(즉, 경계 화소들이 없는 예들)에 초점을 맞출 것이다.
도 3의 디바이스에서, 사용자가 경계 표시를 입력할 때, 사용자 입력은 경계에 대한 화소-간 위치들의 선택된 세트를 규정하는 데이터를 발생시키도록 하는 경계 처리기(307)에 공급된다. 이 데이터는 이어서 이미지를 분할할 때 사용될 분할 처리기(309)로 전달된다.
사용자는 특정 세그먼트 클래스에 속하는 위치들의 세트를 식별하는 선 또는 곡선을 이미지 위에 분명히 그림으로써 세그먼트 표시를 제공할 수도 있다는 것이 인식될 것이다. 이것은 종종 "스크리블(scribble)"이라고 한다. 그러나, 예를 들어, 브러시 도구를 사용하는 것을 포함한 다른 사용자 입력들이 사용될 수도 있어서, (예를 들어, 세그먼트 또는 세그먼트 클래스에 포함되어야 하는 다양한 구역들을 "스탬핑(stamping)"하는 것에 대응하는) 세그먼트 클래스에 속하는 개별 구역들을 나타내도록 한다.
유사하게, 사용자는 상이한 세그먼트 클래스들에 속하는 2개의 세그먼트들을 분리하는 위치들의 세트를 식별하는 선 또는 곡선을 이미지 위에 분명히 그림으로써 경계 표시를 제공할 수도 있다는 것이 인식될 것이다. 이것은 종종 "윤곽(contour)"이라고 한다. 그러나, 다른 사용자 입력들이 사용될 수도 있다는 것 또한 인식될 것이다.
특정 예로서, 도 3의 시스템은 다음과 같은 두 가지 사용자 입력 모드들에서 동작할 수 있다:
스크리블 모드: 이 모드에서, 사용자는 임의의 객체의 내부에 스크리블을 배치할 수 있다. 스크리블은 특정 세그먼트 클래스에 연결된다. 스크리블들은 객체 경계들을 가로지르지 않아야 한다.
윤곽 모드: 이 모드에서, 사용자는 2개의 객체들 간의 변화 위에 윤곽을 배치할 수 있다. 구체적으로, 변화들 위에서의 다수의 지점들이 선택될 수도 있고, 그들은 곡선을 형성하도록 조합될 수도 있다.
도 4는 2개의 이미지 객체들(A 및 B)을 포함하는 이미지의 부분의 예를 도시하고, 여기서, A는 전경 객체이고 B는 배경 객체이다. 이 예에서, 사용자는 배경 스크리블(401), 전경 스크리블(403) 및 2개의 이미지 객체들에 대응하는 세그먼트들 간의 경계를 규정하는 윤곽(405)을 입력하였다.
분할 처리기(309)는 제공된 세그먼트 및 경계 표시들을 사용하여 이미지를 분할하도록 한다. 이 시스템에서, 분할은 세그먼트 표시들 및 경계 표시들 모두에 의해 동시에 제한된다. 따라서, 분할 동안 어떠한 사용자 입력도 없이(그러나, 사전에 제공된 사용자 입력을 사용하여) 이미지의 자동 분할이 수행된다. 그러나, 자동 분할은 제공되는 세그먼트 및 경계 표시들에 의해 제한되고, 기본적으로, 세그먼트 표시의 모든 화소들이 연관된 세그먼트 클래스에 속하도록 및 세그먼트 클래스들 간의 경계가 경계 표시에 의해 표시되는 곳에 존재하도록 수행된다. 분할 처리기(309)에 의한 자동 분할은 명백히 이미지들의 시각적 특성들에 기초할 수도 있다(예를 들어, 색상 변화들에 기초할 수도 있다).
도 3의 예에서, 대화형 동작이 구현된다. 따라서, 자동 분할의 결과들은 (예를 들어, 세그먼트 에지들을 나타내는 선들을 디스플레이 이미지에 오버레이함으로써) 분할 처리기(309)에 의해 디스플레이 상에 표시된다. 사용자는 이어서, 예를 들어, 사용자가 소망의 동작을 선택함으로써 및 터치 감지 디스플레이 위에 직접 그림으로써 하나 이상의 분할 및/또는 경계 표시들의 추가적인 입력을 제공할 수도 있다. 새로운 세그먼트 또는 경계 표시의 입력에 이어서(또는, 예를 들어, 사용자가 분명히 그것을 요청할 때), 분할이 갱신되고, 새로운 분할이 디스플레이 상에 표시될 수도 있다. 따라서, 분할 결과로부터, 사용자는 분할이 실패한(예를 들어,객체들 간의 선명한 색상 변화가 없는 것으로 인해, 분할 표시들에만 기초한 분할이 실패한) 중대한 구역들을 결정할 수 있다. 사용자는 이어서 이러한 중대한 구역들 위에서의 수동의 사용자 입력에 집중할 수 있고, 구체적으로, 경계 표시를 입력하기 위해 윤곽 모드로 전환할 수 있고, 그에 의해, 세그먼트들 간의 에지를 수동으로 규정한다.
이 반복은 조작자가 결과를 만족하고 이미지에 대한 분할 동작이 완료되었다는 것을 나타낼 때까지 반복될 수도 있다. 반복 방식은 개선된 대화형 분할을 제공할 수도 있고, 예를 들어, 사용자가 단지 필요한 수의 입력들로 상호작용을 제한하게 할 수도 있다. 제일 먼저 디스플레이되는 분할 결과는 어떠한 세그먼트 또는 경계 표시들도 고려하지 않은 완전히 자동화된 분할의 결과일 수도 있다.
도 3의 예에서, 분할 처리기(309)에 의해 수행되는 분할은, 화소들이 어떤 세그먼트 클래스에 속할 수 있는지를 나타내는 값이 이웃하는 화소들 간의 전파에 의해 화상에서 전파되는, 전파 알고리즘에 기초한다. 전파는 구체적으로 세그먼트 표시들에서 비롯될 수도 있고, 세그먼트 표시들의 화소들로부터 이웃하는 화소들로 및 이들 이웃하는 화소들로부터 그들의 이웃하는 화소들 등으로 확산/전파될 수도 있다. 이 예에서, 전파는 화소들의 시각적 특성들에 의존하여, 전파가 유사한 시각적 특성들을 갖는 화소들 사이에서는 강하고, 매우 상이한 시각적 특성들을 갖는 화소들 사이에서는 약하게 되도록 한다. 또한, 이 방식에서, 값들의 전파는 경계 표시들에 의해 표시된 경계들에서 차단(또는 감쇠)된다.
보다 상세히, 알고리즘은 화소 영역과 세그먼트 클래스 간의 연결을 나타내는 세그먼트 클래스 링크 값들에 기초할 수도 있다. 이 예에서, 각 화소는 각 가능한 세그먼트 클래스에 대해 세그먼트 클래스 링크 값을 가지며, 즉, 구체적인 예에서, 각 화소는 배경 세그먼트 클래스 링크 값 및 전경 세그먼트 클래스 링크 값을 갖는다. 또한, 예에서, 세그먼트 클래스 링크 값은 화소가 그 세그먼트 클래스에 할당되어야 할 확률을 나타내고, 그에 따라서, 각 세그먼트 클래스 링크 값은 간격 [0,1]에 속하고, 여기서, 0은 화소가 분명히 세그먼트 클래스에 속하지 않는 것을 나타내고, 1은 화소가 분명히 세그먼트 클래스에 속하는 것을 나타낸다.
처음에, 소정의 세그먼트 클래스에 대한 세그먼트 클래스 값이 모든 화소들에 할당된다. 세그먼트 클래스에 대한 (포지티브) 세그먼트 표시에 포함된 임의의 화소가 (화소가 세그먼트 클래스에 속할 확률이 높은 것을 나타냄. 일반적으로는 1의 값이 할당된다.) 소정의 미리 결정된 값이 되도록 할당이 이루어진다. 제 2 미리 결정된 값은 모든 다른 화소들에 대해 제공되고, 여기서, 제 2 미리 결정된 값은 화소가 세그먼트 클래스에 속할 확률이 낮은 것을 나타낸다. 예를 들어, 0의 값이 할당된다.
분할 처리기(309)는 이어서 이웃하는 화소들, 및 화소와 이웃하는 화소들 간의 시각적 유사성에 기초하여 화소들에 대한 세그먼트 클래스 값들을 결정하도록 한다. 이 처리는 여러 번(예를 들어, 50번 이상) 반복되고, 수정되지 않은(즉, 1의 값을 유지하는) 세그먼트 표시들에 의해 식별된 화소들에 대한 세그먼트 클래스 링크 값들에 의해 제한된다.
따라서, 소정의 세그먼트 클래스에 대한 세그먼트 표시와 이웃하는 화소들에 대해서, 제 1 반복은 0의 초기값이 화소들 간의 시각적 차이에 의존하는 값으로 증가되는 결과를 가져온다. 마찬가지로, 채색된 화소들에 대해서, 그 값은 1(에 근사한 값)로 변경될 수도 있고, 그에 의해, 이들 화소들이 분할 표시에 의해 표시되는 화소들과 동일한 세그먼트에 속할 가능성이 높은 것을 나타낸다. 후속하는 반복들에 있어서, 이웃 화소들의 이웃들은 세그먼트 클래스 링크 값들을 증가시키고, 따라서, 세그먼트 클래스 값은 화상에서 세그먼트 표시들로부터 전파된다. 또한, 전파는 시각적 유사성에 의존함으로써, 선명한 변화가 검출될 때(예를 들어, 선명한 색상 변화), 변화가 세그먼트 에지를 나타낼 가능성이 높다는 것을 반영하기 위해, 전파가 차단되거나 실질적으로 감쇠되도록 한다.
또한, 시각적 특성들에 대한 의존도 외에, 전파는 경계 표시들에 의존한다. 구체적으로, 경계 표시가 2개의 이웃 화소들 간에 경계가 존재한다는 것을 나타낼 때마다, 이들 간의 세그먼트 클래스 링크 값의 전파는 상당히 감쇠되거나 또는 완전히 차단된다. 따라서, 경계 표시들에 의해 표시된 경계들을 가로지르는 임의의 전파가 실질적으로 감소되거나 또는 구체적으로 완전히 차단될 수도 있도록, 전파가 이루어진다.
경계 및 분할 표시들을 조합한 동시 사용은, 낮은 복잡도와 편리한 사용자 조작에 의해 자동 분할이 제어되고 소망의 결과가 되도록 할 수 있기 때문에, 매우 향상된 분할을 가능하게 한다.
분할 처리기(309)는, 몇몇 실시예들에 있어서, 설명된 알고리즘을 단일 세그먼트 클래스에만 적용할 수도 있다. 예를 들어, 전경 세그먼트 클래스에 대해서만 전파가 수행될 수도 있다. 전파에 기초하여, 각 화소는 후속하여 화소에 대한 결과적인 세그먼트 클래스 링크 값에 기초하여 하나의 세그먼트 클래스에 할당될 수도 있다. 예를 들어, 0.5보다 큰 세그먼트 클래스 값을 갖는 모든 화소들은 전경 세그먼트 클래스에 대응하는 라벨에 할당될 수도 있고, 모든 다른 화소들은 배경 세그먼트 클래스에 대응하는 라벨에 할당될 수도 있다.
도 3의 특정 예에서, 분할 처리기(309)는 세그먼트 클래스들 각각에 전파 알고리즘을 독립적으로 적용하도록(즉, 전경 및 배경 세그먼트 클래스들 모두에 독립적으로 적용하도록) 진행한다. 이후, 각 개별 화소는 후속하여 가장 높은 세그먼트 클래스 값을 갖는 세그먼트 클래스에 할당된다.
다음에서, 도 3의 시스템의 분할 동작의 특정 예가, 본 발명의 몇몇 실시예들에 따른 대화형 이미지 분할의 방법의 예를 도시하는 도 5를 참조하여 설명될 것이다.
시스템에서, 이미지는 초기에 다수의 화소 영역들로 분할되고, 그들 각각은 하나 이상의 화소들을 포함할 수도 있다. 따라서, 앞서 기술된 예들에서의 화소들에 대한 참조들이, 가능하게는 하나 이상의 화소를 포함하는 화소 영역들에 대해 동일하게 적용될 수도 있다는 것이 인식될 것이다. 다수의 화소들을 갖는 화소 영역들의 사용은 설명된 분할에 대한 복잡도 및 연산 부담을 분명히 감소시킬 수도 있다.
따라서, 도 5의 방법은 초기 이미지를 수신하고 적절한 수의 화소 영역들을 발생시키기 위해 과분할(over segmentation)을 수행하는 분할 처리기(309)에 의해 단계 501에서 시작된다(즉, 각각 하나 이상의 화소들을 포함할 수도 있지만 대화형 이미지 분할의 결과를 가져올 세그먼트들보다 훨씬 작을 수도 있는 화소 영역들로 분할이 이루어진다). 예에서, 시스템은 또한 수신된 이미지를 디스플레이(303) 상에 디스플레이한다.
구체적으로, 이미지는 먼저 많은 작은 영역들로 과분할된다. 과분할을 생성할 수 있는 많은 상이한 방법들이 공지되어 있고, 임의의 적절한 이러한 방법이 분할 처리기(309)에 의해 사용될 수도 있다는 것이 인식될 것이다.
초기 과분할은 이미지 색상, 이미지 텍스처 또는 이미지 움직임과 같은 임의의 이미지 또는 비디오 속성에 기초할 수도 있다.
따라서, 화소 영역들로의 초기 분할은 어떠한 사용자 입력도 없이, 구체적으로는 어떠한 세그먼트 표시들 또는 경계 표시들도 고려하지 않고 수행된다.
선택적으로, 도 3의 시스템은, 화소 영역들을 발생시키기 위한 과분할 이후에, 어떠한 사용자 입력도 없이 초기 분할안을 제공하기 위해 이미지를 분할하도록 진행할 수도 있다. 이 분할의 결과가 오버레이로서 이미지의 상부에 그려질 수도 있음으로써, (그 결과가 이미 용인 가능하다면) 사용자가, 예를 들어, 임의의 추가적인 대화형 분할을 스킵하도록 할 수 있거나, 또는 자동화된 분할이 특히 어려운 구역들을 강조할 수도 있다.
단계 501에 이어서, 사용자 입력에 기초한 반복적인 대화형 분할이 초기화된다. 분할은, 각 화소 영역에 각 가능한 세그먼트 클래스에 대한 세그먼트 클래스 링크 값이 제공되는 전파 방식을 사용한다. 분할의 목적은 (세그먼트 클래스에 대응하는) 세그먼트 라벨을 각 화소 영역에 할당하는 것이다. 특정 예에서, 각 화소 영역은 그에 따라서 전경 또는 배경 중 하나가 되도록 할당된다. 화소 영역 및 세그먼트 클래스에 대한 세그먼트 클래스 링크 값은 화소 영역이 그 세그먼트 클래스에 할당되어야 하는 확률을 나타낸다.
단계 501 다음에는, 아무것도 없거나, 하나 또는 그 이상의 세그먼트 표시들이 사용자로부터 수신되는 단계 503이 이어지고, 각 세그먼트 표시는 세그먼트 클래스에 연결된다. 상술된 바와 같이, 세그먼트 표시들은 사용자가 터치 감지 디스플레이(301, 303) 위에 직접 그림으로써 발생되는 스크리블들일 수도 있다.
단계 503 다음에는, 아무것도 없거나 하나 또는 그 이상의 경계 표시들이 사용자로부터 수신되는 단계 505가 이어진다. 상술된 바와 같이, 세그먼트 표시들은 사용자가 터치 감지 디스플레이(301, 303) 위에 직접 그림으로써 발생되는 윤곽들일 수도 있다.
분할의 각 반복에서, 아무것도 없거나 하나 또는 그 이상의 세그먼트 표시들 및 아무것도 없거나 하나 또는 그 이상의 경계 표시들이 수신될 수도 있지만, 일반적으로는 적어도 하나의 세그먼트 또는 경계 표시가 각 반복에서 수신된다는 것이 인식될 것이다.
단계 505에 이어서, 분할 처리기(309)는, 세그먼트 표시들에 기초하여 할당된 세그먼트 클래스 링크 값들이, 대응하는 세그먼트 표시(들)에 의해 식별되지 않은 화소 영역들로 전파되는, 전파 기반 분할을 개시한다. 또한, 전파는 경계 표시들, 및 예에서는 화소 영역들 간의 시각적 특성들의 유사성에 의존한다. 전파는 각 개별 세그먼트 클래스에 대해 개별적으로 수행된다.
따라서, 단계 505 다음에는, 세그먼트 클래스 링크 값들의 전파가 하나의 세그먼트 클래스에 대해 수행되는 단계 507이 이어진다. 단계 507 다음에는, 모든 세그먼트 클래스들이 전파되었는지가 결정되는 단계 509가 이어진다. 만일 그렇다면, 방법은 단계 511에서 계속되고, 그렇지 않다면, 다음 세그먼트 클래스에 대한 전파 처리를 수행하기 위해 단계 507로 되돌아간다. 몇몇 예들에서, 단일 세그먼트 클래스만이 세그먼트 선택을 위해 사용되고, 그에 따라서, 몇몇 경우들에서는 단일 반복만이 수행될 수도 있다는 것이 인식될 것이다.
전파 방식의 예가 도 6을 참조하여 설명될 것이다.
소정의 세그먼트 클래스에 대한(예를 들어, 배경 세그먼트 클래스 또는 전경 세그먼트 클래스에 대한) 전파는, 세그먼트 클래스에 대한 세그먼트 클래스 링크 값이, 세그먼트 클래스에 속하도록 하기 위해 사용자에 의해 제공되는 하나 이상의 세그먼트 표시들에 의해 식별되는 화소 영역들에 할당되는 단계 601에서 개시한다.
구체적으로, 세그먼트 클래스에 대한 세그먼트 표시에 의해 식별되는 각 화소 영역에 대한 세그먼트 클래스 링크 값은 화소 영역 및 세그먼트 클래스 간의 강한 링크를 나타내는, 즉, 화소 영역이 이 세그먼트 클래스에 속할 수도 있다는 것을 나타내는 할당된 미리 결정된 값이다.
구체적으로, 스크리블은, 대응하는 세그먼트 클래스에 화소 영역들이 속할 높은 신뢰도를 나타내는 세그먼트 클래스 링크 값이 스크리블과 교차하는 모든 화소 영역들에 제공되는 효과를 갖는다. 예를 들어, m이 세그먼트 표시에 대한 세그먼트 클래스를 나타낸다고 하면, 세그먼트 표시에 의해 식별되는 모든 영역들 j∈i(여기서, i는 모든 화소 영역들의 세트이다)에는 그 세그먼트 클래스에 화소 영역들을 명백하게 할당하는 값이 제공된다. 예를 들어, 화소 영역이 세그먼트 클래스에 속할 확률을 나타내는 세그먼트 클래스 링크 값은 화소 영역이 세그먼트 클래스에 속할 확실성을 나타내도록 설정된다:
Figure pct00001
유사하게, 네가티브 세그먼트 표시(즉, 특정 세그먼트 클래스에 속하지 않는 화소 영역들을 나타내는 세그먼트 표시)에 대해서, 약한(또는 없는) 링크를 나타내는 미리 규정된 값이 세그먼트 클래스 링크 값에 할당된다. 예를 들어, 화소 영역(k)이 세그먼트 클래스에 속할 확률을 나타내는 세그먼트 클래스 링크 값에 대해서, 세그먼트 클래스 링크 값은 화소 영역이 세그먼트 클래스에 속하지 않을 확실성을 나타내도록 설정된다:
Figure pct00002
세그먼트 표시는 동시에 네가티브 및 포지티브 세그먼트 표시일 수 있다는 것이 인식될 것이다. 예를 들어, 전경 및 배경으로 분할하는 예에서, 배경 스크리블은 배경 세그먼트 클래스에 대한 포지티브 세그먼트 표시 및 전경 세그먼트 클래스에 대한 네가티브 세그먼트 표시 모두를 제공한다.
따라서, 단계 601에 이어서, 다수의 세그먼트 클래스 링크 값들은 몇몇 화소 영역들에 할당된다. 이들 화소 영역들은 할당된 세트로서 지칭된다. 또한, 다수의 화소 영역들에는 임의의 (고정된) 세그먼트 클래스 링크 값들이 할당되지 않는다(이는 그들이 세그먼트 표시의 일부가 아니기 때문이다). 이들 화소 영역들은 할당되지 않은 세트로서 지칭된다.
몇몇 실시예들에 있어서, 초기 세그먼트 클래스 링크 값은 또한 할당되지 않은 세트의 화소 영역들에 할당될 수도 있다. 예를 들어, 포지티브 세그먼트 표시들에 대해 사용된 값보다 훨씬 약한 세그먼트 클래스에 대한 링크를 나타내는 초기 값이 할당될 수도 있다. 구체적으로, 초기 세그먼트 클래스 링크 값들은 모든 할당되지 않은 화소 영역들에 대해 0으로 설정될 수도 있다(또는, 예를 들어, 특정 세그먼트 클래스가 화소 영역에 존재한다는 일부 이전 확신이 존재한다는 것을 나타내는 0.5로 설정될 수도 있다).
방법은 이어서 구체적으로는 할당되지 않은 세트에 대응하는 화소 영역들의 그룹에 대한 세그먼트 클래스 링크 값들을 결정하도록 진행한다.
전파 반복은, 할당되지 않은 세트에서 다음 화소 영역이 선택되는 단계 603에서 시작한다. 상이한 실시예들에서, 화소 영역들이 갱신되는 상이한 순서들이 사용될 수도 있다는 것이 인식될 것이다. 예를 들어, 몇몇 시나리오들에 있어서, 화소 영역들은 상부에서 하부로 및 왼쪽에서 오른쪽으로 처리될 수도 있고, 다른 시나리오들에 있어서는, 시퀀스가 하부에서 상부로 및 오른쪽으로부터 왼쪽으로 처리될 수도 있고, 다른 시나리오들에 있어서는, 세그먼트 표시들에 대한 거리가 증가하는 시퀀스로 처리될 수도 있고, 다른 시나리오들에 있어서는, 예를 들어, 랜덤한 순서로 처리될 수도 있다.
방법은 이어서 화소 영역들의 인근 세트가 현재 화소 영역에 대해 결정되는 단계 605에서 계속된다. 몇몇 실시예들에 있어서, 인근 세트는 간단히 현재 화소에 인접한 모든 화소 영역들을 포함할 수도 있지만, 다른 실시예들에서는 다른 세트들이 사용될 수도 있다는 것이 인식될 것이다. 예를 들어, 몇몇 실시예들에 있어서, 인근 세트는 비대칭일 수도 있고, 또 다른 방향에서보다는 한 방향에서 많은 수의 화소 영역들을 포함할 수도 있다. 예를 들어, 이미 처리된 방향에서의 화소 영역들만이 포함될 수도 있다. 또한, 몇몇 실시예들에 있어서, 현재 화소 영역의 인근에 있는 선택된 화소 영역들의 특정 패턴은, 예를 들어, 3개까지의 화소 영역들의 거리에서 교호하는 화소 영역마다 선택될 수도 있다.
따라서, 인근 세트는 현재 화소 영역에 대한 위치들에서 다수의 화소 영역들을 규정하는 상대 위치 기준에 응답하여 선택될 수도 있다. 위치 기준은, 예를 들어, 현재 화소에 대한 인근 세트에 포함될 화소 영역들에 대한 거리 및 방향 특성들을 명시할 수도 있다.
단계 605 다음에는, 그의 화소 영역들 중 임의의 영역들이 경계 표시에 의해 현재 화소 영역으로부터 분리되는지를 결정하기 위해 인근 세트가 평가되는 단계 607이 이어진다. 예를 들어, 수직 윤곽이 사용자에 의해 현재 화소 영역의 바로 오른쪽으로 배치되었다면, 인근 세트의 모든 화소 영역들은 윤곽/경계 표시에 의해 현재 화소 영역으로부터 분리될 것이며, 그에 따라서, 이들 화소 영역들은 분리된 화소 영역들로서 지정될 것이다.
단계 607 다음에는, 현재 화소 영역에 대한 세그먼트 클래스 링크 값이 화소 영역들의 인근 세트의 세그먼트 클래스 링크 값들의 조합으로서 계산되는 단계 609가 이어진다. 또한, 조합은, 그 조합이 인근 세트가 임의의 분리된 영역들을 포함하는지에 의존하도록 이루어진다. 구체적으로, 임의의 분리된 화소 영역으로부터의 기여도는, 화소 영역이 경계 표시에 의해 분리되지 않았다면, 그 화소 영역으로부터의 대응하는 기여도에 비해 감소된다.
구체적으로, 조합은 인근 세트의 각 화소 영역의 세그먼트 클래스 링크 값으로부터의 기여도가 인근 세트의 다른 화소 영역들에 대해 가중되도록 이루어진다. 가중치는 2개의 화소 영역들의 시각적 유사성에 기초하고, 구체적으로는 색상 유사성에 기초한다. 따라서, 색상이 매우 유사한 인근 화소 영역들에 대해 높은 가중치가 제공될 수도 있음으로써, 동일한 세그먼트에 속할 수도 있는 반면에, 매우 상이한 색상들을 갖는 인근 화소 영역들에 대해 낮은 가중치가 제공됨으로써, 이들 화소 영역들이 동일한 세그먼트에 속할 가능성이 감소된 것을 반영한다.
또한, 인근 화소 영역에 대한 가중치는 인근 화소 영역이 경계 표시에 의해 분리되는지에 의존하고, 구체적으로, 임의의 분리된 화소 영역의 가중치는 화소 영역이 경계 표시에 의해 분리되지 않는 상황에 비해 감소된다. 감소는 구체적으로 분리된 화소 영역으로부터의 임의의 기여도가 완전히 무시되는 0의 가중치에 대응할 수도 있다.
특정 예에서, 세그먼트 클래스(k)에 대한 화소 영역(i)에 대한 세그먼트 클래스 링크 값은 인근 화소 영역들(j)의 세그먼트 클래스 링크 값들로부터 계산된다. 영역(i)에 대해서, 세그먼트 클래스 링크 값은 다음을 사용하여 갱신된다:
Figure pct00003
여기서,
Figure pct00004
r, g 및 b는 RGB 색상 표현에 있어서의 적색, 녹색 및 청색 값들을 나타낸다. 값 α는 소망의 전파 특성들을 제공하도록 선택될 수도 있다(많은 시나리오들에서, 약 α=0.1의 전형적인 값이 적절할 수도 있다). 따라서, 영역들(i 및 j)이 유사한 평균 컬러 값들을 갖고 경계 표시에 의해 분리되지 않는다면, 인근 화소 영역(j)에 대한 가중치는 높다. 그러나, 이러한 기여도들의 가중치는 0으로 설정되기 때문에, 세그먼트 클래스 정보는 경계 영역들을 가로질러 전파되지 않는다.
따라서, 현재 화소 영역이 현재 세그먼트 클래스에 속할 가능성을 나타내는 세그먼트 클래스 링크 값은 인근 화소 영역들의 가중된 기여도들로부터 결정된다.
몇몇 실시예들에 있어서, 현재 화소에 대한 세그먼트 클래스 링크 값은 또한 현재 화소에 대한 세그먼트 클래스 링크 값의 이전 값으로부터의 기여도를 포함할 수도 있다는 것이 인식될 것이다.
단계 609 다음에는, 할당되지 않은 세트의 모든 화소 영역들이 현재 반복에서 고려되었는지가 결정되는 단계 611이 이어진다. 고려되지 않았다면, 방법은 다음 화소 영역을 처리하기 위해 단계 603으로 되돌아간다.
모든 화소 영역들이 처리되었다면, 몇몇 실시예들에서는 전파가 종료될 수도 있다. 그러나, 예에서, 전파는 단계 603 내지 단계 611을 반복함으로써 달성되고, 그에 따라서, 이 경우에서의 방법은 충분한 반복들이 수행되었는지가 평가되는 단계 613에서 계속된다. 그렇지 않다면, 방법은 단계 615에서 다음 반복을 초기화하고, 그 후에 다음 반복을 수행하기 위해 단계 603으로 되돌아간다.
다음 반복의 초기화는 구체적으로 화소 영역들이 처리되는 순서를 선택하는 것을 포함할 수도 있다. 예를 들어, 개선된 전파는 종종 상이한 반복들에서 화소 영역들의 처리를 위해 상이한 시퀀스들을 사용함으로써 달성될 수도 있다.
전파 단계의 반복은 개선된 전파를 제공하고, 일반적으로, 전파는 적절한 분할을 근사하게 반영하는 화소 영역들에 대한 세그먼트 클래스 링크 값들의 안정한 할당 쪽으로 집중할 것이다. 예를 들어, 10 내지 100번의 반복들이 종종 적당할 수도 있다. 다른 실시예들에서는, 다른 중단 조건들이 사용될 수도 있다는 것이 인식될 것이다.
전파 반복들이 종료되었을 때, 방법은 전파가 다른 세그먼트 클래스들에 대해 반복되어야 하는지를 결정하는 단계 509에서 계속된다. 그렇지 않으면, 방법은 세그먼트 클래스가 각 화소 영역에 대해 선택되는 단계 511에서 계속된다.
특정 예로서, 2개의 가능한 세그먼트 클래스들(예를 들어, 배경 및 전경 세그먼트 클래스)로의 분할을 위해 하나의 세그먼트 클래스에 대해서만 전파가 수행되었다면, 전파된 세그먼트 클래스 링크 값이 임계치(예를 들어, 0.5)보다 클 경우, 화소 영역에 대한 세그먼트 클래스가 전파된 세그먼트 클래스로서 선택될 수도 있고, 그렇지 않은 경우에는 보완 세그먼트 클래스로서 선택될 수도 있다.
세그먼트 클래스 세그먼트 링크들이 (예를 들어, 상이한 세그먼트 클래스들에 대한 설명된 전파를 반복함으로써) 복수의 상이한 클래스들에 대해 결정되는 실시예들에 있어서, 화소 영역에 대한 세그먼트 클래스의 선택은 상이한 세그먼트 클래스 값들에 대한 세그먼트 클래스 링크 값들을 서로 비교함으로써 수행될 수도 있다. 구체적으로, 세그먼트 클래스 링크 값이 가장 강한 링크(예를 들어, 가장 높은 값)를 나타내는 세그먼트 클래스가 선택될 수도 있다.
따라서, 세그먼트 클래스들의 선택에 이어서, 모든 화소 영역들에는 세그먼트 클래스가 할당된다(즉, 그들은 그들이 속하는 것으로 고려되는 세그먼트 클래스에 대해 라벨링된다). 따라서, 이미지의 분할이 완료되고, 결과적인 분할이 단계 513에서 디스플레이(303) 상에 디스플레이될 수도 있다.
방법은 이어서, 사용자가, 분할이 용인될 수 있는지 또는 추가의 갱신들이 수행되어야 하는지를 나타내는 단계 515에서 계속한다. 만일 그렇다면, 방법은 전파 및 세그먼트 클래스 선택이 추가적인 개선된 분할을 제공하기 위해 갱신될 수도 있다는 것에 응답하여 추가의 세그먼트 및/또는 경계 표시들을 수신하기 위해 단계 503으로 되돌아간다. 이와 다르면, 방법은 단계 517에서 종료한다.
상술된 예들에 있어서, 분할은 경계 표시들에 의해 제한되는 세그먼트 표시들로부터의 세그먼트 클래스 정보의 전파에 기초하였다. 그러나, 다른 실시예들에 있어서는, 경계 표시들에 의해 표시되는 경계들을 제공하기 위해 정보를 제한하면서 세그먼트 표시들에 의해 제공되는 정보에 기초하는 다른 분할 수단이 사용될 수도 있다. 예를 들어, 소망의 전파 방식 대신, 분할은 세그먼트 표시들에 기초하고 경계 표시들에 의해 제한되는 그래프 컷 알고리즘을 사용할 수도 있다. 또 다른 예로서, 처리는 모의 어닐링(simulated annealing)에 기초할 수도 있다.
이전 설명에 있어서, 경계 표시들은 화소들 사이에 놓이는 것으로, 즉, 화소들을 식별하는 것이 아니라 오히려 상이한 화소 요소들에 속하는 화소들을 분리하는 것으로 고려되었다. 그러나, 몇몇 실시예들에 있어서, 경계 표시들은 폭을 갖는 것으로 고려될 수도 있고, 구체적으로는 경계의 일부 또는 세그먼트의 에지로 고려되는 하나 이상의 화소들(또는 화소 영역들)을 식별할 수도 있다는 것이 인식될 것이다.
예를 들어, 사용자는 자동화된 곡선 발생 알고리즘에 의해 접속되는 이미지 위의 몇몇 지점들을 선택함으로써 경계 표시를 입력할 수도 있다. (예를 들어, 하나의 화소 또는 그 이상의 폭을 가질 수도 있는) 이 곡선 위에 놓이는 화소들은 경계 화소들로서 지정된다.
또한, 경계 표시는 과분할을 수정하기 위해 사용될 수도 있고, 구체적으로는 화소 영역들을 수정하기 위해 사용될 수도 있다. 예를 들어, 경계 표시는 화소 영역을 통과하여 이동할 수도 있고, 그로써, 화소 영역을, 2개(이상)의 상이한 구역들로 분할한다. 이 경우에, 화소 영역은 2개(이상)의 분리된 구역들에 대응하는 3개(이상)의 상이한 (작은) 화소 영역들 외에, 경계 화소들을 포함하는 화소 영역으로 분할될 수도 있다.
경계 화소 영역들은 전파에서 고려될 수도 있고, 구체적으로, 모든 경계 화소 영역들에 대한 세그먼트 클래스 링크 값들은 전파 동안 0으로 설정될 수도 있다. 또한, 인근 세트에 포함될 요건을 충족하는 모든 경계 화소 영역들은 간단히 조합에서 무시될 수도 있다. 세그먼트 클래스 선택에 이어서, 경계 영역들에는 적절한 세그먼트 클래스가 할당될 수도 있다. 예를 들어, 몇몇 실시예들에 있어서, 모든 경계 영역들에는 미리 결정된 세그먼트 클래스들이 할당될 수도 있거나(예를 들어, 모두 전경 세그먼트 클래스가 할당되거나), 또는 예를 들어, 경계 영역이 아닌 가장 근접한 화소 영역의 세그먼트 클래스가 할당될 수도 있다.
명확성을 위해 상기 설명은 상이한 기능 유닛들 및 처리기들을 참조하여 본 발명의 실시예들을 기술하였다는 것이 인식될 것이다. 그러나, 상이한 기능 유닛들 또는 처리기들 간의 기능의 임의의 적절한 분배가 본 발명으로부터 벗어나지 않고 사용될 수도 있다는 것이 인식될 것이다. 예를 들어, 개별 처리기들 또는 제어기들에 의해 수행되는 것으로 예시된 기능은 동일한 처리기 또는 제어기들에 의해 수행될 수도 있다. 따라서, 특정 기능 유닛들에 대한 참조들은, 엄격한 논리적 또는 물리적 구조나 구성을 나타낸다기보다는 설명된 기능을 제공하기 위한 적절한 수단에 대한 참조들로서만 이해된다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 적어도 부분적으로는 하나 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들 상에서 작동하는 컴퓨터 소프트웨어로서 구현될 수도 있다. 본 발명의 실시예의 요소들 및 구성요소들은 임의의 적절한 방식으로 물리적으로, 기능적으로 및 논리적으로 구현될 수도 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛들에서 또는 다른 기능 유닛들의 일부로서 구현될 수도 있다. 이와 같이, 본 발명은 단일 유닛에서 구현될 수도 있거나, 또는 상이한 유닛들 및 처리기들 간에 물리적으로 및 기능적으로 분산될 수도 있다.
본 발명은 몇몇 실시예들과 함께 설명되었지만, 본원에 제시된 특정 형태로 제한되도록 하는 것은 아니다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징은 특정 실시예들과 함께 설명되는 것으로 보일 수도 있지만, 당업자들은 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수도 있다는 것을 인식할 것이다. 청구항들에 있어서, 용어 '포함하는'은 다른 요소들이나 단계들의 존재를 배제하는 것은 아니다.
또한, 개별적으로 열거되어 있다고 하더라도, 복수의 수단들, 요소들 또는 방법 단계들이, 예를 들어, 단일 유닛 또는 처리기에 의해 구현될 수도 있다. 부가적으로, 개별 특징들이 상이한 청구항들에 포함될 수도 있지만, 이들은 유리하게 조합되는 것이 가능할 수도 있고, 상이한 청구항들에 포함되는 것은 특징들의 조합이 실현 가능하지 않고 및/또는 유리하지 않다는 것을 의미하는 것은 아니다. 또한, 청구항들의 하나의 카테고리에 특징을 포함하는 것은 이 카테고리로 제한하는 것을 의미하는 것이 아니라, 오히려 특징이 다른 청구항 카테고리들에 적절히 동등하게 적용될 수 있다는 것을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 동작되어야 하는 임의의 특정 순서를 의미하는 것이 아니고, 특히, 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서로 수행되어야 하는 것을 의미하는 것은 아니다. 오히려, 단계들은 임의의 적절한 순서로 수행될 수도 있다. 또한, 단일 참조들은 복수를 배제하는 것은 아니다. 따라서, "한", "하나의", "제 1", "제 2" 등에 대한 참조들은 복수를 불가능하게 하는 것은 아니다. 청구항들에서의 참조부호들은 단지 명확한 예시로서 제공되는 것으로, 어쨌든 청구항들의 범위를 제한하는 것으로 이해되어서는 안된다.
301 : 사용자 입력 303 : 디스플레이
305 : 세그먼트 처리기 307 : 경계 처리기
309 : 분할 처리기 311 : 이미지 소스

Claims (15)

  1. 이미지를 분할하는 방법에 있어서:
    상기 이미지에 대한 다수의 세그먼트 표시들을 수신하는 단계(503)로서, 각 세그먼트 표시는 화소 영역들의 세트, 및 상기 화소 영역들의 세트와 복수의 세그먼트 클래스들의 연관된 세그먼트 클래스 간의 관계를 식별하는, 상기 다수의 세그먼트 표시들을 수신하는 단계(503);
    상기 이미지에 대한 다수의 경계 표시들을 수신하는 단계(505)로서, 각 경계 표시는 상기 복수의 세그먼트 클래스들의 상이한 세그먼트 클래스들에 속하는 화소들 간의 경계를 식별하는, 상기 다수의 경계 표시들을 수신하는 단계(505); 및
    상기 다수의 세그먼트 표시들 및 상기 다수의 경계 표시들 모두에 응답하여, 상기 이미지를 상기 복수의 세그먼트 클래스들로 분할하는 단계(507 내지 511)를 포함하는, 이미지를 분할하는 방법.
  2. 제 1 항에 있어서,
    상기 분할하는 단계는:
    적어도 제 1 세그먼트 표시에 의해 식별되는 각 화소 영역에 세그먼트 클래스 링크 값을 할당하는 단계로서, 상기 세그먼트 클래스 링크 값은 상기 제 1 세그먼트 표시의 상기 연관된 세그먼트 클래스 및 상기 화소 영역의 연결을 나타내는, 상기 세그먼트 클래스 링크 값을 할당하는 단계;
    세그먼트 클래스 링크 값들을 상기 이미지의 할당되지 않은 화소 영역들로 전파하는 단계; 및
    경계 표시에서 세그먼트 클래스 링크 값들의 전파를 감쇠하는 단계를 포함하는, 이미지를 분할하는 방법.
  3. 제 1 항에 있어서,
    상기 세그먼트 클래스 값들의 전파는 또한 상기 화소 영역들에 대한 시각적 속성들의 유사성에 의존하는, 이미지를 분할하는 방법.
  4. 제 1 항에 있어서,
    상기 분할하는 단계는:
    상기 복수의 세그먼트 클래스들의 제 1 세그먼트 클래스에 대한 제 1 세그먼트 클래스 링크 값을, 상기 제 1 세그먼트 클래스와 연관된 적어도 하나의 세그먼트 표시에 의해 식별되는 화소 영역들에 할당하는 단계(601)로서, 각 세그먼트 클래스 링크 값은 상기 화소 영역과 상기 제 1 세그먼트 클래스 간의 링크 강도 표시를 제공하는, 상기 할당하는 단계(601);
    화소 영역들의 그룹에 대한 상기 제 1 세그먼트 클래스에 대한 세그먼트 클래스 링크 값들을 결정하는 단계(603 내지 609); 및
    상기 화소 영역들의 그룹의 적어도 몇몇 화소 영역들에 대해서, 상기 화소 영역에 대한 상기 제 1 세그먼트 클래스에 대한 상기 세그먼트 클래스 링크 값에 응답하여 상기 복수의 세그먼트 클래스들의 세그먼트 클래스를 선택하는 단계(511)를 포함하고,
    상기 세그먼트 클래스 링크 값들을 결정하는 단계(603 내지 609)는:
    상기 화소 영역들의 그룹의 각 화소 영역에 대한 세그먼트 클래스 링크 값들을, 화소 영역들의 인근 세트의 세그먼트 클래스 링크 값들의 조합으로서 결정하는 단계로서, 상기 조합은 경계 표시에 의해 상기 각 화소 영역으로부터 분리되는 화소 영역들의 상기 인근 세트 중 임의의 것에 의존하는, 상기 결정하는 단계를 포함하는, 이미지를 분할하는 방법.
  5. 제 4 항에 있어서,
    상기 할당하는 단계는, 초기 세그먼트 클래스 링크 값을, 상기 제 1 세그먼트 클래스 링크 값이 할당되지 않은 적어도 몇몇 화소 영역들에 할당하는 단계를 추가로 포함하고, 상기 초기 세그먼트 클래스 링크 값은 상기 제 1 세그먼트 클래스 링크 값보다 약한 상기 제 1 세그먼트 클래스에 대한 링크를 나타내는, 이미지를 분할하는 방법.
  6. 제 4 항에 있어서,
    상기 조합은, 상기 화소 영역들의 인근 세트의 분리된 화소 영역에 대한 세그먼트 클래스 링크 값의 가중치가 감소되도록 이루어지고, 상기 분리된 화소 영역은 경계 표시에 의해 상기 각 화소 영역으로부터 분리되는 화소 영역인, 이미지를 분할하는 방법.
  7. 제 6 항에 있어서,
    상기 분리된 화소 영역의 가중치는 0인, 이미지를 분할하는 방법.
  8. 제 4 항에 있어서,
    상기 조합은, 상기 화소 영역들의 인근 세트의 인근 화소 영역에 대한 세그먼트 클래스 링크 값의 가중치가 상기 인근 화소 영역의 시각적 특성 및 상기 각 화소 영역의 시각적 특성에 대한 유사성 척도에 의존하도록 이루어지는, 이미지를 분할하는 방법.
  9. 제 4 항에 있어서,
    상기 화소 영역들의 세트의 각 화소 영역에 대한 세그먼트 클래스 링크 값들을 결정하는 단계(603 내지 609)는, 상기 화소 영역들의 그룹의 각 화소 영역에 대해 상기 세그먼트 클래스를 선택하는 단계 이전에 반복되는, 이미지를 분할하는 방법.
  10. 제 4 항에 있어서,
    상기 복수의 세그먼트 클래스들의 제 2 세그먼트 클래스에 대한 제 2 세그먼트 클래스 링크 값을, 상기 제 2 세그먼트 클래스와 연관된 적어도 하나의 세그먼트 표시에 의해 식별되는 화소 영역들에 할당하는 단계로서, 각 세그먼트 클래스 링크 값은 상기 화소 영역과 상기 제 2 세그먼트 클래스 간의 링크 강도 표시를 제공하는, 상기 할당하는 단계; 및
    상기 제 2 세그먼트 클래스에 대한 화소 영역들의 그룹에 대한 세그먼트 클래스 링크 값들을 결정하는 단계를 추가로 포함하고,
    상기 화소 영역들의 그룹의 각 화소 영역에 대해 상기 세그먼트 클래스를 선택하는 단계는, 상기 제 1 세그먼트 클래스에 대한 제 1 화소 영역에 대한 세그먼트 클래스 링크 값과 상기 제 2 세그먼트 클래스에 대한 상기 제 1 화소 영역에 대한 세그먼트 클래스 링크 값의 비교에 응답하여 상기 제 1 화소 영역에 대한 상기 세그먼트 클래스를 선택하는 단계를 포함하는, 이미지를 분할하는 방법.
  11. 제 1 항에 있어서,
    상기 이미지의 분할을 사용자에게 표시하는 단계;
    상기 이미지에 대한 새로운 세그먼트 표시 및 새로운 경계 표시 중 적어도 하나의 사용자 입력을 수신하는 단계; 및
    상기 새로운 세그먼트 표시 및 상기 새로운 경계 표시 중 적어도 하나에 응답하여 상기 분할을 갱신하는 단계를 추가로 포함하는, 이미지를 분할하는 방법.
  12. 제 1 항에 있어서,
    임의의 경계 표시들 또는 세그먼트 표시들에 기초하지 않은 초기 분할에 의해 화소 영역들을 발생시키는 단계(501)를 추가로 포함하는, 이미지를 분할하는 방법.
  13. 제 1 항에 있어서,
    상기 분할은 깊이 맵 분할인, 이미지를 분할하는 방법.
  14. 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 프로그램 제품.
  15. 이미지를 분할하기 위한 디바이스에 있어서:
    상기 이미지에 대한 다수의 세그먼트 표시들을 수신하기 위한 수단(301, 305)으로서, 각 세그먼트 표시는 화소 영역들의 세트, 및 상기 화소 영역들의 세트와 복수의 세그먼트 클래스들의 연관된 세그먼트 클래스 간의 관계를 식별하는, 상기 다수의 세그먼트 표시들을 수신하기 위한 수단(301, 305);
    상기 이미지에 대한 다수의 경계 표시들을 수신하기 위한 수단(301, 307)으로서, 각 경계 표시는 상기 복수의 세그먼트 클래스들의 상이한 세그먼트 클래스들에 속하는 화소들 간의 경계를 식별하는, 상기 다수의 경계 표시들을 수신하기 위한 수단(301, 307); 및
    상기 다수의 세그먼트 표시들 및 상기 다수의 경계 표시들 모두에 응답하여, 상기 이미지를 상기 복수의 세그먼트 클래스들로 분할하기 위한 수단(309)을 포함하는, 이미지를 분할하기 위한 디바이스.
KR1020117015695A 2008-12-09 2009-12-03 이미지 분할 KR20110103409A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08171031.1 2008-12-09
EP08171031A EP2199981A1 (en) 2008-12-09 2008-12-09 Image segmentation

Publications (1)

Publication Number Publication Date
KR20110103409A true KR20110103409A (ko) 2011-09-20

Family

ID=40791069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117015695A KR20110103409A (ko) 2008-12-09 2009-12-03 이미지 분할

Country Status (7)

Country Link
US (1) US8498482B2 (ko)
EP (2) EP2199981A1 (ko)
JP (1) JP5508435B2 (ko)
KR (1) KR20110103409A (ko)
CN (1) CN102246208B (ko)
TW (1) TW201030679A (ko)
WO (1) WO2010067277A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507998B1 (ko) * 2012-12-12 2015-04-07 연세대학교 산학협력단 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
KR102119136B1 (ko) * 2018-12-26 2020-06-05 인천대학교 산학협력단 지능형 이미지 분류 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5507962B2 (ja) * 2009-11-05 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US20110182493A1 (en) * 2010-01-25 2011-07-28 Martin Huber Method and a system for image annotation
KR101796663B1 (ko) * 2011-02-07 2017-11-10 삼성전자 주식회사 영상처리장치 및 그 제어방법
CN102707864A (zh) * 2011-03-28 2012-10-03 日电（中国）有限公司 基于混合标记的对象分割方法和系统
CN102542066B (zh) * 2011-11-11 2014-04-09 冉阳 视频聚类方法、排序方法和视频搜索方法以及相应装置
US8605973B2 (en) * 2012-03-17 2013-12-10 Sony Corporation Graph cuts-based interactive segmentation of teeth in 3-D CT volumetric data
US9082005B2 (en) * 2012-03-19 2015-07-14 Disney Enterprises, Inc. Smart scribbles for sketch segmentation
CN102663748A (zh) * 2012-03-27 2012-09-12 电子科技大学 基于频域的低景深图像分割方法
WO2013144418A1 (en) * 2012-03-29 2013-10-03 Nokia Corporation Image segmentation
CN102982539B (zh) * 2012-11-09 2015-05-27 电子科技大学 一种基于图像复杂性的特征自适应图像共分割方法
US9075494B2 (en) 2013-02-01 2015-07-07 Cyberlink Corp. Systems and methods for performing object selection
WO2014125842A1 (ja) * 2013-02-18 2014-08-21 株式会社Ｐ２Ｐ Ｂａｎｋ 画像処理装置、画像処理方法、画像処理用コンピュータプログラムおよび画像処理用コンピュータプログラムを格納した情報記録媒体
US9383259B2 (en) 2013-08-29 2016-07-05 Nokia Technologies Oy Method, apparatus and computer program product for sensing of visible spectrum and near infrared spectrum
US10073543B2 (en) 2014-03-07 2018-09-11 Htc Corporation Image segmentation device and image segmentation method
CN106575362A (zh) * 2014-08-28 2017-04-19 高通股份有限公司 基于关注区融合的对象选择
CN104463843B (zh) * 2014-10-31 2017-05-17 南京邮电大学 安卓系统的交互式图像分割方法
EP3023935B1 (en) * 2014-11-18 2019-02-27 Dassault Systèmes Partitioning an image
KR102091072B1 (ko) 2014-12-23 2020-03-19 삼성전자주식회사 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
FR3034225B1 (fr) * 2015-03-27 2018-05-04 Invidam Procede interactif d'extraction pour le traitement de videos sur appareil electronique portable
CN104751474A (zh) * 2015-04-13 2015-07-01 上海理工大学 一种级联式快速图像缺陷分割方法
US9542751B2 (en) 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions
US9865062B2 (en) 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
US11100366B2 (en) 2018-04-26 2021-08-24 Volvo Car Corporation Methods and systems for semi-automated image segmentation and annotation
CN112954261B (zh) * 2021-03-18 2021-09-10 深圳奇实科技有限公司 一种视频会议网络流量控制方法和系统
CN115934306A (zh) * 2021-08-08 2023-04-07 联发科技股份有限公司 一种电子设备、生成输出数据的方法及机器可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528263A (ja) * 1991-07-17 1993-02-05 Photo Composing Mach Mfg Co Ltd カラー画像処理装置
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JPH10340334A (ja) * 1997-06-09 1998-12-22 Fukiage Hiroshi デジタルカラ−静止画像の中の切り出す対象の輪郭を含めて太い線で明示的に指定した領域に基づいて対象の画像を切り出す方法
US6819795B1 (en) * 2000-07-07 2004-11-16 Fuji Xerox Co., Ltd. Genetic segmentation method for data, such as image data streams
US6973212B2 (en) * 2000-09-01 2005-12-06 Siemens Corporate Research, Inc. Graph cuts for binary segmentation of n-dimensional images from object and background seeds
US6937760B2 (en) * 2000-12-28 2005-08-30 University Of Washington Interactive frame segmentation with dynamic programming
CN101061509B (zh) * 2004-11-19 2010-10-27 皇家飞利浦电子股份有限公司 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
US7400767B2 (en) * 2005-07-15 2008-07-15 Siemens Medical Solutions Usa, Inc. System and method for graph cuts image segmentation using a shape prior
US7822274B2 (en) * 2006-01-17 2010-10-26 Siemens Medical Solutions Usa, Inc. Banded graph cut segmentation algorithms with laplacian pyramids
US8050498B2 (en) * 2006-07-21 2011-11-01 Adobe Systems Incorporated Live coherent image selection to differentiate foreground and background pixels
US20080136820A1 (en) * 2006-10-20 2008-06-12 Microsoft Corporation Progressive cut: interactive object segmentation
US8121367B2 (en) * 2007-09-21 2012-02-21 Siemens Aktiengesellschaft Method and system for vessel segmentation in fluoroscopic images
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507998B1 (ko) * 2012-12-12 2015-04-07 연세대학교 산학협력단 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
KR102119136B1 (ko) * 2018-12-26 2020-06-05 인천대학교 산학협력단 지능형 이미지 분류 방법

Also Published As

Publication number Publication date
EP2377096A1 (en) 2011-10-19
EP2199981A1 (en) 2010-06-23
JP2012511750A (ja) 2012-05-24
JP5508435B2 (ja) 2014-05-28
US20110243443A1 (en) 2011-10-06
EP2377096B1 (en) 2012-06-13
US8498482B2 (en) 2013-07-30
CN102246208A (zh) 2011-11-16
CN102246208B (zh) 2013-11-20
TW201030679A (en) 2010-08-16
WO2010067277A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
KR20110103409A (ko) 이미지 분할
EP2547111B1 (en) Method and apparatus for processing multi-view image using hole rendering
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
EP3767520B1 (en) Method, device, equipment and medium for locating center of target object region
KR101719088B1 (ko) 영역 분할 방법 및 검사 장치
KR20100095465A (ko) 이미지 데이터의 세그먼테이션
WO2012074361A1 (en) Method of image segmentation using intensity and depth information
CN105069453A (zh) 一种图像校正方法及装置
CN112053367A (zh) 图像处理方法、设备及存储介质
CN103942756B (zh) 一种深度图后处理滤波的方法
CN114842035A (zh) 基于深度学习的车牌脱敏方法、装置、设备及存储介质
US9936189B2 (en) Method for predicting stereoscopic depth and apparatus thereof
CN106251388A (zh) 照片处理方法和装置
JP2016122367A5 (ko)
JP2016122367A (ja) 画像処理装置、画像処理方法及びプログラム
KR101264358B1 (ko) 자동화된 포토 모자이크 영상 생성 방법 및 시스템
EP2975850A1 (en) Method for correcting motion estimation between at least two frames of a video sequence, corresponding device, computer program and non-transitory computer-readable medium
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN110751653B (zh) 一种幻灯片中的图片处理方法和装置
KR102369248B1 (ko) 가우시안 혼합 모델 및 총변이 기법을 이용한 객체 분할 장치 및 방법
KR100953738B1 (ko) 영상 영역화 장치
CN117115490A (zh) 图像预分割方法、装置、介质、电子设备
JP7012457B2 (ja) 画像処理装置、画像処理方法
KR101546635B1 (ko) 영상 편집 방법 및 장치
CN114898346A (zh) 一种场景文本检测模型的训练方法、装置和存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid