KR20100095465A

KR20100095465A - 이미지 데이터의 세그먼테이션

Info

Publication number: KR20100095465A
Application number: KR1020107015790A
Authority: KR
Inventors: 크리스티안 바레캄프
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2007-12-20
Filing date: 2008-12-15
Publication date: 2010-08-30
Also published as: US20110002541A1; TW200935872A; EP2225725A2; US8515172B2; JP2011509451A; WO2009083854A3; CN102016917A; WO2009083854A2

Abstract

이미지 데이터를 처리하는 방법은, 이미지 데이터를 수신하는 단계, 상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 문턱값을 이용하여 상기 이미지 데이터를 세그먼트하는 단계, 상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 2 문턱값을 이용하여 상기 이미지 데이터를 세그먼트하는 단계, 상기 이미지 데이터의 상기 제 1 세그먼트된 뷰를 디스플레이하는 단계, 상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하는 단계, 규정된 사용자 입력을 수신하는 단계, 상기 이미지 데이터의 상기 제 2 세그먼트된 뷰를 디스플레이하는 단계, 및 상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 단계를 포함한다. 이 방법은 심도 맵의 생성에 이용될 수 있다. 이 경우, 처리는, 하나 이상의 심도 사용자 입력들을 수신하는 단계로서, 상기 또는 각각의 심도 사용자 입력은 각각의 선택 사용자 입력에 관련되는, 상기 수신 단계, 및 그에 따라 상기 이미지 데이터에 대한 심도 맵(depth map)을 생성하는 단계를 더 포함한다.

Description

이미지 데이터의 세그먼테이션{SEGMENTATION OF IMAGE DATA}

본 발명은 이미지 데이터를 처리하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품에 관한 것이다.

3D 텔레비전들과 같은 3차원 뷰잉 디바이스들의 제공이 대두되고 있다. 이러한 디바이스들은 일반적으로 2개의 카테고리들 중 하나가 되는 경향이 있다. 제 1 카테고리는, 사용자가 특수 안경을 착용함으로써 3차원 이미지를 인식하게 하는 스테레오스코픽 디바이스(stereoscopic devices)들이다. 사용자가 착용하는 안경은 각각의 눈이 상이한 이미지를 보게 하며, 이것은 동일한 장면의 약간 상이한 뷰들이며, 뷰포인트가 어떤 짧은 거리만큼 떨어져 이격되어 사용자의 눈들이 이격되는 거리를 모방한다. 사용자의 뇌는 이들 2개의 이미지들을 처리하여 3차원 이미지를 생성한다. 디스플레이 디바이스들의 제 2 카테고리는 사용자가 아무런 특수 안경을 착용하지 않고서도 3차원 효과를 생성하는 오토-스테레오스코픽 디스플레이 디바이스들을 포함한다. 이들 디바이스들은 디스플레이로부터 다중 뷰들을 프로젝팅함으로써 작동하여, 다시 사용자의 각각의 눈이 상이한 이미지를 보게 한다. 이것이 달성될 수 있는 한 가지 방법은 이미지의 다중 뷰들을 생성하기 위하여 렌즈형 광 어레이(lenticular optical array)가 종래의 디스플레이 디바이스 상에 오버레이되게 하는 것이다.

오토-스테레오스코픽 디스플레이 디바이스들에 의한 사용을 위한 컨텐트의 가용성은 그 시장 수용성을 위해 중요하다. 오토-스테레오스코픽 디스플레이 디바이스가 만족스러운 비디오 출력을 생성하기 위하여, 심도 맵(depth map)은 비디오의 프레임마다 이용 가능하게 되어야 한다. 심도 맵 및 오리지널 프레임은 오토-스테레오스코픽 디스플레이에 의해 요구된 다중 뷰들을 생성하기 위해 이용된다. 비디오 시퀀스들이 초당 많은 프레임들을 포함함에 따라, 예를 들면, PAL 방식이 초당 25 프레임들의 프레임 레이트를 가짐에 따라, 이미지 시퀀스들에 대한 요구된 심도 맵들의 생성은 사소한 작업이 아니다.

고품질 3D 비디오의 가용성은 3D 텔레비전의 성공을 위해 중요하다. 현재 두 3차원 비디오 캡처뿐만 아니라 심도 추가에 의한 기존 또는 새롭게 획득된 2D 비디오의 3D 비디오로의 변환이 다양한 회사들에 의해 연구중이다. 잘 알려진 변환 방법은 그래픽 편집기를 통한 수동 입력을 이용하여 키-프레임들의 심도를 할당하고, 그 후에 비디오 샷의 지속구간 동안(통상적으로 수 초) 이 심도 정보를 자동으로 전파하는 것이다. 자동 전파는 신속히 완성되지만, 키-프레임들의 심도의 수동 할당(편집기를 이용)은 여전히 느리고(사용자는 통상적으로 심도 프로파일이 지정된 다각형들을 그린다) 따라서 값비싸다.

키-프레임들의 심도 할당은 현재, 공동 그래픽 편집기들을 이용하여 흔히 행해진다. 일정한 심도 또는 심도 프로파일이 할당되는 영역들을 선택하기 위해 매우 흔한 다각형 그림 도구가 이용된다. 이 처리는 사용자가 마우스를 이용하여 오브젝트 윤곽에 가깝게 커서를 배치시켜야 하기 때문에 느리다. 곡선을 오브젝트와 정확하게 정렬하기 위해서는 통상적으로 많은 마우스-클릭들이 요구된다.

다른 이미지 처리 분야에서, 1998년 아테크-하우스의 C. Oliver, S. Quegan에 의한 "Understanding Synthetic Aperture Radar Images"에는 선택을 돕기 위해 자동 세그먼테이션이 제안된다. 이러한 선택 방법은 이미지를 정사각 영역들로 분할한 후에 영역 맞춤(region fitting)을 이용하여 영역 에지들을 오브젝트 경계들과 자동으로 정렬시키기 위해 이용될 수 있다. 이 기술은 2001년 뉴욕 John Wiley and Sons의 Richard O. Duda, Peter E. Hart, 및 David G. Stork에 의한 "Pattern Classification"에 도시된 데이터의 클러스터링과 매우 유사하지만, 범용 최적화 기준에서 경계 규칙성을 통합한다는 점에서 차이점이 있다. 이것은 잡음으로 인한 불규칙한 에지들을 회피하는 것을 더욱 용이하게 한다.

커서로 영역들을 선택한 후에 심도를 영역에 할당하는 것은 자동으로 생성된 세그먼테이션이 심도 맵을 생성하는데 도움을 줄 수 있는 명확한 방법이다. 그러나, 세그먼테이션에서 영역들의 수를 선택하는 것은 어렵다. 중요한 윤곽들을 놓치는 것을 회피하기 위하여, 많은 작은 영역들이 요구된다. 한편, 큰 영역들은 더욱 신속한 심도 할당을 허용한다. 최상의 가능한 세그먼테이션을 선택하는 것이 남아 있으므로, 선택들의 쟁점인 수동 경계구분이 여전히 광범위하게 이용된다.

본 발명의 목적은 알려진 기술을 개선하고 선택 처리를 개선하는 것이다.

본 발명의 제 1 양태에 따라, 이미지 데이터를 처리하는 방법으로서, 상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계; 상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계; 상기 이미지 데이터의 상기 제 1 세그먼트된 뷰를 디스플레이하는 단계; 상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하는 단계; 상기 이미지 데이터의 상기 제 2 세그먼트된 뷰를 디스플레이하는 단계; 및 상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 단계를 포함하는, 이미지 데이터 처리 방법이 제공된다.

본 발명의 제 2 양태에 따라, 이미지 데이터를 처리하는 시스템으로서, 상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고, 상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하도록 구성된 처리기; 상기 이미지 데이터의 상기 제 1 및 제 2 세그먼트된 뷰들을 디스플레이하도록 구성된 디스플레이 디바이스; 및 상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하고, 상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하도록 구성된 사용자 인터페이스를 포함하는, 이미지 데이터 처리 시스템이 제공된다.

본 발명의 제 3 양태에 따라, 이미지 데이터를 처리하기 위한 컴퓨터 판독 가능한 매체 상의 컴퓨터 프로그램 제품으로서, 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고; 상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고; 상기 이미지 데이터의 상기 제 1 세그먼트된 뷰를 디스플레이하고; 상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하고; 상기 이미지 데이터의 상기 제 2 세그먼트된 뷰를 디스플레이하고; 상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 명령들을 포함하는, 컴퓨터 프로그램 제품이 제공된다.

본 발명으로 인해, 이미지 데이터(비디오 프레임 또는 스틸 이미지로부터와 같이)의 세그먼트된 영역들을 선택하기 위해 이용될 수 있는 도구를 제공하는 것이 가능하다. 방법 및 시스템은 상이한 영역 병합 레벨들의 다중 세그먼테이션들을 제공함으로써 사용자에게 도움을 제공한다. 본 발명은 2개의 미리 결정된 병합 레벨들에 기초하여 2개의 세그먼트된 뷰들과 조합하여 이용될 수 있지만, 바람직하게 사용자는 단일 영역이 상이한 오브젝트들을 포함하는 것을 방지하기 위해 병합 레벨을 양방향으로 조정할 수 있다. 본 발명이 이용될 수 있는 애플리케이션들의 형태는 모노스코픽(2D) 비디오를 입력으로 이용하여 3D 비디오의 반자동 생성뿐만 아니라, 2D 스틸 이미지들을 이용하여 3D 스틸 이미지들의 생성을 포함한다. 그 외에도, 본 발명은 또한, 상호작용(픽셀-기반) 이미지 처리를 위한 일반 이미지 편집 소프트웨어의 선택 도구를 제공하기 위해 이용될 수 있다. 본 발명은 선택을 위한 최상의 방식으로 이미지를 세그먼트하도록 시도하기보다는, 최상으로 맞추는 세그먼테이션으로부터 특정 선택을 선택하는 방법을 효과적으로 제공한다.

바람직하게, 이 방법은 제 1 세그먼트된 뷰로부터의 하나 이상의 선택된 세그먼트들과 상기 제 2 세그먼트된 뷰로부터의 하나 이상의 선택된 세그먼트들을 조합하는 단계를 더 포함한다. 기본적인 개념은 먼저 제 1 세그먼트된 뷰에 기초하여, 사용자 선택 세그먼트들이 선택에 추가되거나 선택으로부터 공제되게 한다. 예를 들면, 세그먼트 상을 왼쪽 클릭함으로써 선택에 추가되거나, 오른쪽 클릭함으로써, 선택으로부터 제거된다.

후속적으로, 이러한 선택은 제 2 세그먼트된 뷰에 기초하여 선택으로부터 세그먼트들을 공제 또는 추가함으로써 보정될 수 있다. 예를 들면, 세그먼트 상을 왼쪽 클릭함으로써 선택에 추가되거나, 오른쪽 클릭함으로써, 선택으로부터 제거된다. 결과로서 생긴 선택의 선택 경계들은 제 2 세그먼트된 뷰의 제 1 및 부분적 또는 전체 세그먼트 경계들로부터 부분적 또는 전체 세그먼트 경계들과 일치할 수 있다.

바람직하게, 처리는 또한, 하나 이상의 심도 사용자 입력들을 수신하는 단계로서, 상기 또는 각각의 심도 사용자 입력은 각각의 선택 사용자 입력에 관련되는, 상기 수신 단계, 및 그에 따라 상기 이미지 데이터에 대한 심도 맵(depth map)을 생성하는 단계를 더 포함한다. 시스템은 또한, 이미지 데이터의 세그먼트된 뷰의 옆에 상기 심도 맵을 디스플레이하도록 구성될 수 있다. 본 발명에 의해 이행된 시스템 및 방법은 심도 맵의 생성을 위한 개발 도구에 매우 적합하다.

바람직하게, 처리는 제 1 세그먼트된 뷰로부터의 세그먼트들을 선택한 후에 규정된 사용자 입력을 수신하는 단계를 더 포함하고, 상기 규정된 사용자 입력은 상기 제 2 세그먼트된 뷰를 디스플레이하는 것을 트리거한다. 이러한 방식으로, 사용자는 세그먼테이션의 상이한 레벨들 및/또는 세그먼테이션 기준 사이를 스위칭할 수 있고, 그들 요건에 따라 상이한 뷰들에서 세그먼트들을 선택할 수 있다. 사용자가 심도 맵을 생성하기 위해 보기를 원하는 정확한 세그먼테이션을 세그먼테이션 알고리즘이 생성하지 않을 것이므로, 이 도구는 세그먼테이션의 적당한 레벨 및/또는 세그먼테이션 기준들을 선택하도록 사용자에게 허용함으로써 심도 맵을 생성하는 간단하고 효율적인 방법을 제공한다.

유리하게, 제 1 및 제 2 세그먼트된 뷰가 둘다 제 1 기준에 기초할 때, 이 방법은 또한, 이미지 데이터의 제 3 세그먼트된 뷰를 생성하기 위해 제 2 기준 및 제 3 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계, 다른 규정된 사용자 입력을 수신하는 단계, 상기 이미지 데이터의 상기 제 3 세그먼트된 뷰를 디스플레이하는 단계, 및 상기 제 3 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 단계를 더 포함한다. 이러한 방식으로, 본 발명은 데이터의 세그먼테이션 레벨들뿐만 아니라 데이터의 세그먼테이션 기준들을 스위칭하는 것을 효과적으로 허용한다.

이 개념은 2개의 그러한 세그먼테이션 기준, 컬러 및 움직임을 고려함으로써 최상으로 예시된다. 이미지 데이터가 컬러에 의해 세그먼트된다면, 사용자는 심도 맵을 생성하는 것과 같은 작업을 완료할 때 세그먼테이션의 레벨을 조정할 수 있다. 그러나, 사용자는 또한 "컬러(color)" 대신 "움직임(motion)"으로 세그먼테이션 뷰를 스위칭할 수 있으며, 이 기준에 따라 이미지를 세그먼트할 것이다. 예를 들면, 이미지에서 움직이는 풋볼은 컬러 세그먼테이션에 따라 고도로 세그먼트될 것이지만, "움직임" 세그먼테이션으로 스위칭되면, 풋볼은 단일 움직임 오브젝트이므로, 이것은 더 이상 고도로 세그먼트되지 않을 것이다. 오브젝트의 픽셀들이 통상적으로 유사한 심도 값을 가지므로, 이러한 방식의 선택은 소수 또는 최소수의 사용자 입력들을 이용하여 사용자가 오브젝트들의 모든 픽셀들을 선택할 수 있게 한다. 이러한 방식으로, 오브젝트들에 심도 값들을 주석다는 것은 실질적으로 간단해질 수 있다. 세그먼테이션을 위해 이용될 수 있는 기준의 예들은 컬러, 세그먼트 크기(예를 들면, 고정된 문턱값보다 작은 세그먼트들을 컬러가 가장 유사한 이웃하는 세그먼트와 병합), 휘도, 색도, 움직임 및 텍스처이며, 이들 모두는 이미지로부터 용이하게 추출될 수 있다.

본 발명의 실시예들은 지금부터 첨부 도면들을 참조하여 단지 예의 방식으로 기술될 것이다.

도 1은 이미지 데이터를 처리하는 시스템의 개략도.
도 2는 이미지 데이터의 프레임의 개략도.
도 3은 도 2의 이미지 데이터의 프레임의 3개의 상이한 세그먼테이션 뷰들을 도시한 개략도.
도 4는 다른 이미지 데이터의 3개의 상이한 세그먼테이션 뷰들을 도시한 개략도.
도 5는 이미지 데이터를 처리하는 방법의 흐름도.
도 6은 상이한 세그먼테이션 뷰들 간의 관계를 도시한 도면.
도 7은 도 6의 뷰들 간의 내비게이션을 도시한 도면.
도 8은 이미지 데이터의 2개의 테스트 프레임들의 도면.
도 9는 도 8의 이미지 데이터의 8개의 세그먼테이션 뷰들의 도면.
도 10은 도 8의 이미지 데이터 및 대응하는 심도 맵의 개략도.

도 1은 이미지 데이터를 처리하기 위해 이용될 수 있는 시스템을 도시한다. 시스템은 처리기(10), 디스플레이 디바이스(12) 및 사용자 인터페이스를 포함하고, 사용자 인터페이스는 키보드(14) 및 다이얼(16)(그 기능은 하기에 더욱 상세히 설명될 것이다)을 포함한다. 사용자 인터페이스는 또한, 세그먼트들의 효율적인 선택을 허용하는 디스플레이 디바이스(12)의 터치-스크린 구성요소를 포함한다. 도 1의 시스템은 종래의 데스크탑 PC, 테이블탑 PC, 디스플레이에 장착된 터치 테블릿 주위에 구성될 수 있거나, 이미지 데이터의 처리 작업을 위해 특별히 구성된 전문가용(그래픽) 워크스테이션이 될 수 있다. 시스템은 이미지 데이터를 다루고 있는 사용자를 돕기 위한 도구이다. 처리기(10)는 본 출원에서 사용자가 활용하기 위한 이미지 데이터의 세그먼테이션을 수행하고 있다. 하기의 기술에서, 사용자가 심도 맵의 생성에 도움을 주는 도구를 이용하고 있는 것에 기초하여 예가 도시될 것이다.

세그먼테이션의 개념을 설명하기 위하여, 도 2는 이미지 데이터(18)의 고도로 정형화된 프레임(stylised frame)을 도시한다. 이미지 데이터(18)는 청색 하늘, 녹색 풀, 백색 골대들 및 멀티컬러의 풋볼을 도시하며, 풋볼은 움직이고 있는 이미지의 유일한 성분이다. 명확하게, 이미지 프레임(18)은 정지된 단일 장면을 표현하지만, 프레임(18)은 비디오 신호를 구성하는 프레임들의 시퀀스들 중 하나를 포함할 것이고, 풋볼은 이전 프레임의 위치에 대해 움직이고 있다. 이미지 프레임(18)을 기록한 카메라는 정지되어 있다.

이미지는 처리 시스템의 처리기(10)와 같은 처리기에 의해 실행되는 알고리즘에 의해 세그먼트될 수 있다. 세그먼테이션에 관련된 2개의 개념들이 있으며, 이들은 이용되는 세그먼테이션 기준과, 적용되는 세그먼테이션 파라미터(문턱값이 될 수도 있음)이다. 컬러, 세그먼트 크기, 휘도, 색도, 움직임 및 텍스처를 포함한 많은 상이한 기준들이 가능하다. 모든 이들 기준들은 이미지 프레임(18)을 형성하는 데이터에서 검출될 수 있다. 예를 들어, 컬러가 세그먼테이션 파라미터와 같은 문턱값을 이용하여 데이터(18)에 대한 세그먼테이션 기준으로서 이용된다면, 동일하거나 유사한 컬러를 갖는 이미지 데이터(18) 내의 픽셀들은 동일한 영역에 있는 것으로 간주될 것이다. 적용된 문턱값은 2개의 인접한 픽셀들이 유사한 것으로 간주되는지의 여부를 결정한다. 2개의 인접한 픽셀들이 동일한 청색 및 녹색값들을 가지지만 적색값들이 10만큼 다르다고 가정하면, 문턱값은 그들이 동일한 영역에 속하는 것으로 판단되는지의 여부를 결정한다. 문턱값을 높거나 낮게 설정하여, 이미지 데이터(18)가 더 작거나 더 큰 수들의 영역들로 세그먼트되는지를 결정한다. 본 기술분야의 통상의 기술자에게는 그와 같은 세그먼테이션이 RGB 컬러 공간으로 제한되지 않는다는 것이 분명할 것이다.

많은 상이한 세그먼테이션 파라미터들은 모든 휘도 값들에 대한 단일 문턱값으로부터 휘도 종속 문턱값들까지, 개별 컬러 성분들에 대한 구별된 문턱값들까지의 범위가 예상된다. 단일 세그먼테이션 기준을 이용하여 세그먼테이션들의 범위를 획득하기 위한 간단한 방법은, 특정 기준을 이용하여 미세 조직의 세그먼테이션을 생성하고, 더욱 굵은 세그먼트들을 획득하기 위해 후속적으로 세그먼트들을 병합하는 것이다. 세그먼트된 뷰들의 범위로부터 하나의 세그먼트된 뷰의 후속 선택은 병합 레벨을 나타내는 파라미터에 기초할 수 있다. 이러한 세그먼트들을 통한 사용자 브라우징은 이미지 데이터(18)의 세그먼테이션 뷰들에 존재하는 세그먼트들을 병합하거나 분할하는 결과로서 선택된 뷰들을 인식한다.

도 1의 시스템에 의해 실행된 이미지 데이터(18)를 처리하는 방법은 이미지 데이터(18)를 수신하는 단계와, 그 후에 이미지 데이터(18)를 세그먼트하는 단계를 포함한다. 도 3은 도 2의 이미지 데이터(18)의 3개의 상이한 세그먼트된 뷰들(20a, 20b 및 20c)을 도시한다. 이들은 디스플레이 디바이스(12) 상에서 사용자에게 한번에 하나씩 디스플레이될 것이며, 사용자는 원하는 대로 뷰들 사이를 스위칭할 수 있다. 대안적으로, 뷰들(20)은 사용자에게 동시에 디스플레이될 수 있으며, 사용자는 적당한 사용자 인터페이스 동작을 통하여 현재 세그먼테이션 뷰(20) 사이를 스위칭할 수 있다.

처리기(10)는 이미지 데이터(18)의 제 1 세그먼트된 뷰(20a)를 생성하기 위하여 제 1 기준 및 제 1 문턱값을 이용하여 이미지 데이터(18)를 세그먼트하고, 이미지 데이터(18)의 제 2 세그먼트된 뷰(20b)를 생성하기 위하여 제 1 기준 및 제 2 문턱값을 이용하여 이미지 데이터(18)를 세그먼트하고, 이미지 데이터(18)의 제 3 세그먼트된 뷰(20c)를 생성하기 위하여 제 2 기준 및 제 3 문턱값을 이용하여 이미지 데이터(18)를 세그먼트했다. 이 예에서, 제 1 기준은 컬러이고, 제 2 기준은 움직임이다. 제 2 세그먼테이션 뷰(20b)는 파라미터 레벨에 따라 함께 뷰(20a)의 세그먼트들을 병합함으로써 생성될 수 있다.

도 3으로부터 알 수 있는 바와 같이, 그들 자신의 세그먼트된 뷰들(20) 중 어느 것도 이미지 데이터(18)의 이상적인 세그먼테이션을 제공하지 않는다. 무결절 방식으로 다중 세그먼트된 뷰들(20)로부터의 정보를 조합하는 능력을 사용자에게 제공함으로써, 정확한 입도(granularity)로 상이한 성분들에 액세스하는 효율적인 방법을 사용자에게 제공한다. 본질적으로, 이미지 데이터(18) 내에 4개의 오브젝트들, 땅, 하늘, 풋볼 및 골대들이 있다. 사용자는 이 이미지 데이터(18)에 대한 심도 맵을 생성하기를 원하고, 각 오브젝트에 하나씩 4개의 상이한 심도 값들을 할당할 수 있기를 원한다. 종래 기술의 솔루션들에서, 사용자는 이미지 데이터(18)에서 소프트웨어를 이용하여 영역들을 생성함으로써 수동으로 심도 값들을 할당하거나, 단일 세그먼트가 수행되어 사용자에 의해 보정된다.

그러나, 처리기(10)에 의해 생성된 상이한 뷰들(20)은 현재 달성될 수 있는 더 용이하고 더 정확한 방식으로 심도 맵을 생성하는데 있어서 사용자를 지원한다. 제 1 세그먼트된 뷰(20a)는 낮은 문턱값을 가진 컬러의 기준에 기초하는 세그먼트이다. 이러한 뷰에서, 볼은 무겁게 세그먼트되고, 녹색 풀도 또한 과도하게 세그먼트된다(문턱값이 풀 내에서 녹색의 상이한 음영들이 검출되었음을 내포함). 실제로, 세그먼테이션에 의한 풀 내에서 생성된 영역들은 표준 직사각형들이 아니다; 이것은 영역들로의 세그먼테이션의 개념을 도시하기 위해 이용된다. 그러나, 제 1 뷰(20a)는 하늘을 골대들로부터 구별하도록 요구된다. 세그먼테이션을 위해 컬러를 이용하지만 더 높은 문턱값을 가진 제 2 세그먼테이션 뷰(20b)에서 알 수 있는 바와 같이, 풀은 이제 단일 영역으로 병합되었지만, 하늘 및 골대들도 또한 단일 영역으로 조합된다. 볼은 여전히 무겁게 세그먼트된다. 다중 세그먼테이션 기준들에 기초하여 다중 세그먼트된 뷰들에 대한 순차적인 액세스를 제공하는 시스템에서, 사용자는 제 2 세그먼테이션 기준들(여기서는 움직임)로 변경하는 옵션을 가지며, 이것은 도 20c의 뷰이다. 이 경우, 유일하게 움직이는 오브젝트인 볼은 단일 영역이다.

상이한 뷰들(20)을 통해 움직임으로써, 사용자는 심도 맵을 생성할 수 있다. 효과적으로, 이것은, 이미지 데이터(18)의 제 1 세그먼트된 뷰(20a)를 디스플레이하고, 제 1 세그먼트된 뷰(20)에서 디스플레이된 바와 같이, 이미지 데이터(18)의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하고(예를 들면 하늘을 먼저 선택한 후에 골대들을 선택함), 뷰를 스위치하기 위해 규정된 사용자 입력을 수신하고, 이미지 데이터(18)의 제 2 세그먼트된 뷰(20b)를 디스플레이하고, 제 2 세그먼트된 뷰(20b)에서 디스플레이된 바와 같이, 이미지 데이터(18)의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들(땅)을 수신함으로써 달성된다. 이미지 데이터(18)는 이미지 데이터(18)의 제 3 세그먼트 뷰(20c)를 생성하기 위해 제 2 기준(움직임) 및 제 3 문턱값을 이용하여 세그먼트되고, 뷰를 스위칭하기 위해 다른 규정된 사용자 입력을 수신한 후에, 이미지 데이터(18)의 제 3 세그먼트된 뷰(20c)가 디스플레이되고, 사용자 인터페이스는 제 3 세그먼트된 뷰(20c)에 디스플레이된 바와 같이 이미지 데이터(18)의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들(볼)을 수신한다.

오리지널 이미지 데이터(18)의 "최적의(optimal)" 세그먼테이션이 생성될 수 없기 때문에, 시스템은 다수의 미리 계산된 세그먼테이션들 사이를 스위칭하기 위해 고속 선택 메커니즘을 심도 편집기의 사용자에게 제공한다. 동일한 위치에서 다수의 대안적인 세그먼트된 뷰들을 디스플레이함으로서, 사용자는 오브젝트 또는 이미지의 한 특정 부분에 초점을 맞출 수 있고, 매칭하는 세그먼트가 발견될 때까지 세그먼테이션들을 스위칭할 수 있다. 다수의 세그먼트들이 상이한 위치들에서 동시에 디스플레이되는 시나리오에 비교하여, 이것은 실질적인 개선을 나타낸다.

한편, 다수의 세그먼트된 뷰들을 병렬로 시각화하는 것은 어떤 특정 세그먼테이션이 그러한 주석을 위해 양호한 시작 지점을 제공하는지를 평가하는데 유용할 수 있다. 따라서, 상이한 세그먼테이션 기준들에 기초하여 다수의 세그먼테이션들을 병렬로 디스플레이하는 것은 다른 이점들을 제공한다.

도 3에서, 2개의 상이한 세그먼테이션 뷰들(20a 및 20b)만이 컬러의 기준으로 계산되었지만, 이것은 예시적일 뿐, 실제로는 그로부터 선택하기 위해 다수의 세그먼트된 뷰들을 가지는 것이 유용할 수 있다. 이것은 이미지 데이터(18)의 세그먼테이션 뷰들(22a, 22b 및 22c)을 보여주는 도 4에 도시되어 있다. 도 4에서, 심도 맵 생성을 위한 제안된 편집기의 예시적 사용이 도시되어 있다. 뷰들(22a 내지 22c)은 상이한 영역 병합 레벨들의 세그먼테이션들이다. 상이한 병합 레벨들의 영역들을 선택하고 영역당 또는 영역들의 그룹당 심도 값을 조정함으로써 일정한 심도가 화상 내의 사람에게 할당된다.

중앙 뷰(22b)는 이미지 데이터(18)의 디폴트 뷰인 것으로 간주될 수 있고, 사용자는 왼쪽 이미지(22a)를 뷰잉하기 위해 키보드(14) 상의 왼쪽 화살표 키를 이용할 수 있고, 유사한 방식으로, 오른쪽 이미지(22c)를 뷰잉하기 위해 키보드(14) 상의 오른쪽 화살표 키를 이용할 수 있다. 이러한 방식으로, 간단하고 수월한 선택 메커니즘이 심도 편집기의 사용자에게 제공된다. 심도를 원으로 할당하기 위해 중간 화상(22b)이 이용될 것이며, 이것은 가장 효율적이기 때문이다(3개의 영역들만이 선택되어야 한다). 오른쪽 화살표 키(->)를 누름으로써, 유사한 컬러를 가진 영역들이 병합된다(원은 다른 오브젝트를 병합한다). 왼쪽 화살표 키(<-)를 누름으로써, 병합된 영역들이 더 많은 부분들로 나누어진다(원을 선택하는 것은 5개의 영역들의 선택을 요구한다). 사용자는 따라서 심도를 오브젝트들에 할당하기 위해 적당한 입도를 이용할 수 있다. 실제로, 특히, 세그먼테이션에 이용된 컬러와 같은 기준을 이용하여, 사용자가 순환할 수 있는 다수의 상이한 뷰들을 이용하는 것이 가능하다. 이를 위해, 도 1의 다이얼(16)이 제공되며, 이것은 이들이 현재 수행중인 작업(또는 부업)에 대한 입도의 정확한 레벨로 사용자가 "동조(tune)"하도록 허용한다.

도구에 의해 이용되는 뷰들(20 및 22)을 제공하기 위하여, 상기에 참조된 Oliver에 의한 문헌에 기술된 바와 같이, 예를 들면 영역 맞춤을 이용하여 초기 세그먼테이션이 행해진다. 이 초기 세그먼테이션 S₁은 모든 중요한 심도 불연속들이 영역 에지들과 일치하는 것을 보장하기 위하여 많은 작은 영역들을 포함한다. 후속하는 세그먼테이션들 S₂... S₁₀은 S₁의 영역들을 점차적으로 병합함으로써 생성된다. 제 1 병합된 세그먼테이션 S₂는:

｜r_i-r_j｜+ ｜g_i-g_j｜+ ｜b_i-b_j｜＜T₁

에 대해 S₁에서 모든 인접한 영역들(R_i, R_j)을 병합함으로써 생성되며, 여기서 (r_i, g_i, b_i) 및 (r_j, g_j, b_j)는 각각 영역들 R_i 및 R_j의 평균 컬러 벡터들이다. 병합 문턱값의 통상적인 값은 T₁ = 10이다. 새로운 평균 컬러 벡터들이 지금부터 병합된 영역들에 대해 계산된다. 제 2 병합된 세그먼테이션 S₃은 동일한 절차를 이용하지만 병합 문턱값 T₂를 이용하여 S₂로부터 계산된다. 이러한 처리는 세그먼테이션 S₁₀이 생성될 때까지 계속된다. 일실시예에서, 문턱값은 새로운 병합 레벨마다 10씩 증가된다. 이 경우 T₁₀ = 100이다. 이러한 세그먼테이션 처리는 사용자가 왼쪽 및 오른쪽 화살표 키들(도 4의 실시예에서)을 누름으로써 새로운 뷰들을 선택하고 있을 때, 그때 그때 실행될 수 있거나, 또는 사용자에 의한 임의의 작업에 앞서 실행될 수 있다. 실제로, 사용자는, 사용자가 행하고 있는 현재 작업에 적당하지 않는 경우에도, 예를 들면 도 4의 22a와 22b 사이의 새로운 뷰를 위해 중간 세그먼테이션이 실행되도록 요청될 수 있다. 이러한 새로운 뷰(22)는 2개의 뷰들(22a 및 22b)에 대해 이용되는 새로운 문턱값 중간치를 이용하여 세그먼테이션을 실행함으로써 생성된다.

도 4는 3개의 상이한 세그먼테이션 병합 레벨들이 예를 들면 스크린상 커서로 세그먼트들을 선택하는 사용자에 의해 심도 맵을 생성하기 위해 이용되는 방법을 도시한다. 뷰(22c)에서, 대형 세그먼트들은 단일 마우스 클릭으로 선택될 수 있다. 그러나, 배경 부분이 최전면에 잘못 배치될 수 있다. 이것은 더 낮은 병합 레벨의 세그먼테이션들로 이동시킴으로써 뷰(22b)에서 부분적으로 보정될 수 있다. 그러나, 배경의 작은 부분이 여전히 최전면에 여전히 배치되는 경우도 여전히 있을 수 있다. 이러한 에러는 균일하게 더 낮은 병합 레벨을 갖는 세그먼테이션(뷰 22a)을 선택함으로써 보정된다.

도 5는 상호작용 세그먼트 병합하는 심도 편집기의 동작에 대한 흐름도를 도시한다. 파선의 위는 사용자가 볼 수 없는 오프라인 처리이다. 파선의 아래는 시스템의 상호작용 부분이다. 편집기에 대한 입력은 심도 맵 d이 구성되는 이미지 데이터 I이다.

오프라인 부분에서는 영역 컬러 세그먼테이션 S1이 계산된다. 바람직하게 이것은 오버-세그먼테이션이라고 불리며, 이것은 장면에서의 오브젝트들보다 이미지에서 더 많은 세그먼트들이 있음을 의미한다. 이러한 가장 기본적인 컬러 세그먼테이션 S₁은 영역 크기, 영역 평균 컬러, 영역 텍스처, 영역 움직임 등과 같은 영역 특성들에 기초하여 순환적으로 병합된다. 제 1 병합 단계의 결과는 병합된 S₂이다. S₂에 기초하여, 영역 크기, 영역 평균 컬러, 영역 텍스처, 영역 움직임 등과 같은 영역 특성들이 재계산되고, 새로운 병합된 세그먼테이션 S₂이 계산된다. 이러한 처리는 주어진 수 K에 도달될 때까지 반복된다. 모든 세그먼테이션들 S₁ 내지 S_K가 저장된다. 이들 세그먼테이션들 다음에, 또한, 실시간 에지 디스플레이를 위해 온라인 부분에서 이용될 K 에지 맵들이 계산되고 저장되어 있다.

온라인 부분은 초기 병합 레벨 세그먼테이션 및 초기 배경 심도 맵을 선택함으로써 시작한다. 초기 병합 레벨은 중간 병합 레벨로 디폴트될 것이다. 초기 배경 심도 맵은 일정한 배경값 또는 기울기이며, 이것은 화상에서 높이의 함수로서 심도를 선형적으로 변화시킨다.

그 후에, 세그먼테이션 뷰를 제공하기 위하여, 초기 병합 레벨을 하이라이팅하는 다른 방법 또는 대조 컬러를 이용하여 세그먼테이션 에지들을 나타내는 이미지 데이터가 디스플레이된다. 다음, 사용자는 스크린을 포인팅하고 왼쪽 마우스 버튼을 클릭함으로써 한 영역을 선택한다. 선택된 영역은 그 후에 디스플레이 상에 청색 화상 채널을 255로 설정함으로써 볼 수 있게 된다. 이 영역은 선택된 영역들의 현재 세트에 자동으로 추가된다. 사용자가 원한다면, 이들은 병합 레벨을 변경하고 및/또는 새로운 영역을 선택할 수 있다. 왼쪽 화살표 키를 누름으로써, 사용자는 더 미세한 세그먼테이션을 선택하고; 오른쪽 화살표 키를 누름으로써, 사용자는 더 굵은 세그먼테이션을 선택한다. 사용자는 그 영역에서 이미 선택된 픽셀 상에 왼쪽 마우스 버튼으로 클릭함으로써 한 영역을 선택해제할 수 있다.

사용자가 영역 선택 처리를 끝마쳤을 때, 이들은 키보드 상의 탭 키를 누름으로써 이미지 대신 동일한 윈도우의 심도 맵을 볼 수 있다. 현재 심도 맵은 녹색으로 그려진 선택된 영역들과 함께 디스플레이된다. 사용자는 그 후에 심도 레벨을 선택할 수 있으며, 이것은 스페이스 바를 누름으로써 5개의 심도 레벨들 중 하나의 선택에 의해 제공될 수 있다. 초기 심도 값은 255이고, 심도 레벨은 사용자가 스페이스 바를 누를 때마다 50씩 감소된다. 심도 레벨이 5이면, 다음 레벨은 255가 된다. 사용자는 현재 영역 선택을 비워 두고 또한 심도 맵을 예를 들면 디스크에 저장하는 엔터를 누름으로써 처리를 완료할 수 있다. 다시 이미지로의 스위칭은 탭 키를 누름으로써 행해지고, 그 후에 사용자가 새로운 선택을 할 수 있다.

상기 언급된 바와 같이, 움직임에 기초한 병합을 이용하여 생성된 하나 이상의 뷰들(20)이 사용자에게 제공할 수 있었다. 2개의 연속적인 이미지 프레임들이 이용 가능할 때, 움직임 추정은 하나 및 동일한 오브젝트에 속할 가능성이 있는 세그먼트들을 그룹화하는데 도움을 줄 수 있다. 이를 달성하기 위한 한 가지 방법은 먼저, 16 x 16 픽셀들의 오버랩되지 않은 블록들과 33 x 33 픽셀들의 검색 윈도우를 이용하여 움직임을 추정하는 것이다. 블록마다, 절대 차들의 최소 합을 유발하는 움직임 벡터가 선택되어 있다(절대 차는 적색, 녹색 및 청색 성분에 걸쳐 합산되었다). 그 후에, 움직임 벡터들의 크기 33 x 33로 2차원 히스토그램이 생성되어 있다. 히스토그램의 각 bin은 대응하는 벡터가 특정 블록에 대해 최상으로 매칭되는 것으로 밝혀진 횟수들의 카운트를 포함한다.

이 히스토그램으로부터, 히스토그램에서 N_models개의 최대 카운트들을 가지는 N_models개의 움직임 벡터들을 선택하는 것이 가능하다. 일구현에서, N_models = 3을 이용하는 것이 바람직하지만, N_models에 대한 더 큰 값들도 마찬가지로 유용한 출력을 제공한다. N_models개의 후보 움직임 벡터들은 그 후에, 움직임에 기초하여 병합되어야 하는 입력 세그먼테이션의 각 세그먼트를 분류하는데 이용된다. 특히, 입력 세그먼테이션의 각 세그먼트마다, 움직임 벡터들의 각각에 대한 세그먼트의 픽셀들에 걸쳐 절대 컬러 차들의 합이 계산되어 있다(절대 차는 적색, 녹색 및 청색 성분에 걸쳐 합산됨). 절대 차의 최소 합을 유발하는 움직임 모델이 최상으로 매칭되고, 따라서, 세그먼트에 할당된다. 최종적으로, 움직임에 기초하여 병합된 세그먼테이션을 생성하기 위해, 동일한 움직임 모델 식별자를 갖는 공간적으로 이웃하는 세그먼트들이 출력 세그먼테이션에서 단일 세그먼트로 병합된다.

미리 결정된 제한된 수의 후보 움직임 모델들을 이용한 상기 방법은 솔루션이 제한된 수의 가능한 움직임들로 제약되는 이점을 가진다. 이것은 이미지가 동종 컬러 영역들 또는 잡음을 갖는 경우 또는 세그먼트들이 작은 경우에 특히 유용하다. 그 경우, 상이한 움직임 벡터들은 신뢰할 수 있는 방식으로 공간적으로 인접한 세그먼트들을 병합하기 어렵다는 것에 기초하여 잡음이 있는 움직임 필드를 유발하는 절대 차들의 유사한 작은 합을 제공할 수 있다. 세그먼테이션 기준들(적당한 파라미터들 세트를 가짐)로서의 움직임 및 컬러의 이용은 단일 병합 다이어그램에서 2개의 양상들의 조합을 허용한다. 본 기술분야의 통상의 기술자에게 움직임 관련 정보를 이용하여 다른 세그먼테이션들이 이루어질 수 있다는 것이 명백할 것이다.

도 6은 2개의 병합 양상들이 8개의 상이한 세그먼테이션들을 생성하기 위해 이용될 수 있는 방법을 도시한다. 이 실시예에서, 양상들 컬러 및 움직임이 '병합 다이어그램'을 생성하기 위해 이용되었다. 도 7은 사용자가 '병합 다이어그램'에서 상이한 세그먼테이션들 사이를 스위칭할 수 있는 방법을 도시한다. 도 6에는, 2개의 상이한 병합 양상들(이 경우 컬러 및 움직임)을 이용하여 상이한 병합 레벨들의 세그먼테이션들이 생성되는 방법이 도시되어 있다. '병합 다이어그램'에서의 각 원은 세그먼테이션 뷰를 나타내고, 각 화살표는 병합된 세그먼테이션의 방향으로 향하게 한다. 시작 세그먼테이션은 닫힌 원으로 표시된다. 이 세그먼테이션은 컬러(x-축 방향으로)를 이용하여 한번 병합되고, 움직임(y-축 방향으로)을 이용하여 두 번 병합된다. 컬러에 기초한 결과로서 생긴 병합된 세그먼테이션은 그 후에 컬러를 이용하여 한번 병합되고 움직임을 이용하여 두 번 병합된다.

도 7에는 사용자가 키보드 상의 4개의 화살표 키들 중 하나를 이용하여 '병합 다이어그램'에서 2개의 상이한 세그먼테이션 뷰들 사이를 스위칭할 수 있는 방법이 도시되어 있다. 실제로, 예를 들면 숫자 키 패드와 같이 배열된 전용 키들의 세트를 이용하여, 이러한 세그먼테이션들이 이용 가능하다고 가정하여 더 많은 방향들로 실제로 내비게이팅하는 것이 가능하다. 대안적으로 또는 부가적으로, 병합 다이어그램의 스크린 상 디스플레이는 다양한 세그먼트된 뷰들을 통해 내비게이션을 용이하게 하도록 렌더링될 수 있다. 더욱 대안적으로, 마우스 스트로크들 또는 마우스 제스처들이 내비게이션을 위해 이용될 수 있었다.

도 8은 최전면 오브젝트(스피커)를 동일한 배경으로 합성함으로써 생성된 2개의 테스트 이미지들(18)을 도시한다. 움직임은 상이한 공간 위치(오른쪽 이미지)의 배경으로 스피커를 붙여 넣고, 그에 의해 움직임을 도입함으로써 시뮬레이팅되었다. 최전면의 스피커는 어두운 배경에 대비되어 사진이 찍혔고 세그먼트되었고 다른 화상으로 붙여 넣어졌다. 제 2 화상에서, 스피커는 제 1 이미지에 대해 오른쪽으로 이동된다. 도 8의 왼쪽 이미지가 사용자에게 제공되어 세그먼트되고, 도 8의 오른쪽 이미지가 움직임 모델 계산 및 움직임 모델 분류를 위해 참조로서만 이용됨을 유념한다. 사용자에게 도시되지 않는다. 이미지 프레임들의 비디오 시퀀스를 이용하는 예에서, 2개의 이미지들(18)은 연속하는 프레임들이다.

도 9는 도 7 및 도 8의 병합 다이어그램들에 따라 구성된 모두 8개의 세그먼테이션 뷰들(20)을 도시한다. 8개의 세그먼테이션들은 병합 다이어그램들의 컬러 및 움직임 축들에 따라 배열된다. 세그먼트들은 먼저 컬러에 기초하여 수평으로 병합된 다음, 움직임에 기초하여 수직으로 병합되었다. 왼쪽, 오른쪽, 아래쪽 및 위쪽 키들이 이용되어 이들 8개의 세그먼테이션들 사이에서 내비게이팅한다. 양의 컬러 병합 축을 따라, 세그먼트들이 병합되고 양의 움직임 축을 따라 세그먼트들이 병합되는 것이 명확하다. 이들 8개의 세그먼테이션들 사이에서 신속하게 내비게이팅하면, 2개의 컬러 기반 병합 단계들 후의 움직임 기반 병합 단계는 스피커를 선택하는 단일 병합된 세그먼트를 유발하는 것이 명확하게 된다. 임의의 세그먼트 영역에서 한번의 마우스 클릭은 세그먼트를 하이라이팅한다. 키보드 상의 TAB 키를 누름으로써 심도 윈도우에 대한 변경 후에, 양호한 심도가 발견될 때까지 키보드 상의 스페이스 바를 누름으로써 심도 값이 선택될 수 있다. 도 10은 선택된 세그먼트 뷰(20)(왼쪽) 및 최종 심도 맵(24)(오른쪽)을 도시한다.

도 10은 입력 이미지(18)로부터 심도 맵(24)을 획득하는 처리를 도시한다. 이 도면은 심도 맵(24)인 사용자 선택된 범용 심도 프로파일과 초기 병합 레벨(20)을 도시한다. 디스플레이 디바이스(12)는 이미지 데이터(18)의 세그먼트된 뷰(20)의 측면을 따라 심도 맵(24)을 디스플레이하도록 구성된다. 세그먼트된 뷰(20)는 일련의 에지가 오버레이된 오리지널 이미지 데이터(18)인 것으로 간주될 수 있다. 이들 에지들은 세그먼테이션 알고리즘의 출력인 영역들(또는 세그먼트들)을 규정한다. 심도 맵(24)은 이 처리에서 적어도 이 지점에서, 이것 내에 사용자 규정된 데이터를 가지지 않음으로써 시작한다. 사용자로 하여금 심도 맵(24)을 용이하게 생성하는 것이 가능하게 하는 도구가 제공된다.

사용자는 이미지 데이터(18)의 세그먼트를 선택하는 선택 사용자 입력을 제공할 수 있다. 시스템은 그 후에 그 영역(26)을 심도 영역(28)으로서 심도 맵(24)으로 전달하였다. 시스템은 영역(26)의 각각의 선택 사용자 입력에 관련된 심도 사용자 입력을 수신하고, 이미지 데이터(18)에 대한 심도 맵(24)이 이에 따라 생성된다. 사용자는 그들이 뷰(20)에서 선택한 영역에 대한 심도 값을 선택하고 있다. 사용자는 원하는 경우 뷰(20)로부터 다수의 영역들을 선택할 수 있었다. 그 후에, 모든 선택된 뷰들은 심도 맵(24)으로 이전될 것이고, 사용자는 심도 값을 이들 영역들에 할당할 수 있다. 실제로, 심도 맵(24)으로 현재 이전된 상이한 영역들에 대한 상이한 심도 값들이 선택될 수 있었다.

규정된 사용자 입력(다이얼(16)을 통해서와 같이) 후에, 사용자는 상이한 세그먼테이션 뷰로 스위칭할 수 있다. 사용자는 굵은 병합 레벨(입도)로 변경할 수 있고, 이것은 사용자가 다수의 마우스 클릭들로 이미지(18)의 다른 부분들을 선택할 수 있게 하고, 그 후 심도 값이 할당된다. 사용자에 의해 선택된 영역들은 심도 맵(24) 내의 성분들로 변환된다. 사용자는 심도 입력이 선택된 영역들로 원하는 심도를 할당하게 한다. 이 처리는 계속되어, 사용자가 세그먼테이션 레벨들 사이에서 이동하고, 현재 뷰 내의 하나 이상의 세그먼트들을 선택한 다음, 심도 값들을 선택된 영역들에 할당하여, 심도 맵 d를 만든다. 사용자가 끝마쳤을 때, 심도 맵 d는 이미지 데이터 처리의 출력이 될 것이다.

도 10에 관해 기술된 시스템 및 방법은 병합된 세그먼테이션들이 컬러 거리에 기초하여 인접한 영역들을 순환적으로 병합함으로써 생성된다. 그러나, 이러한 세그먼테이션 기준은 영역 특성들의 선택을 제한한다. 컬러 거리 이외의 기준들이 이용될 수 있다. 예를 들면, 다소 정교한 방법은 10%의 최소 영역들을 선택하고 이들 각각을 컬러가 가장 유사한 이웃하는 영역과 병합하는 것이다. 또한 제 2 이미지에 관한 움직임 정보는 병합된 세그먼테이션들을 생성하기 위해 이용될 수 있었다. 그 후에, 세그먼트들은 움직임 유사성에 대해 병합될 수 있다.

이미지 세그먼테이션은 알려진 기술이다. 상기 텍스트는 2001년 뉴욕의 John Wiley and Sons, Inc.에서 Richard O. Duda, Peter E. Hart 및 David G. Stork에 의한 "Pattern Classification"와 C. Oliver, S. Quegan에 의한 "Understanding Synthetic Aperture Radar Images"에 기술된 영역 맞춤 세그먼테이션 알고리즘에 대한 참조를 제공한다. Duda 문헌은 548 및 549쪽에, 하나의 샘플이 반복 맞춤 처리 동안 한 세그먼트에서 다른 세그먼트로 이동될 때, 에러 기준의 간단하고 효율적인 업데이트를 위한 수학식들을 도출한다. 이러한 반복 맞춤 방법은 상기 처리에서 제 1(병합되지 않은) 세그먼테이션을 생성하기 위해 적용될 수 있다. 영역 맞춤은 또한 Oliver 문헌에 제공된 측정을 이용하여 세그먼트 경계들이 평탄화되게 하는 것을 유념한다. 경계 평탄화와의 반복적인 영역 맞춤은 수용할 수 있는 결과들을 제공한다. 그러나, 때때로, 길게 연장된 영역들은 흐릿한 오브젝트 에지들을 따라 형성된다. 따라서, 이러한 세그먼테이션은 2개의 영역 맞춤 단계들 사이에서 "폴스 에지 제거(false edge removal)"를 이용함으로써 개선될 수 있다. 2개의 영역 맞춤 단계들 사이에서 폴스 에지 제거를 이용하는 개념은 발명의 명칭이 "Method and apparatus for removing false edges from a segmented image"인 초기 특허 출원 공보 WO 2004/051573호에 기술되어 있다.

일반적인 규칙으로서, 오리지널 이미지 데이터를 더 작은 세그먼트들/영역들로 분할하는 임의의 적당한 세그먼테이션 알고리즘이 이용될 수 있다. 모든 필요한 것은 세그먼테이션의 입도가 파라미터의 조정에 의해 상이한 세그먼테이션 뷰들을 생성하도록 조정될 수 있다는 것이다. 이들 상이한 뷰들은 그 후에, 이들 사이를 스위칭하고, 심도 맵을 생성하는 것과 같은 현재 작업을 위해 상이한 세그먼트들을 상이한 레벨들로 선택할 수 있는 사용자에게 유용하다.

상술된 바와 같이, 본 발명은 또한, 로토스코핑(rotoscoping), 이미지 복원, 영화 컬러링과 같은 다른 그래픽 애플리케이션들 또는 그래픽 편집기들의 분야, 오브젝트들을 선택하기 위해 이용될 수 있다. 선택을 시각화하기 위하여, 선택 처리를 통해 대조 컬러를 이용하여 선택된 세그먼트들이 컬러화 및/또는 아웃라인화되는 것이 바람직하다.

이미지 시퀀스들로부터의 이미지들에 관해 상기에 주로 설명되었지만, 본 발명은 또한, 스틸 이미지들에 심도 맵들의 주석을 다는데 동일한 이점을 가지고 이용될 수 있다. 스틸 이미지가 이미지 시퀀스로부터 도출되는 것을 가정하면, 세그먼테이션을 위해 움직임 큐(motion cue)를 이용하는 것이 여전히 가능할 수 있다. 그러나, 단일 스틸만이 이용 가능한 경우에, 어떠한 움직임 큐도 없으며, 그러한 상황에서는, 휘도, 색도 및/또는 텍스처와 같은 다른 큐들이 이미지 데이터를 세그먼트하기 위해 이용될 수 있다는 것을 유념한다. 상기 언급된 실시예들이 본 발명을 제한하기보다는 설명하기 위한 것이며, 본 기술분야의 통상의 기술자는 첨부된 특허청구범위의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있다는 것을 주지해야 한다.

특허청구범위에서, 괄호 사이에 있는 참조 부호들은 특허청구범위를 제한하는 것으로 해석되어서는 안된다.

본 발명의 프레임워크 내에서 많은 변형들이 가능하다는 것이 분명할 것이다. 본 기술분야의 통상의 기술자라면 본 발명이 본 명세서에 특별히 도시되고 기술된 것에 의해 제한되지 않는다는 것을 알 것이다. 본 발명은 각기 모든 새로운 특징적 특성 및 각기 모든 특징적 특성들의 조합에 존재한다. 특허청구범위의 참조 번호들은 이들의 보호 범위를 제한하지 않는다.

동사 "포함하는" 및 그 동사 변화의 이용은 특허청구범위에 기재된 요소들 이외의 요소들의 존재를 배제하지 않는다. 요소 앞의 부정관사("한" ("a" 또는 "an"))의 이용은 이러한 요소들의 복수의 존재를 배제하지 않는다.

Claims

이미지 데이터 처리 방법에 있어서:
상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계;
상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계;
상기 이미지 데이터의 상기 제 1 세그먼트된 뷰를 디스플레이하는 단계;
상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하는 단계;
상기 이미지 데이터의 상기 제 2 세그먼트된 뷰를 디스플레이하는 단계; 및
상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 단계를 포함하는, 이미지 데이터 처리 방법.
제 1 항에 있어서,
상기 제 1 세그먼트된 뷰로부터의 상기 하나 이상의 선택된 세그먼트들과 상기 제 2 세그먼트된 뷰로부터의 상기 하나 이상의 선택된 세그먼트들을 조합하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제 1 세그먼트된 뷰로부터의 세그먼트들을 선택한 후에 규정된 사용자 입력을 수신하는 단계를 더 포함하고, 상기 규정된 사용자 입력은 상기 제 2 세그먼트된 뷰를 디스플레이하는 것을 트리거하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 세그먼트된 뷰에서 조합되는 선택된 이미지 세그먼트들의 아웃라인을 연속으로 시각화하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
하나 이상의 심도 사용자 입력들(depth user inputs)을 수신하는 단계로서, 상기 또는 각각의 심도 사용자 입력은 각각의 선택 사용자 입력에 관련되는, 상기 수신 단계, 및 그에 따라 상기 이미지 데이터에 대한 심도 맵(depth map)을 생성하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 5 항에 있어서,
상기 이미지 데이터의 세그먼트된 뷰의 옆에 상기 심도 맵을 디스플레이하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제 2 세그먼트된 뷰는 상기 제 1 기준에 기초하고, 상기 이미지 데이터의 제 3 세그먼트된 뷰를 생성하기 위해 제 2 기준 및 제 3 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하는 단계, 상기 이미지 데이터의 상기 제 3 세그먼트된 뷰를 디스플레이하는 단계, 및 상기 제 3 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
병합 사용자 입력(merge user input)을 수신하는 단계, 및 상기 이미지 데이터의 세그먼트들을 선택하는 사용자 입력에 의해 규정된 상기 이미지 데이터의 세그먼트들을 병합하는 단계를 더 포함하는, 이미지 데이터 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 기준은 컬러, 세그먼트 크기, 휘도, 색도, 움직임 및 텍스처로부터 선택되는, 이미지 데이터 처리 방법.
이미지 데이터를 처리하는 시스템에 있어서:
상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고, 상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하도록 구성된 처리기;
상기 이미지 데이터의 상기 제 1 및 제 2 세그먼트된 뷰들을 디스플레이하도록 구성된 디스플레이 디바이스; 및
상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하고, 상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하도록 구성된 사용자 인터페이스를 포함하는, 이미지 데이터 처리 시스템.
제 10 항에 있어서,
상기 사용자 인터페이스는 하나 이상의 심도 사용자 입력을 수신하도록 구성되고, 상기 또는 각각의 심도 사용자 입력은 각각의 선택 사용자 입력에 관련되고, 상기 처리기는 또한, 그에 따라 상기 이미지 데이터에 대한 심도 맵을 생성하도록 구성되는, 이미지 데이터 처리 시스템.
제 11 항에 있어서,
상기 디스플레이 디바이스는 또한, 상기 이미지 데이터의 세그먼트된 뷰의 옆에 상기 심도 맵을 디스플레이하도록 구성되는, 이미지 데이터 처리 시스템.
제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 제 2 세그먼트된 뷰는 상기 제 1 기준에 기초하고, 상기 처리기는 또한, 상기 이미지 데이터의 제 3 세그먼트된 뷰를 생성하기 위해 제 2 기준 및 제 3 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하도록 구성되고, 상기 디스플레이 디바이스는 또한, 상기 이미지 데이터의 상기 제 3 세그먼트된 뷰를 디스플레이하도록 구성되고, 상기 사용자 인터페이스는 또한, 상기 제 3 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하도록 구성되는, 이미지 데이터 처리 시스템.
이미지 데이터를 처리하기 위한 컴퓨터 판독 가능한 매체 상의 컴퓨터 프로그램 제품으로서:
상기 이미지 데이터의 제 1 세그먼트된 뷰를 생성하기 위하여 제 1 기준 및 제 1 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고;
상기 이미지 데이터의 제 2 세그먼트된 뷰를 생성하기 위하여 제 1 기준 또는 제 2 기준 및 제 2 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고;
상기 이미지 데이터의 상기 제 1 세그먼트된 뷰를 디스플레이하고;
상기 제 1 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 선택 사용자 입력들을 수신하고;
상기 이미지 데이터의 상기 제 2 세그먼트된 뷰를 디스플레이하고;
상기 제 2 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 명령들을 포함하는, 컴퓨터 프로그램 제품.
제 14 항에 있어서,
하나 이상의 심도 사용자 입력들을 수신하는 명령들로서, 상기 또는 각각의 심도 사용자 입력은 각각의 선택 사용자 입력에 관련되는, 상기 수신 명령들, 및 그에 따라 상기 이미지 데이터에 대한 심도 맵을 생성하는 명령들을 더 포함하는, 컴퓨터 프로그램 제품.
제 15 항에 있어서,
상기 이미지 데이터의 세그먼트된 뷰의 옆에 상기 심도 맵을 디스플레이하는 명령들을 더 포함하는, 컴퓨터 프로그램 제품.
제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
상기 제 2 세그먼트된 뷰는 상기 제 1 기준에 기초하고, 상기 이미지 데이터의 제 3 세그먼트된 뷰를 생성하기 위해 제 2 기준 및 제 3 파라미터를 이용하여 상기 이미지 데이터를 세그먼트하고, 상기 이미지 데이터의 상기 제 3 세그먼트된 뷰를 디스플레이하고, 상기 제 3 세그먼트된 뷰에 디스플레이된 바와 같이, 상기 이미지 데이터의 하나 이상의 세그먼트들을 선택하는 하나 이상의 다른 선택 사용자 입력들을 수신하는 명령들을 더 포함하는, 컴퓨터 프로그램 제품.
제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
병합 사용자 입력을 수신하고, 상기 이미지 데이터의 세그먼트들을 선택하는 사용자 입력에 의해 규정된 상기 이미지 데이터의 세그먼트들을 병합하는 명령들을 더 포함하는, 컴퓨터 프로그램 제품.