KR100396357B1

KR100396357B1 - 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법및 그 방법을 실시하는 프로그램을 기억한 기억 매체

Info

Publication number: KR100396357B1
Application number: KR10-2000-0024028A
Authority: KR
Inventors: 호리우치요시오; 류토마사유키
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 1999-05-17
Filing date: 2000-05-04
Publication date: 2003-09-02
Also published as: US6728407B1; GB0009815D0; GB2350185A; KR20010014871A; JP2000331156A; IL135939A0; IL135939A; SG85176A1; GB2350185B

Abstract

본 발명은 윤곽을 트레이스할 필요 없이 화상 중에서 추출하고 싶은 영역 또는 물체의 윤곽을 용이하게 검출할 수 있도록 하는 것을 목적으로 한다.

본 발명은 표시 화상 중에서 특정 오브젝트의 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법 및 그 방법을 실시하기 위한 프로그램을 기억한 기억 매체를 제공한다. 이 방법은, 특정 오브젝트를 내부에 포함하는 초기 영역을 설정하고 그 초기 영역의 경계 상에 복수의 초기점을 설정하는 단계와, 상기 복수의 초기점 각각으로부터 상기 초기 영역의 내부를 향해 화상을 스캔하기 위한 목표점을 설정하는 단계와, 상기 복수의 초기점 각각과 상기 목표점 사이의 선분을 따라 1이상의 트래커 후보점을 윤곽의 강도에 기초하여 선택하는 단계와, 상기 복수의 초기점 중에서 선택된 초기점을 기점으로서, 동적 계획법을 이용하여 코스트를 최소로 하는 트래커 후보점의 조합을 구하는 단계를 포함한다.

Description

윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법 및 그 방법을 실시하는 프로그램을 기억한 기억 매체 {METHOD FOR AUTOMATICALLY DETERMINING TRACKERS ALONG CONTOUR AND STORAGE MEDIUM STORING PROGRAM FOR IMPLEMENTING THE SAME}

본 발명은 화상 처리에 관한 것으로, 특히 디스플레이 화면에 표시되어 있는 화상에 있어서, 원하는 영역 또는 물체를 추출하기 위해 그 윤곽을 따르는 제어점(트래커)의 위치를 자동적으로 결정하는 기술에 관한 것이다.

화상의 합성이나 편집을 행하기 위한 화상 처리 소프트웨어가 몇 가지 알려져 있고, 그 중에는 화상 상의 특정 영역 또는 물체를 선택하기 위해 그 윤곽을 검출하는 선택 도구를 구비한 것이 있다. 종래, 그러한 윤곽 검출은 마우스 등의 포인팅 디바이스를 이용하여 윤곽을 트레이스함으로써 행하는 것이 일반적이었다. 포인팅 디바이스에 의한 윤곽 트레이스를 개시한 공개 공보에 다음과 같은 것이 있다.

예컨대, 일본 특허 공개 공보 제93-233810호에는 표시되어 있는 원 화상 중에서 추출하고 싶은 영역의 윤곽선을 포인팅 디바이스를 이용하여 대충 덧그림으로써, 그 윤곽선을 포함한 대충의 윤곽선을 지정하고, 대충의 윤곽선 내의 원 화상 화소에 대해서 엣지 강도를 구하여 미리 설정된 임계치 이하의 엣지 강도를 갖는 화소를 삭제 대상으로 하며, 삭제 가능한 화소가 없어질 때까지 중심선 추출 처리를 적용하여 임계치를 크게 하면서, 최종적으로 선폭 1화소의 세선화 결과를 얻을 수 있을 때까지, 대충의 윤곽선에 대한 중심선 추출 처리를 반복 적용하고, 얻어진 세선화 결과를 윤곽선으로 하는 영역 추출 방법이 개시되어 있다.

일본 특허 공개 공보 제94-325176호에는 화상 표시부 상의 원래 화상의 윤곽선과 교차하는 선분을 입력하기 위한 포인팅 디바이스와, 이 포인팅 디바이스의 입력 선분과 원래 화상의 윤곽선의 교점을 검출하는 교점 검출 수단과, 이 교점 검출 수단에 의해 검출한 교점 상을 기억하는 교점 정보 메모리와, 이 교점 정보 메모리내의 교점 정보에 대응하는 교점을 연결하는 다각형 윤곽선을 형성하는 다각형 윤곽선 형성 수단을 포함하는 윤곽 지정 수단을 구비한 화상 추출 장치가 개시되어 있다.

일본 특허 공개 공보 제96-77336호에는 기억 수단에 기억된 원 화상을 표시 수단에 표시하고, 표시 중인 윤곽부를 포함하도록 포인팅 수단에 의해 외곽 프레임 영역을 띠 모양으로 지시 입력하며, 이 외곽 프레임 영역 내의 원 화상의 화소에 대해서 색공간 내에서의 인접 화소와의 차분을 구하고, 최대 차분을 나타내는 화소를 연결하여 윤곽선으로 하는 부분 화상을 상기 원 화상 중의 추출 영역으로 하도록 한 영역 추출 방법이 개시되어 있다.

마우스 등의 포인팅 디바이스를 이용하여 화면상에서 윤곽을 트레이스하는 것은 익숙하지 않은 사용자에게는 어렵고, 정확히 트레이스하기 위해 여러 번 시행을 거듭하거나 또는 천천히 트레이스해야만 했다.

따라서, 본 발명의 목적은 윤곽을 트레이스할 필요 없이 화상 중에서 추출하고 싶은 영역 또는 물체(이하, 오브젝트라 함)의 윤곽을 용이하게 검출할 수 있는 방법을 제공하는 데에 있다.

본 발명의 다른 목적은 그러한 방법을 실시하는 프로그램을 기억한 컴퓨터가 판독할 수 있는 기억 매체를 제공하는 데에 있다.

도 1은 본 발명을 실시할 수 있는 화상 처리 시스템의 일례를 도시한 블록도.

도 2는 본 발명에 따른 방법의 개략을 도시한 흐름도.

도 3은 초기 영역이 사각형 및 타원인 경우의 초기점 결정 방법을 도시한 흐름도.

도 4는 인접하는 초기점 사이의 거리가 소정의 임계치 이하가 되도록 새로운 초기점을 추가하는 방법을 도시한 흐름도.

도 5는 각 초기점마다 초기 영역 내부를 스캔하여 트래커 후보점을 결정하는 방법을 도시한 흐름도.

도 6은 선택된 초기점에서 초기 영역의 내부로 스캔하기 위한 목표가 되는 점을 결정하는 방법을 도시한 흐름도.

도 7은 도 6의 흐름에 의한 목표점 결정의 개념을 도시한 도면.

도 8은 트래커 후보점을 결정할 때, 선택된 점에 있어서의 차분 강도를 구하는 방법을 도시한 흐름도.

도 9는 트래커 후보점의 조합 중 가장 오브젝트의 윤곽을 따르는 것을 선출하는 방법을 도시한 흐름도.

도 10은 초기점 리스트 내의 인접하는 엔트리에 대해서 코스트를 계산하고, 코스트 맵을 작성하는 동시에 의존 관계를 결정하는 방법을 도시한 흐름도.

도 11은 최후미 엔트리의 각 후보점으로부터 의존 관계를 앞으로 거슬러 올라가 선두 엔트리의 어느 후보점으로 이어지는지를 구하고, 최후미 엔트리의 누적 코스트에 최후미 엔트리·선두 엔트리 사이의 코스트를 더한 전체의 코스트를 최소로 하는 후보점의 조합을 구하는 방법을 도시한 흐름도.

도 12는 선출된 트래커 후보점의 조합으로부터 트래커 후보점을 솎아내는 방법을 도시한 흐름도.

〈도면의 주요부분에 대한 부호의 설명〉

1 : 시스템

10 : CPU

14 : RAM

16 : ROM

18 : I/O 어댑터

20 : 디스크 기억 장치

22 : 사용자 인터페이스 어댑터

24 : 키보드

26 : 마우스

28 : 디스플레이 어댑터

30 : 통신 어댑터

32 : 애플리케이션

34 : 오퍼레이팅 시스템

36 : 프레임 버퍼

38 : 디스플레이 장치

본 발명의 제1 형태는 표시 화상 중에서 특정 오브젝트의 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법으로서,

상기 특정 오브젝트를 내부에 포함하는 초기 영역을 설정하고, 그 초기 영역의 경계 상에 복수의 초기점을 설정하는 단계와,

상기 복수의 초기점 각각으로부터 상기 초기 영역의 내부를 향해 화상을 스캔하기 위한 목표점을 설정하는 단계와,

상기 복수의 초기점 각각과 상기 목표점 사이의 선분을 따라 1이상의 트래커 후보점을 윤곽의 강도에 기초하여 선택하는 단계와,

상기 복수의 초기점 중에서 선택된 초기점을 기점으로서, 동적 계획법을 이용하여 코스트를 최소로 하는 트래커 후보점의 조합을 구하는 단계를 포함하고 있다.

본 발명의 제2 형태는 표시 화상 중에서 특정 오브젝트의 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법을 실시하는 프로그램을 기억한, 컴퓨터가 판독할 수 있는 기억 매체로서, 상기 프로그램이, 상기 특정 오브젝트를 내부에 포함하는 초기 영역을 설정하고, 그 초기 영역의 경계 상에 복수의 초기점을 설정하는 프로그램 코드 수단과, 상기 복수의 초기점 각각으로부터 상기 초기 영역의 내부를 향해 화상을 스캔하기 위한 목표점을 설정하는 프로그램 코드 수단과, 상기 복수의 초기점 각각과 상기 목표점 사이의 선분을 따라 1 이상의 트래커 후보점을 윤곽의 강도에 기초하여 선택하는 프로그램 코드 수단과, 상기 복수의 초기점 중에서 선택된 초기점을 기점으로서, 동적 계획법을 이용하여 코스트를 최소로 하는 트래커 후보점의 조합을 구하는 프로그램 코드 수단을 포함하고 있다.

본 발명을 실시할 수 있는 화상 처리 시스템의 일례를 도 1에 도시한다. 이 시스템은 본 발명의 방법을 포함하는 적당한 화상 처리 소프트웨어를 실행할 수 있는 퍼스널 컴퓨터나 엔지니어링 워크스테이션 등의 범용 컴퓨터 시스템이어도 된다. 도 1에 있어서, 시스템(1)은 파워 PC(파워 PC는 IBM사의 상표)나 펜티엄(펜티엄은 인텔사의 상표)과 같은 중앙 처리 장치(CPU: 10)와, 이 CPU(10)에 시스템 버스(12)를 통해 상호 접속된 여러 가지 컴포넌트를 포함한다. 이들 컴포넌트의 하나로서 판독 전용 메모리(ROM: 16)가 시스템 버스(12)를 통해 CPU(10)에 접속된다. 이것은 기본적인 컴퓨터 기능을 제어하는 기본 입출력 시스템(BIOS)을 포함한다. 그 밖에, 메인 메모리로서 작동하는 랜덤 액세스 메모리(RAM: 14), I/O 어댑터(18), 사용자 인터페이스 어댑터(22), 디스플레이 어댑터(28) 및 옵션으로서의 통신 어댑터(30)도 시스템 버스(12)에 접속된다.

전술한 컴포넌트는 모두 하드웨어 컴포넌트이지만, 시스템(1)은 CPU(10)에 의해 실행되는 애플리케이션 프로그램(32) 및 오퍼레이팅 시스템(34)이라는 소프트웨어 컴포넌트도 포함한다. 이들 소프트웨어 컴포넌트(본 발명의 방법을 실행하기 위한 프로그램도 포함함)는 통상 I/O 어댑터(18)에 접속된 하드디스크 드라이브 등의 디스크 기억 장치(20)에 기억되어 있고, 거기에서 RAM(14)에 로드되어 실행된다. 본 발명에 따라 처리되는 화상 데이터는 디스크 기억 장치(20) 또는 도시하지 않은 다른 기억 매체(CD-ROM 등)에 기억되어 있고, 거기에서 RAM(14)으로 독출되어 CPU(10)에 의해 처리된다. I/O 어댑터(18)는 소형 컴퓨터 시스템 인터페이스(SCSI) 어댑터이어도 된다. 옵션의 통신 어댑터(30)는 시스템(1)을 외부 네트 워크에 접속하기 위한 것으로, 예컨대 처리하고 싶은 화상을 원격지로부터 수취할 때 사용된다.

더욱이, 각종 입출력 장치가 사용자 인터페이스 어댑터(22) 및 디스플레이 어댑터(28)를 통해 시스템 버스(12)에 접속된다. 키보드(24) 및 마우스(26)는 사용자 인터페이스 어댑터(22)를 통해 시스템 버스(22)에 접속된다. 디스플레이 어댑터(28)는 디스플레이 장치(38)의 화면에 표시되는 화상의 화소 정보를 유지하는 기억 장치인 프레임 버퍼(36)를 포함한다. 프레임 버퍼(36)로부터 판독된 화소정보는 디지털 아날로그 변환기(도시하지 않음)를 통해 디스플레이 장치(38)로 보내어져 그 화면에 표시된다. 사용자는 키보드(24) 또는 마우스(26)를 통해 시스템(1)으로 정보를 입력할 수 있고, 또한, 디스플레이 장치(38)를 통해 시스템(1)으로부터의 정보를 출력할 수 있다.

본 발명은 디스플레이 장치(38)의 화면에 표시된 화상에 있어서, 원하는 오브젝트를 추출하기 위해 그 윤곽을 따라 복수의 트래커를 위치 결정하는 것으로, 그 개략 흐름을 도 2에 도시한다. 우선 최초의 단계(200)에서, 디스플레이 장치(38)의 화면에 표시되어 있는 화상으로부터 추출하고 싶은 오브젝트를 내부에 포함하는 대충의 초기 영역을 설정하고, 그 경계 상에 소정 수(예컨대, 8개)의 초기점을 위치 결정한다. 본 실시예에서는, 초기 영역으로서 사각형 또는 타원을 사용하지만, 물론 본 발명은 이것에 한정되지 않는다. 초기 영역이 사각형인 경우는 화상 중에서 원하는 점(예컨대, 설정하고 싶은 사각형의 좌측 상부 구석에 대응하는 위치) 부분에서 마우스 버튼을 클릭하여 그대로 비스듬하게 드래그하고, 제2 원하는 점(마찬가지로, 좌측 하부 구석에 대응하는 위치)에서 마우스 버튼을 뗌으로써 설정 가능하다. 타원도 동일한 조작으로 설정할 수 있다. 시판되는 화상 처리 소프트웨어는 이러한 사각형 및 타원의 묘화 기능을 구비하고 있기 때문에 사용자는 그것을 이용하면 좋다. 설정한 초기 영역은 추출하고 싶은 오브젝트를 그 내부에 포함하는 것이어야 하지만, 그 형상은 오브젝트의 윤곽과는 무관하여도 좋고, 따라서 사용자는 오브젝트의 윤곽을 세심하게 트레이스할 필요는 없다. 초기 영역 경계상의 초기점은 도 3에 도시된 바와 같이 하여 결정되지만, 이것에 대해서는 나중에 설명한다.

소정수의 초기점이 결정되면, 단계(201)에서, 인접하는 2개의 초기점 사이의 거리가 소정의 임계치(DS) 이하가 되도록 초기 영역의 경계 상에 새로운 초기점을 늘린다. 이것은 후술하는 코스트 계산으로 보다 적절한 값을 산출하도록 하기 위함이다. 새로운 초기점은 도 4에 도시된 바와 같이 하여 결정된다(상세한 것은 후술). 필요한 모든 초기점이 결정되면, 단계(202)에서, 각 초기점마다 초기 영역 내부를 스캔하여 트래커의 후보점을 결정한다. 후보점은 도 5에 도시된 바와 같이 하여 결정된다(상세한 것은 후술). 트래커 후보점이 전부 결정되면, 단계(203)에서 후보점의 조합 중에서 추출하고 싶은 오브젝트의 윤곽을 가장 잘 나타낸 것을 선출한다. 이것은 동적 계획법을 이용하여 코스트를 최소로 하는 조합을 구함으로써 달성할 수 있다. 이것에 대해서는 나중에 도 9를 참조하여 설명한다. 마지막으로, 단계(204)에서, 선출된 후보점의 조합으로부터 트래커 사이의 거리가 대략 DT가 되도록 후보점을 솎아내어 트래커를 결정한다. 이것도 나중에 도 12를 참조하여 설명한다.

이상과 같이, 본 발명에 따르면, 사용자는 추출하고 싶은 오브젝트의 윤곽을 트레이스하지 않고, 단순히 그 주위에 대충의 초기 영역을 설정하는 것만으로, 그 오브젝트를 추출하기 위한 트래커를 얻을 수 있다. 다음은, 인텔리전트 시저스 등의 공지 방법으로, 트래커 사이를 윤곽을 따라 연결하면, 오브젝트를 추출할 수 있다. 인텔리전트 시저스는 예컨대, Eric Mortensen 외의 "Intelligent Scissors for Image Composition", COMPUTER GRAPHICS Proceedings, Annual Conference Series,1999, pp. 191-198에 기재되어 있다. 다음에, 도 2의 각 단계의 상세한 내용에 대해서 설명한다.

우선, 초기점 결정[단계(200)]은 도 3의 흐름에 따라 실행된다. 도 3의 (a) 및 (b)는 각각 초기 영역이 사각형 및 타원인 경우를 도시하고 있다. 초기 영역이 사각형인 경우는 단계(300)에서 사각형 영역의 4개의 정점의 좌표로부터 엔트리를 만들어 초기점 리스트에 더한다. 예컨대, 사각형 영역의 좌측 상부 구석의 정점에서 시작하여 우회전으로 우측 상부 구석, 우측 하부 구석 및 좌측 하부 구석 순으로 초기점 리스트에 엔트리를 만들어 간다. 다음에 단계(301)에서, 인접하는 2개의 정점 사이의 중점(전부 4개)의 좌표로부터 엔트리를 만들고, 초기점 리스트에 있어서 관련되는 2개의 정점 엔트리 사이에 삽입한다. 이 예에서는 합계 8개의 초기점 엔트리가 작성되어 리스트에 더해진다.

타원인 경우는, 단계(310)에서 타원 영역에 외접하는 사각형을 구하여(타원을 묘화할 때 설정한 사각형이면 됨), 다음에 단계(311)에서 이들 접점(전부 4개)의 좌표로부터 엔트리를 만들어 초기점 리스트에 더한다. 4개의 접점은 타원의 긴 직경의 양단 및 짧은 직경의 양단과 일치하고, 예컨대 그 중의 하나를 선두 엔트리로서, 우회전으로 리스트에 더해 나간다. 마지막으로 단계(312)에서 외접 사각형의 4개의 정점과 그 중심을 연결하는 직선이 타원과 교차하는 점(전부 4개)의 좌표로부터 엔트리를 만들어 리스트 중의 대응하는 위치에 더한다.

도 3의 흐름에 의해 작성되는 각 엔트리의 내용은 사각형 및 타원으로 동일하며, 다음과 같이 되어 있다.

엔트리 p:

p_seed - 초기점

p_edge[i] - 트래커 후보점의 배열(i＝0, 1,‥, p_m－1)

p_m - 트래커 후보점의 수

p_next - 다음 엔트리로의 포인터

p_prev - 이전 엔트리로의 포인터

p_cost[i] - 각 후보점에 대한 누적 코스트

(코스트 맵)

p_from[i] - 각 후보점에 대한 의존 관계

(이전 엔트리의 후보점의 인덱스)

상기에서 밝혀진 바와 같이, 각 엔트리는 그 전후의 엔트리로의 포인터를 갖고 있고, 따라서 그러한 엔트리로 구성되는 리스트는 소위 링크 리스트이다. 도 3의 흐름에서는 상기한 내용 중 p_seed, p_next 및 p_prev가 설정된다. 나머지 내용은 이하에 설명하는 동작 중에 설정된다.

도 2의 단계(201)는 도 4의 흐름에 의해 실행된다. 도 4에 있어서, 최초의 단계(400)에서 도 3의 흐름에 의해 작성한 초기점 리스트 내의 인접하는 2개의 엔트리의 조합 중 그 초기점 사이의 거리가 임계치 DS보다 큰 것이 있는지 여부를 조사한다. 혹시 있으면, 단계(401)로 진행하여 그러한 엔트리 조를 1개 꺼내어 그 각 엔트리를 p, q로 한다. 다음 단계(402)에서 엔트리 p 및 q의 초기점의 중점을 구하고, 또한 단계(403)에서 그 중점의 좌표로부터 엔트리를 만들어 초기점 리스트에있어서 엔트리 p와 q의 사이에 삽입한다. 그 후 단계(400)로 되돌아간다. 도 4의 흐름은 초기점 사이의 거리가 DS보다 큰 엔트리의 조가 없어질 때까지 반복된다. 초기점 사이의 거리를 DS 이하로 한 이유는 나중의 트래커 후보점의 코스트 평가에 있어서 거리가 너무 떨어져 있는 후보점 쌍은 잘 평가할 수 없기 때문이다. 예컨대, 나중에 설명하는 코스트 평가에서는 2개의 후보점 사이의 코스트를 이들 근방점의 색에 기초하여 평가하고 있지만, 이것은 장소가 가까운 점은 같은 색을 갖는다는 가정 하에 성립되고 있으며, 따라서 어느 정도 후보점 끼리가 접근해 있지 않으면 의미가 없다. 이와 같이 하여 결정된 각 초기점마다 트래커 후보점을 결정하는 도 2의 단계(202)는 도 5의 흐름에 따라 결정된다.

도 5에 있어서, 우선 최초의 단계(500)에서 초기점 리스트의 엔트리 p를 선두 엔트리 L.head로 설정한다. 다음 단계(501)에서 초기 영역의 내측으로 스캔하기 위한 목표가 되는 점 T를 구한다. 초기 영역이 타원인 경우는 이 목표점 T는 타원의 중심으로 좋지만, 사각형인 경우는 도 6에 도시된 바와 같이 하여 구한다. 이것에 대해서는 나중에 설명한다. 목표점 T가 구해지면, 단계(502)로 진행하여 스캔해야 할 점 P를 엔트리 p의 초기점 p_seed로 설정하고, 트래커 후보점의 번호를 나타내는 변수 i를 0으로 설정한다. 다음에 단계(503)에서 점 P에서의 차분의 강도 G를 구하고(상세한 내용은 후술), 단계(504)에서 그것을 소정의 임계치 TH와 비교한다. 강도 G가 TH 이상이면, 점 P가 윤곽점일 가능성이 높기 때문에 단계(505)로 진행하여 점 P를 트래커 후보점 p_edge[i]로 하고 i를 1만큼 증분한다. 계속해서, 단계(506)에서 i가 미리 정해진 트래커 후보점의 최대수 M보다 작은지 여부를 조사하여, 작으면 단계(507)로 진행하고 점 P를 목표점 T를 향해 1화소 분 이동한다. i가 M 이상이면 단계(509)로 건너뛴다. 단계(507)는 단계(504)에서 강도 G가 TH보다 작았을 경우에도 실행된다. 다음 단계(508)에서 새로운 점 P가 목표점 T와 일치하는지 여부를 조사하여, 일치하지 않으면 단계(503)로 되돌아가 후보점의 검출을 반복한다. 점 P가 목표점 T와 일치하면, 단계(509)로 진행하여 현재의 엔트리 p가 리스트의 최후미 엔트리 L.tail인지 여부를 조사한다. 만일 최후미 엔트리가 아니면, 단계(510)로 진행하여 현 엔트리 p 중의 p_next를 이용하여 다음 엔트리를 액세스한 후, 단계(501)로 되돌아간다. 현 엔트리가 리스트의 최후미 엔트리라면 종료한다.

단계(506)에 있어서 트래커 후보점의 수를 최대 M으로 제한하고 있는 것은 계산의 고속화를 위함이다. 만일 이 점을 고려하지 않아도 좋다면 단계(506)를 생략할 수 있다.

다음에, 도 6을 참조하면서, 사각형 영역에서의 목표점 T를 구하는 방법을 설명한다. 여기에서는 사각형 영역의 4개의 정점을 P[0]∼P[3]으로 하고, 그 번호를 나타내는 변수로서 i 및 j를 사용한다. 최초의 단계(600)에서 i를 0으로 초기 설정하고, 다음 단계(601)에서 모듈 4(mod4)로 j를 i＋1로 한다. 다음에, 목표점 T를 설정하고 싶은 엔트리의 초기점 seed(간단하게 하기 위해 엔트리의 기호를 생략함)가 사각형의 4변 중 어느 변에 있는지를 결정하기 위해 단계(602)에서 seed가 P[i]와 P[j]를 연결하는 직선 상에 있는지 여부를 조사한다. 만일 없으면, 단계(603)로 진행하여 i를 1만큼 증분하여(mod4) 단계(601)로 되돌아간다. 초기점seed가 정점 P[i]와 P[j]를 연결하는 직선 상에 있으면, 단계(604)로 진행하여 그 직선이 사각형 영역의 긴 변인지 여부를 조사한다. 만일 긴 변이면, 단계(605)로 진행하여 2점 사이의 유클리드 거리를 계산하는 함수 calc_dist에 의해 초기점 seed와 정점 P[i] 사이의 거리 d를 계산한다. 짧은 변이면, 단계(604)에서 단계(606)로 진행하여 i 및 j를 각각 1씩 증분하고(mod4), 거리 d를 0으로 설정한다. 단계(605) 또는 단계(606)가 종료하면, 단계(607)로 진행하여 정점 P[i]에서 정점 P[j]로 향하는 벡터 V를 구하고, 마지막으로 단계(608)에서 목표점 T를 다음과 같이 정한다.

상기 식에 있어서, C는 사각형 영역의 중심, SL은 긴 변의 길이, SS는 짧은 변의 길이이다.

정점 P[i] 및 P[j], 초기점 seed, 목표점 T, 중심 C 및 벡터 V의 관계를 도 7에 나타낸다. 사각형 영역의 목표점 T를 중심 C와 일치시키지 않은 것은 사각형 영역이 매우 가늘고 긴 경우에 후보점의 분포가 치우치지 않도록 하기 위함이다.

차분의 강도 G를 구하기 위한 단계(503)는 도 8의 흐름으로 실행된다. 우선 단계(800)에서 점 P에서의 차분 벡터 g를 구한다. 이것은, Sobel 필터 등의 이미 알려진 차분형 엣지 검출 오퍼레이터를 사용함으로써 달성할 수 있다. 그러한 오퍼레이터는 주지이므로 자세한 설명은 생략한다. 다음에 단계(801)에서 차분 벡터 g의 크기 ｜g｜를 구하고, 마지막으로 단계(802)에서 ｜g｜를 정규화함으로써 강도G를 구한다. 즉, 하기 식을 계산한다.

여기서 maxg는 ｜g｜를 얻을 수 있는 최대치이며, 따라서 G는 0∼1의 사이의 수이다.

다음에, 도 2의 단계(203)를 실행하는 도 9의 흐름을 설명한다. 최초의 단계(900)에서, 도 2의 단계(200) 및 단계(201)에 의해 작성한 초기점 리스트 내의 인접하는 엔트리에 대해서 코스트를 계산하여 코스트 맵을 작성하는 동시에 각 후보점에 대한 의존 관계를 결정한다. 다음에 단계(901)에서, 리스트 중의 최후미 엔트리 L.tail의 각 후보점으로부터 의존 관계를 거슬러 올라가 선두 엔트리 L.head 중 어느 후보점으로 이어지는지를 결정하고, 최후미 엔트리 L.tail의 누적 코스트에 최후미 엔트리·선두 엔트리 사이의 코스트를 더한 전체 코스트를 최소로 하는 후보점의 조합을 구한다. 마지막으로 단계(902)에서 코스트가 최소인 조합의 후보점을 배열 cand로 열거한다. 그 후보점의 수를 num_cand로 나타낸다.

단계(900)에 있어서의 코스트 맵의 작성 및 의존 관계의 결정은 도 10에 도시된 바와 같이 하여 실행된다. 도 10에서 사용하는 변수 i 및 j는 초기점 리스트의 각 엔트리에 관련된 후보점의 번호를 나타낸다. 우선, 단계(1000)에서 엔트리 q를 초기점 리스트의 선두 엔트리 L.head로 한다. 다음에, 단계(1001)에서 그것을 엔트리 p로 하고 엔트리 q 중 다음 엔트리 포인터 q_next에 의해 지시되는 포인터를 새로운 엔트리 q로 한다. 또한, 단계(1002)에서 j를 0으로 초기 설정하고,단계(1003)에서, 엔트리 q의 누적 코스트 q_cost[j]를 미리 정한 큰 수 HUGE로 설정하여 각 후보점에 대한 의존 관계 q_from[j]를 －1로 설정하고 i를 0으로 설정한다. HUGE는 예컨대 q_cost[j]가 부호 없는 정수인 경우는 그 모든 비트를 1로 함으로써 설정할 수 있다. 의존 관계 q_cost[j]를 －1로 설정한 것은 처음에는 어디에도 의존하고 있지 않는 것을 나타내기 위함이다. 이것을 나타낼 수 있으면, 특별히 －1이 아니어도 상관없다. 단계(1003)가 끝나면 코스트의 계산으로 들어간다.

우선, 단계(1004)에서 엔트리 p의 후보점 p_edge[i] 및 엔트리 q의 후보점 q_edge[j]를 파라미터로 하는 코스트 평가 함수 calc_cost를 이용하여 로컬 코스트 localcost를 계산한다. 본 실시예에서는 로컬 코스트는 차분의 강도, 근방점의 색, 초기점으로부터의 거리 및 후보점 사이의 위치 관계라는 4개의 다른 특성에 기초하여 계산된다. 간단하게 하기 위해 각각의 후보점을 x, y로 표시하면, 함수 calc_cost(x, y)는 다음 식으로 정의된다.

상기 식에 있어서, W_EDGE, W_COLOR, W_BALLOON 및 W_SIMILAR는 전술한 4개의 특성에 대한 무게를 표시하고, 양호한 코스트 평가 결과를 얻을 수 있도록 각각경험칙으로부터 결정된다. 최후의 f는 함수 calc_dist(x, y)에 의해 계산되는 후보점 xy 사이의 거리가 임계치 DT 이하이면 1이고, DT보다 크면, 코스트를 크게 하기 위해, 즉 후보점 x, y를 쉽게 선택할 수 없게 하기 위해, 1보다 큰 값, 예컨대 5∼10으로 한다. 이렇게 한 이유는 최종적으로 결정되는 트래커의 간격이 DT 이하가 되는 것이 바람직하기 때문이다.

f_edge(y)는 후보점 y에서의 차분 강도 G로부터 다음과 같이 계산되는 코스트를 표시한다.

강도 G는 도 8에서 설명한 바와 같이, 0∼1 사이의 수이므로, f_edge도 O∼1 사이의 수가 된다.

f_color(x, y)는 후보점 x 및 y의 근방점의 색 사이의 거리를 표시한다. 근방점은 후보점 바로 근처의 점이 아니라, 후보점보다 여러 화소(예컨대 2∼3화소)분 내측으로 들어간 부분의 점이다. 후보점 x의 근방점의 색을 Cx로 표시하고, 후보점 y의 근방점의 색을 Cy로 표시하면, f_color(x, y)는 다음과 같이 계산된다.

f_balloon(y)은 초기점으로부터의 거리를 정규화한 것으로, 다음과 같이 계산된다.

여기서, S는 후보점 y를 포함하는 엔트리의 초기점이고, T는 초기점 S로부터 스캔하는 목표의 점이다. 함수 calc_dist는 상술한 바와 같이, 2점 사이의 유클리드 거리를 계산한다.

f_similar(x, y)는 후보점 x 및 y의 위치 관계로부터 계산되는 코스트이며, 다음 식으로 표시된다.

여기서, Sx는 후보점 x를 포함하는 엔트리의 초기점, Sy는 후보점 y를 포함하는 엔트리의 초기점을 표시하고, Tx, Ty는 각각의 엔트리의 목표점을 표시한다.

로컬 코스트의 계산이 끝나면, 단계(1005)에서 엔트리 p 중 누적 코스트 p_cost[i]에 로컬 코스트를 가산함으로써 한시 코스트 tmpcost를 계산하고, 다음에 단계(1006)에서 그 한시 코스트가 엔트리 q 중 누적 코스트 q_cost[j]보다 작은지 여부를 조사한다. 한시 코스트 쪽이 작으면 단계 1007로 진행하고, 그렇지 않으면 단계(1008)로 건너뛴다. 단계(1007)에서는, 한시 코스트의 값을 엔트리 q의 누적 코스트 q_cost[j]로 하고, 그리고 의존 관계를 나타내는 값 q_from[j]을 i로 한다. 단계(1008)에서 i를 1만큼 증분하고, 단계(1009)에서 i가 엔트리 p의 트래커 후보점의 수 p_m에 도달했는지 여부를 조사한다. i가 p_m과 같으면, 단계(1010)로 진행하여 j를 1만큼 증분하고, 그렇지 않으면 단계(1004)로 되돌아간다. 단계(1011)에서 증분 후의 j가 엔트리 q의 트래커 후보점의 수 q_m에 도달했는지 여부를 조사한다. j가 q_m과 같으면 단계(1012)로 진행하고, 그렇지 않으면 단계(1003)로 되돌아간다. 단계(1012)에서는, 엔트리 q가 리스트의 최후미 엔트리 L.tail인지 여부를 조사하여 최후미 엔트리가 아니면 단계(1001)로 되돌아가고, 최후미 엔트리라면 종료한다. 이와 같이, 도 10의 흐름은 어떤 초기점에서 그 인접한 초기점까지 초기 영역의 경계를 일회전하여 누적 코스트를 계산하고 있다.

다음에, 도 9의 단계(901)의 상세한 내용에 관해서 도 11을 참조하여 설명한다. 우선, 단계(1100)에서 초기점 리스트의 최후미 엔트리 L.tail을 p로 하고 선두 엔트리 L.head를 q로 한다. 다음 단계(1101)에서 총 코스트 totalcost를 큰 수 HUGE로 설정하고(도 10의 단계(1003)와 동일) 인덱스를 -1로 설정하며 i를 0으로 설정한다. 단계(1102)에서 엔트리 p의 후보점 p_edge[i]로부터 도 10의 흐름으로 결정한 의존 관계를 앞으로 거슬러 올라가 엔트리 q의 어느 후보점으로 이어지는지를 구하여 그 인덱스를 j로 한다. 이 시점에서 엔트리 p의 후보점 p_edge[i]가 엔트리 q의 후보점 q_edge[j]로 이어지는 것을 알 수 있다. 다음 단계(1103) 및 단계(1104)는 도 10의 단계(1004) 및 단계(1005)와 각각 동일한 방식으로 로컬 코스트 localcost 및 한시 코스트 tmpcost를 계산한다. 단계(1105)에서 한시 코스트가 총 코스트보다 작은지 여부를 조사하여 만일 작으면 단계(1106)로 진행하고, 그렇지 않으면 단계(1107)로 건너뛴다. 단계(1106)에서 한시 코스트의 값을 총 코스트의 새로운 값으로 하고 인덱스를 i로 한다. 단계(1107)에서 i를 1만큼 증분한 후, 단계(1108)에서 증분한 후의 i가 엔트리 p의 후보점의 수 p_m에 도달했는지 여부를 조사한다. i가 p_m보다 작으면 단계(1102)로 되돌아가고, 그렇지 않으면 종료한다. 이와 같이, 도 11의 흐름은 최후의 초기점과 최초의 초기점 사이의 코스트를 고려하여 어느 조합이 좋은지를 결정하고 있다.

다음에, 도 2의 단계(204)의 상세한 내용에 대해서 도 12를 참조하면서 설명한다. 우선, 단계(1200)에서 선출된 후보점의 조합을 저장하고 있는 배열의 최초의 후보점 cand[0]를 파라미터 point로 한다. 다음 단계(1201)에서 변수 n을 1로 초기 설정하고 point를 최초의 트래커 tracker[0]로 한다. 단계(1202)에서 후보점 사이의 거리 d를 0으로 변수 i를 1로 각각 초기 설정하고, 다음 단계(1203)에서 함수 calc_dist를 이용하여 거리 d를 계산한다. 함수 calc_dist는 문제 삼고 있는 2개의 후보점(처음에는 cand[0] 및 cand[1]) 사이의 거리를 부여한다. 다음에 단계(1204)에서, 계산된 d가 소정의 트래커 간격 DT보다 큰지 여부를 조사한다. 크면, 단계(1205)로 진행하고, 그렇지 않으면 단계(1207)로 건너뛴다. 단계(1205)에서 i번의 후보점 cand[i]을 point로 하고, 단계(1206)에서 그것을 n번의 트래커 tracker[n]로 하는 동시에 n을 1만큼 증분한다. 그리고 단계(1207)에서 i를 1만큼 증분한 후, 단계(1208)에서 i와 배열 cand에 저장되어 있는 후보점의 수 num_cand를 비교하여 i가 num_cand보다 작으면 단계(1202)로 되돌아가고, 그렇지 않으면 종료한다.

이와 같이 하여 결정된 트래커의 위치는 거의 추출하고 싶은 오브젝트의 윤곽 상에 있다. 다음은, 상술한 바와 같이 인텔리전트 시저스 등의 공지의 방법으로 트래커 사이를 윤곽을 따르도록 연결하면 된다. 만일 어떤 트래커가 원하는 위치에 없으면, 사용자는 마우스의 드래그 조작에 의해 그 트래커를 원하는 위치까지 이동시킬 수 있다. 그 경우, 이동시키고 싶은 트래커를 마우스로 지정했을 때, 그 트래커 및 그것에 연결되는 윤곽선 부분의 색을 다른 것과 달리하면, 윤곽의 위치 결정을 알기 쉽게 된다.

이상, 본 발명의 바람직한 실시예에 대해서 설명하여 왔지만, 본 발명은 그것에 한정되지 않고, 여러 가지 수정이 가능하다는 것은 당업자라면 잘 알 것이다.

Claims

표시 화상 중에서 특정 오브젝트의 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법으로서,

상기 특정 오브젝트를 내부에 포함하는 초기 영역을 설정하고, 그 초기 영역의 경계 상에 복수의 초기점을 설정하는 단계와,

상기 복수의 초기점 각각으로부터 상기 초기 영역의 내부를 향해 화상을 스캔하기 위한 목표점을 설정하는 단계와,

상기 복수의 초기점 각각과 상기 목표점 사이의 선분을 따라 1이상의 트래커 후보점을 윤곽의 강도에 기초하여 선택하는 단계와,

상기 복수의 초기점 중에서 선택된 초기점을 기점으로서, 동적 계획법을 이용하여 코스트를 최소로 하는 트래커 후보점의 조합을 구하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 복수의 초기점을 설정하는 단계는 초기점 사이의 거리가 소정의 임계치 이하가 되도록 초기점을 위치 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제2항에 있어서, 상기 복수의 초기점을 설정하는 단계는 설정한 초기점을 포함하는 엔트리를 링크 리스트에 더하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 트래커 후보점의 조합으로부터, 트래커 사이의 거리가 소정의 임계치를 초과하도록 후보점을 솎아내어 트래커를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제4항에 있어서, 상기 초기 영역이 사각형이고, 상기 복수의 초기점을 설정하는 단계는 상기 사각형의 4개의 정점과, 인접하는 정점 사이의 중점을 초기점으로 하는 것을 특징으로 하는 방법.
제4항에 있어서, 상기 초기 영역이 타원이고, 상기 복수의 초기점을 설정하는 단계는 상기 타원의 긴 직경 및 짧은 직경의 각 양단과, 상기 타원에 외접하는 사각형의 4개의 정점과 중심을 연결하는 직선이 상기 타원과 교차하는 점을 초기점으로 하는 것을 특징으로 하는 방법.
제1, 2, 3, 5, 6항 중 어느 한 항에 있어서, 상기 트래커 후보점을 선택하는 단계는 각 초기점과 그 목표점 사이의 각 점에 있어서의 차분 벡터를 구하고, 그 차분 벡터의 크기로부터 상기 강도를 결정하는 것을 특징으로 하는 방법.
제4항에 있어서, 상기 트래커 후보점을 선택하는 단계는 각 초기점과 그 목표점 사이의 각 점에 있어서의 차분 벡터를 구하고, 그 차분 벡터의 크기로부터 상기 강도를 결정하는 것을 특징으로 하는 방법.
표시 화상 중에서 특정 오브젝트의 윤곽을 따르는 트래커를 자동적으로 결정하기 위한 방법을 실시하는 프로그램을 기억한 컴퓨터가 판독할 수 있는 기억 매체로서, 상기 프로그램이 상기 특정 오브젝트를 내부에 포함하는 초기 영역을 설정하고, 그 초기 영역의 경계 상에 복수의 초기점을 설정하는 프로그램 코드 수단과,

상기 복수의 초기점 각각으로부터 상기 초기 영역의 내부를 향해 화상을 스캔하기 위한 목표점을 설정하는 프로그램 코드 수단과,

상기 복수의 초기점 각각과 상기 목표점 사이의 선분을 따라 1이상의 트래커 후보점을 윤곽의 강도에 기초하여 선택하는 프로그램 코드 수단과,

상기 복수의 초기점 중에서 선택된 초기점을 기점으로서, 동적 계획법을 이용하여 코스트를 최소로 하는 트래커 후보점의 조합을 구하는 프로그램 코드 수단을 포함하는 것을 특징으로 하는 기억 매체.
제9항에 있어서, 상기 복수의 초기점을 설정하는 프로그램 코드 수단은 초기점 사이의 거리가 소정의 임계치 이하가 되도록 초기점을 위치 결정하는 프로그램 코드 수단을 포함하는 것을 특징으로 하는 기억 매체.
제10항에 있어서, 상기 복수의 초기점을 설정하는 프로그램 코드 수단은 설정한 초기점을 포함하는 엔트리를 링크 리스트에 더하는 프로그램 코드 수단을 더 포함하는 것을 특징으로 하는 기억 매체.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 트래커 후보점의 조합으로부터, 트래커 사이의 거리가 소정의 임계치를 초과하도록 후보점을 솎아내어 트래커를 결정하는 프로그램 코드 수단을 더 포함하는 것을 특징으로 하는 기억 매체.
제12항에 있어서, 상기 초기 영역이 사각형이고, 상기 복수의 초기점을 설정하는 프로그램 코드 수단은 상기 사각형의 4개의 정점과, 인접하는 정점 사이의 중점을 초기점으로 하는 것을 특징으로 하는 기억 매체.
제12항에 있어서, 상기 초기 영역이 타원이고, 상기 복수의 초기점을 설정하는 프로그램 코드 수단은 상기 타원의 긴 직경 및 짧은 직경의 각 양단과, 상기 타원에 외접하는 사각형의 4개의 정점과 중심을 연결하는 직선이 상기 타원과 교차하는 점을 초기점으로 하는 것을 특징으로 하는 기억 매체.
제9, 10, 11, 13, 14항 중 어느 한 항에 있어서, 상기 트래커 후보점을 선택하는 프로그램 코드 수단은 각 초기점과 그 목표점 사이의 각 점에 있어서의 차분 벡터를 구하고, 그 차분 벡터의 크기로부터 상기 강도를 결정하는 것을 특징으로 하는 기억 매체.
제12항에 있어서, 상기 트래커 후보점을 선택하는 프로그램 코드 수단은 각 초기점과 그 목표점 사이의 각 점에 있어서의 차분 벡터를 구하고, 그 차분 벡터의 크기로부터 상기 강도를 결정하는 것을 특징으로 하는 기억 매체.