KR101517538B1

KR101517538B1 - 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체

Info

Publication number: KR101517538B1
Application number: KR1020130168414A
Authority: KR
Inventors: 오강한; 김수형; 나인섭; 이칠우
Original assignee: 전남대학교산학협력단
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2015-05-15

Abstract

본 발명은 중심 가중치(Centroid Weight Mask, 이하, CWM로 기재하도록 함) 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체에 관한 것으로서, 특히 본 발명에 따른 중요도 영역 검출 장치는 소정 영상이 입력되는 입력부; 상기 입력된 입력 영상으로부터 객체로 추정되는 중요도 영역을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian), CWM(Centroid weight map)으로 대표되는 특징맵들을 생성하고, 상기 생성한 특징맵들을 사용하여 중요도 영역을 추출하는 제어부를 포함하고, 상기 CWM 특징맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift Algorithm)을 기반으로 생성하고, 상기 중심-이동 알고리즘(Mean-Shift Algorithm)을 사용하여 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산하여 생성된 특징맵인 것을 특징한다.

Description

중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체{Apparatus and method for detecting importance region using centroid weight mask map and storage medium recording program therefor}

본 발명은 중심 가중치(Centroid Weight Mask, 이하, CWM로 기재하도록 함) 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체에 관한 것으로서, 더욱 상세하게는 입력된 영상에서 신속하고 정확한 객체 분할하고, 다양한 방식의 특징맵들을 이용하여 입력 영상에서 배경으로부터 객체로 추정되는 중요도 영역을 검출하기 위한 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체에 관한 것이다.

최근 고성능의 모바일 폰인 스마트 폰이 등장하고 사람들은 모바일 폰을 통하여 고화질의 영상 정보를 쉽게 획득할 수 있게 되었다. 영상을 인식하는 분야는 다른 분야보다 직관적이고 실생활에 광범위하게 사용될 수 있기 때문에 활발히 연구가 진행되어오고 있다.

특히, 영상을 인식하는 분야 중 영상에서 배경 객체로부터 특정 움직임 객체와 같은 특정 객체인 중요도 영역을 검출하는 기술은 이와 같이 검출된 객체를 이용하여 부가 서비스를 제공하기 위한 시스템 예를 들어, 무인 감시 시스템, 영상 회의 시스템, 원격 화상 강의 시스템과 같은 응용 시스템에 적용하기 위한 목적으로 개발되고 있는 추세이다.

이러한 배경 객체로부터 특정 움직임 객체와 같은 특정 객체인 중요도 영역을 검출하는 기술은 주로 객체를 배경으로부터 분할할 때 전처리 과정으로 주로 사용된다. 이와 같이 특정 객체인 중요도 영역을 검출할 시에는 계산 속도가 빠름과 동시에 보다 정확한 객체의 정보를 파악하는 것이 중요하다.

이에 따라 배경 객체로부터 움직임 객체와 같은 특정 객체 추정 시 신속하고, 정확한 객체 분할 기술이 개발과 동시에 보다 정확한 객체 검출을 위한 기술 개발이 요구되고 있다.

이에 본 발명은 입력 영상에서 배경 객체로부터 움직임 객체와 같은 특정 객체 추정 시 신속하고, 정확한 객체 분할할 수 있도록 하기 위한 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체를 제공함에 있다.

또한, 본 발명은 입력 영상에서 배경 객체로부터 움직임 객체와 같은 특정 객체 추정 시 보다 정확한 객체 검출을 위해 격자무늬 마스크에 mean shift를 적용하고, 다양한 방식의 특징맵들을 이용하여 입력 영상에서 배경으로부터 객체로 추정되는 중요도 영역을 검출하기 위한 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체에 관한 것이다.

상술한 과제의 해결 수단으로, 본 발명에 따른 중요도 영역 검출 장치는 소정 영상이 입력되는 입력부; 상기 입력된 입력 영상으로부터 객체로 추정되는 중요도 영역을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian), CWM(Centroid weight map)으로 대표되는 특징맵들을 생성하고, 상기 생성한 특징맵들을 사용하여 중요도 영역을 추출하는 제어부를 포함하는 것을 특징으로 한다.

여기서, CWM 특징맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift Algorithm)을 기반으로 생성하고, 상기 중심-이동 알고리즘(Mean-Shift Algorithm)을 사용하여 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산하여 생성된 특징맵인 것을 특징으로 한다.

또한, 본 발명에 따른 상기 제어부는, 상기 입력된 영상을 기반으로 빨강역역과 파랑역역에 민감한 특징맵을 생성하는 컬러 특징맵 생성부; 상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B)의 채널로 분할하여 인텐시티 특징맵을 생성하는 인텐시티 특징맵 생성부; 상기 입력된 영상으로부터 객체의 엣지(edge) 추출하고, 입력된 영상을 스케일(scale)과 가우시안 블러(Gaussian blur) 파라메터를 변환시킨 후 영상의 차영상을 모두 계산하여 특징맵을 생성하는 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부; 객체의 중심점을 추정하여 중심에 가까울수록 높은 값을 지니는 가중치 맵을 생성하는 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부; 상기 컬러 특징맵 생성부, 상기 인텐시티 특징맵 생성부, 상기 DoG 특징맵 생성부, 상기 CWM 특징맵 생성부에서 생성한 특징맵들을 이용하여 최종 중요도 영역을 계산하여 중요도 영역을 검출하는 중요도 영역 검출부를 포함하는 것을 특징으로 한다.

여기서, 상기 컬러(color) 특징맵 생성부는; 상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B), 황상(Y) 들의 채널로 분할하고, 하기의 <수학식 1>을 사용해서 빨강역역과 파랑역역에 민감한 특징맵을 만들고, 하기 <수학식 1>에서, RG 특징맵은 빨강영역에 민감한 특징맵을 나타내고, BY 특징맵은 파랑영역에 민감한 특징맵인 것을 특징으로 한다.

[수학식 1]

또한, 본 발명에 따른 상기 인텐시티(Intensity) 특징맵 생성부는; 하기의 <수학식 2>를 사용해서 인텐시티 맵을 생성하는 것을 특징으로 한다.

[수학식 2]

또한, 본 발명에 따른 상기 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부에서 사용되는 상기 스케일(scale) 영상은 하기 <수학식 3>에 의해서 정의할 수 있고, 상기 <수학식 3>에서

는 입력 영상이고,

는 가우시안 블러(Gaussian blur) 함수이고, 가우시안 블러(Gaussian blur) 함수는 하기 <수학식 4>에 의해서 정의할 수 있는 것을 특징으로 한다.

[수학식 3]

[수학식 4]

또한, 본 발명에 따른 상기 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부는; 상기의 <수학식 3> 및 <수학식 4>를 참조하면, 본 발명에서는 스케일(scale)은 변화시키지 않고, 오직 가우시안 블러(Gaussian blur) 파라미터만을 변화시켜 연상간 차를 계산하는 방법을 사용하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부는; 상기 입력된 영상을 기반으로 격자무뉘 마스크를 생성하고, 중심-이동 알고리즘을 사용해서 격자무뉘 픽셀에 해당하는 각각의 픽셀의 부류를 결정한 후 상기 중심-이동 알고리즘에 의해서 분할된 부류 중 가장 작은 분산을 지니는 부류의 중심을 객체의 중심이라 추정하고, 상기 추정된 중심점을 기반으로 CWM 특징을 계산하여 특징맵을 생성하는 것을 특징으로 한다.

또한, 본 발명에 따른 상기 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부는; 하기 <수학식 6>을 이용하여 입력된 부류의 분산을 계산하고, <수학식 7>을 이용하여 가장 작은 분산을 지닌 부류를 선택 후 중심점을 계산하는 것을 특징으로 한다.

[수학식 6]

[수학식 7]

또한, 본 발명에 따른 상기 중요도 영역 검출부(50)는; 하기 <수학식 8>에 의해서 상기 추출 과정을 계산하는 것을 특징으로 한다.

수학식 8

상술한 과제의 해결 수단으로, 본 발명에 따른 중요도 영역 검출 방법은 입력 영상에서 특징 매칭(Local Feature Matching) 알고리즘을 사용하여 특징을 추출하는 과정; K-NN 매칭(Matching) 알고리즘을 이용해서 입력된 영상과 데이터베이스 영상에서 가장 가까운 특징을 지닌 영상을 선택하는 과정; ORSA(Optimized Random Sampling Algorithm) 알고리즘을 사용하여 출력된 데이터 셋 영상의 좌표를 입력된 영상에 제공해주고, 객체를 배경으로부터 분할하는 과정; 컬러 히스토그램 매칭을 통해 가장 특징값이 가까운 영상을 인식하여 중요도 영역을 검출하는 과정을 포함하는 것을 특징으로 한다.

여기서, 상기 특징을 추출하는 과정은, 상기 입력된 영상을 기반으로 빨강역역과 파랑역역에 민감한 컬러 특징맵을 생성하는 단계; 상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B)의 채널로 분할하여 인텐시티 특징맵을 생성하는 단계; 상기 입력된 영상으로부터 객체의 엣지(edge) 추출하고, 입력된 영상을 스케일(scale)과 가우시안 블러(Gaussian blur) 파라메터를 변환시킨 후 영상의 차영상을 모두 계산하여 가우시안의 차(Difference of Gaussian, DoG) 특징맵을 생성하는 단계; 객체의 중심점을 추정하여 중심에 가까울수록 높은 값을 지니는 중심 가중치(Centroid Weight Mask, CWM) 특징맵을 생성하는 단계를 포함하는 것을 특징으로 한다.

아울러, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 컴퓨터에서 판독 가능한 기록 매체는 중요도 영역 검출 방법을 실행하기 위한 프로그램이 기록되어 있다.

본 발명은 빠르게 입력된 영상으로부터 객체로 추정되는 중요도 맵을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian) 그리고 CWM(Centroid weight map)으로 대표되는 특징맵들을 사용한다. 특히, 본 발명에 따른 CWM 맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift)을 기반으로 생성되고, 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산함으로써 보다 정확한 정보를 얻음과 동시에 계산 시간 또한 크게 줄이는 이점이 있다.

도 1은 본 발명의 실시예에 따른 중요도 영역 검출 장치의 내부 구성을 도시하는 도면이다.
도 2는 본 발명의 실시예에 따라 입력된 영상으로부터 중요도 영역을 검출하는 과정을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따라 중심-이동 알고리즘을 이용한 중심 가중치(Centroid Weight Mask using Mean shift) 특징맵을 생성하는 과정을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 컬러(color) 특징맵의 예를 도시하는 예시도이다.
도 5는 본 발명의 실시예에 따라 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 중심 가중치(Centroid Weight Mask, CWM) 특징맵을 생성하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 실시예에 따라 입력된 영상으로부터 중요도 영역을 검출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따라 중요도 영역 검출 결과를 비교한 영상을 보이는 도면이다.
도 9는 본 발명의 실시예에 따라 중요도 영역을 검출 할 시 성능을 측정한 결과를 보이는 그래프이다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

그러면 먼저, 도 1을 참조하여 본 발명의 실시예에 따라 중심 가중치 맵을 이용한 중요도 영역 검출 장치의 개략적인 구성을 살펴보도록 한다.

도 1을 참조하면, 본 발명에 따른 중요도 영역 검출 장치는 제어부(100), 입력부(102), 저장부(104), 출력부(106)를 포함하여 구성된다.

먼저, 제어부(100)는 중요도 영역 검출 장치의 전반적인 동작을 제어한다. 특히, 본 발명에 따른 제어부(100)는 입력된 영상으로부터 객체로 추정되는 중요도 영역을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian) 그리고 CWM(Centroid weight map)으로 대표되는 특징맵을 생성하고, 생성한 특징맵들을 사용하여 중요도 영역을 추출한다.

이때, CWM 특징맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift Algorithm)을 기반으로 생성된다. 이와 같은 중심-이동 알고리즘(Mean-Shift Algorithm)을 사용하게 되면, 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산함으로써 보다 정확한 정보를 얻음과 동시에 계산 시간 또한 크게 줄일 수 있게 된다.

이와 같은 중심-이동 알고리즘(Mean-Shift Algorithm)은 클러스터링 기법 중 하나로서, 색상에 대한 히스토그램(histogram)을 클러스터링(clustering)해서 비슷한 색깔 별로 분할(segmentation) 하는데 적용 가능하다. 이러한 중심-이동 알고리즘(Mean-Shift Algorithm)은 모든 점에 대해서 색깔 정보를 3차원(RGB의 경우) 에 매핑한다. 이후, 매핑된 색깔 정보 점에 대해서 클러스터링(clustering) 될 대표값들을 찾는 작업을 하게 되고, 모든 점은 일정한 영역 내에 포함된 점들의 평균 (mean)을 구하게 되며, 그 평균점에서 가장 가까운 점을 선택하게 된다. 더 이상 움직이지 않는 상태(convergence)가 될 때까지 반복하고, 자신이 속한 대표값으로 이미지를 표현해주면, 이미지의 분할(segmentation)이 되게 된다.

이러한 제어부(100)는 컬러 특징맵 생성부(10), 인텐시티 특징맵 생성부(20), 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부(30), 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부(40) 및 중요도 영역 검출부(50)를 포함하여 구성된다.

먼저, 컬러(color) 특징맵 생성부(10)는 입력된 영상을 기반으로 빨강역역과 파랑역역에 민감한 특징맵을 생성한다. 일반적으로 사람의 눈은 빨강 파랑 색상에 민감하게 반응한다. 이러한 특성을 이용하기 위해 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B), 황상(Y) 들의 채널로 분할한다. 이후, 하기의 <수학식 1>을 사용해서 빨강역역과 파랑역역에 민감한 특징맵을 만든다.

상기 <수학식 1>을 참조하면, RG 특징맵은 빨강영역에 민감한 특징맵을 나타내고, BY 특징맵은 파랑영역에 민감한 특징맵을 나타낸다.

다음으로, 인텐시티(Intensity) 특징맵 생성부(20)는 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B)의 채널로 분할한다. 이후, 하기의 <수학식 2>를 사용해서 인텐시티 맵을 만든다.

가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부(30)는 입력된 영상으로부터 객체의 엣지(edge) 추출한다. 이와 같은 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부(30)는 입력된 영상을 스케일(scale)과 가우시안 블러(Gaussian blur) 파라메터를 변환시킨 후 영상의 차영상을 모두 계산해준다. 이때, 영상의 차영상을 모두 계산하는 과정은 도 5에 도시된 바와 같이 수행할 수 있다. 이렇게 함으로써 밝기 값 변화량이 큰 영역 즉, 두드러진 엣지(edge) 영역을 검출할 수 있게 된다.

이때, 스케일(scale) 영상은 하기 <수학식 3>에 의해서 정의할 수 있다.

상기 <수학식 3>에서

는 입력 영상이고,

는 가우시안 블러(Gaussian blur) 함수이다.

또한, 가우시안 블러(Gaussian blur) 함수는 하기 <수학식 4>에 의해서 정의된다.

상기의 <수학식 3> 및 <수학식 4>를 참조하면, 본 발명에서는 스케일(scale)은 변화시키지 않고, 오직 가우시안 블러(Gaussian blur) 파라미터만을 변화시켜 연상간 차를 계산하는 방법을 사용한다.

도 5를 참조하면, 첫 번째 옥타브(first octave)만을 사용한다. 여기서, 옥타브(first octave)는 이미지의 크기를 나타낸다. 마지막으로 구해진 차영상들은 모두 합산하여 DOG 특징맵을 생성한다. 이 과정은 하기 <수학식 5>에 의해서 계산할 수 있다.

중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부(40)는 객체의 중심점을 추정하여 중심에 가까울수록 높은 값을 지니는 가중치 맵을 생성한다. 중심 가중치 특징맵은 0 ~ 255의 값으로 구성되어지며, 가장 높은 값은 추정된 객체의 중심에 위치한다. 이하, 본 발명에 따른 중심 가중치 특징맵 생성부(40)에서 중심 가중치 특징맵을 생성하는 동작 설명 시 도 6을 함께 참조하여 설명하도록 한다.

도 6을 참조하면, (a)는 입력 영상, (b)는 그리드 라인(grid line) 영상이고, (c)는 중심-이동 알고리즘을 사용한 클러스터링(clustering using mean-shift) 영상이고, (e)는 입력된 부류의 분산을 이용한 오브젝트 추정(object estimation using variation) 영상이고, (f)는 중심 가중치(Centroid Weight Mask, CWM) 영상을 도시하고 있다.

본 발명에 따른 중심 가중치 특징맵 생성부(40)는 먼저 입력된 영상을 기반으로 격자무뉘 마스크를 생성한다. 이때, 생성된 격자무뉘 마스크는 도 6의 (b)와 같이 나타낼 수 있다. 이후, 중심 가중치 특징맵 생성부(40)는 중심-이동 알고리즘을 사용해서 격자무뉘 픽셀에 해당하는 각각의 픽셀의 부류를 결정한다.

다음으로, 중심 가중치 특징맵 생성부(40)는 중심-이동 알고리즘에 의해서 분할된 부류 중 객체로 추정되는 부류를 선택한다. 일반적으로 영상에서 배경은 큰 분산을 지니고, 객체는 작은 분산을 지닌다. 따라서 본 발명에서는 가장 작은 분산을 지니는 부류의 중심을 객체의 중심이라 추정한다.

하기 <수학식 6>은 입력된 부류의 분산을 계산하고, <수학식 7>은 가장 작은 분산을 지닌 부류를 선택 후 중심점을 계산하고, 중심점을 기반으로 CWM 특징을 계산하는 것을 나타낸다.

마지막으로, 중요도 영역 검출부(50)는 상기에서 설명한 컬러 특징맵 생성부(10), 인텐시티 특징맵 생성부(20), DoG 특징맵 생성부(30), CWM 특징맵 생성부(40)에서 생성한 특징맵들을 이용하여 최종 중요도 영역을 계산한다. 추출 과정은 하기 <수학식 8>에 의해서 계산할 수 있다.

입력부(102)는 중요도 영역 검출 장치에 대한 혹은 중요도 영역 검출 장치에서 실행되는 특정 기능에 대한 입력 신호를 생성하는 수단으로서, 숫자 또는 다양한 문자 및 영상 정보를 입력 받고, 각종 기능들의 설정 및 중요도 영역 검출 장치의 기능 제어를 위한 입력 키 및 기능 키들을 포함할 수 있다. 이러한 입력부(102)는 다양한 종류의 입력 수단으로 형성될 수 있으며, 본 발명에 따른 입력부(102)를 통해 소정의 영상을 입력할 수 있다.

저장부(104)는 중요도 영역 검출 장치의 동작에 필요한 프로그램 및 데이터 및 동작 결과로서 발생되는 데이터를 저장하는 것으로서 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 이러한 저장부(104)는, 중요도 영역 검출 장치의 운영체제(OS, Operating System)를 저장할 수 있다.

출력부(106)는 중요도 영역 검출 장치의 동작 상태 및 동작 결과를 표시하거나 소정의 정보를 출력하기 위한 출력 수단이다. 특히, 본 발명에 따른 출력부(106)는 중요도 영역 검출 과정에 발생하는 영상 이미지를 사용자 인터페이스 화면으로 출력한다. 이러한 출력부(106)는 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등의 평판 표시 패널의 형태로 형성될 수 있다.

그러면, 이제 도 2를 참조하여 본 발명의 실시예에 따라 중심 가중치 맵을 이용한 중요도 영역 검출 과정에 대하여 살펴보도록 한다.

도 2는 본 발명의 실시예에 따라 입력된 영상으로부터 중요도 영역을 검출하는 과정을 나타내는 흐름도이다.

도 2를 참조하면, 먼저 중요도 영역 검출 장치는 입력된 영상에서 컬러(color), 인텐시티(Intensity), 가우시안 차(Different of gaussian) 특징을 추출하여 특징맵을 생성한다.(S200 ~ S 204) 여기서, 컬러(color), 인텐시티(Intensity), 가우시안 차(Different of gaussian) 특징맵을 생성 동작은 상기의 도 1의 컬러(color) 특징맵 생성부(10), 인텐시티(Intensity) 특징맵 생성부(20), 가우시안 차(Different of gaussian) 특징맵 생성부(30)에서 설명하였으므로, 여기서 구체적인 설명은 생략하도록 한다.

이후, 중요도 영역 검출 장치는 입력 영상으로부터 중심 가중치 특징을 추출하여 가중치 맵을 생성한다.(S206) 본 발명에서 가중치 맵을 생성하기 위해 중요도 영역 검출 장치는 입력된 영상에서 격자무늬의 마스크를 만들고, 마스크의 선에 해당하는 픽셀들만을 계산할 때 사용함으로써 중심-이동 알고리즘을 이용하여 계산할 수 있도록 한다. 이렇게 얻어진 중심 가중치 특징은 보다 정확한 객체의 정보를 지니고 있으므로, 종래의 객체 인식 기술에 비해 성능을 크게 향상시킬 수 있다.

그러면, 가중치 맵을 생성하는 과정(S206)을 도 3을 참조하여 좀 더 구체적으로 설명하도록 한다.

도 3은 본 발명의 실시예에 따라 중심-이동 알고리즘을 이용한 중심 가중치(Centroid Weight Mask using Mean shift) 특징맵을 생성하는 과정을 나타내는 흐름도이다.

도 3을 참조하면, 중요도 영역 검출 장치는 입력된 영상에 격자 무뉘 마스크를 생성한다.(S300)

이후, 중요도 영역 검출 장치는 중심-이동 알고리즘을 이용하여 격자 무뉘 마스크 내의 각각의 픽셀을 군집화하고, 가장 분산이 작은 군집을 객체라고 추정한다.(S302 ~ S304) 여기서, 가장 작은 분산을 지닌 군집을 객체로 추정하는 이유는 대부분의 객체들은 배경보다 작은 분산을 지니기 때문이다.

마지막으로 중요도 영역 검출 장치는 추정된 객체 영역에서 중심을 추출하고, 중심점을 기반으로 중심 가중치 특징맵을 생성한다.(S306)

상기한 도 3에서의 중심 가중치 특징맵을 생성하는 과정은 상기 도 1의 중심 가중치 특징맵 생성부(40) 구성에서의 동작과 동일하므로, 구체적인 동작 설명은 도 1을 참조하도록 한다.

다시 도 2로 돌아가면, 상기와 같이 생성된 컬러 특징맵, 인텐시티 특징맵, DoG 특징맵, CWM 특징맵들을 이용하여 최종 중요도 영역을 계산한다. 추출 과정은 상기 <수학식 8>에 의해서 계산할 수 있다.

상기한 바와 같이 본 발명에 따라 입력 영상에서 중요도 영역을 검출하는 과정에 대한 영상은 도 7과 같이 도시할 수 있다.

도 7에서 (a)는 입력 영상이고, (b)는 컬러와 인텐시티 영상이고, (c)는 CWM 영상이고, (d)는 DoG 영상이고, (e)는 각 특징맵을 이용해서 중요도 영역 추출은 위해 계산된 중요도 맵 영상이고, (f)는 임계값(threshold) 영상이다.

먼저, 입력 영상(a)에서 특징 매칭(Local Feature Matching) 알고리즘을 사용하여 특징을 추출한다. 다음으로, K-NN 매칭(Matching) 알고리즘을 이용해서 입력된 영상과 데이터베이스 영상에서 가장 가까운 특징을 지닌 영상을 선택한다. 이때의 영상은 (b), (c), (d)가 될 수 있다. 그리고 ORSA(Optimized Random Sampling Algorithm) 알고리즘을 사용하여 출력된 데이터 셋 영상의 좌표를 입력된 영상에 제공해주고, 객체를 배경으로부터 분할한다. 이때의 영상은 (e)와 같다. 마지막으로 컬러 히스토그램 매칭을 통해 가장 특징값이 가까운 영상을 인식한다. 이때, 인식한 영상은 (f)와 같다.

본 발명과 같은 방법으로 입력 영상에서 중요도 영역을 검출하는 경우에 대한 성능을 측정하기 위해서 공인 데이터 셋인 1000개의 MSRA 데이터를 사용하고, 성능비교를 위해 중요도 맵 추출 알고리즘들을 같은 데이터 셋을 이용하여 성능 측정한 도면은 도 8과 같이 도시할 수 있다. 또한, 성능 측정 결과 그래프는 도 9와 같이 도시할 수 있다.

도 8을 참조하면, (a)는 입력영상, (b)는 IT, (c)는 MZ, (d)는 AC, (e)는 GB, (f)는 FT, (g)는 본 발명에 따른 방법으로 중요도 영역을 검출한 영상을 도시하고 있다.

도 9를 참조하면, 본 발명과 같은 방법으로 입력 영상에서 중요도 영역을 검출하는 경우 성능이 개선된 것을 알 수 있다.

상기한 바와 같이 본 발명에서 중요도 영역 검출 시 CWM 맵을 이용함으로써 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift)을 기반으로 생성되고, 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산하여 보다 정확한 정보를 얻음과 동시에 계산 시간 또한 크게 줄일 수 있다.

또한, 본 발명과 같은 방식으로 중요도 영역을 정확히 검출하면 객체 분할, 인식 그리고 추적 등과 같은 여러 가지 작업에 큰 도움이 된다. 그리고 전 과정은 본 발명에 따른 알고리즘들에 의해서 자동화시킴으로 사용자의 편의성을 증대시킬 수 있다.

본 발명에 따른 중심 가중치 맵을 이용한 중요도 영역 검출방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 중심 가중치 맵을 이용한 중요도 영역 검출방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터상에서 실행되도록 전개될 수 있다.

아울러, 본 발명에 따른 중심 가중치 맵을 이용한 중요도 영역 검출방법을 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 발명을 통해 얻게 되는 중심 가중치 맵을 이용한 중요도 영역 검출 기술은 빠르게 입력된 영상으로부터 객체로 추정되는 중요도 맵을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian) 그리고 CWM(Centroid weight map)으로 대표되는 특징맵들을 사용한다. 또한, 본 발명에 따른 CWM 맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift)을 기반으로 생성되고, 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산함으로써 보다 정확한 정보를 얻음과 동시에 계산 시간 또한 크게 줄이는 있고, 이와 같은 방식으로 중요도 영역을 정확히 검출하면 객체 분할, 인식 그리고 추적 등과 같은 여러 가지 작업에 큰 도움이 된다. 그리고 전 과정은 제안된 알고리즘들에 의해서 자동화시킴으로 사용자의 편의성을 도모할 수 있게 되어 영상 기술 시장 선점에 기여가 예상된다.

100: 제어부 102: 입력부
104: 저장부 106: 출력부
10: 컬러 특징맵 생성부 20: 인텐시티 특징맵 생성부
30: DoG 특징맵 생성부 40: CWM 특징맵 생성부
50: 중요도 영역 추출부

Claims

소정 영상이 입력되는 입력부;
상기 입력된 입력 영상으로부터 객체로 추정되는 중요도 영역을 추출하기 위해서 컬러(color), Intensity, DoG(Different of gaussian), CWM(Centroid weight map)으로 대표되는 특징맵들을 생성하고, 상기 생성한 특징맵들을 사용하여 중요도 영역을 추출하는 제어부;
를 포함하고,
상기 CWM 특징맵은 사전 정보 없이 클러스터링을 수행하는 중심-이동 알고리즘(Mean-Shift Algorithm)을 기반으로 생성하고, 상기 중심-이동 알고리즘(Mean-Shift Algorithm)을 사용하여 격자무뉘 맵을 만들어 일부 영역픽셀들만 계산하여 생성된 특징맵인 것을 특징으로 하는 중요도 영역 검출 장치.
제1 항에 있어서, 상기 제어부는,
상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B), 황상(Y) 들의 채널로 분할하고, 하기의 <수학식 1>을 사용해서 빨강역역과 파랑역역에 민감한 특징맵을 생성하는 컬러 특징맵 생성부;
상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B)의 채널로 분할하여 인텐시티 특징맵을 생성하는 인텐시티 특징맵 생성부;
상기 입력된 영상으로부터 객체의 엣지(edge) 추출하고, 입력된 영상을 스케일(scale)과 가우시안 블러(Gaussian blur) 파라메터를 변환시킨 후 영상의 차영상을 모두 계산하여 특징맵을 생성하는 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부;
객체의 중심점을 추정하여 중심에 가까울수록 높은 값을 지니는 가중치 맵을 생성하는 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부;
상기 컬러 특징맵 생성부, 상기 인텐시티 특징맵 생성부, 상기 DoG 특징맵 생성부, 상기 CWM 특징맵 생성부에서 생성한 특징맵들을 이용하여 최종 중요도 영역을 계산하여 중요도 영역을 검출하는 중요도 영역 검출부;
를 포함하는 것을 특징으로 하는 중요도 영역 검출 장치.
[수학식 1]

상기 <수학식 1>에서, RG 특징맵은 빨강영역에 민감한 특징맵을 나타내고, BY 특징맵은 파랑영역에 민감한 특징맵을 나타냄.
삭제
제2 항에 있어서, 상기 인텐시티(Intensity) 특징맵 생성부는,
하기의 <수학식 2>를 사용해서 인텐시티 맵을 생성하는 것을 특징으로 하는 중요도 영역 검출 장치.
[수학식 2]
제2 항에 있어서, 상기 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부에서 사용되는 상기 스케일(scale) 영상은 하기 <수학식 3>에 의해서 정의할 수 있고, 상기 <수학식 3>에서
는 입력 영상이고,
는 가우시안 블러(Gaussian blur) 함수이고, 상기 가우시안 블러(Gaussian blur) 함수는 하기 <수학식 4>에 의해서 정의할 수 있는 것을 특징으로 하는 중요도 영역 검출 장치.
[수학식 3]

[수학식 4]

상기 <수학식 4>에서 x, y는 입력 영상 값이고, σ는 가우시간 블러 파라미터 값임.
제5 항에 있어서, 상기 가우시안의 차(Difference of Gaussian, DoG) 특징맵 생성부는,
상기의 <수학식 3> 및 <수학식 4>에서 스케일(scale)은 변화시키지 않고, 오직 가우시안 블러(Gaussian blur) 파라미터 값만을 변화시켜 연상간 차를 계산하는 방법을 사용하는 것을 특징으로 하는 중요도 영역 검출 장치.
제2 항에 있어서, 상기 중심 가중치(Centroid Weight Mask, CWM) 특징맵 생성부는,
상기 입력된 영상을 기반으로 격자무뉘 마스크를 생성하고, 중심-이동 알고리즘을 사용해서 격자무뉘 픽셀에 해당하는 각각의 픽셀의 부류를 결정한 후 상기 중심-이동 알고리즘에 의해서 분할된 부류 중 가장 작은 분산을 지니는 부류의 중심을 객체의 중심이라 추정하고, 상기 추정된 중심점을 기반으로 CWM 특징을 계산하여 특징맵을 생성하는 것을 특징으로 하는 중요도 영역 검출 장치.
삭제
삭제
입력 영상에서 특징 매칭(Local Feature Matching) 알고리즘을 사용하여 특징을 추출하는 과정;
K-NN 매칭(Matching) 알고리즘을 이용해서 입력된 영상과 데이터베이스 영상에서 가장 가까운 특징을 지닌 영상을 선택하는 과정;
ORSA(Optimized Random Sampling Algorithm) 알고리즘을 사용하여 출력된 데이터 셋 영상의 좌표를 입력된 영상에 제공해주고, 객체를 배경으로부터 분할하는 과정;
컬러 히스토그램 매칭을 통해 가장 특징값이 가까운 영상을 인식하여 중요도 영역을 검출하는 과정;
을 포함하는 것을 특징으로 하는 중요도 영역 검출 방법.
제10 항에 있어서, 상기 특징을 추출하는 과정은,
상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B), 황상(Y) 들의 채널로 분할하고, 하기의 <수학식 1>을 사용해서 빨강역역과 파랑역역에 민감한 특징맵을 생성하는 단계;
상기 입력된 영상의 이미지를 빨강(R), 녹색(G), 파랑(B)의 채널로 분할하여 인텐시티 특징맵을 생성하는 단계;
상기 입력된 영상으로부터 객체의 엣지(edge) 추출하고, 입력된 영상을 스케일(scale)과 가우시안 블러(Gaussian blur) 파라메터를 변환시킨 후 영상의 차영상을 모두 계산하여 가우시안의 차(Difference of Gaussian, DoG) 특징맵을 생성하는 단계;
객체의 중심점을 추정하여 중심에 가까울수록 높은 값을 지니는 중심 가중치(Centroid Weight Mask, CWM) 특징맵을 생성하는 단계;
를 포함하는 것을 특징으로 하는 중요도 영역 검출 방법.
[수학식 1]

상기 <수학식 1>에서, RG 특징맵은 빨강영역에 민감한 특징맵을 나타내고, BY 특징맵은 파랑영역에 민감한 특징맵을 나타냄.
제10항 또는 제11항 중 어느 한 항에 기재된 중요도 영역 검출 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.