KR20140035273A

KR20140035273A - 화상 처리장치, 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법

Info

Publication number: KR20140035273A
Application number: KR1020130109245A
Authority: KR
Inventors: 시앙 루안; 린 첸; 밍-수안 양
Original assignee: 오므론 가부시키가이샤
Priority date: 2012-09-13
Filing date: 2013-09-11
Publication date: 2014-03-21
Also published as: EP2709063A1; JP2014056507A; CN103679697A; JP6015267B2; KR101531966B1

Abstract

본 발명은 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻기 위한 것이다. 화상 처리장치(1)는 국소 에지 화상 P12을 생성하는 로컬 윤곽 추출부(23)와, 글로벌 에지 화상 P22을 생성하는 글로벌 윤곽 추출부(26)와, 국소 에지 화상 P12를 갖추고, 글로벌 에지 화상 P22과의 가중합에 의해 윤곽 화상 P30을 생성한다.

Description

화상 처리장치, 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법{Image Processing Device, Image Processing Program, Computer-Readable Recording Medium Storing Image Processing Program, and Image Processing Method}

본 발명은 입력화상에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하는 화상 처리장치, 화상 처리프로그램, 이것을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법에 관한 것이다.

종래, 화상처리 분야에 있어서, 화상에 포함되는 물체의 윤곽을 추출하는 기술이 알려져 있다. 종래의 윤곽 추출기술의 대부분은 화상의 국소적인 콘트라스트(contrast) 정보에 근거하여 에지(edge)를 검출함으로써 물체의 윤곽을 추출하는 것이다(에지의 방향과 강도를 산출하는 것(특허문헌 1); 인접 화소(adjacent pixels)에서 임의의 농도 값에 대해서 윤곽 추출처리를 하는 것(특허문헌 2); 2단계로 에지부/비에지부를 판정하는 것(특허문헌 3); 소정의 주사선 상의 화소에 대해서 에지 강도를 판정하는 것(특허문헌 4)). 이와 같은 기술에서는 "콘트라스트"를 정의하기 때문에 다양한 방법이 제안되어 있다.

또, 종래에는 소위 에지의 그룹핑 기술이 알려져 있다. 에지의 그룹핑 기술이란, 국소적인 콘트라스트 정보에 근거하여 에지를 가능한 한 많이 검출하고, 검출한 에지와 에지 사이에서의 상관관계를 도출하여, 상관관계가 낮은 에지를 제거함과 동시에, 상관관계가 높은 에지를 연결함으로써, 최종적으로 윤곽을 추출하는 것이다. 예를 들어, 소정 방향의 선분을 검출하고, 그 검출한 선분을, 소정 방향과의 연속성 및/또는 강도에 따라, 강조 또는 소거함으로써 윤곽선을 추출하는 기술이 제안되어 있다(특허문헌 5).

특허문헌 1: 일본 공개특허공보 특개2000-11188 (2000년 1월 14일 공개) 특허문헌 2: 일본 공개특허공보 특개2000-76468 (2000년 3월 14일 공개) 특허문헌 3: 일본 공개특허공보 특개2007-318408 (2007년 12월 6일 공개) 특허문헌 4: 일본 공개특허공보 특개2008-205603 (2008년 9월 4일 공개) 특허문헌 5: 일본 공개특허공보 특개평5-307537 (1993년 11월 19일 공개)

그러나 상술한 것과 같은 종래기술에서는, 에지 검출에 국소적인 콘트라스트 정보밖에 이용하고 있지 않아, 에지 검출처리의 대상이 되는 영역(화소)이 화상 전체에서 인간의 시각특성상 중요한 영역(화소)인지 아닌지 고려되지 않았다.

따라서, 인간의 시각특성상 중요하지 않은 영역(즉, 주목해야 할 오브젝트가 포함되지 않는다고 생각되는 영역)에도 상관없이, 국소적인 콘트라스트 정보에만 근거하여 에지가 검출되는 경우가 있었다. 이 때문에, 종래 기술에서는, 에지 검출처리 및 윤곽 추출처리에서 충분한 정밀도가 얻어지지 않는 경우가 있었다.

상기의 문제점에 감안하여 이루어진 것으로, 그 목적은, 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻을 수 있는 화상 처리장치 등을 실현하는데 있다.

상기의 과제를 해결하기 위해, 본 발명에 따른 화상 처리장치는, 입력화상에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하는 화상 처리장치로서, 상기 입력화상에 포함되는 영역과 그 인접영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성수단과, 상기 입력화상 범위 내에서 현저 영역(salient region)을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상(saliency edge image)을 생성하는 현저 에지 화상 생성수단과, 상기 국소 에지 화상과 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성수단을 갖춘 것을 특징으로 한다.

상기 과제를 해결하기 위해, 본 발명에 따른 화상 처리프로그램은, 입력화상에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하는 화상 처리프로그램으로서, 상기 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성단계와, 상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성단계와, 상기 국소 에지 화상과 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성단계를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

상기 과제를 해결하기 위해, 본 발명에 따른 화상 처리방법은, 입력화상에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하는 화상 처리방법으로서, 상기 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성단계와, 상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 단계와, 상기 국소 에지 화상과 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성단계를 포함하는 것을 특징으로 한다.

상기 구성에 있어서, 입력화상의 국소적인 에지를 나타내는 국소 에지 화상은, 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여 생성된다. 여기에서, 입력화상에 포함되는 영역은, 하나의 화소로 구성되어 있어도 좋고, 복수의 화소를 포함하고 있어도 좋다. 상기 인접 영역에 대해서도 동일하다.

예를 들어, 국소 에지 화상은, 입력화상의 한 화소의 콘트라스트와, 그 화소의 소정 범위에 있는 인접 화소(adjacent pixels)의 콘트라스트와의 차이(差分)를 계산함으로써 생성할 수 있다.

이하, 단일 화소에 대해서 국소적인 에지 계산을 실행하는 예에 대해서 설명하지만, 그 에지 계산을 영역에 대하여 실행하는 경우도 동일하다.

예를 들어, 국소 에지 화상은, 입력화상에 포함되는 화소를, 소정의 순번으로 주목 화소로 하고, 그 주목 화소로부터 소정 범위 내에 위치하는 화소(인접 화소)의 콘트라스트에 근거하여 국소적인 에지를 계산함으로써 얻어진다. 여기에서, 국소적인 에지라는 것은, 주목 화소의 인접 화소를 이용하여 얻어지는 에지를 의미한다.

이 국소적인 에지 계산은, 예시적으로는, 주목 화소의 위 인접 화소 및 아래 인접 화소의 콘트라스트 계산, 또는 주목 화소의 왼쪽 인접 화소 및 오른쪽 인접 화소의 콘트라스트 계산에 의해 행해진다. 전자의 콘트라스트 계산으로부터는 수평방향의 에지의 유무가 검출 가능하고, 또 후자의 콘트라스트 계산으로부터는 수직방향의 에지의 유무가 검출 가능하다.

또, 콘트라스트 계산은, 예시적으로는, 인접 화소의 콘트라스트의 차이를 산출하는 것이다. 콘트라스트 계산에서 인접 화소의 콘트라스트의 차이를 산출하는 경우, 차이가 크면, 주목 화소에서 에지가 존재할 가능성이 높고, 차이가 작으면, 주목 화소에서 에지가 존재할 가능성이 낮다고 판단할 수 있다.

또한, 이에 한정되지 않고 주목 화소의 경사방향에 위치하는 화소나, 2개 이상의 화소를 이용하는 것도 가능하며, 에지 계산 방법은 임의이다.

또, 콘트라스트 계산에서 계산의 대상이 되는 "콘트라스트"는, 다양한 관점에서 정의할 수 있다. "콘트라스트"로는, 예시적으로는 화상의 농담을 나타내는 값을 이용할 수 있다. 또한, 이에 한정되지 않고, 그 정의 방법은 임의이며, 예를 들어 "콘트라스트"로서 화상의 각 채널(channel)의 값을 이용할 수 있다.

또, 상기 구성에 있어서, 콘트라스트 맵 화상은, 입력화상에서의 주목해야 할 현저 영역을 나타내는 것이다. 더 말하면, 입력화상에서의 시각적인 현저성이란 입력화상에서의 소정의 영역이 인간이 시각적으로 주목하는 정도를 나타내는 것이다. 또한, 콘트라스트 맵 화상의 생성방법에는 임의의 것을 사용할 수 있다.

즉, 콘트라스트 맵 화상의 생성방법은, 국부(局部) 콘트라스트에 근거한 방법이어도, 전역(全域) 콘트라스트에 근거한 방법이어도 좋다.

국부 콘트라스트에 근거한 방법은, 화상영역과, 그 상대적인 작은 인접영역과의 차이에 의해 현저성을 산출하는 것이다.

한편, 전역 콘트라스트에 근거한 방법은 화상영역과 화상 전체와의 차이를 측정함으로써 그 현저성을 평가하는 것이다.

상기 구성에 있어서는, 상기 입력화상에서의 주목해야 할 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성한 그 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성한다.

또, 상기 구성에 의하면, 상기와 같이 하여 생성한 국소 에지 화상과, 현저 에지 화상을 통합함으로써 윤곽 화상을 생성한다.

국소 에지 화상과, 현저 에지 화상을 통합하는 방법으로는, 예를 들어 가중합 등을 들 수 있다. 또한, 이 윤곽 화상은, 윤곽이 존재할 가능성을 나타내는 맵핑 화상이어도 좋다.

따라서, 이상의 구성에 의하면, 국소적인 에지 정보뿐 아니라, 화상의 현저성에 따른 에지 정보를 참조하여, 보다 정밀도 좋게 인간의 시각적 특성을 반영한 윤곽을 검출할 수 있다.

그 결과, 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻을 수 있는 효과를 갖는다.

또한, 상기 화상 처리방법은, 컴퓨터에 의해 실현해도 좋고, 이 경우에는, 컴퓨터에 상기 각 단계를 포함하는 처리를 실행시킴으로써, 화상 처리방법의 각 단계를 컴퓨터에서 실현시키는 화상 처리프로그램 및 그것을 기록한 컴퓨터-리더블 기록매체도 본 발명의 범주에 들어간다.

본 발명에 따른 화상 처리장치에서는, 상기 현저 에지 화상 생성수단은, 상기 입력화상에 포함되는 복수의 영역에 대해서, 그 영역과 입력화상 전체와의 사이의 콘트라스트를 산출하고, 그 복수의 영역 각각의 상기 입력화상 전체에 대한 상기 콘트라스트 맵 화상을 생성하는 것이 바람직하다.

상기 현저 에지 화상 생성수단은, 상기 입력화상에 포함되는 복수의 영역에 대해서, 그 영역과 입력화상 전체와의 사이의 콘트라스트를 산출하고, 그 복수의 영역 각각의 상기 입력화상 전체에 대한 상기 콘트라스트 맵 화상을 생성한다.

복수의 영역 각각의 상기 입력화상 전체에 대한 콘트라스트 맵 화상은, 소위 화상의 글로벌한 시각적 현저성을 나타내는 것이다. 콘트라스트 맵은, 예를 들어 입력화상에 포함되는 복수의 영역에 대해서, 그 복수의 영역 중의 하나의 영역과 그 외의 영역과의 콘트라스트의 차이에 근거하여, 그 복수의 영역 각각의 입력화상 전체에 대한 현저성을 산출함으로써 얻을 수 있다.

또, 이에 의해 얻어지는 현저 에지 화상은, 전역적인 현저성을 나타내는, 소위 전역 에지 화상이다. 때문에, 상기 구성에서의 현저 에지 화상 생성수단은 전역 에지 화상 생성수단이라 부를 수도 있다.

현저 에지 화상은, 입력화상에 포함되는 복수의 영역의 입력화상 전체에 대한 시각적인 현저성에 근거하여 생성된다. 구체적으로는, 현저 에지 화상은, 각 영역에서 산출된 현저성의 맵핑에 근거하여 생성할 수 있다. 즉, 각 영역에서 산출된 현저성의 강도를 나타내는 현저성 값에 대해서 콘트라스트 계산을 실행함으로써, 현저 에지 화상을 생성할 수 있다.

그 결과, 화상의 글로벌한 시각적 현저성의 정보를 이용하여, 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻을 수 있는 효과를 갖는다.

본 발명에 따른 화상 처리장치에서는, 상기 국소 에지 화상 생성수단은, 입력화상에서 미리 결정된 영역이 2개의 서브 영역으로 나눠질 때, 서브 영역 중 어느 하나의 지배적인 색(dominant color)과, 다른 서브 영역에서의 지배적인 색 차(差)를 계산하여 얻어진 차이 값을 이용하여, 상기 국소 에지 화상을 생성하는 것이 바람직하다.

상기 구성에 의하면, 상기 2개의 서브 영역 사이에서의 지배적인 색의 차에 따라 국소 에지 화상을 생성할 수 있다.

지배적인 색은, 각 영역에 포함되는 화소에서의 색에 대해서 히스토그램을 계산하고, 계산한 히스토그램에서 가장 빈도가 많았던 색으로 정의할 수 있다. 또한, 여기에서 말하는 색이란, 색공간 상에서 표현된 색이다. 따라서 히스토그램을 계산하는 대상은, YC_bC_r 색공간의 Y 채널의 값이어도 좋고, C_b 채널 또는 C_r 채널의 값이어도 좋다.

또, 2개의 서브 영역 사이에서의 지배적인 색의 차(差)란, 색 공간(color space) 상에서 색 사이의 거리라고 할 수 있다.

상기 구성에 있어서, (미리 정해진 크기 또는 미리 정해진 범위의) 소정 범위 영역은 임의로 설정될 수 있다. 예를 들어, 콘트라스트 맵을 생성할 때에 이용되는 상기 복수의 영역에 대응하는 영역을, 상기 소정 범위의 영역으로 할 수 있다. 또, 상기 소정 범위의 영역을, 주목 화소를 중심으로 하여, 높이방향(수직방향) 및 폭방향(수평방향)으로 소정의 범위에 포함되는 화소에 의해 구성되는 사각형 영역으로 해도 좋다.

또, 상기 영역을 소정의 방향으로 분할하는 방법은, 임의의 분할방법을 채용할 수 있다. 즉, 그 영역을, 중심 화소를 횡단하는 수직방향 또는 수평방향의 직선에 의해 분할할 수 있다. 예를 들어, 상기 영역을 수직방향으로 분할하는 경우는, 수직방향을 경계로 하여 좌우의 영역이 얻어진다.

2개의 서브 영역 사이에서, 지배적인 색의 차가 클수록, 영역 내에서 에지(윤곽)가 존재할 가능성이 높다. 상기 영역을 수직방향으로 분할한 경우, 분할 후의 좌우의 영역 사이에서 지배적인 색의 차가 클 때, 수직방향의 에지가 존재할 가능성이 높다.

상기 구성에 의하면, 2개의 서브 영역 사이에서의 지배적인 색의 차를 이용하여, 보다 정밀도 좋게 에지를 추출할 수 있다.

본 발명에 따른 화상 처리장치에서는, 상기 국소 에지 화상 생성수단은, 상기 차이와 어느 하나의 값을 곱하여 얻어진 결과를 이용하여 상기 국소 에지 화상을 생성하는 것이 바람직한데, 상기 어느 하나의 값은 상기 2개의 서브 영역에 대한 각 서브 영역에서의 지배적인 색의 정도(도미넌스, dominance)를 곱하여 얻어진 값을 곱함으로써 얻어지는 것이다.

상기 구성에 의하면, 상기 2개의 서브 영역 각각에서의 지배적인 색의 도미넌스가 반영된 국소 에지 화상을 생성할 수 있다.

상기 구성에서의 지배적인 색에 대해서는 상술한 대로이다. 지배적인 색의 정도(도미넌스)란, 그 영역에 포함되는 다른 색에 대한 지배적인 색의 강도(어느 정도 지배적인가)를 나타내는 것이다. 지배적인 색의 도미넌스는, 예를 들어 상술한 히스토그램에서의 지배적인 색의 빈도에 의해 표현할 수 있다.

영역 내에서 지배적인 색의 도미넌스가 높은 경우, 그 영역은 대략 하나의 색(approximately one color)이라 할 수 있다.

2개의 서브 영역 각각이 대략 하나의 색이라면, 영역 내(특히, 주목 화소 및 그 인접영역에서)에 윤곽이 존재할 가능성이 높다.

상기 구성에 의하면, 2개의 서브 영역 사이에서의 지배적인 색의 차이뿐 아니라, 2개 서브 영역 각각에서의 지배적인 색의 도미넌스를 이용하여, 보다 정밀도 좋게 에지를 추출할 수 있다.

본 발명에 따른 화상 처리장치에서는, 상기 입력화상은, 단계적으로 평활화(smoothing)가 실시된 복수의 평활화 화상이고, 상기 현저 에지 화상 생성수단은, 상기 평활화 화상마다 그 평활화 화상에 포함되는 복수의 영역에 대해서, 그 영역과 입력화상 전체 사이의 콘트라스트를 산출하고, 상기 복수의 영역 각각의 그 평활화 화상 전체에 대한 콘트라스트 맵 화상을 생성하고, 생성한 그 콘트라스트 맵에 포함되는 에지를 나타내는 에지 화상을 생성하고, 상기 복수의 평활화 화상에 대해서 생성한 그 에지 화상을 통합함으로써 상기 현저 에지 화상을 생성하는 것이 바람직하다.

단계적으로 평활화가 실시된 복수의 평활화 화상은, 평활화 필터의 평활 정도를 제어하는 파라미터를 단계적으로 변경하여 원화상을 평활화함으로써 얻어진 평활 정도가 각각 다른 화상이다.

이 때문에, 복수의 평활화 화상은 평활 정도에 따른 에지가 남아 있게 된다. 즉, 평활 정도가 작은(약한 평활화 필터) 평활화 화상은 강도가 큰 에지뿐 아니라, 강도가 작은 에지를 포함한다. 이에 대하여, 평활 정도가 큰(강한 평활화 필터) 평활화 화상은 강도가 작은 에지는 평활화되어 버리기 때문에, 강도가 큰 에지만을 포함하게 된다.

상기 구성에 의하면, 평활화 화상마다, 그 평활화 화상에 포함되는 복수의 영역에 대해서, 그 영역과 입력화상 전체 사이의 콘트라스트를 산출하고, 그 복수의 영역 각각의 그 평활화 화상 전체에 대한 콘트라스트 맵 화상을 생성하고, 생성한 상기 콘트라스트 맵에 포함되는 에지를 나타내는 에지 화상을 생성한다. 또, 이와 같이 하여 얻어진 현저성에 근거한 에지를 나타내는 에지 화상을 통합함으로써(예를 들어, 가중합을 계산함으로써) 상기 현저 에지 화상을 생성한다.

상기 구성에 의하면, 에지의 강도에 따른 평활화 화상의 현저성에 근거한 에지를 나타내는 화상을 생성할 수 있기 때문에, 이에 의해 에지 추출의 정밀도의 향상을 도모할 수 있다.

본 발명에 따른 화상 처리장치에서는, 상기 입력화상은, 단계적으로 평활화가 실시된 복수의 평활화 화상이고, 상기 국소 에지 화상 생성수단은, 상기 복수의 평활화 화상의 각각에 대해서, 그 평활화 화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여 그 평활화 화상의 국소적인 에지를 나타내는 에지 화상을 생성하고, 상기 복수의 평활화 화상에 대해서 생성한 상기 에지 화상을 통합함으로써 상기 국소 에지 화상을 생성하는 것이 바람직하다.

단계적으로 평활화가 실시된 복수의 평활화 화상에 대해서는 상술한 대로이다. 상기 구성에 의하면, 평활 정도에 따른 에지를 포함하는 복수의 평활화 화상의 각각에 대해서, 그 평활화 화상에 포함되는 영역과 그 영역의 인접 화소와의 사이의 콘트라스트에 근거하여 그 평활화 화상의 국소적인 에지를 나타내는 화상을 생성한다. 또, 이와 같이 하여 얻어진 복수의 평활화 화상의 국소적인 에지 화상을 통합함으로써(예를 들어, 가중합을 계산함으로써) 상기 국소 에지 화상을 생성한다.

상기 구성에 의하면, 에지의 강도에 따른 평활화 화상의 국소적인 에지를 나타내는 화상을 생성할 수 있기 때문에, 이에 의해, 에지 추출의 정밀도의 향상을 도모할 수 있다.

본 발명에 따른 화상 처리장치에서는, 상기 국소 에지 화상 생성수단은, 상기 평활화 화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여 그 평활화 화상의 국소적인 에지를 나타내는 에지 화상을 생성할 때에, 상기 평활화 화상의 색 채널마다 콘트라스트 계산을 실행하여 얻어지는 에지 화상인 색 채널 에지 화상을 생성함과 동시에, 생성한 각 채널의 색 채널 에지 화상을 통합함으로써 상기 평활화 화상의 국소적인 에지 화상을 생성하는 것이 바람직하다.

상기 구성에 의하면, 색 채널마다 콘트라스트를 계산함으로써, 에지 추출의 정밀도의 향상을 도모할 수 있다.

본 발명에 따른 화상 처리장치에서는, 상기 평활화 화상은 양방향 필터(bilateral filter)에 의한 평활화가 실시된 것인 것이 바람직하다.

상기 구성에 의하면, 양방향 필터에 의해 에지 부분을 선명한 채로 에지 이외의 부분을 평활화할 수 있기 때문에, 에지 추출의 정밀도의 향상을 도모할 수 있다.

본 발명에 따른 화상 처리장치는, 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성수단과, 상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 현저 에지 화상 생성수단과, 상기 국소 에지 화상과, 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성수단을 갖춘 구성이다.

본 발명에 따른 화상 처리프로그램은, 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성단계와, 상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 단계와, 상기 국소 에지 화상과, 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성단계를 포함하는 처리를 컴퓨터에 실행시키는 프로그램이다.

본 발명에 따른 화상 처리방법은, 입력화상에 포함되는 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성단계와, 상기 입력화상 범위 내에서 현저영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 단계와, 상기 국소 에지 화상과, 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성단계를 포함하는 방법이다.

따라서, 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻을 수 있는 효과를 갖는다.

도 1은 본 발명의 한 실시형태에 따른 화상 처리장치의 개략적 구성의 일례를 나타낸 기능 블록도이다.
도 2는 상기 화상 처리장치가 갖춘 현저 맵 화상 생성부의 구성예에 대해서 나타낸 기능 블록도이다.
도 3은 상기 현저 맵 화상 생성부가 처리하는 화상의 일례를 나타낸 도면이다. (a)는 현저 맵 화상 생성부에 입력되는 입력화상을 나타내고 있고, (b)는 그 출력이 되는 현저 맵 화상을 나타내고 있다.
도 4는 상기 현저 맵 화상 생성부가 처리하는 화상의 다른 예를 나타낸 도면이다.
도 5는 한 구획에 에지 부분이 포함되는 입력화상과, 그 구획을 확대한 확대도를 나타낸 도면이다.
도 6은 상기 구획의 왼쪽 영역 및 오른쪽 영역 각각의 통계 정보를 나타낸 도면이다. (a)는 왼쪽 영역에서의 각 화소의 색을 표현한 수치를 가로축으로 하고, 그 빈도를 세로축으로 나타낸 그래프(히스토그램)이다. (b)는 오른쪽 영역에서의 각 화소의 색을 표현한 수치를 가로축으로 하고, 그 빈도를 세로축으로서 나타낸 그래프(히스토그램)이다.
도 7은 상기 화상 처리장치에서의 윤곽 추출처리의 흐름에 대해서 예시한 플로우 차트이다.
도 8은 일 변형예에 따른 상기 화상 처리장치의 개략적 구성을 나타낸 기능 블록도이다.
도 9는 상기 변형예에 따른 화상 처리장치가 실행하는 윤곽 추출처리에 포함되는 각 순서에 의해 얻어지는 화상 맵 데이터의 흐름을 나타낸 도면이다.
도 10은 상기 변형예에 따른 화상 처리장치가 입력화상으로부터 글로벌 윤곽을 생성하는 처리에 대해서 상세하게 나타낸 도면이다.
도 11은 상기 변형예에 따른 화상 처리장치가 입력화상으로부터 로컬 윤곽을 생성하는 처리에 대해서 상세하게 나타낸 도면이다.
도 12는 상기 변형예에 따른 화상 처리장치가 갖춘 색 채널별 화상 생성부가 실행하는 Sub-Process에서의 처리의 흐름에 대해서 나타낸 도면이다.

본 발명의 한 실시형태에 대해서, 도 1∼도 12를 참조하여 설명한다. 우선, 도 1을 이용하여, 본 실시형태에 따른 화상 처리장치(1)에 대해서 설명하면 다음과 같다.

도 1에 나타낸 화상 처리장치(1)는, 입력화상 P1을 취득하고, 취득한 입력화상 P1에 근거하여, 그 입력화상 P1에 포함되는 물체(오브젝트)의 윤곽을 추출하고, 그 추출결과를 출력하는 것이다. 또한, 입력화상 P1은 정지화상이어도, 동화상이어도 상관없다.

도 1에 나타낸 바와 같이, 화상 처리장치(1)는, 기억부(10), 제어부(20), 조작부(41), 및 표시부(42)를 갖춘다.

기억부(10)는, 각종 데이터 및 프로그램을 기억하는 것이다. 기억부(10)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), 및 불휘발성 메모리(예를 들어 플래쉬 메모리) 등의 기억장치를 조합시킴으로써 실현할 수 있다. 기억부(10)에는, 예를 들어 제어부(20)에서 실행되는 프로그램이나, 그 프로그램에서 처리되는 각종 데이터 등이 격납된다.

제어부(20)는, 화상 처리장치(1)에서의 각종 기능을 총괄적으로 제어하는 것이다. 제어부(20)의 제어기능은, 제어 프로그램을 CPU(Central Processing Unit) 등의 처리장치가 실행함으로써 실현된다. 예를 들어, 제어부(20)는, 입력화상 P1을 입력하는 윤곽 추출처리를 실행하는 기능을 갖추고 있다. 또한, 제어부(20)가 윤곽 추출처리를 실행하기 위한 구성에 대해서는 후술한다.

조작부(41)는, 사용자로부터 각종 입력을 받는 것이고, 예를 들어, 입력용 버튼, 키보드, 텐키, 마우스 등의 포인팅 디바이스, 터치패널, 그 외의 입력 디바이스에 의해 실현할 수 있다. 조작부(41)는, 받은 사용자의 조작에 따라 조작 데이터를 생성하고, 생성한 조작 데이터를 제어부(20)에 송신한다.

표시부(42)는 사용자에 대하여, 각종 정보 제공을 위한 화면 표시를 하는 것이다. 표시부(42)는 제어부(20)로부터 수신한 화면 데이터에 근거하여, 표시 화면에 문자나 화상 등의 각종 정보를 표시한다. 표시부(42)는, 예를 들어 LCD(Liquid Crystal Dispaly), PDP(Plasma Display Panel), 유기 EL(Electroluminescence) 디스플레이 등의 표시장치에 의해 실현 가능하다. 표시부(42)에는 예를 들어, 제어부(20)에서 실행된 윤곽 추출처리의 실행결과가 표시된다.

(제어부의 상세에 대해서)

다음에, 도 1을 더 참조하여, 제어부(20)의 상세에 대해서 설명한다. 도 1에 나타낸 바와 같이, 제어부(20)는 윤곽 검출부(21) 및 화상 어플리케이션(31)을 갖추고 있다.

윤곽 검출부(21)는, 윤곽 추출처리를 실현하기 위한 기능을 제공한다.

화상 어플리케이션(31)은, 윤곽 검출부(21)에서 실행된 윤곽 추출처리의 실행결과를 이용하여, 더 화상처리를 하는 것이다. 화상 어플리케이션(31)은, 예를 들어 윤곽 추출결과를 이용한 패턴 인식을 행하여 물체의 검출 및 특정을 하는 기능을 제공한다.

보다 구체적으로는, 화상 어플리케이션(31)은, 예를 들어 윤곽을 구성하는 물체가 얼굴, 인물, 랜드마크, 문자 및 그 외의 오브젝트의 어느 것인지를 검출 가능하게 구성할 수 있다.

또, 입력화상 P1에 인물이 포함되는 경우, 화상 어플리케이션(31)은 더 화상처리를 하여, 검출한 인물의 대조처리 및 인증처리를 하도록 구성할 수도 있다.

(윤곽 검출부의 상세)

이하, 도 1을 더 참조하면서, 윤곽 검출부(21)의 상세에 대해서 설명한다. 도 1에 나타낸 바와 같이, 윤곽 검출부(21)는, 더 상세하게는, 입력화상 취득부(22), 로컬 윤곽 추출부(또는 국소 에지 화상 생성수단으로 알려진)(23), 글로벌 윤곽 추출부(또는 현저 에지 화상 생성수단으로 알려진)(26), 가중합 계산부(또는 윤곽 화상 생성수단으로 알려진)(29), 및 윤곽 화상 출력부(30)를 갖추고 있다.

입력화상 취득부(22)는, 컬러 입력화상 P1을 취득한다. 입력화상 취득부(22)는, 예시적으로는, 조작부(41)에서의 입력조작에 따라, 화상 처리장치(1)에 접속되는 디지털 카메라, 또는 디지털 비디오카메라 등의 촬상장치로부터, 리얼타임으로(동기(同期)로), 또는 비동기로, 입력화상 P1을 취득한다. 그러나, 입력화상 P1의 공급원은 특별히 한정되지 않는다. 예를 들어, 입력화상 취득부(22)는, 기억부(10)에 격납되어 있는 화상 데이터를 입력화상 P1으로서 취득해도 좋고, 화상 처리장치(1)에 접속되는 주변기기로부터 입력화상 P1을 취득해도 좋고, 유선 또는 무선의 통신 네트워크를 통하여 입력화상 P1을 취득해도 좋다.

로컬 윤곽 추출부(23)는 입력화상 P1의 국소적인 화상특성에 따라 입력화상 P1에 포함되는 물체의 윤곽을 추출하는 것이다. 로컬 윤곽 추출부(23)는 보다 상세하게는, 농담(濃淡) 화상 생성부(24) 및 국소 에지 계산부(25)를 갖춘다.

농담 화상 생성부(24)는, 입력화상 P1으로부터 농담 정보를 추출하고, 추출한 농담 정보에 근거하여 농담 화상을 생성한다. 농담 정보의 추출은, 예를 들어 색공간으로부터의 계산(예를 들어 RGB의 평균값)으로부터 구해도 좋고, 색공간의 하나의 채널(예를 들어 R)로 화상을 구성시키도록 해도 좋다.

국소 에지 계산부(25)는, 농담 화상 생성부(24)가 생성한 농담 화상의 국소적인 콘트라스트 정보를 이용하여 콘트라스트 계산(에지 계산)을 함으로써 국소 에지 화상을 생성한다. 국소 에지 계산부(25)의 콘트라스트 계산의 상세에 대해서는 후술한다.

글로벌 윤곽 추출부(26)는, 입력화상 P1의 대역적인(글로벌한) 화상 특성에 따라 입력화상 P1에 포함되는 물체의 윤곽을 추출하는 것이다. 글로벌 윤곽 추출부(26)는, 보다 상세하게는 현저 맵 화상 생성부(27) 및 글로벌 에지 계산부(28)를 갖춘다.

현저 맵 화상 생성부(27)는, 입력화상 P1의 각 부분에 대해서 인간이 시각적으로 주목해야 할 정도인 현저성(Saliency)을 산출하고, 산출한 현저성에 근거하여 현저 맵 화상(콘트라스트 맵)을 생성한다.

예시적으로는, 현저 맵 화상 생성부(27)는, 도 3의 (a)에 나타낸 입력화상 P1으로부터, 도 3의 (b)에 나타낸 현저 맵 화상 P21을 생성한다. 도 3의 (a)에 나타낸 입력화상 P1에는 개가 포함되어 있다.

현저성의 관점에서 말하면, 입력화상 P1에 포함되는 개는, 입력화상 P1의 전체에서 주목해야 할 오브젝트이다. 현저 맵 화상 생성부(27)는 이와 같은 주목해야 할 오브젝트가 포함되는 영역의 현저성을 계산하여, 화상영역과 현저성과의 맵핑을 행한다. 예를 들어, 도 3의 (b)에 나타낸 현저 맵 화상 P21에서는, 현저성이 보다 높은 영역은, 보다 밝게 나타나 있고, 현저성이 보다 낮은 영역은 보다 어둡게 나타나 있다. 현저 맵 화상 생성부(27)가 현저 맵 화상을 생성하는 방법에 대해서는 상세하게는 후술한다.

글로벌 에지 계산부(28)는, 현저 맵 화상 생성부(27)가 생성한 현저영역 맵 화상이 나타내는 글로벌한 화상정보를 이용하여 콘트라스트 계산(에지 계산)을 함으로써 글로벌 에지 화상을 생성한다. 글로벌 에지 계산부(28)의 콘트라스트 계산의 상세에 대해서는 후술한다.

가중합 계산부(29)는, 로컬 윤곽 추출부(23)가 생성한 국소 에지 화상 및 글로벌 윤곽 추출부(26)가 생성한 글로벌 에지 화상의 가중합을 계산함으로써, 최종적인 윤곽 화상을 생성한다. 이하에서, 이 최종적인 윤곽 화상을 최종적 윤곽 화상이라 칭한다. 또한, 가중합 계산부(29)에서의 가중합의 계산에서는, 임의의 중량계수를 이용할 수 있다. 예를 들어, 국소 에지 화상에 대한 중량계수를, 글로벌 에지 화상에 대한 중량계수보다도 작게 해도 좋고, 이와 반대로, 크게 해도 좋다.

또, 중량계수의 합은, 1이어도 좋고, 1보다 커도, 작아도 좋다. 또한, 이하에 설명하는 몇 가지 처리에서 중량계수를 이용하고 있지만, 이들에 대해서도 동일하다.

윤곽 화상 추출부(30)는, 가중합 계산부(29)가 생성한 최종적인 윤곽 화상을 소정의 장소에 출력한다. 예를 들어, 윤곽 화상 출력부(30)는, 최종적인 윤곽 화상을, 표시부(42)에 출력하거나, 화상 어플리케이션에 출력할 수 있다. 또, 윤곽 화상 출력부(30)는, 최종적 윤곽 화상을 기억부(10)에 격납해도 좋다.

(현저 맵 화상 생성부의 상세 구성에 대해서)

이어서, 도 2를 이용하여, 현저 맵 화상 생성부(27)의 상세 구성에 대해서 설명한다. 도 2는 현저 맵 화상 생성부(27)의 기능적 구성을 나타내는 기능 블록도이다.

도 2에 나타낸 바와 같이 현저 맵 화상 생성부(27)는 영역 분할부(271) 및 현저성 값 산출부(272)를 갖춘다.

영역 분할부(271)는, 임의의 화상 자동분할 알고리즘에 의해 입력화상 P1(예를 들어, 도 4의 (a)에 나타낸 것)을 복수의 영역으로 분할한다. 입력화상 P1을 자동적으로 분할하기 위한 자동분할 알고리즘으로서, 예를 들어 Felzenswalb와 Huttenlocher에 의해, 2004년에 제안된 비특허문헌 「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)에 개시되어 있는 방법을 채용할 수 있다. 물론, 이에 한정되지 않고, 그 외의 기존의 화상 자동분할 알고리즘을 채용해도 좋다. 또한, 도시는 하지 않았지만, 영역 분할부(271)는, 입력화상 P1을 어떻게 분할했는가를 나타내는 정보인 분할정보를 국소 에지 계산부(25) 및 글로벌 에지 계산부(28)에 공급한다.

현저성 값 산출부(272)는, 영역 분할부(271)에서 화상 자동분할 알고리즘에 의해 복수의 영역으로 분할된 입력화상(예를 들어, 도 4의 (b)에 나타낸 것)에 관하여, 분할된 영역마다, 그 영역과 그 외의 영역과의 색의 차이의 가중합을 산출함으로써 그 영역의 현저성 값을 산출(검출)한다. 현저성 값 산출부(272)가, 모든 영역에 대해서 각각의 현저성 값을 산출하면, 도 4의 (c)에 나타낸 화상의 현저성을 얻을 수 있다. 현저성 값 산출부(272)는, 이와 같이 하여 얻어진 화상의 현저성 값에 근거하여 현저 맵 화상을 생성하고, 생성한 현저 맵 화상을 글로벌 에지 계산부(28)에 공급한다.

이상 나타낸 바와 같이, 상기 화상 처리장치(1)에 의하면, 화상 픽셀의 현저성 값을 신속하고 유효하게 분석할 수 있다. 화상 처리장치(1)에 의하면, 복잡하고 변화가 많은 자연 화상을 유효하게 분석할 수 있게 함과 동시에, 리얼타임 처리에서 요구되는 처리능력의 요건을 만족시킬 수 있다.

또, 상기 화상 처리장치(1)에 있어서, 분할된 복수의 영역 (1. 2, …k…m)에서의 영역 r_k의 현저성 S(r_k)는 하기의 식(1)에 정의된다.

식(1)에서, D_s(r_k, r_i) 및 D_c(r_k, r_i ₎는 각각 영역 r_k와 영역 r_i와의 공간거리, 및 영역 r_k와 영역 r_i와의 색의 차이이고, i, k, m은 자연수이고, w(r_i)는 영역 r_i의 가중값이며, σs²는 거리요소 영향제어 파라미터이다.

또, 상기 화상 처리장치(1)에 있어서, 거리요소 영향제어 파라미터(σs²)는 클수록 거리요소의 영향은 작아진다. 한편, 거리요소 영향제어 파라미터(σs²)는 작을 수록, 거리요소의 영향은 커진다. 화상 픽셀의 공간좌표를 0∼1로 정규화(선형 주밍(zooming))한 경우, 상기 거리요소 영향제어 파라미터(σs²)는 0.01 이상 10 이하의 값을 취할 수 있다. 바람직하게는, 거리요소 영향제어 파라미터(σs²)는 0.1 이상 1.0 이하이다. σs²=0.4일 때, 우수한 화상 현저성 검출(계산) 효과를 얻을 수 있다.

또, 상기 화상 처리장치(1)에 있어서, 상기 영역 r_i에 포함되는 픽셀의 수를 상기 영역 r_i의 가중값 w(r_i)로 해도 좋다.

또, 상기 화상 처리장치(1)에 있어서, 상기 영역 r_k와 영역 r_i와의 색의 차이 D_c(r_k, r_i)는 이하의 식(2)로 정의된다.

식(2)에 있어서, f(C_k, i)는 영역 r_k에 포함되는 n_k 종류의 색의 i번째의 C_k의 출현 빈도이고, D(C₁, _i, C₂, _j)는 2개의 색 C₁, _i, C₂, _j의 색공간에서의 유클리드 거리(Euclidean distance)이고, k={1, 2}이다.

또, 현저성 값 산출부(272)에 있어서, 상기 현저성 값은, 색 채널마다 2비트 이상 256비트 이하의 컬러로 계산할 수 있다. 채용된 컬러의 비트(레벨)가 낮을수록, 계산 양이 적어지지만, 정밀도가 나빠진다. 채용된 컬러의 비트(레벨)가 높을수록, 계산 양이 많아지지만, 정밀도가 좋아진다.

색 채널마다 256비트의 풀 컬러를 채용하지 않아도 좋고, 계산을 고속화할 목적으로, 예를 들어 바람직하게는 색 채널마다 8비트 이상 128비트 이하의 컬러로 근사(近似)한 것도 가능하다.

또한, 색 채널마다 12비트 컬로로 근사하면, 우수한 효과를 얻을 수 있다. 즉, 검출된 화상 현저성의 정밀도를 확보하면서, 계산 양을 대폭으로 저감할 수 있다.

이상에서, 현저 맵 화상 생성부(27)의 상세 구성에 대해서 설명했지만, 이에 한정되지 않는다. 현저 맵 화상 생성부(27)에서는, 임의의 현저 맵 화상 생성방법을 채용할 수 있다.

(콘트라스트 계산)

이어서, 도 5 및 6을 이용하여, 국소 에지 계산부(25) 및 글로벌 에지 계산부(28)에서의 콘트라스트(에지 계산)에 대해서 설명한다.

도 5에, 구획 W1에 에지 부분이 포함되는 입력화상 P1과, 그 구획 W1을 확대한 확대도를 나타내고 있다. 또한, 도 5에 나타낸 구획 W1은, 발명을 이해하기 위한 단순한 예시이고, 입력화상 P1과, 구획 W1의 확대도 사이에서, 엄밀한 의미에서의 화소 수의 대응이나, 화소의 위치의 대응은 의식하고 있지 않다. 또, 구획 W1의 크기나, 입력화상 P1에서의 위치를 잡는 법은 임의이다.

또, 이하에서, 국소 에지 계산부(25)가 콘트라스트 계산을 하는 입력이 되는 화상은 농담 화상이고, 글로벌 에지 계산부(28)가 콘트라스트 계산을 하는 입력이 되는 화상은 현저 맵 화상 P21이다.

이하에서, 우선, 글로벌 에지 계산부(28)의 콘트라스트 계산에 대해서 설명한다.

글로벌 에지 계산부(28)는, 영역 분할부(271)로부터 공급되는 분할정보를 이용하여, 영역 분할부(271)에서의 입력화상 P1의 분할과 같은 단위로 현저 맵 화상 P21을 분할한다. 그리고, 글로벌 에지 계산부(28)는, 현저 맵 화상 P21을 분할하여 얻어진 복수의 영역의 각각에 대해서, 소정의 순번으로 콘트라스트 계산을 한다. 또한, 이하에서, 콘트라스트 계산을 하는 대상이 되는 영역을 주목 영역이라 칭한다.

이하에서, 도 5 및 도 6을 참조하면서, 구획 W1에서의 수직방향의 에지를 검출하는 예에 대해서 설명한다.

도 5에 나타낸 구획 W1은, 주목 영역이라고 한다. 여기에서, 글로벌 에지 계산부(28)는, 주목 영역인 구획 W1을, 세로(수직)방향의 선 L을 경계로 하여, 오른쪽 영역 RR와, 왼쪽 영역 RL로 분할한다. 글로벌 에지 계산부(28)는, 구획 W1에 대한 오른쪽 영역 RR 및 왼쪽 영역 RL에의 분할을 임의로 할 수 있다. 예시적으로는, 글로벌 에지 계산부(28)는 구획 W1을 오른쪽 영역 RR 및 왼쪽 영역 RL로 등분으로 분할한다.

글로벌 에지 계산부(28)는, 오른쪽 영역 RR와, 왼쪽 영역 RL의 각각의 영역에 대해서 영역에 포함되는 화소의 색의 통계를 계산함으로써, 오른쪽 영역 RR과, 왼쪽 영역 RL의 각각의 영역에 대해서 지배적인 색과, 그 정도를 산출한다.

도 6을 이용하여, 보다 구체적으로 설명하면 다음과 같다. 도 6의 (a)는, 왼쪽 영역 RL에서의 각 화소의 색을 표현한 수치를 가로축으로 하고, 그 빈도를 세로축으로서 나타낸 그래프(히스토그램)이다. 도 6의 (b)는, 오른쪽 영역 RR에서의 각 화소의 색을 표현한 수치를 가로축으로 하고, 그 빈도를 세로축으로서 나타낸 그래프(히스토그램)이다.

여기에서, 가로축의 색을 표현한 수치 중에서 가장 빈도가 높은 것을 지배적인 색(dominant color)이라 칭한다. 또, 색을 표현한 수치란, 색공간 상에서의 색을 나타내는 것으로, 예를 들어 YC_bC_r 색공간(휘도 및 색차 성분에 의한 색의 표현)의 어느 한 채널의 값을 나타내는 것이어도 좋다. 또, 색을 표현한 수치는, 예를 들어 RGB 색공간의 어느 한 채널의 값을 나타내는 것이어도 좋다.

또한, 색을 표현한 수치는, 색공간의 복수의 채널을 통합한 복합적인 채널의 값을 나타내는 것이어도 좋다. 예를 들어, RGB 색공간의 표현에서의 R, G, B 채널 중의 2개 또는 3개를 통합한 복합적인 채널의 값을 나타내는 것이어도 좋다.

글로벌 에지 계산부(28)는, 다음의 기준 (1) 및 (2)에 따라서 콘트라스트 계산을 하여 에지의 스코어를 산출한다.

(1) 오른쪽 영역 RR과, 왼쪽 영역 RL의 두 영역 사이에서, 지배적인 색의 차가 큰만큼, 구획 W1은 세로방향의 에지(윤곽)를 포함하고 있을 가능성이 높다.

(2) 오른쪽 영역 RR과, 왼쪽 영역 RL의 각각에 있어서, 보다 일색적이면, 구획 W1은 세로방향의 에지(윤곽)를 포함하고 있을 가능성이 높다.

그리고, 글로벌 에지 계산부(28)는, 상기 기준 (1) 및 (2)를 나타낸 이하의 식(3)으로부터 에지의 스코어를 산출한다.

(dominant color L - dominant color R) * dominance L * dominance R … (3)

상기 식(3)에 있어서, (dominant color L - dominant color R) 항은, 국소 에지 계산부(25)는, 왼쪽 영역 RL에서의 지배적인 색(dominant color L)과, 오른쪽 영역 RR에서의 지배적인 색(dominant color R)과의 차이이다. 이 항은, 상기 기준 (1)의 지배적인 색의 차(즉, 거리)를 에지의 스코어에 반영하기 위해 산출된다. 또한, 이 거리는 예시적으로는, 0∼1의 값을 취하도록 정규화된다. 예를 들어, 왼쪽 영역 RL에 포함되는 색과 오른쪽 영역 RR에 포함되는 색과의 사이에서 가장 떨어져 있는 2개 사이의 거리를 "1"로 하고, 그 거리를 기준으로 정규화를 해도 좋다.

또, dominance L 항, 및 dominance R 항은, 각각 왼쪽 영역 RL에서의 지배적인 색의 정도, 및 오른쪽 영역 RR에서의 지배적인 색의 정도이다. 이것은, 상기 기준 (2)의 일색적인 정도를 에지의 스코어에 반영하기 위해 산출된다. 즉, dominance L, 또는 dominance R이 클수록, 왼쪽 영역 RL 또는 오른쪽 영역 RR의 영역 내의 색이 보다 일색적임을 나타낸다.

또한, 예시적으로는, dominance L 및 dominance R은, 각각 0∼1의 값을 취하도록 정규화된다. 예를 들어, 각각의 영역에 포함되는 화소의 수에 대한 지배적인 색의 수의 비율을 지배적인 색의 정도로 할 수 있다.

이상에 설명한 3개의 항은, 단독으로, 또는 2개 이상의 조합으로 이용하는 것도 가능하다. 또, 상기 식(3)에 의해 산출되는 에지의 스코어는, 0∼1의 범위로 정규화되어 있어도 좋다.

글로벌 에지 계산부(28)는, 상기 식(3)을 이용하여 얻어지는 에지의 스코어를 주목 영역마다 맵핑한 글로벌 에지 화상을 생성한다. 또한, 글로벌 에지 계산부(28)는, 주목 영역인 구획 W1에서의 수평방향의 에지를 검출하기 위해, 구획 W1을 수평방향으로(상하로) 분할하고, 상기 식(3)에 따라 상기 에지의 스코어를 산출해도 상관없다. 즉, 글로벌 에지 계산부(28)는, 에지를 검출하는 방향에 따라, 구획 W1을 임의로 2개의 영역으로 분할하고, 상기 식(3)에 따라 상기 에지의 스코어를 산출해도 상관없다.

또, 글로벌 에지 계산부(28)는, 화소마다 상기 콘트라스트 계산을 실행해도 좋다. 예를 들어, 처리대상이 되는 주목 화소를 포함하는 소정 범위를 상술한 구획 W1으로 하여, 상기의 콘트라스트 계산을 할 수 있다.

또한, 국소 에지 계산부(25)에 있어서도, 상술한 글로벌 에지 계산부(28)의 콘트라스트 계산방법(즉, 도 5 및 6에 나타낸 콘트라스트 계산방법)과 동일한 것을 채용할 수 있다. 즉, 국소 에지 계산부(25)는 상기 식(3)을 이용하여 얻어지는 스코어를 맵핑한 국소 에지 화상을 생성해도 좋다.

또, 이하의 실시형태에서는, 국소 에지 계산부(25) 및 글로벌 에지 계산부(28) 사이에서, 상술한 동일한 콘트라스트 계산방법을 채용하는 예에 대해서 설명한다. 그러나, 이에 한정되지 않고, 국소 에지 계산부(25) 및 글로벌 에지 계산부(28) 사이에서, 다른 콘트라스트 계산방법을 채용해도 상관없다. 또, 국소 에지 계산부(25) 및 글로벌 에지 계산부(28)가 상술한 콘트라스트 계산방법 이외의 계산방법(예를 들어, 종래의 계산방법)을 이용해도 상관없다.

(얼굴화상 등록처리의 흐름)

이어서, 도 7을 이용하여, 화상 처리장치(1)에서의 윤곽 추출처리의 흐름의 일례에 대해서 설명한다. 도 7은, 화상 처리장치(1)에서의 윤곽 추출처리의 흐름에 대해서 예시한 플로우 차트이다.

윤곽 추출처리가 개시되면, 우선, 입력화상 취득부(22)가 입력화상 P1을 취득한다(S10).

계속해서, 로컬 윤곽 추출부(23) 및 글로벌 윤곽 추출부(26)에 의해 에지 화상이 생성된다.

즉, 로컬 윤곽 추출부(23)에 있어서, 농담 화상 생성부(24)가, 농담 화상 P11을 생성하면(S11), 국소 에지 계산부(25)가, 생성된 농담 화상 P11을 이용한 콘트라스트 계산에 의해 국소 에지 화상 P12을 생성한다(S12).

그 한편에서, 글로벌 윤곽 추출부(26)에 있어서, 현저 맵 화상 생성부(27)가 현저 맵 화상 P21을 생성하면(S21), 글로벌 에지 계산부(28)가, 생성된 현저 맵 화상 P21을 이용한 콘트라스트 계산에 의해 글로벌 에지 화상(또는 현저 에지 화상으로 알려진) P22을 생성한다(S22).

또한, S11, S12의 처리와, S21, S22의 처리는, 병렬로 실행되어도 좋고, 어느 한쪽을 먼저 실행하고, 다른 쪽을 나중에 실행하는 순차 실행이어도 좋다.

이어서, 가중합 계산부(29)가, 국소 에지 계산부(25)가 생성한 국소 에지 화상 P12와, 글로벌 에지 계산부(28)가 생성한 글로벌 에지 화상 P22와의 가중합에 의해 최종적인 윤곽 화상 P30을 생성한다(S30). 그 후, 윤곽 추출처리는 종료한다.

(작용·효과)

이상에 나타낸 바와 같이, 본 실시형태에 따른 화상 처리장치(1)는, 입력화상 P1에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상 P30을 생성하는 화상 처리장치(1)로서, 입력화상 P1에 포함되는 영역과 그 영역의 인접 화소와의 사이의 콘트라스트에 근거하여, 입력화상 P1의 국소적인 에지를 나타내는 국소 에지 화상 P12를 생성하는 국소 에지 계산부(25)와, 입력화상 P1에 포함되는 복수의 영역에 대해서, 그 영역과 입력화상 전체와의 사이의 콘트라스트를 산출하고, 그 복수의 영역 각각의 입력화상 P1 전체에 대한 현저 맵 화상 P21을 생성하고, 생성한 현저 맵 화상 P21에 포함되는 에지를 나타내는 글로벌 에지 화상 P22를 생성하는 글로벌 에지 계산부(28)와, 국소 에지 화상 P12과, 글로벌 에지 화상 P22를 가중합에 의해 통합함으로써 윤곽 화상 P30을 생성하는 가중합 계산부(29)를 갖춘 구성이다.

상기 구성에 의하면, 국소적인 에지 정보로부터 노이즈 에지를 제거하고, 그리고 중요한 오브젝트 윤곽을 강조한 윤곽 화상을 얻을 수 있다.

[변형예]

이하에서는, 도 8∼도 11을 이용하여, 본 발명에 따른 화상 처리장치(1)의 바람직한 변형예에 대해서 설명한다. 이하에 나타낸 변형예에 따른 화상 처리장치(1A)는 입력화상 P1에 대하여, 평활 정도를 단계적으로 변경한 Bilateral 필터를 실시하여 얻어진 화상(이하, Bilateral 화상이라 칭한다)을 이용하여, 로컬 윤곽 및 글로벌 윤곽을 취득한다.

Bilateral 필터는, Gaussian 필터와 같이, 화상을 평활화하기 위한 필터이다. Gaussian 필터는, 화상에 포함되는 에지 부분을 포함하여, 화상이 전체적으로 평활화되어 버리는데 대해, Bilateral 필터는, 화상에 포함되는 에지 부분을 선명한 채로, 에지 이외의 부분을 평활화할 수 있는 특성을 갖고 있다.

(변형예에 따른 화상 처리장치의 구성)

도 8에 본 변형예에 따른 화상 처리장치(1)의 구성을 나타낸다. 이하에서는, 도 8에 나타낸 화상 처리장치(1A)와, 도 1에 나타낸 화상 처리장치(1)와의 상이점에 대해서 설명한다.

도 8에 나타낸 화상 처리장치(1A)는, 도 1에 나타낸 화상 처리장치(1)가 갖춘 로컬 윤곽 추출부(23) 및 글로벌 윤곽 추출부(26)를 각각 변형한 로컬 윤곽 추출부(또는 로컬 에지 화상 생성수단으로 알려진)(23A) 및 글로벌 윤곽 추출부(또는 현저 에지 화상 생성수단으로 알려진)(26A)를 갖춘다.

로컬 윤곽 추출부(23A)는, 로컬 윤곽 추출부(23)에 있어서, 평활화 화상 생성부(32)를 추가함과 동시에, 농담 화상 생성부(24) 및 국소 에지 계산부(25)를, 각각 색 채널별 화상 생성부(24A) 및 로컬 윤곽 계산부(25A)로 변경한 것이다.

글로벌 윤곽 추출부(26A)는, 글로벌 윤곽 추출부(26)에 있어서, 평활화 화상 생성부(33)를 추가함과 동시에, 현저 맵 화상 생성부(27) 및 글로벌 에지 계산부(28)를 각각 현저 맵 화상 생성부(27A) 및 글로벌 윤곽 계산부(28A)로 변경한 것이다.

또한, 도 1에 나타낸 화상 처리장치(1)의 것과 같은 기능을 갖는 부재에 대해서는, 동일한 부호를 부여하고 있다. 이들 부재에 대해서는, 이미 도 1을 이용하여 설명을 마쳤으므로, 여기에서는 그 설명을 생략한다.

도 8에 나타낸 화상 처리장치(1A)와, 도 1에 나타낸 화상 처리장치(1) 사이에서 상이한 구성에 대해서 더 설명하면 다음과 같다.

우선, 로컬 윤곽 추출부(23A)에 대해서 설명한다. 평활화 화상 생성부(32)는, 입력화상 P1에 대하여, 평활 정도를 단계적으로 변경한 Bilateral 필터를 실시하여 복수의 Bilateral 화상을 취득한다.

색 채널별 화상 생성부(24A)는, 로컬 윤곽 추출부(23A)가 생성한 복수의 Bilateral 화상의 각각에 대해서, 색 채널별로 윤곽 맵을 생성하고, 생성한 윤곽 맵에 근거하여 Bilateral 화상의 윤곽 맵을 생성한다.

로컬 윤곽 계산부(25A)는, 복수의 Bilateral 화상의 각각에 대해서 생성된 윤곽 맵에 근거하여 로컬 윤곽 화상을 생성한다.

이어서, 글로벌 윤곽 추출부(26A)에 대해서 설명한다. 평활화 화상 생성부(33)는, 입력화상 P1에 대하여, 평활 정도를 단계적으로 변경한 Bilateral 필터를 실시하여 복수의 Bilateral 화상을 취득한다. 또한, 평활화 화상 생성부(33)는, 평활화 화상 생성부(32)와 동일한 단계의 평활화 정도로 복수의 Bilateral 화상을 생성해도 좋고, 다른 단계의 평활화 정도로 복수의 Bilateral 화상을 생성해도 좋다. 또, 글로벌 윤곽 추출부(26A)에서, 평활화 화상 생성부(32)가 출력하는 복수의 Bilateral 화상을 유용해도 좋고, 이 경우, 평활화 화상 생성부(33)는 생략해도 좋다.

현저 맵 화상 생성부(27A)는, 복수의 Bilateral 화상의 각각에 대해서 현저 맵 화상을 생성한다.

글로벌 윤곽 계산부(28A)는, 복수의 Bilateral 화상의 각각에 대해서 생성된 현저 맵으로부터 윤곽 맵을 생성하고, 생성한 윤곽 맵에 근거하여 글로벌 윤곽 화상을 생성한다.

(변형예의 동작의 개요)

도 9를 이용하여, 변형예의 동작의 개요에 대해서 설명한다. 도 9는, 본 변형예에 따른 화상 처리장치(1A)가 실행하는 윤곽 추출처리에 포함되는 각 순서에 의해 얻어지는 화상 맵 데이터의 흐름을 나타낸 도면이다.

도 9에 나타낸 바와 같이, 화상 처리장치(1A)는, 입력화상 P1으로부터 윤곽 맵 A(이하에서, 로컬 윤곽(또는 국소 에지 화상으로 알려진) P12'라 칭한다) 및 윤곽 맵 B(이하에서, 글로벌 윤곽(또는 현저 에지 화상으로 알려진) P22'라 칭한다)를 생성한다. 즉, 로컬 윤곽 추출부(23A)가 로컬 윤곽 P12'를 생성하고(PROC11), 글로벌 윤곽 계산부(28A)가 글로벌 윤곽 P22'를 생성한다(PROC21).

또, 화상 처리장치(1A)는, 로컬 윤곽 P12' 및 글로벌 윤곽 P22'의 가중합에 의해 최종적인 윤곽 맵(또는 윤곽 화상으로 알려진) P30'를 생성한다(PROC11, PROC22).

이와 같이, 본 변형예에서는, 화상 처리장치(1A)는, 국소적인 윤곽 정보와, 글로벌한 윤곽 정보를 조합시켜 최종적 윤곽 정보를 생성한다.

또, 도 9에 나타낸 본 변형예의 윤곽 추출처리는, 개요 레벨에서는, 이제까지 설명한 윤곽 추출처리와 동일한 것처럼도 보인다. 그러나, 로컬 윤곽 P12' 및 글로벌 윤곽 P22'의 생성방법의 상세가 이제까지 설명한 윤곽 추출처리와 다르다. 이하에서, 그 상세에 대해서 설명한다.

[글로벌 윤곽의 생성]

도 10을 이용하여, 글로벌 윤곽 P22'를 생성하는 방법에 대해서 설명한다. 도 10은 화상 처리장치(1A)가 입력화상 P1으로부터 글로벌 윤곽 P22'를 생성하는 처리 PROC21에 대해서 상세하게 나타낸 도면이다.

도 10에 나타낸 바와 같이, 우선, 평활화 화상 생성부(33)는, 입력화상 P1으로부터 평활 정도를 단계적으로 변경한 Bilateral 필터를 적용한 N개(N은 1 이상의 정수이다)의 Bilateral 화상 P221(1)∼P221(N)을 생성한다(PROC221(1)∼P221(N)).

여기에서, Bilateral 화상 P221(1)∼P221(N)에 걸쳐, 적용되는 필터의 강도가, 보다 약한 것부터 보다 강한 것으로 되어 있어도 좋고, 그 반대여도 상관없다. 평활화 화상 생성부(33)가 적용하는 필터의 강도는, 필터의 제어 파라미터를 변경함으로써 임의로 설정할 수 있다.

필터의 강도가 약한 경우, Bilateral 화상에는, 강도가 강한 에지뿐 아니라 강도가 약한 에지도 평활화되지 않고 남는다. 이에 대하여, 필터의 강도가 강한 경우, Bilateral 화상에는, 강도가 약한 에지는 평활화되는 한편, 강도가 강한 에지가 남는다.

즉, 이와 같이 하여, 단계적으로 필터의 강도를 강하게 하여 Bilateral 필터를 적용함으로써 얻어지는 Bilateral 화상 P221(1)∼P221(N)에는 각 단계의 필터의 강도에 대응하는 강도의 에지가 포함된다.

이어서, 현저 맵 화상 생성부(27A)가 Bilateral 화상 P221(1)∼P221(N)에 대해서, 각각 현저 영역 맵 P222(1)∼P222(N)을 생성한다(PROC222(1)∼PROC222(N)). 현저 맵 화상 생성부(27A)가 현저 영역 맵 P222를 생성하는 방법에 대해서는, 현저 맵 화상 생성부(27)가 현저 맵 화상을 생성하는 방법과 동일하므로, 여기에서는 그 설명을 생략한다.

계속해서, 글로벌 윤곽 계산부(28A)가 현저 영역 맵 P222(1)∼P222(N)에 대해서, 각각 윤곽 맵 P223(1)∼P223(N)을 생성한다(PROC223(1)∼PROC223(N)).

또한, 글로벌 윤곽 계산부(28A)는, 현저 영역 맵 P222(1)∼P222(N)에 대하여, 상술한 콘트라스트 계산 등을 실행함으로써 윤곽 맵 P223(1)∼P223(N)을 생성할 수 있다.

게다가, 글로벌 윤곽 계산부(28A)는, 윤곽 맵 P223(1)∼P223(N)의 가중합에 의해 글로벌 윤곽 P22'을 생성한다(PROC214(1)∼PROC214(N)). 또한, 글로벌 윤곽 계산부(28A)가 가중합에 이용하는 중량계수는 임의로 설정할 수 있다. 예를 들어, 중량계수로서 필터 강도에 따른 값을 설정할 수 있다. 중량계수로서, 적용된 필터 강도에 따라 큰 값을 설정해도 좋고, 반대로 적용된 필터 강도에 따라 작은 값을 설정해도 좋다.

[로컬 윤곽의 생성]

도 11을 이용하여, 로컬 윤곽 P12'을 생성하는 방법에 대해서 설명한다. 도 11은 화상 처리장치(1A)가 입력화상 P1으로부터 로컬 윤곽 P12'을 생성하는 처리 PROC11에 대해서 상세하게 나타낸 도면이다.

도 11에 나타낸 바와 같이, 우선, 평활화 화상 생성부(32)는 입력화상 P1으로부터, 평활 정도를 단계적으로 변경한 Bilateral 필터를 적용한 N개(N은 1 이상의 정수이다)의 Bilateral 화상 P121(1)∼P121(N)를 생성한다(PROC121(1)∼PROC121(N)). 또한, 평활화 화상 생성부(32)에서의 Bilateral 화상의 생성에 대해서는, 평활화 화상 생성부(33)에 대해서 설명한 대로이므로, 여기에서는 그 설명을 생략한다. 다만, 평활화 화상 생성부(32)는, 평활화 화상 생성부(33)가 이용한 필터 파라미터(필터 강도)와는 다른 필터 파라미터(필터 강도)를 이용할 수 있다. 또, 평활화 화상 생성부(32)는 평활화 화상 생성부(33)가 생성한 Bilateral 화상의 수와, 다른 수의 Bilateral 화상을 생성해도 좋다.

이어서, 색 채널별 화상 생성부(24A)가 Bilateral 화상 P121(1)∼P121(N)에 대해서, 각각 윤곽 맵 P122(1)∼P122(N)을 생성한다(PROC122(1)∼PROC122(N)). 또한, Bilateral 화상 P121(1)∼P121(N)으로부터, 윤곽 맵 P122(1)∼P122(N)을 생성하는 Sub-Process:PROC122(1)∼PROC122(N)의 상세에 대해서는 후술한다.

계속해서, 로컬 윤곽 계산부(25A)가 윤곽 맵 P122(1)∼P122(N)의 가중합에 의해 글로벌 윤곽 P12'를 생성한다(PROC123(1)∼PROC123(N)). 로컬 윤곽 계산부(25A)가 실행하는 PROC123(1)∼PROC123(N)은 글로벌 윤곽 계산부(28A)가 실행하는 PROC214(1)∼PROC214(N)과, 입력이 되는 윤곽 맵이 다른 것을 제외하고 동일하다.

[Sub-Process의 상세]

도 12를 이용하여, 색 채널별 화상 생성부(24A)가 실행하는 Sub-Process에 대해서 상세하게 설명한다. 이하에서는, 색 채널별 화상 생성부(24A)가 입력이 되는 Bilateral 화상 P121의 화상 성분을, 휘도 L 및 색차 성분 A, B의 각 채널로 분해하는 구성에 대해서 설명한다. 그러나, 이에 한정되지 않고, 색 채널별 화상 생성부(24A)는 입력이 되는 Bilateral 화상 P121을 임의의 색의 표현(색공간)에서의 채널로 분해해도 좋다. 예를 들어, 색 채널별 화상 생성부(24A)는 Bilateral 화상 P121을, RGB 색공간에서의 R, G, 및 B의 각 채널로 분해할 수 있다.

색 채널별 화상 생성부(24A)는, Bilateral 화상 P121의 화상 성분을, L, A, 및 B의 각 채널로 분해함으로써, L 채널 화상 P1221_L, A 채널 화상 P1221_A, 및 B 채널 화상 P1221_B를 생성한다(PROC1221_L, PROC1221_A, 및 PROC1221_B).

이어서, 로컬 윤곽 계산부(25A)가, L 채널 화상 P1221_L, A 채널 화상 P1221_A, 및 B 채널 화상 P1221_B에 대해서, 각각 L 윤곽 맵 P1212_L, A 윤곽 맵 P1212_A, 및 B 윤곽 맵 P1212_B를 생성한다(PROC1222_L, PROC1222_A, 및 PROC1222_B).

또한, 로컬 윤곽 계산부(25A)는, L 채널 화상 P1221_L, A 채널 화상 P1221_A, 및 B 채널 화상 P1221_B에 대해서, 상술한 콘트라스트 계산 등을 실행함으로써 L 윤곽 맵 P1212_L, A 윤곽 맵 P1212_A, 및 B 윤곽 맵 P1212_B를 생성할 수 있다.

게다가, 로컬 윤곽 계산부(25A)는, L 윤곽 맵 P1212_L, A 윤곽 맵 P1212_A, 및 B 윤곽 맵 P1212_B의 가중합에 의해, 입력이 되는 Bilateral 화상 P121에 대응하는 윤곽 맵 P122를 생성한다(PROC1223_L, PROC1223_A, 및 PROC1223_B). 로컬 윤곽 계산부(25A)는, 그 가중합에서의 중량계수를 임의로 설정할 수 있다.

또한, 이하에서는, 로컬 윤곽 P12' 생성처리(PROC11) 및 글로벌 윤곽 P22' 생성처리(PROC22)의 양방에서, 다단적인 평활화 화상을 이용하는 구성에 대해서 설명하였다. 그러나, 로컬 윤곽 P12' 생성처리(PROC11) 및 글로벌 윤곽 P22' 생성처리(PROC22)의 어느 한쪽에서, 다단적인 평활화 화상을 이용하도록 구성하는 것도 가능하다.

본 발명은 상술한 각 실시형태에 한정되는 것은 아니고, 청구항에 나타낸 범위에서 각종 변경이 가능하고, 다른 실시형태에 각각 개시된 기술적 수단을 적절히 조합시켜 얻어지는 실시형태에 대해서도 본 발명의 기술적 범위에 포함된다.

[소프트웨어에 의한 실현예]

마지막으로, 화상 처리장치(1 및 1A)의 각 블록, 특히 윤곽 검출부(21) 및 윤곽 검출부(21A)는, 집적회로(IC칩) 위에 형성된 논리회로에 의해 하드웨어적으로 실현해도 좋고, CPU(Central Processing Unit)를 이용하여 소프트웨어적으로 실현해도 좋다.

후자의 경우, 화상 처리장치(1)는, 각 기능을 실현하는 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM(Read Only Memory), 상기 프로그램을 전개하는 RAM(Random Access Memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억장치(기록매체) 등을 갖추고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 화상 처리장치(1)의 제어 프로그램의 프로그램 코드(실행형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 읽어들일 수 있게 기록한 기록매체를, 상기 화상 처리장치(1)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록매체에 기록되어 있는 프로그램 코드를 읽어내어 실행함으로써도 달성 가능하다.

상기 기록매체로는, 일시적이지 않은 유형의 매체(non-transitory tangible medium), 예를 들어, 자기 테이프나 카세트 테이프 등의 테이프류, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크류, IC카드(메모리 카드를 포함함)/광카드 등의 카드류, 마스크 ROM/EPROM/EEPROM(등록상표)/플래쉬 ROM 등의 반도체 메모리류, 또는 PLD(Programmable logic device)나 FPGA(Field Programmable Gate Array) 등의 논리회로류 등을 이용할 수 있다.

또, 화상 처리장치(1)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급해도 좋다. 이 통신 네트워크는 프로그램 코드를 전송 가능하면 되고, 특별히 한정되지 않는다. 예를 들어, 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상전용망(Virtual Private Network), 전화회선망, 이동체 통신망, 위성통신망 등이 이용 가능하다. 또, 이 통신 네트워크를 구성하는 전송매체도, 프로그램 코드를 전송 가능한 매체라면 되고, 특정의 구성 또는 종류의 것에 한정되지 않는다. 예를 들어, IEEE1394, USB, 전력선 반송, 케이블 TV회선, 전화선, ADSL(Asymmetric Digital Subscriber Line) 회선 등의 유선이어도, IrDA나 리모콘과 같은 적외선, Bluetooth(등록상표), IEEE802.11 무선, HDR(High Data Rate), NFC(Near Field Communication), DLNA(Digital Living Network Alliance), 휴대전화망, 위성회선, 지상파 디지털망 등의 무선이어도 이용 가능하다. 또한, 본 발명은 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 포함된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.

본 발명은, 화상에 나타내어지는 대상물의 윤곽 검출에 이용할 수 있기 때문에, 프린터, 스캐너, 디지털 카메라, 디지털 텔레비전 수상기, 스마트폰, 퍼스널컴퓨터 등의 디지털 화상기기나, 윤곽 검출기술을 이용한 시큐리티 시스템 등에 적절히 이용할 수 있다.

1: 화상 처리장치 10: 기억부
20: 제어부 21: 윤곽 검출부
22: 입력화상 취득부
23: 로컬 윤곽 추출부(국소 에지 화상 생성수단)
24: 농담 화상 생성부(국소 에지 화상 생성수단)
25: 국소 에지 계산부(국소 에지 화상 생성수단)
26: 글로벌 윤곽 추출부(현저 에지 화상 생성수단)
27: 현저 맵 화상 생성부(현저 에지 화상 생성수단)
28: 글로벌 에지 계산부(현저 에지 화상 생성수단)
29: 가중합 계산부(윤곽 화상 생성수단)
30: 윤곽 화상 출력부

Claims

입력화상에 보여지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하기 위한 화상 처리장치로서,
상기 입력화상 영역과 그 인접영역 사이의 콘트라스트에 근거하여, 상기 입력화상에서 물체의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성수단;
상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 현저 에지 화상 생성수단; 및
상기 국소 에지 화상과 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성수단;
을 포함하는 것을 특징으로 하는 화상 처리장치.
제1항에 있어서, 상기 현저 에지 화상 생성수단은, 상기 입력화상에 포함되는 복수 영역에 대해서, 상기 복수 영역과 전체 입력화상 사이의 콘트라스트를 산출하고, 상기 각 복수 영역을 위하여 콘트라스트 맵 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
제1항 또는 제2항에 있어서, 상기 국소 에지 화상 생성수단은, 입력화상에서 미리 결정된 영역이 2개의 서브 영역으로 나눠질 때, 서브 영역 중 어느 하나의 지배적인 색(dominant color)과, 다른 서브 영역에의 지배적인 색 사이의 차(差)를 계산하여 얻어진 차이 값을 이용하여, 상기 국소 에지 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
제3항에 있어서, 상기 국소 에지 화상 생성수단은 상기 차이 값과 제2값을 곱하여 얻어진 결과를 이용함으로써 상기 국소 에지 화상을 생성하는 것으로, 상기 제2값은 상기 서브 영역 중 어느 하나의 지배적인 색의 도미넌스(dominance)와 다른 서브 영역의 지배적인 색의 도미넌스를 곱하여 얻어지는 것임을 특징으로 하는 화상 처리장치.
제1항 또는 제2항에 있어서, 상기 입력화상은 복수의 평활화 화상을 얻기 위해 단계적으로 평활화(smoothing)되고,
상기 현저 에지 화상 생성수단은, 전체 평활화 화상과 각 평활화 화상 내의 복수 개인 각 영역 사이에서 콘트라스트를 산출하고, 각 평활화 화상을 위하여 콘트라스트 맵 화상을 생성하며, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 에지 화상을 생성하고, 그리고 상기 복수의 평활화 화상 각각에 대해 생성된 상기 에지 화상을 통합함으로써 현저 에지 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
제1항 또는 제2항에 있어서, 상기 입력화상은 복수의 평활화 화상을 얻기 위해 단계적으로 평활화되고,
상기 국소 에지 화상 생성수단은 상기 평활화 화상의 영역과 그 인접 영역 사이의 콘트라스트에 근거하여 평활화 화상의 국소 에지를 나타내는 에지 화상을 생성하고, 복수의 평활화 화상 각각을 위하여 생성된 에지 화상을 통합함으로써 국소 에지 화상을 생성하는 것을 특징으로 하는 화상 처리장치.
제6항에 있어서, 상기 평활화 화상의 영역과 그 인접 영역 사이의 콘트라스트에 근거하여 각 평활화 화상의 국소적인 에지를 나타내는 에지 화상을 생성할 때에,
상기 국소 에지 화상 생성수단은, 상기 평활화 화상의 각 색 채널에 대한 콘트라스트 계산을 실행함으로써 얻어진 에지 화상인 색 채널 화상을 생성하고, 각 색 채널을 위하여 생성된 색 채널 에지 화상을 통합함으로써 상기 평활화 화상의 국소적인 에지 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
제5항에 있어서, 상기 각 평활화 화상은 양방향 필터(bilateral filter)에 의해 평활화가 실시되는 것을 특징으로 하는 화상 처리장치.
입력화상에 나타내어지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하는 화상 처리프로그램으로서,
상기 입력화상에 포함되는 영역과 그 영역의 근린영역과의 사이의 콘트라스트에 근거하여, 상기 입력화상의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 국소 에지 화상 생성단계;
상기 입력화상에서의 주목해야 할 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 에지를 나타내는 현저 에지 화상을 생성하는 단계; 및
상기 국소 에지 화상과, 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 윤곽 화상 생성단계;
를 포함하는 처리를 컴퓨터에 실행시키기 위한 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체.
입력화상에 보여지는 물체의 윤곽을 나타내는 윤곽 화상을 생성하기 위한 화상 처리방법으로서,
상기 입력화상 내의 영역과 그 인접 영역 사이의 콘트라스트에 근거하여, 상기 입력화상 안에서 물체의 국소적인 에지를 나타내는 국소 에지 화상을 생성하는 단계;
상기 입력화상 범위 내에서 현저 영역을 나타내는 콘트라스트 맵 화상을 생성하고, 생성된 상기 콘트라스트 맵 화상에 포함되는 현저 에지 화상을 생성하는 단계; 및
상기 국소 에지 화상과 상기 현저 에지 화상을 통합함으로써 상기 윤곽 화상을 생성하는 단계;
를 포함하는 것을 특징으로 하는 화상 처리방법.