KR101682787B1

KR101682787B1 - 화상 처리 장치 및 영역 분할 방법

Info

Publication number: KR101682787B1
Application number: KR1020150007274A
Authority: KR
Inventors: 아츠시 이리에; 히로마츠 아오키; 타카히로 사토
Original assignee: 오므론 가부시키가이샤
Priority date: 2014-03-14
Filing date: 2015-01-15
Publication date: 2016-12-05
Also published as: CN104915630B; KR20150107594A; JP2015176281A; EP2919164A1; CN104915630A; EP2919164B1; US9280830B2; JP6364837B2; US20150262368A1

Abstract

화상으로부터 검출 대상물의 영역을 추출하는 화상 처리 장치로서, 화상을 취득하는 화상 입력부와, 상기 화상으로부터 해상도가 다른 복수의 화상을 생성하는 화상 생성부와, 상기 해상도가 다른 복수의 화상을 이용하여 영역 분할을 행하는 영역 분할 처리부로서, 해상도가 낮은 화상에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역을 처리 대상 영역으로 하여 해상도가 높은 화상에 대한 영역 분할을 행하는 영역 분할 처리부를 구비한다. 이에 의해, 종래보다도 고속이면서 고정밀한 영역 분할이 가능해진다.

Description

화상 처리 장치 및 영역 분할 방법{IMAGE PROCESSING APPARATUS AND SEGMENTATION METHOD}

본 발명은, 화상으로부터 소망하는 영역을 추출하기 위한 기술에 관한 것이다.

컴퓨터에 의한 디지털 화상 처리에 의해, 주어진 화상을 전경(前景)(추출하고 싶은 부분)과 배경(그 이외의 부분)으로 분리하는 영역 분할(세그멘테이션)이라고 불리는 기술이 알려져 있다.

영역 분할 처리에서는, 고속이면서 정확한 분할이 바람직하다. 특허 문헌 1에서는, 화상의 해상도를 최초에는 거칠게 설정하고, 윤곽선의 갱신 회수의 증가와 함께 해상도를 늘리도록 하고 있다. 여기서, 윤곽선을 갱신할 때에는, 영역 내의 기준점과 윤곽점을 잇는 선분을 중심으로 하는 소정 폭의 사각형 영역을 대상으로 하여, 새로운 윤곽점을 결정하고 있다.

비특허 문헌 1에서는, 복수의 해상도의 화상을 준비하고, 저해상도 화상으로부터 순번대로 분할을 실시하고 있다. 비특허 문헌 1에서는 레벨 세트 알고리즘을 이용하고 있다. 저해상도 화상에 대한 처리 결과를, 다음의 해상도 화상에서의 초기 윤곽선으로서 처리함으로써 레벨 세트 처리의 수속을 빨리 할 수 있다. 비특허 문헌 1에서는, 분할의 대상 화상으로서 웨이브렛 변환 후의 화상을 이용함으로써, 처리 속도를 향상시키고 있다.

일본 특개2000-48212호 공보

비특허 문헌 1 : Al-Qunaieer, Fares S., Hamid R. Tizhoosh, and Shahryar Rahnamayan. "Multi-resolution level set image segmentation using wavelets." Image Processing(ICIP), 2011 18th IEEE International Conferenceon. IEEE, 2011.

상기한 종래 기술은 모두 화상 전체를 처리 대상으로 하여 세그멘테이션 처리를 행하고 있기 때문에, 처리 비용이 높으면서, 틀린 영역을 추출하여 버릴 우려도 있다.

본 발명은 상기 실정을 감안하여 이루어진 것으로, 그 목적으로 한 바는, 종래보다도 고속이면서 고정밀한 영역 분할 기술을 제공하는 것에 있다.

상기 목적을 달성하기 위해, 본 발명에서는, 해상도가 낮은 화상에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역을 처리 대상 영역으로 하여 해상도가 높은 화상에 대한 영역 분할을 행하는 것을 요지(要旨)로 한다.

구체적으로는, 본 발명은, 화상으로부터 검출 대상물의 영역을 추출하는 화상 처리 장치로서, 화상을 취득하는 화상 입력부와, 상기 화상으로부터 해상도가 다른 복수의 화상을 생성하는 화상 생성부와, 상기 해상도가 다른 복수의 화상을 이용하여 영역 분할을 행하는 영역 분할 처리부로서, 해상도가 낮은 화상에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역을 처리 대상 영역으로 하여 해상도가 높은 화상에 대한 영역 분할을 행하는 영역 분할 처리부를 구비한다.

또한, 보다 구체적으로는 본 발명에서, 상기 해상도가 다른 복수의 화상을, 해상도가 낮은 순서로 제1 내지 제N의 화상(N은 2 이상의 자연수)으로 한 경우에, 상기 영역 분할부는, 제i의 화상(i는 1 내지 N-1의 자연수)에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 제i+1의 화상에서의 영역을 처리 대상 영역으로 하여 제i+1의 화상에 대한 영역 분할을 행하는 것이고, 제1의 화상으로부터 영역 분할을 시작하고, 제N의 화상에 대한 영역 분할의 처리 결과를 최종적인 영역 분할의 처리 결과로서 출력하는, 것이 바람직하다.

이 구성에 의하면, 우선 저해상도의 화상에 대해 영역 분할을 실시하고, 계속해서, 저해상도의 화상에 대한 처리 결과를 이용하여 고해상도의 화상에 대해 영역 분할 처리를 행할 때에, 그 처리 대상 영역을 한정함으로써 처리 속도의 향상을 실현할 수 있다. 또한, 우선 저해상도의 화상에 대해 영역 분할을 실시함으로써 효율적으로 후보 영역(즉, 전경으로 하여야 할 영역이 포함된다고 생각되는 영역)을 좁힐 수 있고, 고해상도의 화상에 영역 분할을 행할 때에 영역 분할을 실시하는 영역을 한정할 수 있기 때문에, 오추출(誤抽出)을 줄여서 정밀도가 좋은 영역 분할을 실현할 수 있다.

또한, 본 발명에서, 상기 화상 입력부가 취득한 화상으로부터 상기 검출 대상물을 검출하는 검출부를 또한 가지며, 상기 영역 분할부는, 상기 검출부에 의해 검출된 상기 검출 대상물의 위치에 의거하여, 상기 제1의 화상에 대한 영역 분할의 처리 대상 영역을 결정하는, 것도 바람직하다. 이에 의해, 처리 속도와 정밀도의 더한층의 향상을 도모할 수 있다. 또한, 대상물의 검출을 행하지 않고, 제1의 화상에 대해서는 전 영역을 대상으로 하여 영역 분할을 실시하여도 상관없다.

또한, 본 발명에서, 상기 영역 분할부는, 화상을 전경과 배경으로 분할하는 것이고, 제i의 화상에 대한 영역 분할 처리에서는, 상기 처리 대상 영역에서 전경이라고 판정된 영역과, 상기 처리 대상 영역의 내측의 영역을 서로 더한 영역을, 제i의 화상에서의 전경 영역으로서 결정하는, 것도 바람직하다. 이에 의해, 영역 분할에 의해 전경과 배경으로 분할할 수 있다.

또한, 본 발명에서, 상기 영역 분할에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역이란, 해상도가 낮은 화상에 대한 영역 분할에서의 경계에 대응하는 해상도가 높은 화상에서의 개소로부터 소정 픽셀수 이내의 영역으로 할 수 있다. 또는, 해상도가 낮은 화상에 대한 영역 분할의 처리 결과에서의 경계로부터 소정 픽셀 이내의 영역에 대응하는 해상도가 높은 화상에서의 영역으로 할 수도 있다. 소정의 픽셀수는, 각 화상의 해상도에 응하여 달라도 좋고, 모든 해상도의 화상에서 같아도 좋다.

또한, 본 발명에서, 상기 화상 생성부가 생성하는 해상도가 다른 복수의 화상은, 상기 화상 입력부가 취득한 화상보다도 해상도가 낮은 화상으로 할 수 있다. 어느 정도의 해상도의 화상을 생성하는지는 특히 한정되지 않는다. 또한, 입력 화상 자체(입력 화상과 같은 해상도의 화상)도, 영역 분할 처리부에 의한 처리 대상의 화상에 포함하여도 좋다.

또한, 본 발명은, 상기 수단의 적어도 어느 하나를 포함하는 화상 처리 장치로서 파악할 수도 있고, 상기 수단(처리)의 적어도 어느 하나를 갖는 영역 분할 방법으로서 파악할 수도 있다. 또한 본 발명은, 상기 영역 분할 방법의 각 스탭을 컴퓨터에 실행시키기 위한 프로그램이나 이 프로그램을 기록한 기억 매체로서 파악할 수도 있다. 상기 처리 및 기능은, 기술적인 모순이 없는 한, 임의로 조합시켜서 본 발명을 구성할 수 있다.

본 발명에 의하면, 영역 분할 처리를 종래보다도 고속이면서 고정밀도로 행할 수 있다.

도 1은 화상 처리 장치의 기능 블록을 도시하는 도면.
도 2는 화상 처리 장치의 하드웨어 구성을 도시하는 도면.
도 3은 영역 분할 처리의 흐름을 도시하는 플로 차트.
도 4는 입력 화상과 인체 화상(오리지널 화상)을 도시하는 도면.
도 5는 영역 분할 처리의 개요를 설명하는 도면.
도 6은 영역 분할 처리를 설명하는 도면.
도 7은 영역 분할 처리를 설명하는 도면.

본 실시 형태에 관한 화상 처리 장치(100)는, 네트워크 경유나 기억 매체 경유로 화상을 취득하고, 취득한 화상에 대해 영역 분할 처리를 포함하는 여러 가지의 화상 처리를 시행한다. 본 실시 형태에서는, 특히, 화상 중으로부터 인체(人體)의 영역을 추출하는 영역 분할 처리에 특화한 화상 처리 장치(100)를 설명한다.

(구성)

도 2는, 본 발명의 실시의 형태에 관한 화상 처리 장치(100)의 개략 구성도이다. 도 2를 참조하면, 화상 처리 장치(100)는, 연산 처리부인 CPU(Central Processing Unit)(101)와, 메모리부인 메인 메모리(102) 및 하드디스크 드라이브(HDD)(103)와, 입력 인터페이스(105)와, 표시 컨트롤러(106)와, 통신 인터페이스(108)와, 데이터 리더/라이터(109)를 포함한다. 이들의 각 부분은, 버스(B)를 통하여, 서로 데이터 통신 가능하게 접속된다.

CPU(101)는, HDD(103)에 격납된 컴퓨터 프로그램(코드)을 메인 메모리(102)에 전개하여, 이들을 소정 순서로 실행함으로써, 각종의 연산을 실시한다. 메인 메모리(102)는, 전형적으로는, DRAM(Dynamic Random Access Memory) 등의 휘발성의 기억 장치이고, HDD(103)로부터 판독된 프로그램에 더하여, 통신 인터페이스(108)나 데이터 리더/라이터(109)로부터 판독된 화상 데이터 등을 유지한다. 또한, HDD(103)에는, 각종 설정치 등이 격납되어도 좋다. 또한, HDD(103)에 더하여, 또는, HDD(103)에 대신하여, 플래시 메모리 등의 반도체 기억장치를 채용하여도 좋다.

입력 인터페이스(105)는, CPU(101)와 마우스(4), 키보드, 터치 패널 등의 입력부와의 사이의 데이터 전송을 중개한다. 즉, 입력 인터페이스(105)는, 유저가 입력부를 조작함으로써 주어지는 조작 지령을 접수한다.

표시 컨트롤러(106)는, 표시장치의 전형례인 디스플레이(2)와 접속되고, CPU(101)에서의 화상 처리의 결과 등을 유저에게 통지한다. 즉, 표시 컨트롤러(106)는, 디스플레이(2)에 접속되고, 당해 디스플레이(2)에서의 표시를 제어한다.

통신 인터페이스(108)는, CPU(101)와 다른 컴퓨터와의 사이의 데이터 전송을 중개한다. 통신 인터페이스(108)는, 전형적으로는, 이서넷(등록상표)이나 USB(Universal Serial Bus) 등으로 이루어진다. 또한, 후술하는 바와 같이, 메모리 카드(6)에 격납된 프로그램을 화상 처리 장치(100)에 인스톨하는 형태에 대신하여, 통신 인터페이스(108)를 통하여, 배신(配信) 서버 등으로부터 다운로드한 프로그램을 화상 처리 장치(100)에 인스톨하여도 좋다.

데이터 리더/라이터(109)는, CPU(101)와 기록 매체인 메모리 카드(6) 사이의 데이터 전송을 중개한다. 즉, 메모리 카드(6)에는, 화상 처리 장치(100)에서 실행되는 프로그램 등이 격납된 상태로 유통되고, 데이터 리더/라이터(109)는, 이 메모리 카드(6)로부터 프로그램을 판독한다. 또한, 데이터 리더/라이터(109)는, CPU(101)의 내부 지령에 응답하여, 메모리 카드(6) 내에 격납된 화상 데이터를 판독하거나, 화상 처리 장치(100)가 생성한 화상 데이터를 메모리 카드(6) 내에 격납하거나 한다. 또한, 메모리 카드(6)는, CF(Compact Flash), SD(Secure Digital) 등의 범용적인 반도체 기억 디바이스나, 플렉시블 디스크(Flexible Disk) 등의 자기(磁氣) 기억 매체나, CD-ROM(Compact Disk Read Only Memory) 등의 광학 기억 매체 등으로 이루어진다.

또한, 화상 처리 장치(100)에는, 필요에 응하여, 프린터 등의 다른 출력 장치가 접속되어도 좋다.

(영역 분할 처리)

본 실시 형태에 관한 화상 처리 장치(100)의 기능 블록과 그 처리 플로를 도 1 및 도 3에 도시한다. 상술한 바와 같이, 화상 처리 장치(100)의 CPU(101)가, 미리 인스톨된 컴퓨터 프로그램(OS나 어플리케이션 프로그램 등)을 실행함에 의해, 도 1에 도시하는 기능이 실현된다. 또한, 도 1에 도시하는 기능의 일부 또는 전부는 전용의 하드웨어로서 실현되어도 좋다. 이하, 도 1 및 도 3을 참조하면서, 본 실시 형태에 관한 화상 처리 장치(100)에 관해 설명한다.

스탭 S1에서, 화상 입력부(11)가, 영역 분할 처리의 대상이 되는 화상 데이터(입력 화상)를 통신 인터페이스나 메모리 카드 등으로부터 취득한다. 영역 분할 처리 대상의 화상 데이터는, 화상 처리 장치(100)가 생성한 화상 데이터라도 상관없다.

스탭 S2에서, 얼굴 검출부(12)가 스탭 S1에서 취득한 화상 데이터로부터 얼굴 검출을 행한다. 얼굴 검출 처리 자체는, 임의의 기지(旣知)의 수법을 이용하면 좋다. 얼굴 검출의 결과로부터 화상 중의 어느 영역에 얼굴이 존재하는지를 알고, 또한 이 결과에 의거하여 화상 중에서의 인체의 영역을 추정할 수 있다. 스탭 S3에서는, 입력된 화상 데이터 중, 인체의 영역을 포함하는 영역을 오려낸다. 이후의 처리에서는, 오려낸 후의 화상 데이터를 처리 대상으로 하여 영역 분할 처리를 실시하기 때문에, 오려낸 후의 화상인 것을 오리지널 화상이라고 칭한다. 도 4(a)는 입력 화상의 예를 도시한다. 입력 화상(31)으로부터 얼굴 검출 처리에 의해 얼굴 영역(32)이 검출되고, 얼굴 영역(32)에 의거하여 인체 영역(33)이 추정된다. 스탭 S2의 오려냄 처리에서는, 인체 영역(33)이 오려내어져서, 도 4(b)에 도시하는 오리지널 화상(34)이 얻어진다. 이 오리지널 화상(34)이 영역 분할 처리의 대상이 된다. 이와 같이, 인체가 존재하는 영역을 오려내어 화상 사이즈를 작게 함으로써, 처리 시간을 단축할 수 있다.

스탭 S4에서, 멀티 해상도 화상 생성부(13)는, 오리지널 화상으로부터 복수의 다른 해상도(화상 사이즈)의 화상을 생성한다. 본 명세서에서는, 생성된 복수의 화상을 총칭하여 멀티 해상도 화상이라고 칭한다. 멀티 해상도 화상은, 오리지널 화상보다도 해상도가 낮은 화상으로 하는 것이 전형적이지만, 초해상 처리 등을 이용하여 오리지널 화상보다도 해상도가 높은 화상을 생성하여도 상관없다. 생성하는 화상의 수 및 그 해상도는 적절히 결정하면 좋다. 예를 들면, 오리지널 화상의 1변의 사이즈를 1/2, 1/4 …로 반분(半分)한 화상을 소정 개수 생성하여도 좋다. 또는, 생성한 화상수를 미리 고정과 하지 않고, 화상 사이즈가 소정 사이즈 이하가 될 때까지 1변의 사이즈를 1/2씩 하여 화상을 생성하여도 좋다. 또한, 각 화상의 사이즈는 1/2씩 작게 할 필요는 없고, 1/2 이외의 고정치를 배율로 하여도 좋고, 오리지널 화상의 사이즈에 응하여 배율을 가변으로 하여도 좋다. 예를 들면, 가장 낮은 해상도 화상의 사이즈라고 생성하는 화상수가 미리 정하여 있고, 이들에 의거하여, 저해상 처리의 배율을 적절히 결정하여도 좋다. 멀티 해상도 화상 생성부(13)가 생성한 멀티 해상도 화상은, 멀티 해상도 화상 기억부(14)에 기억된다. 또한, 오리지널 화상 자체도 멀티 해상도 화상에 포함되는 것으로 한다.

스탭 S5 내지 S12의 처리는, 멀티 해상도 화상 중 낮은 해상도의 화상으로부터 순번대로 실시된다. 도 5를 참조하여 스탭 S5 내지 S12의 반복 처리에 관해 간단히 설명한다. 가장 해상도가 낮은 화상(41)에 대해 영역 분할 처리를 시행하고, 얻어진 영역 분할 처리 결과(44)에 의거하여, 다음으로 해상도가 높은 화상(42)에 대한 영역 분할 처리의 처리 대상 영역(마스크 영역이라고 칭한다)(45)을 결정한다. 화상(42)에 대해, 마스크 영역(45) 내를 대상으로 영역 분할 처리를 시행하고, 얻어진 영역 분할 처리 결과(46)에 의거하여, 다음으로 해상도가 높은 화상(43)에 대한 마스크 영역(47)을 결정한다. 가장 해상도가 높은 화상(43)(전형적으로는 오리지널 화상)에 대해, 마스크 영역(47) 내를 대상으로 영역 분할 처리를 시행하고, 얻어진 영역 분할 처리 결과(48)를 최종적인 영역 분할 처리의 결과로 한다.

스탭 S5 내지 S12의 반복 처리에 관해보다 상세히 설명한다. 이하의 설명에서는, 멀티 해상도 화상의 수를 N(N은 2 이상의 자연수)으로 하고, 해상도가 낮은 화상부터 순번대로 제i의 화상(i는 1 내지 N의 자연수)이라고 칭한다. 우선, 가장 해상도가 낮은 화상(제1의 화상)을 대상으로 하여 영역 분할 처리가 시작된다.

스탭 S5에서, 첫 회 처리, 즉 가장 해상도가 낮은 화상에 대한 처리인지의 여부가 판정된다. 가장 낮은 해상도를 대상으로 한 처리의 경우(S5-YES)는, 스탭 S6으로 진행한다. 스탭 S6에서는, 마스크 영역 설정부(15)가, 제1의 화상에 대한 마스크 영역을, 스탭 S2에서의 얼굴 검출 결과로부터 추정된 인체 영역으로 설정한다. 도 6(a) 및 도 6(b)는, 제1의 화상 및 제1의 화상에 대한 마스크 영역(51)을 도시한다.

스탭 S7에서는, 세그멘테이션 처리부(영역 분할부)(16)가, 제1의 화상의 마스크 영역(51)을 대상으로 하여 영역 분할 처리(세그멘테이션 처리)를 실시한다. 영역 분할에 관해서는 어떠한 알고리즘을 이용할 수도 있지만, 전경과 배경의 최적인 경계를 탐색하는 윤곽 베이스의 알고리즘을 이용하는 것이 바람직하다. 예를 들면, 그래프 커트나 레벨 세트 등의 알고리즘을 알맞게 이용할 수 있다. 이러한 알고리즘에서는, 전경 영역의 후보해(候補解)(후보 영역)에 관해, 후보 영역의 내측의 픽셀의 색의 전경다움(전경 우도(尤度))과 후보 영역의 외측의 픽셀의 색의 배경다움(배경 우도)을 평가함으로써, 복수의 후보 영역 중에서 전경 영역의 최적해를 탐색한다. 이러한 알고리즘은 공지의 수법이기 때문에, 여기서는 상세한 설명은 할애한다.

제1의 화상에 대한 영역 분할 처리 결과를 도 6(c)에 나타낸다. 도면 중, 하얗게 표시된 영역(영역 분할 결과(52))이 인체 영역(전경)이고, 검게 표시된 영역이 배경 영역이다. 이상에 의해, 제1의 화상에 대한 처리가 종료된다.

다음에, 제2의 화상에 대한 처리가 행하여진다. 제2의 화상 이후에 대한 처리에서는, 스탭 S5에서는 부정 판정되고, 스탭 S8 내지 S12의 처리가 행하여진다. 스탭 S8에서, 마스크 영역 설정부(15)는, 전회의 영역 분할 결과(제1의 화상에 대한 영역 분할 결과(52))의 경계(52a)를 취득한다. 제1의 화상과 제2의 화상은 해상도가 다르기 때문에, 스탭 S9에서, 마스크 영역 설정부(15)는, 경계(52a)를 제1의 화상과 제2의 화상의 해상도의 비에 응하여 확대 처리를 하여, 제2의 화상에서의 경계(52b)를 얻는다. 경계(52b)는, 제1의 화상에서의 경계에 대응하는 제2의 화상에서의 개소라고 할 수 있다. 도 7(a)는 제2의 화상, 도 7(b)는 제1의 화상의 영역 분할 결과의 경계(52a), 도 7(c)는 경계(52a)를 확대하여 얻어지는 경계(52b)를 도시한다. 다음에 스탭 S10에서, 마스크 영역 설정부(15)는, 경계(52b)로부터 내측과 외측에 각각 소정 픽셀 이내의 영역을 마스크 영역(53)으로서 결정한다. 도 7(d)는, 제2의 화상에 대한 마스크 영역(53)(흰색의 부분)을 도시한다.

마스크 영역의 폭(소정 픽셀의 수치)은, 고정치라도 좋고, 처리 대상의 화상(이 예에서는 제2의 화상)의 해상도에 응한 값이라도 좋다. 이때, 고해상도의 화상일수록, 마스크 영역의 폭을 서서히 작게 하여도 좋다. 처리를 반복할 때마다 영역 분할의 정밀도가 올라가, 보다 좁은 범위를 대상으로 하여 영역 분화를 할 수가 있기 때문이다. 여기서, 폭이 작다는 것은, 소정 픽셀의 수치(절대수)가 작다는 의미뿐만 아니라, 해상도에 대한 소정 픽셀의 수치의 비율(상대수)이 작다는 의미도 포함한다. 또한, 상기에서는 소정 픽셀의 수치로서, 경계(52b)의 내측과 외측에 같은 값을 설정하고 있지만, 내측과 외측에서 소정 픽셀수를 다른 값으로 하여도 상관없다.

제2의 화상에서의 마스크 영역은, 제1의 화상에서의 영역 분할 결과의 경계 부근의 영역에 대응하는 제2의 화상에서의 영역으로서 결정되면, 상기 방법 이외의 방법으로 결정되어도 좋다. 예를 들면, 스탭 S9에서의 확대 처리와 스탭 S10에서의 경계에 의거한 영역 설정 처리의 순번을 교체하여, 제1의 화상에서의 경계(52a)로부터 소정 픽셀 이내의 영역을 설정하고, 당해 영역을 제1의 화상과 제2의 화상의 해상도의 비에 응하여 확대한 영역을 마스크 영역(53)으로 하여도 상관없다.

스탭 S11에서는, 세그멘테이션 처리부(16)가, 제2의 화상의 마스크 영역(53)을 대상으로 하여 영역 분할 처리를 실시한다. 도 7(d)에 스탭 S11의 영역 분할 결과를 도시한다. 여기서는, 마스크 영역(53) 중, 영역(53a)이 인체 영역(전경 영역)이라고 판정되고, 영역(53b)이 배경 영역이라고 판정된 것으로 한다. 또한, 스탭 S11의 영역 분할 처리에서는, 마스크 영역(53) 이외는 처리 대상이 아니지만, 제1의 화상에 대한 처리의 결과를 이용하면, 마스크 영역(53)의 내측의 영역(53c)은 인체 영역(전경)이고, 외측의 영역(53d)은 배경 영역이라고 판정할 수 있다. 따라서 세그멘테이션 처리부(16)는, 스탭 S11에서 인체 영역(전경 영역)이라고 판정된 영역(53a)과, 마스크 영역의 내측의 영역(53c)을 서로 더한 영역을, 제2의 화상에서의 인체 영역(전경)으로 한다(스탭 S12). 이와 같이 하여 얻어진 제2의 화상에 대한 영역 분할 결과(54)를 도 7(e)에 도시한다. 이상에 의해, 제2의 화상에 대한 처리가 종료된다. 또한, 스탭 S12의 처리는 가장 해상도가 높은 화상 이외에는 행하지 않아도 좋다. 계산 도중에서는 전경과 배경의 경계만을 알면 처리를 행하는 것도 가능하기 때문이다.

상기한 처리를 멀티 해상도 화상의 수만큼 반복한다. 즉, 제i의 화상(i는 1 내지 N-1의 자연수)에 대한 영역 분할 처리의 결과에 의거하여, 영역 분할의 경계 부근을 처리 대상 영역으로 하여 제i+1의 화상에 영역 분할 처리를 실시한다. 이것을, 제N의 화상에 대한 영역 분할 처리 결과가 얻어질 때까지 실시한다.

결과 출력부(17)는, 제N의 화상에 대한 영역 분할 처리 결과를 최종적인 영역 분할 처리의 결과로서 출력한다(스탭 S13). 출력의 형식은 임의이다. 예를 들면, 인체 영역이 구별 가능토록 입력 화상에 맞겹쳐서 디스플레이 등에 표시할 수 있다. 또는, 화상 처리 장치(100)의 그 밖의 처리에 대한 입력으로 할 수도 있다. 예를 들면, 인체 영역을 오려내는 오려냄 처리의 입력으로 할 수 있다. 또는, 배경 영역을 흐리는 처리를 시행하는 배경 흐림 처리의 입력으로 할 수 있다.

(본 실시 형태의 이점)

이상과 같이, 본 실시 형태에서는, 복수의 해상도의 화상을 준비하고, 저해상도 화상으로부터 순번대로 세그멘테이션 처리를 시행하여 가고, 1레벨 위의 해상도 화상에 세그멘테이션 처리를 시행할 때에, 1레벨 아래의 해상도 화상의 영역 분할 결과에 의거하여 분할 대상 영역을 한정하도록 하고 있다. 이와 같이, 1레벨 위의 해상도 화상에 세그멘테이션 처리를 시행할 때에, 전체를 대상으로 하는 것이 아니라, 영역을 한정하여 세그멘테이션 처리를 시행하기 때문에, 처리 속도가 향상한다. 또한, 저해상도 화상으로부터 순번대로 세그멘테이션 처리를 시행함으로써, 오추출을 억제하고 정밀도가 높은 영역 분할을 실현할 수 있다.

(변형례)

상술한 실시 형태는 본 발명의 한 구체례를 나타낸 것이고, 본 발명의 범위를 그들 구체례로 한정하는 취지의 것은 아니다.

예를 들면, 가장 해상도가 낮은 화상(제1의 화상)에 대해 마스크 영역을 설정하여 영역 분할 처리를 행하고 있지만, 제1의 화상에 대해서는 전 영역을 대상으로 하여 영역 분할을 실시하여도 상관없다. 또한, 입력 화상에 대한 오려냄 처리도 반드시 행하지 않아도 좋다.

또한, 상기에서는 인체를 전경으로 하여 배경과 구별하는 영역 분할 처리를 예로 설명하였지만, 검출 대상의 물체는 임의의 물체라도 상관없다. 특징량 등에 의거하여, 또는 템플레이트 매칭 등을 이용하여, 검출 대상물의 위치나 대강의 영역을 판별할 수 있는 경우에는, 상기한 실시 형태와 마찬가지로 검출 결과에 의거하여, 입력 화상의 오려냄 처리나 제1의 화상에 대한 마스크 영역의 설정 등을 행하면 좋다. 검출 대상물의 위치나 영역을 판별할 수 없는 경우에는, 오려냄 처리나 제1의 화상에 대한 마스크 영역의 설정 처리를 생략하여도 좋다.

상기한 실시 형태에서는, 범용 컴퓨터에 화상 처리용의 소프트웨어를 인스톨한 화상 처리 장치를 설명하였지만, ASIC나 FPGA를 이용하여 구성된 화상 처리 엔진을 촬상 장치(카메라) 내에 조립하고, 촬상 장치가 촬영한 화상을 대상으로 영역 분할 처리를 실시하도록 하여도 좋다. 본 발명의 영역 분할 방법은, 요소 기술로서 범용적으로 이용 가능하고, 적용 분야로서, 예를 들면, 각종의 디지털 화상 처리, 외관 검사 장치, 컴퓨터 비전, 머신 비전 등을 들 수 있다.

100 : 화상 처리 장치
11 : 화상 입력부
12 : 얼굴 검출부
13 : 멀티 해상도 화상 생성부
14 : 멀티 해상도 화상 기억부
10 : 마스크 영역 설정부
16 : 세그멘테이션 처리부
17 : 결과 출력부

Claims

화상으로부터 검출 대상물의 영역을 추출하는 화상 처리 장치로서,
화상을 취득하는 화상 입력부와,
상기 화상으로부터 해상도가 다른 복수의 화상을 생성하는 화상 생성부와,
상기 해상도가 다른 복수의 화상을 이용하여 영역 분할을 행하는 영역 분할부로서, 해상도가 낮은 화상에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역을 처리 대상 영역으로 하여 해상도가 높은 화상에 대한 영역 분할을 행하는 영역 분할부를 구비하며,
상기 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역이란, 해상도가 낮은 화상에 대한 영역 분할의 처리 결과에서의 경계에 대응하는 해상도가 높은 화상에서의 개소로부터 소정 픽셀 이내의 영역, 또는, 해상도가 낮은 화상에 대한 영역 분할의 처리 결과에서의 경계로부터 소정 픽셀 이내의 영역에 대응하는 해상도가 높은 화상에서의 영역인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 해상도가 다른 복수의 화상을, 해상도가 낮은 순서로 제1 내지 제N의 화상(N은 2 이상의 자연수)으로 한 경우에,
상기 영역 분할부는,
제i의 화상(i는 1 내지 N-1의 자연수)에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 제i+1의 화상에서의 영역을 처리 대상 영역으로 하여 제i+1의 화상에 대한 영역 분할을 행하는 것이고,
제1의 화상으로부터 영역 분할을 시작하고, 제N의 화상에 대한 영역 분할의 처리 결과를 최종적인 영역 분할의 처리 결과로서 출력하는 것을 특징으로 하는 화상 처리 장치.
제2항에 있어서,
상기 화상 입력부가 취득한 화상으로부터 상기 검출 대상물을 검출하는 검출부를 또한 가지며,
상기 영역 분할부는, 상기 검출부에 의해 검출된 상기 검출 대상물의 위치에 의거하여, 상기 제1의 화상에 대한 영역 분할의 처리 대상 영역을 결정되는 것을 특징으로 하는 화상 처리 장치.
제2항 또는 제3항에 있어서,
상기 영역 분할부는, 화상을 전경과 배경으로 분할하는 것이고,
제i의 화상에 대한 영역 분할 처리에서는, 상기 처리 대상 영역에서 전경이라고 판정된 영역과, 상기 처리 대상 영역의 내측의 영역을 서로 더한 영역을, 제i의 화상에서의 전경 영역으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
삭제
제1항에 있어서,
상기 화상 생성부가 생성하는 화상은, 상기 화상 입력부가 취득한 화상보다도 해상도가 낮은 화상인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,
상기 검출 대상물은, 사람의 얼굴 또는 인체인 것을 특징으로 하는 화상 처리 장치.
컴퓨터가 행하는, 화상으로부터 검출 대상물의 영역을 추출하는 영역 분할 방법으로서,
화상을 취득하는 화상 입력 스탭과,
상기 화상으로부터 해상도가 다른 복수의 화상을 생성하는 화상 생성 스탭과,
상기 해상도가 다른 복수의 화상을 이용하여 영역 분할을 행하는 영역 분할 스탭으로서, 해상도가 낮은 화상에 대해 영역 분할을 행하고, 당해 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역을 처리 대상 영역으로 하여 해상도가 높은 화상에 대한 영역 분할을 행하는 영역 분할 스탭을 포함하며,
상기 영역 분할의 처리 결과에서의 경계 부근의 영역에 대응하는 해상도가 높은 화상에서의 영역이란, 해상도가 낮은 화상에 대한 영역 분할의 처리 결과에서의 경계에 대응하는 해상도가 높은 화상에서의 개소로부터 소정 픽셀 이내의 영역, 또는, 해상도가 낮은 화상에 대한 영역 분할의 처리 결과에서의 경계로부터 소정 픽셀 이내의 영역에 대응하는 해상도가 높은 화상에서의 영역인 것을 특징으로 하는 영역 분할 방법.
제8항에 기재된 영역 분할 방법의 각 스탭을 컴퓨터에 실행시키기 위한 컴퓨터 프로그램을 비일시적으로 격납한 것을 특징으로 하는 컴퓨터 가독(可讀) 매체.