KR20150121164A

KR20150121164A - 영역 분할 방법 및 검사 장치

Info

Publication number: KR20150121164A
Application number: KR1020157026294A
Authority: KR
Inventors: 요시히사 미나토; 유키코 야나가와; 야스유키 이케다; 유타카 기우치; 유타카 가토
Original assignee: 오므론 가부시키가이샤
Priority date: 2013-03-29
Filing date: 2014-02-25
Publication date: 2015-10-28
Also published as: JP6089886B2; CN105122306A; EP2980755B1; US9672628B2; KR101719088B1; CN105122306B; EP2980755A1; TW201447811A; US20160300358A1; TWI526982B; JP2014197358A; WO2014156425A1; EP2980755A4

Abstract

전경으로 해야 하는 영역 내의 일부의 픽셀을 전경 지정 픽셀로서 유저에게 지정하게 하고, 전경 지정 픽셀의 색에 기초하여, 전경의 색 분포와 배경의 색 분포를 추정한다. 추정 처리는, 화상의 색 분포를 복수의 클러스터로 나누는 스텝과, 상기 복수의 클러스터 중, 유저에 의해 지정된 전경 지정 픽셀과의 관련성이 큰 하나 이상의 클러스터를 전경의 색 분포로서 선택하고, 전경 지정 픽셀과의 관련성이 작은 하나 이상의 클러스터를 배경의 색 분포로서 선택하는 스텝을 포함한다.

Description

영역 분할 방법 및 검사 장치 {METHOD FOR PARTITIONING AREA, AND INSPECTION DEVICE}

본 발명은 화상으로부터 원하는 영역을 추출하기 위한 기술에 관한 것이다.

컴퓨터에 의한 디지털 화상 처리에 의해, 주어진 화상을 전경(추출하고 싶은 부분)과 배경(그 이외의 부분)으로 분리하는 영역 분할(세그먼테이션)이라고 불리는 기술이 알려져 있다. 영역 분할의 알고리즘에는 종래부터 다양한 것이 제안되어 있지만, 크게 구분하면, 픽셀마다 전경인지 배경인지를 판별하는 픽셀 베이스의 방법과, 전경과 배경의 경계를 탐색하는 윤곽 베이스의 방법이 있다. 전자로서는, 단순한 2치화나 색 영역 추출, 클러스터링에 의한 색 분할 등이 있다. 또한 특허문헌 1에는, 색 영역 추출에 의해 얻어진 픽셀 군을 또한 클러스터링함으로써, 대상색(사람의 피부색 등)의 픽셀과 그 이외의 색의 픽셀을 세밀하게 변별하는 방법이 제안되어 있다. 후자의 방법으로서는, 스네이크(Snakes), 레벨 세트(Level Sets), 그래프 커트(Graph Cuts) 등이 알려져 있다(예를 들어 비특허문헌 1 참조). 이들 방법은, 전경 영역의 윤곽(전경과 배경의 경계)의 최적해를 에너지 최소화 문제로서 푸는 방법이다.

영역 분할에 있어서는, 알고리즘의 간단화와 분할 정밀도의 향상을 위해, 유저가 전경과 배경 각각의 대표적인 색을 교시하는 방법이 채용되는 경우가 많다(인터랙티브 세그먼테이션이라고 불린다). 예를 들어 비특허문헌 1에서는, 유저가 표시 화상에 대해 전경의 일부와 배경의 일부에 각각 선을 묘화하면, 그 선 상으로부터 전경과 배경의 대표색을 샘플하는 방법이 개시되어 있다.

인터랙티브 세그먼테이션은, 전경이나 배경의 색이 미지이거나, 화상 중에 많은 색이나 모양이 포함되어 있거나, 전경과 배경의 색이 유사한 등, 전경과 배경의 자동 구분이 어려운 경우에 매우 유효하다. 그러나, 유저에 따라서는, 전경과 배경의 양쪽을 지정하는 작업을 번거롭게 느끼거나, 적절한 배경을 찾는 데에 수고가 들 가능성이 있다. 또한 일반적인 사람의 감각으로서, 관심이 있는 대상물(전경)의 일부를 지정하는 것은 직감적이지만, 관심이 없는 영역(배경)을 지정하는 조작은 직감적이지 않아 위화감을 느끼는 유저도 많다.

유저의 지정 작업을 간이화하는 방법으로서, 특허문헌 2에서는, 사전 지식으로서 대상물의 크기(존재할 수 있는 범위)를 미리 설정해 두고, 유저가 대상물(전경)의 1점을 지정하면, 그 점의 좌표와 대상물의 크기로부터 대상물의 외측에 존재하는 점(배경)을 추정하고, 전경과 배경 각각의 색을 추출한다고 하는 방법이 제안되어 있다. 그러나, 이 방법은, 대상물의 크기가 미지인 경우에는 적용할 수 없어, 범용성이 부족하다고 하는 과제가 있다.

또한, 어도비사의 포토 리터치 소프트 Photoshop에 탑재된 「자동 선택 툴」 및 「퀵 선택 툴」에서는, 유저가 화상의 일부를 지정하면, 그 지정 개소의 주위에 있는 유사색의 픽셀이 자동으로 선택된다. 즉, 전경의 일부를 지정하는 것만으로 영역 추출이 가능하여, 배경을 지정하는 수고를 줄이고 있다. 그러나, 동 소프트에서는 지정 개소의 색(전경의 대표색)과의 유사성만을 평가하고 있기 때문에, 추출 결과의 정밀도가 그다지 높지 않다. 예를 들어, 전경과 배경의 색이 유사한 경우나, 전경 부분의 색의 변화가 완만하게 계속되어 있는 경우 등에는, 유저가 의도하는 범위가 선택되지 않고, 범위의 추가나 삭제와 같은 수정 작업이 필요해진다.

일본 특허 공개 제2007-193553호 공보 일본 특허 공개 제2008-245719호 공보

Y. Boykov and M.-P. Jolly:"Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images", ICCV2001, 01, p. 105(2001).

본 발명은 상기 실정을 감안하여 이루어진 것으로서, 그 목적으로 하는 바는, 유저가 전경의 일부를 교시하는 것만으로, 화상을 전경과 배경으로 고정밀도로 분할 가능한 기술을 제공하는 것에 있다.

상기 목적을 달성하기 위해, 본 발명에서는, 유저에 의해 지정된 전경 지정 픽셀의 색에 기초하여 전경의 색 분포와 배경의 색 분포를 추정하고, 이들 색 분포를 조건으로서 사용하여 영역 분할을 행하는 것을 요지로 한다.

구체적으로는, 본 발명은 화상을 전경과 배경으로 분할하는 영역 분할 방법이며, 컴퓨터가, 상기 화상 중 전경으로 해야 하는 영역 내의 일부의 픽셀을 전경 지정 픽셀로서 유저에게 지정하게 하는 전경 지정 스텝과, 컴퓨터가, 유저에 의해 지정된 상기 전경 지정 픽셀의 색에 기초하여, 전경의 색 분포와 배경의 색 분포를 추정하는 추정 스텝과, 컴퓨터가, 추정된 상기 전경의 색 분포와 상기 배경의 색 분포를 조건으로서 사용하여, 상기 화상을 전경 영역과 배경 영역으로 분할하는 영역 분할 스텝을 포함하고, 상기 추정 스텝은, 상기 화상의 색 분포를 복수의 클러스터로 나누는 스텝과, 상기 복수의 클러스터 중, 유저에 의해 지정된 상기 전경 지정 픽셀과의 관련성이 큰 하나 이상의 클러스터를 상기 전경의 색 분포로서 선택하고, 상기 전경 지정 픽셀과의 관련성이 작은 하나 이상의 클러스터를 상기 배경의 색 분포로서 선택하는 스텝을 포함한다.

이 구성에 의하면, 유저는 전경의 일부를 지정하기만 해도 되므로(배경을 지정할 필요가 없으므로), 유저의 조작이 직감적 또한 간이해진다. 그리고, 유저에 의해 지정된 전경 지정 픽셀의 색에 기초하여 전경의 색 분포와 배경의 색 분포를 추정하고, 전경과 배경의 양쪽의 색 분포를 조건으로서 사용하여 영역 분할을 행하므로, 전경의 조건만을 사용하는 방법에 비해, 정밀도가 높은 영역 분할을 행할 수 있다. 또한, 대상물(전경)의 크기 등의 사전 지식을 부여할 필요가 없으므로, 범용성이 우수하다고 하는 이점도 있다.

상기 영역 분할 스텝에서는, 전경 영역의 후보해인 복수의 후보 영역에 대해, 상기 전경의 색 분포에 대한 후보 영역의 내측의 각 픽셀의 색의 전경 적절도와 상기 배경의 색 분포에 대한 후보 영역의 외측의 각 픽셀의 색의 배경 적절도를 평가함으로써, 상기 복수의 후보 영역 중에서 전경 영역의 최적해가 구해지는 것이 바람직하다. 이와 같은 최적해 탐색에 의하면 고정밀도의 영역 분할이 가능하게 된다.

상기 영역 분할 스텝에서는, 유저에 의해 지정된 상기 전경 지정 픽셀을 포함하도록 상기 복수의 후보 영역이 설정되는 것이 바람직하다. 이와 같이, 유저에 의해 지정된 전경 지정 픽셀의 색의 정보뿐만 아니라 위치의 정보도 초기 조건으로서 이용함으로써, 탐색 범위를 좁힐 수 있으므로, 최적해 탐색의 정밀도 향상과 처리 시간의 단축을 기대할 수 있다.

상기 추정 스텝에서는, 상기 복수의 클러스터의 각각에 대해, 클러스터에 포함되는 상기 전경 지정 픽셀을 카운트한 결과에 기초하여 상기 전경 지정 픽셀과의 관련성의 크기를 평가하는 것이 바람직하다. 클러스터에 포함되는 전경 지정 픽셀을 카운트할 때에, 전경 지정 픽셀의 수를 그대로 카운트해도 되고, 전경 지정 픽셀의 위치에 따른 가중치를 부여하여 카운트해도 된다.

상기 추정 스텝에서는, 상기 전경 지정 픽셀과의 관련성이 역치 이상인 클러스터, 또는 상기 전경 지정 픽셀과의 관련성이 큰 것부터 순서대로 소정수의 클러스터를, 상기 전경의 색 분포로서 선택할 수 있다. 또한, 상기 추정 스텝에서는, 상기 전경 지정 픽셀을 포함하지 않는 클러스터, 상기 전경 지정 픽셀과의 관련성이 역치보다 작은 클러스터, 또는 상기 전경 지정 픽셀과의 관련성이 작은 것부터 순서대로 소정수의 클러스터를, 상기 배경의 색 분포로서 선택할 수 있다. 여기서, 역치나 소정수는 1 이상의 임의의 값을 채용할 수 있고, 유저에 의해 변경할 수 있도록 해도 되고, 컴퓨터가 동적으로 변경해도 된다.

상기 전경 스텝에서는, 표시 장치에 표시한 상기 화상 상에 도형을 묘화하는 조작에 의해, 상기 전경 지정 픽셀의 지정이 행해지는 것이 바람직하다. 이와 같은 유저 인터페이스를 사용함으로써, 전경 지정 픽셀을 직관적 또한 간이하게 지정할 수 있다. 여기서, 묘화하는 도형의 형식은 어떤 것이어도 된다. 예를 들어, 상기 도형은, 직선, 곡선, 원, 타원, 다각형 또는, 폐쇄 도형이어도 된다.

또한, 본 발명은 상기 처리 중 적어도 어느 하나를 포함하는 영역 분할 방법으로서 파악할 수도 있고, 상기 처리(기능) 중 적어도 어느 하나를 갖는 영역 분할 장치 또는 화상 처리 장치로서 파악할 수도 있다. 또한 본 발명은 상기 처리에 의해 추출된 전경 영역을 검사 영역으로 설정하고, 당해 검사 영역 내의 화상을 해석함으로써 검사 대상물의 검사를 행하는 검사 장치나 검사 방법으로서 파악할 수도 있다. 또한 본 발명은 상기 영역 분할 방법 또는 검사 방법의 각 스텝을 컴퓨터에 실행시키기 위한 프로그램이나 이 프로그램을 기록한 기억 매체로서 파악할 수도 있다. 상기 처리 및 기능은, 기술적인 모순이 없는 한, 임의로 조합하여 본 발명을 구성할 수 있다.

본 발명에 따르면, 유저가 전경의 일부를 교시하는 것만으로, 화상을 전경과 배경으로 고정밀도로 분할할 수 있다.

도 1은 화상 검사 장치의 구성을 모식적으로 도시하는 도면.
도 2는 검사 처리의 흐름을 나타내는 흐름도.
도 3은 검사 처리에 있어서의 검사 영역의 추출 과정을 설명하기 위한 도면.
도 4는 설정 툴(103)을 사용하여 검사 영역을 설정하는 처리의 흐름을 나타내는 흐름도.
도 5는 검사 영역 설정 화면의 일례를 도시하는 도면.
도 6은 전경 지정 도형의 묘화의 일례를 도시하는 도면.
도 7은 전경의 색 분포와 배경의 색 분포의 추정 처리를 설명하기 위한 도면.

본 발명은 유저의 교시를 필요로 하는 인터랙티브 세그먼테이션에 있어서, 유저가 전경의 일부를 지정하는 것만으로, 전경과 배경의 양쪽의 색 분포를 추정하고, 이들 색 분포를 조건으로서 사용함으로써 고정밀도의 영역 분할을 실현하는 것이다. 본 발명에 관한 영역 분할 방법은, 각종 디지털 화상 처리, 컴퓨터 비전, 머신 비전의 요소 기술로서 이용 가능하다. 일례를 들면, 화상 검사 장치에 있어서 원화상으로부터 검사 대상으로 해야 하는 영역을 추출하는 처리, 정지 화상이나 동화상으로부터 얼굴·인체·손가락(제스처)의 영역이나 윤곽을 검출하는 처리, 차량 탑재 카메라의 영상으로부터 도로의 백색 선이나 표식이나 소정의 물체를 검출하는 처리, 화상 처리용의 학습용 데이터베이스를 구축할 때에 입력 대상으로 되는 영역을 설정하는 처리, 화상 편집으로 배경 합성을 행하는 데 있어서 원화상 중에서 전경 부분만을 트리밍하는 처리, 의료용 화상 중에서 진단 대상의 장기나 부위만 추출하는 처리 등, 다양한 응용예가 생각된다. 이하에 설명하는 실시 형태에서는, 일 응용예로서, 화상 검사 장치에 있어서의 검사 영역 설정 기능(설정 툴)에 본 발명에 관한 영역 분할 방법을 실장한 예를 설명한다.

(화상 검사 장치)

도 1은 화상 검사 장치의 구성을 모식적으로 도시하고 있다. 이 화상 검사 장치(1)는 반송로 상을 반송되는 검사 대상물(2)의 외관 검사를 행하는 시스템이다.

도 1에 도시한 바와 같이, 화상 검사 장치(1)는 장치 본체(10), 화상 센서(11), 표시 장치(12), 기억 장치(13), 입력 장치(14) 등의 하드웨어로 구성된다. 화상 센서(11)는 컬러 또는 모노크롬의 정지 화상 또는 동화상을 장치 본체(10)에 도입하기 위한 디바이스이며, 예를 들어 디지털 카메라를 적절하게 사용할 수 있다. 단, 가시광상 이외의 특수한 화상(X선 화상, 서모 화상 등)을 검사에 이용하는 경우에는, 그 화상에 맞춘 센서를 사용하면 된다. 표시 장치(12)는 화상 센서(11)에서 도입된 화상, 검사 결과, 검사 처리나 설정 처리에 관계되는 GUI 화면을 표시하기 위한 디바이스이며, 예를 들어 액정 디스플레이 등을 사용할 수 있다. 기억 장치(13)는 화상 검사 장치(1)가 검사 처리에 있어서 참조하는 각종 설정 정보(검사 영역 정의 정보, 검사 로직 등)나 검사 결과 등을 저장하는 디바이스이며, 예를 들어 HDD, SSD, 플래시 메모리, 네트워크 스토리지 등을 이용 가능하다. 입력 장치(14)는 유저가 장치 본체(10)에 대해 지시를 입력하기 위해 조작하는 디바이스이며, 예를 들어 마우스, 키보드, 터치 패널, 전용 콘솔 등을 이용 가능하다.

장치 본체(10)는 하드웨어로서, CPU(중앙 연산 처리 장치), 주기억 장치(RAM), 보조 기억 장치(ROM, HDD, SSD 등)를 구비한 컴퓨터로 구성할 수 있고, 그 기능으로서, 검사 처리부(101), 검사 영역 추출부(102), 설정 툴(103)을 갖고 있다. 검사 처리부(101)와 검사 영역 추출부(102)가 검사 처리에 관계되는 기능이며, 설정 툴(103)은 검사 처리에 필요한 설정 정보의 유저에 의한 설정 작업을 지원하는 기능이다. 이들 기능은, 보조 기억 장치 또는 기억 장치(13)에 저장된 컴퓨터·프로그램이 주기억 장치에 로드되고, CPU에 의해 실행됨으로써 실현된다. 또한, 도 1은 장치 구성의 일례를 도시하는 것에 지나지 않고, 화상 센서(11), 표시 장치(12), 기억 장치(13), 입력 장치(14)의 전부 또는 일부를 장치 본체(10)에 일체화해도 된다. 또한 장치 본체(10)는 퍼스널 컴퓨터나 슬레이트형 단말기와 같은 컴퓨터로 구성해도 되고, 또는, 전용 칩이나 온 보드 컴퓨터 등으로 구성할 수도 있다.

(검사 처리)

도 2 및 도 3을 참조하여, 화상 검사 장치(1)의 검사 처리에 관계되는 동작을 설명한다. 도 2는 검사 처리의 흐름을 나타내는 흐름도이며, 도 3은 검사 처리에 있어서의 검사 영역의 추출 과정을 설명하기 위한 도면이다. 여기서는, 설명의 편의를 위해, 휴대 전화의 하우징 부품의 패널면의 검사(흠집, 색 불균일의 검출)를 예로 들어 검사 처리의 흐름을 설명한다.

스텝 S20에서는, 화상 센서(11)에 의해 검사 대상물(2)이 촬영되고, 화상 데이터가 장치 본체(10)에 도입된다. 여기서 도입된 화상(원화상)은 필요에 따라 표시 장치(12)에 표시된다. 도 3의 상단은 원화상의 일례를 나타내고 있다. 원화상의 중앙에 검사 대상으로 되는 하우징 부품(2)이 비치고 있고, 그 좌우에는 반송로 상의 인접한 하우징 부품의 일부가 비치고 있다.

스텝 S21에서는, 검사 영역 추출부(102)가 기억 장치(13)로부터 필요한 설정 정보를 읽어들인다. 설정 정보에는, 적어도 검사 영역 정의 정보와 검사 로직이 포함된다. 검사 영역 정의 정보라 함은, 원화상으로부터 추출해야 하는 검사 영역의 위치·형상을 정의하는 정보이다. 검사 영역 정의 정보의 형식은 임의이고, 예를 들어 검사 영역의 내측과 외측에서 라벨을 바꾼 비트 마스크나, 검사 영역의 윤곽을 베지에 곡선이나 스플라인 곡선으로 표현한 벡터 데이터 등을 사용할 수 있다. 검사 로직이라 함은, 검사 처리의 내용을 정의하는 정보이며, 예를 들어 검사에 사용하는 특징량의 종류, 판정 방법, 특징량 추출이나 판정 처리에서 사용하는 파라미터나 역치 등이 해당한다.

스텝 S22에서는, 검사 영역 추출부(102)가 검사 영역 정의 정보에 따라서, 원화상으로부터 검사 영역으로 하는 부분을 추출한다. 도 3의 중단은, 검사 영역 정의 정보에서 정의된 검사 영역(크로스 해칭으로 나타냄)(30)을 원화상에 겹친 상태를 도시하고 있다. 검사 영역(30)이 정확히 하우징 부품(2)의 패널면 상에 겹쳐 있는 것을 알 수 있다. 도 3의 하단은, 원화상으로부터 검사 영역(30)의 부분의 화상[검사 영역 화상(31)]을 추출한 상태를 도시하고 있다. 검사 영역 화상(31)에서는, 하우징 부품(2)의 주위에 찍혀 있었던 반송 경로나 인접한 부품이 삭제되어 있다. 또한, 표면 검사의 대상 부위로부터 제외되는, 힌지 부분(20)이나 버튼 부분(21)도 삭제되어 있다. 이와 같이 하여 얻어진 검사 영역 화상(31)은 검사 처리부(101)에 전달된다.

스텝 S23에서는, 검사 처리부(101)가 검사 로직에 따라서, 검사 영역 화상(31)을 해석하여 필요한 특징량을 추출한다. 본 예에서는, 표면의 흠집·색 불균일의 검사를 행하기 위한 특징량으로서, 검사 영역 화상(31)의 각 픽셀의 색과 그 평균값이 추출된다.

스텝 S24에서는, 검사 처리부(101)가 검사 로직에 따라서, 흠집·색 불균일의 유무를 판정한다. 예를 들어, 스텝 S23에서 얻어진 평균값에 대한 색차가 역치를 초과하는 픽셀 군이 검출된 경우에, 그 픽셀 군을 흠집 또는 색 불균일이라고 판정할 수 있다.

스텝 S25에서는, 검사 처리부(101)가 검사 결과를 표시 장치(12)에 표시하고, 기억 장치(13)에 기록한다. 이상으로, 1개의 검사 대상물(2)에 대한 검사 처리가 완료된다. 생산 라인에 있어서는, 검사 대상물(2)이 화상 센서(11)의 화각 내에 반송되는 타이밍과 동기하여, 도 2의 스텝 S20∼S25의 처리가 반복된다.

외관 검사에 있어서는, 검사의 대상으로 해야 하는 픽셀만을 과부족없이 검사 영역 화상(31)으로서 잘라내는 것이 바람직하다. 검사 영역 화상(31) 중에 배경 부분이나 불필요한 부분[도 3의 예에서는 힌지 부분(20)이나 버튼 부분(21)]이 포함되어 있거나 하면 그 픽셀이 노이즈로 되어 검사 정밀도를 저하시킬 우려가 있고, 반대로, 검사 영역 화상(31)이 검사의 대상으로 해야 하는 범위보다도 작으면, 검사의 누설을 발생할 우려가 있기 때문이다. 따라서 본 실시 형태의 화상 검사 장치(1)에서는, 정확한 검사 영역 화상을 잘라내기 위한 검사 영역 정의 정보를 간단하게 작성하기 위한 설정 툴(103)을 준비하고 있다.

(검사 영역의 설정 처리)

도 4의 흐름도를 따라, 설정 툴(103)의 기능 및 동작에 대해 설명한다. 도 4는 설정 툴(103)을 사용하여 검사 영역을 설정하는 처리의 흐름을 나타내는 흐름도이다. 또한, 적절히, 도 5의 검사 영역 설정 화면예도 참조한다.

설정 툴(103)을 기동하면, 표시 장치(12)에 도 5의 설정 화면이 표시된다. 이 설정 화면에는, 화상 윈도우(50), 화상 도입 버튼(51), 툴 버튼(52), 영역 분할 버튼(53), 확정 버튼(54), 설정 변경 버튼(55)이 설치되어 있다. 버튼의 선택, 화상 윈도우(50)에 표시된 화상에 대한 도형 묘화(전경 지정) 등은 입력 장치(14)를 사용한 소정의 조작(예를 들어 마우스의 클릭이나 드래그, 소정의 키의 누름 등)에 의해 행할 수 있다. 또한 이 설정 화면은 어디까지나 일례에 지나지 않고, 이하에 설명하는 입력 조작이나 화상의 확인 등을 행할 수 있으면 어떤 UI를 사용해도 된다.

유저에 의해 화상 도입 버튼(51)이 눌리면, 설정 툴(103)은 화상 센서(11)에 의해 검사 대상물의 샘플을 촬영한다(스텝 S40). 샘플로서는 양품의 검사 대상물을 사용하고, 실제의 검사 처리의 경우와 동일한 상태[화상 센서(11)와 샘플의 상대 위치, 조명 등]에서 촬영을 행하면 된다. 얻어진 샘플 화상 데이터는 장치 본체(10)에 도입된다. 또한, 사전에 촬영된 샘플 화상이 장치 본체(10)의 보조 기억 장치나 기억 장치(13) 중에 존재하는 경우에는, 설정 툴(103)은 보조 기억 장치 또는 기억 장치(13)로부터 샘플 화상의 데이터를 읽어들여도 된다.

스텝 S40에서 도입된 샘플 화상은, 도 5에 도시한 바와 같이, 설정 화면의 화상 윈도우(50)에 표시된다(스텝 S41). 도 5에 도시한 바와 같이 대상물이 복잡한 형상을 갖는 것이거나, 전경(검사 영역으로서 추출해야 하는 부분)과 배경(그 이외의 부분)의 색 또는 휘도의 차가 그다지 크지 않은 것인 경우에는, 검사 영역을 어디에 설정할 것인지를 컴퓨터가 자동으로 해석·결정하는 것은 어렵다. 따라서, 본 실시 형태에서는, 유저가 샘플 화상 중의 전경으로 해야 하는 영역 내의 일부를 초기값으로서 컴퓨터에 교시한다.

(전경의 지정)

본 실시 형태에서는, 샘플 화상 상의 임의의 위치에 도형을 묘화하는 조작에 의해, 전경의 지정이 행해진다(이하, 이 도형을 전경 지정 도형이라고 칭한다). 설정 툴(103)은 전경 지정 도형을 묘화하기 위한 툴로서, 직선 묘화 툴, 곡선 묘화 툴, 원 묘화 툴, 직사각형 묘화 툴, 폐쇄 도형 묘화 툴, 지우개 툴을 준비하고 있다. 툴 버튼(52)에 있어서의 해당하는 아이콘을 선택함으로써, 툴의 전환이 가능하다.

직선 묘화 툴을 이용하면, 도 6의 (a)에 도시한 바와 같이, 화상 윈도우(50)에 표시된 샘플 화상 상에 직선분이나 연속 직선(꺾은 선)을 묘화할 수 있다. 선의 굵기는 임의로 변경할 수 있다. 직선의 입력 조작에 대해서는, CAD나 드로우 소프트 등에서 사용되고 있는 조작(예를 들어, 시점과 종점의 클릭, 시점 클릭과 드래그의 조합 등)을 이용하면 되므로, 여기서는 설명을 생략한다. 그 외의 도면형 입력에 대해서도 마찬가지이다. 곡선 묘화 툴을 이용하면, 도 6의 (b)에 도시한 바와 같이, 화상 상에 자유 곡선이나 베지에 곡선이나 스플라인 곡선을 묘화할 수 있다. 원 묘화 툴을 이용하면, 도 6의 (c)에 도시한 바와 같이, 원 또는 타원을 묘화할 수 있다. 직사각형 묘화 툴을 이용하면, 도 6의 (d)에 도시한 바와 같이, 정사각형 또는 직사각형을 묘화할 수 있다. 폐쇄 도형 묘화 툴을 이용하면, 도 6의 (e)에 도시한 바와 같이, 자유 곡선으로 정의되는 임의의 폐쇄 도형을 묘화할 수 있다. 도 6의 (a)∼(e)에서는 1개의 도형만 도시되어 있지만, 복수의 도형을 묘화하는 것도 가능하다. 원 묘화 툴, 직사각형 묘화 툴, 폐쇄 도형 묘화 툴의 경우에는, 원, 직사각형 또는 폐쇄 도형의 내측의 영역을 전경 지정 도형으로 해도 되고, 직선 묘화 툴이나 곡선 묘화 툴과 동일하게 도형의 윤곽 부분을 전경 지정 도형으로 해도 된다. 지우개 툴은, 묘화한 도형을 소거하기 위한 툴이다. 또한, 이들 툴은 일례이며, 화상 상의 일부의 영역을 선이나 다각형 그 외의 폐쇄 도형으로 지정할 수 있으면 어떤 툴을 사용해도 된다.

어느 하나의 툴을 이용하여 화상 상에 전경 지정 도형이 묘화되면(스텝 S42), 영역 분할 버튼(53)이 선택 가능하게 된다. 그 후, 유저에 의해 영역 분할 버튼(53)이 눌리면, 설정 툴(103)은 전경 지정 도형이 중첩되어 있는 부분의 픽셀(이것을 전경 지정 픽셀이라고 칭함)의 데이터를 샘플 화상으로부터 취득한다(스텝 S43). 그리고, 설정 툴(103)은 이들 전경 지정 픽셀의 색에 기초하여 이하에 설명하는 방법에 의해 전경과 배경 각각의 대표색의 색 분포를 추정한다.

(전경과 배경의 색 분포의 추정)

먼저 설정 툴(103)은 샘플 화상의 각 픽셀의 값(색)을 소정의 색 공간에 맵핑한다(스텝 S44). 색 공간으로서는, 샘플 화상의 컬러 채널과 동일한 색 공간(예를 들어 RGB 색 공간)이어도 되고, L*a*b*이나 XYZ와 같은 다른 색 공간을 사용할 수도 있다. 또한 계산을 간단하게 하기 위해, 2차원이나 1차원의 색 공간을 사용해도 된다. 도 7의 (a)는 맵핑 결과의 일례를 모식적으로 나타내고 있다(도시의 편의로부터 2차원의 색 공간의 예를 나타낸다). × 마크가 맵핑된 픽셀을 나타내고 있다. 실제의 화상에서는 수십만 내지 수백만 정도의 픽셀이 존재하는데, 도 7의 (a)에서는 간략화하여 나타내고 있다.

다음으로 설정 툴(103)은 색 공간에 맵핑된 픽셀 군(즉, 샘플 화상의 색 분포)을 색의 유사성에 기초하여 복수의 클러스터로 분할한다(스텝 S45). 클러스터링 알고리즘으로서는, GMM(Gaussian Mixture Model) 클러스터링, K-means법, mean-shift법, 무한 혼합 디리클레 분포 등, 어떤 알고리즘을 사용해도 되지만, 본 실시 형태의 경우에는 GMM 클러스터링을 사용하는 것이 바람직하다. 후단의 최적해 탐색에 있어서의 우도 계산에 GMM을 이용하기 때문에, GMM 클러스터링의 계산 결과를 그대로 최적해 탐색에 유용할 수 있다고 하는 이점이 있기 때문이다. 또한, 클러스터의 수(분할 수)는 동적으로 결정해도 되고, 유저가 설정할 수도 있다. 도 7의 (b)는 클러스터링 결과의 일례로서, 6개의 클러스터(71∼76)로 분할된 예를 모식적으로 나타내고 있다.

다음으로 설정 툴(103)은 6개의 클러스터(71∼76)의 각각에 대해, 스텝 S43에서 취득한 전경 지정 픽셀과의 관련성의 크기를 평가한다(스텝 S46). 구체적으로는, 설정 툴(103)은 각각의 클러스터에 포함되는 전경 지정 픽셀을 카운트하고, 그 카운트 결과에 기초하여 전경 지정 픽셀과의 관련성의 크기를 나타내는 스코어를 계산한다. 도 7의 (c)에 있어서, ○ 마크로 나타낸 것이 전경 지정 픽셀이다. 클러스터(71, 72, 73)에는 전경 지정 픽셀이 포함되고, 나머지의 클러스터(74, 75, 76)에는 전경 지정 픽셀이 포함되어 있지 않은 것을 알 수 있다. 본 실시 형태에서는, 전경 지정 픽셀 1개당 1씩 카운트한 결과(즉, 클러스터 내의 전경 지정 픽셀의 총수)를 스코어로서 사용한다. 이 경우, 클러스터(73)의 스코어가 「5」, 클러스터(71과 72)의 스코어가 「2」, 클러스터(74, 75, 76)의 스코어가 「0」으로 되고, 전경 지정 픽셀과의 관련성은 클러스터(73)가 가장 크고, 클러스터(74, 75, 76)가 가장 작다고 하는 평가 결과가 얻어진다.

또한, 관련성의 크기를 나타내는 지표(스코어)의 계산 방법은 상기한 예로 한정되지 않는다. 예를 들어, 설정 툴(103)은 전경 지정 픽셀의 위치에 따른 가중치를 부여하여, 전경 지정 픽셀의 카운트를 행해도 된다. 예를 들어, 유저에 의해 묘화된 전경 지정 도형의 중심부에 있는 픽셀의 가중치를, 주변부에 있는 픽셀의 가중치보다도 크게 하면 된다. 유저는 전형적인 전경 부분이라고 생각하는 개소를 중심으로 하여 도형을 묘화할 가능성이 높기 때문이다. 주변부의 픽셀의 가중치를 작게 해 두면, 도형의 단부가 전경으로부터 밀려나와 배경 부분에 걸쳐져 버렸다고 해도, 스코어에 미치는 영향을 작게 할 수 있다고 하는 이점도 있다. 다른 방법으로서, 복수의 전경 지정 도형이 묘화된 때에, 도형마다 픽셀의 가중치를 바꿀 수도 있다. 예를 들어, 중심에 있는 도형일수록 가중치를 크게 한다든지, 면적이 작은 도형일수록 가중치를 크게 한다든지, 유저에게 도형마다의 가중치를 지정하게 하는 것 등이 생각된다. 또한, 여기까지는 전경 지정 픽셀의 화상 내의 위치에 따른 가중치 제어인데, 전경 지정 픽셀의 색 공간 내(클러스터 내)의 위치에 따른 가중치 제어를 행할 수도 있다. 예를 들어, 클러스터의 중심부에 있는 픽셀의 가중치를 클러스터의 주변부에 있는 픽셀의 가중치보다도 크게 하면 된다. 클러스터의 중심에 전경 지정 픽셀이 집중되어 있을수록, 당해 클러스터가 전경의 색을 나타내고 있을 개연성이 높다고 말할 수 있기 때문이다.

다음으로 설정 툴(103)은 6개의 클러스터(71∼76) 중에서, 전경 지정 픽셀과의 관련성이 큰 하나 이상의 클러스터를 선택하고, 그들을 합성한 GMM을 전경의 색 분포로 결정한다(스텝 S47). 본 실시 형태에서는, 스코어가 1 이상의 클러스터(즉, 전경 지정 픽셀을 1개 이상 포함하고 있는 클러스터)가 모두 선택된다. 도 7의 (c)의 예에서는, 3개의 클러스터(71, 72, 73)로 이루어지는 GMM이 전경의 색 분포로 된다.

또한, 스텝 S47에 있어서의 클러스터의 선택의 방법은 상기한 예로 한정되지 않는다. 예를 들어, 전경 지정 픽셀과의 관련성(스코어)이 큰지의 여부를 판정하는 역치를 1보다 큰 값으로 설정해도 되고, 유저에 의해 역치를 변경할 수 있도록 해도 된다. 전경 지정 픽셀의 총수나 전경 지정 픽셀의 분포 등에 따라 역치를 동적으로 바꾸는 것도 바람직하다. 또는, 스코어와 역치의 비교로 정하는 것이 아니라, 전경 지정 픽셀과의 관련성(스코어)이 큰 순서대로 클러스터를 정렬하고, 전경 지정 픽셀과의 관련성이 큰 것부터 순서대로 소정수의 클러스터를 전경의 색 분포로 선택할 수도 있다. 소정수는 1 이상의 임의의 값으로 설정할 수 있고, 유저에 의해 변경할 수 있도록 해도 된다. 전경 지정 픽셀의 총수나 클러스터의 분할 수 등에 따라 전경의 색 분포로서 선택하는 클러스터의 수를 동적으로 바꾸는 것도 바람직하다.

다음으로 설정 툴(103)은 6개의 클러스터(71∼76) 중에서 전경 지정 픽셀과의 관련성이 작은 하나 이상의 클러스터를 선택하고, 그들을 합성한 GMM을 배경의 색 분포로 결정한다(스텝 S48). 본 실시 형태에서는, 스코어가 1보다 작은(즉, 전경 지정 픽셀을 하나도 포함하지 않는) 클러스터가 모두 선택된다. 도 7의 (c)의 예에서는, 3개의 클러스터(74, 75, 76)로 이루어지는 GMM이 배경의 색 분포로 된다.

스텝 S48에 있어서의 클러스터의 선택 방법에 대해서도 다양한 베리에이션이 생각된다. 예를 들어, 전경 지정 픽셀과의 관련성(스코어)이 작은지의 여부를 판정하는 역치를 1보다 큰 값으로 설정해도 되고, 유저에 의해 역치를 변경할 수 있도록 해도 된다. 전경 지정 픽셀의 총수나 전경 지정 픽셀의 분포 등에 따라 역치를 동적으로 바꾸는 것도 바람직하다. 또는, 스코어와 역치의 비교로 정하는 것은 아니고, 전경 지정 픽셀과의 관련성(스코어)이 작은 순서대로 클러스터를 정렬하고, 전경 지정 픽셀과의 관련성이 작은 것부터 순서대로 소정수의 클러스터를 배경의 색 분포로 선택할 수도 있다. 소정수는 1 이상의 임의의 값으로 설정할 수 있고, 유저에 의해 변경할 수 있도록 해도 된다. 전경 지정 픽셀의 총수나 클러스터의 분할 수 등에 따라 배경의 색 분포로서 선택하는 클러스터의 수를 동적으로 바꾸는 것도 바람직하다.

또한, 모든 클러스터가 전경의 색 분포나 배경의 색 분포로서 선택될 필요는 없다. 반대로, 동일한 클러스터가 전경의 색 분포와 배경의 색 분포의 양쪽에 선택되는 것을 허용해도 상관없다. 전경과 배경과 유사한 색이 포함되는 경우가 있기 때문이다. 또한, 스텝 S47, S48에 있어서, 전경 지정 픽셀과의 관련성뿐만 아니라, 클러스터간의 거리(색 공간에서의 거리)를 고려하는 것도 바람직하다. 예를 들어, 전경과 배경의 색 차이가 명확한 것을 미리 알고 있는 경우이며, 또한 배경의 클러스터의 후보가 많이 존재하는 경우에는, 전경의 색 분포로서 선택된 클러스터로부터의 거리가 이격되어 있는 클러스터를 우선적으로 배경의 클러스터로서 선택하면 된다. 또는, 배경의 색을 망라적으로 샘플하기 위해, 가능한 한 클러스터간의 거리가 커지도록 배경의 클러스터를 선택해도 된다. 전경의 클러스터 경우도 마찬가지이다.

(영역 분할)

계속해서, 설정 툴(103)은 스텝 S44∼S48에서 추정된 전경의 색 분포와 배경의 색 분포를 초기 조건으로서 사용하여, 샘플 화상에 대해 영역 분할(세그먼테이션)을 실행한다(스텝 S49). 영역 분할에 대해서는 어떤 알고리즘을 이용할 수도 있지만, 전경과 배경의 최적의 경계를 탐색하는 윤곽 베이스의 알고리즘을 사용하는 것이 바람직하다. 예를 들어, 그래프 커트나 레벨 세트 등의 알고리즘을 적절하게 이용할 수 있다. 이들 알고리즘에서는, 전경 영역의 후보해(후보 영역)에 대해, 후보 영역의 내측의 픽셀의 색의 전경 적절도(전경 우도)와 후보 영역의 외측의 픽셀의 색의 배경 적절도(배경 우도)를 평가함으로써, 복수의 후보 영역 중에서 전경 영역의 최적해를 탐색한다. 여기서, 각 픽셀의 색의 전경 적절도(전경 우도)는 스텝 S47에서 얻어진 전경의 색 분포인 GMM을 확률 밀도 함수로서 사용하여, 계산할 수 있다. 또한, 각 픽셀의 색의 배경 적절도(배경 우도)는, 스텝 S48에서 얻어진 배경의 색 분포인 GMM을 확률 밀도 함수로서 사용하여, 계산할 수 있다. 예를 들어, 그래프 커트 알고리즘을 사용하는 경우에는, 후보 영역의 내측의 각 픽셀의 전경 우도와 후보 영역의 외측의 각 픽셀의 배경 우도의 합계 값을 평가하는 식을 목적 함수의 데이터 항으로서 사용하면 된다. 그 경우의 평활화 항에는, 예를 들어 각 픽셀의 4 근방의 엣지 가중치를 평가하는 식 등을 사용할 수 있다. 그래프 커트 알고리즘은 공지의 방법이기 때문에(비특허문헌 1 등 참조), 여기서는 상세한 설명은 생략한다.

또한, 스텝 S49의 최적해 탐색에 있어서는, 유저에 의해 지정된 전경 지정 픽셀을 모두 포함하도록 전경 영역의 후보 영역의 설정을 행하면 된다. 이와 같이 전경 지정 픽셀의 위치 정보도 초기 조건으로서 이용함으로써, 탐색 범위를 좁힐 수 있어, 최적해 탐색의 정밀도 향상과 처리 시간의 단축을 기대할 수 있기 때문이다.

설정 툴(103)은 스텝 S49의 영역 분할의 결과로서 추출된 전경 영역(또는 전경 영역과 배경 영역의 경계)을 샘플 화상 상에 오버레이 표시한다(스텝 S50). 유저는 이 표시를 봄으로써, 원하는 영역이 전경으로서 추출되었는지의 여부를 확인할 수 있다. 그 후, 유저에 의해 확정 버튼(54)이 눌러지면, 설정 툴(103)은 전경 영역을 검사 영역으로서 확정하고, 검사 영역 정의 정보를 생성하여 기억 장치(13)에 저장한다(스텝 S51).

또한, 스텝 S49에서 추출된 전경 영역이 적당하지 않은 경우에는, 화상의 도입(스텝 S40) 또는 전경 지정(스텝 S42)부터 다시 하면 된다. 또는, 설정 변경 버튼(55)을 누름으로써, 설정 변경 다이얼로그를 표시하고, 전경 지정이나 영역 분할에 관한 설정 파라미터를 조정할 수도 있다. 설정 파라미터로서는, 예를 들어 전경 지정 도형을 묘화할 때의 선(브러시)의 굵기, 클러스터의 분할 수, 전경과 배경 각각의 색 분포의 결정 방법이나 역치 등을 조정할 수 있도록 하면 된다.

(본 실시 형태의 이점)

이상 설명한 설정 툴(103)에 의하면, 유저는 전경의 일부를 지정하기만 해도 되므로(배경을 지정할 필요가 없으므로), 유저의 조작이 직감적 또한 간이해진다. 그리고, 유저에 의해 지정된 전경 지정 픽셀의 색에 기초하여 전경의 색 분포와 배경의 색 분포를 추정하고, 전경과 배경의 양쪽의 색 분포를 조건으로서 사용하여 영역 분할을 행하므로, 전경의 조건만을 사용하는 방법에 비해, 정밀도가 높은 영역 분할을 행할 수 있다. 또한, 대상물(전경)의 크기 등의 사전 지식을 부여할 필요가 없으므로, 범용성이 우수하다고 하는 이점도 있다. 특히 본 실시 형태에서는, 그래프 커트나 레벨 세트 등의 영역 분할 알고리즘을 이용하여 전경 영역의 최적해를 구하고 있으므로, 전경과 배경의 경계를 고정밀도로 결정하는 것이 가능하게 된다. 또한, 유저에 의해 지정된 전경 지정 픽셀을 포함하도록 탐색 범위를 설정하므로, 탐색 정밀도의 향상과 처리 시간의 단축을 양립할 수 있다.

상술한 실시 형태는 본 발명의 일 구체예를 나타낸 것이며, 본 발명의 범위를 그들의 구체예로 한정하는 취지의 것은 아니다. 예를 들어, 상기 실시 형태에서는 샘플 화상으로서 컬러 화상을 상정하고 있기 때문에, 화상의 색 정보를 이용했지만, 모노크롬 화상을 사용하는 경우에는, 휘도(농도)의 정보를 색 정보 대신에 사용하면 된다. 또한, 전술한 바와 같이, 본 발명의 영역 분할 방법은, 외관 검사 장치로 한정되지 않고, 각종 디지털 화상 처리, 컴퓨터 비전, 머신 비전의 요소 기술로서 범용적으로 이용 가능하다.

1 : 화상 검사 장치
2 : 검사 대상물
10 : 장치 본체
11 : 화상 센서
12 : 표시 장치
13 : 기억 장치
14 : 입력 장치
101 : 검사 처리부
102 : 검사 영역 추출부
103 : 설정 툴
20 : 힌지 부분
21 : 버튼 부분
30 : 검사 영역
31 : 검사 영역 화상
50 : 화상 윈도우
51 : 화상 도입 버튼
52 : 툴 버튼
53 : 영역 분할 버튼
54 : 확정 버튼
55 : 설정 변경 버튼
71-76 : 클러스터

Claims

화상을 전경과 배경으로 분할하는 영역 분할 방법이며,
컴퓨터가, 상기 화상 중 전경으로 해야 하는 영역 내의 일부의 픽셀을 전경 지정 픽셀로서 유저에게 지정하게 하는 전경 지정 스텝과,
컴퓨터가, 유저에 의해 지정된 상기 전경 지정 픽셀의 색에 기초하여, 전경의 색 분포와 배경의 색 분포를 추정하는 추정 스텝과,
컴퓨터가, 추정된 상기 전경의 색 분포와 상기 배경의 색 분포를 조건으로서 사용하여, 상기 화상을 전경 영역과 배경 영역으로 분할하는 영역 분할 스텝을 포함하고,
상기 추정 스텝은,
상기 화상의 색 분포를 복수의 클러스터로 나누는 스텝과,
상기 복수의 클러스터 중, 유저에 의해 지정된 상기 전경 지정 픽셀과의 관련성이 큰 하나 이상의 클러스터를 상기 전경의 색 분포로서 선택하고, 상기 전경 지정 픽셀과의 관련성이 작은 하나 이상의 클러스터를 상기 배경의 색 분포로서 선택하는 스텝을 포함하는 것을 특징으로 하는, 영역 분할 방법.
제1항에 있어서,
상기 영역 분할 스텝에서는, 전경 영역의 후보해인 복수의 후보 영역에 대해, 상기 전경의 색 분포에 대한 후보 영역의 내측의 각 픽셀의 색의 전경 적절도와 상기 배경의 색 분포에 대한 후보 영역의 외측의 각 픽셀의 색의 배경 적절도를 평가함으로써, 상기 복수의 후보 영역 중에서 전경 영역의 최적해가 구해지는 것을 특징으로 하는, 영역 분할 방법.
제2항에 있어서,
상기 영역 분할 스텝에서는, 유저에 의해 지정된 상기 전경 지정 픽셀을 포함하도록 상기 복수의 후보 영역이 설정되는 것을 특징으로 하는, 영역 분할 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 추정 스텝에서는, 상기 복수의 클러스터의 각각에 대해, 클러스터에 포함되는 상기 전경 지정 픽셀을 카운트한 결과에 기초하여 상기 전경 지정 픽셀과의 관련성의 크기를 평가하는 것을 특징으로 하는, 영역 분할 방법.
제4항에 있어서,
상기 추정 스텝에서는, 클러스터에 포함되는 상기 전경 지정 픽셀을 카운트할 때에, 상기 전경 지정 픽셀의 위치에 따른 가중치를 부여하여 카운트하는 것을 특징으로 하는, 영역 분할 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 추정 스텝에서는, 상기 전경 지정 픽셀과의 관련성이 역치 이상인 클러스터, 또는 상기 전경 지정 픽셀과의 관련성이 큰 것부터 순서대로 소정수의 클러스터가, 상기 전경의 색 분포로서 선택되는 것을 특징으로 하는, 영역 분할 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 추정 스텝에서는, 상기 전경 지정 픽셀을 포함하지 않는 클러스터, 상기 전경 지정 픽셀과의 관련성이 역치보다 작은 클러스터, 또는 상기 전경 지정 픽셀과의 관련성이 작은 것부터 순서대로 소정수의 클러스터가, 상기 배경의 색 분포로서 선택되는 것을 특징으로 하는, 영역 분할 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 전경 스텝에서는, 표시 장치에 표시한 상기 화상 상에 도형을 묘화하는 조작에 의해, 상기 전경 지정 픽셀의 지정이 행해지는 것을 특징으로 하는, 영역 분할 방법.
제8항에 있어서,
상기 도형은, 직선, 곡선, 원, 타원, 다각형, 또는 폐쇄 도형인 것을 특징으로 하는, 영역 분할 방법.
제1항 내지 제9항 중 어느 한 항에 기재된 영역 분할 방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는, 프로그램.
검사 대상물을 촬영하여 얻어진 원화상의 일부에 검사 영역을 설정하고, 상기 검사 영역 내의 화상을 해석함으로써 상기 검사 대상물의 검사를 행하는 검사 장치이며,
제1항 내지 제9항 중 어느 1항에 기재된 영역 분할 방법을 사용하여 상기 원화상을 전경 영역과 배경 영역으로 분할하고, 상기 전경 영역을 상기 검사 영역으로서 설정하는 것을 특징으로 하는, 검사 장치.