KR20140120370A

KR20140120370A - 영역 지정 방법 및 영역 지정 장치

Info

Publication number: KR20140120370A
Application number: KR1020147024913A
Authority: KR
Inventors: 요시히사 미나토; 유키코 야나가와
Original assignee: 오므론 가부시키가이샤
Priority date: 2012-03-14
Filing date: 2012-11-16
Publication date: 2014-10-13
Also published as: CN104169972A; EP2827300A4; WO2013136592A1; JP5867198B2; KR101707723B1; US20150043820A1; EP2827300A1; JP2013191036A

Abstract

본 발명에서는, 후보가 되는 복수의 소영역을 대상 화상에 겹쳐서 제시하고, 그 중에서 소망하는 소영역을 유저에게 선택시킨다는 유저 인터페이스를 제공한다. 소영역은, 대상 화상을 소정의 패턴으로 분할하든지(패턴분할), 색·휘도·에지 등의 특징에 의거하여 픽셀끼리를 통합함(과분할)에 의해 형성한다. 소영역의 크기를 유저가 변경할 수 있도록 하거나, 대상 화상에 겹쳐서 표시하는 소영역의 수를 한정하거나 하여도 좋다.

Description

영역 지정 방법 및 영역 지정 장치{AREA DESIGNATING METHOD AND AREA DESIGNATING DEVICE}

본 발명은, 화상 중에서 일부의 영역을 지정하는 유저 조작을 지원하기 위한 기술에 관한 것이다.

컴퓨터에 의한 디지털 화상 처리에 의해, 화상을 추출하여야 할 부분(전경(前景)이라고 부른다)과 그 이외의 부분(배경(背景)이라고 부른다)으로 분리하는 영역분할(세그멘테이션)이라고 불리는 수법이 알려져 있다. 영역분할에서는, 분리 정밀도의 향상이나 유저의 의도에 입각한 분할을 행하기 위해, 전경 또는 배경으로 하여야 할 영역이나 픽셀의 일부를 초기치로서 유저에서 지정하게 한다는 방법이 취하여지는 일이 있다. 화상상에서 영역이나 픽셀을 지정하기 위한 유저 인터페이스로서는, 마우스의 드래그 등에 의해 사각형의 영역을 지정하는 방법, 마우스의 클릭 등에 의해 픽셀을 선택하는 방법, 드로우 소프트로 자유 곡선을 그리는 요령으로 마우스 스트로크에 의해 픽셀군이나 영역의 윤곽을 지정하는 방법 등이 일반적으로 이용된다. 이와 같은 방법에 의해, 화상상의 임의의 픽셀군을 전경 또는 배경으로서 지정하는 것을 가능하게 하고 있다.

그렇지만, 종래의 유저 인터페이스는, 임의 형상의 영역이나 픽셀군을 대략적으로 지정하는 데는 적합한 것이지만, 의도하지 않은 픽셀까지 선택하여 버린다는 오지정(誤指定)이 생기기 쉽다. 그 때문에, 협소한 영역이나 복잡한 형상의 영역을 정확하게 지정하려면, 고도의 숙련이 요구됨과 함께, 신중한 조작이 필요하기 때문에 지정에 시간이 걸린다는 불리함이 있다. 또한, 시스템의 용도나 설치 환경에 의해서는, 영역 지정을 행하기 위한 입력 장치의 기능이나 감도가 빈약하거나, 유저의 움직임에 제약이 있거나 함으로써, 영역 지정이 어려운 경우도 있다. 예를 들면, 제조 현장에서 가동하고 있는 화상 검사 시스템에서 상기한 바와 같은 영역 지정을 행하는 경우에는, 입력 장치로서 키패드나 컨트롤러밖에 없거나, 더러워진 손가락이나 장갑을 긴 손으로 입력 조작을 행하여야 하는 것도 상정되는데, 그와 같은 상황에서는 의도하는 대로의 영역 지정을 행하는 것은 간단하지가 않다.

Interactive image segmentation by maximal similarity based region merging, Jifeng Ning, Lei Zhang, David Zhan, Chengke Wu. Pattern Recognition 43 (2010) 445 - 456

본 발명은 상기 실정을 감안하여 이루어진 것으로, 그 목적으로 하는 바는, 화상 중에서 영역을 지정하는 조작을 간단하면서 의도하는 대로 행할 수 있도록 하기 위한 기술을 제공하는 것에 있다.

상기 목적을 달성하기 위해, 본 발명에서는, 후보가 되는 소영역을 대상 화상에 겹쳐서 제시하고, 그 중에서 소망하는 소영역을 유저에게 선택시킨다는 유저 인터페이스를 채용한다.

구체적으로는, 본 발명은, 대상 화상을 전경과 배경으로 분리하는 영역분할 처리를 행함에 있어서, 상기 대상 화상의 일부의 영역을 전경 또는 배경으로 하여야 할 영역으로서 유저에서 지정시키는 영역 지정 방법으로서, 컴퓨터가, 픽셀보다도 큰 소영역을 상기 대상 화상 중에 하나 또는 복수개 설정하는 소영역 설정 스텝과, 컴퓨터가, 상기 대상 화상상에 상기 소영역의 경계가 묘화된 지정용 화상을 표시 장치에 표시하는 표시 스텝과, 컴퓨터가, 상기 지정용 화상상의 하나 또는 복수의 소영역 중에서, 상기 전경 또는 배경으로 하여야 할 영역을, 유저에게 입력 장치를 이용하여 선택시키는 지정 스텝을 포함하는 것을 특징으로 한다.

이 구성에 의하면, 후보가 되는 소영역이 컴퓨터에 의해 레커멘데이션되고, 유저는 그 후보 중에서 목적으로 하는 조건을 충족시키는 영역을 선택할 뿐이면 좋기 때문에, 직감적이면서 간단한 영역 지정이 가능해진다. 또한, 소영역의 경계를 명시하고 그 단위로 영역 지정을 행하게 하도록 함으로써, 종래와 같이 임의의 영역이나 픽셀군을 마우스 등으로 자유롭게 입력시키는 방법에 비하여, 유저의 지정에 제약이 생긴다. 이 제약에 의해, 의도하지 않은 픽셀까지 선택하여 버린다는 오지정의 발생을 막을 수 있기 때문에, 의도하는 대로의 영역 지정이 하기 쉬워진다.

상기 소영역 설정 스텝은, 상기 대상 화상을 소정의 패턴으로 분할함에 의해, 복수의 소영역을 형성하는 분할 스텝을 포함하면 좋다(이 분할 방법을 「패턴분할」이라고 부른다.). 미리 결정된 패턴을 사용하기 때문에 처리가 간편하게 되고, 소영역의 설정을 고속으로 행할 수 있다. 분할로 이용하는 패턴은 어떤 것이라도 좋지만, 예를 들면 격자(그리드)형상의 패턴을 이용하면, 소영역이 규칙적으로 나열하기 때문에, 소영역의 선택이 하기 쉬워진다. 이때, 상기 소영역 설정 스텝은, 상기 분할 스텝에서 형성된 복수의 소영역 중에서, 일부의 소영역을 추출하는 추출 스텝을 또한 포함하고, 상기 표시 스텝에서는, 상기 추출 스텝에서 추출되는 소영역만이 상기 지정용 화상에 묘화되는 것이 바람직하다. 지정용 화상에 묘화하는 후보의 수(즉 선택지(選擇肢))를 줄임으로써, 어느 후보를 선택하는지의 의사 결정, 및, 선택 조작을 간단화할 수 있다. 상기 추출 스텝에서는, 예를 들면, 색 또는 휘도가 균일한 소영역, 또는, 에지를 포함하지 않는 소영역이, 우선적으로 추출되는 것이 바람직하다. 이에 의해, 전경과 배경을 넘는 위치에 있는 소영역을 제외할 수 있을 가능성이 높기 때문이다. 또한, 상기 추출 스텝에서는, 추출되는 소영역 사이에서의 색 또는 휘도의 특징의 편차, 또는, 추출되는 소영역 사이에서의 상기 대상 화상 중에서의 위치의 편차가, 가장 커지도록, 추출되는 소영역이 선택되는 것도 바람직하다. 이와 같이 소영역의 후보군을 설정함으로써, 유저가 의도하는 전경 부분이나 배경 부분에 각각 빠짐없이 소영역을 설정할 수 있다.

상기 소영역 설정 스텝은, 색, 휘도, 및 에지 중 적어도 어느 하나의 특징에 의거하여 픽셀끼리를 통합함에 의해, 복수의 소영역을 형성하는 분할 스텝을 포함하는 것도 바람직하다. 이에 의해, 대상 화상 중의 물체의 형상·모양·음영 등에 응한 형상의 소영역이 형성된다. 또 각 소영역은, 예를 들면, 색 또는 휘도의 특징이 유사한 픽셀군이나 에지로 구획된 픽셀군으로 형성되기 때문에, 소영역이 전경과 배경의 양쪽의 픽셀을 포함하고 있을 가능성은 낮다. 따라서, 이와 같이 형성된 소영역을 후보로서 이용하면, 협소한 영역이나 복잡한 형상의 영역에서도 간단하면서 의도하는 대로 선택할 수 있다. 이 방법의 경우에 있어서도, 상기 소영역 설정 스텝은, 상기 분할 스텝에서 형성된 복수의 소영역 중에서, 일부의 소영역을 추출하는 추출 스텝을 또한 포함하고, 상기 표시 스텝에서는, 상기 추출 스텝에서 추출된 소영역만이 상기 지정용 화상에 묘화되는 것이 바람직하다. 지정용 화상에 묘화하는 후보의 수(즉 선택지)를 줄임으로써, 어느 후보를 선택하는지의 의사 결정, 및, 선택 조작을 간단화할 수 있기 때문이다. 예를 들면, 상기 추출 스텝에서는, 에지를 포함하지 않는 소영역, 또는, 사이즈 또는 폭이 큰 소영역, 또는, 경계부분의 콘트라스트가 높은 소영역이, 우선적으로 추출되면 좋다. 에지를 포함하지 않는 소영역이나 경계부분의 콘트라스트가 높은 소영역을 우선적으로 선택함으로써, 전경과 배경의 양쪽의 픽셀을 포함하는 소영역을 제외할 수 있다. 또한, 사이즈 또는 폭이 큰 소영역을 우선적으로 선택함으로써, 작고 선택하기 어려운 소영역을 제외할 수 있다. 또한, 상기 추출 스텝에서는, 추출된 소영역의 사이에서의 색 또는 휘도의 특징의 편차, 또는, 추출된 소영역 사이에서의 상기 대상 화상 중에서의 위치의 편차가, 가급적으로 커지도록, 추출되는 소영역이 선택되는 것도 바람직하다. 이와 같이 소영역의 후보군을 설정함으로써, 대상 화상 중의 다양한 위치나, 전경 부분과 배경 부분에 각각에 대해, 빠짐없이 소영역을 설정할 수 있다.

또한, 상기 지정 스텝에서 상기 전경 또는 배경으로 하여야 할 영역으로서 유저에게 선택된 소영역이 강조 표시되는 것이 바람직하다. 이에 의해, 전경 또는 배경으로 하여야 할 영역으로서 선택된 소영역과, 그 이외의 소영역과의 구별을 용이하게 될 수 있기 때문에, 소영역의 오선택을 방지할 수 있음과 함께, 유저빌리티의 향상을 도모할 수 있다.

또한, 상기 대상 화상에 대한 소영역의 크기가 유저에 의해 변경 가능한 것이 바람직하다. 대상 화상에서의 전경 부분과 배경 부분의 크기나 형상 등에 맞추어서 소영역의 크기를 적절히 조정함으로써, 영역 지정이 하기 쉬워지기 때문이다.

또한, 컴퓨터가, 유저에 의한 화상의 확대, 축소, 평행이동, 또는, 회전의 지시에 따라, 상기 표시 장치의 화면에 표시되어 있는 지정용 화상을 갱신하는 화상 갱신 스텝을 또한 포함하고, 상기 화상 갱신 스텝에서는, 상기 대상 화상과 함께 상기 소영역도 확대, 축소, 평행이동, 또는, 회전시키는 것도 바람직하다. 예를 들면, 표시를 확대 등 함에 의해, 소영역 또는 그 윤곽이 화상 중의 어느 픽셀과 겹쳐져 있는지를 상세히 확인할 수 있기 때문에, 협소한 영역이나 복잡한 형상의 부분에서도 정확한 선택이 용이해진다.

또한, 패턴분할에 의해 소영역을 설정한 경우에는, 상기 화상 갱신 스텝에서, 상기 소영역의 화면상에서의 위치 및 크기를 바꾸지 않고, 상기 대상 화상만 확대, 축소, 평행이동, 또는, 회전시키는 것도 바람직하다. 예를 들면, 초기의 표시 화면에서, 소영역이 전경과 배경에 걸치고 있던 경우에는, 대상 화상을 확대·평행이동·회전 등 함으로써, 소영역이 전경 중 또는 배경 중에 위치하도록 표시를 변경할 수 있다. 따라서, 전경만 또는 배경만을 정확하게 지정하는 것이 용이해진다.

또한, 상기 입력 장치가, 이동 키와 선택 키를 갖고 있고, 상기 지정 스텝은, 상기 지정용 화상상의 어느 하나의 소영역을 선택 상태로 하는 스텝과, 유저로부터 상기 이동 키의 입력을 접수할 때마다, 선택 상태로 하는 소영역을 순번대로 바꿔 가는 스텝과, 유저로부터 상기 선택 키의 입력을 접수한 경우에, 현재 선택 상태에 있는 소영역을, 상기 전경 또는 배경으로 하여야 할 영역으로서 선택하는 스텝을 포함하는 것도 바람직하다. 이와 같은 유저 인터페이스에 의하면, 이동 키와 선택 키의 간단한 조작으로 의도하는 소영역을 틀림없이 선택할 수 있다. 이 경우에, 현재 선택 상태에 있는 소영역이 강조 표시되면 좋다. 이에 의해, 선택 상태에 있는 소영역과, 그 이외의 소영역과의 구별을 용이하게 할 수 있기 때문에, 소영역의 오선택을 방지할 수 있음과 함께, 유저빌리티의 향상을 도모할 수 있다.

또한, 상기 입력 장치가, 상기 표시 장치의 화면에 마련된 터치 패널이고, 상기 지정 스텝에서는, 유저가 상기 표시 장치의 화면에 표시되어 있는 지정용 화상상의 소영역을 터치함에 의해, 상기 전경 또는 배경으로 하여야 할 영역이 선택되는 것도 바람직하다. 이와 같은 유저 인터페이스에 의하면, 의도하는 소영역의 선택을 보다 직관적으로 행할 수 있다.

또한, 본 발명은, 상기 처리의 적어도 어느 하나를 포함하는 영역 지정 방법으로서 파악할 수도 있고, 이 영역 지정 방법으로 지정된 영역에 의거하여 대상 화상의 영역분할을 실행하는 영역분할 방법으로서 파악할 수도 있다. 또한, 본 발명은, 이들의 방법의 각 스텝을 컴퓨터에 실행시키기 위한 프로그램이나 이 프로그램을 기록한 기억 매체로서 파악할 수도 있다. 또한 본 발명은, 상기 처리를 행하는 수단의 적어도 어느 하나를 갖는 영역 지정 장치나 영역분할 장치로서 파악할 수도 있다.

본 발명에 의하면, 화상 중에서 영역을 지정하는 조작을 간단하면서 의도하는 대로 행하는 것을 가능하게 한 유저 인터페이스를 제공할 수 있다.

도 1은 화상 검사 장치의 구성을 모식적으로 도시하는 도면.
도 2는 검사 처리의 흐름을 도시하는 플로 차트.
도 3은 검사 처리에서의 검사 영역의 추출 과정을 설명하기 위한 도면.
도 4는 설정 툴(103)을 이용하여 검사 영역을 설정하는 처리의 흐름을 도시하는 플로 차트.
도 5는 도 4의 스텝 S43의 처리의 상세를 도시하는 플로 차트.
도 6은 (a)는 취입한 화상을 검사 영역 설정 화면에 표시한 예를 도시하는 도면, (b)는 영역분할 처리에 의해 추출된 검사 영역의 예를 도시하는 도면.
도 7은 제1 실시 형태의 패턴분할에 의한 지정용 화상을 설명하기 위한 도면.
도 8은 제2 실시 형태가 과분할에 의한 지정용 화상을 설명하기 위한 도면.
도 9는 제3 실시 형태에서의 소영역의 추출 방법의 한 예를 설명하기 위한 도면.
도 10은 제 3 실시 형태의 지정용 화상을 설명하기 위한 도면.
도 11은 제 4 실시 형태의 지정용 화상에서의 영역 지정 조작을 설명하기 위한 도면.
도 12는 제 5 실시 형태의 지정용 화상에서의 영역 지정 조작을 설명하기 위한 도면.
도 13은 제 6 실시 형태의 지정용 화상에서의 영역 지정 조작을 설명하기 위한 도면.

본 발명은, 대상 화상을 전경과 배경으로 분리하는 영역분할(세그멘테이션)이라고 불리는 처리를 행함에 있어서, 대상 화상 중에서 전경으로 하여야 할 영역 또는 배경으로 하여야 할 영역을, 초기치로서 유저에서 지정하게 하기 위한 영역 지정 방법에 관한 것이다. 본 발명에 관한 영역 지정 방법 및 영역분할 방법은, 예를 들면, 화상 검사에 있어서 원화상(元畵像) 중에서 검사 대상물의 영역을 추출하는 처리, 화상 편집에서 배경 합성을 행함에 있어서 원화상 중에서 전경 부분만을 트리밍하는 처리, 의료용 화상 중에서 진단 대상의 장기나 부위만 추출하는 처리 등, 다양한 분야에 적용할 수 있다. 이하에 기술하는 실시 형태에서는, 한 적용례로서, 화상 검사 장치에서의 검사 영역 설정 기능(설정 툴)에 본 발명에 관한 영역 지정 방법을 실장한 예를 설명한다.

<제1 실시 형태>

(화상 검사 장치)

도 1은, 화상 검사 장치의 구성을 모식적으로 도시하고 있다. 이 화상 검사 장치(1)는, 반송로상을 반송되는 검사 대상물(2)의 외관 검사를 행하는 시스템이다.

도 1에 도시하는 바와 같이, 화상 검사 장치(1)는, 장치 본체(10), 화상 센서(11), 표시 장치(12), 기억 장치(13), 입력 장치(14) 등의 하드웨어로 구성된다. 화상 센서(11)는, 컬러 또는 모노클로의 정지화상 또는 동화상을 장치 본체(10)에 취입하기 위한 디바이스이고, 예를 들면 디지털 카메라를 알맞게 이용할 수 있다. 단, 가시광상 이외의 특수한 화상(X선 화상, 서모 화상 등)을 검사에 이용하는 경우에는, 그 화상에 맞춘 센서를 이용하면 좋다. 표시 장치(12)는, 화상 센서(11)에서 취입된 화상, 검사 결과, 검사 처리나 설정 처리에 관한 GUI 화면을 표시하기 위한 디바이스이고, 예를 들면 액정 디스플레이 등을 이용할 수 있다. 기억 장치(13)는, 화상 검사 장치(1)가 검사 처리에서 참조하는 각종의 설정 정보(검사 영역 정의(定義) 정보, 검사 로직 등)나 검사 결과 등을 격납하는 디바이스이고, 예를 들면 HDD, SSD, 플래시 메모리, 네트워크 스토리지 등을 이용 가능하다. 입력 장치(14)는, 유저가 장치 본체(10)에 대해 지시를 입력하기 위해 조작하는 디바이스이고, 예를 들면 마우스, 키보드, 터치 패널, 전용 콘솔 등을 이용 가능하다.

장치 본체(10)는, 하드웨어로서, CPU(중앙 연산 처리 장치), 주기억 장치(RAM), 보조 기억 장치(ROM, HDD, SSD 등)를 구비한 컴퓨터로 구성할 수 있고, 그 기능으로서, 검사 처리부(101), 검사 영역 추출부(102), 설정 툴(103)을 갖고 있다. 검사 처리부(101)와 검사 영역 추출부(102)가 검사 처리에 관한 기능이고, 설정 툴(103)은 검사 처리에 필요한 설정 정보의 유저에 의한 설정 작업을 지원하는 기능이다. 이들의 기능은, 보조 기억 장치 또는 기억 장치(13)에 격납된 컴퓨터·프로그램이 주기억 장치에 로드되고, CPU에 의해 실행됨으로써 실현된다. 또한, 도 1은 장치 구성의 한 예를 나타내는 것에 지나지 않고, 화상 센서(11), 표시 장치(12), 기억 장치(13), 입력 장치(14)의 전부 또는 일부를 장치 본체(10)에 일체화하여도 좋다. 또한 장치 본체(10)는, 퍼스널 컴퓨터나 슬레이트형 단말과 같은 컴퓨터로 구성하여도 좋고, 또는, 전용 칩이나 온 보드 컴퓨터 등으로 구성할 수도 있다.

(검사 처리)

도 2 및 도 3을 참조하여, 화상 검사 장치(1)의 검사 처리에 관한 동작을 설명한다. 도 2는, 검사 처리의 흐름을 도시하는 플로 차트이고, 도 3은, 검사 처리에서의 검사 영역의 추출 과정을 설명하기 위한 도면이다. 여기서는, 설명의 편리를 위해, 휴대 전화의 몸체 부품의 패널면의 검사(흠집, 색 얼룩의 검출)를 예로 들어 검사 처리의 흐름을 설명한다.

스텝 S20에서는, 화상 센서(11)에 의해 검사 대상물(2)이 촬영되고, 화상 데이터가 장치 본체(10)에 취입된다. 여기서 취입된 화상(원화상)은 필요에 응하여 표시 장치(12)에 표시된다. 도 3의 상단은 원화상의 한 예를 도시하고 있다. 원화상 중앙에 검사 대상이 되는 몸체 부품(2)이 비쳐져 있고, 그 좌우에는 반송로상의 옆에 있는 몸체 부품의 일부가 찍혀져 있다.

스텝 S21에서는, 검사 영역 추출부(102)가, 기억 장치(13)로부터 필요한 설정 정보를 판독한다. 설정 정보에는, 적어도 검사 영역 정의 정보와 검사 로직이 포함된다. 검사 영역 정의 정보란, 원화상에서 추출하여야 할 검사 영역의 위치·형상을 정의하는 정보이다. 검사 영역 정의 정보의 형식은 임의이고, 예를 들면 검사 영역의 내측과 외측에서 라벨을 바꾼 비트 마스크나, 검사 영역의 윤곽을 베제 곡선이나 스플라인 곡선으로 표현한 벡터데이터 등을 이용할 수 있다. 검사 로직이란, 검사 처리의 내용을 정의하는 정보이고, 예를 들면, 검사에 이용하는 특징량의 종류, 판정 방법, 특징량 추출이나 판정 처리에서 이용한 파라미터나 임계치 등이 해당한다.

스텝 S22에서는, 검사 영역 추출부(102)가, 검사 영역 정의 정보에 따라, 원화상에서 검사 영역으로 하는 부분을 추출한다. 도 3의 중단은, 검사 영역 정의 정보로 정의된 검사 영역(크로스 해칭으로 나타낸다)(30)을 원화상에 겹친 양상을 나타내고 있다. 검사 영역(30)이 정확하게 몸체 부품(2)의 패널면의 위에 겹쳐져 있음을 알 수 있다. 도 3의 하단은, 원화상에서 검사 영역(30)의 부분의 화상(검사 영역 화상(31))을 추출한 양상을 나타내고 있다. 검사 영역 화상(31)에서는, 몸체 부품(2)의 주변에 비쳐져 있던 반송 경로나 옆의 부품이 삭제되어 있다. 또한, 표면 검사의 대상 부위에서 제외되는, 힌지 부분(20)이나 버튼 부분(21)도 삭제되어 있다. 이와 같이 하여 얻어진 검사 영역 화상(31)은 검사 처리부(101)에 인도된다.

스텝 S23에서는, 검사 처리부(101)가, 검사 로직에 따라, 검사 영역 화상(31)에서 필요한 특징량을 추출한다. 본 예에서는, 표면의 흠집·색 얼룩의 검사를 행하기 위한 특징량으로서, 검사 영역 화상(31)의 각 픽셀의 색과 그 평균치가 추출된다.

스텝 S24에서는, 검사 처리부(101)가, 검사 로직에 따라, 흠집·색 얼룩의 유무를 판정한다. 예를 들면, 스텝 S23에서 얻어진 평균치에 대한 색차가 임계치를 초과한 픽셀군이 검출된 경우에, 그 픽셀군을 흠집 또는 색 얼룩이라고 판정할 수 있다.

스텝 S25에서는, 검사 처리부(101)가 검사 결과를 표시 장치(12)에 표시하고, 기억 장치(13)에 기록한다. 이상으로, 하나의 검사 대상물(2)에 대한 검사 처리가 완료된다. 생산 라인에서는, 검사 대상물(2)이 화상 센서(11)의 화각 내에 반송된 타이밍과 동기하여, 도 2의 스텝 S20 내지 S25의 처리가 반복된다.

외관 검사에서는, 검사의 대상으로 하여야 할 픽셀만을 과부족 없이 검사 영역 화상(31)으로서 절출(切出)하는 것이 바람직하다. 검사 영역 화상(31) 중에 배경 부분이나 쓸데없는 부분(도 3의 예에서는 힌지 부분(20)이나 버튼 부분(21))이 포함되어 있거나 하면 그 픽셀이 노이즈가 되어 검사 정밀도를 저하시킬 우려가 있고, 역으로, 검사 영역 화상(31)이 검사의 대상으로 하여야 할 범위보다도 작으면, 검사의 누락이 생길 우려가 있기 때문이다. 그래서 본 실시 형태의 화상 검사 장치(1)에서는, 정확한 검사 영역 화상을 절출하기 위한 검사 영역 정의 정보를 간단하게 작성하기 위한 설정 툴(103)을 준비하고 있다.

(검사 영역의 설정 처리)

도 4 및 도 5의 플로 차트에 따라, 설정 툴(103)의 기능 및 동작에 관해 설명한다. 도 4는, 설정 툴(103)을 이용하여 검사 영역을 설정하는 처리의 흐름을 도시하는 플로 차트이고, 도 5는, 도 4의 스텝 S43의 처리의 상세를 도시하는 플로 차트이다. 또한, 적절히, 도 6 및 도 7의 검사 영역 설정 화면례도 참조한다.

설정 툴(103)을 기동하면, 표시 장치(12)에 도 6(a)의 설정 화면이 표시된다. 이 설정 화면에는, 화상 윈도우(50), 화상 취입 버튼(51), 분할 표시 버튼(52), 전경/배경 토글 버튼(53), 영역 사이즈 조정 슬라이더(54), 영역분할 버튼(55), 확정 버튼(56)이 마련되어 있다. 버튼의 선택, 슬라이더의 이동, 소영역의 선택 등은 입력 장치(14)를 이용한 소정의 조작(예를 들면 마우스의 클릭, 소정의 키의 압하 등)에 의해 행할 수 있다. 또한 이 설정 화면은 어디까지나 한 예에 지나지 않고, 이하에 기술하는 입력 조작이나 화상의 확인 등을 행할 수가 있으면 어떤 UI를 이용하여도 좋다.

유저에 의해 화상 취입 버튼(51)이 눌러지면, 설정 툴(103)은 화상 센서(11)에 의해 검사 대상물의 샘플을 촬영한다(스텝 S40). 샘플로서는 양품(良品)의 검사 대상물을 이용하고, 실제의 검사 처리의 경우와 같은 상태(화상 센서(11)와 샘플의 상대 위치, 조명 등)로 촬영을 행하면 좋다. 얻어진 샘플 화상 데이터는 장치 본체(10)에 취입된다. 또한, 사전에 촬영된 샘플 화상이 장치 본체(10)의 보조 기억 장치나 기억 장치(13) 중에 존재하는 경우에는, 설정 툴(103)은 보조 기억 장치 또는 기억 장치(13)로부터 샘플 화상의 데이터를 판독하여도 좋다.

스텝 S40에서 취입된 샘플 화상은, 도 6(a)에 도시하는 바와 같이, 설정 화면의 화상 윈도우(50)에 표시된다(스텝 S41). 도 6(a)에 도시하는 바와 같이 대상물이 복잡한 형상을 갖는 것이거나, 전경(검사 영역으로서 추출하여야 할 부분)과 배경(그 이외의 부분)의 색 또는 휘도의 차이가 그다지 크지 않은 것이거나 하는 경우는, 검사 영역을 어디에 설정하여야 하는지를 컴퓨터가 자동으로 해석·결정하는 것은 어렵다. 그래서, 본 실시 형태에서는, 유저가 샘플 화상 중의 전경으로 하여야 할 영역이나 배경으로 하여야 할 영역을 초기치로서 컴퓨터에 교시한다. 이때, 영역 지정을 간단하면서 의도하는 대로 행할 수 있도록 하기 위해, 지정 가능한 영역의 후보를 유저에게 제시(레커멘데이션)하고, 그 중에서 소망하는 영역을 유저에게 선택하게 한다는 구성을 채택한다.

유저에 의해 분할 표시 버튼(52)이 눌러지면, 설정 툴(103)이 영역 지정용의 그리드 패턴 중첩 화상(이하, 단지 지정용 화상이라고 부른다)을 생성하고, 이 지정용 화상을 화상 윈도우(50)에 표시한다(스텝 S42). 도 7(a)는 지정용 화상의 표시례를 도시하고 있다. 원래의 샘플 화상의 위에 등간격의 그리드(격자) 패턴이 묘화되고, 이 그리드 패턴에 의해 복수의 사각형의 소영역이 샘플 화상의 위에 설정된 상태가 된다. 분할 표시 버튼(52)이 선택 상태가 되어 지정용 화상이 표시되면(이 상태를 분할 표시 모드라고 부른다), 전경/배경 토글 버튼(53) 및 영역 사이즈 조정 슬라이더(54)가 이네이블이 된다. 분할 표시 모드에서, 유저는, 입력 장치(14)를 이용하여, 지정용 화상의 위에서 전경으로 하여야 할 영역 및 배경으로 하여야 할 영역을 지정할 수 있다(스텝 S43).

도 5에, 분할 표시 모드에서의 입력 이벤트 처리를 도시한다. 설정 툴(103)은, 유저로부터의 입력 이벤트가 발생할 때까지 대기 상태에 있다(스텝 S50). 어떠한 입력 이벤트가 발생하면, 스텝 S51으로 이행한다.

입력 이벤트가 전경/배경 토글 버튼(53)의 변경이었던 경우에는(스텝 S51 ; Y), 설정 툴(103)은 토글 버튼(53)의 상태에 맞추어서 전경 지정 모드와 배경 지정 모드의 전환을 행한다(스텝 S52).

입력 이벤트가 소영역의 선택이었던 경우에는(스텝 S53 ; Y), 스텝 S54로 이행한다. 소영역의 선택은, 예를 들면, 지정용 화상의 어느 하나의 소영역의 위에 마우스 커서를 이동시키고, 마우스의 버튼을 클릭한다는 조작으로 행할 수 있다. 또한 표시 장치(12)가 터치 패널 디스플레이인 경우에는, 지정용 화상의 소영역을 터치한다는 직감적인 조작으로 소영역의 선택을 행할 수가 있다. 소영역이 선택된 경우, 설정 툴(103)은, 그 소영역이 이미 지정되어 있는 소영역인지의 여부를 체크한다(스텝 S54). 만약 이미 지정되어 있는 소영역이였던 경우에는, 그 지정이 해제된다(스텝 S55). 미지정의 소영역이라면, 현재의 모드가 전경 지정 모드인 경우는 당해 소영역을 전경으로 지정하고(스텝 S56 ; Y, S57), 현재의 모드가 배경 지정 모드인 경우는 당해 소영역을 배경으로 지정한다(스텝 S56 ; N, S58). 전경 또는 배경으로서 지정된 소영역은, 다른 미지정의 소영역으로부터 구별할 수 있도록, 소영역의 경계 및/또는 소영역 내의 색을 변경(강조)하거나, 소영역 내에 소정의 마크를 묘화하거나 하면 좋다. 또한, 전경 영역과 배경 영역이 구별이 되도록, 색이나 강조 표시의 방법 또는 묘화한 마크를 다르게 하면 좋다. 도 7(b)는, 전경 영역이 2개(크로스 해칭으로 나타낸 소영역), 배경 영역이 3개(좌하(左下)행 해칭으로 나타낸 소영역)지정된 예를 도시하고 있다.

입력 이벤트가 영역 사이즈 조정 슬라이더(54)의 조작이었던 경우에는(스텝 S59 ; Y), 도 4의 스텝 S42로 되돌아온다. 영역 사이즈 조정 슬라이더(54)는, 지정용 화상에 중첩하는 그리드의 간격, 즉, 소영역의 크기를 크게 또는 작게 하기 위한 UI이다. 스텝 S42에서는, 슬라이더(54)로 변경된 영역 사이즈에 따라, 지정용 화상의 갱신이 행하여진다. 도 7(c)는, 영역 사이즈를 작게 한 경우의 예를 도시하고 있다. 도 7(a)에서는 9행 12열의 108개의 소영역이 형성되어 있었는데 대해, 도 7(c)에서는 12행 16열의 192개의 소영역이 형성되어 있다. 예를 들면, 샘플 화상 중의 대상물에 대해 소영역이 너무 크고, 소영역이 전경과 배경에 걸쳐져 버린 경우에는, 영역 사이즈를 작게 함으로써, 미세한 영역 지정이 가능해진다.

입력 이벤트가 영역분할 버튼(55)의 압하였던 경우에는, 분할 표시 모드를 종료한다(스텝 S60 ; Y). 또한, 분할 표시 버튼(52)이 재차 눌러진 경우나, 화상 취입 버튼(51)이 눌러진 경우에도, 분할 표시 모드를 종료하여도 좋다. 분할 표시 모드를 속행하는 경우는, 스텝 S50으로 되돌아온다.

도 4로 되돌아와, 스텝 S44에 관해 설명한다. 스텝 S44에서는, 설정 툴(103)은, 스텝 S43에서 지정된 전경·배경을 초기치로서 이용하여, 샘플 화상에 대해 영역분할(세그멘테이션) 처리를 적용한다. 영역분할 처리의 결과 얻어진 전경 부분을, 검사 영역으로서 추출하다. 또한, 영역분할 처리에 관해서는 수많은 알고리즘이 제안되어 있고, 설정 툴(103)은 어느 알고리즘도 이용할 수 있기 때문에, 여기서는 상세한 설명을 할애한다. 스텝 S44에서 추출된 검사 영역은 설정 화면의 화상 윈도우(50)에 표시된다. 유저는 설정 화면에 표시된 검사 영역을 봄으로써, 소망하는 영역이 검사 영역으로서 선택되어 있는지의 여부를 확인할 수 있다. 이때, 도 6(b)에 도시하는 바와 같이 샘플 화상의 위에 검사 영역(해칭 부분)을 오버레이 표시하면, 검사 대상물과 검사 영역과의 비교가 용이해지기 때문에 바람직하다.

그 후, 유저에 의해 확정 버튼(56)이 눌러지면, 설정 툴(103)은, 추출된 검사 영역에 관해 검사 영역 정의 정보를 생성하고 기억 장치(13)에 격납한다(스텝 S45). 또한, 스텝 S44에서 추출된 검사 영역이 적당하지 않은 경우에는, 화상의 취입(스텝 S40) 또는 전경·배경의 지정(스텝 S43) 등으로부터 다시 고치면 좋다.

(본 실시 형태의 이점)

이상 기술한 구성에 의하면, 후보가 되는 복수의 소영역이 컴퓨터에 의해 레커멘데이션되고, 유저는 그들 후보 중에서 목적으로 하는 조건을 충족시키는 영역을 선택할 뿐이면 좋기 때문에, 직감적이면서 간단한 영역 지정이 가능해진다. 또한, 소영역의 경계를 명시하고 그 단위로 영역 지정을 행하게 하도록 함으로써, 종래와 같이 임의의 영역이나 픽셀군을 마우스 등으로 자유롭게 입력시키는 방법에 비하여, 유저의 지정에 제약이 생긴다. 이 제약에 의해, 의도하지 않은 픽셀까지 선택하여 버린다는 오지정의 발생을 막을 수 있기 때문에, 의도하는 대로의 영역 지정이 하기 쉬워진다.

또한 본 실시 형태와 같이, 대상 화상을 등간격의 격자형상으로 분할하면, 같은 형상의 소영역이 규칙적으로 나열하기 때문에, 소영역의 선택이 하기 쉽다. 또한 영역 사이즈 조정 슬라이더(54)에 의해 소영역의 크기를 유저에 의해 변경 가능하게 하였기 때문에, 대상 화상에서의 전경 부분(또는 배경 부분)의 크기나 형상 등에 맞추어서 소영역의 크기를 적절히 조정할 수가 있어서, 영역 지정이 하기 쉬워진다. 또한, 본 실시 형태에서는 격자형상의 패턴을 이용하여 소영역에의 분할을 행하였지만, 이것으로 한하지 않고, 삼각형이나 육각형 등의 다각형, 또는 임의 형상의 요소로 구성된 메시 패턴을 이용하여도 좋다. 또한 소영역의 형상이나 크기는 균일하여도 불균일하여도 좋고, 그 배열도 규칙적으로 나열하여 있어도 좋고, 불규칙하게 나열하여 있어도 좋다.

<제2 실시 형태>

도 8을 참조하여, 본 발명의 제2 실시 형태에 관해 설명한다. 제1 실시 형태에서는 패턴분할에 의해 지정용 화상을 생성한 것에 대해, 제2 실시 형태에서는 화상의 특징에 의거하여 픽셀끼리를 통합함에 의해 복수의 소영역을 형성함으로써 지정용 화상을 생성하는 점이 다르다. 즉, 도 4의 플로에서의 스텝 S42의 처리의 내용이 치환될 뿐이고, 그 이외의 구성 및 처리에 관해서는 제1 실시 형태의 것과 같다.

본 실시 형태의 분할 수법은, 후단에서 행하는 영역분할(전경과 배경의 분리)보다도 미세한 영역으로 화상을 분할하는 것이기 때문에, 이하, 「과분할(過分割)」이라고 칭한다. 과분할의 알고리즘으로서는, 예를 들면, 슈퍼 픽셀이라고 불리는 수법이나, 클러스터링 및 레이블링 등의 수법을 이용할 수 있다. 또한, 소영역으로 나누는 목적이, 후단의 영역분할 처리의 초기치로서 주는 전경·배경을 지정하기 쉽게 하는 것에 있기 때문에, 과분할을 행할 때에는, 적어도 색, 휘도, 또는 에지의 특징에 의거하여 픽셀을 통합한지의 여부를 판단하면 좋다. 이하에 기술하는 본 실시 형태에서는, 색 또는 휘도의 특징이 유사한 부근 픽셀끼리를 통합하여 소영역을 형성한다.

도 8(a)는, 과분할에 의해 형성된 지정용 화상의 예를 도시하고 있다. 과분할의 경우는, 제1 실시 형태의 패턴분할과 달리, 소영역의 크기나 형상은 균일하게는 되지 않고, 대상 화상 중의 물체의 형상·모양·음영 등에 응한 형상의 소영역이 형성되다. 또한, 과분할에 의해 형성된 소영역이 너무 작아, 선택하기 어려운 경우에는, 도 8(b)와 같이 영역 사이즈 조정 슬라이더(54)에 의해 조건을 변경하고, 과분할의 재계산을 행하면 좋다. 도 8(b)와 같이 각 소영역의 사이즈가 커지면, 마우스 커서나 터치 패널에 의한 영역 지정을 용이하게 할 수 있다. 도 8(c)는, 도 8(b)의 지정용 화상에서, 2개의 전경 영역(크로스 해칭으로 나타낸 소영역)과 2개의 배경 영역(좌하행 해칭으로 나타낸 소영역)을 지정한 예를 도시하고 있다.

이상 기술한 제2 실시 형태의 구성은, 제1 실시 형태와 같은 작용 효과에 더하여, 다음과 같은 작용 효과를 이룰 수 있다. 즉, 과분할로 형성되는 소영역은, 물체의 형상·모양·음영 등을 반영한 형상을 갖기 때문에, 협소한 영역이나 복잡한 형상의 영역이라도 간단하게 선택할 수 있다. 또한, 과분할로 형성되는 소영역은, 색 또는 휘도의 특징이 유사한 픽셀군이나 에지로 구획된 픽셀군으로 이루어지기 때문에, 그 중에 전경과 배경의 양쪽의 픽셀이 포함될 가능성은 낮다. 따라서, 의도하지 않은 픽셀까지 선택하여 버린다는 오지정이 생기기 어렵다는 이점도 있다.

<제3 실시 형태>

계속해서, 본 발명의 제3 실시 형태에 관해 설명한다. 제1 및 제2 실시 형태에서는, 지정용 화상상에 모든 소영역을 표시하였음에 대해, 제3 실시 형태에서는, 일부의 소영역만을 표시하는 점이 다르다. 즉, 도 4의 플로에서의 스텝 S42의 처리의 내용이 치환될 뿐이고, 그 이외의 구성 및 처리에 관해서는 제1 실시 형태의 것과 같다.

지정용 화상에 표시하는 소영역의 추출 룰로서는, 다양한 것이 생각된다.

예를 들면, 제1 실시 형태와 같이 패턴분할로 형성된 소영역의 경우에는, 소영역 내의 색 또는 휘도가 균일한 것이나, 소영역 내에 에지(콘트라스트가 높은 부분)을 포함하지 않는 것, 등을 우선적으로 추출하면 좋다. 패턴분할의 경우는, 화상의 특징과는 관계없이 소영역이 형성되기 때문에, 전경과 배경을 넘는 위치에 소영역이 존재하는 경우도 있다. 그와 같은 소영역은 전경 또는 배경으로서 지정하는 것은 타당하지 않기 때문에, 선택지 중에서 미리 제외하고 두는 쪽이 유저프렌들리이고, 그 소영역이 오지정될 우려도 미연에 배제할 수 있다.

또한, 제2 실시 형태의 과분할에서는, 매우 협소한 영역이 형성되는 경우가 있다. 협소한 영역은 선택하기 어려울 뿐만 아니라, 지정용 화상의 시인성을 저하시키기 때문에, 바람직하지가 않다. 따라서 과분할의 경우에는, 예를 들면, 소영역의 사이즈(면적)나 폭이 큰 것을 우선적으로 추출하는 방법이 알맞다. 또한, 전경과 배경의 색 또는 휘도에 거의 차가 없는 경우에는, 과분할이라도 소영역이 전경과 배경을 넘도록 형성되는 것이 있다. 그래서, 소영역 내의 콘트라스트나, 소영역의 경계부분(윤곽)에서의 콘트라스트를 평가하고, 에지를 포함하지 않는 소영역이나, 경계부분에서의 콘트라스트가 높은 소영역 등을, 우선적으로 추출한 방법도 알맞다. 이에 의해, 전경과 배경의 양쪽의 픽셀을 포함하는 소영역을 제외할 수 있다.

또한, 패턴분할과 과분할의 어느것에도 적용할 수 있는 방법으로서, 추출된 소영역의 사이에서의 색 또는 휘도의 특징의 편차(다양성), 또는, 추출된 소영역 사이에서의 위치의 편차(다양성)이 가급적으로 커지도록, 추출한 소영역을 선택하는 것도 알맞다. 이와 같이 소영역의 후보를 결정함으로써, 화상 중의 다양한 위치나, 전경 부분과 배경 부분의 각각에 대해, 빠짐없이 소영역을 설정할 수 있다.

도 9에, 소영역의 추출 방법의 한 예를 도시한다. 도 9는, 횡축에 소영역 내의 휘도의 평균, 종축에 소영역 내의 휘도의 분산을 취한 그래프에, 패턴분할로 형성된 모든 소영역을 플롯한 것이다. 즉, 횡축이 소영역 사이의 휘도 특징의 다양성을 나타내고, 종축이 소영역 내의 휘도의 균일성을 나타내고 있다. 횡축의 다양한 위치에서, 종축의 아래쪽에 플롯되어 있는 소영역을 우선적으로 추출하면 좋다. 본 실시 형태에서는, 소영역의 횡축 방향의 분포에 의거하여 횡축을 4개의 휘도 범위(A 내지 D)로 분할하고, 각 휘도 범위(A 내지 D)로부터, 분산의 가장 작은 소영역을 추출하였다. 또한 각 휘도 범위로부터 추출하는 개수는, 각 휘도 범위에 속하는 소영역의 수에 응하여 정하거나, 분산의 값에 응하여 정하거나 하면 좋다.

도 10(a)는, 도 9에서 추출한 소영역(검은 원)만을 지정용 화상에 묘화한 예이다. 전경 부분과 배경 부분에 적당하게 소영역이 배치되어 있고, 또한, 소영역 자체의 수가 적고 소영역끼리가 분리하고 있기 때문에, 도 7(a)의 경우보다도 영역 지정을 간단하게 할 수 있음을 알 수 있다. 도 10(b)는, 과분할의 경우의 소영역의 추출례를 도시하고 있다. 이 경우도 마찬가지로 영역 지정이 간단하게 된다.

<제4 실시 형태>

도 11은, 본 발명의 제4 실시 형태를 도시하고 있다. 상술한 각 실시 형태에서는, 마우스 또는 터치 패널을 이용하여 소영역을 선택하고 있지만, 제4 실시 형태에서는, 키보드 또는 키패드와 같은 입력 장치로 소영역을 선택시킨다. 그 이외의 구성은, 다른 실시 형태의 것과 마찬가지이다.

본 실시 형태의 입력 장치에는, 이동 키와 선택 키가 마련되어 있다. 본 실시 형태의 설정 화면에서는, 도 11(a)에 도시하는 바와 같이, 지정용 화상 중의 어느 하나의 소영역이 선택 상태(포커스가 있던 상태)로 되어 있다. 도 11(a)의 예에서는, 왼쪽부터 3열째, 위에서 3행째의 위치에 있는 소영역이 선택 상태가 되어 있고, 포커스 테두리가 묘화되어 있다. 유저가 이동 키를 누르면, 포커스 테두리가 하나씩 이동한다. 도 11(b)는 우측으로 포커스 테두리가 이동한 상태를 도시하고 있다. 상하 좌우의 화살표 키를 이용하여 임의의 방향으로 포커스 테두리를 이동할 수 있도록 하여도 좋고, 스페이스 키 등의 하나의 이동 키를 이용하여 하나의 방향으로 순번대로 포커스 테두리를 이동시키도록 하여도 좋다. 그리고, 유저가 선택 키를 누르면, 현재 선택 상태에 있는 소영역(포커스 테두리가 있는 소영역)이 전경 또는 배경으로서 지정된다(도 11(c) 참조). 이 경우에, 전경/배경 토글 버튼(53)에 의해 설정되어 있는 모드에 따라 전경이나 배경인지를 결정하여도 좋지만, 예를 들면, 전경 선택 키와 배경 선택 키가 제각기 마련되어 있는 경우에는, 모드에 의하지 않고, 눌러진 선택 키의 종류에 따라 전경인지 배경인지를 결정하여도 좋다.

본 실시 형태와 같은 인터페이스에 의하면, 이동 키와 선택 키의 간단한 조작으로 의도하는 소영역을 틀림없이 선택할 수 있다. 또한, 본 실시 형태에서는, 선택 상태에 있는 소영역을 포커스 테두리로 강조 표시하도록 하였기 때문에, 선택 상태에 있는 소영역과 그 이외의 소영역과의 구별이 용이해져서, 소영역의 오선택을 방지할 수 있음과 함께, 유저빌리티의 향상을 도모할 수 있다. 또한, 강조 표시의 방법은, 포커스 테두리로 한하지 않고, 소영역의 테두리나 영역 내부의 색을 바꾸는 등, 어떤 방법을 이용하여도 좋다.

<제5 실시 형태>

도 12는, 본 발명의 제5 실시 형태를 도시하고 있다. 본 실시 형태에서는, 화상 윈도우(50)에 표시되어 있는 대상 화상을 유저가 확대, 축소, 평행이동(스크롤), 또는, 회전할 수 있도록 하고 있다. 이들의 조작 지시는, 예를 들면, 마우스의 드래그나 휠 조작으로 행할 수 있도록 하여도 좋고, 터치 패널에서의 드래그나 핀치 조작으로 행하여지도록 하여도 좋다.

도 12(b)는, 도 12(a)의 화상을 확대 및 평행이동한 상태를 도시하고 있다. 이때, 화상 윈도우(50) 내의 지정용 화상은 갱신되지만, 표시 배율이나 표시 위치가 변화하는 것은 대상 화상뿐이고, 그 위에 중첩된 소영역의 위치 및 크기는 변하지가 않는다. 이 기능은, 소영역을 대상 화상 중의 소망하는 영역에 위치맞춤하기 위해 이용할 수 있다. 예를 들면, 도 12(a)의 예에서는, 3개의 소영역 중 상측의 2개는 모두 전경과 배경에 걸쳐진 위치에 배치되어 있다. 이와 같은 경우에, 도 12(b)와 같이 대상 화상의 배율 및 위치를 조정함으로써, 전경과 배경을 넘지 않도록 소영역을 배치할 수 있다. 따라서, 이 기능을 이용함에 의해, 전경만 또는 배경만을 정확하게 지정하는 것이 용이해진다는 이점이 있다.

<제6 실시 형태>

도 13은, 본 발명의 제6 실시 형태를 도시하고 있다. 상술한 제5 실시 형태에서는, 화상만이 확대/축소, 평행이동, 회전하고, 소영역의 위치 및 크기는 그대로였음에 대해, 제6 실시 형태에서는, 화상과 소영역을 함께 확대 등 하는 점이 다르다. 확대 등의 조작 지시는 제5 실시 형태의 것과 같다.

도 13(b)는, 도 13(a)의 화상을 확대 및 평행이동한 상태를 도시하고 있다. 이 기능은, 대상 화상과 소영역의 정합을 상세히 확인하기 위한 등에 이용할 수 있다. 예를 들면, 도 13(a)에 도시하는 표준 배율의 화상에서는, 화상 중의 협소한 영역이나 복잡한 형상의 부분에서 소영역이 어떻게 형성되어 있는지를 알기 어려운 경우가 있다. 이에 대해, 도 13(b)의 확대 화상에서는, 소영역이나 그 윤곽이 화상 중의 어느 픽셀과 겹쳐져 있는지를 상세히 확인할 수 있다. 따라서, 이 기능을 이용함에 의해, 정확한 영역 선택이 용이해진다.

상술한 실시 형태는 본 발명의 한 구체례를 나타낸 것이고, 본 발명의 범위를 그들의 구체례로 한정하는 취지의 것은 아니다. 예를 들면, 상기 실시 형태에서는 본 발명을 화상 검사 장치의 검사 영역 설정에 적용한 예를 설명하였지만, 본 발명은 영역분할(세그멘테이션)을 이용한 모든 장치에 적용할 수 있다.

1 : 화상 검사 장치
2 : 검사 대상물(몸체 부품)
10 : 장치 본체
11 : 화상 센서
12 : 표시 장치
13 : 기억 장치
14 : 입력 장치
30 : 검사 영역
31 : 검사 영역 화상
50 : 화상 윈도우
51 : 화상 취입 버튼
52 : 분할 표시 버튼
53 : 전경/배경 토글 버튼
54 : 영역 사이즈 조정 슬라이더
55 : 영역분할 버튼
56 : 확정 버튼
101 : 검사 처리부
102 : 검사 영역 추출부
103 : 설정 툴

Claims

대상 화상을 전경과 배경으로 분리하는 영역분할 처리를 행함에 있어서, 상기 대상 화상의 일부의 영역을 전경 또는 배경으로 하여야 할 영역으로서 유저에서 지정시키는 영역 지정 방법으로서,
컴퓨터가, 픽셀보다도 큰 소영역을 상기 대상 화상 중에 하나 또는 복수개 설정하는 소영역 설정 스텝과,
컴퓨터가, 상기 대상 화상상에 상기 소영역의 경계가 묘화된 지정용 화상을 표시 장치에 표시하는 표시 스텝과,
컴퓨터가, 상기 지정용 화상상의 하나 또는 복수의 소영역 중에서, 상기 전경 또는 배경으로 하여야 할 영역을, 유저에게 입력 장치를 이용하여 선택시키는 지정 스텝을 포함하는 것을 특징으로 하는 영역 지정 방법.
제1항에 있어서,
상기 소영역 설정 스텝은, 상기 대상 화상을 소정의 패턴으로 분할함에 의해, 복수의 소영역을 형성하는 분할 스텝을 포함하는 것을 특징으로 하는 영역 지정 방법.
제2항에 있어서,
상기 소영역 설정 스텝은, 상기 분할 스텝에서 형성된 복수의 소영역 중에서, 일부의 소영역을 추출하는 추출 스텝을 또한 포함하고,
상기 표시 스텝에서는, 상기 추출 스텝에서 추출된 소영역만이 상기 지정용 화상에 묘화되는 것을 특징으로 하는 영역 지정 방법.
제3항에 있어서,
상기 추출 스텝에서는, 색 또는 휘도가 균일한 소영역, 또는, 에지를 포함하지 않는 소영역이, 우선적으로 추출되는 것을 특징으로 하는 영역 지정 방법.
제3항에 있어서,
상기 추출 스텝에서는, 추출된 소영역의 사이에서의 색 또는 휘도의 특징의 편차, 또는, 추출된 소영역 사이에서의 상기 대상 화상 중에서의 위치의 편차가, 가급적으로 커지도록, 추출되는 소영역이 선택되는 것을 특징으로 하는 영역 지정 방법.
제1항에 있어서,
상기 소영역 설정 스텝은, 색, 휘도 및 에지 중 적어도 어느 하나의 특징에 의거하여 픽셀끼리를 통합함에 의해, 복수의 소영역을 형성하는 분할 스텝을 포함하는 것을 특징으로 하는 영역 지정 방법.
제6항에 있어서,
상기 소영역 설정 스텝은, 상기 분할 스텝에서 형성된 복수의 소영역 중에서, 일부의 소영역을 추출하는 추출 스텝을 또한 포함하고,
상기 표시 스텝에서는, 상기 추출 스텝에서 추출된 소영역만이 상기 지정용 화상에 묘화되는 것을 특징으로 하는 영역 지정 방법.
제7항에 있어서,
상기 추출 스텝에서는, 에지를 포함하지 않는 소영역, 또는, 사이즈 또는 폭이 큰 소영역, 또는, 경계부분의 콘트라스트가 높은 소영역이, 우선적으로 추출되는 것을 특징으로 하는 영역 지정 방법.
제7항에 있어서,
상기 추출 스텝에서는, 추출된 소영역의 사이에서의 색 또는 휘도의 특징의 편차, 또는, 추출된 소영역 사이에서의 상기 대상 화상 중에서의 위치의 편차가, 가급적으로 커지도록, 추출되는 소영역이 선택되는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 지정 스텝에서 상기 전경 또는 배경으로 하여야 할 영역으로서 유저에게 선택된 소영역이 강조 표시되는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 대상 화상에 대한 소영역의 크기가 유저에 의해 변경 가능한 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
컴퓨터가, 유저에 의한 화상의 확대, 축소, 평행이동, 또는, 회전의 지시에 따라, 상기 표시 장치의 화면에 표시되어 있는 지정용 화상을 갱신하는 화상 갱신 스텝을 또한 포함하고,
상기 화상 갱신 스텝에서는, 상기 대상 화상과 함께 상기 소영역도 확대, 축소, 평행이동, 또는, 회전시키는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
컴퓨터가, 유저에 의한 화상의 확대, 축소, 평행이동, 또는, 회전의 지시에 따라, 상기 표시 장치의 화면에 표시되어 있는 지정용 화상을 갱신하는 화상 갱신 스텝을 또한 포함하고,
상기 화상 갱신 스텝에서는, 상기 소영역의 화면상에서의 위치 및 크기를 바꾸지 않고, 상기 대상 화상만 확대, 축소, 평행이동, 또는, 회전시키는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 입력 장치가, 이동 키와 선택 키를 갖고 있고,
상기 지정 스텝은,
상기 지정용 화상상의 어느 하나의 소영역을 선택 상태로 하는 스텝과,
유저로부터 상기 이동 키의 입력을 접수할 때마다, 선택 상태로 하는 소영역을 순번대로 바꿔 가는 스텝과,
유저로부터 상기 선택 키의 입력을 접수한 경우에, 현재 선택 상태에 있는 소영역을, 상기 전경 또는 배경으로 하여야 할 영역으로서 선택하는 스텝을 포함하는 것을 특징으로 하는 영역 지정 방법.
제14항에 있어서,
상기 현재 선택 상태에 있는 소영역이 강조 표시되는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 입력 장치가, 상기 표시 장치의 화면에 마련된 터치 패널이고,
상기 지정 스텝에서는, 유저가 상기 표시 장치의 화면에 표시되어 있는 지정용 화상상의 소영역을 터치함에 의해, 상기 전경 또는 배경으로 하여야 할 영역이 선택되는 것을 특징으로 하는 영역 지정 방법.
제1항 내지 제16항 중 어느 한 항에 기재된 영역 지정 방법의 각 스텝을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
대상 화상을 전경과 배경으로 분리하는 영역분할 처리를 행함에 있어서, 상기 대상 화상의 일부의 영역을 전경 또는 배경으로 하여야 할 영역으로서 유저에서 지정시키는 영역 지정 장치로서,
픽셀보다도 큰 소영역을 상기 대상 화상 중에 하나 또는 복수개 설정하는 소영역 설정 수단과,
상기 대상 화상상에 상기 소영역의 경계가 묘화된 지정용 화상을 표시 장치에 표시하는 표시 수단과,
상기 지정용 화상상의 하나 또는 복수의 소영역 중에서, 상기 전경 또는 배경으로 하여야 할 영역을, 유저에게 입력 장치를 이용하여 선택시키는 지정 수단을, 갖는 것을 특징으로 하는 영역 지정 장치.
제1항 내지 제16항 중 어느 한 항에 기재된 영역 지정 방법을 이용한 것을 특징으로 하는 화상 검사 방법.
제18항 기재된 영역 지정 장치를 이용한 것을 특징으로 하는 화상 검사 장치.