KR100647750B1

KR100647750B1 - 화상 처리 장치

Info

Publication number: KR100647750B1
Application number: KR1020040035406A
Authority: KR
Inventors: 다끼자와가쯔또시; 구미야히데또시
Original assignee: 화낙 가부시끼가이샤
Priority date: 2003-05-20
Filing date: 2004-05-19
Publication date: 2006-11-24
Also published as: JP3886471B2; CN1573798A; TWI253593B; EP1480169A1; KR20040100963A; US20040252880A1; CN1296862C; TW200426704A; JP2004348266A; US7400760B2

Abstract

복수 방향으로부터 촬상한 대상물의 샘플 화상 중으로부터 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 정확하게 선택한다.

입력 화상의 제1 마스크 화상을, 샘플 화상 모두의 대상물 영역을 포함하는 영역의 화소를 유효 화소로서, 그 밖의 영역의 화소를 무효 화소로서 작성한다. 입력 화상과 각 샘플 화상과의 1번째의 비교 대조에서 제1 마스크 화상을 이용하여 일치도가 높은 화상을 가선택 샘플 화상으로 하고, 2번째의 비교 대조에서는 이 가선택 샘플 화상에 대응하는 제2 마스크 화상을 이용하여 비교 대조를 행하여 최종적으로 샘플 화상을 정한다. 제2 마스크 화상은 개개의 샘플 화상에 대해 작성하고, 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로서 작성한다. 비교 대조를, 비교 대상이 되는 각 화상에 직교 변환을 실시한 중간적 화상끼리의 비교 대조로 행해도 좋다.

로봇, 카메라, 로봇 제어 장치, 화상 처리 장치, 디스플레이

Description

화상 처리 장치 {IMAGE PROCESSING APPARATUS}

도1은 본 발명의 실시 형태에 있어서의 시스템 구성에 대해 설명하는 도면.

도2는 실시 형태에서 취득되는 샘플 화상과 입력 화상의 비교 대조 관계에 대해 설명하는 도면.

도3은 본 발명의 제1 태양에서 이용하는 방법에 대해 설명하는 도면.

도4는 본 발명의 제2 태양에서 이용하는 방법에 대해 설명하는 도면.

도5는 본 발명의 제3 태양에서 이용하는 방법에 대해 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 로봇(본체 기구부)

2 : 카메라(촬상 수단)

10 : 로봇 제어 장치

20 : 화상 처리 장치

21 : 디스플레이

W : 대상물

본 발명은 시각 센서에 의해 부품 등의 대상물의 인식을 행할 때에 이용되는 화상 처리 장치에 관한 것으로, 특히 다양한 자세를 취할 수 있는 대상물의 위치나 자세를 화상에 의해 인식하기 위한 화상 처리 장치에 관한 것이다.

정확하게 위치 결정되어 있지 않은, 예를 들어 부품 등의 대상물을 로봇 등의 자동 기계로 핸들링하기 위해 대상물을 촬상하여 화상 데이터를 취득하고, 그 화상 데이터로부터 대상물의 위치 자세 등을 인식하는 방법이 각종 어플리케이션에서 채용되어 있다. 이 방법에서는, 대상물이 취할 수 있는 자세의 범위가 넓을수록 자세의 인식이 어려워진다. 예를 들어, 산적한 상태의 부품군과 같이 대상물이 3차원적으로 임의의 자세로 배치된 경우 등, 자세 인식은 매우 곤란하다.

이러한 경우의 인식 방법으로서, 미리 대상물에 대해 여러 다른 방향으로부터 샘플 화상을 촬상해 두고, 자세 인식 시에 입력 화상과 샘플 화상 1매 1매를 비교 대조하여 샘플 화상 중으로부터 입력 화상에 일치도가 가장 높은 화상을 선택하고, 선택한 샘플 화상에 대응하는 촬상 방향으로부터 대상물의 자세를 도출해내는 방법이 있다.

이 방법에서는, 비교 대조의 정밀도를 얼마나 높게 하는지가 가장 중요한 사항이다. 비교 대조의 정밀도가 낮아지는 원인 중 하나는, 실제의 인식을 행할 때에 이용되는 입력 화상 중에 존재하는 불규칙한 배경 화상(대상물 이외의 화상)이다. 즉, 샘플 화상은 이상적인 조건으로 촬상함으로써 배경을 균일 화상(일정한 색채 및 명도)으로 할 수 있지만, 대상물의 인식을 실제로 행하는 현장에서 취득되는 입력 화상에는, 종종 다른 물체 등 배경에 예측 불가능한 방해가 생기게 된다. 이와 같이 방해가 생긴 배경을 배제하는 하나의 방법으로서, 전체 샘플 화상의 대상물 영역의 교집합으로서 창함수를 구성하고, 이 창함수가 나타내는 창(교집합)에 포함되는 화소만을 이용하여 샘플 화상과의 비교 대조를 행하는 방법이 하기 비특허 문헌 1에 기재되어 있다.

[비특허 문헌 1]

에이치. 무라세(H. Murase) 및 케이. 나야르(K. Nayar)의 "계층식 고유 공간을 사용하는 흐트러진 장면에서의 3차원 물체 감지(Detection 3D objects in cluttered scenes using hierarchical eigenspace)", 패턴 레커그니션 레터즈 (Pattern Recognition Letters) 18, 제14권, 제1호, 페이지 375-384, 1997년

상술한 바와 같이, 샘플 화상과의 비교 대조의 정밀도를 떨어뜨리는 원인 중 하나는, 입력 화상 중에 대상물의 화상과 공존하는 불규칙한 배경 화상이므로, 배경 화상의 영향을 제외한 조건에서 비교 대조가 행해지면 인식의 정밀도는 향상하게 된다. 상기 비특허 문헌 1에 기재된 무라세 등의 방법은, 배경 화상을 제거하는 방법 중 하나이기는 하다. 그러나, 이 방법을 적용한 경우, 종종 교집합에 의한 창이 지나치게 좁아져, 오히려 비교 대조의 정밀도에 악영향을 끼치는 사태가 발생한다고 하는 문제점이 있었다.

본 발명은 샘플 화상을 바탕으로 적절한 넓이의 창을 가진 마스크 화상을 작성하고, 마스킹에 의해 방해가 생긴 배경을 어느 정도 지운 후에 비교 대조를 행한 다고 하는 고안을 도입하여 상기 과제를 해결하는 것이다.

즉, 본 발명은 대상물에 대해 다른 복수의 방향으로부터 촬상한 샘플 화상 중으로부터, 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 화상 처리 장치를 개량하여 샘플 화상을 바탕으로 적당한 마스크 화상을 작성하고, 마스킹에 의해 방해가 생기는 배경을 어느 정도 지운 후에 비교 대조를 행하여 비교 대조의 정밀도를 높이도록 한 것이다. 본 발명은, 하기와 같이 3개의 형태를 취할 수 있다.

제1 형태에서는, 화상 처리 장치에 모든 샘플 화상의 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제1 마스크 화상을 작성하는 수단과, 상기 제1 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과 일치도가 높은 화상을 선택하는 수단이 마련된다.

제2 형태에서는, 화상 처리 장치에 샘플 화상의 각각에 대해 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제2 마스크 화상을 작성하는 수단과, 상기 입력 화상과 상기 샘플 화상과의 비교 대조에 의해 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상으로서 선택하는 수단과, 상기 가선택 샘플 화상에 대응하는 제2 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 양 화상과의 일치도가 높은 화상을 선택하는 수단이 마련된다.

제3 형태에서는, 화상 처리 장치에 샘플 화상의 모든 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제1 마스크 화상을 작성하는 수단과, 상기 샘플 화상 각각에 대해 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제2 마스크 화상을 작성하는 수단과, 상기 제1 마스크 화상의 유효 화소에 대응하는 상기 입력 양 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상으로 하는 수단과, 상기 가선택 샘플 화상에 대응하는 제2 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 선택하는 수단이 마련된다.

이들 형태에 있어서 상기 비교 대조는, 비교 대상이 되는 각 화상에 직교 변환을 실시한 중간적 화상끼리의 비교 대조로 할 수 있다. 이 직교 변환은 푸리에 변환이면 좋고, 이산 코사인 변환이라도 좋다. 또한, 직교 변환을 상기 샘플 화상 각각에 실시하여 얻어지는 성분을 상기 샘플 화상의 주성분으로 할 수도 있다.

도1은, 본 발명의 실시 형태에 있어서의 시스템 구성의 개략에 대해 설명하는 도면이다. 상기 도면에 있어서, 부호 1은 로봇(본체 기구부)을 나타내고, 이 로봇의 아암 선단부에 시각 센서의 촬상 수단으로서 카메라(2)가 장착되어 있다. 로봇(1)의 동작은, 상기 로봇(1)에 접속된 로봇 제어 장치(10)에 의해 제어된다. 카메라(2)에는 화상 처리 장치(20)가 접속되고, 화상 처리 장치(20)는 또한 통신 회선을 거쳐서 로봇 제어 장치(10)에도 접속되어 있다.

화상 처리 장치(20)에는 CPU, 메모리, 카메라 인터페이스, 통신 인터페이스 등을 포함하는 하드웨어와, 카메라(2), 로봇 제어 장치(10)와의 지령, 화상 데이터 등의 교환을 행하는 소프트웨어 외에, 후술하는 태양으로 화상 데이터의 처리를 행하는 프로그램 및 관련 변수를 포함하는 소프트웨어가 장비되어 있다. 또한, 화상 처리 장치(20)에는 디스플레이(21)가 부설되어, 카메라(2)에 의한 촬상 화상 및 그 처리 화상, 후술하는 샘플 화상 등을 표시할 수 있도록 되어 있다.

또 도시를 생략하였지만, 로봇 제어 장치(10) 및 화상 처리 장치(20)에는 통상의 형태로 메뉴얼 조작 수단(교시 조작반, 키보드, 마우스 등)이 부설되어, 필요에 따라서 수동에 의한 로봇 조작, 프로그램의 입력/편집, 기동/정지, 카메라(2)에 의한 촬상, 화상 데이터 대입, 화상 처리 프로그램의 입력/편집, 기동/정지 등을 행할 수 있도록 되어 있다.

카메라(2)는 화상 처리 장치(20)로부터의 촬상/화상 데이터 출력 지령을 받아 촬상을 행하고, 대상물(예를 들어, 부품)(W)의 상을 포함하는 화상의 화상 데이터를 화상 처리 장치(20)에 입력한다. 화상 처리 장치(20)는 처리 프로그램에 의해 후술하는 태양으로 화상 처리를 실행하여, 화상으로부터의 대상물 인식을 행한다. 또한 로봇 제어 장치(10)와 화상 처리 장치(20)는, 필요에 따라서 상호 동기를 취하면서 하기 (1) 내지 (3)의 데이터 교환과 관련 처리를 행하는 일반적인 기능을 갖고 있다.

(1) 로봇 제어 장치(10)는 로봇(1)의 현재 위치를 소정의 단(短)주기로 화상 처리 장치(20)에 통지한다.

(2) 로봇 제어 장치(10)는, 로봇(1)의 작업(파지 등)에 관련된 프로그램(혹은 오퍼레이터에 의해 메뉴얼 입력된 지령)에 따라서 화상 처리 장치(20)에 화상 촬상 지령을 출력하여 카메라(2)에 촬상을 실행시키고, 화상 데이터를 화상 처리 장치(20)에 취득시킨다.

(3) 화상 처리 장치(20)측에서 결정한 로봇(1)의 목표 동작 위치를 로봇 제어 장치(10)로 송신한다.

이상의 전제 하에서, 대상물에 대해 다른 복수의 방향으로부터 촬상한 샘플 화상 중으로부터 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 방법을 개량하여 샘플 화상을 바탕으로 적당한 마스크 화상을 작성하고, 마스킹에 의해 방해가 되는 배경을 어느 정도 지운 후에 비교 대조를 행하여 비교 대조의 정밀도를 높이도록 하는 수순에 대해 순서에 따라 설명한다.

우선, 대상물(W)과 같은 종류의 물체(이하, 샘플 물체라 함)에 대해 다른 복수의 방향으로부터 촬상한 복수의 샘플 화상을 준비한다. 그를 위해, 예를 들어 샘플 물체를 적당한 위치 및 자세로 배치하고, 로봇에 복수의 위치 및 자세를 취하게 하여 카메라(2)에 의한 촬상을 행하고, 화상 처리 장치(20)의 메모리에 샘플 화상 데이터를 축적한다. 또한, 각 샘플 화상에 대응시켜 로봇 위치를 화상 처리 장치(20)의 메모리에 기억시킨다. 로봇의 복수의 위치 및 자세로의 이동은, 미리 교시한 동작에 의해도 좋고, 오퍼레이터에 의한 수동 조작에 의해도 좋다.

샘플 화상 취득을 위한 촬상에 있어서는, 샘플 물체의 배경에는 방해가 되는 것이 비치지 않도록 한다. 예를 들어, 샘플 물체와 색 및 명도가 다른 모양이 없는 바닥면 상에 샘플 물체를 배치하여 촬상을 행하면 좋다. 여기서, 샘플 물체는 실제로 작업에서 취급하는 대상물 중 1개라도 좋고, 형상 및 치수 등이 동등한 가상 물체라도 좋다.

도2의 상반부에는 이와 같이 하여 얻어진 샘플 화상군의 예가 도시되어 있다. 이 준비를 완료한 시스템을 이용하여 실제로 작업을 행할 때에는, 대상물(W) 중 적어도 1개(일반적으로 복수의 같은 종류의 대상물이 존재)를 시야에 담을 수 있는 위치 및 자세를 로봇(1)에 취하게 하여 카메라(2)에 의한 촬상을 행하고, 적어도 1개의 대상물의 화상과 배경 화상으로 이루어지는 화상(이하, 입력 화상이라 함)을 취득하여 화상 처리 장치(2)에 일단 기억시킨다. 입력 화상을 취득하는 로봇 위치(이하, 입력 화상 취득 로봇 위치라 함)는 미리 프로그램에 교시해 두어, 재생 운전에 의해 상기 입력 화상 취득 로봇 위치로 로봇을 이동시키도록 하면 좋다.

또한, 입력 화상 취득 로봇 위치(현재 위치)를 대응하는 입력 화상을 특정하는 데이터와 더불어 화상 처리 장치(20) 내에 기억시킨다. 도2의 하반부에는, 이와 같이 하여 얻어진 입력 화상의 예를 도시하였다. 입력 화상은 이미 준비되어 있는 복수의 샘플 화상과 비교 대조되어, 입력 화상 취득시의 촬상 방향에 가장 가까운 촬상 방향으로부터 촬상한 대상물의 화상이 비치고 있다고 판단되는 샘플 화상을 선택하는 처리가 행해진다. 도2의 예에서는, 파선으로 둘러싸 도시한 좌측으 로부터 2번째의 샘플 화상이, 선택되어야 할 샘플 화상이다.

상기 판단(촬상 방향의 일치도의 판단)은 샘플 화상군 중으로부터 입력 화상과의 「일치도가 높은 화상」을 선택하는 형태로 실행된다. 화상의 일치도를 판단하는 방법 자체는 여러 가지 알려져 있다. 예를 들어, 화상끼리의 휘도의 상관에 의한 매칭이 있다. 또한, 비교 대상이 되는 각 화상에 직교 변환을 실시한 중간적 화상끼리의 거리에서 일치도를 측정하는 방법도 있다. 직교 변환으로서는, 푸리에 변환 및 이산 코사인 변환 외에, 샘플 화상에 각각 직교 변환을 실시하여 얻어지는 성분이 샘플 화상의 주성분이 되는 직교 변환도 있다. 직교 변환을 행함으로써, 화상끼리 직접 상관 계산을 행하는 경우에 비해 데이터의 차원을 낮출 수 있으므로, 유사 화상의 비교 대조의 계산량을 적게 할 수 있는 효과가 있다. 또, 이들 직교 변환 및 매칭법 자체는 주지이므로 상세 설명은 생략한다.

단, 입력 화상에는 대상물의 화상 외에 불규칙한 배경 화상이 포함되어 있으므로 종래의 기술란에 기재된 바와 같이, 도2 중에 도시한 바와 같이 배경 화상을 그대로 포함하는 입력 화상과 각 샘플 화상의 비교 대조, 혹은 그들에 직교 변환을 실시한 중간 화상끼리의 비교 대조를 상기 매칭법에 의해 행해도 실제로 정확한 결과를 얻을 수 없는 경우가 많다.

상술한 바와 같이, 본 발명에서는 샘플 화상을 바탕으로 적절한 넓이의 창을 가진 마스크 화상을 작성하고, 마스킹에 의해 방해가 되는 배경을 어느 정도 지운 후에 비교 대조를 행한다고 하는 고안을 도입한다. 구체적인 화상 처리에 대해, 마스크 화상의 작성법에 관련하여 3 가지의 태양(상술한 발명의 제3 형태에 대응) 을 생각할 수 있으므로, 이하 도3 내지 도5를 참조도로 첨가하여 요점을 설명한다.

우선 도3은, 본 발명의 제1 태양에서 이용하는 방법에 대해 설명하는 도면이다. 본 태양에서는, 입력 화상과 각 샘플 화상과의 비교 대조를 행하기 전에 제1 마스크 화상을 작성한다. 이 제1 마스크 화상은, 샘플 화상 모두의 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로서 작성한다. 환언하면, 다음과 같이 된다.

각 샘플 화상과 입력 화상에 공통된 화소 번호를 Aij(i ＝ 1, 2, 3 … … m ; j ＝ 1, 2, 3 … … n ; 화소 총수 m * n)로 하고, s번째의 샘플 화상을 Ss(s ＝ 1, 2, 3 … … q ; q는 샘플 화상 총수)로 나타내게 한다. 화상 처리 장치(20) 내에서는, 각 화소(Aij)에 대해 그 화소(Aij)가 적어도 1개의 샘플 화상(Ss)에 있어서, 대상물이 비치고 있는 화소 영역을 포함하는 적당한 화소 영역 내에 있으면, 그 화소(Aij)는 「유효 화소」라 하고, 그렇지 않으면[모든 샘플 화상(Ss)에서 배경이 비친 화소 영역에 포함되는 적당한 화소 영역 내] 「무효 화소」라 판정하는 처리를 행한다.

다음에, 이 처리 결과를 기초로 하여 입력 화상을 수정하는 마스크 처리를 행한다. 즉, 입력 화상에 대해 「유효 화소」라 판정된 화소의 화상 데이터만을 추출하여 마스크 입력 화상(이하, 제1 마스크 입력 화상이라 함)을 작성한다.

이에 의해, 입력 화상 중에 포함되는 불규칙한 배경 화상의 상당 부분이 제거된다. 그리고, 이 제1 마스크 입력 화상과 각 샘플 화상(S1, S2 … … Sq)을 차례로 비교 대조하여, 일치도가 가장 높은 샘플 화상을 결정하는 처리를 행한다. 비교 대조를 위한 구체적인 처리로서는, 상술한 주지의 방법에 따르면 좋다. 즉, 예를 들어 화상끼리의 휘도의 상관에 의한 매칭을 적용할 수 있다. 또한, 제1 마스크 입력 화상과, 각 샘플 화상에 직교 변환을 실시한 중간적 화상끼리의 거리에서 일치도를 측정하는 방법을 적용해도 좋다. 직교 변환으로서는, 푸리에 변환 및 이산 코사인 변환 외에, 샘플 화상에 각각 직교 변환을 실시하여 얻어지는 성분이 샘플 화상의 주성분이 되는 직교 변환도 있다.

이상과 같이 하여, 가장 일치도가 높은 샘플 화상(여기서는 도2 중 좌측으로부터 2번째)이 선택되면, 이 선택된 샘플 화상을 취득했을 때의 로봇 위치와 대상물의 특징 부분이 비치는 쪽으로부터 대상물의 위치 및 자세가 계산된다. 또, 대상물의 위치 및 자세의 계산에 필요하면, 다른 2 방향 이상의 촬상 방향으로부터의 촬상으로 입력 화상(2개 이상)을 취득하고, 각 입력 화상에 상기 마스킹을 실시하여 샘플 화상과의 비교 대조를 행해도 좋다.

다음에 도4는, 본 발명의 제2 태양에서 이용하는 방법에 대해 설명하는 도면이다. 본 태양에서는, 입력 화상과 각 샘플 화상과의 비교 대조는 2 단계로 행해진다. 우선 1 단계의 비교 대조는, 각 화상의 모든 화소를 이용하여 행한다. 이 비교 대조에 의해, 샘플 화상 중으로부터 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상(St라 함)으로서 선택한다.

2번째의 비교 대조는, 이 가선택 샘플 화상을 바탕으로 작성된 제2 마스크 화상을 이용하여 행한다. 그로 인해, 상기한 제1 마스크 화상과는 약간 다른 룰로 제2 마스크 화상을 작성한다. 제2 마스크 화상은 개개의 샘플 화상에 대해 작성되 는 것으로, 여기서는 가선택 샘플 화상(St)을 바탕으로 작성한다. 즉, 가선택 샘플 화상(St)에 대해 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 외의 영역의 화소를 무효 화소로 한다. 제1 태양의 설명을 이용한 정의를 사용하여 말하면 다음과 같이 처리를 행한다.

화상 처리 장치(20) 내에서, 가선택 샘플 화상(St)의 각 화소(Aij)에 대해 그 화소(Aij)가 그 샘플 화상(St)에 있어서 대상물이 비치고 있는 화소 영역을 포함하는 적당한 화소 영역 내에 있으면 그 화소(Aij)는 「유효 화소」라 하고, 그렇지 않으면[그 샘플 화상(St)에서 배경이 비친 화소 영역에 포함되는 적당한 화소 영역 내] 「무효 화소」라 판정하는 처리를 행한다. 그 결과, 가선택 샘플 화상(St)에 대해 전체 화소가 「유효 화소」와 「무효 화소」로 분류된다.

이 처리 결과를 기초로 하여 입력 화상을 수정하는 마스크 처리를 행하여, 제2 마스크 입력 화상을 작성한다. 이에 의해, 입력 화상으로부터 배경상의 상당 부분이 제거된다. 그리고, 이 제2 마스크 입력 화상과 각 샘플 화상(S1, S2 … Sq)을 차례로 비교 대조하여 일치도가 가장 높은 샘플 화상을 결정한다. 만약, 가선택이 최상의 선택을 하고 있으면 가선택 샘플 화상(St)이 최종적으로 선택될 것이라 예측되지만, 그렇지 않은 경우도 발생할 수 있다. 또, 비교 대조를 위한 구체적인 처리 및 가장 일치도가 높은 샘플 화상 선택 후의 사항에 대해서는, 제1 태양과 동일하므로 설명은 반복하지 않는다.

마지막으로 도5는, 본 발명의 제3 태양에서 이용하는 방법에 대해 설명하는 도면이다. 본 태양에서는, 입력 화상과 각 샘플 화상과의 비교 대조를 행하기 전 에 제1 마스크 화상과 제2 마스크 화상을 작성한다. 제1 마스크 화상은, 전술한 바와 같이 샘플 화상 모두의 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로서 작성한다. 또한, 제2 마스크 화상은 샘플 화상 각각에 대해 작성하고, 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로서 작성한다.

입력 화상과 각 샘플 화상과의 비교 대조는 2회 행해진다. 1번째의 비교 대조는, 제1 마스크 화상의 유효 화소에 대응하는 화소를 이용하여 행한다. 이 비교 대조에 의해 샘플 화상 중으로부터 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상(Su라 함)으로서 선택한다[가선택 샘플 화상(Su)이라 함]. 2번째의 비교 대조는, 이 가선택 샘플 화상(Su)에 대응하는 제2 마스크 화상의 유효 화소에 대응하는 화소를 이용하여 행한다.

즉, 화상 처리 장치(20) 내에서 가선택 샘플 화상(Su)의 각 화소(Aij)에 대해, 그 화소(Aij)가 그 가선택 샘플 화상(Su)에 있어서 대상물이 비치고 있는 화소 영역을 포함하는 적당한 화소 영역 내에 있으면, 그 화소(Aij)는 「유효 화소」라 하고, 그렇지 않으면[그 샘플 화상(Su)에서 배경이 비친 화소 영역에 포함되는 적당한 화소 영역 내] 「무효 화소」라 판정하는 처리를 행한다. 그 결과, 가선택 샘플 화상(Su)에 대해, 전체 화소가 「유효 화소」와 「무효 화소」로 분류된다.

이 처리 결과를 기초로 하여 입력 화상을 수정하는 마스크 처리를 행하여, 제2 마스크 입력 화상을 작성한다. 이에 의해, 입력 화상으로부터 배경상의 상당 부분이 제거된다. 그리고, 이 제2 마스크 입력 화상과 각 샘플 화상(S1, S2 … Sq)을 차례로 비교 대조하여 일치도가 가장 높은 샘플 화상을 결정한다. 만약, 제1 마스크 화상을 이용한 가선택이 최상의 선택을 하고 있으면 가선택 샘플 화상(Su)이 최종적으로 선택될 것이라 예측되지만, 그렇지 않은 경우도 발생할 수 있다. 또, 비교 대조를 위한 구체적인 처리 및 가장 일치도가 높은 샘플 화상 선택 후의 사항에 대해서는, 제1 태양과 동일하므로 설명은 반복하지 않는다.

본 발명에 의해, 대상물과 같은 종류의 물체에 대해 다른 복수의 방향으로부터 촬상한 복수의 샘플 화상 중으로부터, 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 화상 처리 장치에 있어서, 화상 선택의 정밀도와 신뢰성이 향상된다.

Claims

대상물과 같은 종류의 물체에 대해 다른 복수의 방향으로부터 촬상한 복수의 샘플 화상 중으로부터, 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 화상 처리 장치에 있어서,

상기 모든 샘플 화상의 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제1 마스크 화상을 작성하는 수단과,

상기 제1 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과 일치도가 높은 화상을 선택하는 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
대상물과 같은 종류의 물체에 대해 다른 복수의 방향으로부터 촬상한 복수의 샘플 화상 중으로부터, 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 화상 처리 장치에 있어서,

상기 샘플 화상의 각각에 대해 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제2 마스크 화상을 작성하는 수단과,

상기 입력 화상과 상기 샘플 화상과의 비교 대조에 의해, 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상으로서 선택하는 수단과,

상기 가선택 샘플 화상에 대응하는 제2 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 양 화상과의 일치도가 높은 화상을 선택하는 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
대상물과 같은 종류의 물체에 대해 다른 복수의 방향으로부터 촬상한 복수의 샘플 화상 중으로부터, 입력 화상에 포함되는 대상물의 촬상 방향과 가까운 촬상 방향에 대응하는 화상을 선택하는 화상 처리 장치에 있어서,

상기 모든 샘플 화상의 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제1 마스크 화상을 작성하는 수단과,

상기 샘플 화상 각각에 대해 대상물 영역을 포함하는 영역의 화소를 유효 화소, 그 밖의 영역의 화소를 무효 화소로 한 제2 마스크 화상을 작성하는 수단과,

상기 제1 마스크 화상의 유효 화소에 대응하는 상기 입력 양 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 가선택 샘플 화상으로 하는 수단과,

상기 가선택 샘플 화상에 대응하는 제2 마스크 화상의 유효 화소에 대응하는 상기 입력 화상의 화소를 이용하여 상기 샘플 화상과의 비교 대조를 행하고, 상기 샘플 화상 중으로부터 상기 입력 화상과의 일치도가 높은 화상을 선택하는 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 비교 대조가 비교 대상이 되는 각 화상에 직교 변환을 실시한 중간적 화상끼리의 비교 대조인 화상 처리 장치.
제4항에 있어서, 상기 직교 변환이 푸리에 변환인 화상 처리 장치.
제4항에 있어서, 상기 직교 변환이 이산 코사인 변환인 화상 처리 장치.
제4항에 있어서, 상기 직교 변환을 상기 샘플 화상 각각에 실시하여 얻어지는 성분군이 상기 샘플 화상의 주성분이 되는 화상 처리 장치.