KR100276445B1

KR100276445B1 - 물품인식장치

Info

Publication number: KR100276445B1
Application number: KR1019980019189A
Authority: KR
Inventors: 마나부 하시모토; 아키노부 세키; 데쓰지 하가; 신이치 구로다
Original assignee: 다니구찌 이찌로오; 미쓰비시덴키 가부시키가이샤; 기타오카 다카시
Priority date: 1997-12-17
Filing date: 1998-05-27
Publication date: 2000-12-15
Also published as: JP3444171B2; JPH11175729A; TW364108B; KR19990062408A

Abstract

정위치에서 어긋난 적하에 대해서도 올바른 물체배치의 인식이 가능하고, 또 복잡하고 고정밀도의 화상취득수단을 필요로하지 않는 물체배치의 인식장치를 실현한다.

여기에는 화상취득수단과, 화상으로부터 물체의 후보를 주출하는 물체후보주출수단과 물체후보의 배치의 조합의 가설을 적어도 하나 생성하는 물체배치 가설생성수단과, 상기 각 가설에서 추정되는 입력화상을 생성하는 추정화상 생성수단과, 상기 추정화상과 실제로 화상취득수단에 의해 입력된 입력화상을 비교해서 정합성을 평가하는 화상비교수단과, 이 비교에 의해 가장 실제의 입력정보에 가까운 추정화상을 발생하는 상기 가설을 최량가설로 선택하는 최량가설 선택수단을 구비한 구성으로 하였다.

Description

물품인식장치

본 발명은 적하를 자동적으로 이재하는 로봇이나 산업기계에서 하적된 하물의 배치를 인식하는 물품인식장치에 관한 것이다.

종래의 기술 1

종래의 기술 1에 대해, 일본국 특개평 8-293029호 공보에 기재된 내용을 기초로 설명한다. 도 11은 동공보에 기재된, 종래의 기술 1의 내용을 설명하기 위한 도면이다. 또, 도 12는 동공보에 기재된, 종래의 기술 1의 실시예의 동작을 표시하는 플로차트이고, 도 13은 종래의 기술 1의 실시예에 관한 설명도이다. 이하, 종래의 기술 1의 내용에 대해 이들의 도면을 기초로 설명한다.

도 11에는 상자상태의 물체(알파벳으로 표시)가 팔렛(1102)상에 적재된 모양을 표시하고 있다. 시스템이 기동되면(ST 1201), 팔렛 직상에 설치된 촬상장치(1103)로부터 화상이 입력된다.

ST1203에서는 물체의 적재방법의 기준패턴에 관한 기본상태 정보가 입력부(1107)로부터 입력된다. 이는 기본적재패턴과 물체의 치수데이터로부터 이루어지고, 시스템내부에서는 하자인식모델 생성부(1111)에 의해, 3차원적인 하자모델로서 저장된다.

계속되는 ST1204에서는 상기 하자모델로부터 물체의 외형선의 3차원 위치정보가 생성되고, 또 ST1205에서, 촬상장치의 기하학적 파라미터를 사용해서, 외형선 정보가 투시변환부(1113)에 의해 투시변환된다.

투시변환 데이터는, 3차원 데이터인 적재하물의 기본상태 데이터가 화상에서는 어떻게 보여야 하는 가를 표현한 것이고, 도 13에서는 기준패턴(1302)으로 모식적으로 표시하고 있다.

한편, ST1206, ST1207에서는 촬상한 화상(1301)으로부터 에지검출을 해서 상기 투시변환된 기준패턴(1302)과 비교된다.

도 13의 (1303)에 표시한 바와 같이, 기본상태정보와의 비교에 의해 상자상 물체각각의 유무가 판정된다(ST1207). ST1208에서는 있어야 할 물체가 실제로 존재하면, 물체의 정보가 로봇에 대해 출력(ST1209)되고, 존재하지 않으면 그대로 종료(ST1210)한다. 로봇은 존재하는 물체의 위치정보를 기초로 파지하거나 이동적재 동작을 한다.

종래의 기술 2에 대해 일본국 특개평 6-249631호 공보에 기재된 내용을 기초로 하여 설명한다. 도 14, 16, 17은 동공보에 기재된 종래의 기술 2의 내용을 설명하기 위한 도면이다.

또 도15는 동공보에 기재된 종래의 기술 2의 실시예의 동작을 표시하는 플로차트이다. 이하, 종래의 기술 2의 내용에 대해 이들 도면을 기초로 설명한다.

동기술에서의 계측시스템은, 적재된 상자상태의 하물의 상방에 설치되어있다. 도 14(A)에 계측대상인 적하와, 계측수단과의 위치단계가 표시되어있다. 본 시스템이 기동되면(ST1501), 최초에(ST1502)에 공간 코드화상이 생성된다.

여기서, 공간 코드화상의 생성방법을 간단하게 설명한다. 도 16에 표시한바와 같이, 동기술을 팔렛(161)의 뒤쪽상방에 배치된 투광기(162)와 카메라(163)를 사용한다.

투광기(162)에는 각종의 패턴광을 시계열적으로 투광함으로써, 측정공간은 서로 적층된 쐐기상태 측정영역 rO-rn으로 분할한다.

도 17에 투광기에 의해 투광된 패턴광과 이를 카메라에 의해 계측하는 시점의 위치관계를 표시한다. 패턴광으로는, 예를들면 도16에 표시된 바와 같은 슬릿패턴이 사용된다. 동도면에서는 A, B, C의 세 개의 패턴이 표시되어있고, 흑백의 2치패턴으로 되어있다. 백은 빛이 닿는 부분, 흑은 안닿는 부분이다.

이런 패턴은, 예를들면 액정셔터 같은 도트 매트릭스 전기셔터를 사용해서 만들수가 있다. 빛이 닿아있는 상태를 "1", 닿지않는 상태를 "0"이라고 표현하면, 도 16에서는, 패턴 A가 투광되고 있을때는 앞에서 뒤를 향해서 반씩 1.0이 된다. 마찬가지로 패턴 B에서는, 앞으로부터 순서대로 1/4식 1.0, 1.0이 된다.

패턴 C에서는 1/8씩 1.0, 1.0, 1.0, 1.0이 된다. 이들 3개의 패턴을 투광해서 각각 화상을 촬상하면, 각화소에 대해서는 "0"으로부터 "111"의 3비트 코드로 코드화된 데이터의 어느것인가에 대응시킬수가 있다. 이런 코드를 공간코드라 부른다. 어느 공간코드에 대응하는 것은. 3차원 공간상에서는 쐐기상 영역이고, 거기에 물체 W가 존재해 있으면 물체의 표면상의 화상영역코드가 활당되어 있는 것이 된다. 한편 카메라로 촬상한 화상으로부터 화상선의 어느 화소의 공간코드가 알게되면, 어느 쐐기상태영역에 상당하는가 알수있으므로, 3각 측량의 원리에 의해 물체표면의 높이 즉 카메라로부터의 거리가 알게된다.

이 설명에서는 패턴의 종류를 A, B, C의 3종류로 하였기 때문에 화상전체를 8개의 쐐기상태영역으로 분할하였으나 예를들면, 패턴의 종류를 8종류로 하면, 쐐기상태의 수는 256이 되고, 보다 정밀하게 거리정보의 정밀도를 향상시킬수가 있다.

즉, 공간코드화상을 생성함으로싸, 화상상의 각각의 화소의 카메라로부터의 거리가 계측되는 것이다. 본 종래기술에서는 계속되는 스텝(ST 1503)에서, 적하의 최상단영역을 주출하고 있다. 계측수단이 도 14(A)와 같은 위치관계에 있을 때, 동도(D)와 같은 공간 코드화상이 얻어진다. 이때 화상을 수평으로 좌에서 우로 주사하고, 가장 공간코드가 큰 데이터를 갖는 영역을 주출하면, 그 영역은 동도(E)와 같이 최상단 물체의 상면부분에 대응한다.

ST1504에서는, 최상단 물체영역을 그룹화하고 있다. 본래의 기술에 의하면, 공간코드화상에서 인접하는 화소간에서 공간코드가 소정의 범위내에 근접해 있을 때, 이들 영역을 같은 그룹으로 판단하건, 각 적하상연간에 생기는 홈상부분이나 간격부분의 공간코드의 변화를 기초로 그룹화하고 있다.

그룹화된 각 물체는 계속되는 스텝(ST1505)에서 각 물체의 3차원 위치가 계측된다. 그룹화된 물체의 변연부분에 상당하는 부분의 3차원 좌표를 몇 개를 샘플링해서 이들을 기초로 물체의 중심위치와 자세 및 높이정보를 얻어(ST1506)서, 처리를 종료한다(ST1507). 이 모양은 도14(F1)∼도14(CJ)에 표시되어있다.

이렇게해서 얻어진 적하의 위치데이터를 사용해 로봇으로 적하를 하나씩 이동적재할 수 있다.

상기 종래의 기술 1에 표시된 화상처리장치에서는, 적하에 관한 기본사항에 관한 기본상태 정보를 필요로 하는 즉 물체가 어떻게 배열되어있는 가를 미리 알고있을 필요가 있었다.

따라서, 물체의 위치가 어떤 원인에 의해 기본상태와는 다른 상태에 놓여있을때는 인식이 불가능해진다는 문제점이 있었다. 이런사태는 예를들면 팔렛에 적재된 상자상태 물체가 수송중에 짐이 무너지거나, 또는 팔렛에 짐을실은 작업자가 규정대로 적재하지 않은 경우로서 일상적으로 빈번히 발생하는 것이다. 여기서는 상자상태 물체의 표면에 부착된 테이프등의 영향을 적게해서 물체의 위치인식을 실시하는 것을 목적으로 하고 있으나, 본질적으로 물체의 능선의 어긋난 량을 허용하지 않는 인식방식으로 함으로써 테이프와 물체능선과의 오인을 없이하고 있으므로, 일반적으로 위치의 어긋남을 일으키고 있는 물체의 인식이 불가능하다는 문제점이 있었다.

한편, 상기 제2의 종래기술에 표시된 화상처리장치에서는, 적하의 인식에 필요한 정보를 모두 공간코드 화상에서 획득하기 때문에, 예를들면 해상도 256 x 256 또는 512 x 512화소라는 높은 해상도의 거리화상을 생성할 필요가 있다.

이 때문에, 고정밀도의 패턴투광기가 필요해지고, 또 그것은 시계열적으로 투광패턴을 변화시키는 기구를 갖는 것이 아니면 안된다. 따라서, 패턴 투광장치의 장치규모가 커져 비싸진다는 문제가 있었다. 또, 시계열에서 발생시킨 복수의 투광패턴 각각에 대응시켜서, 화상을 입력하는 필요가 있기 때문에 많은 화상메모리를 필요로하고, 또 거기에 요하는 화상입력시간의 총계도 많이 걸린다는 문제점이 있었다.

또, 동기술에서는 물체의 능선을 거리의 불연속으로만 검출하고 있으므로, 예를들면 다수의 상자상태의 물체가 밀접해서 놓여있는 경우와 같이 물체간의 경계부에 거리(높이)의 불연속이 명확하지 않을때는, 인식의 신뢰성이 저하한다는 문제점이 있었다. 이 문제는 통상의 상자상태 물체가 밀접해서 나열되어있는 것을 생각하면 일상적으로 발생하다고 생각된다.

본 발명은, 상기한 문제점을 해결하기 위해 된 것으로, 위치가 어긋난 적하에 대해서도 올바른 물체배치의 인식이 가능하고, 또 복잡하고 고정밀도의 화상취득수단을 필요로 하지 않는 물체배치의 인식장치를 실현시키는 것을 목적으로 한다.

본 발명의 제1의 구성에 의한 물품인식장치는, 화상취득수단과 화상으로부터 물체의 후보를 주출하는 물체후보 주출수단과, 물체후보의 배치의 조합의 가설을 적어도 하나를 생성하는 물체배치 가설생성수단과, 상기 각가설로부터 추정되는 입력화상을 생성하는 추정화상 생성수단과, 상기 추정화상과 실제로 화상취득수단에 의해 입력된 입력화상을 비교해서 정합성을 평가하는 화상비교수단과, 이 비교에 의해 가장 실제의 입력정보에 가까운 추정화상을 발생하는 상기 가설을 최량가설로 해서 선택하는 최양가설 선택수단을 구비한 것이다.

본 발명의 제2의 구성에 의한 물품인식장치는, 상기 제1의 구성에 의한 물품인식장치에서, 상기 화상 취득수단으로서 농담화상 취득수단 및 거리화상 취득수단을 갖고, 상기 물체후보 주출수단으로서 농담화상으로부터 주출한 에지정보로부터 물체의 후보를 주출하는 수단을 갖고, 상기 물체배치 가설생성 수단에 의해 생성된 각가설로부터 추정에지 화상을 생성하는 수단 및 추정거리 화상을 생성하는 수단을 구비하고, 이들 추정화상과 실제의 입력화상과의 비교에 의해 최량가설을 선택하는 것이다.

본 발명의 제3의 구성에 의한 물품인식장치는, 상기 제1의 구성에 의한 물품인식장치에서, 상기 화상비교수단에 의해 산출된 입력화상과 정화상과의 정합평가 결과에 따라, 높은 정합성을 갖는 복수의 가설을 우량가설로서 선택하는 우량가설 선택수단과, 상기 우량가설을 표시하는 우량가설 표시수단과 표시된 가설을 인간이 확인되고 가장 바람직한 가설을 지시하는 선택가설지시수단과, 지시된 가설을 우량가설로서 선택하는 최우량가설 선택수단을 구비한 것이다.

도 1은 본 발명의 실시의 형태 1에 의한 물품인식장치의 구성을 표시하는 블록도

도 2는 본 발명의 실시의 형태 1에 의한 물품인식장치의 동작의 흐름을 표시하는 플로차트

도 3은 본 발명의 실시의 형태의 처리모양을 모식적으로 표시한 도면

도 4는 본 발명의 실시의 형태 2에 의한 물품인식장치의 구성을 표시하는 블록도

도 5는 본 발명의 실시의 형태 2에 의한 물품인식장치의 동작의 흐름을 표시하는 플로차트

도 6은 본 발명의 실시의 형태의 처리모양을 모식적으로 표시한 도면

도 7은 화상비교방법을 모식적으로 예시한 도면

도 8은 화상비교방법을 모식적으로 예시한 도면

도 9는 본 발명의 실시의 형태 3에 의한 물품인식장치의 구성을 표시하는 블록도

도 10은 본 발명의 실시의 형태 3에 의한 물품인식장치의 동작의 흐름을 표시하는 플로차트

도 11은 종래의 기술 1의 내용을 설명하기 위한 도면

도 12는 종래의 기술 1 실시예의 동작을 표시하는 플로차트

도 13은 종래의 기술 1 실시예에 관한 설명도

도 14는 종래의 기술 2의 내용을 설명하기 위한 도면

도 15는 종래의 기술 2의 실시예의 동작을 표시하는 플로차트

도 16은 종래의 기술 2의 내용을 설명하기 위한 도면

도 17은 종래의 기술 2의 내용을 설명하기 위한 도면

〈도면의 주요부분에 대한 부호의 설명〉

101: 화상취득수단 102: 물체후보주출수단

103: 물체배치가설 생성수단 401: 농담(濃淡)화상취득수단

402: 에지검출수단 408: 에지화상비교수단

409: 거리화상비교수단 410: 최량가설선택수단

600: 3차원 신 601: 흑백 CCD 카메라

602: 농담에지화상 701: 3차원 신

703: 입력에지화상 704: 추정에지화상

801: 인식대상 803: 입력거리화상

804: 측정거리화상 902: 물체후보주출수단

903: 물체배치가설생성수단 904: 추정화상생성수단

905: 화상비교수단 907: 우량가설표시수단

908: 조작자 909: 선택가설지시수단

910: 최량가설선택수단

실시의 형태 1

도 1은 본 발명의 실시의 형태 1에 의한 물품인식장치의 구성을 표시하는 블록도이고, 도 2는 본 발명의 실시의 형태 1에 의한 물품인식장치의 동작의 흐름을 표하는 플로차트이다. 이하, 이 플로차트에 따라 본 물품인식장치의 동작을 설명한다.

또, 여기서는 설명의 간단화를 위해 인식해야 할 물체의 형상에 대해 예를들면 단볼박스같은 다면체형상을 상정하고 있다. 또, 물체는 동일형상 및 동일사이즈의 것이 적재되어있는 상태를 상정한다.

우선 최초에 장치가 기동되면 (ST201), 화상취득수단(101)에 의해 인식대상의 농담화상이 입력된다. 화상취득수단(101)은 예를들면 흑백 CCD 카메라이고, 물체가 적재도니 팔렛의 상방에 연직하방을 향해 배치된다.

화상취득수단(101)에 의해 입력된 농담화상은 에지검출이 실시되고(ST203), 에지정보를 기초로 텐 플레이트 매칭(Ten plate matching)에 의해 상자상태 물체의 코너부가 검출되고, 물체후보 주출수단(102)에 의해 N개의 물체후보가 주출된다(ST204).

도 3은 본 발명의 실시의 형태 1의 처리모양을 모식적으로 표현한 도면이고, 상기 물체후보라는 것은 도면중 후보 C1, C2, ……CN로 표시된 위치와 자세로 존재하는 상자상태 물체를 말한다(303a, 303b , 303c 및 303D).

이들 상자상태 물체는, 반드시 실제로 존재하는 올바른 물체뿐 아니라, 상자상태 물체의 표면에 부처진 테이프나 인쇄문자등의 영향에 의해 착오로 주출된 물체(위 후보물체라고 부름)도 포함되어있다.

예를들면, 도 3에서는, 물체후보 C3등은 잘못된 후보이다. 따라서, 후보수 N는 실제로 공간에 존재해서 카메라에서 보이는 물체의 개수보다도 큰수가 된다.

계속되는 ST205에서는 물체배치가설 생성수단(103)에 의해 상기 복수의 물체후보의 배치의 조합을, 물체배치가설(304)상기 복수의 물체후보의 배치의 조합을, 물체배치가설(304)로서 생성한다. 가설은 N개의 물체의 조합으로서, H₁, H₂,……H_M의 M개 생성된다(304a, 304b, 304c, 304d).

도 3의 예에서는 가설 H₁은 후보물체 C₁, C₂등의 조합으로 되어있고, 가설 H₂는 물체후보 C₁, C₃등으로 되어있다. 이 시점에서, M개의 개설중에서 가장 올바른 가설을 선택하면 물체를 인식한 것에 상당한다. 처리순서 ST206 이후의 처리에서는 어떻게하면 올바른 가설을 선택하는 가를 설명한다.

우선, 가설 H₁에 대해 정당성을 평가한다. ST206에서는 추정화상 생성수단(106)에 의해, 가설 H₁에 상당하는 농담 에지화상을 추정해서 생성한다(305). 가설 H₁은 3차원 물체의 조합으로서 기술되어 있으므로, 3차원 기술인 H₁을 카메라의 기하학적 파라미터를 사용해서 화상평면에 투영함으로써 간단하게 추정 에지화상을 생성하는 것이 가능하다.

다음, ST207에서 화상비교수단(105)에 의해 상기 추정화상과 실제의 입력에지화상을 비교해, 정합성을 평가한다(306). 정합성의 평가방법으로는, 예를들면 정합도의 맞는 율을 다음과 같이 정의해서 계산한다.

[수 1]

여기서, a, b는 화상의 사이즈 I는 입력에지화상, G는 추정화상이다. 정합도 S는, 추정화상과 입력화상이 닮을수록 작은 값을 취한다. ST208에서는, 계산된 S가 지금까지 계산의 전체의 가설이 갖는 정합도 보다도 높은 정합도(즉 작은 S)를 취할때는 그 가설을 최량가설로서 등록하고(ST209), 그렇지 않은 경우에는 모든 가설을 조사할때까지 ST206∼ST210까지의 처리를 반복한다. 이 처리는 최량가설 선택수단(106)에 의해 실시된다.

모든 가설에 대해 추정화상과 입력에지 화상과의 정합성을 평가해서 가장 정합성이 높은 가설이 얻어지면, 그것을 최량의 가설 즉 인식결과로서 출력해서 처리를 종료한다(ST211).

이상 설명한 바와 같이 본 실시의 형태 1에서는 미리 에지화상에서 다수 주출한 물체후보의 배치의 조합으로서 물체배치의 가설을 다수 생성해서, 그중에서 가장 실제의 입력화상과 정합하는 가설을 선택함으로써 복수의 물체를 동시에 인식하는 것이다.

본 실시의 형태 1에서는, 물체배치의 추정을 현실적으로 취득한 하자의 화상에 따라 실시하므로, 기준패턴의 조회를 하는 종래의 기술에 비해, 물체배치가 불규칙하여도 배치의 인식이 가능하다.

또, 본 실시의 형태 1에서는, 물체후보의 주출수단으로 에칭화상에 의한 텐플레이트 매칭을 사용하였으나 통상의 농담화상에 의한 텐플레이트 매칭이나 농담화상을 일단 2치화해서 2치(値)화상의 텐플레이트 매칭을 사용하는 방법이나 에지검출결과로부터 하프변수등의 파라메틱릭한 패턴주출의 방법에 의해 상자상태 물체의 특징적인 패턴을 주출해서 후보로서 취급할 수도 있다.

또, 본 실시의 형태 1에서는, 추정화상과 입력화상의 정합성 판정에서, 농담에지화상을 사용하는 방법을 설명하였으나, 농담화상을 직접 추정할 수 있는 경우에는, 농담화상을 사용하거나 2치(値)화상으로 변환시켜 정합성을 비교하거나, 또는 화상취득수단으로서 컬러카메라를 사용하는 경우에는, 컬러정보를 사용한 정합성비교를 하여도 같은 효과가 얻어진다는 것은 말할 필요가 없다.

또, 본 실시의 형태 1에서는, 정합비교 계산에서 식(1)에 표시되는 바와 같이 추정화상과 입력화상의 차에 착목한 방법을 기술하였으나, 화상간의 유사도를 계산하면 되므로, 예를들면 상호상판치등을 사용해도 같은 효과를 나타내는 것은 물론이다.

이상 설명한 실시의 형태 1에서는, 모두에서도 언급한 대로 인식해야 할 대상물체로서 다면체 즉 상자상태의 물체의 단일품종 물체를 상정하고 있었다. 그러나 예를들어 시멘트포대, 쌀포대등, 포대상태의 물체라도 본 발명의 구성요소를 아무런 변경없이 동일한 구성으로 화상인식을 실현할 수가 있다.

또, 이상 설명한 본 실시의 형태 1에서는 단일품종의 물체가 적재되어 있는 상황을 상정하였으나, 처리장치 내부에 복수의 물체의 치수데이터를 미리 저장해두어, 복수의 물체후보를 생성해서 그 배치조합으로서 물체배치의 가설을 생성하기만 하면, 다른종류의 물체가 복수개 적재되어있는 상황에 대해서도 본 발명이 효과를 나타내는 것은 물론이다.

실시의 형태 2

도 4는 본 발명의 실시의 형태 2에 의한 물품인식장치의 구성을 표시하는 블록도이다. 도 5는 본 발명의 실시의 형태 2에 의한 물품인식장치의 동작의 흐름을 표시하는 플로차트이다. 이하, 이 플로차트에 따라, 본 물품인식장치의 동작을 설명한다.

또, 실시의 형태 1과 같이 설명의 간단화를 위해 인식해야 할 물페의 형상에 대해 예를들면, 단볼상자같은 다면체형상을 상정한다. 또 물체는 동일형상 및 동일사이즈의 것이 적재되어 있는 상태를 상정한다. 도 6은 본 실시의 형태의 처리모양을 모식적으로 표시한 도면이나, 도면과 같은 3차원 신(scene)(600)을 카메라(601)가 관측해 있는 상황을 생각한다.

우선 최초에, 장치가 기동되면(ST 501), 농담화상 취득수단(401)에 의해 인식대상의 농담화상이 입력된다(ST502). 농담화상 취득수단은 예를들면 흑백카메라(601)이고, 물체가 적재된 팔렛의 상방에 연직하방을 향해 배치된다.

상기 화상취득수단에 의해 입력된 농담화상은 에지검출수단(402)에 의해 에지검출이 실시되고(ST503), 농담에지화상(602)이 생성된다.

다음, ST504에서는, 거리화상 취득수단(403)에 의해 대상물체의 거리화상(603)이 취득된다. 거리화상 취득수단은 예를들면 스테레오 카메라이고, 농담화상 취득수단과 광축을 공유하고 있다. 거리화상이라는 것은, 어떤시점에 보이고 있는 신의 각점에서 기준점으로부터 각점까지의 거리정보를 화상상에 저장한 것이다. 계속되는 ST505에서는 물체후보주출수단(404)에서 물체의 후보가 주출된다. 농담에지화상으로 부터의 주출처리에 대해서는 실시의 형태 1에 표시한 바와 같이, 텐플레이트 매칭에 의한 코너패턴검출이 사용된다. 주출된 물체후보는 도 6에서, C₁, C₂,……CN에서 표시된 위치와 자세로 존재하는 상자상태의 물체이다(604a, 604b, 604c 및 604d).

이들 상자상태의 물체는, 반드시 실제로 존재하는 올바른 물체만이 아니고, 상자상태의 표면에 부쳐진 테이프나 인쇄문자등의 영향에 의해 착오로 주출된 물체(위 후보물체라 부른다)도 포함되어있다. 예를들면, 도 6에서는 물체후보 C₃등은 잘못된 후보이다.

ST506에서는, 물체배치 가설생성수단(405)에 의해 상기 복수의 물체후보의 배치의 조합을 물체배치가설(605)로서 생성한다. 가설은 N개의 물체의 조합으로서, H_1,H₂, ……H_M의 생성된다(605a, 605b, 605c, 605d). 도 6에서는, 가설 H₁은 후보물체 C₁, C₂등의 조합으로 되어있고, 가설 H₂는 물체후보 C₁, C₃등으로 되어있다.

이 시점에서, M개의 가설중에서 가장 정당한 가설을 선택하면 물체를 인식한 것에 상당하므로, 처리수단 ST507 이후에서는 여하히해서 정당한 가설을 선택하는 가를 설명한다.

우선 가설 H₁에 대해 정당성을 평가한다. ST507에서는 추정에지화상 생성수단(406) 및 추정거리화상 생성수단(407)에 의해 각각 가설 H₁에 상당하는 농담에지 화상과 거리화상을 추정해서 생성한다(606).

가설 H₁은 3차원 물체의 조합으로서 기술되어 있으므로, 3차원 기술인 H₁을 카메라의 기하학적 파라미터를 사용해서 화상평면에 투명함으로써 간단하게 추정에지 화상을 생성하는 것이 가능하다. 또, 거리화상에 대해서도, 농담화상 취득수단인 카메라의 광축을 공유하고, 또 거리화상 취득에 관한 광학계의 기하학적 파라미터가 기지이므로 간단하게 추정화상을 생성하는 것이 가능하다.

다음 ST508에서 입력화상과 추정화상의 비교가 실시된다(607).

농담 에지화상에 관해서는 에지화상비교수단(408)에 의해 추정에지화상과 입력에지 화상과의 비교가되어, 거리화상에 관해서는, 거리화상비교수단(409)에 의해 추정거리화상과 입력거리화상과의 비교가 시행된다.

도 7 및 도 8 에는 이들 화상비교방법을 모식적으로 예시하고 있다.

도 7 에서는, 실제의 인식대상이 되는 3차원 신(701)에서 얻어진 입력에지 화상(703)과 가설의 하나(702)에서 추정된 추정에지화상(704)을 비교해서 일치하지 않는 에지성분(705)을 검출해서 이것이 작을수록 정합성이 좋다고 판정한다.

도 8 에서는, 마찬가지로 인식대상(801)에서 얻어진 실제의 입력거리화상(803)과 가설의 하나(802)로부터 추정된 추정거리화상(804)을 비교해 거리데이터가 일치하지 않는 부분(805)을 검출해서 이것이 적을수록 정합성이 높다고 판정하는 것이다.

ST509에서는, 평가된 화상의 정합성이 지금까지 계산된 모든 가설이 갖는 정합도 보다도 높은 정합성도를 갖는 경우에는 그 가설을 최량가설로 해서 등록하고(ST510), 그렇지 않은 경우에는 모든 가설을 조사할때까지 ST507∼ST511까지의 처리를 반복한다. 이 처리는 최량가설 선택수단(401)에 의해 시행된다.

모든 가설에 대해 추정화상과 입력에지화상의 정합성을 평가해, 가장 정합성이 높은 가설이 얻어지면, 이를 최량의 가설 즉 인식결과로서 출력하고, 처리를 종료한다(ST512).

이상 설명한 바와 같이, 실시의 형태 2에서는, 미리 에지화상에서 다수 주출만 물체후보의 배치의 조합으로서 신기술의 가설을 다수 생성하고, 그중에서 가장 실제의 입력화상과 정합하는 가설을 선택함으로써 복수의 물체를 동시에 인식하는 것이다. 도 6에서는 가설 H₂가 가장 입력화상과 정합성이 높은 가설이라고 판정되어(608)있다.

본 실시의 형태 2에서는 농담에지화상과 거리화상을 사용하고 있으므로, 농담에지화상만을 사용하는 실시의 형태 1에 비해서 보다 신뢰성이 높은 물체배치의 인식이 가능하다.

또, 본 실시의 형태 2에서는, 물체후보의 추출수단으로 에지화상에 의한 텐플레이트 매칭법을 사용하였으나, 통상의 농담화상에 의한 텐플레이트 매칭이나, 농담화상을 일단 2치화해서, 2치화상의 텐플레이트 매칭을 사용하는 방법이나, 에지 검출결과로하므 변환등의 파라메트릭한 패턴주출의 수법에 의해 상자상태 물체의 특징적인 패턴을 주출해서 후보로 취급할수도 있다.

또, 본 실시의 형태 2에서는, 거리화상 취득수단으로서, 농담화상의 취득수단과 카메라 광축을 공유하는 광학계를 갖는 방법을 예로 하였으나, 이들 정보취득 수단의 상호위치관계가 기지이면, 반드시 카메라 카메라광축을 공유할 필요는 없고, 본 발명에서 같은 효과를 나타내는 것은 말할 필요가 없다.

여기서, 이상 설명한 실시의 형태 2에서는, 모두에서 진술한 바와 같이 인식해야할 대상물체로서 다면체 즉 상자상태의 물체의 단일 품종물체를 상정하고 있었다. 그러나, 에를들면 시멘트포대 쌀포대등의 포대상태의 물체라도, 본 발명의 구성요소를 아무런 변경없이 동일한 구성으로 화상인식을 실현시킬수가 있다.

또, 이상 설명한 실시의 형태 2에서는, 단일 품종의 물체가 적재되어 있는 상황을 상정하였으나, 처리장치 내부에 복수의 물체의 치수데이터를 미리 저장해두고, 복수의 물체후보를 생성하고, 그 배치조합으로서 신가설등 생성하지만 하면 다른 종류의 물체가 여러개 적재되어있는 상황에 대해서도 같은 효과를 나타내는 것은 말할것도 없다.

실시의 형태 3

도 9는 본 발명의 실시의 형태 3에 의한 물품인식장치의 구성을 표시한 블록도이고, 도10은 본 발명의 실시의 형태 3에 의한 물품인식장치의 동작의 흐름을 표시하는 플로차트이다. 이하, 이 플로차트에 따라 본 물품인식장치의 동작을 설명한다.

장치가 기동되면(ST 1001), 화상취득수단(907)에 의해, 인식대상의 농담화상이 입력된다(ST1002). 화상취득수단을 예를들면 흑백 CCD 카메라이고, 물체가 적재된 팔렛상방에 연직하방을 향해 배치된다.

화상취득수단에 의해 입력된 농담화상은 에지검출이 되고(ST1003), 에지정보를 기초로 텐플레이트 매칭에 의해 상자상태물체의 코너부가 검출되고, 물체 후보주출수단(902)에 의해 물체배치가설 생성수단(903)에 의해 상기 복수의 물체후보의 배치의 조합을, 물체배치가설로서 생성한다.

물체후보주출 및 물체후보로부터의 생성에 관해서는, 실시의 형태 1에서의 도 3과 같은 동작이 된다.

다음 생성된 복수가설중에서 가장 정당한 가설을 선택하는 처리에 대해 설명한다. 복수의 가설 모두에 대해, ST1006에서는, 추정화상 생성수단(904)에 의해 가설에 상당하는 농담에지화상을 추정해서 생성한다.

또, 이들 추정화상을 화상비교수단(905)에 의해 입력화상과 비교하고, 정합성을 판정한다(ST1007), ST1008에서는 정합성이 미리 설정한 임계치보다 높은 가설을, 우량한 가설로서 우량가설 표시수단(907)에 의해 인간의 조작자(908)에 대해, 예를들면,도 3(304)과 같은 3차원적 표시에 의해 표시한다. 인간의 조작자는 복수의 우량한 가설을, 눈으로 확인하고, 가장 정당하다고 생각되는 가설을 선택가설 지시수단(909)에 의해 지시한다(ST1009).

인간에 의해 선택된 최종적인 가설을, 최양가설 선택수단(910)에 의해 최양가설, 즉 인식결과라고 해서 등록되고, 처리를 종료하게 된다(ST1011).

이상 설명한 바와 같이, 실시의 형태 3에서는 미리에지화상에서 다수 주출한 물체후보의 배치의 조합으로서 신기술의 가설을 다수 생성하고, 그중에서 가장 실제의 입력화상과 정합하는 가설을 선택함으로써 복수의 물체를 동시에 인식하나, 이때에, 정합성이 어느정도 높은 것 여러개를 픽업해서 인간에 보여주고, 인간이 개제해서 최종적인 인식을 함으로써 복잡한 판정을 정확하게 하도록 동작한다.

본 실시의 형태 3에서는, 물체후보의 주출방법으로서, 에지화상에 의한 텐플레이트 매칭을 사용하였으나, 통상의 농담화상에 의한 텐플레이트 매칭이나, 농담화상을 일단 2치화상의 텐플레이트 매칭을 사용하는 방법이나, 에지검출결과로부터 하는 변환등의 파라메트릭한 패턴주출방법에 의해 상자상태물체의 특징적인 패턴을 주출해서 후보로 취급하는 것이다.

또, 본 실시의 형태 3에서는 추정화상과 입력화상의 정합성 판정에서, 농담에지화상을 사용하는 방법을 설명하였으나, 농담화상을 직접추정 할 수 있을때는 농담화상을 사용하거나 2치화상으로 변환해서 정합성을 비교하거나, 또는 화상취득수단으로서 컬러카메라를 사용할 때는 컬러정보를 사용한 정합성비교를 하여도 같은 효과가 얻어지는 것은 말할 것도 없다.

물론, 실시의 형태 2와 같이 거리화상을 병용한 정합성 판정을 해도된다.

본 발명은 이상 설명한 바와 같이 구성되어 있으므로, 아래에 표시하는 바와 같은 효과를 나타낸다.

본 발명의 제1의 구성인 물품 인식장치에 의하면, 화상취득수단과 화상으로부터 물체의 후보를 적출하는 물체후보 절출수단과, 물체후보의 배치의 조합의 가설을 적어도하나 생성하는 물체배치가설 생성수단과, 상기 각 가설로부터 추정되는 입력화상을 생성하는 추정화상 생성수단과, 상기 추정화상과 실제로 화상 취득수단에 의해 입력된 입력화상을 비교해서 정합성을 평가하는 화상비교수단과, 이 비교에 의해 가장 실제의 입력정보에 가까운 추정화상을 발생하는 상기 가설은 최양가설을 선택하는 최양가설 선택수단을 구비하였으므로, 물체배치의 기준패턴과의 일치를 요구되는 일없이 임의의 물체배치를 인식할 수가 있다.

본 발명의 제2의 구성인 물품인식장치에 의하면, 상기 제1의 구성에 의한 물품인식장치에서, 상기 화상취득수단으로 농담화상 취득수단 및 거리화상 취득수단을 갖고, 상기 물체후보 주출수단으로서 농담화상으로부터 주출한 에지정보로부터 물체의 후보를 주출하는 수단을 갖고, 상기 물체배치가설 생성수단에 의해 생성된 각가설로부터 추정에지 화상을 생성하는 수단 및 추정거리화상을 생성하는 수단을 구비하고, 이들 추정화상과 실제의 입력화상의 비교에 의해 최량가설을 선택하도록 하였으므로, 화상취득수단으로서 농담, 화상취득수단과 거리화상 취득수단을 병용하였으므로, 보다 신뢰성이 높은 물체배치의 인식이 가능하다.

본 발명의 제3의 구성인 물품인식장치에 의하면, 상기 제1의 구성에 의한 물품인식장치에서, 상기 화상비교수단에 의해 산출된 입력화상과 정화상과의 정합성평가결과에 따라 높은 정합성을 갖는 복수의 가설을 우량가설로서 선택하는 용량가설선택수단과, 상기 우량가설을 표시하는 우량가설 표시수단과, 표시된 가설을 인간이 인식하고, 가장 바람직한 가설을 지시하는 선택가설 지시수단과, 지시된 가설을 최양가서로서 선택하는 최양가설 선택수단을 구비한 것으로, 제시된 여러개의 가설중에서 조작자가 최양의 가설을 선택할 수 있도록 하였으므로, 더욱 신뢰성이 높은 물체배치의 인식이 가능하다.

Claims

화상취득수단과 화상으로부터 물체의 후보를 주출하는 물체후보 주출수단과, 물체후보의 배치 조합의 가설을 적어도 하나 생성하는 물체배치가설 생성수단과, 상기 각 가설로부터 추정되는 입력화상을 생성하는 추정화상 생성수단과, 상기 추정화상과 실제로 화상취득수단에 의해 입력된 입력화상을 비교해 정합성을 평가하는 화상비교수단과, 이 비교에 의해 가장 실제의 입력정보에 가까운 추정화상을 발생하는 상기 가설을 최양가설로 선택하는 최양가설 선택수단을 구비한 것을 특징으로 하는 물품인식장치.
제 1 항에 있어서,

상기 화상취득수단으로서 농담화상 취득수단 및 거리화상 취득수단을 갖고, 상기 물체후보 주출수단으로서 농담화상으로부터 주출한 에지정보로부터 물체의 후보를 주출하는 수단을 갖고, 상기 물체배치가설 생성수단에 의해 생성된 각가설로부터 추정에지화상을 생성하는 수단 및 추정거리 화상을 생성하는 수단을 구비하고, 이들 추정화상과 실제의 입력화상과의 비교에 의해 최양가설을 선택하는 것을 특징으로 하는 물품인식장치.
제 1 항에 있어서,

상기 화상비교수단에 의해 산출된 입력화상과 추정화상의 정합성 평가결과에 따라, 높은 정합성을 갖는 복수의 가설을 우량가설로 선택하는 우량가설선택수단과, 상기 우량가설을 표시하는 우량가설 표시수단과, 표시된 가설을 인간이 확인하고 가장 바람직한 가설을 지시하는 선택가설 지시수단과, 지시된 가설을 최양가설로 선택하는 최양가설 선택수단을 구비한 것을 특징으로 하는 물품인식장치.