KR20070015864A - 삼차원 계측시스템, 삼차원 계측방법 및 컬러코드 부착표식 - Google Patents

Abstract

코드화 된 타겟을 사용하는 것에 의해, 광역의 비접촉 삼차원 측정을 효율화, 자동화하는 삼차원 계측 시스템을 제공한다.

위치검출용 패턴(P1)과 코드패턴(P3)을 갖는 4개의 코드 부착표식(CT)을 포함하도록 측정대상물(1)을 스테레오 촬영하고, 2개의 코드 부착표식(CT)을 공유하도록 인접하는 화상을 촬영하면서 일련의 화상을 스테레오 촬영하고, 한 쌍의 촬영화상으로부터 위치검출용 패턴(P1)과 코드패턴(P3)을 추출하고, 코드 부착표식(CT)의 식별코드를 이용하여 기준점에 대응하는 대응점을 탐색하여, 스테레오 매칭영역을 정하여, 촬영으로부터 추출, 표정(標定)처리, 삼차원 계측에 도달하는 처리를 전자동화한다.

3차원 계측, 컬러코드, 표식

Description

삼차원 계측시스템, 삼차원 계측방법 및 컬러코드 부착표식{THREE-DIMENSIONAL MEASUREMENT SYSTEM AND METHOD OF THE SAME, AND COLOR-CODED MARK}

도 1은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 2는 제1 실시형태에 있어서의 삼차원 계측시스템의 전체 구성예의 블록도이다.

도 3은 추출부 및 식별코드 판별부를 포함하는, 컬러코드 추출수단의 구성예를 나타내는 도면이다.

도 4는 제1 실시형태에 있어서의 삼차원 계측시스템의 처리 플로우 예를 나타내는 도면이다.

도 5는 오버랩 촬영의 예를 나타내는 도면이다.

도 6은 스테레오 카메라로 촬영되는 촬영화상의 예를 나타내는 도면이다.

도 7은 컬러코드 부착타겟의 추출의 플로우 예를 나타내는 도면이다.

도 8은 레트로 타겟을 이용한 무게중심위치 검출의 설명도면이다.

도 9는 컬러코드 부착타겟 영역방향 검출처리부의 처리 플로우 예를 나타내는 도면이다.

도 10은 컬러코드 부착타겟 영역방향 검출처리부의 처리 플로우 예를 나타내는 도면이다.

도 11은 레트로 타겟의 코드 읽기를 설명하기 위한 도(그 1)이다.

도 12는 레트로 타겟의 코드 읽기를 설명하기 위한 도(그 2)이다.

도 13은 스테레오 페어 선택의 플로우예를 나타내는 도면이다.

도 14는 컬러코드 부착타겟의 색식별수가 적은 경우에 있어서의 촬영차례의 예를 나타내는 도면이다.

도 15는 대응점 결정처리를 설명하는 플로우차트의 예이다.

도 16은 스테레오 화상에 있어서의 모델 화상 좌표계 XYZ와 카메라 좌표계 xyz의 설명도이다.

도 17은 레퍼런스 포인트의 자동 대응부의 플로우예를 나타내는 도면이다.

도 18은 레퍼런스 포인트를 갖는 타겟의 예를 나타내는 도면이다.

도 19는 좌우 화상에 있어서의 탐색범위와 템플릿 화상의 일례를 나타내는 도면이다.

도 20은 스테레오 매칭 에어리어의 자동결정의 처리 플로우 예를 나타내는 도면이다.

도 21은 스테레오 매칭 에어리어 설정을 설명하기 위한 도면이다.

도 22는 계측위치 지정 처리를 설명하는 플로우차트의 예이다.

도 23은 제 2 실시형태에 있어서의 삼차원 계측시스템의 전체 구성예의 블록도이다.

도 24는 촬영 대상물에 투영된 기준패턴의 예를 나타내는 도면이다.

도 25는 복수의 컬러 레트로 타겟을 조합한 컬러코드 부착타겟의 예를 나타 내는 도면이다.

도 26은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 27은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 28은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 29는 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 30은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 31은 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 32는 컬러코드 부착타겟의 예를 나타내는 도면이다.

도 33은 컬러코드 부착타겟의 예를 나타내는 도면이다.

<도면의 주요부분에 대한 부호의 설명>

1 : 측정대상물 10 : 화상촬영장치

12 : 투영장치 13 : 촬영화상 데이터 기억부

40 : 대응부 41 : 추출부

42 : 기준점 설정부 43 : 대응점 탐색부

44 : 표정부 45 : 대응점 지시부

46 : 식별코드 판별부 47 : 배열부

48 촬영·모델화상 표시부 48A : 모델화상 형성부

48B : 모델화상 기억부 49 : 계산 처리부

50 : 표시화상 형성부 51 : 삼차원 좌표 데이터 연산부

53 : 삼차원 좌표 데이터 기억부 54 : 입체적 이차원 화상 형성부

55 : 입체적 이차원 화상 기억부 56 : 화상 대응부

57 : 입체적 이차원 화상 표시부 58 : 자세 지시부

59 : 화상 변환부 60 : 표시장치

100, 100A : 삼차원 계측시스템 110 : 탐색 처리부

111 : 레트로 타겟 검출처리부 120 : 레트로 타겟 그룹화 처리부

130 : 컬러코드 부착타겟 검출처리부

131 : 컬러코드 부착타겟 영역방향 검출처리부

140 : 화상·컬러패턴 기억부 141 : 읽기화상 기억부

142 : 컬러코드 부착타겟 대응표 150 : 표식정보 기억부

151 : 삼차원 위치계측부 200 : 레트로 타겟

204 : 안쪽 원부 206 : 바깥쪽 원부

311 : 색채 검출처리부 312 : 색채 보정부

313 : 확인처리부 321 : 좌표변환 처리부

322 : 코드변환 처리부 491 : 패턴검출부

492 : 패턴형성부 493 : 패턴투영부

494 : 색채수정부 CT, CT1∼CT11 : 컬러코드 부착타겟

EP : 에피폴라 라인 I : 탐색범위

L12, L23, L31 : 변 P1 : 위치검출용 패턴(레트로 타겟부)

P2 : 기준색 패턴(기준색부) P3 : 컬러코드 패턴(컬러코드부)

P4 : 빈 패턴(백색부) P5 : 검은영역부

P6 : 분리영역부 P7 : 템플레이트 패턴

P8 : 컬러 레트로 타겟 R1∼R3 : 무게중심점

RF : 레퍼런스 포인트 T : 템플레이트 화상

To : 역치 T1∼T3 : 임시라벨

본 발명은, 삼차원 계측시스템, 삼차원 계측방법 및 컬러코드 부착표식에 관한 것이다. 자세한 것은, 삼차원 계측된 각 영역을 접속 통합하고, 광범위한 영역을 자동적으로 계측 가능한 삼차원 계측시스템 및 삼차원 계측방법 및 계측위치를 나타내기 위한 위치검출용 패턴과, 표식을 식별하기 위한 컬러코드패턴을 구비하고, 삼차원 형상측정이나 측량에 사용하는 컬러코드 부착표식에 관한 것이다.

종래는, 비접촉으로 삼차원 계측을 행하는 경우, 비접촉 삼차원 계측기로 불리는 패턴 투광기와 CCD카메라가 일체가 된 비교적 대형인 장치로 작은 영역마다 계측을 행하고, 또한 그 작은 영역마다 붙인 각각의 타겟을 사진 측량수법으로 계측하여, 그 좌표점으로부터 그 작은 영역들을 통합하여, 광범위한 계측을 행하고 있었다. 또한, 디지털카메라 등의 화상만으로 삼차원 계측을 하는 경우, 스테레오 페어의 설정, 2장 이상의 화상의 표정(標定, orientation) 및 계측위치의 설정을 매뉴얼 혹은 반자동처리로 행하고 있었다.

한편, 타겟이란 측정대상물의 위치, 형상을 고정밀도로 특정하기 위해서, 측 정대상물에 붙이는 표식을 말한다. 이 경우, 타겟으로서는 레트로 타겟(도 8 참조)이나 템플레이트(도 32 중 P7로서 나타낸 것) 등이 사용되고 있었다.

광범위한 영역을 계측하기 위해서는, 대형의 비접촉 삼차원 측정기로 다수 개소의 작은 영역을 계측하고, 또한 사진 측량수법에 의해, 각각의 작은 영역에 붙여진 화상 접속용의 타겟을 카메라로 촬영하고, 각 타겟점을 고정밀도로 삼차원 계측하여, 그 카메라 좌표계와 각 삼차원 측정기로 계측한 작은 영역 내의 타겟의 삼차원 좌표계(지구좌표계 등)를 통합하여 광범위한 전체영역으로 하고 있었다.

그러나, 이 수법에 의하면, 작은 영역과 광범위한 영역의 측정에 별도의 측정기를 이용해야 하고, 번잡하며, 또한, 삼차원 계측 전체를 통한 자동화를 할 수 없다고 하는 문제가 있었다. 특히, 고정밀도로 광범위에 걸쳐 다수의 작은 영역을 통합하는 경우는, 각각의 계측 범위가 좁아지기 때문에 결과적으로 계측 영역수가 방대하게 되어, 결과적으로 번잡하고 효율이 나쁜 작업이 되고 있었다. 예를 들면, 차(car)의 측면을 계측하는 것만으로도 작은 영역수는 100컷 이상이 되어 있다. 이와 같이, 개개의 작업은 간단하더라도 전체적으로는 많은 노력이 들어, 비효율적인 작업이 되고 있다고 하는 문제가 있었다.

또한, 종래의 표식에서는, 동일 패턴을 채용하고 있기 때문에, 이들 표식간의 식별이 곤란하고, 스테레오 화상에 있어서의 대응점의 특정, 다른 화상간의 대응점의 특정이 용이하지 않다고 하는 문제가 있었다. 이 때문에, 촬상으로부터 삼차원 계측까지의 공정을 전자동화하는 것이 곤란하다고 하는 문제가 있었다. 또 한, 화상의 색채 보정을 행하는 경우에는, 타겟과는 다른 보정용의 표식을 준비할 필요가 있었다.

본 발명은, 하나의 시스템으로 광역의 비접촉 삼차원 측정을 효율화하는 것, 자동화하는 것을 목적으로 한다.

또한, 삼차원 계측에 이용하는 표식을 식별할 수 있도록 하여, 스테레오 화상에 있어서의 대응점의 특정, 다른 화상간의 대응점의 특정을 용이하게 하는 것을 목적으로 한다. 또한, 이것에 의해 촬상으로부터 삼차원 계측까지의 공정의 전자동화에 기여하는 것을 목적으로 한다. 또한, 이 표식 자체를 이용하여, 화상 색채의 보정도 가능하게 하는 것을 목적으로 한다.

상기 과제를 해결하기 위해서, 본 발명에 관한 삼차원 계측시스템(100)은, 예를 들면 도 2에 나타내는 바와 같이(코드 부착표식에 대해서는 도 1 참조), 면내에 계측위치를 나타내기 위한 위치검출용 패턴(P1)과, 표식을 식별하기 위한 코드패턴(P3)을 갖는 코드 부착표식(CT)을 포함하도록 2방향에서 촬영된 측정대상물(1)의 한 쌍의 촬영화상을 기억하는 촬영화상 데이터 기억부(13)와, 한 쌍의 촬영화상으로부터 코드 부착표식(CT)의 위치검출용 패턴(P1)과, 코드패턴(P3)을 추출하는 추출부(41)와, 추출부에서 추출된 코드 부착표식(CT)의 코드패턴(P3)으로부터, 코드 부착표식(CT)의 식별코드를 판별하는 식별코드 판별부(46)와, 한 쌍의 촬영화상의 한 쪽에 대해서 추출부(41)에서 추출된 코드 부착표식(CT)의 위치검출용 패턴(P1)으로부터, 코드 부착표식(CT)의 기준점을 설정하는 기준점 설정부(42)와, 한 쌍의 촬영화상의 다른 쪽에 대해서 추출부(41)와 추출된 코드 부착표식(CT)의 위치검출용 패턴(P1)으로부터, 식별코드 판별부(46)에서 판별된 식별코드를 이용하여 기준점에 대응하는 대응점을 탐색하는 대응점 탐색부(43)와, 기준점 및 대응점에 기초하여, 한 쌍의 촬영화상에 대해서 표정(標定)처리를 행하는 표정부(44)를 구비한다.

여기에서 코드패턴의 코드에는, 컬러코드, 바코드 이외, 문자, 숫자, 기호를 컴퓨터가 식별할 수 있도록 배열한 것이 포함된다. 또한, 측정대상물을 2방향에서 촬영하는 것은, 스테레오 카메라로 촬영하는 것 외에, 단(單)사진으로 장소를 조금 이동하여 촬영하는 것을 포함하는 것으로, 2개의 화상을 대부분이 중복하도록 또한 거리계측이 가능하도록 촬영하는 것을 말한다. 또한 촬영화상 데이터 기억부, 추출부 등은 물리적으로 독립한 촬영화상 데이터 기억장치, 추출장치 등이라도 좋고, 촬영화상 데이터 기억부는 물리적으로 떨어진 기억장치 내에 구성되어도 좋다. 이와 같이 구성하면, 코드 부착표식(CT)의 위치검출용 패턴(P1)과, 코드패턴(P3)을 이용하여, 하나의 시스템으로 광역의 비접촉 삼차원 측정을 효율화하는 것, 자동화하는 것이 가능하게 된다.

본 발명에 관한 삼차원 계측시스템에 있어서, 예를 들면 도 1에 나타내는 바와 같이, 코드패턴(P3)이 복수의 색채가 실시된 컬러코드패턴이고, 코드 부착표식(CT)이 컬러코드 부착표식이라도 좋다.

여기에서, 컬러코드 패턴에는, 채색된 단위 패턴의 배열을 코드화한 패턴 외에, 채색한 레트로 타겟을 조합하여 코드화한 패턴도 포함된다. 이와 같이 구성하 면, 표식에 다수의 식별번호를 부여할 수 있고, 또한, 언뜻 보아 패턴의 동일여부를 판별하기 쉽다.

본 발명에 관한 삼차원 계측시스템에 있어서, 예를 들면 도 6에 나타내는 바와 같이, 화상촬영장치(10)에서 각 촬영화상이 적어도 3개의 코드 부착표식(CT)을 포함하도록, 또한 서로 인접하는 촬영화상 간에서는 적어도 2개의 코드 부착표식(CT)을 공유하도록 하여 촬영한 일련의 촬영화상에 대해서, 서로 인접하는 촬영화상으로 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 일련의 촬영화상의 배열을 정하는 배열부(47)를 구비해도 좋다.

여기에서, 적어도 3개인 것은, 각 정점에 코드 부착표식을 배치한 삼각형 화상을 늘어놓아도 광역계측이 가능하기 때문이다. 4개의 코드 부착표식을 포함하도록 촬영하면, 직사각의 화상을 이용하여 광역을 커버하는 일련의 촬영화상을 얻는데 편리하고 바람직하다. 또한, 식별코드가 일치하도록 한다는 것은, 채번(採番) 후 뿐만이 아니라 채번 전의 패턴이 일치하는 상태를 포함하는 의미이다(코드번호가 일치한다와는 표현이 다르다). 또한, 전형적으로는 촬영화상(일련의 촬영화상을 포함한다)은 특히 한 쌍이라 예고하지 않아도 페어로 취급된다. 후술의 모델화상에 대해서도 마찬가지이다. 이와 같이 구성하면, 식별코드가 동일한 코드 부착표식을 표적으로서 화상간의 배열을 용이하게 찾아낼 수 있다.

본 발명에 관한 삼차원 계측시스템에 있어서, 표정부(44)는, 일련의 촬영화상에 대해서, 서로 인접하는 촬영화상에서 공유된 코드 부착표식(CT)에 관한 기준점 또는 대응점의 좌표가 일치하도록, 측정대상물(1)에 관한 일련의 촬영화상에 대 해서, 차례차례 표정을 행하여도 좋다.

이와 같이 구성하면, 스테레오 화상간의 에피폴라 라인을 수평에서 같은 높이로 할 수 있으므로, 표정이 용이하게 된다.

본 발명에 관한 삼차원 계측시스템에 있어서, 추출된 카라코드 부착표식(CT)의 위치검출용 패턴(P1)의 위치좌표와 식별코드 판별부(46)에서 판별된 식별 번호를 관련지어 기억하는 표식정보 기억부(150)를 구비해도 좋다. 이와 같이 구성하면, 코드 부착표식(CT)의 코드를 판별 가능한 삼차원 계측시스템을 제공할 수 있다.

본 발명에 관한 삼차원 계측방법은, 예를 들면 도 4에 나타내는 바와 같이(시스템 구성에 대해서는 도 2, 코드 부착표식에 대해서는 도 1 참조), 면 내에 계측위치를 나타내기 위한 위치검출용 패턴(P1)과, 표식을 식별하기 위한 코드패턴(P3)를 갖는 코드 부착표식(CT)을 포함하도록 측정대상물(1)을 2방향에서 촬영하는 촬영공정(S10)과, 촬영공정(S10)으로 촬영된 측정대상물(1)의 한 쌍의 촬영화상을 기억하는 화상데이터 기억공정(S11)과, 한 쌍의 촬영화상으로부터 코드 부착표식(CT)의 위치검출용 패턴(P1)과, 코드패턴(P3)을 추출하는 추출공정(S14)과, 추출공정(S14)에서 추출된 코드 부착표식(CT)의 코드패턴(P3)으로부터, 코드 부착표식(CT)의 식별코드를 판별하는 식별코드 판별공정(S15)과, 한 쌍의 촬영화상의 한 쪽에 대해서 추출공정(S14)에서 추출된 코드 부착표식(CT)의 위치검출용 패턴(P1)으로부터, 코드 부착표식(CT)의 기준점을 설정하는 기준점 설정공정(S18)과, 한 쌍의 촬영화상의 다른 쪽에 대해서 추출공정(S14)에서 추출된 코드 부착표식(CT)의 위치검출용 패턴(P1)으로부터, 식별코드 판별공정(S15)에서 판별된 식별코드를 이용하여 기준점에 대응하는 대응점을 탐색하는 대응점 탐색공정(S19)과, 기준점 및 대응점에 기초하여, 한 쌍의 촬영화상에 대해서 표정처리를 행하는 표정공정(S40)을 구비한다. 여기서, 기준점 설정공정(S18) 및 대응점 탐색공정(S19)은, 표정작업공정(S30)에 상당한다.

코드 부착표식(CT)의 위치검출용 패턴(P1)과, 코드패턴(P3)을 이용하여, 광역의 비접촉 삼차원 측정을 효율화하는 것, 자동화하는 것이 가능하게 된다.

본 발명에 관한 삼차원 계측방법에 있어서, 코드패턴(P3)이 복수의 색채가 실시된 컬러코드 패턴이고, 코드 부착표식(CT)이 컬러코드 부착표식이라도 좋다. 이와 같이 구성하면, 표식에 다수의 식별번호를 부여할 수 있고, 또한, 언뜻 보아 패턴의 동일여부를 판별하기 쉽다.

본 발명에 관한 컬러코드 부착표식은, 예를 들면 도 1에 나타내는 바와 같이 면 내에 계측위치를 나타내기 위한 위치검출용 패턴(P1)과, 위치검출용 패턴(P1)에 대해서 소정의 위치관계에 배치되어, 표식 CT(CT 1∼12를 포함한다)를 식별하기 위한 복수의 색채가 실시된 컬러코드 패턴(P3)을 구비한다.

여기에서, 컬러코드패턴(P3)에는 여러 가지의 형상의 단위 패턴을 갖는 것이 있고, 또한, 바코드 등의 코드와 색채를 조합한 패턴도 포함된다. 이와 같이 구성하면, 컬러코드의 사용에 의해, 언뜻 보아 용이하게 표식을 식별할 수 있고, 스테레오 화상에 있어서의 대응점의 특정, 다른 화상간의 대응점의 특정을 용이하게 할 수 있게 된다.

이것은, 촬상으로부터 삼차원 계측까지의 공정의 전자동화를 촉진 가능하게 한다. 또한, 작은 영역에 다수의 식별번호를 실현할 수 있다.

본 발명에 관한 컬러코드 부착표식에 있어서, 예를 들면 도 1에 나타내는 바와 같이, 면내에 색채의 기준으로서 이용하는 복수의 색채가 실시된 기준색 패턴(P2)을 구비해도 좋다. 이와 같이 구성하면, 기준색 패턴(P2)을 기초로 화상이나 표식의 색채 보정이 가능해져, 컬러코드의 판별을 용이하게 한다.

본 발명에 관한 컬러코드 부착표식에 있어서, 위치검출용 패턴(P1)이 사각형의 3모서리에 배치되어도 좋다. 이와 같이 구성하면, 표식을 추출하기 쉽고, 또한, 표식의 방향(경사방향)을 검출하기 쉽고, 또한, 표정영역이나 스테레오 매칭영역의 설정, 인접화상의 연결에 편리하고, 이러한 자동화에 유용하다.

[발명의 실시형태]

본 출원은, 일본에서 2005년 8월 1일에 출원된 일본특허출원 2005-223490호, 2005년 8월 2일에 출원된 일본특허출원 2005-224771호, 및 2005년 9월 30일에 출원된 일본특허출원 2005-289334호에 기초하고 있고, 그 내용은 본 출원의 내용으로서 그 일부를 형성한다.

본 발명은 이하의 상세한 설명에 의해 더욱 완전히 이해할 수 있을 것이다. 본 발명의 새로운 응용범위는, 이하의 상세한 설명에 의해 분명해질 것이다. 그러나, 상세한 설명 및 특정 실시예는, 본 발명의 바람직한 실시형태이며, 설명의 목적을 위해서만 기재되어 있는 것이다. 이 상세한 설명으로부터, 여러 가지의 변경, 개변(改變)이, 본 발명의 정신과 범위 내에서, 당업자에게 있어서 명백하기 때 문이다.

출원인은, 기재된 실시형태의 어느 하나를 공중에 헌상할 의도는 없고, 개시된 개변, 대체안 중 특허청구의 범위 내에 문언상 포함되지 않을지도 모르는 것도, 균등론하에서의 발명의 일부로 한다.

본 발명을 특정의 바람직한 실시형태와 관련지어 설명하지만, 이러한 실시형태로 한정하려는 의도는 없다. 반대로, 부대한 청구항에 의해 정의된 바와 같이, 본 발명의 정신 및 범위내에 포함되도록, 모든 대체, 개변, 및 균등물을 포함하는 것을 의도한다.

[제 1 실시형태]

본 발명은, 코드 부착표식(타겟)을 사용하는 것에 의해, 비접촉 삼차원 측정을 효율화하고, 자동화하는 것이다.

이하에 도면에 기초하여 본 발명의 실시형태에 대해서 설명한다.

우선, 코드 부착타겟의 일례로서 컬러코드 부착표식(타겟)에 대해서 설명한다.

[컬러코드 부착타겟]

도 1에 컬러코드 부착타겟의 예를 나타낸다. 도 1(a)는 컬러코드의 단위 영역이 3개, 도 1(b)은 6개, 도 1(c)은 9개인 컬러코드 부착타겟이다. 도 1(a)∼(c)의 컬러코드 부착타겟(CT)(CT1∼CT3)은, 위치검출용 패턴(레트로 타겟부)(P1), 기준색 패턴(기준색부)(P2), 컬러코드 패턴(컬러코드부)(P3), 빈 패턴(백색부)(P4)로 구성되어 있다.

레트로 타겟부(P1)는, 타겟 자체의 검출용, 그 무게중심검출용, 타겟의 방향 검출용, 타겟영역 검출용으로서 사용한다. 도 1에 나타내는 컬러코드 부착타겟에서는 위치검출용 패턴(P1)으로서 레트로 타겟이 사용되고 있다.

기준색부(P2)는, 조명이나 카메라 등의 촬영조건에 의한 색 엇갈림에 대응하기 때문에, 상대 비교시의 참조용, 색엇갈림을 보정하기 위한 컬러 캘리브레이션용으로서 사용한다. 또한, 기준색부(P2)는, 간단하고 쉬운 방법으로 작성된 컬러코드 부착타겟(CT)의 색채 보정용으로서 사용할 수 있다. 예를 들면, 색관리가 이루어지지 않은 컬러프린터(잉크젯·레이저·승화형 등의 프린터)로 인쇄한 컬러코드 부착타겟(CT)을 사용하는 경우는, 사용프린터 등으로 색채에 개체차가 나지만, 기준색부(P2)와 컬러코드부(P3)의 색을 상대 비교하여 보정함으로써, 개체차의 영향을 억제할 수 있다.

컬러코드부(P3)는, 그 각 단위영역에의 배색의 조합에 의해서 코드를 표현한다. 코드에 사용하는 코드색의 수에 의해 표현 가능한 코드수가 변화한다. 예를 들면, 코드색 수가 n인 경우, 도 1(a)의 컬러코드 부착타겟(CT1)에서는, 컬러코드부(P3)의 단위영역이 3개이기 때문에, n×n×n와 같은 코드를 나타낼 수 있다. 신뢰도를 높이기 위해, 다른 단위영역에 사용되고 있는 색을 중복해서 사용하지 않는다고 하는 조건을 부과한 경우에서도, n×(n-1)×(n-2)와 같은 코드를 표시시킨다. 그리고, 코드색 수를 늘리면 코드 수를 증가시킬 수 있다. 또한, 컬러코드부(P3)의 단위영역의 수와 컬러코드 수를 동일하게 한다고 하는 조건을 부과하면, 모든 코드색이 컬러코드부(P3)에 사용되기 때문에, 기준색부(P2)와의 비교만이 아니라, 컬러코드부(P3)의 각 단위영역간에서 색을 상대 비교하는 것에 의해, 각 단위영역의 색채를 확인하여 식별코드를 결정할 수 있어, 신뢰성을 높일 수 있다. 또한, 각 단위영역의 면적을 모두 같게 하는 조건을 추가하면, 컬러코드 부착타겟(CT)을 화상중으로부터 검출할 때에도 사용할 수 있다. 이것은, 다른 식별코드도 컬러코드 부착타겟(CT)간에서도 각 색이 점유하는 면적이 같아지기 때문에, 컬러코드부 전체로부터의 검출광으로부터는 거의 동일한 분산치를 얻을 수 있기 때문이다. 또한, 단위영역간의 경계는 동일간격으로 반복되어, 명확한 색채 차가 검출되므로, 이러한 검출광의 반복패턴으로부터도 타겟(CT)을 화상중으로부터 검출하는 것이 가능하다.

백색부(P4)는, 컬러코드 부착타겟(CT)의 방향검출용과 색엇갈림의 캘리브레이션용으로서 사용한다. 타겟(CT)의 네 모서리 중, 1개소에만 타겟이 배치되지 않는 개소가 있고, 이것을 타겟(CT)의 방향검출용으로 사용할 수 있다. 이와 같이 백색부(P4)는 레트로 타겟과 다른 패턴이면 좋다. 따라서, 백색부에는 눈으로 보아 코드를 확인하기 위한 번호 등의 문자열을 인쇄해도 좋고, 또한, 바코드 등의 코드영역으로서 사용해도 좋다. 또한, 검출정밀도를 높이기 위해서, 템플레이트 매칭용의 템플레이트 패턴으로서 사용하는 것도 가능하다.

[시스템 구성]

도 2에 제 1 실시형태에 있어서의 삼차원 계측시스템의 전체 구성예의 블록도를 나타낸다.

삼차원 계측시스템(100)은, 화상촬영장치(10), 촬영화상 데이터 기억부(13), 대응부(40), 표시화상 형성부(50), 표시장치(60)를 구비한다. 이 중, 촬영화상 데이터 기억부(13), 대응부(40), 표시화상 형성부(50)는 예를 들면, 컴퓨터로 구성되어 있다. 측정대상물(1)은, 시공대상물·제작대상물이 되는 유체물로, 예를 들면 건축물, 공장 등의 각종 공작물이나 인물·풍경 등이 해당한다.

화상촬영장치(10)는, 측정대상물(1)의 화상(전형적으로는 스테레오 화상이지만, 단사진화상을 페어로 이용해도 좋다)을 취득하는 것으로, 예를 들면 측량용 스테레오 카메라 또는 범용 디지털카메라와 이러한 카메라로 촬영된 측정대상물(1)의 화상에 대해서 렌즈 수차의 보상을 행하는 장치를 조합한 기기가 이용된다. 촬영화상 데이터 기억부(13)는, 측정대상물(1)의 화상을 기억하는 것으로, 예를 들면 화상촬영장치(10)로 촬영된 측정대상물(1)의 단사진화상이나 스테레오 화상을 기억한다.

대응부(40)는, 측정대상물(1)에 관한 한 쌍의 촬영화상 또는 모델화상을 대응지어 표정이나 매칭을 행하는 것으로, 측정대상물(1)의 화상이 스테레오 화상의 경우에는, 코드 부착표식의 추출, 기준점 설정, 대응점 탐색 후에, 표정처리를 행한다. 또한, 대응부(40)는, 삼차원 계측에 있어서 스테레오 매칭을 행한다. 추출부(41), 기준점 설정부(42), 대응점 탐색부(43), 표정부(44), 대응점 지시부(45), 식별코드 판별부(46), 배열부(47), 촬영·모델화상 표시부(48), 모델화상 형성부(48A), 모델화상 기억부(48B)를 가지고 있다.

[컬러코드 추출수단]

도 3에 컬러코드 추출수단의 구성예를 나타낸다. 컬러코드 추출수단(105) 은, 컬러코드 부착타겟을 추출하는 추출부(41) 및 그 컬러코드를 판별하는 식별코드 판별부(46)에 의해 구성된다. 추출부(41)는, 탐색처리부(110), 레트로 타겟 그룹화 처리부(120), 컬러코드 부착타겟 검출처리부(130), 화상·컬러패턴 기억부(140)를 갖는다. 또한, 식별코드 판별부(46)는 컬러코드 부착타겟 검출처리부(130)에서 검출된 컬러코드를 판별하여 코드번호를 부여한다.

또한, 화상촬영장치(촬상부)(10)는 컬러코드 부착타겟을 포함하는 측정대상물을 촬영하는 것으로, 스테레오 카메라 등이 사용된다. 화상데이터 기억부(13)는 화상촬영장치(10)로 촬영된 스테레오 화상을 기억한다. 또한, 표식정보 기억부(150)는 추출부(41)에서 추출된 컬러코드 부착표식(CT)의 위치검출용 패턴(P1)의 위치좌표와 식별코드 판별부(46)에서 판별된 식별코드를 관련지어 기억하고, 표식정보 기억부(150)에 기억된 데이터는, 표정부(44)에서 표정에 이용되고, 또는 삼차원 위치계측부(151), 혹은 삼차원 좌표 데이터 연산부(51)(도 2 참조)에서, 측정대상물의 삼차원 좌표 또는 삼차원 형상의 측정에 이용된다.

탐색처리부(110)는, 촬영화상 데이터 기억부(13) 또는 모델화상 기억부 (48B)로부터 읽혀진 컬러화상(촬영화상 또는 모델화상)으로부터, 레트로 타겟 패턴 등의 위치검출용 패턴(P1)을 검출한다. 위치검출용 타겟으로서 레트로 타겟 패턴 대신에 템플레이트 패턴이 이용된 경우는, 템플레이트 패턴검출을 한다.

레트로 타겟 그룹화 처리부(120)는, 탐색처리부(110)에서 검출한 레트로 타겟이 같은 컬러코드 부착타겟(CT)에 속하는 것(예를 들면 위치좌표가 같은 컬러코드 부착타겟(CT)의 영역에 들어가는 것)을 동일그룹에 그룹화한다.

컬러코드 부착타겟 검출처리부(130)는, 같은 컬러코드 부착타겟에 속한다고 판단된 레트로 타겟의 그룹으로부터, 해당 컬러코드 부착타겟(CT)의 영역과 방향을 검출하는 컬러코드 부착타겟 영역방향 검출처리부(131)와, 컬러코드 부착타겟의 기준색부(P2), 컬러코드부(P3)에 있어서의 색채의 배열, 화상 중의 측정대상물(1)의 색채를 검출하는 색채 검출처리부(311)와, 기준색 패턴(P2)을 참조하여 컬러코드부(P3) 및 화상 중의 측정대상물(1)의 색채를 보정하는 색채보정부(312)와, 그룹화가 적정하게 되었는지를 확인하는 확인처리부(313)로 구성되어 있다.

화상·컬러패턴 기억부(140)는, 추출부(41)에 읽혀진 화상을 기억하는 읽기화상 기억부(141)와, 사용이 예정되는 복수 종류의 컬러코드 부착타겟(CT)에 대해서, 컬러코드 부착타겟(CT)의 종별(種別)을 나타내는 종별 코드번호를 기록하고, 또한, 각종의 컬러코드 부착타겟(CT)에 대해서, 패턴배치와 코드번호의 대응관계를 기록하는 컬러코드 부착타겟 대응표(142)로 구성되어 있다.

식별코드 판별부(46)는, 컬러코드부(P3)에 있어서의 색채의 배열로부터 식별코드를 판별하여, 식별코드로 변환하는 것으로, 컬러코드 부착타겟 검출처리부(130)에서 검출된 컬러코드 부착타겟(CT)의 영역과 방향 데이터에 기초하여, 컬러코드 부착타겟(CT)의 좌표를 변환하는 좌표변환 처리부(321)와, 좌표 변환된 컬러코드 부착타겟(CT)의 컬러코드부(P3)에 있어서의 색채의 배열로부터 식별코드를 판별하여, 식별코드로 변환하는 코드변환 처리부(322)로 구성되어 있다.

도 2로 되돌아와, 배열부(47)는, 화상촬영장치(10)에서 각 촬영화상이 적어도 3개의 코드 부착표식(CT)을 포함하도록, 또한 서로 인접하는 촬영화상간에서는 적어도 2개의 코드 부착표식(CT)을 공유하도록 하여 촬영한 일련의 촬영화상에 대해서, 서로 인접하는 촬영화상에서 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 일련의 촬영화상의 배열을 정한다. 또한, 일련의 모델화상에 대해서, 서로 인접하는 모델화상에서 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 측정대상물(1)에 관한 일련의 모델화상의 배열을 정한다.

기준점 설정부(42)는, 스테레오 화상의 한 쪽의 화상(기준화상) 위에 지정된 점의 근방으로서, 특징점에 적합한 점을 탐색하여, 해당 특징점에 적합한 점을 기준점으로 설정한다. 특징점에는, 예를 들면 측정대상물(1)의 중심(中心)위치, 무게중심위치, 코너위치, 측정대상물(1)에 붙여지거나 또는 투영된 표식(타겟) 등이 있다. 대응점 탐색부(43)는, 스테레오 화상의 다른 쪽의 화상(탐색화상) 위에 있어서, 기준점 설정부(42)에 의해 설정된 기준점에 대응하는 대응점을 정한다. 조작자가 특징점 근방에 지시점을 지시하면, 조작자가 엄격하게 특징점을 지시하지 않아도, 기준점 설정부(42)에 의해서 조작자가 기준화상에서 본래 의도한 특징점으로 끌어 들여짐과 동시에, 대응점 탐색부(43)에 의해서 탐색화상의 대응점이 정해진다.

표정부(44)는, 기준점 설정부(42)에 의해 설정된 기준점과 대응점 탐색부(43)에 의해 구해진 대응점을 이용하여, 스테레오 화상 등의 한 쌍의 화상에 관한 촬영위치와 기울기에 기초하여, 한 쌍의 화상의 대응점 관계를 구하고, 표정 계산처리를 행한다. 대응점 지시부(45)는, 조작자가 기준화상의 특징점 근방 이외의 점을 지정한 경우에, 탐색화상 위에서의 대응점을 정한다. 조작자는, 표시장 치(60)에 표시되는 기준화상 위의 지시점과, 대응점 지시부(45)에 의해서 정해지는 탐색화상 위에서의 대응점의 표시위치를 대비하여, 측정대상물(1)의 특징점의 대응관계를 용이하게 인식할 수 있다. 또한, 대응점 지시부(45)에 의한 위치대응을 이용하여, 표정부(44)에 의한 상호표정이 행하여진다.

모델화상 형성부(48A)는, 표정부(44)에 의해서 표정 계산처리된 파라미터(촬영한 카메라의 위치, 기울기)로부터, 모델화상을 형성한다. 여기서, 모델화상이란, 편위 수정화상이라고도 하고, 촬영화상의 한 쌍인 좌우화상의 대응점(이하, 기준점에 대응하는 하나의 화상의 점으로서의 대응점에 더하여, 좌우화상에서 대응된 점도 「대응점」이라고 칭한다.)을 동일 에피폴라 라인상에 재배치하고, 입체로 보는 것이 가능한 화상에 재배치한 것이다. 모델화상 기억부(48B)는, 모델화상 형성부(48A)에서 형성된 측정대상물(1)의 모델화상을 기억한다. 촬영·모델화상 표시부(48)는, 대응부(40)에서 행하는 추출, 기준점 설정, 대응점 탐색, 스테레오 매칭 등의 처리에 있어서, 촬영화상 또는 모델화상 형성부(48A)에 의해 형성된 모델화상을 한 쌍의 화상으로서 표시장치(60)에 표시한다.

표시화상 형성부(50)는, 측정대상물(1)의 삼차원 좌표 데이터 및 측정대상물(1)의 촬영화상 또는 모델화상에 기초하여, 임의의 방향에서의 측정대상물(1)의 입체적 이차원 화상을 작성하는 것으로, 삼차원 좌표 데이터 연산부(51), 삼차원 좌표 데이터 기억부(53), 입체적 이차원 화상형성부(54), 입체적 이차원 화상기억부(55), 화상대응부(56), 입체적 이차원 화상표시부(57), 자세 지시부(58), 화상변환부(59)를 가지고 있다.

삼차원 좌표 데이터 연산부(51)는, 표정부(44)에서 구해진 대응점관계로부터, 측정대상물(1)의 대응점의 삼차원 좌표 데이터를 구한다. 삼차원 좌표 데이터 기억부(53)에는, 삼차원 좌표 데이터 연산부(51)에서 연산된 측정대상물(1)의 대응점의 삼차원 좌표 데이터가 기억된다. 한편, 미리 측정대상물(1)에 대해서 도시하지 않는 삼차원 위치측정장치에서 별도 측정한 삼차원 좌표 데이터를 삼차원 좌표 데이터 기억부(53)에 기억해 두고, 표정처리에서 삼차원 좌표 데이터를 구하는데 있어서, 삼차원 좌표 데이터 기억부(53)에 기억된 삼차원 좌표 데이터를 읽어 이용하여도 좋다.

입체적 이차원 화상형성부(54)는, 대응점의 삼차원 좌표 데이터로부터 측정대상물(1)의 입체적 이차원 화상을 형성한다. 여기서, 입체적 이차원 화상이란, 측정대상물(1)의 형상을 삼차원 좌표에 의해, 예를 들면, 임의의 방향에서의 사시(斜視)화상을 얻을 수 있도록, 입체적으로 표현한 것이다. 입체적 이차원 화상기억부(55)는, 입체적 이차원 화상형성부(54)에서 형성된 측정대상물(1)의 입체적 이차원 화상을 기억한다. 화상대응부(56)는, 촬영화상 데이터 기억부(13)에 기억된 촬영화상 또는 모델화상 기억부(48B)에 기억된 모델화상과, 삼차원 좌표 데이터를 이용하여 입체적 이차원 화상형성부(54)로 형성된 입체적 이차원 화상을, 표정부(44)에서 구해진 대응점관계를 이용하여 대응짓는다. 입체적 이차원 화상표시부(57)는, 화상대응부(56)에 의해 대응지어진 측정대상물(1)의 화상을, 예를 들면, 조감(鳥瞰)화상 등의 입체감 텍스처 화상을 이용하여, 입체감이 있는 이차원 화상으로 표시장치(60)에 표시한다.

자세 지시부(58)는, 측정대상물(1)의 입체적 이차원 화상의 자세(입체적 이차원 화상을 보는 방향)를 지시하는 것으로, 예를 들면 조작자가 마우스 등의 커서 입력장치를 조작하여, 표시장치(60)에 표시되는 측정대상물(1)의 자세를 지시한다. 화상 변환부(59)는, 입체적 이차원 화상에 대한 자세 지시에 따라서, 대응점의 좌표변환을 행한다. 입체적 이차원 화상표시부(57)는, 자세 지시부(58)에서 지시받은 자세에 따른 측정대상물(1)의 입체화상을 표시한다. 표시장치(60)는, 액정표시장치나 CRT 등의 화상 표시장치이다.

[시스템의 동작]

도 4에, 삼차원 계측시스템의 동작을 설명하는 플로우차트 예를 나타낸다.

우선, 촬영대상물(1)에 코드 부착타겟을 붙인다(S01). 코드 부착타겟을 붙이는 위치는, 계측위치가 된다. 본 실시형태에서는, 코드 부착타겟으로서 컬러코드 부착타겟(CT)을 이용하는 것으로 한다. 다음에, 디지털카메라 등의 화상촬영장치(10)를 이용하여 촬영한 측정대상물(1)의 화상(전형적으로는 스테레오 화상)을 촬영하여(S10), 촬영한 화상을 촬영화상 데이터 기억부(13)에 화상 등록한다(S11).

도 5에 오버랩 촬영의 예를 나타낸다. 계측대상물(1)에 대해서, 1대, 2대 혹은 복수대의 카메라(10)로 오버랩하도록 촬영한다(S10). 촬영장치(10)의 대수는 1대~복수대, 몇 대라도 좋고, 특별히 제약은 없다. 기본적으로는 도 5(b)에 나타난 바와 같이, 2대 1조의 카메라로 스테레오 촬영하여, 이 스테레오 촬영한 화상의 일부를 오버랩 시키면서 일련의 스테레오 화상을 취득하여, 삼차원 계측에 제공하는 것이지만, 도 5(a)에 나타내는 바와 같이, 1대로 복수방향에서 오버랩 하도록 촬영해도 좋고, 또한, 복수대의 멀티카메라로 오버랩하도록 촬영해도 좋다. 이 경우 서로 오버랩하는 2개의 화상으로 페어를 구성하지만, 1개의 화상이 예를 들면 왼쪽 옆의 화상과 1개의 페어를 구성하고, 오른쪽 옆의 화상과 다른 페어를 구성해도 좋다.

도 6에 좌우의 스테레오 카메라로 촬영되는 촬영화상의 예를 나타낸다. 도 6(a)에 스테레오 화상의 오버랩의 모습을 나타낸다. 계측되는 기본범위는, 2장(한 쌍)의 스테레오 촬영화상의 오버랩 범위이다. 이 때, 4개의 코드 부착타겟(CT)이 오버랩 범위에 들어가도록 촬영하는 것이 바람직하다. 이와 같이 하면 스테레오 화상을 이용하여 삼차원 측정이 가능하다. 또한, 도 6(b)에 서로 인접하는 스테레오 화상간의 오버랩 시키는 쪽의 예를 나타낸다. 이와 같이, 상하 좌우 방향의 어느 한 쪽에 2개의 코드 부착타겟(CT)을 포함하여, 오버랩하도록 일련의 화상을 촬영하는 것이 바람직하다. 이와 같이 하면 광역에 걸치는 비접촉 삼차원 측정의 자동화가 가능하게 된다. 한편, 브레이크 라인은 화상의 유효영역을 나타내는 라인이며, 4개의 컬러코드 부착타겟(CT)의 가장 바깥쪽에 있는 레트로 타겟을 연결하는 라인 안이 유효영역이다.

다음에, 대응부(40)는, 촬영화상 데이터 기억부(13)에 등록된 촬영화상 또는 모델화상 기억부(48B)에 기억된 모델화상을 추출부(41)의 화상·컬러패턴 기억부(140)에 읽혀진다. 추출부(41)에서는 촬영화상으로부터 코드 부착타겟(CT)을 추출한다(S14). 식별코드 판별부(46)에 있어서, 추출된 타겟(CT)의 식별코드를 판별하고(S15), 식별코드를 이용하여 화상(촬영화상)의 배열을 결정하고, 또한 스테레 오 페어가 되는 좌우화상의 조를 설정하여(S16), 표정작업을 행한다(S30). 또한, 표정작업공정(S30)은, 기준점 설정공정(S18) 및 대응점 탐색공정(S19)로 구성된다.

[위치검출용 타겟의 검출]

이 중 추출부(41)에 있어서의 추출처리(S14)는, 매뉴얼 또는 자동처리로 행한다. 자동처리의 경우, 컬러코드 부착타겟(CT)의 색식별수 혹은 촬영방법에 따라서, 처리는 다른 것이 된다. 우선 최초로, 컬러코드 부착타겟(CT)의 색식별수가 많은 경우에 대해 설명한다. 이 경우, 촬영의 순서에 제약은 없고, 전자동처리가 가능해진다.

도 7에 컬러코드 부착타겟의 추출(S14)의 플로우예를 나타낸다.

우선, 처리대상의 컬러화상(촬영화상 또는 모델화상)을, 화상촬영장치(10) 또는 화상데이터 기억부(13)로부터 추출부(41)의 읽기화상 기억부(141)에 읽혀진다(S500). 다음에, 읽혀진 각 화상으로부터 컬러코드 부착타겟(CT)을 검출한다(S510).

탐색방법은, (1) 컬러코드 부착타겟(CT) 중의 위치검출용 패턴(레트로 타겟(P1))을 탐색하는 방법, (2) 컬러코드부(P3)의 색 분산을 검출하는 방법, (3) 이것들을 조합하는 방법, 혹은 (4) 채색된 위치검출용 패턴을 이용하는 방법 등 여러 가지의 방법이 있다.

여기에서는 (1), (2) 및 (3)을 설명한다. (4)에 대해서는, 제 3 실시형태에서 설명한다.

(1) 컬러코드 부착타겟(CT)에 레트로 타겟이 포함되어 있는 경우는, 명도차 가 선명한 패턴을 사용하기 때문에, 카메라의 조리개를 조여 플래시 촬영하는 것에 의해, 레트로 타겟만이 빛나는 화상을 취득할 수 있고, 이 상을 2가화하는 것에 의해 간단하게 레트로 타겟을 검출할 수 있다.

도 8은 레트로 타겟을 이용한 무게중심 위치검출의 설명도이고, (A1)은 안쪽 원부(204)의 명도가 밝고, 바깥쪽 원부(206)의 명도가 어두운 레트로 타겟(200), (A2)는 (A1)의 레트로 타겟(200)의 직경방향의 명도분포도, (B1)은 안쪽 원부(204)의 명도가 어둡고, 바깥쪽 원부(206)의 명도가 밝은 레트로 타겟(200), (B2)는 (B1)의 레트로 타겟(200)의 직경방향의 명도분포도를 나타내고 있다. 레트로 타겟(200)이 도 8(A1)과 같이 안쪽 원부(204)의 명도가 밝은 경우는, 측정대상물(1)의 촬영화상에 있어서 무게중심위치에서의 반사광량이 많고 밝은 부분이 되어 있기 때문에, 화상의 광량분포가 도 8(A2)과 같이 되어, 광량분포의 역치 To로부터 레트로 타겟(200)의 안쪽 원부(204)나 중심위치를 구하는 것이 가능해진다.

타겟의 존재범위가 결정되면, 예를 들면 모멘트법에 의해서 무게중심위치를 산출한다. 예를 들면, 도 8(A1)에 표기된 레트로 타겟(200)의 평면좌표를 (x, y)로 한다. 그리고, 레트로 타겟(200)의 명도가, 역치 To 이상의 x, y 방향의 점에 대해서, (식 1), (식 2)를 연산한다(*는 곱셈 연산자).

xg = {∑x*f(x, y)}/∑f(x, y) ---- (식 1)

yg = {∑y*f(x, y)}/∑f(x, y) ---- (식 2)

(xg, yg) : 무게중심위치의 좌표, f(x, y) : (x, y)좌표상의 농도치

한편, 도 8(B1)에 표기된 레트로 타겟(200)의 경우는, 명도가 역치 To 이하 의 x, y방향인 점에 대해서, (식 1), (식 2)를 연산한다.

이것에 의해, 레트로 타겟(200)의 무게중심위치가 구해진다.

(2) 통상, 컬러코드 부착타겟(CT)의 컬러코드부에는 다수의 코드색이 사용되고, 색의 분산치가 크다고 하는 특징이 있다. 이 때문에, 분산치가 큰 개소를 화상 중으로부터 찾아내는 것에 의해, 컬러코드 부착타겟(CT)을 검출할 수 있다.

(3) 컬러코드 부착타겟(CT)에 레트로 타겟이 포함되어 있는 경우에서는, 우선 명도가 높은 개소(레트로 타겟부(P1)가 있다)를 화상 전체에 대해서 스캔해서 검출하여, 다음에, 검출한 명도가 높은 개소의 주위에 있어서의 색의 분산치가 높은 개소(컬러코드부(P3)가 있다)를 찾아내는 것에 의해 효율적으로 검출할 수 있다.

여기에서는, (1)의 예에 대해서 설명한다. 다음에, 레트로 타겟 검출처리부(111)는, 컬러화상 중으로부터 검출한 복수의 레트로 타겟의 좌표를 읽기화상 기억부(141)에 보존한다.

도 7로 되돌아와, 컬러코드 부착타겟의 추출 플로우의 설명을 계속한다. 레트로 타겟 그룹화 처리부(120)는, 읽기화상 기억부(141)에 보존된 레트로 타겟의 좌표로부터, 같은 컬러코드 부착타겟(CT)에 속하는 레트로 타겟의 그룹 후보를 검출하고(예를 들면 좌표가 컬러코드 부착타겟(CT)내에 있는 것을 검출하고), 읽기화상 기억부(141)에 그 조합을 그룹으로서 보존한다(S520). 확인은, 예를 들면, 검출한 컬러코드 부착타겟(CT) 내의 3개의 레트로 타겟 사이의 거리 및 3개의 레트로 타겟을 연결하는 삼각형의 꼭지각을 계측하는 것에 의해 가능하다(S530 참조).

또한, 검출한 컬러코드 부착타겟의 패턴을 컬러코드 부착타겟 대응표(142)와 조합하는 것에 의해, 어느 종별의 컬러코드 부착타겟인지를 확인한다.

다음에, 컬러코드 부착타겟 검출처리부(130)는, 영역방향 검출처리부(131)에 있어서 읽기화상 기억부(141)에 보존된, 레트로 타겟의 그룹단위에 레트로 타겟의 무게중심위치로부터 컬러코드 부착타겟(CT)의 영역과 방향을 구한다(S530). 이 영역과 방향을 구하기 전 또는 후에, 색채 검출처리부(311)에서 기준색부(P2), 컬러코드부(P3), 및 화상중의 측정대상물(1)의 색채를 검출한다. 필요하면, 색채보정부(312)에서 기준색부(P2)의 색을 기준으로 하여 컬러코드부(P3)나 화상 중의 측정대상물(1)의 색채를 보정한다. 또한, 기준이 되지 않은 인쇄색 컬러코드 부착타겟을 사용했을 경우에는, 그 기준색부를 아울러 보정한다. 그리고 확인처리부(313)에 있어서, 그룹화가 적정하게 행해졌는지, 즉, 일단 그룹화 된 레트로 타겟의 무게중심위치가 같은 컬러코드 부착타겟(CT)에 속하는지 아닌지를 확인한다. 같은 그룹에 속한것으로 판별된 경우는 다음의 식별코드 판별처리(S535)로 진행되고, 같은 그룹에 속하지 않은 것으로 판별된 경우에는, 다시 그룹화 처리(S520)로 되돌아온다.

도 9, 도 10에 컬러코드 부착타겟 영역방향 검출처리부(131)의 처리 플로우 예를 나타낸다. 또한, 도 11, 도 12에서 레트로 타겟의 코드 읽기를 설명한다. 여기에서는, 도 1(a)의 컬러코드 부착타겟(CT1)으로부터 코드를 읽는 절차에 대해서 설명한다.

컬러코드 부착타겟(CT1)으로부터 코드를 읽기 위해서는, 컬러코드 부착타 겟(CT1)의 영역과 방향을 알 필요가 있기 때문에, 3개의 위치검출용 레트로 타겟의 무게중심점을 R1, R2, R3으로 라벨링한다(도 11(a) 참조).

라벨링에 있어서는 우선, 대상의 3개의 레트로 타겟의 무게중심점 R1∼R3을 통과하는 삼각형을 작성한다(S600). 3개의 레트로 타겟의 무게중심점 R1∼R3 중에서 적당하게 1개를 선택하여 T1으로 임시로 라벨링하고(S610), 나머지의 2개의 무게중심점을 시계회전방향으로 T2, T3로 임시로 라벨링을 한다(S612)(도 11(b) 참조).

다음에, 각각의 무게중심점을 통과하는 변을 라벨링한다. T1과 T2를 통과하는 변을 L12, T2와 T3을 통과하는 변을 L23, T3과 T1을 통과하는 변을 L31로 한다(S614)(도 12(a) 참조).

다음에, 삼각형의 안쪽을 각 정점(무게중심점)에서 반지름 R이 떨어진 화소치를 활(弧)형상으로 스캔을 하고, 스캔한 범위에서 색의 변화를 본다(도 12(b) 참조).

무게중심점 T1에서는, L12로부터 L31을 시계회전방향으로, 무게중심점 T2에서는, L23으로부터 L12를 시계회전방향으로, 무게중심점 T3에서는, L31로부터 L23을 시계회전방향으로 스캔을 한다(S620∼S625).

반지름의 결정방법은, 스캔을 하는 각도에 따라 화상 위에서 레트로 타겟의 사이즈에 배율을 걸어 결정한다. 레트로 타겟을 비스듬한 방향으로부터 촬영한 경우는 타원이 되기 때문에, 스캔 범위도 타원형상이 된다. 배율은, 레트로 타겟의 사이즈와, 레트로 타겟 무게중심위치와 기준색부(P2)의 거리에 의해서 결정된다.

또한 노이즈 등의 영향을 줄이기 위해, 스캔하는 범위에 폭을 갖게 하고, 반지름 R-Δr로부터 R+Δr의 사이에서 평균치 등의 대표치를 결정하는 방법도 생각할 수 있다.

이 예에서는, 스캔은 활 형상으로 스캔을 했지만, 무게중심점에서 만들어진 삼각형의 변에 수직인 직선 위를 스캔하는 방법도 생각할 수 있다(도 12(c) 참조).

도 1(a)의 컬러코드 부착타겟의 예에서는, 무게중심점 T2의 주위를 스캔한 결과에서는 색의 변화가 있고, R·G·B의 값에 변화를 볼 수 있고, 변화의 피크가 R·G·B의 순서로 나타난다. T1과 T3의 주위의 스캔의 결과에서는, 색의 변화는 없고, R·G·B의 값은 거의 일정하고 피크가 나타나지 않는다(도 12(b) 참조). 이와 같이, 1개의 무게중심점 T2의 주위에는 색의 변화를 볼 수 있고, 나머지의 2개의 무게중심점(T1,T3)의 주위에는 색의 변화가 없다고 하는 특징에 의해, 컬러코드 부착타겟(CT1)의 방향을 판단할 수 있다.

라벨링의 확인처리는, 확인처리부(313)에 의해 행하여진다. 스캔의 결과에 색의 변화가 있던 무게중심점을 R1으로 하고, 나머지의 2개의 무게중심점은, 색의 변화가 있던 무게중심점으로부터 시계회전방향으로 라벨링하여 R2, R3로 한다(S630∼S632). 이 예에서는, 무게중심점 T2을 R1, 무게중심점 T3를 R2, 무게중심점 T1을 R3로 한다. 색의 변화가 있던 무게중심점이 1개이고, 또한, 색의 변화가 없는 무게중심점이 2개 검출되지 않은 경우는, 레트로 타겟의 조합에러가 되어(S633), 3조의 레트로 타겟을 새롭게 선출하고(S634), S600으로 되돌아온다. 이와 같이, 처리의 결과로부터 선택된 3 레트로 타겟이 같은 컬러코드 부착타겟(CT1)에 속하는지 아닌지도 확인할 수 있다. 이와 같이 하여 레트로 타겟의 그룹화가 확정된다.

상기의 라벨링 방법은, 도 1(a)의 컬러코드 부착타겟(CT1)을 예로 설명했지만, 후술하는 각종 컬러코드 부착타겟(CT)에 대해서도, 일부의 처리를 바꾸는 것에 의해 같은 처리를 할 수 있다.

[코드의 식별]

도 7로 되돌아와, 식별코드 판별부(46)는, 추출부(41)에서 추출된 컬러코드 부착타겟(CT1)에 대해서, 좌표변환 처리부(321)에 있어서 그룹화된 레트로 타겟의 무게중심위치에 기초하여, 컬러코드 부착타겟(CT1)의 설계치에 맞도록 좌표변환하고, 다음에, 코드변환 처리부(322)에 있어서, 컬러코드를 식별하고, 코드변환하여 컬러코드 부착타겟(CT1)의 식별코드를 구하여(S540), 읽기화상 기억부(141)에 보존한다. 이 처리 플로우를 도 10에서 설명한다.

곡면에 붙여진, 비스듬한 방향으로부터 촬영된 등에 의해, 형태에 변형이 있는 컬러코드 부착타겟의 촬영화상을, 라벨(R1,R2,R3)을 이용하여, 변형이 없는 정면도로 좌표변환한다(S640). 좌표변환하는 것에 의해, 컬러코드 부착타겟의 설계치를 참조하여, 레트로 타겟부(P1)·기준색부(P2)·컬러코드부(P3)·백색부(P4)를 판별하기 쉬워져, 나중의 처리가 진행하기 쉬워진다.

다음에, 좌표변환된 컬러코드 부착타겟(CT1) 위에서, 설계치대로 백색부(P4)가 있는지 확인을 한다(S650). 설계치대로가 아닌 경우는 검출에러가 된다(S633). 설계치대로 백색부(P4)가 있는 경우는, 컬러코드 부착타겟(CT1)이 검출된 것으로 판단된다(S655).

다음에, 색채보정되어, 영역과 방향을 알 수 있던 컬러코드 부착타겟(CT1)의 컬러코드의 판별을 한다.

컬러코드부(P3)는, 그 각 단위영역에의 배색의 조합에 의해서 코드를 표현한다. 예를 들면, 코드색 수가 n이고 단위영역이 3개의 경우, n×n×n의 코드를 표시하고, 다른 단위 영역에 사용되고 있는 색을 중복해서 사용하지 않는다고 하는 조건을 부과한 경우는, n×(n-1)×(n-2)의 코드를 표시할 수 있다. 코드색 수가 n, 단위영역이 n개이고, 색을 중복하여 사용하지 않는다고 하는 조건을 부과한 경우는, n의 계승(繼承)대로의 코드를 표현할 수 있다.

식별코드 판별부(46)는, 코드변환 처리부(322)에 있어서, 컬러코드부(P3)에 있어서의 단위영역의 배색의 조합을, 컬러코드 부착타겟 대응표(142)의 배색의 조합과 비교·조합하여 식별코드를 판별한다(도 7의 S535).

색채의 판별방법은, (1) 기준색부(P2)의 색과 컬러코드부(P3)의 색을 비교하여 결정하는 상대 비교방법과, (2) 기준색부(P2)의 색과 백색부(P4)의 색을 사용하여 컬러코드 부착타겟(CT1)의 색보정을 행하고, 그 보정된 색으로 컬러코드부(P3)의 코드의 판별을 하는 절대 비교방법의, 두 개의 방법이 있다. 예를 들면, 컬러코드부(P3)에 사용하는 색 수가 적은 경우는 기준색을 상대 비교의 비교색으로서 사용하고, 컬러코드부(P3)에 사용하는 색의 수가 많은 경우는, 색을 보정하기 위해서 캘리브레이션용의 색으로서 절대 비교의 비교색으로서 사용한다. 상술과 같이, 색채의 검출은 색채 검출처리부(311)에서, 색보정은 색채보정부(312)에서 행한다. 화상에 의한 3차원 계측에서는 복수의 화상을 찍기 때문에, 대부분의 경우 각 화상 간에 촬영조건 등에 의해 색엇갈림이 일어난다. 컬러코드 부착타겟을 사용하는 것에 의해, 복수의 화상간에서의 색의 차를 보정하는 것이 가능하다.

식별코드 판별부(46)는, 코드변환 처리부(322)에 있어서, (1), (2) 중의 어느 쪽의 색채의 판별방법을 사용하여, 기준색부(P2)와 컬러코드부(P3)를 검출하고(S660,S670), 컬러코드부(P3)의 각 색을 판별하여, 색을 코드로 변환하고, 대상의 컬러코드 부착타겟(CT1)의 식별코드를 구한다(S680)(도 7의 S540).

그리고 화상마다, 해당 화상에 포함되는 컬러코드 부착타겟(CT1)의 번호를 읽기화상 기억부(141)에 등록한다(도 7의 S545). 읽기화상 기억부(141)에 등록된 데이터는, 촬영화상 데이터 기억부(13)나 모델화상 기억부(48B)에 되돌려지고, 또한, 다수의 컬러코드 부착표식(CT)의 검출 위치좌표에 기초하여, 표정부(44)에서 표정에 이용되고, 또는, 삼차원 위치계측부(151), 혹은 삼차원 좌표 데이터 연산부(51)(도 2 참조)에서 측정대상물의 삼차원 좌표, 삼차원 형상을 측정하는데 이용된다.

[스테레오 페어의 설정]

도 4로 되돌아와, 삼차원 계측시스템(100)의 동작의 설명을 계속한다. 다음에, 스테레오 페어의 설정으로 이행한다. 촬영화상 데이터 기억부(13)에 등록된 화상 중, 스테레오 페어가 되는 좌우 화상의 조를 설정한다(S16).

도 13에, 스테레오 페어 선택(S16) 플로우의 예를 나타낸다. 이 선택 플로우는 배열부(47)에서 자동적으로 행한다. 우선, 화상마다 등록된 코드 부착타겟(CT)의 번호를 리스트업 하고(S550), 이 중에서, 공통의 코드번호의 타겟(CT)이 복수 포함되어 있는 화상으로부터 스테레오 페어를 선택한다(S560). 촬영시에 도 6(a)에 나타내는 바와 같이, 4개의 코드 부착타겟(CT)을 포함하도록 스테레오 촬영하고 있으면, 4개의 코드 부착타겟(CT)이 들어간 화상이 2매씩 있으므로, 스테레오 페어를 설정할 수 있다. 또한, 도 6(b)에 나타내는 바와 같이, 각 스테레오 페어간에 공통의 코드번호의 코드 부착타겟(CT)이 2개 들어가 있는 경우는, 그 화상의 상하 좌우의 어느 하나의 인접화상의 관계에 있으므로, 각 스테레오 페어간에서의 배치관계를 결정할 수 있다(S570). 이와 같이, 배열부(47)는, 화상촬영장치(10)에서 각 촬영화상이 4개의 코드 부착표식(CT)을 포함하도록, 또한 서로 인접하는 촬영화상간에서는 2개의 코드 부착표식을 공유하도록 하여 촬영한 일련의 촬영화상에 대해서, 서로 인접하는 촬영화상에서 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 일련의 촬영화상의 배열을 정한다. 한편, 각 촬영화상이 3개 이상의 코드 부착표식(CT)을 포함하도록, 또한 서로 인접하는 촬영화상간에서는 2개 이상의 코드 부착표식(CT)을 공유하도록 하여 촬영하면, 배열 가능하다.

다음에, 컬러코드 부착타겟의 색 식별수가 적은 경우의 스테레오 페어의 설정에 대해서 설명한다.

도 14에 색식별수가 적은 경우에 있어서의 촬영 순서의 일례를 나타낸다. 촬영 순서를 결정하고 화상을 집어 넣으면, 화상의 배치와 스테레오 페어는 이미 알려져있기 때문에, 타겟의 추출을 기다리지 않고 자동적으로 스테레오 페어를 설정할 수 있다. 이 예에서는, 화살표의 방향으로 차례로 촬영하는 것이라 결정한다.

촬영 순서가 달라져 버린 경우에는, 배열부(47)를 이용하여 읽기화상 기억부(141)의 화상을 재배열을 행하면 그 다음은 자동 처리할 수 있다.

매뉴얼의 경우는, 화상을 읽고 나서 표시장치(60)에 스테레오 표시하고, 2개의 화상을 비교하는 것에 의해 스테레오 페어를 설정하면 좋다. 이 경우에서도, 배열부(47)에서 촬영 차례를 결정해서 화상을 집어 넣으면, 작업 효율이 좋아져 바람직하다.

[대응점 결정처리]

여기서 도 4로 되돌아온다. 다음에, 기준점 설정부(42)에 의해서, 스테레오 화상의 한 쪽의 화상(기준화상) 위에 지정된 점의 근방으로서, 특징점에 적합한 점을 탐색하고, 해당 특징점에 적합한 점을 기준점으로 설정한다(S18). 또한, 대응점 탐색부(43)에 의해서, 스테레오 화상의 다른 쪽의 화상(탐색화상) 위에 있어서의, 기준점과 대응하는 대응점을 정한다(S19).

도 15는, 대응점 결정처리를 설명하는 플로우차트의 예이다. 좌우 화상의 대응점을 결정하는 구체적인 처리과정을, 도 15를 참조하여 설명한다. 대응점 결정처리에 들어가면(S200), 대응점 결정처리로서의 매뉴얼모드, 반자동모드, 자동모드의 3개의 모드 중의 어느 한 쪽을 선택한다(S202). 한편, 이하에 설명하는 왼쪽 화상과 오른쪽 화상은, 그 역인 오른쪽 화상과 왼쪽 화상으로 역으로 치환하더라도 처리는 완전히 같고, 그와 같이 바꿔 읽어 처리하더라도 좋다.

매뉴얼 모드가 선택되면, 매뉴얼 모드에서의 처리가 개시된다(S210). 우선, 표시장치 상의 왼쪽 화상의 특징이 되는 부분을 대응점 지시부(45)의 마우스에 의 해서 지시하고, 확정한다(S212). 확정은, 예를 들면 마우스의 버튼을 누르는 것 등으로 행한다. 확정처리에 의해 왼쪽 화상 좌표가 읽혀진다. 다음에, 왼쪽 화상과 같은 특징점을 표시장치의 오른쪽 화상 위에서 대응점 지시부(45)의 마우스에 의해 지시·확정한다(S214). 이것에 의해, 오른쪽 화상 좌표가 읽혀진다. 이와 같이 매뉴얼모드에서는, 좌우 화상 위에서 따로 따로 대응점 지시부(45)에 의해 지시, 확정시킨다. 그리고, 대응점으로서 6점 이상 대응했는지 판단하고(S216), 6점 미만이면 S202의 모드선택 후 S210으로 되돌아온다. 한편, S212로 되돌아와 매뉴얼 모드에 의한 대응점 결정처리를 계속하도록 프로그램을 작성해도 좋다. 6점 이상 대응되어 있으면, 되돌리는 것으로 한다.

반자동모드가 선택되면, 반자동모드에서의 처리가 개시된다(S220). 반자동모드에서는, 대응점 탐색부(43)에 의한 자동 탐색모드로 설정된다(S222). 다음에, 표시장치(60)의 왼쪽 화상 위에서 특징점(기준점, 레트로 타겟 등)을 대응점 지시부(45)의 마우스에 의해 지시한다(S224). 그러면, 대응점 탐색부(43)는, 오른쪽 화상 위의 대응점(레트로 타겟 등)을 자동으로 탐색한다(S226).

그리고, 오퍼레이터는 대응점 탐색부(43)에서 검색된 오른쪽 화상 위의 대응점이 적절한지 판단한다(S228). 이 경우, 대응점 탐색부(43)에서 연산된 상호 상관계수가, 어느 역치 이상이면 OK라 결정한다(예를 들면, 0.7 이상 등). 표시장치(60)에는, 대응점 지시부(45)에 의해, 예를 들면 오른쪽 화상 위에서 왼쪽 화상 위에 대응한 탐색 위치에 OK이면 초록표시의 점, NG이면 빨강표시의 점을 표시하거나, 커서마크의 도형을 바꾸거나(예를 들면, 화살표 "⇒"로부터 이중원 "◎"으로 커서마크 표시를 변경한다), 상호 상관법에 있어서의 상호 상관계수치를 표시시키거나 한 것을 참조하여, 오퍼레이터가 판정한다. 오른쪽 화상 탐색이 OK인지 아닌지의 표시는, 오퍼레이터가 판단 용이하면 어떠한 표시에 따르더라도 좋다.

OK가 아닌 경우, 대응점이 다른 위치에서도 좋은지 판단하고(S230), 다른 위치에서도 좋다면 S224로 되돌아와 다른 점을 지시한다. 한편, 아무래도 그 위치를 특징점으로 하고 싶은 경우는, 오른쪽 화상 위의 커서를 매뉴얼에서 이동시켜 지시한다(S232). 즉, 예를 들면 대응점 지시부(45)의 깊이방향을 맞추는 다이얼 등을 돌리면, 등가적으로 오른쪽 화상 위의 커서가 움직이게 되므로, 그것을 조정하여, 왼쪽 화상과 같은 특징점인 곳으로 가져가게 맞춘다.

그리고, S228에서 오른쪽 화상탐색 OK인 경우, 혹은 S232에서 오른쪽 화상을 지시한 경우는, 그 점의 화상좌표를 읽는다(S234). 예를 들면, 마우스의 버튼을 누르는 등으로 해서 확정시킨다. 그리고, 대응점으로서 6점 이상 대응시킴을 했는지 판단하고(S236), 6점 미만이면 S202의 모드선택 후(S220)로 되돌아온다. 한편, S222로 되돌아와 반자동모드에 의한 대응점 결정처리를 계속하도록 프로그램을 작성해도 좋다. 6점 이상 대응하고 있으면, 되돌리는 것으로 한다.

상술한 반자동모드는, 왼쪽 화상 위에서 특징점을 마우스에 의해 지시하는 것에 의해, 자동으로 오른쪽 화상의 대응점을 탐색하여, OK인지 어떤지 표시하고 있다. 따라서, 오퍼레이터는 커서마크 표시의 표시를 보고, 대응점 탐색부(43)에서 검색된 오른쪽 화상 위의 대응점이 적절하면, 검색된 대응점을 대응점으로서 확정시킨다(예를 들면 화살표 "⇒"로부터 이중원 "◎"으로 변경되어 있는 경우). 반 자동모드를 이용하는 것에 의해, 오퍼레이터는 한 쪽의 화상을 지시하는 것만으로 좋기 때문에, 대응점 결정처리를 간단하게 처리할 수 있다. 한편, 마우스에 의한 지시와 확인을 위한 판정은, 버튼을 누르는 것에 의해도 좋지만, 또한 마우스 커서를 이동하여 왼쪽 화상 위를 덧쓰는 것만으로, 오른쪽 화상 위의 대응점을 항상 판정표시시키도록 구성해도 좋다. 왼쪽 화상 위의 마우스 커서에 대응하는 오른쪽 화상 위의 대응점을 판정표시시키면, 대응점 결정처리를 한층 용이하게 처리할 수 있다.

자동모드가 선택되면, 자동모드에서의 처리가 개시된다(S240). 자동모드는, 대응점이 되는 타겟을 미리 대상물 주변에 배치함으로써, 자동으로 타겟을 검출하는 모드이다. 타겟이 되는 것은, 미리 특징점으로서 인식하기 쉬운 것을 대상물 주변에 배치한다. 타겟은 인식하기 쉬운 것이면 무엇이든 좋다. 본 실시형태에서는, 컬러코드 부착타겟(CT)의 레트로 타겟부(P1)를 사용한다. 이 경우, 타겟의 정확한 위치를 미리 알고 있으면, 정확한 삼차원 계측이 가능해진다.

우선, 오퍼레이터는, 표시장치(60)에 의해 좌우 화상 위에 6점 이상의 타겟이 포함되어 있는지 확인한다(S242). 만약 좌우 화상 위에서 6점 이상의 타겟이 포함되지 않으면, 매뉴얼 혹은 반자동모드로 간다(S244). 한편, 좌우화상에 대응하는 6점 이상의 타겟이 촬영되어 있지 않은 경우에는, 타겟이 6점 이상 들어가도록 다시 촬영한다. 그리고, 자동모드 처리로 이행한다(S246).

자동모드 처리에서는, 자동 타겟검출을 행하기 위해서, 배치한 타겟화상의 하나를 대응점 지시부(45)에 의해 지시하고, 예를 들면 추출부(41)의 화상 컬러패 턴 기억부(140)에 템플레이트 화상으로서 등록한다(S248). 그리고, 기준점 설정부(42)와 대응점 탐색부(43)에 의해 템플레이트 화상을 바탕으로, 왼쪽 화상과 오른쪽 화상의 각각의 타겟위치를 탐색한다(S250). 이 타겟위치의 탐색처리는, 예를 들면 먼저 설명한 상호상관 계수법 등을 이용하여 자동 검출시킨다. 그리고, 탐색된 타겟위치를 표시장치(60) 위에 표시한다(S252).

오퍼레이터는, 탐색된 타겟위치가 OK인지 판단하고(S254), OK이면 되돌리는 것으로 한다. NG이면, 타겟위치의 수정을 행한다(S256). 이 수정에는, 매뉴얼모드 혹은 반자동모드에 의한 처리를 이용한다. 만일, NG인 경우에서도, 타겟을 배치하기 때문에 수정은 용이하다.

그리고, 수정된 타겟위치를 이용하여, 좌우 화상 위에서의 대응점을 검출한다(S258). 이 작업은, 대응부(40)의 대응점 지시부(45)에 의해 좌우 화상의 대응점을 표시장치(60)를 보면서 지시하는 것에 의해 행한다. 혹은 미리 타겟의 배치를 결정하여, 대략 평행하게 스테레오 촬영한다. 그러면, 타겟의 배치는 촬영한 화상 위에서도 유지되기 때문에, 대응부를 자동으로 행하는 것도 가능하다. 또한, 6점 이상의 타겟 마크를 따로 따로 정하여, 미리 템플레이트 지정해 두어도, 대응부를 자동으로 행하는 것이 가능하다. 좌우 화상 위에서의 대응점의 점수는, 최소 6점이므로 작업은 매뉴얼로 행하더라도 간단하게 할 수 있다.

한편, 자동인 경우의 위치검출용 패턴의 추출방법은, 도 8의 설명을 참조하기 바란다.

[표정]

상술한 바와 같이, 촬영화상 데이터 기억부(13)에 기억된 측정대상물(1)의 스테레오 화상에 있어서, 레트로 타겟위치 등의 기준점 설정 및 대응점 설정을 행하는 작업을 표정작업이라 한다.

여기서, 표정작업이란, 기준점 설정부(42)와 대응점 탐색부(43)에 의해, 조작자가 마우스 커서 등으로 기준 화상 위에서 지시한 지시점에 대해서, 특징점에 적합한 기준점에 대응하는 대응점의 화상 좌표를 읽어내는 작업이다. 이 대응점은 통상 화상마다 6점 이상 필요하다. 미리 측정대상물(1)에 대해서 도시하지 않은 삼차원 위치측정 장치로 별도 측정한 삼차원 좌표 데이터가 삼차원 좌표 데이터 기억부(53)에 기억되어 있으면, 기준점 좌표와 화상의 대응시킴을 해서, 절대 표정을 실행한다. 없으면 상대표정을 실행한다.

예를 들면, 오버랩한 스테레오 화상 중에 컬러코드 부착타겟(CT)이 4개 있고, 1개의 컬러코드 부착타겟(CT) 중에 3점의 위치검출용 패턴(레트로 타겟부)(P1)이 있으면, 합계 12점의 위치검출용 패턴(레트로 타겟부)(P1)의 무게중심 위치 좌표로부터 표정 처리할 수 있다.

표정은 최저에서도 6점 이상이면 행할 수 있으므로, 위치검출용 패턴은 컬러코드 부착타겟 중에 최저 2점이면 좋다. 그 경우 8점에서 표정 처리된다.

여기의 처리는 매뉴얼, 혹은 반자동에 의해서도 가능하다. 즉, 컬러코드 부착타겟(CT) 내의 위치검출용 패턴(P1)을 좌우 화상 위에서 마우스에 의해 그 무게중심위치를 눈으로 보아 클릭, 또는, 먼저 설명한 바와 같이, 마우스로 위치검출용 패턴(P1)의 부근을 클릭하면, 자동위치 검출하도록 할 수도 있다. 또한, 컬러코드 부착 타겟(CT)을 검출하고, 구해진 식별코드에 의해 기준점 및 대응점을 자동적으로 결정하는 것도 할 수 있다.

다음에 스테레오 페어 선택된 각 화상에 대해서, 표정작업에 의해 구한 대응점의 좌표를 이용하여, 표정부(44)에 의해 표정 계산처리를 행한다(S40). 표정 계산처리에 의해, 촬영한 카메라의 위치, 기울기, 대응점의 위치, 계측 정밀도를 구할 수 있다. 표정 계산처리는, 한 쌍의 촬영화상 또는 한 쌍의 모델화상의 대응부에 관해서는 상호 표정으로 행하여, 복수 또는 전체 화상간의 표정에 관해서는 조정에서 행한다.

다음에, 표정 계산처리의 상세한 것에 대하여 설명한다.

[상호 표정]

다음에, 표정부(44)에서 행하는 상호표정에 대해서 설명한다.

도 16은, 스테레오 화상에 있어서의 모델화상 좌표계 XYZ와 카메라 좌표계 xyz의 설명도면이다. 모델화상 좌표계의 원점을 좌측의 투영중심으로 취하고, 우측의 투영중심과 연결하는 선을 X축으로 취하도록 한다. 축척은, 기본선 길이를 단위길이로 취한다. 이 때 구하는 파라미터는, 좌측의 카메라의 Z축의 회전각 κ1, Y축의 회전각 φ1, 우측의 카메라의 Z축의 회전각 κ2, Y축의 회전각 φ2, X축의 회전각 ω2의 5개의 회전각으로 이루어진다.

우선, 이하의 공면 조건식(식 3)에 의해, 좌우 카메라의 위치를 정하는데 필요로 하는 파라미터를 구한다.

이 경우, 좌측의 카메라의 X축의 회전각 ω1은 0이므로, 고려할 필요가 없다.

상술의 조건으로 하면, 공면 조건식(식 3)은 (식 4)와 같이 변형되어, (식 4)를 풀면 각 파라미터가 구해진다.

여기서, 모델화상 좌표계 XYZ와 카메라 좌표계 xyz의 사이에는, 다음에 나타내는 좌표변환의 관계식 (식 5), (식 6)이 성립된다.

이러한 식을 이용하여, 다음의 순서에 의해, 미지 파라미터를 구한다.

(i) 파라미터(κ1, φ1, κ2, φ2, ω2)의 초기 근사치는 통상 0으로 한다.

(ii) 공면조건식 (식 4)를 근사치의 주위에 테일러 전개하여, 선형화한 때의 미분 계수의 값을 식 (식 5), (식 6)에 의해 구하고, 관측 방정식을 세운다.

(iii) 최소 이승법을 적용하여, 근사치에 대한 보정량을 구한다.

(iv) 근사치를 보정한다.

(v) 보정된 근사치를 이용하여 (ii)∼(v)까지의 조작을 수속(收束)할 때까지 반복한다.

만일, 표정점의 배치가 나쁜 경우, 수속하지 않는 경우가 있을 수 있다. 정상적으로 행하여지지 않은 경우는, 표정 결과표시로 에러를 출력하여 어느 화상이 나쁜지 표시한다. 이 경우, 화상 위에 다른 표정점이 있으면 변경하여 상기 계산을 반복한다. 안되면 표정점의 배치변경을 행한다.

도 4로 되돌아와, 모델화상 형성부(48A)는, 표정부(44)에서 표정된 표정요소에 기초하여 한 쌍의 모델화상을 형성하고(S42), 모델화상 형성부(48A)에서 형성된 모델화상은, 모델화상 기억부(48B)에 기억된다(S43). 촬영·모델화상 표시부(48)는, 이 모델화상을 스테레오 화상으로서 표시장치(60)에 표시한다(S44).

[정밀표정]

여기에서는, 위치검출용 표식으로서 컬러코드 부착타겟(CT)에 더하여 레퍼런스 포인트를 갖는 타겟을 이용하여 정밀표정을 행하는 예에 대해 설명한다.

도 17에 레퍼런스 포인트의 자동대응 부착의 플로우예를 나타낸다. 또한, 도 18에 레퍼런스 포인트(RF)를 갖는 타겟의 예를 나타낸다. 도 18(a)에서는 레퍼런스 포인트(RF)로서 복수의 레트로 타겟이 배치되어 있다. 평면적인 측정대상물 에서는, 컬러코드 부착타겟(CT)만으로 좋은 경우도 있지만, 측정대상물(1)의 곡면이 복잡한 경우나 곡률이 큰 경우는, 컬러코드 부착타겟(CT)에 더하여 이들 레퍼런스 포인트(RF)로서 다수의 레트로 타겟을 붙이거나 계측의 신뢰성이 높아진다.

여기에서는 이 레퍼런스 포인트(RF)의 자동 위치검출, 대응부에 대해서 설명한다.

도 17의 플로우에 따라 설명한다. 우선, 컬러코드 부착타겟(CT) 내의 위치검출용 패턴(레트로 타겟부)(P1)의 위치를 검출한다(S110). 레트로 타겟의 검출에 대해서는 도 8에 대한 설명을 참조하길 바란다. 도 18(a)에 있어서, 4개의 컬러코드 부착타겟(CT) 내의 위치검출용 패턴(P1)은 합계 6점 이상이고, 표정처리가 가능하다. 따라서, 표정처리를 행하고(S120), 이어서, 편위 수정처리를 행한다(S130).

한편, 여기는 편위 수정처리를 행하지만, 그 밖에 아핀변환(affine transformation)이나 헬마트 변환(Helmert transformation) 등을 행하여 화상을 변환처리해도 좋다. 그 경우는, 위치검출용 타겟의 수가 4점 이상으로 좋다.

편위 수정처리에 의해 편위 수정화상(모델화상)을 작성한다. 편위 수정화상이란, 좌우화상의 에피폴라 라인(EP)을 가로선이 되도록 바꿔 나열한 화상이다. 따라서, 도 18(b)에 나타내는 바와 같이, 좌우화상의 레퍼런스 포인트(RF)는 동일 에피폴라 라인(수평선)(EP)상에 재배열된다. 표정처리의 결과를 이용하여 모델화상을 형성하면, 이러한 편위 수정화상을 얻을 수 있다. 아핀 변환이나 헬마트 변환 등의 다른 변환을 사용한 경우, 동일 수평라인 상에 온다라고 한정할 수 없지만, 그럼에도 그 가까운 변에 온다.

다음에, 동일 에피폴라 라인(EP)상의 레퍼런스 포인트(RF)가 되는 타겟을 탐색한다(S140). 편위 수정화상이 되어 있으면, 동일라인 상의 1차원 탐색만으로 되기 때문에, 탐색이 용이하다. 다른 변환을 이용한 경우는, 에피폴라 라인(EP)만이 아니라, 그 가까운 변을 수 라인분 탐색한다.

여기서의 탐색은, 예를 들면 템플레이트 매칭 등으로 대표되는 상호 상관법을 이용한다. 템플레이트 화상으로서 레퍼런스 포인트(RF)를 컬러코드 부착타겟(CT) 내의 위치검출용 패턴(P1)과 동일패턴으로 해두면, 컬러코드 부착타겟(CT)의 위치검출용 패턴(P1)과 동시에 검출할 수 있으므로, 이것을 사용하면 편리하다.

또한, 레퍼런스 포인트(RF)에 레트로 타겟을 사용하면, 촬영조건으로부터 미리 개략의 크기를 계산할 수 있으므로 템플레이트로서 등록해 두어도 좋다. 또한, 레트로 타겟을 사용하면, 그 부분은 반사강도가 높기 때문에, 화상중의 레퍼런스 포인트를 화상 스캔한 휘도로부터 검출하여, 템플레이트로 해도 좋다.

[상호상관법]

상호 상관계수에 의한 방법에서는, 다음 식을 이용한 이하의 순서에 의한다.

도 19는 좌우화상에 있어서의 탐색범위와 템플레이트 화상의 일례를 나타내는 도면이다. 예를 들면, 대응부(40)의 대응점 지시부(45)에 의해 지시된 특징점이 되는 점을 중심으로 한, N1×N1화소의 화상을 템플레이트 화상 T로서 왼쪽 화상으로부터 잘라낸다. 다음에, 템플레이트 화상 T보다 큰 오른쪽 화상 중의 M1×M1화소를 탐색범위 I(화소수(M1-N1+1)²)로서, 탐색범위 I상에서 템플레이트 화상 T를 움직인다. 다음에, 윗식의 상호 상관계수 C(a,b)가 최대가 되는 화상위치를 구하고, 이것에 의해 템플레이트 화상 T가 탐색되었다고 간주한다. 완전히 왼쪽 화상 과 오른쪽 화상이 일치하고 있으면, 상호 상관계수치 C(a,b)가 1.0이 된다. 도 17로 돌아와서, 일반적으로는, 표정처리에 의해 촬영카메라의 위치와 기울기를 구하고(S120), 그 결과를 이용하여 편위 수정화상을 작성하는 작업을 한다(S130). 여기에서는, 표정부(44)의 표정결과를 이용하여 모델화상 형성부(48A)에 의해, 편위 수정화상을 작성하는 처리를 행한다.

도 18(b)과 같이, 동일 라인상에서 레퍼런스 포인트(RF)가 발견되면, 그것을 대응점으로서 식별(넘버링)한다(S150). 여기서, 만약 레퍼런스 포인트(RF)가 동일 라인상에 다수 있는 경우는, 그 좌우의 위치로부터 각 레퍼런스 포인트(RF)를 식별한다. 다음에, 검출된 레퍼런스 포인트(RF)를 더하여, 표정을 행한다(S160). 여기서, 다시 표정을 행함으로써, 표정의 신뢰성을 향상할 수 있다. 표정결과의 정밀도가 충분하여(S170), 문제가 없으면 처리를 종료한다. 불충분하면, 나쁜 점을 삭제하고(S180), 표정을 다시 한다(S160).

이 표정처리도 스테레오 화상 페어마다 행한다. 모델화상 형성부(48A)는, 표정부에서 표정된 표정요소에 기초하여 한 쌍의 모델화상을 형성하고(S42), 모델화상 형성부(48A)에서 형성된 모델화상은, 모델화상 기억부(48B)에 기억된다(S43). 촬영·모델화상 표시부(48)는, 이 모델화상을 스테레오 화상으로서 표시장치(60)에 표시한다(S44). 레퍼런스 포인트를 갖는 타겟을 이용하여 표정을 행하는 것에 의해, 또한, 표정을 반복하는 것에 의해, 표정의 정밀도가 향상하지만, 이러한 표정은, 통상은 한 번 표정 처리된 모델화상에 기초하여 행하여진다. 모델화상은 모델화상 기억부(48B)로부터 추출부(41)의 읽기화상 기억부(141)에 읽혀져서, 재표정에 이용된다.

[번들조정의 공선(collinearity)조건식]

다시 도 4의 플로우로 되돌아와 설명한다.

다음에, 자동표정된 전체의 점(화상)을 사용하여 번들(bundle)조정을 행한다(S40에 포함된다).

이 처리에 의해서, 전체의 화상의 정밀도가 조정 계산된다. 이 처리 자체는, 이하의 원리에 의해 계산으로 구해진다.

공선조건식은, 투영중심, 사진상 및 지면(ground) 위의 대상물이 일직선상에 있다고 하는 번들조정의 기본식이며, (식 12)와 같이 된다.

여기서, 표정에 상호 상관법과 번들법을 이용하는 방법을 설명했지만, 이러한 표정을 더 반복하여 표정의 정밀도를 올려도 좋다. 이 경우, 표정 전에 배열부(47)에 의해, 일련의 모델화상에 대해서, 서로 인접하는 모델화상으로 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 측정대상물(1)에 관한 일련의 모델화상을 배열하여 이용해도 좋다.

[매칭 에어리어 결정]

도 4로 되돌아와, 다음에, 대응부(40)에서 계측위치 지정(매칭 에어리어 결정)(S45)을 행하고, 삼차원 좌표 데이터 연산부(51)에서 스테레오 계측을 행하고(S50), 삼차원 좌표 데이터 기억부(53)에 스테레오 화상의 대응점의 삼차원 좌표를 등록한다.

[스테레오 매칭 에어리어 자동결정]

다음에 3차원 계측(면계측)을 위한 계측위치 지정, 즉, 매칭, 에어리어 결정에 대해서 설명한다(S45).

매칭 에어리어 결정은, 도 6(a)에 나타내는 바와 같이, 스테레오 화상의 4 모서리에 배치된 컬러코드 부착타겟(CT)을 포함하도록 대응점 탐색부(43)에서 매칭범위를 자동 설정한다. 한편, 매칭 전에 배열부(47)에 의해, 일련의 모델화상에 대해서, 서로 인접하는 모델화상에서 공유된 코드 부착표식(CT)의 식별코드가 일치하도록, 측정대상물(1)에 관한 일련의 모델화상을 배열하여 이용해도 좋다.

도 20에 스테레오 매칭 에어리어 자동결정처리의 플로우 예를 나타낸다. 또한, 도 21은 스테레오 매칭 에어리어 설정을 설명하기 위한 도면이다. 도 21(a)은 컬러코드 부착타겟(CT)이 위치검출용의 3개의 레트로 타겟을 갖는 예이다. 우선, 스테레오 화상의 4모서리에 배치된 컬러코드 부착타겟(CT)을 검출한다(S300). 다음에 4개의 컬러코드 부착타겟(CT) 내에 있는 각 레트로 타겟부(P1)를 검출한다(S310). 이러한 검출에 대해서는 도 7 및 도 8의 설명이 참조되길 바란다. 다음에, 그 검출된 각 레트로 타겟부(P1)의 좌표치로부터 모든 레트로 타겟부(P1)를 포함하도록, 가장 바깥쪽의 레트로 타겟부(P1)를 연결한 에어리어를 계측 에어리어로서 설정한다(S320). 즉, 왼쪽 위를 원점(0,0)으로 한 경우, Y좌표가 최소인 점끼리를 연결하면 수평의 위쪽 라인, Y좌표가 최대치인 점을 연결하면 수평의 아래쪽 라인, X좌표가 최소치인 점을 연결하면 수직방향의 왼쪽 라인, X좌표가 최대치의 점을 연결하면 수직방향의 오른쪽 라인이라는 식으로, 계측해야 할 매칭 에어리어를 자동으로 결정할 수 있다.

이와 같이, 매칭영역을 결정함으로써, 도 6(b)에 나타내는 바와 같이, 각 모델화상간의 오버랩도 확실히 취할 수 있게 된다. 즉, 컬러코드 부착타겟(CT)을 화면의 4모서리의 가까이에 배치하여, 항상 이러한 컬러코드 부착타겟(CT)의 가장 바깥쪽에 있는 레트로 타겟을 연결하여 획정되는 영역을 매칭 에어리어로 함으로써, 스테레오 매칭 에어리어를 자동적으로 결정할 수 있는 것과 동시에, 각 모델화상간의 오버랩을 확실히 할 수 있다. 이 경우, 각 컬러코드 부착타겟(CT)에 위치검출용 패턴(레트로 타겟부)(P1)을 최저 2점 이상 배치하면, 매칭 에어리어 자동설정처리가 가능해진다. 도 21(b)은 컬러코드 부착타겟(CT)이 위치검출용의 2개의 레트로 타겟을 갖는 예이다. 이 경우는 컬러코드 부착타겟(CT) 내에서 레트로 타겟을 연결하는 선이 비스듬하게 되는 부분이 생긴다.

전자동의 경우, 코드 식별수가 많으면, 인접화상의 오버랩을 취하면서 한 쌍의 화상(전형적으로는 스테레오)을 기본단위로서 임의의 순서로 촬영 가능하다. 또한, 촬영순서를 결정하면, 코드 식별수가 적어도 자동화가 가능하다. 그 경우, 스테레오 촬영된(오버랩 한) 2 장의 화상 중의 컬러코드 부착타겟(CT)을 식별할 수 있으면 좋다. 매칭 에어리어 결정(S45)이 이루어진 영역에 대해서는, 스테레오 계측이 이루어진다(S50). 스테레오 계측에는, 예를 들면 상호 상관 계수법을 이용한 화상 상관처리가 이용된다.

[계측위치 지정]

계측위치 지정은 반자동, 매뉴얼에서도 가능하다. 다음에 반자동 및 매뉴얼의 계측위치 지정과 이것에 계속되는 계측에 대해서 설명한다.

도 22에, 계측위치 지정의 처리 플로우 예를 나타낸다. 계측위치 지정 처리에 들어가면(S400), 계측위치 지정 처리로서의 매뉴얼 모드, 반자동 계측모드, 자동 계측모드의 3개의 모드 중 어느 한 쪽을 선택한다(S402).

표시장치(60)에 입체화상을 표시하고, 그것을 보고, 확인하면서 계측하는 것이 가능하다. 또한, 표시장치(60)에는 스테레오 화상(촬영화상, 모델화상)을 표시하는 것도 가능하다. 또한, 대응점 지시부(45)로부터의 입체화상 위에 있어서의 깊이방향의 지시는, 마우스에 붙은 다이얼이나, 혹은 다이얼 단체(單體) 등에 의해 지시한다.

매뉴얼모드가 선택되면, 매뉴얼모드에서의 계측위치 지정의 처리가 개시된다(S410). 여기에서는, 오퍼레이터가 표시장치(60)의 스테레오 화상을 보면서 계측점을 지시하는 순서를 설명한다. 오퍼레이터는, 표시장치(60)에서 표시되어 있는 왼쪽 화상에 대해서, 계측하고 싶은 위치를 특징점으로서 지시한다(S412). 다음에, 표시장치(60)에 표시되어 있는 오른쪽 화상에 대해서, 동일점이라고 생각되는 위치를 특징점으로서 지시한다(S414). 그리고, 표시장치(60)를 보고, 왼쪽 화 상의 특징점과 오른쪽 화상의 특징점이 커서가 가리키는 계측하고 싶은 점으로서 일치하는 특징점 위에 있는지 확인한다(S416). 이 커서가 지시하는 점의 위치에는, 화면의 평면방향 외에, 깊이방향도 포함된다. 만약 차이가 나면, 대응점 지시부(45)의 마우스를 이용하여 계측하고 싶은 위치를 지시한다(S418).

오퍼레이터가 표시장치(60)에서 입체화상을 보고 있으면, 깊이방향도 동시에 관찰할 수 있기 때문에, 깊이방향의 위치도 맞춘다(S420). 즉, 깊이방향이 있지 않으면 커서가 대상점보다 뜨거나 가라앉거나 하게 보인다. 이 경우, 깊이방향을 맞추는 다이얼이 있으면, 그것들을 이용하여 대상점 위에 커서위치를 맞출 수 있다. 이 커서위치 맞춤작업은, 실질적으로는, 좌우화상의 위치맞춤을 하고 있는 것과 같지만, 입체를 보면서 행하고 있으므로 실수가 없는 것과 동시에 확실하다. 즉, 특징이 적은 곳에서도, 좌우화상의 위치맞춤을 할 수 있다. 그리고, 왼쪽 화상의 특징점과 오른쪽 화상의 특징점이 일치하고 있어 OK이면, 마우스의 버튼 등에 의해 위치 확정하여, 좌표위치를 읽게 한다(S422).

반자동 계측모드가 선택되면, 반자동 계측모드에서의 계측위치 지정의 처리가 개시된다(S430). 반자동 계측모드에서는, 표시장치(60)를 보면서 행한다. 반자동 계측모드에서는, 대응점 탐색부(43)는, 자동 수색모드로 이행한다(S432). 그리고, 오퍼레이터는 왼쪽 화상 위의 계측점을 마우스에 의해 지시하면(S434), 대응점 탐색부(43)는, 왼쪽 화상 위의 계측점과 동일 계측점을 오른쪽 화상 위에서 탐색한다(S436). 한편, 이 대응점 탐색부(43)에 의한 왼쪽 화상 위의 계측점과 동일 계측점을 오른쪽 화상 위에서 탐색하는 방식은, 대응점 결정의 S226에서 설명한 내 용과 완전히 같다. 그리고, 오른쪽 화상의 탐색 위치가 OK인지 확인한다(S438).

만약 오른쪽 화상의 탐색위치가 왼쪽 화상 위의 계측점과 다르면, 매뉴얼모드와 같이 대응점 지시부(45)의 마우스를 이용하여 계측하고 싶은 위치를 지시한다(S440). 이 때, 오퍼레이터는 표시장치(60) 상에서 깊이방향과 화상 평면방향을 동시에 관찰할 수 있기 때문에, 깊이방향의 위치도 일치시킨다(S442). 그리고, 왼쪽 화상의 특징점과 오른쪽 화상의 특징점이 일치하고 있어 OK이면, 마우스의 버튼 등에 의해 위치 확정하고, 좌표위치를 읽게 한다(S444). 이 때, 표시장치(60)상에는, 대응하는 오른쪽 화상의 위치에 OK표시를 하면 좋다. 또한, 입체화상 표시이면, OK표시도 커서의 색, 형상을 바꾸는 것 등에 의해 확인할 수 있지만, 실제로 있는지 없는지도 본인의 눈으로 확인할 수 있다.

자동 계측모드가 선택되면, 자동 계측모드에서의 계측위치 지정의 처리가 개시된다(S450). 자동 계측모드에서는, 지정한 영역의 삼차원 좌표치를 일괄하여 계측하는 것이 가능하다. 따라서, 계측하고 싶은 영역에 대하여 지정하는 계측영역 지정처리를 행한다(S452). 즉, 계측영역의 가장 바깥쪽이 되는 좌우화상의 경계점을 지시한다. 예를 들면, 거의 직사각형 화면 가득한 영역을 일괄 계측하고 싶은 경우는, 도 21과 같이 대응 경계가 되는 경계점을 4점 지시한다. 오퍼레이터는 표시장치(60) 상에서 경계점의 표시를 참조하여, 좌우 화상의 경계점을 지시하는 점이 적절한지 판단하여(S454), 지정한 경계점이 틀리거나 마음에 들지 않으면 S452로 되돌아와 다시 지시한다.

좌우화상의 경계점의 지정이 적절하면, 각 지정점을 선으로 연결하여, 입체 화상 표시로 계측영역을 명확하게 한다(S456). 그러면, 입체화상 표시는, 대응경계가 되는 경계점을 선을 연결한 표시가 된다. 그리고, 오퍼레이터는 경계점 및 연결선 표시를 참조하여, 계측영역의 지정이 적절한지를 확인한다(S458). 적절하지 않은 경우는, 부적절한 지정점과 대응하는 연결선을 클리어 하여(S460), S452로 되돌아와 다시 지시한다. 계측영역의 지정이 적절하면, 계측영역으로서 확정한다(S462). 이와 같이 해서 계측영역을 결정하면, 그 영역에 있어 좌우화상의 대응점이 틀림없이 결정되어 있으므로, 확실한 일괄계측이 가능해진다. 또한, 일괄계측에 있어서, 이러한 좌우화상의 대응점을 이용하면, 신뢰성, 속도 모두 올리는 것이 가능해진다.

다음에, 계측영역이 지정된 영역내의 대응점에 대해서, 대응점 탐색부(43)에 의해 자동으로 대응점 검출을 일괄 처리한다(S464). 여기에서는, 화상 상관처리에 의해 행한다. 예를 들면 먼저 설명한, 상호 상관 계수법을 이용하여, 왼쪽 화상을 템플레이트, 오른쪽 화상을 그 탐색영역으로서 각 점의 대응점 검출을 행하면 좋다. 도 19에 나타내는 바와 같이, 예를 들면 왼쪽 화상 위에 템플레이트 화상 T를 설정하고, 오른쪽 화상 위에서 동일 에피폴라 라인(EP) 위를 탐색하는 처리로, 이것을 전체 화상중 I로 행하고, 좌우화상의 대응점을 구하는 처리이다. 한편, 화상 상관처리로서, 조밀 탐색 상관법(fine correlation method)이나 그 외의 화상 상관처리로서 이용되는 통상의 처리방법을 이용해도 좋다.

[화상 표시]

도 4로 되돌아와, 계측위치 지정이 이루어진 영역에 대해서, 대응부(40)(추 출부(41), 기준점 설정부(42), 대응점 탐색부(43), 표정부(44) 등)의 기능에 의해, 스테레오 계측이 이루어지고(S50), 삼차원 좌표 데이터 연산부(51)의 연산 처리에서 측정대상물(1)의 삼차원 좌표가 구해진다(S55). 삼차원 좌표 데이터 연산부(51)에서 구해진 삼차원 좌표, 혹은 삼차원 좌표 데이터 기억부(53)로부터 읽혀진 삼차원 좌표로부터, 입체적 이차원 화상형성부(54)에서 측정대상물(1)의 입체적 이차원 화상을 작성하여, 입체적 이차원 화상기억부(55)에서 입체적 이차원 화상을 기억한다.

다음에, 화상대응부(56)는, 측정대상물(1)의 스테레오 화상(촬영화상 또는 모델화상)과 삼차원 좌표 데이터를 이용하여 입체적 이차원 화상형성부(54)에 의해서 형성된 입체적 이차원 화상을, 표정부(44)에서 구해진 대응점관계를 이용하여 대응짓는다. 입체적 이차원 화상표시부(57)는, 화상대응부(56)에 의해 대응지어진 스테레오 화상을 이용하여, 측정대상물(1)의 입체감 텍스처 화상 등의 입체적 이차원 화상을 표시장치(60)에 표시한다. 이러한 입체적 이차원 화상의 화면은, 임의의 방향에서의 사시상태를 나타내는 것이 가능한 측정대상물(1)의 입체적 이차원 화상이며, 와이어 프레임면이나 텍스처 매핑에 의한 화상의 표시도 가능하다. 텍스처 매핑이란, 측정대상물(1)의 이차원 화상에 입체감을 표현하는 텍스처를 붙이는 것을 말한다. 또한, 카메라 촬영위치나 기준점 위치를 표시해도 좋다.

이와 같이 하여, 면의 자동계측이 이루어지고, 측정대상물(1)의 삼차원 좌표가 구해져, 입체적 화상이 표시장치(60)에 표시된다.

또한, 조작자가 마우스나 키보드 등을 이용하여, 자세 지시부(58)에 의해 측 정대상물(1)의 표시의 방향을 지시하면, 화상 변환부(59)가 표시장치(60)에 표시된 측정대상물(1)의 표시의 방향을, 자세 지시부(58)에 의해 지시된 방향으로 좌표변환하여, 표시한다. 이러한 측정대상물(1)의 표시의 방향을 임의로 지정할 수 있는 기능에 의해서, 모든 각도로부터 시점위치를 변화시켜 계측결과나 측정대상물(1)을 표시장치(60)에 표시시킴으로써, 조작자가 시각적으로 측정대상물(1)을 확인하는 것이 가능해진다.

이상과 같이, 화상의 스테레오 페어 선택이나, 선택된 스테레오 페어 내에서의 대응점 탐색, 표정, 면계측을 위한 스테레오 매칭 에어리어 결정, 면계측 등은, 코드 부착타겟(CT)을 이용하여, 자동, 반자동, 매뉴얼 중의 어느 하나로도 가능하다.

[제 2 실시형태]

코드 부착타겟(CT)의 부착에 대신하여, 또는 코드 부착타겟(CT)의 부착과 병용하여 투영장치(12)에 의해 촬영대상물(1)에 기준패턴을 투영해도 좋다.

도 23에 제 2 실시형태에 있어서의 삼차원 계측시스템(100A)의 전체 구성 예의 블록도를 나타낸다. 제 1 실시형태(도 2 참조)에 있어서의 삼차원 계측시스템(100)에 비교하여, 투영장치(12)와 계산처리부(49)가 추가되어 있고, 그 외의 구성은 제 1 실시형태와 같다. 투영장치(12)는 측정대상물(1)에 위치검출용 패턴 등 각종 패턴을 투영하고, 화상촬영장치(10)에서 투영된 각종 패턴을 촬영하여, 표정이나 삼차원 계측에 이용한다. 계산처리부(49)는 화상 데이터를 받아 각종 패턴을 검출하고, 또한, 각종 패턴을 발생시켜, 투영장치(12)로부터 투영시킨다.

도 24에 촬영대상물(1)에 투영하는 기준 패턴의 예를 나타낸다. 도 24(b)는 도트형상의 패턴이며, 도 24(c)는 격자모양의 패턴이다. 격자는 직교하는 가로세로 선이 등간격으로 배치되고, 도트는 격자의 교점에 상당하는 위치에 배치되어 있다. 도 24(a)에 도 24(b)의 기준 패턴을 촬영대상물(1)에 투영한 예를 나타낸다. 본 실시형태에서는, 도트의 위치 또는 격자의 위치에, 예를 들면 레트로 타겟(채색된 것을 포함한다)이나 컬러코드 부착타겟(CT)(예를 들면, 컬러코드의 단위 영역이 3개소)의 패턴이 배치되고, 촬영대상물(1)에 투영되는 것으로 한다.

도 24(a)에 있어서, 10은 화상촬영장치인 스테레오 카메라, 12는 투영장치(프로젝터), 49는 계산처리부이다. 계산처리부(49)는, 화상촬영장치(10)로부터 촬영화상을 입력하여, 측정대상물(1)의 특징점이나 붙여진 타겟 등의 패턴을 검출하는 패턴검출부(491), 기준패턴, 레퍼런스 포인트(RF), 와이어 프레임 패턴 등의 투영패턴을 형성하는 패턴형성부(492), 패턴형성부(492)에서 형성된 투영패턴을 투영장치(12)로부터 투영시키는 패턴투영부(493)를 갖는다. 또한, 촬영화상이나 투영패턴의 색채를 보정하는 색채수정부(494)를 갖는 것도 있다. 색채수정부(494)는, 컬러코드 부착타겟(CT)의 기준색에 기초하여, 각 스테레오 페어 화상간의 색을 이 기준색에 의해 보정하는 기능을 갖는다. 계산처리부(49)가 대응부(40) 내에 추가되지만, 이 경우, 패턴검출부(491)는 추출부(41), 기준점 설정부(42), 대응점 탐색부(43), 표정부(44), 식별코드 판별부(46), 배열부(47)의 기능을 이용할 수 있으므로(이러한 기능을 갖는 경우가 있음), 추가하지 않아도 좋지만, 기준패턴이나 레퍼런스 포인트(RF) 등에 특별한 패턴을 사용하는 경우는, 추가하면 편리하다. 또한, 색채수정부(494)나 색채보정부(312)의 기능을 이용할 수 있으므로, 마찬가지이다.

스테레오 카메라(10)와 프로젝터(12)는 다음과 같이 이용할 수 있다.

(a) 프로젝터(12)에서 카메라로 촬영하는 범위를 조명하고, 스테레오 카메라(10)로 그 범위를 촬영하도록 조정한다.

(b) 프로젝터(12)에서 텍스처용 조명(조명만)을 투사하고, 카메라(10)로는, 1개의 모델화상의 텍스처용의 화상(측정대상물의 화상)으로서 스테레오 페어화상을 촬영한다.

(c) 계측전 준비로서 프로젝터(12)로부터 기준패턴 등의 패턴을 투영한다. 이것을 스테레오 촬영한다. 예를 들면, 원 패턴을 격자형상으로 조사하거나, 혹은 격자형상의 선 패턴 등, 측정대상물(1)의 형상이 눈으로 보아, 혹은 계산처리로 알 수 있는 패턴이라면 뭐든지 좋다. 체크는 눈으로 보거나 혹은 계산처리로 행한다. 원 패턴이나 격자 패턴의 경우, 계측대상물(1)의 형상에 의해 변형하므로, 패턴의 변형점을 체크하는 것에 의해, 측정대상물(1)의 형상의 개략을 파악할 수 있다. 계산처리의 경우, 패턴검출부(491)에서 패턴검출한다. 예를 들면, 격자형상에 배치된 점이 등간격이 아닌 부분 등을 변형점으로서 검출하면 좋다. 또한, 동시에 레퍼런스 포인트(RF)나 컬러코드 부착타겟(CT)을 찍어 넣어도 좋고, 다른 형상의 것을 찍어도 좋다.

패턴 변형점의 체크 방법으로서 개략측정을 이 영역에 대해서 행하여 버리는 방법도 있다. 촬영화상을 패턴검출부(491)에 보내어, 표정계산을 한다. 또한, 계측점 수가 적을 때 등, 투영한 표정점을 계측점으로서 계측처리를 종료하는 것도 가능하다.

계측전 준비에서 알 수 있었던 변형점에, 레퍼런스 포인트(RF)를 붙인다, 혹은, 패턴을 증가하는 등이 조치를 취할 수 있다. 촬영범위를 결정하기 위한 컬러코드 부착타겟(CT)을 붙이는 것도 가능하다. 또한, 표정점의 크기, 수, 배치 등을 계산하여 실전의 패턴투영에 반영할 수 있다.

(d) 표정처리에 있어서, 프로젝터(12)로부터 컬러코드 부착타겟(CT) 및 레퍼런스 포인트(RF)를 투사한다. 여기서, 컬러코드 부착타겟(CT)을 조사된 위치에 붙인다. 이전의 준비에서 붙여져 있는 경우는 그 이외의 점에 붙인다. 투사된 패턴으로부터 계측하는 경우는 붙일 필요는 없다. 이것을 스테레오 촬영하여, 표정처리에 이용한다.

(e) 삼차원 계측에 있어서, 프로젝터(12)로부터 계측용의 패턴을 조사한다. 이 경우, 예를 들면 스테레오 매칭(삼차원 계측)용으로 랜덤패턴 등을 조사한다. 계측용 패턴은, 먼저 카메라 컨디션에 의해 필요 정밀도가 산출되어 있고, 그 정밀도에 알맞은 크기의 계측용 패턴이 조사된다. 이것을 스테레오 촬영하여, 삼차원 계측에 이용한다.

(f) 다음의 촬영위치로 이동할 때, 프로젝터(12)에 의해서 대략 다음의 촬영위치를 내비게이션해도 좋다.

한편, 이상의 처리를 전자동화하는 것도 가능하다. 그 경우, 부착작업은 행하지 않고, 모두 프로젝터 투사의 패턴에만 의해 계측한다.

투영장치(12)와 계산처리부(49) 이외의 구성 및, 상기 이외의 프로세스는 제 1 실시형태와 같고, 같은 효과를 이룬다.

[제 3 실시형태]

본 실시형태에서는, 위치검출용 패턴(P1)으로서 컬러 레트로 타겟을 사용하는 예를 설명한다.

본 실시형태는, 타겟의 위치추출의 탐색방법으로서, (4) 채색된 위치검출용 패턴을 이용하는 방법을 채용하는 것이다.

(4) 컬러코드 부착타겟(CT)에 사용하고 있는 3 모서리의 레트로 타겟에 다른 색을 갖게 하여, 각각의 레트로 타겟이 반사하는 색을 다른 것으로 한다. 3 모서리의 레트로 타겟에 다른 색을 갖게 하고 있기 때문에, 1개의 컬러코드 부착타겟에 속하는 각 레트로 타겟을 판별하기 쉽다. 레트로 타겟 그룹화 처리에 있어서, 다수의 레트로 타겟을 사용하는 경우에도, 다른 색의 레트로 타겟에서 가장 거리가 가까운 것을 선택하는 것에 의해, 처리가 간단하게 된다.

레퍼런스 포인트(RF)로서 다수의 레트로 타겟을 이용하는 경우에는, 컬러코드 부착타겟(CT)의 레트로 타겟과 단체의 레트로 타겟이 혼재하므로, 컬러코드 부착타겟(CT)의 레트로 타겟을 채색한 레트로 타겟으로 하고, 단체(單體)의 레트로 타겟을 흰색으로 하면, 판별하기 쉽다.

무게중심위치의 검출에 대해서는, 도 8에서의 설명을 참조하길 바란다.

한편, 위치검출용 표식으로서 컬러코드 부착타겟(CT)을 대신하여 단체 또는 복수의 컬러 레트로 타겟을 사용하는 것도 가능하다. 예를 들면, 배색의 종류를 증가하거나 컬러의 배치를 랜덤으로 하는 등에 의해, 기준점에 대한 대응점, 스테 레오 화상 페어를 탐색하기 쉬워진다. 또한, 복수의 컬러 레트로 타겟(P8)을 조합하여 사용하는 것도 가능하다. 예를 들면, 도 25에 나타내는 바와 같이 3개의 컬러 레트로 타겟을 합쳐서 1개의 표식으로 하고, 그 배색의 조합을 변화시키는 것에 의해, 기준점에 대한 대응점, 스테레오 화상 페어를 탐색하기 쉬워진다.

한편, 컬러코드 부착타겟 이외는 제 1 실시형태와 같고, 동일한 효과를 가진다.

이상 실시예를 이용하여 설명한 본 발명의 삼차원 계측시스템에 의하면, 코드 부착표식(타겟)을 사용하는 것에 의해, 광역의 비접촉 삼차원 측정을 효율화하고, 자동화할 수 있다.

이하에, 여러 가지의 변형예로서의 컬러코드 부착타겟(CT2∼CT11)을 설명한다.

도 1 (b)는 컬러코드부(P3)가 6개소의 컬러코드 부착타겟(CT2)이다. 도 1(a)에 있어서의 컬러코드 부착타겟(CT1)의 컬러코드패턴(P3)의 3개의 단위 패턴을 대각선으로 분리하고, 단위 패턴을 6개소로 하고 있으므로, 컬러코드 부착타겟(CT)의 영역과 방향의 검출방법은, 도 1(a)의 경우와 같이, 각 무게중심점으로 만든 삼각형의 안쪽을 스캔한 경우의 색으로의 변화로 레트로 타겟의 라벨링 처리가 가능하다. 즉, R1의 주위에서는 2회의 색변화가 생기고, R2와 R3의 주위에서는 색의 변화는 생기지 않는다. 또한, 컬러코드부(P3)의 읽기처리는 6개소로 증가한다. 컬러코드에 사용하는 색을 6색으로 하면 코드수는, 6×5×4×3×2×1=720 코드를 표현할 수 있다. 마지막 컬러코드부(마지막×1 의 부분)는 코드수에 영향은 없지 만 상대 비교를 위해 필요하고, 또한 색코드부를 인식한 때에 오인식의 체크용으로서도 이용할 수 있다.

도 1(c)의 컬러코드 부착타겟(CT3)은, 컬러코드부(P3)의 단위 패턴을 작게 하고, 컬러코드부(P3)의 단위 패턴을 9개소로 한 것이다.

이 때문에, 컬러코드 부착타겟(CT3)의 영역과 방향의 검출시, R1의 주위에서는 2회의 색변화가, R2와 R3의 주위에서는 1회의 색변화가 나타나므로, 이것에 의해 식별할 수 있다. 또한, 백색부(P4)와의 위치 관계를 검출하는 것에 의해, R1, R2, R3을 확인할 수 있다. 또한, 컬러코드부(P3)의 읽기처리는 9개소로 증가한다. 컬러코드에 사용하는 색을 9색으로 하면 코드수는, 9의 계승= 362880코드를 표현할 수 있다. 그 이외는, 도 1(a)과 같이 처리를 할 수 있다.

도 26의 컬러코드 부착타겟(CT4)은, 도 1(a)의 컬러코드 부착타겟(CT1)의 바깥쪽에 검은색의 검은영역부(P5)를 추가한 패턴이다. 검은영역부(P5)에 의해, 측정물의 색이나 모양의 영향을 억제할 수 있다.

도 26의 컬러코드 부착타겟(CT4)은 도 1(a)의 컬러코드 부착타겟(CT1)의 바깥쪽에 검은 영역부(P5)를 형성한 것뿐이기 때문에, 처리는 도 1(a)의 컬러코드 부착타겟(CT1)과 다르지 않다. 도 1(a) 이외의 컬러코드 부착타겟에도 검은영역부(P5)의 형성이 가능하다.

도 27의 컬러코드 부착타겟(CT5)은, 도 1(b)의 컬러코드 부착타겟(CT2)의 기준색부(P2)를 없애고, 레트로 타겟부(P1)의 하나를 크게 한 것이다.

도 27의 컬러코드 부착타겟(CT5)는, R1에 해당하는 부분의 레트로 타겟이 커 지고 있으므로, 각 레트로 타겟부의 R1, R2, R3에 대응시키는 라벨링 처리는, 레트로 타겟의 사이즈를 검출하면 할 수 있다. 다만, R1에 해당하는 부분의 레트로 타겟이 커진 만큼, 기준색부(P2)가 없기 때문에 컬러코드의 판별은 어려워진다.

이 경우의 대책으로서 예를 들면, 컬러코드에 사용하는 색을 6색으로 하고, 같은 색을 중복 사용하지 않는다고 하는 제한을 마련하면, 컬러코드부(P3)에 모든 코드색이 나타난다. 이것에 의해, 각 컬러코드부(P3)의 색을 6색의 코드색에 대응시키는 것만으로 좋아지고, 게다가, 컬러코드부(P3) 상호의 색을 상대 비교에 의해 행할 수가 있다. 코드수는, 도 1(b)의 컬러코드 부착타겟(CT2)과 같이 720코드를 표현할 수 있다.

도 28의 컬러코드 부착타겟(CT6)은, 도 1(a)의 컬러코드 부착타겟(CT1)의, 레트로 타겟부(P1)의 R2, R3 부분과 백색부(P4)에 기준색부(P2)를 배치하여, 컬러코드 부착타겟의 영역과 방향의 검출용으로서도 사용하는 것이다. 레트로 타겟부(P1)는 R1의 부분 1개소이다. 도 1(a)의 컬러코드 부착타겟(CT1)의 기준색부(P2)의 부분에는 컬러코드패턴(P3)을 배치할 수 있고, 컬러코드패턴을 1개 증가시킨다.

기준색부(P2)를 영역과 방향의 검출용으로서 사용하는 경우, 사각 패턴의 무게중심을 구하는 것, 기준색광으로 명도차를 검출하는 것에 의해, 레트로 타겟보다 정밀도는 뒤떨어지지만, 레트로 타겟과 같이 무게중심점의 검출이 가능하다.

도 29의 컬러코드 부착타겟(CT7)은, 도 1(a)의 컬러코드 부착타겟(CT1)의 컬러코드부(P3)의 영역을 작게 하고, 또한 레트로 타겟부(P1)의 패턴을 R1의 부분 1 개소, 컬러코드패턴을 4개소로 한, 소형타입이다. 이 컬러코드 부착타겟(CT7)에 있어서도 기준색부(P2)가 영역과 방향의 검출용으로서 사용된다.

도 30의 컬러코드 부착타겟(CT8)은, 도 29의 컬러코드 부착타겟(CT7)의 백색부(P4)를 컬러코드부(P3)로 치환하여 컬러코드패턴을 5개소로 한, 소형타입의 것이다.

도 31의 컬러코드 부착타겟(CT9)은, 도 1(a)의 컬러코드 부착타겟(CT1)의 단위 패턴의 사이에 검은색의 분리영역부(P6)를 형성한 것이다. 이것에 의해, 영역이나 컬러의 판별시에 에러를 줄일 수가 있다.

도 32의 컬러코드 부착타겟(CT10)은, 도 1(a)의 컬러코드 부착타겟(CT1)의 레트로 타겟(P1) 대신에, 템플레이트 매칭 검출에 대응할 수 있도록, 템플레이트 패턴(P7)으로 치환한 것이다. 레트로 타겟과 같이 무게중심점의 검출을 고정밀도로 할 수 있다.

도 33의 컬러코드 부착타겟(CT11)은, 도 1(a)의 컬러코드 부착타겟(CT1)의 레트로 타겟(P1)을 컬러 레트로 타겟(P8)으로 한 것이다.

컬러코드 부착타겟의 방향결정에서는, 레트로 타겟으로 할 수 있는 삼각형의 내각의 색수의 차이로 방향을 결정하고 있었지만, 컬러코드 부착타겟의 3모서리의 레트로 타겟에 색을 갖게 하여, 각각의 레트로 타겟이 반사하는 색을 다른 것으로 하는 방법도 생각할 수 있다. 예를 들면, 컬러코드 부착타겟에 사용되고 있는 왼쪽 위의 레트로 타겟은 빨강, 오른쪽 위의 레트로 타겟은 파랑, 왼쪽 아래의 레트로 타겟은 초록의 반사광을 되돌리는 것으로 변경하면, 컬러코드 부착타겟의 방향 결정을 그 반사광의 색을 판단하는 것에 의해 간단하게 처리할 수가 있다.

이상 설명한 본 발명에 관한 삼차원 계측시스템 혹은 컬러코드 부착표식은 다음과 같이 이용할 수도 있다.

예를 들면 삼차원 계측시스템(100)에 있어서, 한 쌍의 촬영화상으로부터, 표정부에서 표정된 표정요소에 기초하여 좌표계를 가정한 한 쌍의 모델화상을 형성하는 모델화상 형성부(48A)와, 한 쌍의 모델화상을 기억하는 모델화상 기억부(48B)를 구비하고, 모델화상 형성부(48A)는 일련의 촬영화상에 대해서 표정부(44)에서 표정된 표정요소에 기초하여 일련의 모델화상을 형성하고, 배열부(47)는 일련의 모델화상에 대해서, 서로 인접하는 모델화상에서 공유된 코드 부착표식(CT)의 식별코드가 일치하도록 배열하고, 표정부(44)는 배열된 일련의 모델화상에 대해서 서로 인접하는 모델화상에서 공유된 코드 부착표식(CT)에 관한 기준점 또는 대응점의 좌표가 일치하도록, 측정대상물(1)에 관한 일련의 모델화상에 대해서 차례차례 표정을 행하고, 모델화상 형성부(48A)는 표정부(44)에서 새롭게 표정된 표정요소에 기초하여 새로운 일련의 모델화상을 형성해도 좋다.

이와 같이 구성하면, 스테레오 화상간의 에피폴라 라인을 수평으로 같은 높이로 할 수 있으므로, 표정이 용이하게 된다.

예를 들면 삼차원 계측시스템(100)에 있어서, 표정부(44)는 또한 일련의 모델화상에 대해서 번들법에 의한 표정을 행하고, 모델화상 형성부(48A)는 표정부(44)에서 표정된 표정요소에 기초하여 새로운 일련의 모델화상을 형성해도 좋다.

이와 같이 구성하면, 화상 전체에 걸치는 위치 좌표의 조정이 행하여지므로, 표정에 의한 오차를 미소하게 할 수 있다.

예를 들면 삼차원 계측시스템(100)에 있어서, 표정부(44)는, 표정처리를 반복하는 것에 의해, 새로운 일련의 모델화상을 형성해도 좋다.

여기에 있어서, 상호표정과 번들법에 의한 표정을 교대로 반복하는 것이 바람직하지만, 각각의 표정을 반복해도 좋고, 표정처리의 순서는 임의이다. 이와 같이 구성하면, 표정의 정밀도를 향상할 수 있다.

예를 들면 삼차원 계측시스템(100)에 있어서, 측정대상물(1)에 관한 삼차원 좌표 데이터와 촬영화상 또는 모델화상을, 표정부(44)에서 구해진 표정요소를 이용하여 대응짓는 화상대응부(56)를 구비해도 좋다.

이와 같이 구성하면, 고정밀도의 삼차원 화상을 얻을 수 있다. 한편, 삼차원 화상 데이터는 절대 좌표계로 행하는 것이 바람직하지만, 상대 좌표계를 이용해도 좋다.

예를 들면 삼차원 계측시스템(100)에 있어서, 대응점 탐색부(43)는 한 쌍의 촬영화상 또는 한 쌍의 모델화상에 대해서 코드 부착표식(CT)을 적어도 4개 포함하도록 탐색범위를 자동적으로 정하여, 매칭처리를 행하여도 좋다. 이와 같이 구성하면, 스테레오 매칭의 범위를 자동적으로 정할 수 있어 삼차원 계측의 자동화를 가능하게 한다.

예를 들면 삼차원 계측시스템(100)에 있어서, 컬러코드 부착표식(CT)은 면내에 색채의 기준으로서 이용하는 복수의 색채가 부여된 기준색 패턴(P2)을 갖고, 기준색 패턴(P2)에 부여된 색채를 기준으로 하여, 컬러코드 패턴(P3)의 색채를 보정 하는 색채보정부(312)를 가져도 좋다.

여기에 있어서, 전형적으로는 기준색으로서 빨강, 초록, 파랑이 이용되지만, 식별 가능하면 이것에 한정되지 않는다. 이와 같이 구성하면, 색보정에 의해 컬러코드 식별의 정밀도가 향상한다.

예를 들면 삼차원 계측시스템(100)에 있어서, 추출부(41)는 기준색 패턴(P2)에 실시된 색채와 화상촬영장치(10)에서 촬상된 측정대상물(1)의 화상의 색채를 비교하는 것에 의해, 컬러코드패턴(P3)을 판별해도 좋다.

이와 같이 구성하면, 기준색을 이용하기 때문에 컬러코드패턴의 판별 정밀도가 향상한다.

예를 들면, 삼차원 계측시스템(100)에 있어서, 색채보정부(312)는 기준색 패턴(P2)에 실시된 색채를 기준으로 하여, 화상촬영장치(10)에서 촬상된 측정대상물(1)의 화상의 색채를 보정해도 좋다.

이와 같이 구성하면, 측정대상물의 화상의 색채를 정밀도 좋게 보정할 수 있다.

예를 들면 삼차원 계측시스템(100)에 있어서, 컬러코드 부착표식(CT)을 투영하는 투영장치(12)를 구비해도 좋다.

이와 같이 구성하면, 컬러코드 부착타겟을 붙이지 않고, 촬영의 자동화가 가능하게 된다.

컬러코드 부착표식에 있어서, 위치검출용 패턴(P1)은 형상 및 치수가 같게 구성되어도 좋다. 이와 같이 구성하면, 규격화에 의해 위치검출용 패턴의 추출이 용이하고 확실히 된다.

컬러코드 부착표식에 있어서, 위치검출용 패턴(P1)은 중심에 원형패턴을 갖도록 구성해도 좋다. 이와 같이 구성하면, 위치검출용 패턴의 무게중심위치를 고정밀도로 검출할 수 있다.

컬러코드 부착표식에 있어서, 검출용 패턴(P1)이 배치되지 않은 1모서리에 검출용 패턴(P1)과 다른 패턴(P4)이 배치되도록 구성해도 좋다. 이와 같이 구성하면, 위치검출용 패턴의 확인에 유용하다.

컬러코드 부착표식에 있어서, 3개의 검출용 패턴(P1)의 색채가 다르도록 구성해도 좋다. 이와 같이 구성하면, 위치검출용 패턴 자체를 기준색 패턴 또는 컬러코드 패턴에 겸용할 수 있다.

컬러코드 부착표식에 있어서, 컬러코드 패턴(P3)은, 형상 및 치수가 동일하고 색채가 다른 복수의 단위 패턴으로 되도록 구성해도 좋다. 여기에 있어서, 형상이 동일한 패턴에는, 회전패턴이나 반전패턴도 포함되는 것으로 한다. 이와 같이 구성하면, 규격화에 의해 컬러코드 패턴의 추출이 용이하고 확실하게 된다. 또한, 컬러코드를 판별하기 쉬워진다.

컬러코드 부착표식에 있어서, 기준색 패턴(P2)은, 형상 및 치수가 동일하고 색채가 다른 복수의 단위패턴으로 되도록 구성해도 좋다. 이와 같이 구성하면, 규격화에 의해 기준색 패턴의 추출이 용이하고 확실하게 된다.

컬러코드 부착표식에 있어서, 위치검출용 패턴(P1)의 하나의 주위에 기준색 패턴(P2)이 배치되고, 다른 위치검출용 패턴(P1)의 주위에 상기 컬러코드패턴이 배 치되어 있도록 구성해도 좋다. 이와 같이 구성하면, 기준색 패턴의 추출이 용이하게 된다.

컬러코드 부착표식에 있어서, 위치검출용 패턴(P1)의 하나의 주위에 배치된 기준색 패턴의 수와 다른 위치검출용 패턴(P1)의 주위에 배치된 컬러코드 패턴의 수가 다르도록 구성해도 좋다. 이와 같이 구성하면, 위치검출용 패턴의 주위를 스캔하는 것에 의해, 계측해야 할 위치검출용 패턴의 추출이 용이하게 된다.

컬러코드 부착표식에 있어서, 기준색 패턴(P2)에 있어서의 단위 패턴의 색채는 모두 컬러코드패턴(P3)에 있어서의 단위 패턴의 색채에 포함되도록 구성해도 좋다. 이와 같이 구성하면, 컬러코드 패턴의 컬러의 판별과 화상의 색보정이 용이하게 된다.

컬러코드 부착표식 스티커(sticker)는, 컬러코드 부착표식(CT)을 묘화한 컬러코드 부착표식으로서 사용해도 좋다. 이와 같이 구성하면, 컬러코드 부착표식을 측정대상물에 붙여 사용하는 것에 의해, 언뜻 보아 용이하게 표식을 식별할 수 있어 삼차원 계측의 효율화, 자동화를 촉진할 수 있다.

또한 컬러코드 부착표식 스티커를 복수 조합하여 컬러코드 부착표식 스티커 세트를 구성하고, 1조의 컬러코드 부착표식 스티커 세트에서 각 컬러코드 부착표식 스티커는 컬러코드패턴(P3)의 형상 및 치수가 동일하고, 배색이 전부 다르도록 구성해도 좋다. 여기에 있어서, 배색이 전부 다르다는 것은, 스티커 세트의 어느 한 쪽의 2개의 표식을 비교했을 경우, 컬러코드 패턴 내의 같은 위치에 해당하는 적어도 1 이상의 단위 패턴에 있어서 색채가 다른 것을 말한다. 이와 같이 구성하면, 컬러코드 부착표식 스티커 세트의 사용에 의해, 다수의 컬러코드 부착표식(CT)을 사용하더라도 일견하여 용이하게 표식을 식별할 수 있어, 삼차원 계측의 자동화에 유용하다.

컬러코드 부착표식 추출 장치로서 컬러코드 부착표식(CT)을 포함하는 측량대상물의 화상으로부터 컬러코드 부착표식(CT)을 추출하는 추출부(41)와, 추출된 컬러코드 부착표식(CT)의 컬러코드 패턴(P3)으로부터, 컬러코드 부착표식(CT)의 식별번호를 판별하는 식별코드 판별부(46)와, 추출된 컬러코드 부착표식(CT)의 위치검출용 패턴(P1)의 위치좌표와 식별코드 판별부(46)에서 판별된 식별 번호를 관련지어 기억하는 표식정보 기억부(150)를 구비해도 좋다. 이와 같이 구성하면, 컬러코드 부착표식(CT)의 코드를 판별 가능한 컬러코드 부착표식 추출장치를 제공할 수 있다.

삼차원 계측장치로서 컬러코드 부착표식을 포함하는 측정대상물을 촬상하는 화상촬영장치(혹은 촬상부)(10)와, 화상촬영장치(10)에서 촬상된 측정대상물의 화상으로부터 컬러코드 부착표식(CT)을 추출하는 추출부(41)와, 추출된 컬러코드 부착표식(CT)의 위치검출용 패턴(P1)과 컬러코드 패턴(P3)으로부터, 컬러코드 부착표식(CT)의 식별코드를 판별하는 식별코드 판별부(46)와, 추출된 컬러코드 부착표식(CT)의 위치검출용 패턴(P1)의 위치좌표와 상기 식별코드 판별부(48)에서 판별된 식별코드를 관련지어 기억하는 표식정보 기억부(150)와, 다수의 컬러코드 부착표식(CT)을 이용하여 측정된 컬러코드 부착표식(CT)의 위치에 기초하여, 측정대상물의 삼차원 좌표 또는 삼차원 형상을 측정하는 삼차원 계측부(50)를 구비해도 좋다. 이와 같이 구성하면, 컬러코드 부착표식의 코드를 판별하여 이용하는 것에 의해, 효율화, 자동화에 유리한 삼차원 계측장치를 제공할 수 있다.

또한, 본 발명에 의한 삼차원 계측방법을 컴퓨터에 실행시키기 위한 컴퓨터 판독 가능한 프로그램으로 해도 실현 가능하다. 프로그램은 대응부(40)또는 표시화상 형성부(50)의 내장 메모리에 축적하여 사용해도 좋고, 시스템 내외의 기억장치에 축적하여 사용해도 좋고, 인터넷으로부터 다운로드하여 사용하더라도 좋다. 또한, 해당 프로그램을 기록한 기록매체로서도 실현 가능하다.

이상, 본 발명의 실시형태에 대해서 설명했지만, 본 발명은 상기의 실시형태에 한정되는 것이 아니고, 본 발명의 취지를 일탈하지 않는 범위에서, 실시형태에 여러 가지 변경을 가해지는 것은 명백하다. 예를 들면, 이상의 실시형태에서는, 스테레오 카메라로 한 쌍의 화상을 촬영하는 예를 설명했지만, 단카메라의 위치를 조금 조정하여 한 쌍의 화상을 촬영하더라도 좋다. 또한, 표정에 관해서, 상호표정과 번들법에 의한 표정을 행하는 예를 설명했지만, 이러한 표정을 교대로 반복하여 표정 정밀도를 향상해도 좋고, 각각의 표정을 반복하여 표정 정밀도를 향상해도 좋다. 또한 스테레오 화상의 매칭에 상호 상관 계수법을 이용하는 예를 설명했지만, 순차 유사성 검출 알고리즘(sequential similarity detection algorithm)이나 최소 제곱 매칭법을 이용해도 좋다.

또한, 상기 실시형태에서는 삼차원 위치 데이터의 계측을 행하지 않고 표정을 행하고, 측정대상물의 삼차원 좌표를 연산처리하여 구하는 예를 설명했지만, 표정 전에 미리 삼차원 계측을 행하여, 그 데이터를 이용하여 표정을 행하는 것도 가 능하고, 이와 같이 공정의 순서가 변경되어도 좋다. 또한, 상기 실시형태에서는, 입체적 이차원 화상형성부에서 삼차원 좌표 데이터로부터 입체적 이차원 화상을 형성하여, 화상 대응부에 의해 삼차원 좌표 데이터와 촬영화상 또는 모델화상을 표정부에서 구해진 표정요소를 이용하여 대응시키고 있지만, 화상 대응부의 기능을 입체적 이차원 화상 형성부에 흡수시켜, 일체적으로 처리하더라도 좋다. 또한, 입체적 이차원 화상의 표시에, 와이어 프레임 표시나 텍스처 매핑을 이용하여 입체표시를 알기 쉽게 하는 것도 가능하다. 또한, 컬러코드 부착표식의 패턴도 여러 가지의 것이 가능하고, 레퍼런스 패턴으로서 레트로 타겟 이외의 패턴, 예를 들면 검은 바탕에 흰색의 원, 또는 그 반대로 흰 바탕에 검은색의 원, 바탕색 또는 원안의 색을 파랑, 빨강, 노랑 등 다른 색으로 해도 좋고, ◎, +, □, ☆ 등의 기호로 해도 좋다.

또한, 이상의 실시형태에서는, 단위 패턴이 정사각형 컬러코드 부착표식인 예를 주로 설명했지만, 막대형상 패턴, 원형 패턴 등 다른 형상으로 해도 좋고, 또한, 바코드 등으로 색채를 조합하여 컬러코드로 해도 좋다.

또한, 컬러코드 부착타겟(CT)의 부착을 대신하여, 또는 컬러코드 부착타겟(CT)의 부착과 병용하여 투영장치에 의해 촬영대상물에 컬러코드 부착타겟(CT)을 투영하여 사용해도 좋다. 또한, 컬러코드 추출수단의 구성, 컬러코드 부착타겟의 추출의 플로우도 적절하게 변경 가능하다.

본 발명의 설명에 관련하여(특히 청구항에 관련해서) 이용되는 명사 및 동일한 지시어의 사용은, 본 명세서 중에서 특별히 지적하거나 분명히 문맥과 모순되거 나 하지 않는 한, 단수 및 복수의 양쪽 모두에 이르는 것이라고 해석된다. 어구 「구비한다」, 「갖는다」, 「포함한다」는, 특별히 거절이 없는 한, 오픈 엔디드 텀(open ended term)(즉, 「∼을 포함하지만 한정하지 않는다」라고 하는 의미)으로서 해석된다. 본 명세서 중의 수치범위의 상세는, 본 명세서 중에서 특별히 지적하지 않는 한, 단순히 그 범위 내에 해당하는 각 값을 개개에 언급하기 위한 약기법으로서의 역할을 완수하는 것만을 의도하고 있고, 각 값은, 본 명세서 중에서 개별적으로 열거된 것과 같이 같이, 명세서에 포함된다. 본 명세서 중에서 설명되는 모든 방법은, 본 명세서 중에서 특별히 지적하거나 분명히 문맥과 모순되거나 하지 않는 한, 모든 적절한 차례로 행할 수 있다. 본 명세서 중에서 사용하는 모든 예 또는 예시적인 표현(예를 들면,「등」)은 특별히 주장하지 않는 한 단순히 본 발명을 보다 좋게 설명하는 것만을 의도하고, 본 발명의 범위에 대한 제한을 두는 것은 아니다. 명세서 중의 어떠한 표현도, 본 발명의 실시에 불가결한 청구항에 기재되지 않은 요소를 나타내는 것으로는 해석되지 않는 것으로 한다.

본 명세서 중에서는, 본 발명을 행하기 위해 본 발명자가 알고 있는 최선의 형태를 포함하여, 본 발명의 바람직한 실시형태에 대해서 설명하고 있다. 당업자에 있어서는, 상기 설명을 읽은 후 이러한 바람직한 실시형태의 변형이 분명해질 것이다. 본 발명자는, 숙련자가 적당히 이러한 변형을 적용하는 것을 기대하고 있고, 본 명세서 중에서 구체적으로 설명되는 이외의 방법으로 본 발명이 행하여지는 것을 예정하고 있다. 따라서 본 발명은, 준거법에서 허락되고 있는 바와 같이, 본 명세서에 첨부된 청구항에 기재된 내용의 수정 및 균등물을 전부 포함한다. 또한, 본 명세서중에서 특별히 지적하거나 분명하게 문맥과 모순되거나 하지 않는 한, 모든 변형에 있어서의 상기 요소의 어느 조합도 본 발명에 포함된다.

[산업상 이용가능성]

본 발명은, 비접촉으로 대상물을 삼차원 계측하는 것, 및, 비접촉으로 대상물을 삼차원 계측하는 표식으로서 이용된다.

본 발명에 의하면, 하나의 시스템으로 광역의 비접촉 삼차원 측정을 효율화, 자동화할 수 있다.

또한 본 발명에 의하면, 삼차원 계측에 이용하는 표식을 식별할 수 있고, 스테레오 화상에 있어서의 대응점의 특정, 다른 화상간의 대응점의 특정이 용이하게 된다. 또한, 이에 의해 촬상으로부터 삼차원 계측까지의 공정의 전자동화에 기여할 수 있다.

Claims (10)

1. 면 내에 계측위치를 나타내기 위한 위치검출용 패턴과, 표식을 식별하기 위한 코드패턴을 갖는 코드 부착표식을 포함하도록 2방향에서 촬영된 측정대상물의 한 쌍의 촬영화상을 기억하는 화상데이터 기억부와;

   상기 한 쌍의 촬영화상으로부터 상기 코드 부착표식의 위치검출용 패턴과 코드패턴을 추출하는 추출부와;

   상기 추출부에서 추출된 코드 부착표식의 코드패턴으로부터, 상기 코드 부착표식의 식별코드를 판별하는 식별코드 판별부와;

   상기 한 쌍의 촬영화상의 한 쪽에 대해서 상기 추출부에서 추출된 코드 부착표식의 위치검출용 패턴으로부터, 상기 코드 부착표식의 기준점을 설정하는 기준점 설정부와;

   상기 한 쌍의 촬영화상의 다른 쪽에 대해서 상기 추출부에서 추출된 코드 부착표식의 위치검출용 패턴으로부터, 상기 식별코드 판별부에서 판별된 식별코드를 이용하여 상기 기준점에 대응하는 대응점을 탐색하는 대응점 탐색부와;

   상기 기준점 및 상기 대응점에 기초하여, 상기 한 쌍의 촬영화상에 대해서 표정처리를 행하는 표정부를 구비하는, 삼차원 계측시스템.
2. 제 1 항에 있어서,

   상기 코드패턴이 복수의 색채가 실시된 컬러코드패턴이고, 상기 코드 부착표 식이 컬러코드 부착표식인, 삼차원 계측시스템.
3. 제 1 항 또는 제 2 항에 있어서,

   화상촬영장치로 각 촬영화상이 적어도 3개의 상기 코드 부착표식을 포함하도록, 또한 서로 인접하는 촬영화상 간에서는 적어도 2개의 상기 코드 부착표식을 공유하도록 하여 촬영한 일련의 촬영화상에 대해서, 상기 서로 인접하는 촬영화상에서 공유된 코드 부착표식의 식별코드가 일치하도록, 상기 일련의 촬영화상의 배열을 정하는 배열부를 구비하는, 삼차원 계측시스템.
4. 제 3 항에 있어서,

   상기 표정부는, 상기 일련의 촬영화상에 대해서, 서로 인접하는 촬영화상에서 상기 공유된 코드 부착표식에 관한 기준점 또는 대응점의 좌표가 일치하도록, 상기 측정대상물에 관한 일련의 촬영화상에 대해서 차례차례 표정을 행하는, 삼차원 계측시스템.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 추출된 컬러코드 부착표식의 위치검출용 패턴의 위치 좌표와 상기 식별코드 판별부에서 판별된 식별코드를 관련지어 기억하는 표식정보 기억부를 구비하는, 삼차원 계측시스템.
6. 면 내에 계측위치를 나타내기 위한 위치검출용 패턴과, 표식을 식별하기 위한 코드패턴을 갖는 코드 부착표식을 포함하도록 측정대상물을 2방향에서 촬영하는 촬영공정과,

   상기 촬영공정에서 촬영된 상기 측정대상물의 한 쌍의 촬영화상을 기억하는 화상데이터 기억공정과;

   상기 한 쌍의 촬영화상으로부터 상기 코드 부착표식의 위치검출용 패턴과 코드패턴을 추출하는 추출공정과;

   상기 추출공정에서 추출된 코드 부착표식의 코드패턴으로부터, 상기 코드 부착표식의 식별코드를 판별하는 식별코드 판별공정과;

   상기 한 쌍의 촬영화상의 한 쪽에 대해서 상기 추출부에서 추출된 코드 부착표식의 위치검출용 패턴으로부터, 상기 코드 부착표식의 기준점을 설정하는 기준점 설정공정과;

   상기 한 쌍의 촬영화상의 다른 쪽에 대해서 상기 추출부에서 추출된 코드 부착표식의 위치검출용 패턴으로부터, 상기 식별코드 판별부에서 판별된 식별코드를 이용하여 상기 기준점에 대응하는 대응점을 탐색하는 대응점 탐색공정과;

   상기 기준점 및 상기 대응점에 기초하여, 상기 한 쌍의 촬영화상에 대해서 표정처리를 행하는 표정공정을 구비하는, 삼차원 계측방법.
7. 제 6 항에 있어서,

   상기 코드패턴이 복수의 색채가 실시된 컬러코드패턴이고, 상기 코드 부착표식이 컬러코드 부착표식인, 삼차원 계측방법.
8. 면 내에 계측위치를 나타내기 위한 위치검출용 패턴과, 상기 위치검출용 패턴에 대해서 소정의 위치관계에 배치되어, 표식을 식별하기 위한 복수의 색채가 실시된 컬러코드패턴을 구비하는, 컬러코드 부착표식.
9. 제 8 항에 있어서,

   상기 면 내에, 색채의 기준으로서 이용하는 복수의 색채가 실시된 기준색 패턴을 구비하는, 컬러코드 부착표식.
10. 제 8 항 또는 제 9 항에 있어서,

    상기 위치검출용 패턴이 사각형의 3모서리에 배치된, 컬러코드 부착표식.

Images