KR20160130938A - 계측 시스템, 계측 방법 및 비전 칩 - Google Patents

Abstract

계측 시스템(100)은, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상과, 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을, 제1 및 제2의 패턴 화상의 투영이 혼재한 투영 시퀀스에 따라서 피사체에 투영하는 투영 장치(102)와, 피사체에 투영된 제1의 패턴광을 촬상하여, 촬상 화상을 생성하는 적어도 1개의 촬상 장치(101)를 구비한다.

Description

계측 시스템, 계측 방법 및 비전 칩{MEASUREMENT SYSTEM, MEASUREMENT METHOD AND VISION CHIP}

본원은, 계측 시스템, 계측 시스템에 이용되는 계측 방법 및 비전 칩에 관한 것이다.

구조화 라이트에 의해서, 물체의 3D 형상을 취득하는 방법은 옛부터 알려져 있다. 예를 들면, 특허 문헌 1이, 그러한 기술을 개시하고 있다.

일본국 특허공개 소 60－152903호 공보

타케이 죠지, 카가미 신고, 하시모토 코이치："고속 프로젝터를 이용한 3000프레임 매초의 삼차원 화상 계측 시스템의 개발", 로보티크스·메카트로닉스 강연회 강연 개요집 2007, "1P1－MO2(1)"－"1P1－MO2(4)", 2007－05－11 이시이 타쿠미, 이시카와 마사토시 : "1ms 비주얼 피드백 시스템을 위한 고속 대상 추적 알고리즘", 일본 로봇 학회지, Vol.17, No.2, pp.195－201(1999)

상술한 종래의 계측 시스템에서는, 물체의 움직임에 대한 추종성 및 로버스트성의 새로운 향상이 요구되고 있다. 본 개시된 비한정적이고 예시적인 일양태는, 물체의 움직임에 대한 추종성 및 로버스트성을 향상시킬 수 있다.

본 개시된 일양태의 부가적인 혜택 및 유리한 점은 본 명세서 및 도면으로부터 명백해진다. 이 혜택 및/또는 유리한 점은, 본 명세서 및 도면에 개시한 다양한 양태 및 특징에 의해 개별적으로 제공될 수 있는 것이며, 그 1이상을 얻기 위해서 전체가 필요하지 않다.

본 개시된 일양태에 관련된 계측 시스템은, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상과, 상기 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 상기 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을, 상기 제1 및 제2의 패턴 화상의 투영이 혼재한 투영 시퀀스에 따라서 물체에 투영하는 투영 장치와, 상기 제1의 패턴 광을 촬상하여, 촬상 화상을 생성하는 적어도 1개의 촬상 장치를 구비한다.

또한, 이들의 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 기록 매체로 실현되어도 되고, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체의 임의의 조합으로 실현되어도 된다. 컴퓨터 판독 가능한 기록 매체는, 예를 들면 CD－ROM(Compact Disc－Read Only Memory) 등의 불휘발성의 기록 매체를 포함한다.

본 개시에 의하면, 물체의 움직임에 대한 추종성 및 로버스트성을 향상시킬 수 있다.

도 1은 예시적인 실시의 형태 1에 의한 계측 시스템(100)의 개략적인 구성예를 나타내는 모식도이다.
도 2a는 5bit의 그레이 코드표를 나타내는 도면.
도 2b는 5bit의 그레이 코드에 대응한 5bit의 보조 코드표를 나타내는 도면.
도 3은 5비트의 그레이 코드에 대응한 패턴 화상의 일부를 나타내는 이미지도.
도 4는 예시적인 실시의 형태 1에 의한 계산기의 개략적인 기능 블록도.
도 5는 예시적인 실시의 형태 1에 의한 계측 시스템의 계측 방법을 나타내는 플로우챠트.
도 6a는 종래의 3차원 계측에 있어서의 투영 시퀀스를 나타내는 도면.
도 6b는 예시적인 실시의 형태 1에 의한 투영 시퀀스를 나타내는 도면.
도 7은 X좌표의 0bit의 데이터를 취득했을 때의 투영 프레임의 모습을 나타내는 도면.
도 8a는 종래의 CMOS 이미지 센서 내의 단위 화소의 구조를 나타내는 모식도.
도 8b는 도 8A의 단위 화소 내의 데이터 플로우를 모식적으로 나타내는 이미지도.
도 8c는 예시적인 실시의 형태 2에 의한 비전 칩 내의 단위 화소의 구조를 나타내는 모식도.
도 8d는 도 8c의 단위 화소 내의 데이터 플로우를 모식적으로 나타내는 이미지도.
도 9는 예시적인 실시의 형태 2에 의한 비전 칩의 동작을 나타내는 시퀀스도.
도 10은 종래의 계측 시스템의 개략적인 구성예를 나타내는 모식도.

본 개시된 실시의 형태를 설명하기 전에, 우선 도 10을 참조하면서 특허 문헌 1에 개시된 종래의 계측 시스템(800)을 설명한다.

계측 시스템(800)은, 촬상 장치(801), 광원(802), 및 슬릿판(803)을 구비하고 있다. 슬릿판(803)으로는, 그레이 코드를 나타내는 패턴(803a, 803b 및 803c)과 같이 다양한 그레이 코드에 의거하는 상이한 패턴을 갖는 슬릿이 설정된다. 촬상 장치(801)는, 패턴(803a, 803b 및 803c)의 각각에 대응하는 광을 촬상하여, 화상(805a, 805b 및 805c)을 각각 생성한다. 화상(805a, 805b 및 805c)에 의해서 화상군(805)이 구성된다.

이 구성에 의하면, 화상군(805)에 포함되는 3매의 화상의 동일한 명암의 패턴이, 슬릿판(803)을 통하여 어느 방향으로 출사된 광원(802)으로부터의 광에 의거하고 있는지를, 그레이 코드를 복호함으로써 일정하게 특정할 수 있다. 따라서, 피사체(804)까지의 거리에 따라서 발생하는 시차를 특정할 수 있어, 삼각법에 의해 피사체(804)의 삼차원적 형상을 유추할 수 있다.

또한, 계측의 분야에 있어서 특허 문헌 1 이외에, 비특허 문헌 1에 개시된, 광 패턴 투영을 이용한 고속의 3D 형상 계측의 수법이 알려져 있다.

비특허 문헌 1은, 광 패턴 투영을 이용해 고속으로 3D 형상을 계측하는 수법을 개시하고 있다. 비특허 문헌 1의 계측 시스템은, 촬상 장치와, 광원, 렌즈 및 디지털 마이크로 미러 디바이스를 갖는 투영 장치를 구비하고 있다. 촬상 장치는 고속도 촬영을 행하는 기능을 가지고 있다. 예를 들면, 촬상 장치는, 6000fps로 고속 촬영을 할 수 있다. 투영 장치는, 1024×768의 화소를 갖는 바이너리 패턴을 6000fps 이상으로 투영할 수 있다. 특허 문헌 1의 기술에 대하여, 광원 및 슬릿판을, 계산기로부터 매우 고속의 레이트로 제어할 수 있는 디지털 마이크로 미러 디바이스를 구비한 투영 장치로 치환하고 있는 점이 특징이라고 할 수 있다.

구체적으로는, 1024×768의 화상의 X좌표를 그레이 코드화한 각 비트를 맨체스터 부호화하여 얻어지는 패턴이, 디지털 마이크로 미러 디바이스에 6000fps로 설정된다. 그 패턴은 투영 대상에 투영되고, 촬상 장치는, 패턴이 투영된 투영 대상을 6000fps로 촬영한다.

X좌표는 0부터 1023까지의 범위이므로, 각 좌표는 10bit로 표시된다. 또한 맨체스터 부호화함으로써 각 좌표는 20bit로 표시된다. 이 때문에, 20프레임의 촬상 화상으로부터 각 X좌표가 얻어진다. 또한, 삼각법에 의해 투영 대상까지의 거리를 화소마다 얻을 수 있다. 촬상 결과는, 계산 장치(예를 들면, 퍼스널 컴퓨터)에 전송되어 해석된다. 맨체스터 부호화에 의해서 2프레임마다 새로운 X좌표의 비트를 얻어 재계산할 수 있다. 이 때문에, 최종적인 스루풋으로서 3000fps의 분해능으로 3D 계측이 가능해진다.

또한, 비특허 문헌 2에 개시된, 고속도 비전 공간에 대한 화상 처리 기술이 알려져 있다.

비특허 문헌 2에 의하면, 촬상 공간의 시스템 다이나믹스에 대하여, 충분한 속도의 프레임 레이트로 촬상하면, 프레임간에서의 대상 물체의 움직임량을 촬상 화소 공간내에서 1픽셀 이하로 한정한 고속 비전 공간을 정의할 수 있고, 이러한 화상 처리 알고리즘이 구축된다.

이하, 고찰한 종래 기술의 문제점을 설명한다.

비특허 문헌 1은, 투영 장치와 촬상 장치를 이용하여, 고프레임 레이트로 이동 물체를 3차원 계측할 수 있는 가능성을 시사하고 있다.

그러나, 비특허 문헌 1의 방법에 의하면, 예를 들면 투영 장치의 투영 화상이 X좌표 방향으로 1024화소를 갖는 경우, X좌표의 10비트분의 전송에 20프레임이 이용된다. 확실히, 새로운 비트가 확정될 때마다 새로운 3차원 계측의 결과가 갱신되므로, 3000fps의 레이트로 3차원 계측이 가능해진다. 다만, 그 결과는 6000fps에서의 촬상에 의한 20프레임전의 결과를 포함하고 있으므로, 실질적인 시간 해상도는 투영 레이트의 1/20인 300fps 정도이다. 그 결과, 실제로 계측하는 것이 가능한 피사체의 이동 속도는 크게 제한되어 버린다.

이러한 과제를 감안하여, 신규 구조를 구비한 계측 시스템, 거기에 이용되는 계측 방법 및 비전 칩에 이르렀다.

본 개시에 의하면, 투영 장치와 촬상 장치의 프레임 레이트는, 계측 대상의 피사체의 이동 속도에 대하여 충분해지도록 한정된다. 이에 따라, 움직임에 대한 추종성 및 로버스트성을 개선하는 새로운 패턴의 부호화 방식이 제공된다. 예를 들면, 인체를 계측하는 경우, 스포츠 등의 운동 중의 피사체의 움직임을 상정해도, 초속 30미터를 초과하는 이동은 우선 발생하지 않는다. 또한, 의료의 진단 목적으로 인체를 계측하는 경우 등이면, 한층 더 저속으로 피사체 속도를 한정할 수 있다.

또한, 오락 시설 등에 있어서 프로젝션 맵핑의 인터랙티브 투영이 상정된다. 이 때, 예를 들면 볼링장에 있어서 볼과 연동한 컨텐츠 투영을 행하는 경우, 세계 기록이라도 볼의 속도는 초속 15미터 정도이다. 이는, 용도에 따라서 피사체 속도의 범위를 제한해도, 시스템은 바르게 기능하는 것을 의미한다.

본 개시의 일양태의 개요는 이하와 같다.

본 개시된 일양태인 계측 시스템은, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상과, 상기 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 상기 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을, 상기 제1 및 제2의 패턴 화상의 투영이 혼재한 투영 시퀀스에 따라서 피사체에 투영하는 투영 장치와, 상기 제1의 패턴광을 촬상하고, 촬상 화상을 생성하는 적어도 1개의 촬상 장치를 구비한다.

이 구성에 의하면, 물체의 움직임에 대한 추종성 및 로버스트성을 향상시킬 수 있는 계측 시스템을 제공할 수 있다.

어느 양태에 있어서, 상기 계측 시스템은, 상기 피사체의 3차원적 형상 정보를 상기 촬상 화상에 의거하여 계측하는 연산 장치를 더 구비하고 있어도 된다.

이 구성에 의하면, 피사체의 3차원적 형상 정보를 실시간으로 계측할 수 있다.

어느 양태에 있어서, 상기 투영 장치는, 상기 제1의 패턴 화상을 포함하고, 상기 제2의 패턴 화상을 포함하지 않는 제2의 패턴 투영 화상을 나타내는 제2의 패턴광을 1프레임 기간 이상 상기 피사체에 투영한 후, 상기 제1의 패턴광을 2프레임 기간 이상 상기 피사체에 투영하고, 상기 연산 장치는, 상기 촬상 장치에 의해 촬상된 상기 제2의 패턴광의 촬상 화상에 의거하여, 상기 피사체까지의 절대적인 거리를 나타내는 제2의 3차원적 형상 정보를 계측하고, 상기 촬상 장치에 의해 촬상된 상기 제1의 패턴광의 촬상 화상에 의거하여, 상기 피사체의 상대적인 변화량을 나타내는 제1의 3차원적 형상 정보를 계측하고, 상기 제1의 3차원적 형상 정보에 의거하여 상기 제2의 3차원적 형상 정보를 갱신해도 된다.

이 구성에 의하면, 종래의 수법에 비해 높은 시간 분해능을 얻을 수 있다.

어느 양태에 있어서, 상기 제1의 패턴 투영 화상은, 상기 제1 및 제2의 패턴 화상과는 상이한 제3의 패턴 화상을 더 포함하고, 상기 투영 시퀀스는, 상기 제3의 패턴 화상의 투영을 더 포함하고, 상기 제1, 제2 및 제3의 패턴 화상의 사이에서 서로 대응한, 상기 투영 좌표에 의해 특정되는 어느 화소에 주목했을 때, 상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 모두 1일 때, 상기 제3의 패턴 화상 내의 상기 어느 화소의 화소치는 0이며, 상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 모두 0일 때, 상기 제3의 패턴 화상 내의 상기 어느 화소의 화소치는 1이어도 된다.

이 구성에 의하면, 촬상 결과에 의거하여 패턴광이 닿지 않는 개소를 검출할 수 있다.

어느 양태에 있어서, 상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 서로 상이할 때, 상기 제3의 패턴 화상 내의 상기 어느 화소는, 상기 제3의 패턴 화상의 과거의 프레임에 있어서 0 또는 1 중 출현 빈도가 낮은 쪽의 값을 가지고 있어도 된다.

이 구성에 의하면, 2차원의 화상 처리에의 적용성을 높일 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 제2의 패턴 화상의 투영을 상기 투영 시퀀스에 혼합하는 것을, 상기 피사체의 3차원적 변화량에 따라서 선택적으로 전환해도 된다.

이 구성에 의하면, 계측 시스템의 속도를 제한할 수 있다. 이와 마찬가지로, 이동 물체의 가속도에도 제약을 줄 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 그레이 코드의 특정의 비트를, 상기 피사체의 3차원적 변화량에 따라 선택적으로 결정해도 된다.

이 구성에 의하면, 피사체의 변화량을 추종할 수 있는 범위를 동적으로 변경할 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 피사체의 3차원적 형상의 계측과는 독립하여, 2차원적인 움직임량을 탐색하고, 상기 적어도 1개의 촬상 장치에 의해 촬상된 상기 그레이 코드를 나타내는 화상을 상기 2차원적인 움직임 양을 참조하여 복호해도 된다.

이 구성에 의하면, 2차원적인 움직임 양을 고려한 3차원 계측을 정밀도 좋게 행할 수 있다.

어느 양태에 있어서, 상기 2차원적인 움직임양의 탐색에 이용되는 화상은, 상기 3차원적 형상의 계측으로부터 취득된 복수의 화상을 합성함으로써 얻을 수 있다.

이 구성에 의하면, 새롭게 촬영하지 않고, 움직임 탐색 등의 2차원의 화상 처리에 그 합성 화상을 이용할 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 촬상 화상을 복호하고, 복호된 상기 투영 좌표와, 상기 적어도 1개의 촬상 장치의 촬상 좌표계로 규정되는 촬상 화소 좌표의 대응 관계로부터, 상기 촬상 좌표계로부터 얻어지는 상기 3차원적 형상 정보를 상기 투영 좌표계에 있어서의 3차원적 형상 정보로 변환해도 된다.

이 구성에 의하면, 투영 좌표계에 있어서의 3차원적 형상 정보를 취득할 수 있다.

어느 양태에 있어서, 상기 적어도 1개의 촬상 장치는, 복수의 촬상 장치이며, 상기 복수의 촬상 장치는, 상기 피사체의 촬상 범위를 서로 보완하도록 상기 제1의 패턴광을 촬상해도 된다.

이 구성에 의하면, 패턴광은 닿지만 촬상할 수 없는 흡장 영역을 줄일 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 촬상 화상을 복호하고, 복호된 상기 투영 좌표와, 상기 적어도 1개의 촬상 장치의 촬상 좌표계로 규정되는 촬상 화소 좌표와의 대응 관계로부터, 모아레 토포그래피 화상을 생성해도 된다.

이 구성에 의하면, 모아레 토포그래피 화상을 동화상으로서 취득할 수 있고, 본 개시를 의료 분야에 매우 적합하게 적용할 수 있다.

어느 양태에 있어서, 상기 연산 장치는, 상기 3차원적 형상 정보에 의거하여 투영 화상을 생성하고, 상기 투영 장치는, 상기 투영 화상을 나타내는 투영광을 상기 피사체에 투영해도 된다.

이 구성에 의하면, 본 계측 시스템을 투영 시스템으로서 기능시킬 수 있다.

어느 양태에 있어서, 상기 계측 시스템에 있어서 이용되고, 복수의 단위 화소를 구비한 비전 칩이며, 상기 복수의 단위 화소의 각각은, 광을 수광하여 전하를 생성하는 수광 소자와, 상기 수광 소자에 의해서 상이한 시각에 취득된 제1 및 제2의 전하를 각각 축적하는 제1 및 제2의 전하 축적부와, 상기 제1의 전하 축적부에 축적된 제1의 전하의 양과, 상기 제2의 전하 축적부에 축적된 제2의 전하의 양을 비교하여, 상기 제1 및 제2의 전하의 양의 대소 관계를 나타내는 제1의 비트와, 상기 제1 및 제2의 전하의 양의 차분이 소정의 범위 내인지 여부를 나타내는 제2의 비트와의 비교 결과에 의거하여 생성하는 비교부를 구비한다.

이 구성에 의하면, 외부에 메모리를 설치해도 되고, 메모리 용량이나 대역의 비용을 최소화할 수 있다.

본 개시된 일양태인 계측 방법은, 투영 장치 및 촬상 장치를 구비하는 계측 시스템에 있어서 이용되는 계측 방법으로서, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상을 포함하고, 상기 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 상기 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하지 않는 제2의 패턴 투영 화상을 나타내는 제2의 패턴광을 1프레임 기간 이상 계측 대상인 피사체에 투영한 후, 상기 제1 및 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을 2프레임 기간 이상 상기 피사체에 상기 투영 장치를 이용해 투영하고, 상기 촬상 장치에 의해 촬상된 상기 제2의 패턴광의 촬상 화상에 의거하여, 상기 피사체까지의 절대적인 거리를 나타내는 제2의 3차원적 형상 정보를 계측하고, 상기 촬상 장치에 의해 촬상된 상기 제1의 패턴광의 촬상 화상에 의거하여, 상기 피사체의 상대적인 변화량을 나타내는 제1의 3차원적 형상 정보를 계측하고, 상기 제1의 3차원적 형상 정보에 의거하여 상기 제2의 3차원적 형상 정보를 갱신한다.

이 계측 방법에 의하면, 물체의 움직임에 대한 추종성 및 로버스트성을 향상시킬 수 있다.

본 개시에 의하면, 투영 장치와 촬상 장치를 이용해 이동 물체를 3차원 계측할 때, 투영 장치의 프레임 레이트에 대하여, 종래보다도 높은 시간 해상도를 가진 3차원 계측 결과가 얻어진다.

본 개시된 일양태인 계측 방법은, 투영 좌표계에 있어서의 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트의 데이터를 나타내는 제1 데이터의 피사체에 대한 투사를 제1 주기로 반복하는 제1 투사 단계와, 제2 데이터의 피사체에 대한 투사를 상기 제1 주기와 동일한 주기로 반복하는 제2 투사 단계와, 상기 피사체에 투사된 상기 제1 데이터와 상기 제2 데이터를 촬상하는 단계를 포함하고, 상기 제1 투사 단계에서는, 상기 제1 데이터로서 제1 화상을 제1회수만큼 연속하여 채용한 후, 상기 제1 데이터로서 제2 화상을 상기 제1회수만큼 연속해 채용하는 것을 반복하고, 상기 제2 투사 단계에서는, 상기 제2 데이터로서 제3 화상을 상기 제1 회수만큼 연속하여 채용한 후, 상기 제2 데이터로서 제4 화상을 상기 제1회수만큼 연속하여 채용하는 것을 반복한다.

이하, 도면을 참조하면서, 본 개시된 구체적인 실시의 형태를 설명한다. 이하의 설명에 있어서, 동일하거나 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 붙이고 있다. 또한, 중복되는 설명은 생략하는 경우가 있다. 또한, 본 개시된 실시의 형태에 의한 투영 시스템은, 이하에 예시하는 것에 한정되지 않는다.

(실시의 형태 1)

도 1부터 도 6을 참조하면서, 본 실시의 형태에 의한 계측 시스템(100)의 구조, 기능 및 동작을 설명한다.

도 1은 계측 시스템(100)의 개략적인 구성의 일예를 모식적으로 나타내고 있다. 계측 시스템(100)은, 촬상 장치(101), 투영 장치(102) 및 계산기(104)를 구비하고 있다.

투영 장치(102)는, 제1의 패턴 화상과 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을, 제1 및 제2의 패턴 화상의 투영이 혼재한 투영 시퀀스에 따라서 피사체에 투영한다. 제1의 패턴 화상은, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 화상이다. 제2의 패턴 화상은, 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 제1의 패턴 화상과 상이한 위상을 가진 화상이다. 본원 명세서에서는, 투영 좌표계는, 투영용의 패턴 화상의 각 화소의 좌표를 특정하는 좌표계를 의미한다. 또한, 패턴 화상의 각 화소를 특정하는 좌표를 투영 좌표계의 「투영 좌표」라고 부른다. 투영 장치(102)는, 광원 및 렌즈 광학계 등을 포함하고 있다.

투영 장치(102)는, X축 방향으로 32화소, Y축 방향으로 28화소의 해상도를 가지고 있다. 다만, 이 해상도는 설명을 간이화하기 위한 사양이다. 예를 들면 DLP 프로젝터 등이 알려져 있다. DLP 프로젝터는, X축 방향으로 1920화소, Y축 방향으로 1080화소의 해상도를 가질 수 있다. 그러한 DLP 프로젝터를 이용하면, 20000fps를 초과하는 바이너리 패턴을 출력할 수 있다. 투영 장치(102)에는, 이러한 타입의 제품을 폭넓게 이용할 수 있다.

도 2a는, X좌표로서 취할 수 있는 0부터 31의 값을 그레이 코드화한 5비트의 그레이 코드를 나타내고 있다. 도 2b는 5비트의 그레이 코드에 대응한 보조 코드를 나타내고 있다. 도 3은, 5비트의 그레이 코드에 대응한 패턴 화상의 일부를 나타내고 있다.

도 2a에 나타내는 그레이 코드는, bit0부터 bit4까지의 5비트에 의해서 32종류의 값을 코드화하여 얻어진다. 그레이 코드의 특성 상, 인접하는 값의 사이에서 어느 1개의 비트밖에 변화하지 않는다.

도 3의 (X4a)은, X좌표의 그레이 코드치에 있어서 bit4에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (X4b)은, (X4a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다. 마찬가지로, 도 3의 (X3a)은, X좌표의 그레이 코드치에 있어서 bit3에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (X2b)은, (X2a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다. 도 3의 (X2a)은, X좌표의 그레이 코드치에 있어서 bit2에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (X2b)은, (X2a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다.

도 3의 (Y4a)은, Y좌표의 그레이 코드치에 있어서 bit4에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (Y4b)은, (Y4a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다. 마찬가지로, 도 3의 (Y3a)은, Y좌표의 그레이 코드치에 있어서 bit3에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (Y2b)은, (Y2a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다. 도 3의 (Y2a)은, X좌표의 그레이 코드치에 있어서 bit2에 대응하는 패턴 화상을 나타내고 있다. 도 3의 (Y2b)은, (Y2a)를 비트 반전시켜 얻어지는 패턴 화상을 나타내고 있다.

또한, 도시되어 있지 않지만, X좌표 및 Y좌표의 bit1 및 0에도 각각 대응한 패턴 화상 및 반전 패턴 화상이 존재하고 있어도 된다.

투영 장치(102)는 이들 패턴을 피사체(103)에 순차적으로 투영한다. 투영 장치(102)는, 그레이 코드 및 보조 코드에 대응한 화상의 투영을 포함하는, 후술하는 투영 시퀀스에 따라서 투영광을 투영한다.

촬상 장치(101)는, 투영된 패턴광을 순차적으로 촬상하여, 촬상 화상을 생성한다. 또한, 촬상 장치(101)는, 촬상 화소 좌표를 규정하는 촬상 좌표계를 가지고 있다. 촬상 장치(101)는, 이미지 센서, 렌즈 광학계 등을 포함하고 있다. 본원 명세서에서는, 촬상 좌표계는, 촬상 장치(101)에 의해 취득되는 촬상 화상의 각 화소의 좌표를 특정하는 좌표계를 의미한다. 「투영 좌표」와 구별하여, 촬상 화상의 각 화소의 좌표를 촬상 좌표계의 「촬상 좌표」라고 부른다.

계산기(104)는, 계측 시스템(100) 전체를 제어하는 기능을 가지고 있다. 예를 들면, 계산기(104)는, 피사체의 3차원적 형상 정보를 촬상 화상에 의거하여 계측한다. 계산기(104)는, 예를 들면 컴퓨터, 프로세서로 대표되는 연산 장치, 또는 반도체 집적 회로에 의해서 실현될 수 있다. 반도체 집적 회로란, 예를 들면 ASIC(Application Specific Integrated Circuit) 및 FPGA(Field Programmable Gate Array) 등이다. 메모리에, 각 구성 요소의 기능을 발휘하는 컴퓨터 프로그램이 실장되어 있고, 반도체 집적 회로 내의 프로세서가 순차적으로 컴퓨터 프로그램을 실행함으로써, 각 구성 요소의 기능을 실현해도 된다.

도 4를 참조하면서, 계산기(104)의 구조, 기능의 상세를 설명한다.

도 4는 계산기(104)의 기능 블록 구성의 일예를 나타내고 있다. 계산기(104)는, 화상 출력부(400), 화상 입력부(410), 차분 계산부(420), 프레임 메모리부(430), 코드 복호 유닛(440), 좌표 변환부(450), 좌표 변환용 메모리부(460), 좌표 보간부(470), 컨텐츠 생성부(480), 패턴 생성 유닛(490) 및 화상 출력부(400)를 포함하고 있다. 계산기(104) 내의 각 메모리부는, 예를 들면 RAM 등에 의해서 구성될 수 있다. 또한, 좌표 변환부(450), 좌표 변환용 메모리부(460), 좌표 보간부(470), 및 컨텐츠 생성부(480)는 임의로 설치할 수 있다. 후술하는 바와 같이, 계측 시스템(100)은 투영 시스템으로서도 기능할 수 있다. 투영 시스템으로서 기능시킬 때, 이들 기능 블록이 갖는 기능을 계산기(104)에 실장하면 된다.

화상 입력부(410)는, 화상 출력부(400)와 동기하면서, 촬상 장치(101)에 의해 촬상된 촬상 화상(촬상 데이터)을 수신한다. 화상 입력부(410)는, 수신한 촬상 데이터를 차분 계산부(420)에 송신한다.

차분 계산부(420)는, 그레이 코드의 비트마다 반전 비트와 비반전 비트를 나타내는 패턴 화상의 차분을 계산함으로써, 맨체스터 부호를 복호하여, 2프레임마다 코드 복호 유닛(440)에 데이터를 출력한다.

구체적으로, 차분 계산부(420)는, 화상 입력부(410)로부터 수신한 촬상 데이터가 X 및 Y좌표의 비(非)비트 반전 화상이면, 그 촬상 데이터를 프레임 메모리부(430)에 기입한다. 차분 계산부(420)는, 그 화상 데이터가 X 및 Y좌표의 비트 반전 화상이면, 먼저 프레임 메모리부(430)에 기록된 비비트 반전 화상을 독출하여, 양자의 차분을 구한다. 그 차분을 구함으로써, 피사체의 색 또는 환경광에 의존하지 않고, 투영광의 「0」과 「1」을 판별할 수 있다. 그 차분이 소정의 값 이하인 영역을, 투영광이 투영되지 않은 영역으로서 판정하고, 그 영역을 계측 대상 영역으로부터 제외할 수 있다.

코드 복호용 메모리부(441)에는, 촬상 장치(101)의 화소마다 기입 영역이 설치되어 있다. 그레이 코드화된 좌표 데이터의 각 비트치는, 그 기입 영역에 비트 단위로 기입된다. 이 조작이 촬상 장치(101)의 노광 시간의 사이에 순차적으로 실행된다.

코드 복호 유닛(440)은, 코드 복호용 메모리부(441)에 기록된 데이터를 비트 단위로 독출한다. 코드 복호 유닛(440)은, 패턴 생성 유닛(490)이 현재 출력하고 있는 패턴의 종별을 나타내는 정보(패턴 종별 정보)에 따라, 특정의 비트를 갱신하고, 갱신 후의 데이터를 코드 복호용 메모리부(441) 내의 상술한 기입 영역에 비트 단위로 기입한다.

코드 복호 유닛(440)은, 제2의 패턴 투영 화상을 나타내는 제2의 패턴광에 의거하는 촬상 데이터를 수신했을 때는, 그 촬상 데이터를 복호하고, 피사체까지의 절대적인 거리 정보를 나타내는 제2의 3차원적 형상 정보를 생성한다. 또한, 코드 복호 유닛(440)은, 제1의 패턴 투영 화상을 나타내는 제1의 패턴광에 의거하는 촬상 데이터를 수신했을 때는, 그 촬상 데이터를 복호하고, 피사체의 상대적인 변화량을 나타내는 제1의 3차원적 형상 정보를 생성한다. 이 때, 코드 복호 유닛(440)은, 그 변화량에 의거해 피사체까지의 절대적인 거리 정보를 보정(갱신)한다. 즉, 코드 복호 유닛(440)은, 제1의 3차원적 형상 정보에 의거해 제2의 3차원적 형상 정보를 갱신한다.

코드 복호 유닛(440)은 최종적으로, 코드 복호용 메모리부(441)에 기록된 그레이 코드의 좌표 데이터를 바이너리로 재변환하여 좌표 변환부(450)에 출력한다.

지금까지의 처리에 의해, 촬상 장치(101)가 있는 화소에서 촬상된 투영광이, 투영 장치(102)의 어느 화소로부터 투영되었는지를 알 수 있다. 즉, 투영 좌표와, 촬상 좌표의 대응 관계를 알 수 있다. 따라서, 촬상 장치(101)와 투영 장치(102)의 서로의 위치 관계를 이미 알고 있으면 촬상 화소마다 피사체까지의 거리를 삼각법에 의해 얻을 수 있다. 그러나, 얻어지는 정보는, 촬상 장치(101)의 촬상 화소에 대응한 거리 정보이다. 이 때문에, 본 실시의 형태에서는, 그 정보를 투영 장치(102)의 화소 좌표에 대응한 거리 정보로 변환한다.

좌표 변환부(450)는, 코드 복호 유닛(440)으로부터 수신한 데이터를, 투영 장치(102)의 투영 좌표에 대응한 어드레스로 특정되는 좌표 변환용 메모리부(460)의 영역에 기입한다. 그 후, 좌표 변환부(450)는, 좌표 변환용 메모리부(460)로부터, 제2의 3차원적 형상 정보를 투영 장치(102)의 X좌표 및 Y좌표의 순서로 독출함으로써, 투영 장치(102)의 투영 좌표에 대응한, 피사체까지의 거리 정보를 생성한다.

이 때, 대응점이 존재하지 않는 투영 화소가 발생할 수 있다. 구체적으로는, 피사체에 투영된 패턴 화상 중, 어느 복수의 화소에 대응한 각각의 광이, 촬상 장치(101)의 1개의 촬상 화소에 의해서 촬상될 수 있다. 그 경우, 그레이 코드의 특성 상, 대응점이 존재하지 않는 투영 화소는 인접하는 2개의 투영 화소 중 어느쪽의 화소 좌표에 들어가게 되므로, 편측의 투영 화소는 대응처가 없는 상태가 된다.

좌표 보간부(470)는, 좌표 변환부(450)로부터, 투영 장치(102)의 투영 좌표에 대응한 거리 정보를 수신한다. 좌표 보간부(470)는, 거리 정보가 존재하지 않는 투영 좌표에 대하여 거리 정보를 보간한다. 이는, 보간하는 것이 가능한 거리 정보를 갖는 투영 좌표가 일정수 그 주변에 존재하는 개소에 한하여, 주변 좌표의 거리 정보로부터 선형 보간 등의 보간법을 이용해 행해진다. 좌표 보간부(470)는, 투영 좌표계에 의한 거리 정보를 컨텐츠 생성부(480)에 출력한다.

컨텐츠 생성부(480)는, 투영용의 영상 컨텐츠를 생성한다. 컨텐츠 생성부(480)는, 미리 기록되어 있던 영상 컨텐츠를, 좌표 보간부(470)로부터 수신한 거리 정보에 의거해 가공하고, 가공한 영상 컨텐츠를 화상 출력부(400)에 출력한다. 이하, 가공된 영상 컨텐츠를, 미리 기록된 가공전의 영상 컨텐츠와 구별하여, 「가공 후의 영상 컨텐츠」라고 부르는 경우가 있다.

컨텐츠 생성부(480)는, 좌표 어긋남이 없는, 피사체까지의 거리에 정확하게 대응한 영상 컨텐츠를 생성한다. 컨텐츠 생성부(480)는, 투영용 가공 후의 영상 컨텐츠를 화상 출력부(400)에 출력한다.

패턴 생성 유닛(490)은, 기본 패턴 생성부(491), 보조 패턴 생성부(492) 및 실렉터(493)를 가지고 있다. 기본 패턴 생성부(491)는, 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드를 나타내는 기본 패턴을 생성한다. 제1의 화상 패턴은 기본 패턴에 포함된다. 보조 패턴 생성부(492)는, 기본 패턴과 동일한 주기를 가지고, 또한, 기본 패턴과 상이한 위상을 갖는 보조 패턴을 생성한다. 제2의 화상 패턴은 보조 패턴에 포함된다.

기본 패턴 또는 보조 패턴이 셀렉터(493)에 의해 선택되어, 화상 출력부(400)에 출력된다. 피사체(103)의 3차원적 변화량에 따른 셀렉터(493)의 전환에 의해서, 보조 패턴이 기본 패턴에 선택적으로 혼합된다. 그 결과, 기본 패턴과 보조 패턴의 투영이 혼재한 투영 시퀀스가 결정된다.

화상 출력부(400)는, 컨텐츠 생성부(480)에 의해 생성된 영상 컨텐츠와, 패턴 생성 유닛(490)에 의해 생성된, 기본 패턴 및 보조 패턴을 포함하는 투영 패턴을, 투영 장치(102)에 출력한다. 투영 장치(102)는, 가공 후의 영상 컨텐츠를 나타내는 투영광을 피사체(103)에 투영한다.

도 5, 도 6a 및 도 6b를 참조하면서, 계측 시스템(100)의 동작을 설명한다.

도 5는, 계측 시스템(100)의 계측 방법의 플로우차트를 나타내고 있다.

(단계 S101 및 S102)

우선 처음에, 계측 시스템(100)의 초기 캘리브레이션 방법의 일예를 설명한다. 초기 캘리브레이션에 있어서는, 투영 장치(102)는, 제1의 패턴 화상을 포함하고, 제2의 패턴 화상을 포함하지 않는 제2의 패턴 투영 화상을 나타내는 제2의 패턴광을 피사체에 1프레임 기간 이상 투영한다.

초기 캘리브레이션에서는, 기준 평면을 갖는 이동하지 않는 물체 등을 피사체(103)의 위치에 설치한다. 투영 장치(102)는, 도 3의 패턴 화상(X4a)을 나타내는 패턴광을 피사체(103)에 투영한다. 그리고, 촬상 장치(101)는 그 패턴광을 촬상하여, 제1의 캘리브레이션 화상을 취득한다.

계속하여, 투영 장치(102)는 도 3의 패턴 화상(X4b)을 나타내는 패턴광을 그 물체에 투영한다. 촬상 장치(101)는 그 패턴광을 촬상하여, 제2의 캘리브레이션 화상을 취득한다.

제1의 캘리브레이션 화상과 제2의 캘리브레이션 화상을 비교함으로써, 차분이 작은 영역은 투영광이 닿지 않는 영역이라고 판정할 수 있다. 한편, 차분이 충분한 영역은, 투영광이 닿아 있는 영역이라고 판정할 수 있고, 그 차분의 부호로부터 투영 좌표를 복호할 수 있다.

X 좌표 및 Y 좌표의 각각의 5비트 전체에 대하여, 상술한 처리를 반복함으로써, 촬상 장치(101)가 있는 화소로 촬상된 투영광이, 투영 장치(102)의 어느 화소로부터 투영되었는지를 알 수 있다. 즉, 투영 좌표와, 촬상 장치의 촬상 좌표계로 규정되는 촬상 좌표의 대응 관계를 알 수 있다. 최종적으로는 기준 평면까지의 절대적인 거리 정보(제2의 3차원적 형상 정보)가 계산기(104)에 의해서 얻어진다.

후술하는 3D 계측에서는, 그 기준 평면과의 X축 방향에 있어서의 차분을 거리에 3각법을 이용해 환산한다. 초기 캘리브레이션에 있어서, Y축 방향의 설치 오차 또는 렌즈 일그러짐 등도 미리 구해 둘 수 있다. 물론, 계측 정밀도를 필요로 하지 않는 경우에는, 초기 캘리브레이션이 불필요한 것은 말할 것도 없다.

(단계 S103 및 S104)

투영 장치(102)는, 제1의 패턴 화상 및 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을 피사체에 2프레임 기간 이상 투영한다. 환언하면, 투영 장치(102)는, 기본 패턴 및 보조 패턴에 대응한 화상의 투영이 혼재한 투영 시퀀스에 따라서 피사체에 패턴광을 투영한다. 이 때, 투영 장치(102)는, 비반전 비트 및 반전 비트의 패턴 화상을 각각 투영한다.

촬상 장치(101)는, 제1의 패턴광을 촬상한다. 또한, 계산기(104)는, 제1의 패턴광에 의거하는 촬상 화상으로부터 제1의 3차원적 형상 정보를 취득한다.

(단계 105)

이후, 계산기(104)는, 제1의 3차원적 형상 정보에 의거하여 제2의 3차원적 형상 정보를 갱신한다. 이에 따라, 상대적인 변화량에 의거하여 이동 물체를 추종할 수 있다.

다음에, 본 실시의 형태에 의한 이동 물체의 계측 방법을, 종래의 방법과 대비하면서 설명한다.

도 6a는 종래의 3차원 계측에 있어서의 투영 시퀀스를 나타내고 있다. 종래의 투영 시퀀스에서는, X좌표의 bit0부터 bit5까지의 투영광을 순차적으로 투영하면서 계측을 행한다. 1개의 bit의 계측에 있어서, 반전 패턴 화상을 포함해 2프레임을 이용하므로, 도 6a에 나타나는 예에서는, 10프레임 주기로 반복하여 계측이 이루어진다.

종래의 투영 시퀀스에 의하면, 새로운 비트의 계측 결과가 얻어질 때마다, 과거의 5비트분을 집계하여 X좌표가 얻어진다. 이에 따라, 3각법에 의해 피사체(103)까지의 거리를 구할 수 있다. 그러나, 과거 10프레임까지의 화상에 의존해 버리므로, 시간 분해능의 저하를 피할 수 없다.

본 실시의 형태에서는, 종래의 계측에 이용하는 도 6a에 나타내는 그레이 코드에 추가하여, 보조 코드의 특정의 bit를 이용한다.

다시, 도 2a 및 2b를 참조한다. 도 2a 및 2b에 각각 나타내는 그레이 코드 및 보조 코드의 각 bit의 코드열에 주목하면, 그레이 코드와 보조 코드의 사이에서는, 비트 위치에 따라서 0과 1의 반복 패턴의 주기는 동일하고, 그 반복 패턴은 서로 위상으로 하여 90도 어긋나 있는 것을 알 수 있다. 즉, 보조 코드는, 비트마다 그레이 코드의 위상을 90도 어긋나게 함으로써 얻어진다.

본 실시의 형태에서는, 계측 대상의 거리는, 3개의 비트를 계측하는 구간, 즉, 6프레임 구간에 있어서 1화소분 이상 변화하지 않는 것을 전제로 하고 있다. 이하, 그레이 코드의 bit0에 대응한 보조 코드의 bit0를 이용하는 계측 방법을 설명한다.

도 6b는, 본 실시의 형태에 의한 3차원 계측에 있어서의 투영 시퀀스를 나타내고 있다.

본 실시의 형태의 촬상 시퀀스는, 3개의 비트를 계측하는 구간에 의해 정해지는 단위 시퀀스를 가지고 있다. 단위 시퀀스는, 그레이 코드의 bit0 및 그에 대응한 보조 코드의 bit0를 포함하고 있다. 단위 시퀀스는, 또한 그레이 코드의 bit0 이외의 bit를 포함하고 있다. 도시하는 예에서는, 처음에 그레이 코드의 bit0, 보조 코드의 bit0, 및 그레이 코드의 bit1에 대응한 화상을 나타내는 패턴광이 이 순서로 투영된다. 계속하여, 그레이 코드의 bit0, 보조 코드의 bit0, 그레이 코드의 bit2, 그레이 코드의 bit0, 보조 코드의 bit0, 그레이 코드의 bit3, 그레이 코드의 bit0, 보조 코드의 bit0, 및 그레이 코드의 bit4에 대응한 화상을 나타내는 패턴광이 이 순서로 투영된다. 따라서, 모든 비트가 갖추어지기 위해서는 24프레임을 필요로 한다. 이후, 이러한 투영이 반복 실행된다. 이와 같이, 본 실시의 형태에 의한 투영 시퀀스에서는, 그레이 코드의 사이에 보조 코드가 삽입된다.

그러나, 도 2a의 그레이 코드의 bit0와, 도 2b의 보조 코드의 bit0에 주목하면, 피사체의 거리의 변화가 1화소 미만인 한, 그레이 코드 및 보조 코드의 bit0를 모니터하면 피사체의 거리의 상대적인 변화를 추종할 수 있는 것을 알 수 있다. 이러한 계측 방법은, 그레이 코드를 이용한 로터리 인코더 등에 의해 상대 이동량을 계측하는 수법으로서 알려져 있다.

본 실시의 형태에 의하면, 최초로 프레임 내에 출현한 피사체까지의 거리의 절대치는 24프레임의 지연을 수반해 얻어진다. 이후, 6프레임마다 거리 변화의 상대치를 얻을 수 있다. 따라서, 절대치를 한번 보충한 피사체까지의 거리의 변화를, 6프레임을 이용해 추적할 수 있다. 이 때문에, 종래의 수법에 비해 높은 시간 분해능을 얻을 수 있다.

또한, 본 실시의 형태에서는, 보조 코드의 bit0를 이용하는 예를 나타냈는데, 본 개시는 이에 한정되지 않는다. 계측 대상으로 하는 이동 물체의 이동량에 따라 bit1 또는 bit2 등을 상대적인 움직임량의 추적에 이용할 수도 있다. 그레이 코드의 특정의 비트를, 피사체의 3차원적 변화량에 따라서 선택적으로 결정하면 된다. 예를 들면, 도 2b에 나타내는 바와 같이, 보조 코드의 bit1를 이용하면, 3화소 이내의 범위에서 변화하는 이동 물체를 추종할 수 있다. 또한, 보조 코드의 bit2를 이용하면, 7화소 이내의 범위에서 변화하는 이동 물체를 추종할 수 있다.

또한, 피사체의 이동 속도를 계측하면서, 보조 패턴의 화상의 투영을 투영 시퀀스에 혼합하는 것을, 즉, 보조 패턴의 이용의 유무를, 피사체의 3차원적 변화량에 따라서 선택적으로 전환할 수도 있다. 또한, 이용하는 보조 패턴의 bit의 위치를 동적으로 변경해도 된다. 대부분의 시스템은, 실제로 자신의 속도를 제한할 수 있다. 이와 마찬가지로, 이동 물체의 가속도에도 제약을 줄 수 있다. 속도의 변화는 일정 이상 일어나지 않기 때문에, 보조 패턴의 bit를 동적으로 변경해도, 일정한 범위 내에서 피사체를 추적할 수 있다.

또한, 프레임 단위로 패턴 화상을 나타내는 패턴광을 투사하는 대신에, 패턴 화상마다 색 또는 파장을 바꿈으로써, 1프레임 기간에 의해 대부분의 패턴 화상을 중첩하는 것도 가능하다.

이하, 본 실시의 형태의 변형예를 주로 설명한다.

본 실시의 형태에서는, 계측 시스템(100)은, 1개의 촬상 장치(101)를 구비하고 있다. 다만, 계측 시스템(100)은, 복수의 촬상 장치(101)를 구비하고 있어도 상관없다. 복수의 촬상 장치(101)는, 피사체(103)의 촬상 범위를 서로 보완하도록 패턴광을 촬상할 수 있다. 이에 따라, 투영광은 닿지만 촬상할 수 없는 흡장 영역을 줄일 수 있다.

투영 장치(102)의 양측에 적어도 2개의 촬상 장치(101)를 설치함으로써, 투영광은 닿지만 촬상할 수 없는 흡장 영역을 줄이는 것이 가능하다.

본 실시의 형태에서는, 투영 장치(102)와 피사체(103) 사이의 거리 방향(Z 방향)에 있어서의 변화에 주목했다. 다만, 당연히, 피사체(103)는 촬상면에 있어서의 X-Y 좌표 방향으로도 변화할 수 있다.

계산기(104)는, 피사체의 3차원적 형상의 계측과는 독립하여, 2차원적인 움직임양을 탐색하고, 촬상 장치(101)에 의해 촬상된 그레이 코드를 나타내는 화상을 2차원적인 움직임양을 참조하여 복호해도 된다.

X－Y 좌표 방향으로의 변화의 추종 방법으로서, 2차원의 화상 처리에 의한 움직임 탐색 등이 종래부터 알려져 있다. 종래의 움직임 탐색에 의해 각 화소의 움직임 벡터를 구하고, 과거의 프레임에 있어서의 대응하는 화소 위치에 의거하여 그레이 코드를 복호함으로써, 한층 더 높은 계측성이 얻어진다. 특히, 고속 비전 공간에서는 피사체의 움직임의 양을 1화소 이내로 제한할 수 있으므로, 전방향으로 탐색해도, 그 탐색은 3×3의 범위 내에서 끝난다.

만일 프레임 레이트가 1/10으로 된 경우, 21×21의 범위를 탐색할 필요가 있다. 이 때문에, 3×3의 범위를 10회 탐색하는 것보다도 49배의 연산량이 더 요구된다. 이와 같이, 프레임 레이트를 증가시켜, 데이터량을 10배로 해도, 연산량은 반대로 1/49로 감소하는 케이스가 발생할 수 있다. 이것이 고속 비전 공간에 제약을 가한 화상 처리의 특징이다.

여기서, 그레이 코드 또는 보조 패턴 등의 투영용 비반전 비트 패턴의 촬상 화상과, 그 반전 비트 패턴의 촬상 화상을 합성함으로써, 2차원의 화상 처리로 취급하는 화상을 얻는 방법을 제안한다.

비반전 비트 패턴과 반전 비트 패턴의 화상을 이용하는 것은, 맨체스터 부호화에 의해 로버스트성을 향상시키기 위해서 비특허 문헌 1에 있어서 기술되어 있는 수법이다. 맨체스터 부호화에 의하면 각 bit에 있어서 시간 방향에 있어서의 0과 1의 출현 빈도가 동일해진다. 이 때문에, 계측용의 복수의 화상을 합성함으로써, 모든 화소에 일정량의 투광이 이루어진 상태로 얻어지는 화상과 동등한 화상이 얻어진다. 이에 따라, 새롭게 촬영하지 않고, 움직임 탐색 등의 2차원의 화상 처리에 그 합성 화상을 이용할 수 있다.

또한, 부호화의 확장으로서, 반전 비트의 패턴 화상 이외를 사용하는 방법을 제안한다.

상술한 설명에서는, 그레이 코드의 bit0에 대응하는 화상 및 그 반전 화상과, 보조 패턴의 bit0에 대응하는 화상 및 그 반전 화상의 4프레임을 이용했다. 마찬가지로, 3프레임을 이용해도 이동 물체의 계측을 실현할 수 있다. 이 방법에서, 투영 시퀀스는, 제3의 화상 프레임의 투영을 더 포함한다.

도 7은, X좌표의 0bit의 데이터를 취득했을 때의 투영 프레임의 모습을 나타내고 있다. 도 7에 있어서, 제1의 화상 프레임은, 도 2a의 그레이 코드의 bit0에 대응하는 화상의 프레임을 의미한다. 제2의 화상 프레임은, 도 2b의 보조 패턴의 bit0에 대응하는 화상의 프레임을 의미한다. 제3의 화상 프레임에 있어서는, 각 화소에 있어서, 제1 및 제2의 화상 프레임의 양쪽의 화소값이 1일 때, 그 화소에 대응한 화소의 화소치가 0이며, 제1 및 제2의 화상 프레임의 양쪽의 화소치가 0일 때, 그 화소에 대응한 화소의 그 화소치가 1이다. 또한, 제3의 화상 프레임에 있어서는, 제1 및 제2의 화상 프레임의 양쪽의 화소치가 서로 상이한 화소의 화소치는 값을 정하지 않을 수 있다(don't care). 또한, 이들 화상 프레임을 무순서로 투영할 수 있다.

이 방법에 의하면, 3프레임 기간에 있어서 계측 대상의 움직임이 충분히 작으면, 각 화소에는 0과 1이 포함되므로, 촬상 결과에 의거하여 투영광이 닿지않는 개소를 검출할 수 있다. 투영광이 닿아 있는 개소에 있어서 0/1의 판별이 가능해진다.

또한, 제3의 화상 프레임 내의 화소 중, 그 화소에 대응하는, 제1의 화상 프레임과, 제2의 화상 프레임의 화소의 양 화소치가 서로 상이한 경우, 제3의 화상 프레임 내의 화소에는, 제3의 화상 프레임의 과거의 프레임에 있어서 0 또는 1중 출현 빈도가 낮은 쪽을 할당해도 상관없다.

이에 의하면, 각 화소에 있어서 0과 1의 출현 빈도를 일정하게 할 수 있으므로, 상술한 2차원의 화상 처리에의 적용성을 높일 수 있다. 또한, 가시광을 이용해 계측한 경우에 발생할 수 있는 패턴의 깜빡임을 저감할 수 있다. 또한, 투영 장치에 있어서, 액정의 잔상 방지, 또는 마이크로 미러 디바이스의 치우침에 의한 수명의 저하를 방지할 수 있다.

본 개시는, 계측에 투영 장치(102)가 이용되므로, 동일한 투영 장치(102)를 이용해 프로젝션 맵핑 등의 분야에 응용할 수 있다. 특히, 본 개시된 계측의 특성 상, 투영 장치(102)의 촬상 좌표와, 촬상 장치(101)의 투영 좌표의 대응 관계가 얻어지므로, 계측 결과를 투영 장치(102)의 투영 좌표로 환산하는 것이 가능하다. 그 대응 관계가 얻어진다는 것은, 그 정보를 사용한 다양한 컨텐츠 생성이 가능하고, 그 1개의 예로서, 그 관계로부터 모아레 토포그래피 화상을 생성하는 것이 가능하다. 이 경우, 계산기(104) 내의 컨텐츠 생성부(480)는, 영상 컨텐츠로서, 모아레 토포그래피 화상을 생성한다. 그 외에는 당연히 3D 컴퓨터 그래픽스 등의 거리 정보를 이용한 종래대로의 응용도 가능하다. 다만, 단순히 거리 정보를 취득하는 종래의 심도 센서에서는 원리적으로는 엄밀한 모아레 토포그래피 화상을 생성할 수 없으므로, 본 방식에서 행할 수 있는 유용한 표현 형식의 하나라고 할 수 있다.

모아레 토포그래피는, 투광과 촬상의 양자에 있어서 슬릿을 이용하여, 피사체의 등고선을 촬상하는 기술이다. 본 실시의 형태에 있어서는, 촬상 좌표와 투영 좌표의 대응 관계가 얻어지므로, 각각에 슬릿을 가정하여 재계산함으로써 모아레 토포그래피 화상을 동영상으로서 얻을 수 있다. 또한, 모아레 토포그래피 화상의 원데이터를 메모리 등에 기록해 두면, 슬릿의 간격을 변경한 화상을 사후적으로 취득할 수 있다.

의료 분야에 있어서는 모아레 토포그래피 화상이 익숙한 유저가 많기 때문에, 화상의 형식을 변환할 수 있는 것은 매우 의미가 있다. 또한, 상술한 것처럼, 프로젝션 맵핑을 응용하면, 환부를 나타내는 화상을 실제의 인체에 투영할 수도 있다.

(실시의 형태 2)

도 8a부터 도 8d를 참조하여, 본 실시의 형태에 의한 비전 칩을 설명한다. 본 실시의 형태에 의한 비전 칩은, 실시의 형태 1에 의한 계측 시스템(100)에 있어서 이용할 수 있다.

도 8a는, 글로벌 셔터 기능을 가진 종래의 CMOS 이미지 센서 내의 단위 화소(700)의 구조를 모식적으로 나타내고 있다. 도 8b는, 그 단위 화소(700) 내의 데이터 플로우를 모식적으로 나타내고 있다.

포토 다이오드(701)에 의해 수광된 광은 전하로 변환된다. 그 전하는, 적절한 타이밍에 플로팅디퓨전(702)에 전송된다. 그 후, 그 전하량에 따른 전위가 앰프(704)에 의해 증폭된다. 그리고, 광의 신호가 다치 정보로서 독출된다. 노광 시간은, 포토 다이오드(701) 및 플로팅디퓨전(702)의 전하를 리셋하는 타이밍, 또는 전송의 타이밍에 의해서 제어된다.

도 8c는, 본 실시의 형태에 의한 비전 칩 내의 단위 화소(700)의 구조를 모식적으로 나타내고 있다. 도 8d는, 그 단위 화소(700) 내의 데이터 플로우를 모식적으로 나타내고 있다.

본 실시의 형태에 의한 비전 칩은, 복수의 단위 화소(700)를 구비하고 있다. 복수의 단위 화소(700)의 각각은, 전형적으로는, 포토 다이오드(PD)(701), 플로팅디퓨전(FD)(702), 확장 플로팅디퓨전(EFD)(703), 및 콤퍼레이터(705)를 구비하고 있다.

플로팅디퓨전(702) 및 확장 플로팅디퓨전(703)은, 포토 다이오드(701)에 의해 생성된 전하를 축적한다. 콤퍼레이터(705)는, 플로팅디퓨전(702) 및 확장 플로팅디퓨전(703)의 각각에 축적된 전하에 따라서 발생하는 전위의 차분을 구하여, 양자의 대소 관계를 비교한다.

도 9를 참조하면서, 본 실시의 형태에 의한 비전 칩의 동작 시퀀스를 설명한다.

도 9는 본 실시의 형태에 의한 비전 칩의 동작 시퀀스를 나타낸다.

(단계 S201)

우선, 제1의 시각에서, 포토 다이오드(701), 플로팅디퓨전(702), 및 확장 플로팅디퓨전(703)의 각각의 전하를 리셋한다.

(단계 S202)

다음에, 제2의 시각에서, 포토 다이오드(701)의 전하를, 플로팅디퓨전(702)에 전송한다.

(단계 S203)

다음에, 제3의 시각에서, 포토 다이오드(701)를 리셋한다.

(단계 S204)

다음에, 제4의 시각에서, 플로팅디퓨전(702)의 전하를 확장 플로팅디퓨전(703)에 전송한다.

(단계 S205)

다음에, 제5의 시각에서, 포토 다이오드(701)의 전하를 플로팅디퓨전(702)에 전송한다.

(단계 S206)

마지막으로, 플로팅디퓨전(702)의 전하에 따른 전위와, 확장 플로팅디퓨전(703)의 전하에 따른 전위를 콤퍼레이터(705)에 의해 비교한다. 비교의 결과, 양자의 대소 관계를 나타내는 제1의 비트와, 양자의 차이가 일정한 범위 내에 있는지 여부를 나타내는 제2의 비트가 출력된다.

실시의 형태 1에 의한 계측 시스템에 종래의 이미지 센서를 적용한 경우, 이미지 센서의 출력의 데이터 대역이 보틀 넥이 되어, 시스템 비용의 증가로 이어진다. 또한, 과거의 프레임과의 차분을 구하기 위해서, 이미지 센서의 외부에 과거의 프레임의 화상 데이터를 다치인 채로 기록해 두는 메모리가 필요해진다. 그 결과, 메모리 용량 및 그 메모리 액세스를 위한 대역을 확보하기 위해서, 메모리 코스트가 증대해 버린다.

본 실시의 형태에 의한 비전 칩에 의하면, 제1의 시각과 제2의 시각의 사이에 노광된 제1의 프레임과, 제3의 시각과 제5의 시각의 사이에 노광된 제2의 프레임의 차분을 코드화한 출력이 얻어진다. 그 출력은 1화소당 2프레임을 합하여 2비트를 포함하고 있다.

또한, 비전 칩은, 과거의 프레임의 화상을 전하량으로 하여 내부에 유지하므로, 외부에 메모리를 설치하지 않아도 되고, 메모리 용량이나 대역의 코스트를 최소화할 수 있다.

본 개시에 의한 계측 시스템에 의하면, 이동 물체의 3차원 계측에 있어서, 3000fps 이상의 고속 계측을 실현할 수 있고, 또한, 그 시간 분해능을 높게 유지할 수 있다.

이하, 상정될 수 있는 본 개시의 응용예를 설명한다.

본 개시는, FA 기기의 제어, 자동차의 헤드라이트 제어 등의 머신 비전 분야, 또는 인터랙티브인 프로젝션 맵핑 등에 적합하게 적용될 수 있다. 또한, 스포츠 등의 움직임이 빠른 사람의 움직임을 계측하는 계측 분야, 또는 의료 분야에의 적용도 생각할 수 있다. 의료 분야에 있어서는, 모아레 토포그래피 등의 익숙한 형식이 존재하는데, 상술한 것처럼, 본 개시의 촬상 데이터는, 모아레 토포그래피 형식의 화상으로 변환될 수 있다.

<산업상의 이용 가능성>

본 개시의 계측 시스템, 및 계측 방법은, 예를 들면 의료 시스템 및 프로젝션 맵핑 시스템에 이용할 수 있다.

100, 800 : 계측 시스템 101, 801 : 촬상 장치
102 : 투영 장치 103, 804 : 피사체
104 : 계산기 400 : 화상 출력부
410 : 화상 입력부 420 : 차분 계산부
430 : 프레임 메모리부 440 : 코드 복호 유닛
441 : 코드 복호용 메모리부 450 : 좌표 변환부
460 : 좌표 변환용 메모리부 470 : 좌표 보간부
480 : 컨텐츠 생성부 490 : 패턴 생성 유닛
491 : 기본 패턴 생성부 492 : 보조 패턴 생성부
493 : 셀렉터 410 : 화상 출력부
411 : 패턴 생성부 701 : 포토 다이오드
702 : 플로팅디퓨전 703 : 확장 플로팅디퓨전
704 : 앰프 705 : 콤퍼레이터
802 : 광원 803 : 슬릿판
805 : 화상군

Claims (16)

1. 투영 좌표계로 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상과, 상기 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 상기 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을, 상기 제1 및 제2의 패턴 화상의 투영이 혼재한 투영 시퀀스에 따라서 피사체에 투영하는 투영 장치와,
   상기 제1의 패턴광을 촬상하여, 촬상 화상을 생성하는 적어도 1개의 촬상 장치를 구비하는, 계측 시스템.
2. 청구항 1에 있어서,
   상기 피사체의 3차원적 형상 정보를 상기 촬상 화상에 의거하여 계측하는 연산 장치를 더 구비하는, 계측 시스템.
3. 청구항 2에 있어서,
   상기 투영 장치는, 상기 제1의 패턴 화상을 포함하고, 상기 제2의 패턴 화상을 포함하지 않는 제2의 패턴 투영 화상을 나타내는 제2의 패턴광을 1프레임 기간 이상 상기 피사체에 투영한 후, 상기 제1의 패턴광을 2프레임 기간 이상 상기 피사체에 투영하고,
   상기 연산 장치는, 상기 촬상 장치에 의해 촬상된 상기 피사체에 투영된 상기 제2의 패턴광의 촬상 화상에 의거하여, 상기 피사체까지의 절대적인 거리를 나타내는 제2의 3차원적 형상 정보를 계측하고, 상기 촬상 장치에 의해 촬상된 상기 피사체에 투영된 상기 제1의 패턴광의 촬상 화상에 의거하여, 상기 피사체의 상대적인 변화량을 나타내는 제1의 3차원적 형상 정보를 계측하고, 상기 제1의 3차원적 형상 정보에 의거하여 상기 제2의 3차원적 형상 정보를 갱신하는, 계측 시스템.
4. 청구항 3에 있어서,
   상기 제1의 패턴 투영 화상은, 상기 제1 및 제2의 패턴 화상과는 상이한 제3의 패턴 화상을 더 포함하고,
   상기 투영 시퀀스는, 상기 제3의 패턴 화상의 투영을 더 포함하고,
   상기 제1, 제2 및 제3의 패턴 화상의 사이에서 서로 대응한, 상기 투영 좌표에 의해 특정되는 어느 화소에 주목했을 때, 상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 모두 1일 때, 상기 제3의 패턴 화상 내의 상기 어느 화소의 화소치는 0이며, 상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 모두 0일 때, 상기 제3의 패턴 화상 내의 상기 어느 화소의 화소치는 1인, 계측 시스템.
5. 청구항 4에 있어서,
   상기 제1 및 제2의 패턴 화상 내의 상기 어느 화소의 화소치가 서로 상이할 때, 상기 제3의 패턴 화상 내의 상기 어느 화소는, 상기 제3의 패턴 화상의 과거의 프레임에 있어서 0 또는 1 중 출현 빈도가 낮은 쪽의 값을 갖는, 계측 시스템.
6. 청구항 2에 있어서,
   상기 연산 장치는, 상기 제2의 패턴 화상의 투영을 상기 투영 시퀀스에 혼합하는 것을, 상기 피사체의 3차원적 변화량에 따라서 선택적으로 전환하는, 계측 시스템.
7. 청구항 2에 있어서,
   상기 연산 장치는, 상기 그레이 코드의 특정 비트를, 상기 피사체의 3차원적 변화량에 따라서 선택적으로 결정하는, 계측 시스템.
8. 청구항 2에 있어서,
   상기 연산 장치는, 상기 피사체의 3차원적 형상의 계측과는 독립하여, 2차원적인 움직임양을 탐색하고, 상기 적어도 1개의 촬상 장치에 의해 촬상된 상기 그레이 코드를 나타내는 화상을 상기 2차원적인 움직임량을 참조하여 복호하는, 계측 시스템.
9. 청구항 2에 있어서,
   상기 2차원적인 움직임량의 탐색에 이용되는 화상은, 상기 3차원적 형상의 계측으로부터 취득된 복수의 화상을 합성함으로써 얻어지는, 계측 시스템.
10. 청구항 2에 있어서,
    상기 연산 장치는, 상기 촬상 화상을 복호하고, 복호된 상기 투영 좌표와, 상기 적어도 1개의 촬상 장치의 촬상 좌표계로 규정되는 촬상 화소 좌표의 대응 관계로부터, 상기 촬상 좌표계로부터 얻어지는 상기 3차원적 형상 정보를 상기 투영 좌표계에 있어서의 3차원적 형상 정보로 변환하는, 계측 시스템.
11. 청구항 1에 있어서,
    상기 적어도 1개의 촬상 장치는, 복수의 촬상 장치이며,
    상기 복수의 촬상 장치는, 상기 피사체의 촬상 범위를 서로 보완하도록 상기 제1의 패턴광을 촬상하는, 계측 시스템.
12. 청구항 2에 있어서,
    상기 연산 장치는, 상기 촬상 화상을 복호하고, 복호된 상기 투영 좌표와, 상기 적어도 1개의 촬상 장치의 촬상 좌표계로 규정되는 촬상 화소 좌표의 대응 관계로부터, 모아레 토포그래피 화상을 생성하는, 계측 시스템.
13. 청구항 2에 있어서,
    상기 연산 장치는, 상기 3차원적 형상 정보에 의거해 투영 화상을 생성하고,
    상기 투영 장치는, 상기 투영 화상을 나타내는 투영광을 상기 피사체에 투영하는, 계측 시스템.
14. 청구항 1에 기재된 계측 시스템에 있어서 이용되고, 복수의 단위 화소를 구비한 비전 칩으로서,
    상기 복수의 단위 화소의 각각은,
    광을 수광하여 전하를 생성하는 수광 소자와,
    상기 수광 소자에 의해서 상이한 시각에 취득된 제1 및 제2의 전하를 각각 축적하는 제1 및 제2의 전하 축적부와,
    상기 제1의 전하 축적부에 축적된 제1의 전하의 양과, 상기 제2의 전하 축적부에 축적된 제2의 전하의 양을 비교하여, 상기 제1 및 제2의 전하의 양의 대소 관계를 나타내는 제1의 비트와, 상기 제1 및 제2의 전하의 양의 차분이 소정의 범위 내인지 여부를 나타내는 제2의 비트의 비교 결과에 의거하여 생성하는 비교부를 구비하는, 비전 칩.
15. 투영 장치 및 촬상 장치를 구비하는 계측 시스템에 있어서 이용되는 계측 방법으로서,
    투영 좌표계에 있어서의 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트에 대응한 제1의 패턴 화상을 포함하고, 상기 제1의 패턴 화상과 동일한 주기를 가지고, 또한, 상기 제1의 패턴 화상과 상이한 위상을 갖는 제2의 패턴 화상을 포함하지 않는 제2의 패턴 투영 화상을 나타내는 제2의 패턴광을 1프레임 기간 이상 계측 대상인 피사체에 투영한 후, 상기 제1 및 제2의 패턴 화상을 포함하는 제1의 패턴 투영 화상을 나타내는 제1의 패턴광을 2프레임 기간 이상 상기 피사체에 상기 투영 장치를 이용해 투영하고,
    상기 촬상 장치에 의해 촬상된 상기 피사체에 투영된 상기 제2의 패턴광의 촬상 화상에 의거하여, 상기 피사체까지의 절대적인 거리를 나타내는 제2의 3차원적 형상 정보를 계측하고,
    상기 촬상 장치에 의해 촬상된 상기 피사체에 투영된 상기 제1의 패턴광의 촬상 화상에 의거하여, 상기 피사체의 상대적인 변화량을 나타내는 제1의 3차원적 형상 정보를 계측하고,
    상기 제1의 3차원적 형상 정보에 의거하여 상기 제2의 3차원적 형상 정보를 갱신하는, 계측 방법.
16. 투영 좌표계에 있어서의 규정되는 투영 좌표를 그레이 코드화하여 얻어지는 그레이 코드의 특정 비트의 데이터를 나타내는 제1 데이터의 피사체에 대한 투사를 제1 주기로 반복하는 제1 투사 단계와,
    제2 데이터의 피사체에 대한 투사를 상기 제1 주기와 동일한 주기로 반복하는 제2 투사 단계와,
    상기 피사체에 투사된 상기 제1 데이터와 상기 제2 데이터를 촬상하는 단계를 포함하고,
    상기 제1 투사 단계에서는, 상기 제1 데이터로서 제1 화상을 제1 회수만큼 연속하여 채용한 후, 상기 제1 데이터로서 제2 화상을 상기 제1 회수만큼 연속하여 채용하는 것을 반복하고,
    상기 제2 투사 단계에서는, 상기 제2 데이터로서 제3 화상을 상기 제1 회수만큼 연속하여 채용한 후, 상기 제2 데이터로서 제4 화상을 상기 제1 회수만큼 연속하여 채용하는 것을 반복하는, 계측 방법.

Images