KR20140112043A

KR20140112043A - 작업기계용 주변감시장치

Info

Publication number: KR20140112043A
Application number: KR1020147020538A
Authority: KR
Inventors: 타케야 이즈미카와; 요시히사 기요타; 스스무 아이자와
Original assignee: 스미토모 겐키 가부시키가이샤; 스미도모쥬기가이고교 가부시키가이샤
Priority date: 2012-03-29
Filing date: 2013-02-07
Publication date: 2014-09-22
Also published as: EP2833162A4; CN104067144A; EP2833162A1; JP6029306B2; WO2013145878A1; KR101625997B1; US20140362220A1; JP2013205402A; CN104067144B; EP2833162B1; US9715015B2

Abstract

본 발명의 실시예에 관한 쇼벨(60)은, 상부 선회체(63)에 장착되는 거리화상센서(6)가 촬상한 입력거리화상에 근거하여 출력거리화상을 생성하는 작업기계용 주변감시장치로서의 화상생성장치(100)를 구비한다. 화상생성장치(100)는, 입력거리화상이 위치하는 입력거리화상 평면에 있어서의 좌표와, 출력거리화상이 위치하는 출력거리화상 평면에 있어서의 좌표를 대응짓는다.

Description

작업기계용 주변감시장치{Perimeter-monitoring device for operating machine}

본 발명은, 거리화상센서가 취득한 이차원 배열의 거리정보를 이용하여 출력화상을 생성하는 작업기계용 주변감시장치에 관한 것이다.

종래, 쇼벨의 상부 선회체에 장착되는 레이저레이더를 이용하여, 쇼벨의 주위에 존재하는 물체의 쇼벨에 대한 거리 및 방향을 취득하면서 주위를 감시하는 주위감시장치가 알려져 있다(예를 들면, 특허문헌 1 참조).

이 주위감시장치는, 물체의 쇼벨에 대한 거리 및 방향이 소정 시간에 걸쳐서 변화하지 않는 경우에 그 물체를 정지장애물로 판정하고, 거리 및 방향이 변화하는 경우에 그 물체를 이동장애물로 판정한다. 그리고, 주위감시장치는, 쇼벨 및 그 주위를 상공으로부터 본 일러스트화상을 생성하고, 장애물의 실재(實在) 위치에 대응하는 일러스트화상 상의 위치에 그 장애물을 나타내는 일러스트를 표시한다. 또, 주위감시장치는, 정지장애물과 이동장애물을 상이한 양태의 일러스트로 표시한다.

이와 같이 하여, 주위감시장치는, 쇼벨의 주위의 장애물의 상황을 운전자에게 알기 쉽게 전할 수 있도록 하고 있다.

선행기술문헌

(특허문헌)

특허문헌 1: 일본 특허공개공보 2008-163719호

그러나, 특허문헌 1에 기재된 레이저레이더는, 1개의 레이저광을 물체에 조사하고, 그 반사광으로부터 물체의 거리 및 방향을 검출하기 위한 것이다. 이로 인하여, 특허문헌 1에 기재된 레이저레이더는, 물체 표면의 매우 한정된 부분과 자신과의 사이의 거리를 검출할 뿐이며, 그 검출 결과는, 물체를 나타내는 일러스트의 위치를 대략적으로 결정하기 위하여 이용될 뿐이다. 따라서, 특허문헌 1에 기재된 주위감시장치가 제시하는 출력화상은, 쇼벨의 주위의 장애물의 상황을 운전자에게 알기 쉽게 전하기에는 불충분하다.

상술의 점을 감안하여, 본 발명은, 주위의 물체의 상황을 보다 알기 쉽게 조작자에게 전달할 수 있는 작업기계용 주변감시장치를 제공하는 것을 목적으로 한다.

상술의 목적을 달성하기 위하여, 본 발명의 실시예에 관한 작업기계용 주변감시장치는, 작업기계에 장착되는 거리화상센서가 촬상한 입력거리화상에 근거하여 출력거리화상을 생성하는 작업기계용 주변감시장치로서, 상기 입력거리화상이 위치하는 입력거리화상 평면에 있어서의 좌표와, 상기 출력거리화상이 위치하는 출력거리화상 평면에 있어서의 좌표를 대응짓는다.

상술의 수단에 의하여, 본 발명은, 주위의 물체의 상황을 보다 알기 쉽게 조작자에게 전할 수 있는 작업기계용 주변감시장치를 제공할 수 있다.

도 1은 본 발명의 실시예에 관한 화상생성장치의 구성예를 개략적으로 나타내는 블록도이다.
도 2는 화상생성장치가 탑재되는 쇼벨의 구성예를 나타내는 도이다.
도 3은 입력화상이 투영되는 공간모델의 일례를 나타내는 도이다.
도 4는 공간모델과 처리대상화상 평면과의 사이의 관계의 일례를 나타내는 도이다.
도 5는 입력화상 평면 상의 좌표와 공간모델 상의 좌표와의 대응짓기를 설명하기 위한 도이다.
도 6은 좌표대응짓기 수단에 의한 좌표간의 대응짓기를 설명하기 위한 도이다.
도 7은 평행선군의 작용을 설명하기 위한 도이다.
도 8은 보조선군의 작용을 설명하기 위한 도이다.
도 9는 처리대상화상생성 처리 및 출력화상생성 처리의 흐름을 나타내는 플로우차트이다.
도 10은 출력화상의 표시예(그 제1 예)이다.
도 11은 화상생성장치가 탑재되는 쇼벨의 상면도(그 제1 예)이다.
도 12는 쇼벨에 탑재된 3대의 카메라의 각각의 입력화상과, 그들 입력화상을 이용하여 생성되는 출력화상을 나타내는 도이다.
도 13은 2개의 카메라의 각각의 촬상 범위의 중복영역에 있어서의 물체의 소실을 방지하는 화상소실방지 처리를 설명하기 위한 도이다.
도 14는 도 12로 나타나는 출력화상과, 도 12의 출력화상에 화상소실방지 처리를 적용함으로써 얻어지는 출력화상과의 차이를 나타내는 대비도이다.
도 15는 쇼벨에 탑재된 3대의 거리화상센서의 각각의 입력거리화상과, 그들 입력거리화상을 이용하여 생성되는 출력거리화상을 나타내는 도이다.
도 16은 도 15로 나타나는 출력거리화상과, 도 15의 출력거리화상에 거리화상소실방지 처리를 적용함으로써 얻어지는 출력거리화상과의 차이를 나타내는 대비도이다.
도 17은 출력화상에 출력거리화상을 합성하여 얻어지는 합성 후 출력화상의 일례를 나타내는 도이다.
도 18은 출력화상에 출력거리화상을 합성하여 얻어지는 합성 후 출력화상의 다른 일례를 나타내는 도이다.
도 19는 화상생성장치가 탑재되는 쇼벨의 상면도(그 제2 예)이다.

이하, 도면을 참조하면서, 본 발명을 실시하기 위한 최선의 형태의 설명을 행한다.

도 1은, 본 발명의 실시예에 관한 화상생성장치(100)의 구성예를 개략적으로 나타내는 블록도이다.

화상생성장치(100)는, 작업기계의 주변을 감시하는 작업기계용 주변감시장치의 일례이며, 제어부(1), 카메라(2), 입력부(3), 기억부(4), 표시부(5), 및 거리화상센서(6)로 구성된다. 구체적으로는, 화상생성장치(100)는, 작업기계에 탑재된 카메라(2)가 촬상한 입력화상과 거리화상센서(6)가 촬상한 후술의 입력거리화상에 근거하여 출력화상을 생성하고 그 출력화상을 조작자에게 제시한다.

도 2는, 화상생성장치(100)가 탑재되는 작업기계로서의 쇼벨(60)의 구성예를 나타내는 도이며, 쇼벨(60)은, 크롤러식의 하부 주행체(61)의 위에, 선회기구(62)를 통하여, 상부 선회체(63)를 선회축(PV)의 둘레로 선회 가능하게 탑재하고 있다.

또, 상부 선회체(63)는, 그 전방 좌측부에 캡(운전실)(64)을 구비하고, 그 전방 중앙부에 굴삭 어태치먼트(E)를 구비하며, 그 우측면 및 후면에 카메라(2)(우측방 카메라(2R), 후방 카메라(2B)) 및 거리화상센서(6)(우측방 거리화상센서(6R), 후방 거리화상센서(6B))를 구비하고 있다. 다만, 캡(64) 내의 조작자가 시인하기 쉬운 위치에는 표시부(5)가 설치되어 있다.

다음으로, 화상생성장치(100)의 각 구성요소에 대하여 설명한다.

제어부(1)는, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), NVRAM(Non-Volatile Random Access Memory) 등을 구비한 컴퓨터이다. 본 실시예에서는, 제어부(1)는, 예를 들면, 후술하는 좌표대응짓기 수단(10), 화상생성 수단(11), 및 거리화상합성 수단(12)의 각각에 대응하는 프로그램을 ROM이나 NVRAM에 기억하고, 일시 기억영역으로서 RAM을 이용하면서 각 수단에 대응하는 처리를 CPU에 실행시킨다.

카메라(2)는, 쇼벨(60)의 주위를 비추는 입력화상을 취득하기 위한 장치이다. 본 실시예에서는, 카메라(2)는, 예를 들면, 캡(64)에 있는 조작자의 사각(死角)이 되는 영역을 촬상할 수 있도록 상부 선회체(63)의 우측면 및 후면에 장착되는 우측방 카메라(2R) 및 후방 카메라(2B)이다(도 2 참조). 또, 카메라(2)는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 구비한다. 다만, 카메라(2)는, 상부 선회체(63)의 우측면 및 후면 이외의 위치(예를 들면, 전면 및 좌측면)에 장착되어 있어도 되고, 넓은 범위를 촬상할 수 있도록 광각렌즈 또는 어안렌즈가 장착되어 있어도 된다.

또, 카메라(2)는, 제어부(1)로부터의 제어신호에 따라 입력화상을 취득하고, 취득한 입력화상을 제어부(1)에 대해서 출력한다. 다만, 카메라(2)는, 어안렌즈 또는 광각렌즈를 이용하여 입력화상을 취득한 경우에는, 그들 렌즈를 이용함으로써 발생하는 외관상의 왜곡이나 뒤틀림을 보정한 보정 완료의 입력화상을 제어부(1)에 대해서 출력한다. 또, 카메라(2)는, 그 외관상의 왜곡이나 뒤틀림을 보정하고 있지 않은 입력화상을 그대로 제어부(1)에 대해서 출력해도 된다. 그 경우에는, 제어부(1)가 그 외관상의 왜곡이나 뒤틀림을 보정한다.

입력부(3)는, 조작자가 화상생성장치(100)에 대해서 각종 정보를 입력할 수 있도록 하기 위한 장치이며, 예를 들면, 터치패널, 버튼스위치, 포인팅디바이스, 키보드 등이다.

기억부(4)는, 각종 정보를 기억하기 위한 장치이며, 예를 들면, 하드디스크, 광학디스크, 또는 반도체 메모리 등이다.

표시부(5)는, 화상정보를 표시하기 위한 장치이며, 예를 들면, 쇼벨(60)의 캡(64)(도 2 참조) 내에 설치된 액정 디스플레이 또는 프로젝터 등으로서, 제어부(1)가 출력하는 각종 화상을 표시한다.

거리화상센서(6)는, 쇼벨(60)의 주위에 존재하는 물체의 거리정보의 이차원 배열을 취득하기 위한 장치이다. 본 실시예에서는, 거리화상센서(6)는, 예를 들면, 캡(64)에 있는 조작자의 사각이 되는 영역을 촬상할 수 있도록 상부 선회체(63)의 우측면 및 후면에 장착된다(도 2 참조). 다만, 거리화상센서(6)는, 상부 선회체(63)의 전면, 좌측면, 우측면 및 후면 중 어느 1개에 장착되어 있어도 되고, 모든 면에 장착되어 있어도 된다.

거리화상센서(6)는, 카메라(2)가 화소마다 휘도, 색상치, 채도치 등을 취득하는 데 비해, 화소마다 거리정보를 취득하는 센서이며, 예를 들면, 투광용 LED, 수광용 CCD로 구성된다. 구체적으로는, 거리화상센서(6)는, TOF(Time Of Flight)방식을 채용하고, 투광용 LED로부터 발해진 근적외광이 물체에서 반사되어 그 반사광이 수광용 CCD로 수광될 때까지의 시간을 계측함으로써, 화소마다 거리정보를 취득한다. 이로 인하여, 이하에서는, 거리화상센서(6)에 의한 이차원 배열의 거리정보는, 카메라(2)의 입력화상, 출력화상과 대비시켜, 입력거리화상, 출력거리화상이라고 칭한다. 다만, 거리화상센서(6)는, 패턴투영방식 등의 다른 방식을 채용해도 된다. 또, 거리화상센서(6)의 입력거리화상, 출력거리화상의 해상도(화소수)는, 카메라(2)의 입력화상, 출력화상에 있어서의 해상도와 동일하여도 되고, 상이한 것이어도 된다. 또, 카메라(2)의 입력화상, 출력화상에 있어서의 1개 또는 복수의 화소와, 거리화상센서(6)의 입력거리화상, 출력거리화상에 있어서의 1개 또는 복수의 화소는 미리 대응지어져 있어도 된다.

또, 거리화상센서(6)는, 카메라(2)와 마찬가지로, 상부 선회체(63)의 우측면 및 후면 이외의 위치(예를 들면, 전면 및 좌측면)에 장착되어도 되고, 넓은 범위를 촬상할 수 있도록 광각렌즈 또는 어안렌즈가 장착되어도 된다.

또, 거리화상센서(6)는, 카메라(2)와 마찬가지로, 제어부(1)로부터의 제어신호에 따라 입력거리화상을 취득하고, 취득한 입력거리화상을 제어부(1)에 대해서 출력한다. 다만, 거리화상센서(6)는, 카메라(2)와 마찬가지로, 어안렌즈 또는 광각렌즈를 이용하여 입력거리화상을 취득한 경우에는, 그들 렌즈를 이용함으로써 발생하는 외관상의 왜곡이나 뒤틀림을 보정한 보정 완료의 입력거리화상을 제어부(1)에 대해서 출력한다. 또, 거리화상센서(6)는, 그 외관상의 왜곡이나 뒤틀림을 보정하고 있지 않은 입력거리화상을 그대로 제어부(1)에 대해서 출력해도 된다. 그 경우에는, 제어부(1)가 그 외관상의 왜곡이나 뒤틀림을 보정한다.

또, 화상생성장치(100)는, 입력화상에 근거하여 처리대상화상을 생성하고, 그 처리대상화상에 화상변환 처리를 실시함으로써 주위의 물체와의 위치 관계나 거리감을 직감적으로 파악할 수 있도록 하는 출력화상을 생성한 후, 그 출력화상을 조작자에게 제시하도록 해도 된다.

화상생성장치(100)는, 입력거리화상에 대해서도 동일한 처리를 행한다. 그 경우, 처리대상화상은, 처리대상거리화상으로 대체된다. 이하의 기재에 있어서도 동일하다.

“처리대상화상”은, 입력화상에 근거하여 생성되는, 화상변환 처리(예를 들면, 스케일변환 처리, 아핀변환 처리, 왜곡변환 처리, 시점변환 처리 등)의 대상이 되는 화상이다. 구체적으로는, “처리대상화상”은, 예를 들면, 지표를 상방으로부터 촬상하는 카메라에 의한 입력화상으로서 그 넓은 화각에 의하여 수평방향의 화상(예를 들면, 하늘 부분)을 포함하는 입력화상으로부터 생성되는, 화상변환 처리에 적합한 화상이다. 보다 구체적으로는, 그 수평방향의 화상이 부자연스럽게 표시되지 않도록(예를 들면, 하늘 부분이 지표에 있는 것으로서 취급되지 않도록) 그 입력화상을 소정의 공간모델에 투영한 후, 그 공간모델에 투영된 투영화상을 다른 이차원 평면에 재투영함으로써 생성된다. 다만, 처리대상화상은, 화상변환 처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 된다.

“공간모델”은, 입력화상의 투영 대상이다. 구체적으로는, “공간모델”은, 적어도, 처리대상화상이 위치하는 평면인 처리대상화상 평면 이외의 평면 또는 곡면을 포함하는, 1개 또는 복수의 평면 혹은 곡면으로 구성된다. 처리대상화상이 위치하는 평면인 처리대상화상 평면 이외의 평면 또는 곡면은, 예를 들면, 처리대상화상 평면에 평행한 평면, 또는, 처리대상화상 평면과의 사이에서 각도를 형성하는 평면 혹은 곡면이다.

다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않고, 그 공간모델에 투영된 투영화상에 화상변환 처리를 실시함으로써 출력화상을 생성하도록 해도 된다. 또, 투영화상은, 화상변환 처리를 실시하지 않고 그대로 출력화상으로서 이용되어도 된다.

도 3은, 입력화상이 투영되는 공간모델(MD)의 일례를 나타내는 도이며, 도 3 좌측도는, 쇼벨(60)을 측방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD)과의 사이의 관계를 나타내고, 도 3 우측도는, 쇼벨(60)을 상방으로부터 보았을 때의 쇼벨(60)과 공간모델(MD)과의 사이의 관계를 나타낸다.

도 3으로 나타나는 바와 같이, 공간모델(MD)은, 반원통형상을 가지고, 그 바닥면 내측의 평면영역(R1)과 그 측면 내측의 곡면영역(R2)을 가진다.

또, 도 4는, 공간모델(MD)과 처리대상화상 평면과의 사이의 관계의 일례를 나타내는 도이며, 처리대상화상 평면(R3)은, 예를 들면, 공간모델(MD)의 평면영역(R1)을 포함하는 평면이다. 다만, 도 4는, 명확화를 위하여, 공간모델(MD)을, 도 3으로 나타내는 바와 같은 반원통형상이 아닌, 원통형상으로 나타내고 있지만, 공간모델(MD)은, 반원통형상 및 원통형상 중 어느 것이어도 된다. 이후의 도면에 있어서도 동일하다. 또, 처리대상화상 평면(R3)은, 상술과 같이, 공간모델(MD)의 평면영역(R1)을 포함하는 원형영역이어도 되고, 공간모델(MD)의 평면영역(R1)을 포함하지 않는 환형상영역이어도 된다.

다음으로, 제어부(1)가 가지는 각종 수단에 대하여 설명한다.

좌표대응짓기 수단(10)은, 카메라(2)가 촬상한 입력화상이 위치하는 입력화상 평면 상의 좌표와, 공간모델(MD) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응짓기 위한 수단이다. 본 실시예에서는, 좌표대응짓기 수단(10)은, 예를 들면, 미리 설정되거나, 입력부(3)를 통하여 입력되는 카메라(2)에 관한 각종 파라미터와, 미리 결정된 입력화상 평면, 공간모델(MD) 및 처리대상화상 평면(R3)의 상호의 위치 관계에 근거하여, 입력화상 평면 상의 좌표와, 공간모델(MD) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응짓는다. 다만, 카메라(2)에 관한 각종 파라미터는, 예를 들면, 카메라(2)의 광학중심, 초점거리, CCD 사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영방식 등이다. 그리고, 좌표대응짓기 수단(10)은, 그들의 대응 관계를 기억부(4)의 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)에 기억한다.

다만, 좌표대응짓기 수단(10)은, 처리대상화상을 생성하지 않는 경우에는, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표와의 대응짓기, 및, 그 대응 관계의 공간모델·처리대상화상 대응맵(41)에 대한 기억을 생략한다.

또, 좌표대응짓기 수단(10)은, 거리화상센서가 촬상한 입력거리화상에 대해서도 동일한 처리를 행한다. 그 경우, 카메라, 입력화상 평면, 처리대상화상 평면은, 거리화상센서, 입력거리화상 평면, 처리대상거리화상 평면으로 대체된다. 이하의 기재에 있어서도 동일하다.

화상생성 수단(11)은, 출력화상을 생성하기 위한 수단이다. 본 실시예에서는, 화상생성 수단(11)은, 예를 들면, 처리대상화상에 스케일변환, 아핀변환 또는 왜곡변환을 실시함으로써, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응짓는다. 그리고, 화상생성 수단(11)은, 그 대응 관계를 기억부(4)의 처리대상화상·출력화상 대응맵(42)에 기억한다. 그리고, 화상생성 수단(11)은, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련지어 출력화상을 생성한다. 각 화소의 값은, 예를 들면, 휘도치, 색상치, 채도치 등이다.

또, 화상생성 수단(11)은, 미리 설정되거나, 입력부(3)를 통하여 입력되는 가상 카메라에 관한 각종 파라미터에 근거하여, 처리대상화상 평면(R3) 상의 좌표와 출력화상이 위치하는 출력화상 평면 상의 좌표를 대응짓는다. 다만, 가상 카메라에 관한 각종 파라미터는, 예를 들면, 가상 카메라의 광학중심, 초점거리, CCD 사이즈, 광축방향 벡터, 카메라 수평방향 벡터, 사영방식 등이다. 그리고, 화상생성 수단(11)은, 그 대응 관계를 기억부(4)의 처리대상화상·출력화상 대응맵(42)에 기억한다. 그리고, 화상생성 수단(11)은, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련지어 출력화상을 생성한다.

다만, 화상생성 수단(11)은, 가상 카메라의 개념을 이용하지 않고, 처리대상화상의 스케일을 변경하여 출력화상을 생성하도록 해도 된다.

또, 화상생성 수단(11)은, 처리대상화상을 생성하지 않는 경우에는, 실시한 화상변환 처리에 따라 공간모델(MD) 상의 좌표와 출력화상 평면 상의 좌표를 대응짓는다. 그리고, 화상생성 수단(11)은, 입력화상·공간모델 대응맵(40)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련지어 출력화상을 생성한다. 이 경우, 화상생성 수단(11)은, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면 상의 좌표와의 대응짓기, 및, 그 대응 관계의 처리대상화상·출력화상 대응맵(42)으로의 기억을 생략한다.

또, 화상생성 수단(11)은, 입력거리화상 또는 처리대상거리화상에 대해서도 동일한 처리를 행한다. 그 경우, 출력화상 평면은, 출력거리화상 평면으로 대체된다. 이하의 기재에 있어서도 동일하다.

거리화상합성 수단(12)은, 카메라에 관한 화상과, 거리화상센서에 관한 화상을 합성하기 위한 수단이다. 예를 들면, 거리화상합성 수단(12)은, 화상생성 수단(11)이 생성한, 카메라(2)의 입력화상에 근거하는 출력화상과, 거리화상센서(6)의 입력거리화상에 근거하는 출력거리화상을 합성한다. 다만, 거리화상합성 수단(12)에 대해서는 그 상세를 후술한다.

다음으로, 좌표대응짓기 수단(10) 및 화상생성 수단(11)에 의한 구체적인 처리의 일례에 대하여 설명한다.

좌표대응짓기 수단(10)은, 예를 들면, 해밀턴의 4원수를 이용하여, 입력화상 평면 상의 좌표와 공간모델 상의 좌표를 대응지을 수 있다.

도 5는, 입력화상 평면 상의 좌표와 공간모델 상의 좌표와의 대응짓기를 설명하기 위한 도이다. 카메라(2)의 입력화상 평면은, 카메라(2)의 광학중심(C)을 원점으로 하는 UVW 직교좌표계에 있어서의 일평면으로서 나타난다. 공간모델은, XYZ 직교좌표계에 있어서의 입체면으로서 나타난다.

먼저, 좌표대응짓기 수단(10)은, XYZ 좌표계의 원점을 광학중심(C)(UVW 좌표계의 원점)으로 평행 이동시킨 후, X축을 U축에, Y축을 V축에, Z축을 -W축에 각각 일치시키도록 XYZ 좌표계를 회전시킨다. 공간모델 상의 좌표(XYZ 좌표계 상의 좌표)를 입력화상 평면 상의 좌표(UVW 좌표계 상의 좌표)로 변환하기 위해서이다. 다만, “-W축”의 부호 “-”는, Z축의 방향과 -W축의 방향이 반대인 것을 의미한다. 이것은, UVW 좌표계가 카메라 전방을 +W방향으로 하고, XYZ 좌표계가 연직 하방을 -Z방향으로 하고 있는 것에 기인한다.

다만, 카메라(2)가 복수 존재하는 경우, 카메라(2)의 각각이 개별의 UVW 좌표계를 가지므로, 좌표대응짓기 수단(10)은, 복수의 UVW 좌표계의 각각에 대하여, XYZ 좌표계를 평행 이동시키고 또한 회전시킨다.

상술의 변환은, 카메라(2)의 광학중심(C)이 XYZ 좌표계의 원점이 되도록 XYZ 좌표계를 평행 이동시킨 후에, Z축이 -W축에 일치하도록 회전시키고, 또한, X축이 U축에 일치하도록 회전시킴으로써 실현된다. 이로 인하여, 좌표대응짓기 수단(10)은, 이 변환을 해밀턴의 4원수로 기술함으로써, 그들 2회의 회전을 1회의 회전 연산으로 정리할 수 있다.

그런데, 어느 벡터(A)를 다른 벡터(B)에 일치시키기 위한 회전은, 벡터(A)와 벡터(B)가 뻗는 면의 법선을 축으로 하여 벡터(A)와 벡터(B)가 형성하는 각도만큼 회전시키는 처리에 상당한다. 그리고, 그 각도를 θ로 하면, 벡터(A)와 벡터(B)와의 내적(內積)으로부터, 각도(θ)는,

[수 1]

로 나타난다.

또, 벡터(A)와 벡터(B)가 뻗는 면의 법선의 단위 벡터(N)는, 벡터(A)와 벡터(B)와의 외적(外積)으로부터

[수 2]

로 나타난다.

다만, 4원수는, i, j, k를 각각 허수 단위로 한 경우,

[수 3]

을 충족하는 초복소수이며, 본 실시예에 있어서, 4원수(Q)는, 실성분을 t, 순허수성분을 a, b, c로 하여,

[수 4]

로 나타나고, 4원수(Q)의 공액 4원수는,

[수 5]

로 나타난다.

4원수(Q)는, 실성분(t)을 0(제로)으로 하면서, 순허수성분 a, b, c로 삼차원 벡터(a, b, c)를 표현할 수 있고, 또, t, a, b, c의 각 성분에 의하여 임의의 벡터를 축으로 한 회전동작을 표현할 수도 있다.

또한, 4원수(Q)는, 연속하는 복수 회의 회전동작을 통합하여 1회의 회전동작으로서 표현할 수 있다. 구체적으로는, 4원수(Q)는, 예를 들면, 임의의 점(S)(sx, sy, sz)을, 임의의 단위 벡터(C)(l, m, n)를 축으로 하면서 각도(θ)만큼 회전시켰을 때의 점(D)(ex, ey, ez)을 이하와 같이 표현할 수 있다.

[수 6]

여기에서, 본 실시예에 있어서, Z축을 -W축에 일치시키는 회전을 나타내는 4원수를 Qz로 하면, XYZ 좌표계에 있어서의 X축 상의 점(X)은, 점(X’)으로 이동되므로, 점(X’)은,

[수 7]

로 나타난다.

또, 본 실시예에 있어서, X축 상에 있는 점(X’)과 원점을 연결하는 선을 U축에 일치시키는 회전을 나타내는 4원수를 Qx로 하면, “Z축을 -W축에 일치시키고, 또한, X축을 U축에 일치시키는 회전”을 나타내는 4원수(R)는,

[수 8]

로 나타난다.

이상에 의하여, 공간모델(XYZ 좌표계) 상의 임의의 좌표(P)를 입력화상 평면(UVW 좌표계) 상의 좌표로 표현했을 때의 좌표(P’)는,

[수 9]

로 나타난다. 또, 4원수(R)가 카메라(2)의 각각에서 불변이므로, 좌표대응짓기 수단(10)은, 이후, 이 연산을 실행하는 것만으로 공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환할 수 있다.

공간모델(XYZ 좌표계) 상의 좌표를 입력화상 평면(UVW 좌표계) 상의 좌표로 변환한 후, 좌표대응짓기 수단(10)은, 선분(CP’)과, 카메라(2)의 광축(G)이 형성하는 입사각(α)을 산출한다. 다만, 선분(CP’)은, 카메라(2)의 광학중심(C)(UVW 좌표계 상의 좌표)과 공간모델 상의 임의의 좌표(P)를 UVW 좌표계로 나타낸 좌표(P’)를 연결하는 선분이다.

또, 좌표대응짓기 수단(10)은, 카메라(2)의 입력화상 평면(R4)(예를 들면, CCD면)에 평행이고 또한 좌표(P’)를 포함하는 평면(H)에 있어서의 편각(φ), 및 선분(EP’)의 길이를 산출한다. 다만, 선분(EP’)은, 평면(H)과 광축(G)과의 교점(E)과, 좌표(P’)를 연결하는 선분이며, 편각(φ)은, 평면(H)에 있어서의 U’축과 선분(EP’)이 형성하는 각도이다.

카메라의 광학계는, 통상, 상높이(h)가 입사각(α) 및 초점거리(f)의 함수로 되어 있다. 이로 인하여, 좌표대응짓기 수단(10)은, 통상 사영(h=ftanα), 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등의 적절한 사영방식을 선택하여 상높이(h)를 산출한다.

그 후, 좌표대응짓기 수단(10)은, 산출한 상높이(h)를 편각(φ)에 의하여 UV 좌표계 상의 U성분 및 V성분으로 분해하고, 입력화상 평면(R4)의 1화소당 화소 사이즈에 상당하는 수치로 제산한다. 이로써, 좌표대응짓기 수단(10)은, 공간모델(MD) 상의 좌표(P(P’))와 입력화상 평면(R4) 상의 좌표를 대응지을 수 있다.

다만, 입력화상 평면(R4)의 U축방향에 있어서의 1화소당 화소 사이즈를 au로 하고, 입력화상 평면(R4)의 V축방향에 있어서의 1화소당 화소 사이즈를 av로 하면, 공간모델(MD) 상의 좌표(P(P’))에 대응하는 입력화상 평면(R4) 상의 좌표(u,ｖ)는,

[수 10]

[수 11]

로 나타난다.

이와 같이 하여, 좌표대응짓기 수단(10)은, 공간모델(MD) 상의 좌표와, 카메라마다 존재하는 1개 또는 복수의 입력화상 평면(R4) 상의 좌표를 대응짓고, 공간모델(MD) 상의 좌표, 카메라 식별자, 및 입력화상 평면(R4) 상의 좌표를 관련지어 입력화상·공간모델 대응맵(40)에 기억한다.

또, 좌표대응짓기 수단(10)은, 4원수를 이용하여 좌표의 변환을 연산하므로, 오일러각을 이용하여 좌표의 변환을 연산하는 경우와 달리, 짐벌락을 발생시키는 일이 없다는 이점을 가진다. 그러나, 좌표대응짓기 수단(10)은, 4원수를 이용하여 좌표의 변환을 연산하는 것에 한정되지 않으며, 오일러각을 이용하여 좌표의 변환을 연산하도록 해도 된다.

다만, 복수의 입력화상 평면(R4) 상의 좌표에 대한 대응짓기가 가능한 경우, 좌표대응짓기 수단(10)은, 공간모델(MD) 상의 좌표(P(P’))를, 그 입사각(α)이 가장 작은 카메라에 관한 입력화상 평면(R4) 상의 좌표에 대응짓도록 해도 되고, 조작자가 선택한 입력화상 평면(R4) 상의 좌표에 대응짓도록 해도 된다.

다음으로, 공간모델(MD) 상의 좌표 중, 곡면영역(R2) 상의 좌표(Z축방향의 성분을 가지는 좌표)를, XY 평면 상에 있는 처리대상화상 평면(R3)에 재투영하는 처리에 대하여 설명한다.

도 6은, 좌표대응짓기 수단(10)에 의한 좌표간의 대응짓기를 설명하기 위한 도이다. F6A는, 일례로서 통상 사영(h=ftanα)을 채용하는 카메라(2)의 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표와의 사이의 대응 관계를 나타내는 도이다. 좌표대응짓기 수단(10)은, 카메라(2)의 입력화상 평면(R4) 상의 좌표와 그 좌표에 대응하는 공간모델(MD) 상의 좌표를 연결하는 선분의 각각이 카메라(2)의 광학중심(C)을 통과하도록 하여, 양 좌표를 대응짓는다.

F6A의 예에서는, 좌표대응짓기 수단(10)은, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1)를 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)에 대응짓고, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K2)를 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)에 대응짓는다. 이 때, 선분(K1-L1) 및 선분(K2-L2)은 모두 카메라(2)의 광학중심(C)을 통과한다.

다만, 카메라(2)가 통상 사영 이외의 사영방식(예를 들면, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등)을 채용하는 경우, 좌표대응짓기 수단(10)은, 각각의 사영방식에 따라, 카메라(2)의 입력화상 평면(R4) 상의 좌표(K1, K2)를 공간모델(MD) 상의 좌표(L1, L2)에 대응짓는다.

구체적으로는, 좌표대응짓기 수단(10)은, 소정의 함수(예를 들면, 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등)에 근거하여, 입력화상 평면 상의 좌표와 공간모델(MD) 상의 좌표를 대응짓는다. 이 경우, 선분(K1-L1) 및 선분(K2-L2)이 카메라(2)의 광학중심(C)을 통과하는 일은 없다.

F6B는, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표와의 사이의 대응 관계를 나타내는 도이다. 좌표대응짓기 수단(10)은, XZ 평면 상에 위치하는 평행선군(PL)으로서, 처리대상화상 평면(R3)과의 사이에서 각도(β)를 형성하는 평행선군(PL)을 도입한다. 그리고, 좌표대응짓기 수단(10)은, 공간모델(MD)의 곡면영역(R2) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표가 모두 평행선군(PL) 중 1개에 있도록 하여, 양 좌표를 대응짓는다.

F6B의 예에서는, 좌표대응짓기 수단(10)은, 공간모델(MD)의 곡면영역(R2) 상의 좌표(L2)와 처리대상화상 평면(R3) 상의 좌표(M2)가 공통의 평행선에 있는 것으로 하여, 양 좌표를 대응짓는다.

다만, 좌표대응짓기 수단(10)은, 공간모델(MD)의 평면영역(R1) 상의 좌표를 곡면영역(R2) 상의 좌표와 마찬가지로 평행선군(PL)을 이용하여 처리대상화상 평면(R3) 상의 좌표에 대응짓는 것도 가능하다. 그러나, F6B의 예에서는, 평면영역(R1)과 처리대상화상 평면(R3)이 공통의 평면이 되고 있다. 이로 인하여, 공간모델(MD)의 평면영역(R1) 상의 좌표(L1)와 처리대상화상 평면(R3) 상의 좌표(M1)는 동일한 좌표치를 가진다.

이와 같이 하여, 좌표대응짓기 수단(10)은, 공간모델(MD) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응짓고, 공간모델(MD) 상의 좌표 및 처리대상화상 평면(R3) 상의 좌표를 관련지어 공간모델·처리대상화상 대응맵(41)에 기억한다.

F6C는, 처리대상화상 평면(R3) 상의 좌표와, 일례로서 통상 사영(h=ftanα)을 채용하는 가상 카메라(2V)의 출력화상 평면(R5) 상의 좌표와의 사이의 대응 관계를 나타내는 도이다. 화상생성 수단(11)은, 가상 카메라(2V)의 출력화상 평면(R5) 상의 좌표와 그 좌표에 대응하는 처리대상화상 평면(R3) 상의 좌표를 연결하는 선분의 각각이 가상 카메라(2V)의 광학중심(CV)을 통과하도록 하여, 양 좌표를 대응짓는다.

F6C의 예에서는, 화상생성 수단(11)은, 가상 카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1)를 처리대상화상 평면(R3)(공간모델(MD)의 평면영역(R1)) 상의 좌표(M1)에 대응짓고, 가상 카메라(2V)의 출력화상 평면(R5) 상의 좌표(N2)를 처리대상화상 평면(R3) 상의 좌표(M2)에 대응짓는다. 이 때, 선분(M1-N1) 및 선분(M2-N2)은 모두 가상 카메라(2V)의 광학중심(CV)을 통과한다.

다만, 가상 카메라(2V)가 통상 사영 이외의 사영방식(예를 들면, 정사영, 입체 사영, 등입체각 사영, 등거리 사영 등)을 채용하는 경우, 화상생성 수단(11)은, 각각의 사영방식에 따라, 가상 카메라(2V)의 출력화상 평면(R5) 상의 좌표(N1, N2)를 처리대상화상 평면(R3) 상의 좌표(M1, M2)에 대응짓는다.

구체적으로는, 화상생성 수단(11)은, 소정의 함수(예를 들면, 정사영(h=fsinα), 입체 사영(h=2ftan(α/2)), 등입체각 사영(h=2fsin(α/2)), 등거리 사영(h=fα) 등)에 근거하여, 출력화상 평면(R5) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응짓는다. 이 경우, 선분(M1-N1) 및 선분(M2-N2)이 가상 카메라(2V)의 광학중심(CV)을 통과하는 일은 없다.

이와 같이 하여, 화상생성 수단(11)은, 출력화상 평면(R5) 상의 좌표와, 처리대상화상 평면(R3) 상의 좌표를 대응짓고, 출력화상 평면(R5) 상의 좌표 및 처리대상화상 평면(R3) 상의 좌표를 관련지어 처리대상화상·출력화상 대응맵(42)에 기억한다. 그리고, 화상생성 수단(11)은, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)을 참조하면서, 출력화상에 있어서의 각 화소의 값과 입력화상에 있어서의 각 화소의 값을 관련지어 출력화상을 생성한다.

다만, F6D는, F6A~F6C를 조합한 도이며, 카메라(2), 가상 카메라(2V), 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2), 및, 처리대상화상 평면(R3)의 상호의 위치 관계를 나타낸다.

다음으로, 도 7을 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응짓기 위하여 좌표대응짓기 수단(10)이 도입하는 평행선군(PL)의 작용에 대하여 설명한다.

도 7 좌측도는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3)과의 사이에서 각도(β)가 형성되는 경우의 도이다. 한편, 도 7 우측도는, XZ 평면 상에 위치하는 평행선군(PL)과 처리대상화상 평면(R3)과의 사이에서 각도(β1)(β1>β)가 형성되는 경우의 도이다. 또, 도 7 좌측도 및 도 7 우측도에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La~Ld)의 각각은, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 각각에 대응한다. 또, 도 7 좌측도에 있어서의 좌표(La~Ld)의 각각의 간격은, 도 7 우측도에 있어서의 좌표(La~Ld)의 각각의 간격과 동일하다. 다만, 평행선군(PL)은, 설명의 목적을 위하여 XZ 평면 상에 존재하는 것으로 하고 있지만, 실제로는, Z축 상의 모든 점에서 처리대상화상 평면(R3)을 향하여 방사형상으로 뻗도록 존재한다. 다만, 이 경우의 Z축을 “재투영축”이라고 칭한다.

도 7 좌측도 및 도 7 우측도로 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 각각의 간격은, 평행선군(PL)과 처리대상화상 평면(R3)과의 사이의 각도가 증대함에 따라 선형적으로 감소한다. 즉, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma~Md)의 각각과의 사이의 거리와는 관계없이 균일하게 감소한다. 한편, 공간모델(MD)의 평면영역(R1) 상의 좌표군은, 도 7의 예에서는, 처리대상화상 평면(R3) 상의 좌표군에 대한 변환이 행해지지 않으므로, 좌표군의 간격이 변화하는 일은 없다.

이들 좌표군의 간격의 변화는, 출력화상 평면(R5)(도 6 참조) 상의 화상 부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상 부분만이 선형적으로 확대 혹은 축소되는 것을 의미한다.

다음으로, 도 8을 참조하면서, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표를 대응짓기 위하여 좌표대응짓기 수단(10)이 도입하는 평행선군(PL)의 대체예에 대하여 설명한다.

도 8 좌측도는, XZ 평면 상에 위치하는 보조선군(AL)의 전체가 Z축 상의 시발점(T1)으로부터 처리대상화상 평면(R3)을 향하여 뻗는 경우의 도이다. 한편, 도 8 우측도는, 보조선군(AL)의 전체가 Z축 상의 시발점(T2)(T2>T1)으로부터 처리대상화상 평면(R3)을 향하여 뻗는 경우의 도이다. 또, 도 8 좌측도 및 도 8 우측도에 있어서의 공간모델(MD)의 곡면영역(R2) 상의 좌표(La~Ld)의 각각은, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 각각에 대응한다. 다만, 도 8 좌측도의 예에서는, 좌표(Mc, Md)는, 처리대상화상 평면(R3)의 영역 외가 되기 때문에 도시되어 있지 않다. 또, 도 8 좌측도에 있어서의 좌표(La~Ld)의 각각의 간격은, 도 8 우측도에 있어서의 좌표(La~Ld)의 각각의 간격과 동일하다. 다만, 보조선군(AL)은, 설명의 목적을 위하여 XZ 평면 상에 존재하는 것으로 하고 있지만, 실제로는, Z축 상의 임의의 일점으로부터 처리대상화상 평면(R3)을 향하여 방사형상으로 뻗도록 존재한다. 다만, 도 7과 마찬가지로, 이 경우의 Z축을 “재투영축”이라고 칭한다.

도 8 좌측도 및 도 8 우측도로 나타나는 바와 같이, 처리대상화상 평면(R3) 상의 좌표(Ma~Md)의 각각의 간격은, 보조선군(AL)의 시발점과 원점(O)과의 사이의 거리(높이)가 증대함에 따라 비선형적으로 감소한다. 즉, 공간모델(MD)의 곡면영역(R2)과 좌표(Ma~Md)의 각각과의 사이의 거리가 클수록, 각각의 간격의 감소폭이 커진다. 한편, 공간모델(MD)의 평면영역(R1) 상의 좌표군은, 도 8의 예에서는, 처리대상화상 평면(R3) 상의 좌표군에 대한 변환이 행해지지 않기 때문에, 좌표군의 간격이 변화하는 일은 없다.

이들 좌표군의 간격의 변화는, 평행선군(PL)일 때와 마찬가지로, 출력화상 평면(R5)(도 6 참조) 상의 화상 부분 중, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 화상 부분만이 비선형적으로 확대 혹은 축소되는 것을 의미한다.

이와 같이 하여, 화상생성장치(100)는, 공간모델(MD)의 평면영역(R1)에 투영된 화상에 대응하는 출력화상의 화상 부분(예를 들면, 노면 화상)에 영향을 주는 일 없이, 공간모델(MD)의 곡면영역(R2)에 투영된 화상에 대응하는 출력화상의 화상 부분(예를 들면, 수평 화상)을 선형적으로 혹은 비선형적으로 확대 혹은 축소시킬 수 있다. 이로 인하여, 화상생성장치(100)는, 쇼벨(60)의 근방의 노면 화상(쇼벨(60)을 바로 위로부터 보았을 때의 가상 화상)에 영향을 주는 일 없이, 쇼벨(60)의 주위에 위치하는 물체(쇼벨(60)로부터 수평방향으로 주위를 보았을 때의 화상에 있어서의 물체)를 신속 또한 유연하게 확대 혹은 축소시킬 수 있어, 쇼벨(60)의 사각영역의 시인성을 향상시킬 수 있다.

다음으로, 도 9를 참조하면서, 화상생성장치(100)가 처리대상화상을 생성하는 처리(이하, “처리대상화상생성 처리”라고 함), 및, 생성한 처리대상화상을 이용하여 출력화상을 생성하는 처리(이하, “출력화상생성 처리”라고 함)에 대하여 설명한다. 다만, 도 9는, 처리대상화상생성 처리(스텝 S1~스텝 S3) 및 출력화상생성 처리(스텝 S4~스텝 S6)의 흐름을 나타내는 플로우차트이다. 또, 카메라(2)(입력화상 평면(R4)), 공간모델(평면영역(R1) 및 곡면영역(R2)), 및, 처리대상화상 평면(R3)의 배치는 미리 결정되어 있다.

먼저, 제어부(1)는, 좌표대응짓기 수단(10)에 의하여, 처리대상화상 평면(R3) 상의 좌표와 공간모델(MD) 상의 좌표를 대응짓는다(스텝 S1).

구체적으로는, 좌표대응짓기 수단(10)은, 평행선군(PL)과 처리대상화상 평면(R3)과의 사이에 형성되는 각도를 취득한다. 그리고, 좌표대응짓기 수단(10)은, 처리대상화상 평면(R3) 상의 일좌표로부터 뻗는 평행선군(PL)의 1개가 공간모델(MD)의 곡면영역(R2)과 교차하는 점을 산출한다. 그리고, 좌표대응짓기 수단(10)은, 산출한 점에 대응하는 곡면영역(R2) 상의 좌표를, 처리대상화상 평면(R3) 상의 그 일좌표에 대응하는 곡면영역(R2) 상의 일좌표로서 도출하고, 그 대응 관계를 공간모델·처리대상화상 대응맵(41)에 기억한다. 다만, 평행선군(PL)과 처리대상화상 평면(R3)과의 사이에 형성되는 각도는, 기억부(4) 등에 미리 기억된 값이어도 되고, 입력부(3)를 통하여 조작자가 동적으로 입력하는 값이어도 된다.

또, 좌표대응짓기 수단(10)은, 처리대상화상 평면(R3) 상의 일좌표가 공간모델(MD)의 평면영역(R1) 상의 일좌표와 일치하는 경우에는, 평면영역(R1) 상의 그 일좌표를, 처리대상화상 평면(R3) 상의 그 일좌표에 대응하는 일좌표로서 도출하고, 그 대응 관계를 공간모델·처리대상화상 대응맵(41)에 기억한다.

그 후, 제어부(1)는, 좌표대응짓기 수단(10)에 의하여, 상술의 처리에 의하여 도출된 공간모델(MD) 상의 일좌표와 입력화상 평면(R4) 상의 좌표를 대응짓는다(스텝 S2).

구체적으로는, 좌표대응짓기 수단(10)은, 통상 사영(h=ftanα)을 채용하는 카메라(2)의 광학중심(C)의 좌표를 취득한다. 그리고, 좌표대응짓기 수단(10)은, 공간모델(MD) 상의 일좌표로부터 뻗는 선분이며, 광학중심(C)을 통과하는 선분이 입력화상 평면(R4)과 교차하는 점을 산출한다. 그리고, 좌표대응짓기 수단(10)은, 산출한 점에 대응하는 입력화상 평면(R4) 상의 좌표를, 공간모델(MD) 상의 그 일좌표에 대응하는 입력화상 평면(R4) 상의 일좌표로서 도출하고, 그 대응 관계를 입력화상·공간모델 대응맵(40)에 기억한다.

그 후, 제어부(1)는, 처리대상화상 평면(R3) 상의 모든 좌표를 공간모델(MD) 상의 좌표 및 입력화상 평면(R4) 상의 좌표에 대응지었는지 아닌지를 판정한다(스텝 S3). 그리고, 제어부(1)는, 아직 모든 좌표를 대응짓고 있지 않다고 판정한 경우에는(스텝 S3의 NO), 스텝 S1 및 스텝 S2의 처리를 반복한다.

한편, 제어부(1)는, 모든 좌표를 대응지었다고 판정한 경우에는(스텝 S3의 YES), 처리대상화상생성 처리를 종료시킨 후 출력화상생성 처리를 개시시킨다. 그리고, 제어부(1)는, 화상생성 수단(11)에 의하여, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표를 대응짓는다(스텝 S4).

구체적으로는, 화상생성 수단(11)은, 처리대상화상에 스케일변환, 아핀변환, 또는 왜곡변환을 실시함으로써 출력화상을 생성한다. 그리고, 화상생성 수단(11)은, 실시한 스케일변환, 아핀변환, 또는 왜곡변환의 내용에 따라 정해지는, 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표와의 사이의 대응 관계를 처리대상화상·출력화상 대응맵(42)에 기억한다.

혹은, 화상생성 수단(11)은, 가상 카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 채용한 사영방식에 따라 처리대상화상 평면(R3) 상의 좌표로부터 출력화상 평면(R5) 상의 좌표를 산출하고, 그 대응 관계를 처리대상화상·출력화상 대응맵(42)에 기억하도록 해도 된다.

혹은, 화상생성 수단(11)은, 통상 사영(h=ftanα)을 채용하는 가상 카메라(2V)를 이용하여 출력화상을 생성하는 경우에는, 그 가상 카메라(2V)의 광학중심(CV)의 좌표를 취득한다. 그리고, 화상생성 수단(11)은, 출력화상 평면(R5) 상의 일좌표로부터 뻗는 선분이며, 광학중심(CV)을 통과하는 선분이 처리대상화상 평면(R3)과 교차하는 점을 산출한다. 그리고, 화상생성 수단(11)은, 산출한 점에 대응하는 처리대상화상 평면(R3) 상의 좌표를, 출력화상 평면(R5) 상의 그 일좌표에 대응하는 처리대상화상 평면(R3) 상의 일좌표로서 도출한다. 이와 같이 하여, 화상생성 수단(11)은, 그 대응 관계를 처리대상화상·출력화상 대응맵(42)에 기억하도록 해도 된다.

그 후, 제어부(1)의 화상생성 수단(11)은, 입력화상·공간모델 대응맵(40), 공간모델·처리대상화상 대응맵(41), 및 처리대상화상·출력화상 대응맵(42)을 참조한다. 그리고, 화상생성 수단(11)은, 입력화상 평면(R4) 상의 좌표와 공간모델(MD) 상의 좌표와의 대응 관계, 공간모델(MD) 상의 좌표와 처리대상화상 평면(R3) 상의 좌표와의 대응 관계, 및 처리대상화상 평면(R3) 상의 좌표와 출력화상 평면(R5) 상의 좌표와의 대응 관계를 추적한다. 그리고, 화상생성 수단(11)은, 출력화상 평면(R5) 상의 각 좌표에 대응하는 입력화상 평면(R4) 상의 좌표가 가지는 값(예를 들면, 휘도치, 색상치, 채도치 등)을 취득하고, 그 취득한 값을, 대응하는 출력화상 평면(R5) 상의 각 좌표의 값으로서 채용한다(스텝 S5). 다만, 출력화상 평면(R5) 상의 일좌표에 대해서 복수의 입력화상 평면(R4) 상의 복수의 좌표가 대응하는 경우, 화상생성 수단(11)은, 그들 복수의 입력화상 평면(R4) 상의 복수의 좌표의 각각의 값에 근거하는 통계치를 도출하고, 출력화상 평면(R5) 상의 그 일좌표의 값으로서 그 통계치를 채용해도 된다. 통계치는, 예를 들면, 평균치, 최대치, 최소치, 중간치 등이다.

그 후, 제어부(1)는, 출력화상 평면(R5) 상의 모든 좌표의 값을 입력화상 평면(R4) 상의 좌표의 값에 대응지었는지 아닌지를 판정한다(스텝 S6). 그리고, 제어부(1)는, 아직 모든 좌표의 값을 대응짓고 있지 않다고 판정한 경우에는(스텝 S6의 NO), 스텝 S4 및 스텝 S5의 처리를 반복한다.

한편, 제어부(1)는, 모든 좌표의 값을 대응지었다고 판정한 경우에는(스텝 S6의 YES), 출력화상을 생성하여, 이 일련의 처리를 종료시킨다.

다만, 화상생성장치(100)는, 처리대상화상을 생성하지 않는 경우에는, 처리대상화상생성 처리를 생략한다. 이 경우, 출력화상생성 처리에 있어서의 스텝 S4의 “처리대상화상 평면 상의 좌표”는, “공간모델 상의 좌표”로 대체된다.

이상의 구성에 의하여, 화상생성장치(100)는, 쇼벨(60)의 주위의 물체와 쇼벨(60)과의 위치 관계를 조작자에게 직감적으로 파악시키는 것이 가능한 처리대상화상 및 출력화상을 생성할 수 있다.

또, 화상생성장치(100)는, 처리대상화상 평면(R3)으로부터 공간모델(MD)을 거쳐 입력화상 평면(R4)으로 되돌아 가도록 좌표의 대응짓기를 실행한다. 이로써, 화상생성장치(100)는, 처리대상화상 평면(R3) 상의 각 좌표를 입력화상 평면(R4) 상의 1개 또는 복수의 좌표에 확실히 대응시킬 수 있다. 이로 인하여, 화상생성장치(100)는, 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐 처리대상화상 평면(R3)에 도달하는 순서로 좌표의 대응짓기를 실행하는 경우와 비교하여, 보다 양질의 처리대상화상을 신속히 생성할 수 있다. 입력화상 평면(R4)으로부터 공간모델(MD)을 거쳐 처리대상화상 평면(R3)에 도달하는 순서로 좌표의 대응짓기를 실행하는 경우에는, 입력화상 평면(R4) 상의 각 좌표를 처리대상화상 평면(R3) 상의 1개 또는 복수의 좌표에 확실히 대응시킬 수 있다. 그러나, 처리대상화상 평면(R3) 상의 좌표의 일부가, 입력화상 평면(R4) 상의 어느 좌표에도 대응지어지지 않는 경우가 있어, 그 경우에는 그들 처리대상화상 평면(R3) 상의 좌표의 일부에 보간 처리 등을 실시할 필요가 있다.

또, 화상생성장치(100)는, 공간모델(MD)의 곡면영역(R2)에 대응하는 화상만을 확대 혹은 축소하는 경우에는, 평행선군(PL)과 처리대상화상 평면(R3)과의 사이에 형성되는 각도를 변경하여 공간모델·처리대상화상 대응맵(41)에 있어서의 곡면영역(R2)에 관련된 부분만을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40)의 내용을 고쳐 쓰는 일 없이, 원하는 확대 혹은 축소를 실현시킬 수 있다.

또, 화상생성장치(100)는, 출력화상의 표시 방법을 변경하는 경우에는, 스케일변환, 아핀변환 또는 왜곡변환에 관한 각종 파라미터의 값을 변경하여 처리대상화상·출력화상 대응맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)의 내용을 고쳐 쓰는 일 없이, 원하는 출력화상(스케일변환 화상, 아핀변환 화상 또는 왜곡변환 화상)을 생성할 수 있다.

마찬가지로, 화상생성장치(100)는, 출력화상의 시점을 변경하는 경우에는, 가상 카메라(2V)의 각종 파라미터의 값을 변경하여 처리대상화상·출력화상 대응맵(42)을 고쳐 쓰는 것만으로, 입력화상·공간모델 대응맵(40) 및 공간모델·처리대상화상 대응맵(41)의 내용을 고쳐 쓰는 일 없이, 원하는 시점으로부터 본 출력화상(시점변환 화상)을 생성할 수 있다.

도 10은, 쇼벨(60)에 탑재된 2대의 카메라(2)(우측방 카메라(2R) 및 후방 카메라(2B))의 입력화상을 이용하여 생성되는 출력화상을 표시부(5)에 표시시켰을 때의 표시예이다.

화상생성장치(100)는, 그들 2대의 카메라(2)의 각각의 입력화상을 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2) 상에 투영한 후 처리대상화상 평면(R3)에 재투영하여 처리대상화상을 생성한다. 그리고, 화상생성장치(100)는, 그 생성한 처리대상화상에 화상변환 처리(예를 들면, 스케일변환, 아핀변환, 왜곡변환, 시점변환 처리 등)를 실시함으로써 출력화상을 생성한다. 이와 같이 하여, 화상생성장치(100)는, 쇼벨(60)의 근방을 상공으로부터 내려다 본 화상(평면영역(R1)에 있어서의 화상)과, 쇼벨(60)로부터 수평방향으로 주위를 본 화상(처리대상화상 평면(R3)에 있어서의 화상)을 동시에 표시한다.

다만, 출력화상은, 화상생성장치(100)가 처리대상화상을 생성하지 않는 경우에는, 공간모델(MD)에 투영된 화상에 화상변환 처리(예를 들면, 시점변환 처리)를 실시함으로써 생성된다.

또, 출력화상은, 쇼벨(60)이 선회 동작을 행할 때의 화상을 위화감 없이 표시할 수 있도록, 원형으로 트리밍되고, 그 원의 중심(CTR)이 공간모델(MD)의 원통 중심축 상이며, 또한, 쇼벨(60)의 선회축(PV) 상이 되도록 생성된다. 이로 인하여, 출력화상은, 쇼벨(60)의 선회 동작에 따라 그 중심(CTR)을 축으로 회전하도록 표시된다. 이 경우, 공간모델(MD)의 원통 중심축은, 재투영축과 일치하는 것이어도 되고, 일치하지 않는 것이어도 된다.

다만, 공간모델(MD)의 반경은, 예를 들면, 5미터이다. 또, 평행선군(PL)이 처리대상화상 평면(R3)과의 사이에서 형성하는 각도, 또는, 보조선군(AL)의 시발점 높이는, 쇼벨(60)의 선회 중심으로부터 굴삭 어태치먼트(E)의 최대 도달 거리(예를 들면 12미터)만큼 떨어진 위치에 물체(예를 들면, 작업원)가 존재하는 경우에 그 물체가 표시부(5)에서 충분히 크게(예를 들면, 7밀리미터 이상) 표시되도록, 설정될 수 있다.

또한, 출력화상은, 쇼벨(60)의 CG 화상을, 쇼벨(60)의 전방이 표시부(5)의 화면상방과 일치하고, 또한, 그 선회 중심이 중심(CTR)과 일치하도록 배치해도 된다. 쇼벨(60)과 출력화상에 나타나는 물체와의 사이의 위치 관계를 보다 알기 쉽게 하기 위해서이다. 다만, 출력화상은, 방위 등의 각종 정보를 포함하는 액자 화상을 그 주위에 배치해도 된다.

다음으로, 도 11~도 18을 참조하면서, 화상생성장치(100)가 생성하는 출력화상의 상세에 대하여 설명한다.

도 11은, 화상생성장치(100)를 탑재하는 쇼벨(60)의 상면도이다. 도 11에 나타내는 실시예에서는, 쇼벨(60)은, 3대의 카메라(2)(좌측방 카메라(2L), 우측방 카메라(2R), 및 후방 카메라(2B))와 3대의 거리화상센서(6)(좌측방 거리화상센서(6L), 우측방 거리화상센서(6R), 및 후방 거리화상센서(6B))를 구비한다. 다만, 도 11의 일점 쇄선으로 나타내는 영역(CL, CR, CB)은, 각각, 좌측방 카메라(2L), 우측방 카메라(2R), 후방 카메라(2B)의 촬상 범위를 나타낸다. 또, 도 11의 점선으로 나타내는 영역(ZL, ZR, ZB)은, 각각, 좌측방 거리화상센서(6L), 우측방 거리화상센서(6R), 후방 거리화상센서(6B)의 촬상 범위를 나타낸다.

다만, 본 실시예에서는, 거리화상센서(6)의 촬상 범위가 카메라(2)의 촬상 범위보다 좁지만, 거리화상센서(6)의 촬상 범위는, 카메라(2)의 촬상 범위와 동일해도 되고, 카메라(2)의 촬상 범위보다 넓어도 된다. 또, 거리화상센서(6)의 촬상 범위는, 카메라(2)의 촬상 범위 내에 있어서, 쇼벨(60)의 근방에 위치하지만, 쇼벨(60)로부터 보다 먼 영역에 있어도 된다.

도 12는, 쇼벨(60)에 탑재된 3대의 카메라(2)의 각각의 입력화상과, 그들 입력화상을 이용하여 생성되는 출력화상을 나타내는 도이다.

화상생성장치(100)는, 3대의 카메라(2)의 각각의 입력화상을 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2) 상에 투영한 후 처리대상화상 평면(R3)에 재투영하여 처리대상화상을 생성한다. 또, 화상생성장치(100)는, 생성한 처리대상화상에 화상변환 처리(예를 들면, 스케일변환, 아핀변환, 왜곡변환, 시점변환 처리 등)를 실시함으로써 출력화상을 생성한다. 그 결과, 화상생성장치(100)는, 쇼벨(60)의 근방을 상공으로부터 내려다 본 화상(평면영역(R1)에 있어서의 화상)과, 쇼벨(60)로부터 수평방향으로 주위를 본 화상(처리대상화상 평면(R3)에 있어서의 화상)을 동시에 표시한다. 다만, 출력화상의 중앙에 표시되는 화상은, 쇼벨(60)의 CG 화상(60CG)이다.

도 12에 있어서, 우측방 카메라(2R)의 입력화상, 및, 후방 카메라(2B)의 입력화상은 각각, 우측방 카메라(2R)의 촬상 범위와 후방 카메라(2B)의 촬상 범위와의 중복영역 내에 인물을 포착하고 있다(우측방 카메라(2R)의 입력화상에 있어서의 2점 쇄선으로 둘러싸이는 영역(R10), 및, 후방 카메라(2B)의 입력화상에 있어서의 2점 쇄선으로 둘러싸이는 영역(R11) 참조).

그러나, 출력화상 평면 상의 좌표가 입사각이 가장 작은 카메라에 관한 입력화상 평면 상의 좌표에 대응지어지는 것으로 하면, 출력화상은, 중복영역 내의 인물을 소실시켜 버린다(출력화상 내의 일점 쇄선으로 둘러싸이는 영역(R12) 참조).

따라서, 화상생성장치(100)는, 중복영역에 대응하는 출력화상 부분에 있어서, 후방 카메라(2B)의 입력화상 평면 상의 좌표가 대응지어지는 영역과, 우측방 카메라(2R)의 입력화상 평면 상의 좌표가 대응지어지는 영역을 혼재시켜, 중복영역 내의 물체가 소실되는 것을 방지한다.

도 13은, 2개의 카메라의 각각의 촬상 범위의 중복영역에 있어서의 물체의 소실을 방지하는 화상소실방지 처리를 설명하기 위한 도이다.

F13A는, 우측방 카메라(2R)의 촬상 범위와 후방 카메라(2B)의 촬상 범위와의 중복영역에 대응하는 출력화상 부분을 나타내는 도이며, 도 12의 점선으로 나타내는 직사각형 영역(R13)에 대응한다.

또, F13A에 있어서, 회색으로 표시된 영역(PR1)은, 후방 카메라(2B)의 입력화상 부분이 배치되는 화상영역이며, 영역(PR1)에 대응하는 출력화상 평면 상의 각 좌표에는 후방 카메라(2B)의 입력화상 평면 상의 좌표가 대응지어진다.

한편, 백색으로 표시된 영역(PR2)은, 우측방 카메라(2R)의 입력화상 부분이 배치되는 화상영역이며, 영역(PR2)에 대응하는 출력화상 평면 상의 각 좌표에는 우측방 카메라(2R)의 입력화상 평면 상의 좌표가 대응지어진다.

본 실시예에서는, 영역(PR1)과 영역(PR2)이 줄무늬 모양을 형성하도록 배치되고, 영역(PR1)과 영역(PR2)이 줄무늬 형상으로 교대로 나열된 부분의 경계선은, 쇼벨(60)의 선회 중심을 중심으로 하는 수평면 상의 동심원에 의하여 정해진다.

F13B는, 쇼벨(60)의 우측으로 치우친 후방의 공간영역의 상황을 나타내는 상면도이며, 후방 카메라(2B) 및 우측방 카메라(2R)의 쌍방에 의하여 촬상되는 공간영역의 현재의 상황을 나타낸다. 또, F13B는, 쇼벨(60)의 우측으로 치우친 후방에 막대형상의 입체물(OB)이 존재하는 것을 나타낸다.

F13C는, F13B가 나타내는 공간영역을 후방 카메라(2B) 및 우측방 카메라(2R)로 실제로 촬상하여 얻어진 입력화상에 근거하여 생성되는 출력화상의 일부를 나타낸다.

구체적으로는, 화상(OB1)은, 후방 카메라(2B)의 입력화상에 있어서의 입체물(OB)의 화상이, 노면 화상을 생성하기 위한 시점변환에 의하여, 후방 카메라(2B)와 입체물(OB)을 연결하는 선의 연장방향으로 신장된 것을 나타낸다. 즉, 화상(OB1)은, 후방 카메라(2B)의 입력화상을 이용하여 출력화상 부분에 있어서의 노면 화상을 생성한 경우에 표시되는 입체물(OB)의 화상의 일부이다.

또, 화상(OB2)은, 우측방 카메라(2R)의 입력화상에 있어서의 입체물(OB)의 화상이, 노면 화상을 생성하기 위한 시점변환에 의하여, 우측방 카메라(2R)와 입체물(OB)을 연결하는 선의 연장방향으로 신장된 것을 나타낸다. 즉, 화상(OB2)은, 우측방 카메라(2R)의 입력화상을 이용하여 출력화상 부분에 있어서의 노면 화상을 생성한 경우에 표시되는 입체물(OB)의 화상의 일부이다.

이와 같이, 화상생성장치(100)는, 중복영역에 있어서, 후방 카메라(2B)의 입력화상 평면 상의 좌표가 대응지어지는 영역(PR1)과, 우측방 카메라(2R)의 입력화상 평면 상의 좌표가 대응지어지는 영역(PR2)을 혼재시킨다. 그 결과, 화상생성장치(100)는, 1개의 입체물(OB)에 관한 2개의 화상(OB1 및 OB2)의 쌍방을 출력화상 상에 표시시켜, 입체물(OB)이 출력화상으로부터 소실되는 것을 방지한다.

도 14는, 도 12의 출력화상과, 도 12의 출력화상에 화상소실방지 처리를 적용함으로써 얻어지는 출력화상과의 차이를 나타내는 대비도이며, 도 14 상측도가 도 12의 출력화상을 나타내고, 도 14 하측도가 화상소실방지 처리를 적용한 후의 출력화상을 나타낸다. 도 14 상측도에 있어서의 일점 쇄선으로 둘러싸이는 영역(R12)에서는 인물이 소실되어 있는 데 반해, 도 14 하측도에 있어서의 일점 쇄선으로 둘러싸이는 영역(R14)에서는 인물이 소실되지 않고 표시되어 있다.

다음으로, 도 15를 참조하면서, 화상생성장치(100)가 생성하는 출력거리화상에 대하여 설명한다. 다만, 도 15는, 쇼벨(60)에 탑재된 3대의 거리화상센서(6)의 각각의 입력거리화상과, 그들 입력거리화상을 이용하여 생성되는 출력거리화상을 나타내는 도이다.

화상생성장치(100)는, 그들 3대의 거리화상센서(6)의 각각의 입력거리화상을 공간모델(MD)의 평면영역(R1) 및 곡면영역(R2) 상에 투영한 후 처리대상거리화상 평면(R3)에 재투영하여 처리대상거리화상을 생성한다. 또, 화상생성장치(100)는, 생성한 처리대상거리화상에 화상변환 처리(예를 들면, 스케일변환, 아핀변환, 왜곡변환, 시점변환 처리 등)를 실시함으로써 출력거리화상을 생성한다. 그리고, 화상생성장치(100)는, 쇼벨(60)의 근방을 상공으로부터 내려다 본 거리화상(평면영역(R1)에 있어서의 거리화상)과, 쇼벨(60)로부터 수평방향으로 주위를 본 거리화상(처리대상거리화상 평면(R3)에 있어서의 거리화상)을 동시에 표시한다. 다만, 출력거리화상의 중앙에 표시되는 화상은, 쇼벨(60)의 CG 화상(60CG)이다.

다만, 도 15의 입력거리화상 및 출력거리화상은, 화소치(거리화상센서(6)로부터의 거리)가 작을 수록 희고(엷고), 화소치가 클수록 검어(진해)지도록 표시된다. 다만, 노면 및 상부 선회체(63)의 각각에 상당하는 부분의 화소치(거리)는, 쇼벨(60)의 주위에 존재하는 물체의 출력거리화상에 있어서의 시인성을 높이기 위하여, 최대치(무한원(無限遠))로 설정된다. 즉, 노면 및 상부 선회체(63)의 각각에 상당하는 부분은 흑색으로 나타난다.

도 15에 있어서, 우측방 거리화상센서(6R)의 입력거리화상, 및, 후방 거리화상센서(6B)의 입력거리화상은 각각, 우측방 거리화상센서(6R)의 촬상 범위와 후방 거리화상센서(6B)의 촬상 범위와의 중복영역 내에 인물을 포착하고 있다(우측방 거리화상센서(6R)의 입력거리화상에 있어서의 2점 쇄선으로 둘러싸이는 영역(R15), 및, 후방 거리화상센서(6B)의 입력거리화상에 있어서의 2점 쇄선으로 둘러싸이는 영역(R16) 참조).

그러나, 출력거리화상 평면 상의 좌표가, 가장 가까운 위치에 있는 거리화상센서에 관한 입력거리화상 평면 상의 좌표에 대응지어지는 것으로 하면, 출력거리화상은, 중복영역 내의 인물을 소실시켜 버린다(출력거리화상 내의 일점 쇄선으로 둘러싸이는 영역(R17) 참조).

따라서, 화상생성장치(100)는, 중복영역에 대응하는 출력거리화상 부분에서는, 후방 거리화상센서(6B)의 입력거리화상 평면 상의 좌표, 및, 우측방 거리화상센서(6R)의 입력거리화상 평면 상의 좌표 중, 화소치(거리)가 작은 좌표를, 출력거리화상 평면 상의 좌표에 대응짓는다. 그 결과, 화상생성장치(100)는, 1개의 입체물에 관한 2개의 거리화상을 출력거리화상 상에 표시시켜, 입체물이 출력거리화상으로부터 소실되는 것을 방지한다. 다만, 이하에서는, 2개의 거리화상센서의 각각의 촬상 범위의 중복영역에 있어서의 물체의 소실을 방지하는 이 처리를 거리화상소실방지 처리라고 칭한다.

도 16은, 도 15의 출력거리화상과, 도 15의 출력거리화상에 거리화상소실방지 처리를 적용함으로써 얻어지는 출력거리화상과의 차이를 나타내는 대비도이며, 도 16 상측도가 도 15의 출력화상을 나타내고, 도 16 하측도가 거리화상소실방지 처리를 적용한 후의 출력거리화상을 나타낸다. 도 16 상측도에 있어서의 일점 쇄선으로 둘러싸이는 영역(R17)에서는 인물이 소실되어 있는 데 반해, 도 16 하측도에 있어서의 일점 쇄선으로 둘러싸이는 영역(R17)에서는 인물이 소실되지 않고 표시되어 있다.

다음으로, 도 17 및 도 18을 참조하면서, 화상생성장치(100)가 출력화상에 출력거리화상을 합성하는 처리(이하, “거리화상합성 처리”라고 함)에 대하여 설명한다.

도 17은, 출력화상에 출력거리화상을 합성하여 얻어지는 합성 후 출력화상의 일례를 나타내는 도이다.

화상생성장치(100)의 거리화상합성 수단(12)은, 예를 들면, 도 16 하측도에 나타내는 출력거리화상 중 소정치 이하의 화소치(거리)를 가지는 화소를 추출한다. 그리고, 거리화상합성 수단(12)은, 그 추출화소의 화소치(거리정보)를 휘도치, 색상치, 채도치 등으로 변환한 후, 도 14 하측도에 나타내는 출력화상에 그 추출화소를 중첩표시시킨다. 중첩표시되는 추출화소는, 예를 들면, 거리화상센서(6)로부터의 거리에 따른 색을 가지고, 그 거리가 커짐에 따라, 적색, 황색, 녹색, 청색과 같이 단계적으로 혹은 무단계로 그 색을 변화시킨다. 다만, 중첩표시되는 추출화소는, 거리화상센서(6)로부터의 거리에 따른 휘도를 가지고, 거리가 커짐에 따라, 그 휘도를 단계적으로 혹은 무단계로 감소시켜도 된다. 도 17의 영역(EX1~EX5)은, 그들 추출화소에 의하여 형성되는 영역이며, 이하에서는, 물체영역이라고 칭한다.

또, 거리화상합성 수단(12)은, 소정수 이상의 인접하는 추출화소에 의하여 형성되는 물체영역(EX1~EX5)의 거리정보를 출력화상 상에 중첩표시시켜도 된다. 구체적으로는, 거리화상합성 수단(12)은, 예를 들면, 물체영역(EX1)을 구성하는 화소의 화소치(거리)의 최소치, 최대치, 평균치, 중간치 등을, 물체영역(EX1)까지의 거리를 나타내는 대표치로서 출력화상 상에 중첩표시시킨다. 다만, 거리화상합성 수단(12)은, 그 대표치가 소정치 미만인 경우에 한하여 그 대표치를 출력화상 상에 중첩표시해도 된다. 쇼벨(60)에 비교적 가까운 물체, 즉 접촉의 가능성이 비교적 높은 물체를 보다 인식하기 쉽게 하기 위해서이다.

도 18은, 출력화상에 출력거리화상을 합성하여 얻어지는 합성 후 출력화상의 다른 일례를 나타내는 도이다.

도 18에서는, 거리화상합성 수단(12)은, 추출화소의 색이나 휘도를 변경하여 중첩표시하는 대신에, 도 17의 물체영역(EX1~EX5)의 각각에 대응하는 프레임(RF1~RF5)을 중첩표시한다. 다만, 프레임의 선종류는, 점선, 실선, 파선, 일점 쇄선 등을 포함하여 임의이며, 프레임의 형상도, 직사각형, 원형, 타원형, 다각형을 포함하여 임의이다.

또, 거리화상합성 수단(12)은, 프레임(RF1~RF5)의 각각에 대응하는 거리정보를 출력화상 상에 중첩표시시켜도 된다. 구체적으로는, 거리화상합성 수단(12)은, 예를 들면, 프레임(RF1)에 대응하는 물체영역(EX1)을 구성하는 화소의 화소치(거리)의 최소치, 최대치, 평균치, 중간치 등을, 프레임(RF1)에 대응하는 거리의 대표치로서 출력화상 상에 중첩표시시킨다. 다만, 거리화상합성 수단(12)은, 그 대표치가 소정치 미만인 경우에 한하여 그 대표치를 출력화상 상에 중첩표시해도 된다. 쇼벨(60)에 비교적 가까운 물체, 즉 접촉의 가능성이 비교적 높은 물체를 보다 인식하기 쉽게 하기 위해서이다.

또, 거리화상합성 수단(12)은, 대응하는 거리정보에 따라 프레임의 색을 변화시켜도 된다. 구체적으로는, 거리화상합성 수단(12)은, 그 거리가 커짐에 따라, 적색, 황색, 녹색, 청색과 같이 단계적으로 혹은 무단계로 프레임의 색을 변화시킨다. 다만, 거리화상합성 수단(12)은, 거리가 커짐에 따라, 프레임의 휘도를 단계적으로 혹은 무단계로 감소시켜도 된다.

상술과 같은 합성 후 출력화상을 봄으로써, 쇼벨(60)의 조작자는, 쇼벨(60)의 주위에 존재하는 물체의 위치, 및 그 물체까지의 거리를 보다 용이하게 인식할 수 있다. 또, 쇼벨(60)의 조작자는, 조작자로부터 보아 사각이 되는 영역에 존재하는 물체의 위치, 및 그 물체까지의 거리를 보다 용이하게 인식할 수 있다.

이상의 구성에 의하여, 화상생성장치(100)는, 거리화상센서(6)가 촬상하는 입력거리화상에 근거하여 생성되는 출력거리화상을, 카메라(2)가 촬상하는 입력화상에 근거하여 생성되는 출력화상 상에 합성한다. 이로 인하여, 화상생성장치(100)는, 쇼벨(60)의 주위의 비교적 넓은 범위에 존재하는 각 물체까지의 거리를 비교적 높은 분해능으로 측정할 수 있다. 그 결과, 화상생성장치(100)는, 신뢰성이 높은 합성 후 출력화상을 생성할 수 있다.

또, 카메라(2) 및 거리화상센서(6)는, 각각의 촬상 범위가 쇼벨(60)의 주위를 둘러싸도록 배치된다. 이로 인하여, 화상생성장치(100)는, 쇼벨(60)의 주위를 상공으로부터 보았을 때의 모습을 나타내는 합성 후 출력화상을 생성할 수 있다. 그 결과, 쇼벨(60)의 조작자는, 쇼벨(60)의 주위에 존재하는 물체의 위치, 및 그 물체까지의 거리를 보다 용이하게 인식할 수 있다.

또, 화상생성장치(100)는, 처리대상화상에 대해서 실시되는 화상변환 처리와 동일한 화상변환 처리를 처리대상거리화상에 대해서 실시하도록 한다. 이로 인하여, 화상생성장치(100)는, 출력화상 평면에 있어서의 좌표와 출력거리화상 평면에 있어서의 좌표를 용이하게 대응지을 수 있다.

또, 화상생성장치(100)는, 거리화상센서(6)로부터의 거리에 따라, 즉, 쇼벨(60)로부터의 거리에 따라, 추출화소 또는 프레임의 색을 단계적으로 혹은 무단계로 변화시킨다. 이로 인하여, 쇼벨(60)의 조작자는, 감각적으로 접촉의 위험의 유무를 판단할 수 있다.

다음으로, 도 19를 참조하면서, 거리화상센서(6)의 다른 배치예에 대하여 설명한다. 다만, 도 19는, 쇼벨(60)의 상면도이고, 도 11에 대응한다.

도 19에 나타내는 실시예에서는, 쇼벨(60)은, 3대의 카메라(2)(좌측방 카메라(2L), 우측방 카메라(2R), 및 후방 카메라(2B))와 6대의 거리화상센서(6)(제1 좌측방 거리화상센서(6L1), 제2 좌측방 거리화상센서(6L2), 제1 우측방 거리화상센서(6R1), 제2 우측방 거리화상센서(6R2), 제1 후방 거리화상센서(6B1), 및 제2 후방 거리화상센서(6B2))를 구비한다. 다만, 도 19의 일점 쇄선으로 나타내는 영역(CL, CR, CB)은, 각각, 좌측방 카메라(2L), 우측방 카메라(2R), 후방 카메라(2B)의 촬상 범위를 나타낸다. 또, 도 19의 점선으로 나타내는 영역(ZL1, ZL2, ZR1, ZR2, ZB1, ZB2)은, 각각, 제1 좌측방 거리화상센서(6L1), 제2 좌측방 거리화상센서(6L2), 제1 우측방 거리화상센서(6R1), 제2 우측방 거리화상센서(6R2), 제1 후방 거리화상센서(6B1), 제2 후방 거리화상센서(6B2)의 촬상 범위를 나타낸다.

도 19에 나타내는 바와 같이, 거리화상센서(6L1, 6L2, 6R1, 6R2, 6B1, 6B2)의 화각은, 도 11의 거리화상센서보다 좁다. 이로 인하여, 1대의 거리화상센서의 촬상 범위에 따라서는, 대응하는 카메라의 촬상 범위를 유효하게 커버할 수 없다.

따라서, 도 19의 구성은, 카메라의 양측에 1개씩 거리화상센서를 장착함으로써, 2개의 거리화상센서의 촬상 범위에 의하여, 대응하는 1개의 카메라의 촬상 범위를 유효하게 커버할 수 있도록 한다. 다만, 거리화상센서는, 대응하는 1개의 카메라의 주위에 3개 이상 장착되어 있어도 된다.

거리화상센서(6)의 이 배치에 의하여, 화상생성장치(100)는, 거리화상센서(6)의 화각이 카메라(2)의 화각보다 좁은 경우이더라도, 도 11에 나타내는 구성을 이용한 경우, 즉 거리화상센서의 화각이 카메라의 화각과 대략 동일한 경우와 동일한 합성 후 출력화상을 생성할 수 있다. 또한, 거리화상센서(6)의 이 배치가, 탑재성이나 외관에 악영향을 주는 일도 없다.

이상, 본 발명의 바람직한 실시예에 대하여 상세히 설명했지만, 본 발명은, 상술한 실시예에 제한되지 않고, 본 발명의 범위를 일탈하는 일 없이 상술한 실시예에 다양한 변형 및 치환을 더할 수 있다.

예를 들면, 상술의 실시예에 있어서, 화상생성장치(100)는, 공간모델로서 원통형상의 공간모델(MD)을 채용하지만, 다각기둥 등의 다른 기둥형상의 형상을 가지는 공간모델을 채용해도 되고, 바닥면 및 측면의 2면으로 구성되는 공간모델을 채용해도 되며, 혹은, 측면만을 가지는 공간모델을 채용해도 된다.

또, 화상생성장치(100)는, 버킷, 암, 붐, 선회기구 등의 가동 부재를 구비하면서 자주(自走)하는 쇼벨에, 카메라 및 거리화상센서와 함께 탑재된다. 그리고, 화상생성장치(100)는, 주위 화상을 그 조작자에게 제시하면서 그 쇼벨의 이동 및 그들 가동 부재의 조작을 지원하는 조작 지원 시스템을 구성한다. 그러나, 화상생성장치(100)는, 포크리프트, 아스팔트피니셔 등과 같이 선회기구를 가지지 않는 작업기계에, 카메라 및 거리화상센서와 함께 탑재되어도 된다. 혹은, 화상생성장치(100)는, 산업용 기계 혹은 고정식 크레인 등과 같이 가동 부재를 가지지만 자주는 하지 않는 작업기계에, 카메라 및 거리화상센서와 함께 탑재되어도 된다. 그리고, 화상생성장치(100)는, 그들 작업기계의 조작을 지원하는 조작 지원 시스템을 구성해도 된다.

또, 상술의 실시예에 있어서, 거리화상합성 수단(12)은, 출력거리화상을 생성한 후, 생성한 출력거리화상을 출력화상에 합성한다. 그러나, 본 발명은 이것에 한정되는 것은 아니다. 거리화상합성 수단(12)은, 예를 들면, 입력화상과 입력거리화상을 합성하여 합성 후 입력화상을 생성하고, 거리화상에 관한 정보가 중첩표시된 합성 후 처리대상화상을 생성한 후, 합성 후 출력화상을 생성해도 된다. 또, 거리화상합성 수단(12)은, 예를 들면, 처리대상화상과 처리대상거리화상을 합성하여 합성 후 처리대상화상을 생성한 후, 합성 후 출력화상을 생성해도 된다.

또, 본원은, 2012년 3월 29일에 출원한 일본 특허출원 2012-078340호에 근거하는 우선권을 주장하는 것이며 그들 일본 특허출원의 전체 내용을 본원에 참조로 원용한다.

1 제어부
2 카메라
2L 좌측방 카메라
2R 우측방 카메라
2B 후방 카메라
3 입력부
4 기억부
5 표시부
6 거리화상센서
6L 좌측방 거리화상센서
6R 우측방 거리화상센서
6B 후방 거리화상센서
10 좌표대응짓기 수단
11 화상생성 수단
12 거리화상합성 수단
40 입력화상·공간모델 대응맵
41 공간모델·처리대상화상 대응맵
42 처리대상화상·출력화상 대응맵
60 쇼벨
61 하부 주행체
62 선회기구
63 상부 선회체
64 캡
100 화상생성장치

Claims

작업기계에 장착되는 거리화상센서가 촬상한 입력거리화상에 근거하여 출력거리화상을 생성하는 작업기계용 주변감시장치로서,
상기 입력거리화상이 위치하는 입력거리화상 평면에 있어서의 좌표와, 상기 출력거리화상이 위치하는 출력거리화상 평면에 있어서의 좌표를 대응짓는 작업기계용 주변감시장치.
제 1 항에 있어서,
상기 거리화상센서는, 상기 작업기계에 복수 장착되고,
상기 작업기계용 주변감시장치는, 복수의 입력거리화상에 근거하여 1개의 출력거리화상을 생성하는 작업기계용 주변감시장치.
제 1 항에 있어서,
복수의 거리화상센서 중 2개의 거리화상센서의 각각의 촬상 범위가 중복되는 영역에 대응하는 상기 2개의 거리화상센서의 각각의 입력거리화상의 영역에 있어서의 서로 대응하는 화소의, 거리를 나타내는 화소의 값 중 작은 값을, 상기 출력거리화상에 있어서의 대응하는 화소에 관련짓는 작업기계용 주변감시장치.
제 1 항에 있어서,
상기 출력거리화상은, 시점변환 처리가 실시된 거리화상인 작업기계용 주변감시장치.
제 1 항에 있어서,
상기 작업기계에는 카메라가 장착되고,
상기 작업기계용 주변감시장치는, 상기 카메라가 촬상한 입력화상이 위치하는 입력화상 평면에 있어서의 좌표와, 상기 카메라의 출력화상이 위치하는 출력화상 평면에 있어서의 좌표를 대응짓고, 상기 출력거리화상과 상기 출력화상을 합성하는 작업기계용 주변감시장치.