KR101812530B1

KR101812530B1 - 촬영 장치, 차량 및 화상 보정 방법

Info

Publication number: KR101812530B1
Application number: KR1020157036534A
Authority: KR
Inventors: 나오키 난바
Original assignee: 야마하하쓰도키 가부시키가이샤
Priority date: 2014-02-12
Filing date: 2015-02-09
Publication date: 2017-12-27
Also published as: TW201534514A; JPWO2015122389A1; JP6161704B2; TWI551490B; KR20160013994A; WO2015122389A1

Abstract

촬영 장치(5)는 한 쌍의 화상 센서(11R, 11L)와, 화상 센서(11L)에 의해 촬영된 화상(IL)을 화상(IL)의 횡방향으로 횡 시프트량(Bh)만큼 평행 이동시키는 화상 보정부(22)와, 조정용 화상(ER, EL)에 의거하여 횡 시프트량(Bh)을 조정하는 횡 시프트량 조정부(27)를 구비한다. 횡 시프트량 조정부(27)는 조정용 화상(ER, EL)에 의거하여 시차의 계측값(Fm)을 취득하는 측정부(31)와, 조정용 화상(ER)에 의거하여 시차의 이론값(Ft)을 산출하는 이론값 계산부(32)와, 시차의 계측값(Fm)과 시차의 이론값(Ft)에 의거하여 횡방향 조정량(Hh)을 산출하는 횡방향 조정량 계산부(33)와, 횡방향 조정량(Hh)을 이용하여 횡 시프트량(Bh)을 변경하는 횡 시프트량 변경부(34)를 구비하고 있다.

Description

촬영 장치, 차량 및 화상 보정 방법{IMAGING DEVICE, VEHICLE, AND IMAGE CORRECTION METHOD}

본 발명은 촬영 장치, 차량 및 화상 보정 방법에 관한 것이다.

스테레오 카메라는 복수의 카메라를 구비한다. 각 카메라는 소정의 위치에 소정의 자세로 설치된다. 각 카메라는 스테레오 비젼에 의한 촬영을 행한다. 각 카메라로부터 얻어진 화상은 화상 처리부에 의해 처리된다. 예를 들면, 화상 처리부는 카메라의 내부 파라미터 및 외부 파라미터를 이용하여, 화상의 깊이방향에 있어서의 정보를 계산한다. 카메라의 외부 파라미터는 카메라의 위치 및 자세에 의해 규정된다.

여기에서, 카메라의 위치 및 자세가 어긋나는 것을 적당하게 「위치 어긋남」이라고 말한다. 위치 어긋남은 각종 원인에 의해 일어난다. 예를 들면, 카메라가 충격이나 진동을 받으면 위치 어긋남이 일어날 수 있다. 「위치 어긋남」이 일어나면, 카메라의 실제 위치 및 실제 자세가 외부 파라미터가 규정하는 위치 및 자세로부터 괴리된다. 그 결과, 깊이방향에 있어서의 정보에 포함되는 오차가 증대하여 깊이방향에 있어서의 정보의 정밀도가 저하한다.

위치 어긋남을 해소하기 위해서, 스테레오 카메라의 오퍼레이터가 카메라의 위치 및 자세를 수동으로 조정해도 좋다. 이 방법에 의하면, 카메라를 바른 위치 및 바른 자세로 되돌릴 수 있다. 단, 오퍼레이터의 수고가 든다.

그래서, 종래 화상을 보정함으로써 위치 어긋남을 없애는 방법이 검토되어 있다. 이 방법은, 예를 들면 이하와 같다. 우선, 카메라가 격자상 차트 등의 테스트 패턴을 촬영한다. 화상 처리부는 얻어진 화상에 의거하여 화상을 보정하기 위한 보정 파라미터를 조정한다. 구체적으로는, 화상 처리부는 화상을 종방향으로 평행 이동하기 위한 보정 파라미터와, 화상을 회전하기 위한 보정 파라미터를 조정한다. 화상 처리부는 조정된 보정 파라미터를 사용해서 화상을 보정한다(예를 들면, 특허문헌 1, 2 참조). 이 방법에서는 카메라의 위치 및 자세를 조정하지 않아도 좋으므로, 오퍼레이터의 부담을 줄일 수 있다.

일본 특허공개 2004-132870호 공보 일본 특허공개 2000-284389호 공보

그러나, 이러한 구성을 갖는 종래예의 경우에는 다음과 같은 문제가 있다.

종래예는 화상을 횡방향으로 평행 이동하기 위한 보정 파라미터를 조정하지 않는다. 따라서, 화상을 보정해도 위치 어긋남에 기인하는 오차를 충분하게 저감할 수 없다.

또한, 종래예는 스테레오 카메라의 실가동 중에 보정 파라미터를 조정하지 않는다. 예를 들면, 특허문헌 1은, 보정 파라미터를 조정하는 방법만을 개시하고, 보정 파라미터를 조정하는 타이밍을 일체 개시하고 있지 않다. 특허문헌 2는, 스테레오 카메라를 탑재하는 자동차 등이 실가동에 들어가기 전에 보정 파라미터의 조정을 행하는 것을 개시한다. 여기에서, 실가동에 들어가기 전이란, 예를 들면 차량이 정지하고 있을 때이다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로서, 화상을 횡방향으로 평행 이동시키기 위한 보정 파라미터를 적합하게 조정할 수 있는 촬영 장치, 차량 및 화상 보정 방법을 제공하는 것을 목적으로 한다. 또한, 본 발명은 화상 센서를 탑재하는 차량이 실가동하고 있을 때에 화상을 보정하기 위한 보정 파라미터를 조정할 수 있는 차량 및 화상 보정 방법을 제공하는 것을 목적으로 한다.

본 발명은 이러한 목적을 달성하기 위해서, 다음과 같은 구성을 취한다.

즉, 본 발명은 촬영 장치이고, 상기 촬영 장치는 한 쌍의 화상 센서와, 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 횡방향으로 횡 시프트량만큼 평행 이동시키는 화상 보정부와, 상기 화상 센서의 각각이 제 1 마커로부터 광축방향으로 떨어져 있는 거리와 제 2 마커로부터 광축방향으로 떨어져 있는 거리가 대략 같은 위치에서 제 1 마커 및 제 2 마커를 촬영한 화상을 각각 조정용 화상으로 하고, 상기 조정용 화상에 의거하여 상기 횡 시프트량을 조정하는 횡 시프트량 조정부를 구비하고, 상기 횡 시프트량 조정부는 상기 조정용 화상의 양방에 의거하여 상기 제 1 마커 및 상기 제 2 마커 중 적어도 어느 하나에 관한 시차를 계측하여 시차의 계측값을 취득하는 측정부와, 상기 제 1 마커와 상기 제 2 마커 간의 간격과 상기 조정용 화상 중 어느 일방에 의거하여 상기 제 1 마커 및 상기 제 2 마커에 관한 시차의 이론값을 산출하는 이론값 계산부와, 상기 시차의 계측값과 상기 시차의 이론값에 의거하여 횡방향 조정량을 산출하는 횡방향 조정량 계산부와, 상기 횡방향 조정량을 이용하여 상기 횡 시프트량을 변경하는 횡 시프트량 변경부를 구비하고 있는 촬영 장치이다.

[작용·효과] 한 쌍의 화상 센서는 스테레오 카메라를 구성한다. 각 화상 센서는 스테레오 비젼에 의한 촬영을 행한다.

화상 보정부는 횡 시프트량을 사용해서 화상을 보정한다. 횡 시프트량은 보정 파라미터 중 하나이다. 화상 보정부는 각 화상 센서로부터 얻어진 화상을 보정해도 좋고, 어느 하나의 화상 센서로부터 얻어진 화상만을 보정해도 좋다.

횡 시프트량 조정부는 각 화상 센서로부터 얻어진 조정용 화상에 의거하여 횡 시프트량을 조정한다.

조정용 화상은 각 화상 센서가 제 1 마커 및 제 2 마커를 촬영한 한 쌍의 화상이다. 더욱이, 조정용 화상은 화상 센서와 제 1 마커 간의 광축방향에 있어서의 거리와 화상 센서와 제 2 마커 간의 광축방향에 있어서의 거리가 대략 같을 때에 각 화상 센서가 촬영한 화상이다. 여기에서, 「대략 같다」란, 각 거리가 엄밀하게 같은 것, 및 횡 시프트량을 조정할 수 있는 정도로 각 거리가 근사하여 있는 것의 양방을 포함하는 의미이다.

그 결과, 조정용 화상에는 제 1 마커 및 제 2 마커가 투영된다. 게다가, 조정용 화상에 투영된 제 1 마커의 깊이방향에 있어서의 정보와 조정용 화상에 투영된 제 2 마커의 깊이방향에 있어서의 정보는 대략 같다.

횡 시프트량 조정부는 측정부와 이론값 계산부와 횡방향 조정량 계산부와 횡 시프트량 변경부를 갖는다. 측정부는 2개의 조정용 화상에 의거하여 「시차의 계측값」을 취득한다. 이론값 계산부는 1개의 조정용 화상에 의거하여 「시차의 이론값」을 취득한다. 횡방향 조정량 계산부는 「시차의 계측값」과 「시차의 이론값」에 의거하여 횡방향 조정량을 산출한다. 횡 시프트량 변경부는 횡방향 조정량을 이용하여 횡 시프트량을 변경한다.

이렇게, 본 발명에 의하면, 횡 시프트량 조정부를 구비하고 있으므로 횡 시프트량을 적합하게 조정할 수 있다. 이것에 의해, 화상 보정부는 화상을 적합하게 보정할 수 있다. 즉, 각 화상 센서로부터 얻어진 2개의 화상 간에 있어서의 시차를 적합하게 조정할 수 있다. 따라서, 만약 화상 센서의 위치 및 자세가 어긋났다고 해도 촬영 장치의 정밀도 및 촬영 장치의 신뢰성을 적합하게 유지할 수 있다.

상술한 발명에 있어서, 상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것이 바람직하다. 이것에 의하면, 이론값 계산부는 시차의 이론값을 정밀도 좋게 산출할 수 있다. 그 결과, 횡방향 조정량 계산부는 횡방향 조정량을 적정하게 산출할 수 있다.

상술한 발명에 있어서, 상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점과 상기 제 2 마커의 투영점 간의 간격에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것이 바람직하다. 이것에 의하면, 이론값 계산부는 시차의 이론값을 정밀도 좋게 산출할 수 있다. 그 결과, 횡방향 조정량 계산부는 횡방향 조정량을 적정하게 산출할 수 있다.

상술한 발명에 있어서, 상기 횡방향 조정량 계산부는 상기 시차의 계측값과 상기 시차의 이론값의 차가 작아지도록 상기 횡방향 조정량을 결정하는 것이 바람직하다. 이것에 의하면, 각 화상 센서로부터 얻어진 2개의 화상 간에 있어서의 실제의 시차를 시차의 이론값에 가깝게 할 수 있다. 그 결과, 화상의 깊이방향에 있어서의 정보의 정밀도를 적합하게 개선할 수 있다.

상술한 발명에 있어서, 상기 조정용 화상 중 적어도 일방은 상기 화상 보정부에 의한 처리가 행해진 화상이며, 상기 횡 시프트량 변경부는 상기 화상 보정부에 의해 사용된 상기 횡 시프트량에 상기 횡방향 조정량을 가감산하는 것이 바람직하다. 즉, 상기 횡 시프트량 변경부는 횡 시프트량에 횡방향 조정량을 가감산한 값을 새로운 횡 시프트량으로서 설정한다. 조정용 화상 중 적어도 일방이 보정된 화상일 경우, 본 발명에 의해 적절하게 횡 시프트량을 조정할 수 있다.

상술한 발명에 있어서, 상기 조정용 화상의 양방은 상기 화상 보정부에 의한 처리가 행해져 있지 않은 화상이며, 상기 횡 시프트량 변경부는 상기 횡방향 조정량을 새로운 상기 횡 시프트량으로서 설정하는 것이 바람직하다. 조정용 화상의 양방이 보정되어 있지 않은 화상일 경우, 본 발명에 의해 적절하게 횡 시프트량을 조정할 수 있다.

상술한 발명에 있어서, 상기 촬영 장치는 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여 상기 화상 센서의 각각으로부터 얻어진 화상이 조정용 화상인지의 여부를 판정하는 조정용 화상 특정부를 더 구비하는 것이 바람직하다. 이것에 의하면, 조정용 화상을 적합하게 특정할 수 있다.

상술한 발명에 있어서, 상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것이 바람직하다. 이것에 의하면, 이론값 계산부에 의한 처리를 간소화할 수 있다. 또한, 조정용 화상 특정부에 의한 처리를 간소화할 수 있다.

상술한 발명에 있어서, 상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고, 상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것이 바람직하다. 종 시프트량은 보정 파라미터의 하나이다. 촬영 장치는 종 시프트량 조정부를 구비하고 있으므로, 종 시프트량을 적합하게 조정할 수 있다. 따라서, 화상 보정부는 화상을 한층 적절하게 보정할 수 있다.

상술한 발명에 있어서, 상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고, 상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것이 바람직하다. 회전량은 보정 파라미터의 하나이다. 촬영 장치는 회전량 조정부를 구비하고 있으므로 회전량을 적합하게 조정할 수 있다. 따라서, 화상 보정부는 화상을 한층 적절하게 보정할 수 있다.

또한, 본 발명은 상술한 촬영 장치를 구비한 차량이다.

[작용·효과] 본 발명에 의하면, 차량은 촬영 장치를 구비하고 있으므로, 차량 주위의 피사체를 적합하게 검지할 수 있다. 또한, 촬영 장치의 정밀도 및 신뢰성은 적합하게 유지되어 있으므로, 차량의 가동률이 저하하는 것을 적합하게 억제할 수 있다.

상술한 발명에 있어서, 상기 차량이 주로를 주행할 때, 상기 화상 센서는 각각 상기 제 1 마커 및 상기 제 2 마커를 촬영하는 것이 바람직하다. 이것에 의하면, 차량이 실가동하고 있을 때에 횡 시프트량을 조정할 수 있다. 따라서, 차량의 가동률을 저하 시키지 않고 촬영 장치의 정밀도를 유지할 수 있다.

상술한 발명에 있어서, 상기 주로는 미리 정해져 있고, 상기 차량은 상기 주로를 자율 주행하는 것이 바람직하다. 차량이 미리 정해진 주로를 주행하므로, 화상 센서는 제 1 마커 및 제 2 마커를 적절하게 촬영할 수 있다. 이것에 의해, 이론값 계산부는 「시차의 이론값」을 한층 정밀도 좋게 산출할 수 있다.

또한, 본 발명은 차량이 주행하고 있을 때에, 차량에 탑재되어 있는 복수의 화상 센서가 차량의 외부에 설치되어 있는 마커군을 촬영하는 과정과, 상기 화상 센서 중 적어도 어느 하나로부터 얻어진 화상을 보정하는 과정과, 상기 화상 센서로부터 얻어지고 마커군이 투영되어 있는 화상을 조정용 화상으로 하고, 상기 조정용 화상에 의거하여 상기 화상을 보정하는 과정에서 사용되는 보정 파라미터를 조정하는 과정을 구비하고 있는 화상 보정 방법이다.

[작용·효과] 촬영하는 과정은 차량의 주행 중에 마커군을 촬영한다. 보정하는 과정은 화상 센서로부터 얻어진 화상을 보정한다. 조정하는 과정은 조정용 화상에 의거하여 보정 파라미터를 조정한다. 이렇게, 본 발명에 의하면, 차량을 실가동시키면서 화상을 보정하기 위한 보정 파라미터를 적절하게 조정할 수 있다.

상술한 발명에 있어서, 상기 보정 파라미터는 횡 시프트량이고, 상기 화상을 보정하는 과정은 상기 화상을 상기 화상의 횡방향으로 상기 횡 시프트량만큼 평행 이동시키고, 상기 마커군은 서로 간격을 두고 배치되는 제 1 마커와 제 2 마커를 포함하고, 상기 촬영하는 과정을 실행할 때, 상기 화상 센서와 제 1 마커 간의 광축방향에 있어서의 거리와, 상기 화상 센서와 제 2 마커 간의 광축방향에 있어서의 거리는 대략 같고, 상기 보정 파라미터를 조정하는 과정은 상기 조정용 화상의 양방에 의거하여 상기 제 1 마커 및 상기 제 2 마커 중 적어도 어느 하나에 관한 시차를 계측하여 시차의 계측값을 취득하는 과정과, 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 상기 조정용 화상 중 어느 일방에 의거하여, 상기 제 1 마커 및 상기 제 2 마커에 관한 시차의 이론값을 산출하는 과정과, 상기 시차의 계측값과 상기 시차의 이론값에 의거하여 횡방향 조정량을 산출하는 과정과, 상기 횡방향 조정량을 이용하여 상기 횡 시프트량을 변경하는 과정을 구비하고 있는 것이 바람직하다.

촬영하는 과정에서는 각 화상 센서는 제 1 마커 및 제 2 마커로부터 광축방향으로 대략 같은 거리만큼 떨어진 위치에서 제 1 마커 및 제 2 마커를 촬영한다. 여기에서, 「대략 같다」란, 각 거리가 엄밀하게 같은 것, 및 횡 시프트량을 조정할 수 있는 정도로 각 거리가 근사하여 있는 것의 양방을 포함하는 의미이다.

보정하는 과정은 횡 시프트량을 사용하여 화상을 횡방향으로 평행 이동시킨다.

보정 파라미터를 조정하는 과정은 조정용 화상에 의거하여 횡 시프트량을 조정한다. 보정 파라미터를 조정하는 과정은 시차의 계측값을 취득하는 과정과, 시차의 이론값을 산출하는 과정과, 횡방향 조정량을 산출하는 과정과, 횡 시프트량을 변경하는 과정을 더 구비한다. 이 때문에, 보정 파라미터를 조정하는 과정은 횡 시프트량을 적절하게 조정할 수 있다.

이것에 의해, 화상을 보정하는 과정은 화상을 적절하게 보정할 수 있다. 그 결과, 각 화상 센서로부터 얻어진 화상 간에 있어서의 시차를 적합하게 조정할 수 있다. 따라서, 만약 화상 센서의 위치 및 자세가 어긋났다고 해도 화상의 깊이방향에 있어서의 정보를 정밀도 좋게 얻을 수 있다.

또한, 본 명세서는 다음과 같은 검출 장치 및 차량에 관한 발명도 개시하고 있다.

(1) 상술한 발명에 있어서, 상기 제 1 마커와 상기 제 2 마커는 기지의 간격을 두고 배치되어 있는 것이 바람직하다.

상기 (1)에 의하면, 이론값 계산부는 시차의 이론값을 적합하게 산출할 수 있다.

(2) 상술한 발명에 있어서, 상기 화상 센서의 각각은 각 화상 센서의 광축이 서로 평행하게 되도록, 또한 각 화상 센서로부터 얻어지는 화상의 횡축이 동축이 되도록 배치되어 있는 것이 바람직하다.

상기 (2)에 의하면, 각 화상 센서에 의해 스테레오 카메라를 적합하게 구성할 수 있다.

(3) 상술한 발명에 있어서, 상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상에 관련되는 광학 중심, 그 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점, 및 그 조정용 화상 상에 있어서의 상기 제 2 마커의 투영점을 정점으로 하는 삼각형의 내각에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것이 바람직하다.

상기 (3)에 의하면, 이론값 계산부는 시차의 이론값을 정밀도 좋게 산출할 수 있다. 그 결과, 횡방향 조정량 계산부는 횡방향 조정량을 적정하게 산출할 수 있다.

(4) 상술한 발명에 있어서, 상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상에 관련되는 광학 중심, 그 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점, 및 그 조정용 화상 상에 있어서의 상기 제 2 마커의 투영점을 정점으로 하는 삼각형의 내각과, 상기 화상 센서와 상기 제 1 마커 및 상기 제 2 마커의 위치 관계에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것이 바람직하다.

상기 (4)에 의하면, 이론값 계산부는 시차의 이론값을 정밀도 좋게 산출할 수 있다. 그 결과, 횡방향 조정량 계산부는 횡방향 조정량을 적정하게 산출할 수 있다.

본 발명에 따른 촬영 장치, 차량 및 화상 보정 방법에 의하면, 화상을 횡방향으로 평행 이동시키기 위한 보정 파라미터를 적합하게 조정할 수 있다. 따라서, 촬영 장치의 신뢰성을 높일 수 있다. 또한, 화상 센서를 탑재하는 차량이 실가동하고 있을 때에 화상을 보정하기 위한 보정 파라미터를 조정할 수 있다. 따라서, 차량의 가동률이 저하하는 것을 방지할 수 있다.

도 1은 실시예에 관한 차량의 전면도이다.
도 2는 차량과 주로의 평면도이다.
도 3은 차량과 마커의 측면도이다.
도 4는 마커의 정면도이다.
도 5는 실시예에 관한 촬영 장치의 구성을 나타내는 블록도이다.
도 6(a), 도 6(b)은 각각 화상을 모식적으로 예시하는 도면이다.
도 7(a), 도 7(b)은 각각 화상에 있어서의 투영점을 모식적으로 예시하는 도면이다.
도 8은 카메라와 마커 간의 광축방향에 있어서의 거리를 산출하는 방법의 설명도이다.
도 9는 촬영 장치의 동작예를 나타내는 플로우차트이다.
도 10은 카메라와 마커 간의 광축방향에 있어서의 거리를 산출하는 방법의 변형 실시예의 설명도이다.
도 11은 변형 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다.

이하, 도면을 참조해서 본 발명의 실시예를 설명한다.

1. 차량의 개략 구성

도 1은 실시예에 관한 차량(1)의 전면도이며, 도 2는 차량(1)과 주로(T)의 평면도이다. 본 실시예에서는, 차량(1)은 골프장 내를 주행하는 골프 카트이다. 골프장 내에는 미리 주로(T)가 부설되어 있다. 차량(1)은 주로(T)를 자율 주행한다. 차량(1)은 반복하여 주로(T)를 주행한다. 차량(1)이 주로(T)를 주행하는 것은 차량(1)이 실가동하는 것이다.

본 명세서에서는 차량(1)이 진행하는 방향을 「전방향(Zf)」이라고 부르고, 전방향과는 반대인 방향을 「후방향(Zb)」이라고 부른다(도 3 참조). 유저는 전방향(Zf)을 향한 자세로 차량(1)에 승차한다. 이하의 설명에 있어서, 「우」, 「좌」, 「상」 및 「하」는 각각 차량(1)의 승차한 유저에 있어서의 「우」, 「좌」, 「상」 및 「하」를 의미한다. 또한, 전방향(Zf)과 후방향(Zb)을 특별히 구별하지 않을 경우에는 단지 「전후방향(Z)」이라고 부른다. 또한, 좌우방향을 적당하게 「횡방향(X)」이라고 부른다. 전후방향(Z), 횡방향(X) 및 상하방향(Y)은 서로 직교한다.

차량(1)은 차량 본체(3)과 한 쌍의 카메라(11R, 11L)를 구비한다. 카메라(11R, 11L)는 스테레오 카메라를 구성한다. 각 카메라(11R, 11L)는 차량 본체(3)의 전면에 고정되어 있다.

각 카메라(11R, 11L)가 「위치 어긋나」 있지 않을 경우, 각 카메라(11R, 11L)의 배치 및 자세는 소위 평행 스테레오이다. 즉, 카메라(11R)의 광축(AR)과 좌 카메라(11L)의 광축(AL)은 서로 평행하다. 본 실시예에서는 광축(AR, AL)은 각각 전방향(Zf)과 평행하다. 또한, 각 카메라(11R, 11L)는 서로 소정의 간격 거리(기선 길이)를 두고 횡방향(X)으로 병행한다. 카메라(11R)는 카메라(11L)의 우측방에 배치되어 있다. 이하에서는 카메라(11R, 11L)를 적당하게 「우 카메라(11R)」, 「좌 카메라(11L)」라고 부른다.

카메라(11R, 11L)는 스테레오 비젼에 의한 촬영을 행한다. 각 카메라(11R, 11L)는 동일한 피사체를 동시에 촬영할 수 있다. 피사체는, 예를 들면 지면, 주로, 수목, 장해물이다.

각 카메라(11R, 11L)는, 예를 들면 가시광 카메라이다. 각 카메라(11R, 11L)는 CMOS(Complementary Metal Oxide Semiconductor) 센서 또는 CCD(Charge Coupled Device) 센서 등에 의해 실현되어 있다. 카메라(11R, 11L)는 본 발명에 있어서의 화상 센서의 예이다.

도 2에 나타나 있는 바와 같이, 주로(T)의 가까이에는 마커군(MG)이 설치되어 있다. 마커군(MG)은 2개의 마커(M1, M2)를 포함한다. 마커(M1, M2)는 각각 주로(T)를 사이에 두도록 배치되어 있다. 마커(M1)와 마커(M2) 간의 거리(LM)는 이미 알고 있다. 본 명세서에서는 「거리(LM)」를 적당하게 「간격(LM)」이라고 기재한다.

도 2 및 도 3을 참조한다. 도 3은 차량(1)과 마커(M1, M2)의 측면도이다. 본 실시예에서는 차량(1)이 주로(T) 상의 점(Ta)으로부터 점(Tb)까지의 구간(Tab)에 있을 때, 각 카메라(11R, 11L)는 각각 마커(M1, M2)의 양방을 촬영할 수 있다. 이하에서는 구간(Tab)을 적당하게 「마커군 촬영 구간(Tab)」이라고 부른다.

마커군 촬영 구간(Tab)은 직선적이므로, 차량(1)이 마커군 촬영 구간(Tab)에 있을 때 광축(AR/AL)은 실질적으로 일정하다. 도 3에 나타나 있는 바와 같이, 측면에서 볼 때 광축(AR/AL)은 마커군 촬영 구간(Tab)에 있어서의 노면과 대략 평행하다.

여기에서, 차량(1)이 구간(Tab)에 있을 때의 광축(AR/AL)에 대하여 대략 수직한 일평면을 「평면(P)」이라고 한다. 마커(M1, M2)는 각각 평면(P) 상에 위치하도록 배치되어 있다. 그 결과, 차량(1)이 마커군 촬영 구간(Tab)에 있을 경우, 카메라(11R, 11L)가 마커(M1)로부터 광축방향(AR/AL)으로 떨어져 있는 거리와, 카메라(11R, 11L)가 마커(M2)로부터 광축방향(AR/AL)으로 떨어져 있는 거리가 대략 같다.

보다 상세하게 설명한다. 차량(1)이 마커군 촬영 구간(Tab)에 있을 경우, 이하의 관계가 성립된다. 우 카메라(11R)와 마커(M1) 간의 광축(AR)방향에 있어서의 거리(D1R)와, 우 카메라(11R)와 마커(M2) 간의 광축(AR)방향에 있어서의 거리(D2R)는 대략 같다. 게다가, 좌 카메라(11L)와 마커(M1) 간의 광축(AL)방향에 있어서의 거리(D1L)와, 좌 카메라(11L)와 마커(M2) 간의 광축(AL)방향에 있어서의 거리(D2L)는 대략 같다. 또한, 우 카메라(11R)와 좌 카메라(11L)는 스테레오 카메라를 구성하므로, 거리(D1R, D2R)와 거리(D1L, D2L)는 대략 같다. 이하에서는 거리(D1R, D2R, D1L, D2L)를 특별히 구별하지 않을 경우에는 간단히 「거리(D)」라고 기재한다. 거리(D)는 카메라(11R/11L)와 평면(P)의 거리에 상당한다. 또한, 「광축방향(AR/AL)으로 떨어져 있는 거리」 및 「광축방향(AR/AL)에 있어서의 거리」는 광축방향(AR/AL) 성분의 거리를 의미한다.

도 4는 마커(M1, M2)의 정면도이다. 마커(M1, M2)는 각각 마커 지지구(15)의 정면에 표시되어 있다. 본 실시예에서는 마커(M1)와 마커(M2)는 대략 같은 높이 위치에 배치되어 있다. 마커(M1, M2)는 본 발명에 있어서의 제 1 마커, 제 2 마커의 예이다.

2. 촬영 장치의 구성

다음에, 촬영 장치(5)의 구성에 대해서 설명한다. 도 5는 촬영 장치의 구성을 나타내는 블록도이다.

차량(1)은 촬영 장치(5)를 구비하고 있다. 촬영 장치(5)는 상술한 카메라(11R, 11L) 이외에, 화상 처리부(13)를 구비하고 있다. 화상 처리부(13)는 우 카메라(11R)에 의해 촬영된 화상(IR)과, 좌 카메라(11L)에 의해 촬영된 화상(IL)을 처리한다. 또한, 「화상(IR)」등은 화상 처리부(13)에 의해 처리가능한 화상 정보를 의미한다. 화상 처리부(13)는, 예를 들면 중앙 연산처리 장치(CPU)와 기억부에 의해 실현되어 있다.

도 6(a), (b)은 한 쌍의 화상(IR, IL)을 모식적으로 예시한다. 「한 쌍의 화상(IR, IL)」이란, 동시에 촬영된 화상(IR, IL)의 조합이라고 하는 의미이다.

화상(IR) 상의 위치는 횡축(uR) 및 종축(vR)으로 이루어지는 좌표로 표시된다. 횡축(uR)은 화상(IR)의 횡방향과 평행하고, 종축(vR)은 화상(IR)의 종방향과 평행하다. 화상 중심(OR)은 화상(IR)과 광축(AR)의 교점에 상당한다.

화상(IL) 상의 위치는 횡축(uL) 및 종축(vL)으로 이루어지는 좌표로 표시된다. 횡축(uL)은 화상(IL)의 횡방향과 평행하고, 종축(vL)은 화상(IL)의 종방향과 평행한다. 화상 중심(OR)은 화상(IL)과 광축(AL)의 교점에 상당한다.

도 6(b)은 좌 카메라(11L)가 위치 어긋나 있는 경우를 예시한다. 단, 각 카메라(11R, 11L)가 위치 어긋나 있지 않으면, 횡축(uR)과 횡축(uL)은 동축이 되고, 종축(vR)과 종축(vL)은 평행하게 된다. 또한, 각 카메라(11R, 11L)가 위치 어긋나 있지 않으면, 횡축(uR, uL)은 각각 횡방향(X)과 평행이 되고, 종축(vR, vL)은 각각 상하방향(Y)과 평행하게 된다. 또한, 각 카메라(11R, 11L)가 위치 어긋나 있지 않으면, 화상(IR, IL) 간에 있어서의 마커(M1, M2)에 관한 시차는 화상(IR, IL)이 촬영된 시점에 있어서의 거리(D)에 대응한다.

도 5를 참조한다. 화상 처리부(13)는 보정 파라미터 기억부(21)와, 화상 보정부(22)와, 화상 기억부(23)과, 화상 재보정부(24)와, 조정용 화상 특정부(25)와, 촬영 조건 기억부(26)와, 횡 시프트량 조정부(27)와, 종 시프트량 조정부(28)와, 회전량 조정부(29)를 갖는다. 이하, 각 부(21∼29)에 대해서 설명한다.

보정 파라미터 기억부(21)는 보정 파라미터를 기억한다. 보정 파라미터는, 예를 들면 횡 시프트량(Bh), 종 시프트량(Bv) 및 회전량(Br)이다. 도 6(b)에 나타나 있는 바와 같이, 횡 시프트량(Bh)은 횡축(uL) 방향의 이동량이다. 종 시프트량(Bv)은 종축(vL) 방향의 이동량이다. 회전량(Br)은 회전방향의 각도이다. 또한, 회전의 중심은, 예를 들면 화상 중심(OR)이다. 보정 파라미터(Bh, Bv, Br)는 적당한 형식으로 표시된다. 예를 들면, 보정 맵핑이나 행렬식에 의해 보정 파라미터(Bh, Bv, Br)를 나타내도 좋다.

화상 보정부(22)는 보정 파라미터 기억부(21)에 기억되는 보정 파라미터(Bh, Bv, Br)를 사용하여 화상(IL)을 보정한다. 구체적으로는, 화상 보정부(22)는 화상(IL)의 횡방향으로 횡 시프트량(Bh)만큼 화상(IL)을 평행 이동시키고, 화상(IL)의 종방향으로 종 시프트량(Bv)만큼 화상(IL)을 평행 이동시키고, 화상 중심(OR) 주위로 회전량(Br)만큼 화상(IL)을 회전시킨다.

보정에 의해, 화상(IL) 상의 각 위치(uL, vL)의 화소는, 예를 들면 새로운 위치(u+Δ, vL+Δ)로 이동한다. 원래의 위치(uL, vL)의 화소값은 새로운 위치(uL+Δ, vL+Δ)의 화소값을 규정한다. 이 보정의 결과, 화상(ILc)이 생성된다.

화상 기억부(23)는 화상(IL)을 기억한다.

화상 재보정부(24)는 보정 파라미터 기억부(21)에 기억되는 보정 파라미터(Bh, Bv, Br) 중 적어도 어느 하나가 변경되었을 경우, 최신의 보정 파라미터(Bh, Bv, Br)를 사용하여 화상(IL)을 다시 보정한다. 보정 자체는 화상 보정부(22)가 행하는 보정과 같다.

조정용 화상 특정부(25)는 한 쌍의 화상(IR, ILc)이 각각 조정용 화상(ER, EL)인지의 여부를 판정한다. 조정용 화상 특정부(25)의 구체적인 처리를 이하에 예시한다.

도 7(a)은 마커(M1, M2)가 화상(IR) 상에 투영된 점인 투영점(mR1, mR2)을 모식적으로 나타내는 도면이고, 도 7(b)은 마커(M1, M2)가 화상(ILc) 상에 투영된 점인 투영점(mL1, mL2)을 모식적으로 나타내는 도면이다. 도 7(a)에 나타나 있는 바와 같이, 조정용 화상 특정부(25)는 화상(IR)에 의거하여 화상(IR) 상에 있어서의 마커(M1, M2)의 투영점(mR1, mR2)을 검출한다. 도 7(b)에 나타나 있는 바와 같이, 조정용 화상 특정부(25)는 화상(ILc)에 의거하여 화상(ILc) 상에 있어서의 마커(M1, M2)의 투영점(mL1, mL2)을 검출한다. 투영점(mR1, mR2, mL1, mL2)을 검출할 때, 조정용 화상 특정부(25)는, 예를 들면 마커(M1, M2)에 관한 템플릿을 사용한 템플릿 매칭을 행한다.

여기에서, 조정용 화상 특정부(25)는 투영점(mR1)이 마커(M1) 및 마커(M2) 중 어느 것의 투영점인지를 식별해도 좋고, 식별하지 않아도 좋다. 다른 투영점(mR2, mL1, mL2)에 관해서도 마찬가지이다. 이하에서는 투영점(mR1, mR2)을 특별히 구별하지 않을 경우에는 「투영점(mR)」이라고 기재하고, 투영점(mL1, mL2)을 특별히 구별하지 않을 경우에는 「투영점(mL)」이라고 기재한다. 또한, 투영점(mR, mL)을 특별히 구별하지 않을 경우에는 「투영점(m)」이라고 기재한다.

조정용 화상 특정부(25)는 투영점(m)에 의거하여 화상(IR, ILc)이 각각 조정용 화상(ER, EL)인지의 여부를 판정한다. 구체적으로는, 투영점(m)의 개수 및 각 투영점(m)의 위치에 의거하여 판정 처리를 행한다.

예를 들면, 조정용 화상 특정부(25)는 투영점(m)이 다음의 판정 조건 1∼4를 모두 충족시키는지의 여부를 판정한다.

판정 조건 1: 화상(IR)의 투영점(mR)의 개수가 2개인 것.

판정 조건 2: 일방의 투영점(mR1)의 종방향에 있어서의 위치(vR1)와, 타방의 투영점(mR2)의 종방향에 있어서의 위치(vR2)의 차(ΔvR)가 역치 이하인 것.

판정 조건 3: 화상(IL)의 투영점(mL)의 개수가 2개인 것.

판정 조건 4: 일방의 투영점(mL1)의 종방향에 있어서의 위치(vL1)와, 타방의 투영점(mL2)의 종방향에 있어서의 위치(vL2)의 차(ΔvL)가 역치 이하인 것.

역치는, 예를 들면 10픽셀이다. 그리고, 투영점(m)이 판정 조건 1∼4를 충족시킨다고 판정했을 경우, 조정용 화상 특정부(25)는 화상(IR)을 조정용 화상(ER)이라고 특정하고, 화상(ILc)을 조정용 화상(EL)이라고 특정한다. 그렇지 않을 경우에는, 화상(IR, IL)을 조정용 화상(ER, EL)이라고 특정하지 않는다.

촬영 조건 기억부(26)는 마커(M1, M2)의 간격(LM)에 관한 정보를 기억하고 있다. 촬영 조건 기억부(26)는 우 카메라(11R) 및 좌 카메라(11L)의 내부 파라미터 및 외부 파라미터를 더 기억하고 있다.

횡 시프트량 조정부(27)는 조정용 화상(ER, EL)에 의거하여 보정 파라미터 기억부(21)에 기억되어 있는 횡 시프트량(Bh)을 조정한다. 횡 시프트량 조정부(27)는 측정부(31)와 이론값 계산부(32)와 횡방향 조정량 계산부(33)와 횡 시프트량 변경부(34)를 갖는다. 이하, 각 부(31∼34)에 대해서 설명한다.

측정부(31)는 조정용 화상(ER, EL)에 의거하여 마커(M1, M2) 중 어느 하나에 관한 시차를 계측하여 시차의 계측값(Fm)을 취득한다. 측정부(31)의 구체적인 처리를 이하에 예시한다.

측정부(31)는 조정용 화상(ER)의 투영점(mR)과 조정용 화상(EL)의 투영점(mL)의 대응 관계를 특정한다. 대응 관계를 특정할 때, 측정부(31)는, 예를 들면 스테레오 매칭을 행한다. 이것에 의해, 측정부(31)는 투영점(mR1)과 투영점(mL1)이 대응하는 것, 및 투영점(mR2)과 투영점(mL2)이 대응하는 것을 특정한다.

계속해서, 측정부(31)는 어느 하나의 투영점(mR)의 횡방향에 있어서의 위치와, 이 투영점(mR)에 대응하는 투영점(mL)의 횡방향에 있어서의 위치의 차를 계측한다. 측정부(31)는 계측된 차를 마커(M1, M2) 중 어느 하나에 관한 시차의 계측값(Fm)으로 한다.

이론값 계산부(32)는 조정용 화상(ER)과 간격(LM)에 의거하여 시차의 이론값(Ft)을 산출한다. 시차의 이론값(Ft)은 우 카메라(11R) 및 좌 카메라(11L)가 위치 어긋나 있지 않다고 가정했을 때에 얻어져야 할 마커(M1, M2)에 관한 시차이다.

보다 상세하게는, 이론값 계산부(32)는 조정용 화상(ER)과 간격(LM)에 의거하여 카메라(11R)와 평면(P)의 거리를 추정한다. 이 추정은 카메라(11R)와 마커(M1, M2) 간의 광축방향(AR)에 있어서의 거리(D1R, D2R)를 계산하는 것과 동일한 의미이며, 카메라(11L)와 마커(M1, M2) 간의 광축방향(AL)에 있어서의 거리(D1L, D2L)를 계산하는 것과 동일한 의미이다. 바꿔 말하면, 추정되는 거리는 「거리(D)」에 상당한다. 그리고, 이론값 계산부(32)는 거리(D)에 의거하여 시차의 이론값(Ft)을 산출한다.

우선, 도 8을 참조하여, 거리(D)를 추정하는 방법을 설명한다. 도 8은 조정용 화상(ER)을 모델화한 도면이다. 도 8에 있어서, 광축(AR)은 평면(P)과 점(QR)에서 직교한다. 모델화된 조정용 화상(ER)은 광축(AR)과 직교하는 평면 상에 위치한다. 바꿔 말하면, 모델화된 조정용 화상(ER)은 평면(P)과 평행한다. 광축방향(AR)이 조정용 화상(ER)과 직교하는 점은 화상 중심(OR)에 상당한다. 광축방향(AR) 상에는 우 카메라(11R)의 광학 중심(CR)이 위치한다.

투영점(mR1, mR2)은 조정용 화상(ER) 상에 있고, 마커(M1, M2)는 평면(P) 상 에 있다. 마커(M1)는 광학 중심(CR)과 투영점(mR1)을 연결하는 선(J1) 상에 위치하고, 마커(M2)는 광학 중심(CR)과 투영점(mR2)을 연결하는 선(J2) 상에 위치한다. 광학 중심(CR)과 투영점(mR1)과 투영점(mR2)을 정점으로 하는 삼각형과, 광학 중심(CR)과 마커(M1)와 마커(M2)를 정점으로 하는 삼각형은 상사(相似)이다.

여기에서, 광학 중심(CR)을 우 카메라(11R)의 엄밀한 위치라고 간주하고, 거리(D)를 광학 중심(CR)과 평면(P)(점(QR))의 거리라고 한다. 또한, 광학 중심(CR)과 조정용 화상(ER)(화상 중심(OR))의 거리를 「초점 거리(d)」라고 규정한다. 또한, 투영점(mR1)과 투영점(mR2)의 거리를 「간격(Lm)」이라고 규정한다. 또한, 마커(M1, M2)와의 간격(LM)은 실공간 상에 있어서의 거리인 것에 대해, 간격(Lm)은 조정용 화상(ER) 상에 있어서의 거리이다. 그러면, 간격(Lm)과 간격(LM)의 비는 초점 거리(d)와 거리(D)의 비와 같다. 즉, 이하의 관계식이 성립된다.

Lm/LM=d/D ···（1)

또한, 간격(LM)은 기지이다. 간격(Lm)은 조정용 화상(ER)(투영점(mR1, mR2))으로부터 부여된다. 초점 거리(d)는 우 카메라(11R)의 내부 파라미터로부터 부여된다. 이들 간격(LM), 간격(Lm), 및 초점 거리(d)에 의해 거리(D)가 일의적으로 결정된다.

다음에, 이론값 계산부(32)의 구체적인 처리를 이하에 예시한다. 이론값 계산부(32)는 촬영 조건 기억부(26)로부터 간격(LM)과 우 카메라(11R)의 내부 파라미터를 읽어 낸다. 이론값 계산부(32)는 우 카메라(11R)의 내부 파라미터에 의거하여 초점 거리(d)를 취득한다. 이론값 계산부(32)는 조정용 화상(ER)에 의거하여 투영점(mR1)과 투영점(mR2) 간의 간격(Lm)을 구한다. 이론값 계산부(32)는 간격(Lm), 간격(LM) 및 초점 거리(d)를 관계식(1)에 대입하여 거리(D)를 산출한다. 또한, 이론값 계산부(32)는 거리(D)와, 카메라(11R, 11L)의 내부 파라미터 및 외부 파라미터에 의거하여 마커(M1, M2)에 관한 시차의 이론값(Ft)을 산출한다.

횡방향 조정량 계산부(33)는 시차의 계측값(Fm)과 시차의 이론값(Ft)에 의거하여 횡방향 조정량(Hh)을 산출한다. 횡방향 조정량 계산부(33)는 시차의 계측값(Fm)이 시차의 이론값(Ft)과 같아지도록 횡방향 조정량(Hh)을 결정하는 것이 바람직하다. 횡방향 조정량(Hh)은, 예를 들면 시차의 계측값(Fm)과 시차의 이론값(Ft)의 차이다.

횡 시프트량 변경부(34)는 횡방향 조정량(Hh)에 의거하여 횡 시프트량(Bh)을 변경한다. 본 실시예에서는 횡 시프트량 변경부(34)는 보정 파라미터 기억부(21)에 기억되는 횡 시프트량(Bh)에 횡방향 조정량(Hh)을 가감산한다. 산출된 값은 새로운 횡 시프트량(Bh)으로서 보정 파라미터 기억부(21)에 기억된다.

종 시프트량 조정부(28)는 조정용 화상(ER, EL)에 의거하여 종 시프트량(Bv)을 조정한다. 종 시프트량 조정부(28)는 종방향 조정량 계산부(36)와 종 시프트량 변경부(37)를 갖는다.

종방향 조정량 계산부(36)는 대응 관계에 있는 1조 이상의 투영점(mR), 투영점(mL)에 의거하여 종방향 조정량(Hv)을 산출한다. 종방향 조정량 계산부(36)는 투영점(mR)의 종방향에 있어서의 위치와, 투영점(mR)과 대응하는 투영점(mL)의 종방향에 있어서의 위치가 같아지도록 종방향 조정량(Hv)을 결정하는 것이 바람직하다. 투영점(mR1)과 투영점(mL1)이 대응 관계에 있을 경우, 종방향 조정량(Hv)은, 예를 들면 투영점(mR1)의 종방향에 있어서의 위치(vR1)와 투영점(mL1)의 종방향에 있어서의 위치(vL1)의 차다.

종 시프트량 변경부(37)는 종방향 조정량(Hv)에 의거하여 종 시프트량(Bv)을 변경한다. 본 실시예에서는 종 시프트량 변경부(37)는 보정 파라미터 기억부(21)에 기억되는 종 시프트량(Bv)에 종방향 조정량(Hv)을 가감산한다. 산출된 값은 새로운 종 시프트량(Bv)으로서 보정 파라미터 기억부(21)에 기억된다.

회전량 조정부(29)는 조정용 화상(ER, EL)에 의거하여 회전량을 조정한다. 회전량 조정부(29)는 회전방향 조정량 계산부(38)와 회전량 변경부(39)를 갖는다.

회전방향 조정량 계산부(38)는 대응 관계에 있는 2조 이상의 투영점(mR, mL)에 의거하여 회전방향 조정량(Hr)을 산출한다. 도 7을 참조하여, 회전방향 조정량 계산부(38)는 투영점(mR1, mR2)을 연결하는 가상선(KR)의 경사와, 투영점(mL1, mL2)을 연결하는 가상선(KL)의 경사가 같아지도록 회전방향 조정량(Hr)을 결정하는 것이 바람직하다. 회전방향 조정량(Hr)은, 예를 들면 가상선(KR)과 가상선(KL)이 이루는 각도이다.

회전량 변경부(39)는 회전방향 조정량(Hr)에 의거하여 회전량(Br)을 변경한다. 본 실시예에서는 회전량 변경부(39)는 보정 파라미터 기억부(21)에 기억되는 회전량(Br)에 회전방향 조정량(Hr)을 가감산한다. 산출된 값은 새로운 회전량(Br)으로서 보정 파라미터 기억부(21)에 기억된다.

촬영 장치(5)는 화상(IR, ILc)을 처리하는 스테레오 처리부(도시하지 않음)를 더 구비해도 좋다. 예를 들면, 스테레오 처리부는 화상(IR, ILc)에 의거하여 화상(IR, ILc)의 깊이방향에 있어서의 정보를 계산해도 좋다. 예를 들면, 스테레오 처리부는 화상(IR, ILc)에 의거하여 광축방향(AR/AL)에 있어서의 피사체까지의 거리를 계산해도 좋다. 또한, 예를 들면 스테레오 처리부는 화상(IR, ILc)에 의거하여 차량(1)의 주행을 방해하는 장해물을 검출해도 좋다.

3. 동작 설명

다음에, 실시예에 따른 차량(1)의 동작을 설명한다. 도 9는 촬영 장치(5)의 동작예를 나타내는 플로우차트이다. 이하의 설명에서는 차량(1)이 주로(T)를 주행하고 있는 것으로 한다. 즉, 차량(1)이 주행하고 있을 때에 촬영 장치(5)가 실행하는 동작예를 이하에 설명한다.

<스텝 S1> 촬영

우 카메라(11R) 및 좌 카메라(11L)는 각각 화상(IR, IL)을 촬영한다.

<스텝 S2> 화상의 취입(取入)

화상 처리부(13)는 화상(IR, IL)을 취입한다. 화상(IL)은 화상 기억부(23)에 기억된다.

<스텝 S3> 화상의 보정

화상 보정부(22)는 보정 파라미터 기억부(21)로부터 최신의 횡 시프트량(Bh), 종 시프트량(Bv), 회전량(Br)을 읽어 낸다. 화상 보정부(22)는 읽어낸 보정 파라미터(Bh, Bv, Br)를 사용해서 화상(IL)을 보정한다. 이것에 의해, 화상 보정부(22)는 화상(ILc)을 생성한다.

<스텝 S4> 화상이 조정용 화상인가?

조정용 화상 특정부(25)는 화상(IR)에 의거하여 투영점(mR)을 검출한다. 조정용 화상 특정부(25)는 화상(ILc)에 의거하여 투영점(mL)을 검출한다. 조정용 화상 특정부(25)는 투영점(mR, mL)에 의거하여 화상(IR, ILc)이 조정용 화상(ER, EL)인지의 여부를 판정한다. 화상(IR, ILc)이 조정용 화상(ER, EL)이라고 판정되었을 경우, 스텝 S5로 진행한다. 그렇지 않을 경우, 스텝 S1로 되돌아간다.

<스텝 S5> 조정량의 산출

횡 시프트량 조정부(27)는 횡방향 조정량(Hh)을 산출한다. 구체적으로는, 측정부(31)는 조정용 화상(ER, EL)에 의거하여 시차의 계측값(Fm)을 취득한다. 이론값 계산부(32)는 조정용 화상(ER)에 의거하여 시차의 이론값(Ft)을 취득한다. 횡방향 조정량 계산부(33)는 시차의 계측값(Fm)과 시차의 이론값(Ft)에 의거하여 횡방향 조정량(Hh)을 산출한다.

상술한 처리와 병행하여, 종방향 조정량 계산부(36)는 조정용 화상(ER, EL)에 의거하여 종방향 조정량(Hv)을 산출한다. 회전방향 조정량 계산부(38)는 조정용 화상(ER, EL)에 의거하여 회전방향 조정량(Hr)을 산출한다.

<스텝 S6> 보정 파라미터의 변경

횡 시프트량 변경부(34)는 횡방향 조정량(Hh)을 이용하여 횡 시프트량(Bh)을 변경한다. 종 시프트량 변경부(37)는 종방향 조정량(Hv)을 이용하여 종 시프트량(Bv)을 변경한다. 회전량 변경부(39)는 회전방향 조정량(Hr)을 이용하여 회전량(Br)을 변경한다.

<스텝 S7> 화상의 재보정

화상 재보정부(24)는 화상 기억부(23)로부터 화상(IL)을 읽어 내고, 보정 파라미터 기억부(21)로부터 변경 후의 보정 파라미터(Bh, Bv, Br)를 읽어 낸다. 그리고, 화상 재보정부(24)는 보정 파라미터(Bh, Bv, Br)를 이용하여 화상(IL)을 보정한다. 그 후에 스텝 S1로 되돌아간다.

이렇게, 실시예에 의하면, 촬영 장치(5)는 횡 시프트량 조정부(27)를 구비하고 있으므로, 횡 시프트량(Bh)을 적합하게 조정할 수 있다. 따라서, 화상 보정부(22)는 적절한 횡 시프트량(Bh)을 사용해서 화상(IL)을 횡방향으로 평행 이동시킬 수 있다. 이것에 의해, 화상(IR, IL)의 시차에 비해서, 화상(IR, ILc)의 시차는 시차의 이론값(Ft)에 가까워진다. 따라서, 만약 카메라(11R, 11L)가 위치 어긋나 있을 경우에 있어서도, 화상(IR, ILc)에 의거하여 피사체에 관한 깊이방향에 있어서의 정보를 정밀도 좋게 얻을 수 있다. 이렇게, 카메라(11R, 11L)의 위치 및 자세가 어긋나 있을 경우에 있어서도, 촬영 장치(5)의 정밀도 및 신뢰성을 적합하게 유지할 수 있다. 그 결과, 차량(1)의 가동률이 저하하는 것을 적합하게 방지할 수 있다.

특히, 이론값 계산부(32)는 조정용 화상(ER, EL)의 양방을 사용하지 않고, 일방의 조정용 화상(ER)을 사용하여 시차의 이론값(Ft)을 산출한다. 이 산출 방법은 조정용 화상(ER, EL)의 양방을 사용할 경우에 비해서 카메라(11R, 11L)의 위치 어긋남의 영향을 받기 어렵다. 따라서, 이론값 계산부(32)는 시차의 이론값(Ft)을 정밀도 좋게 취득할 수 있다.

이론값 계산부(32)는 마커(M1, M2)의 간격(LM)과 투영점(mR1, mR2)의 간격(Lm)의 관계를 이용하여, 카메라(11R/11L)와 마커(M1, M2) 간의 광축방향(AR/AL)에 있어서의 거리(D)를 산출한다. 이것에 의해, 이론값 계산부(32)는 시차의 이론값(Ft)을 적합하게 산출할 수 있다.

측정부(31)는 화상(IR)과 화상(ILc) 간에 있어서의 실제의 시차에 상당하는 「시차의 계측값(Fm)」을 취득한다. 따라서, 횡방향 조정량 계산부(33)는 시차의 계측값(Fm)과 시차의 이론값(Ft)의 편차를 파악할 수 있다. 그 결과, 횡방향 조정량 계산부(33)는 적절한 횡방향 조정량(Hh)을 결정할 수 있다. 특히, 횡방향 조정량(Hh)이 시차의 계측값(Fm)과 시차의 이론값(Ft)의 차일 경우, 화상(IR)과 화상(ILc) 간에 있어서의 실제의 시차를 시차의 이론값(Ft)에 일치시킬 수 있다.

또한, 횡 시프트량 조정부(27)는 횡 시프트량 변경부(34)를 구비하고 있으므로, 보정 파라미터 기억부(21)에 기억되는 횡 시프트량(Bh)을 적합하게 갱신할 수 있다. 본 실시예에서는 조정용 화상(EL)은 화상 보정부(22)에 의해 보정된 화상(ILc)이므로, 횡 시프트량 변경부(34)는 조정용 화상(EL)을 생성하기 위해서 사용된 횡 시프트량(Bh)에 횡방향 조정량(Hh)을 가감산한다. 이것에 의해, 횡 시프트량을 적합하게 조정할 수 있다.

또한, 조정용 화상 특정부(25)를 구비하고 있으므로, 마커(M1, M2)가 적절하게 촬영된 화상(IR, ILc)을 적합하게 특정할 수 있다.

또한, 종 시프트량 조정부(28)를 구비하고 있으므로, 종 시프트량(Bv)을 적합하게 조정할 수 있다. 따라서, 화상 보정부(22)는 한층 적절하게 화상(IL)을 보정할 수 있다.

또한, 회전량 조정부(29)를 구비하고 있으므로, 회전량(Br)을 적합하게 조정할 수 있다. 따라서, 화상 보정부(22)는 한층 적절하게 화상(IL)을 보정할 수 있다.

또한, 주로(T)의 레이아웃, 카메라(11R, 11L)의 광축(AR/AL) 등을 고려하여 마커(M1, M2)를 적절하게 배치함으로써, 주로(T) 상에 마커군 촬영 구간(Tab)을 적합하게 형성할 수 있다. 이것에 의해, 조정용 화상(ER, EL)을 적합하게 얻을 수 있다.

구체적으로는, 직선적인 마커군 촬영 구간(Tab)에 있어서 각 카메라(11R, 11L)가 마커(M1, M2)의 양방을 촬영할 수 있도록 마커(M1, M2)가 설치되어 있다. 또한, 마커군 촬영 구간(Tab)에 있어서의 카메라(11R, 11L)의 광축(AR/AL)에 대하여 대략 수직인 평면(P) 상에 마커(M1, M2)가 배치되어 있다. 여기에서, 「대략 수직인」은 엄밀하게 수직인 것 및 횡 시프트량(Bh)을 적절하게 조정할 수 있는 정도로 수직에 가까운 것의 양방을 포함하는 의미이다.

이 때문에, 마커군 촬영 구간(Tab)에서는, 카메라(11R)는 광축방향(AR)에 있어서 대략 동일한 거리만큼 떨어져 있는 복수의 마커(M1, M2)를 동시에 촬영할 수 있다. 여기에서, 「대략 동일한」은 엄밀하게 같은 것, 및 횡 시프트량(Bh)을 적정하게 보정할 수 있을 정도로 근사하여 있는 것의 양방을 포함하는 의미이다. 따라서, 이론값 계산부(32)는 화상(IR)에 의거하여 거리(D)를 정밀도 좋게 추정할 수 있고, 시차의 이론값(Ft)을 정밀도 좋게 산출할 수 있다. 또한, 마커군 촬영 구간(Tab)에서는 카메라(11L)도 카메라(11R)와 마찬가지로 마커(M1, M2)를 촬영할 수 있다. 따라서, 측정부(31)는 화상(IR, ILc)에 의거하여 시차의 계측값(Fm)을 적합하게 취득할 수 있다.

또한, 마커(M1, M2)는 대략 동일한 높이 위치에 배치되어 있다. 이것에 의해, 이론값 계산부(32)가 투영점(mR1, mR2)의 간격(Lm)을 산출하는 처리를 간소화할 수 있다. 또한, 각 투영점(m)의 위치가 판정 조건 2, 4를 충족시키는지의 여부를 조정용 화상 특정부(25)가 판정하는 처리를 간소화할 수 있다.

또한, 상술한 마커군 촬영 구간(Tab)은 주로(T)의 일부이므로, 차량(1)이 실가동하고 있을 때에 카메라(11R, 11L)는 마커(M1, M2)를 적합하게 촬영할 수 있고, 화상 처리부(13)는 보정 파라미터(Bh, Bv, Br)를 적합하게 조정할 수 있다. 따라서, 차량(1)의 가동률을 저하시키지 않고 촬영 장치(5)의 정밀도 및 신뢰성을 적합하게 유지할 수 있다.

또한, 주로(T)는 미리 정해져 있으므로, 마커(M1, M2)를 미리 적절한 위치에 설치할 수 있다. 따라서, 각 카메라(11R, 11L)는 마커(M1, M2)를 적절하게 촬영할 수 있다. 따라서, 화상 처리부(13)는 보정 파라미터(Bh, Bv, Br)를 한층 정밀도 좋게 조정할 수 있다.

본 발명은 상기 실시예의 것에 한정되지 않고, 다음과 같이 변형 실시할 수 있다.

(1) 상술한 실시예에서는, 이론값 계산부(32)는 간격(LM)과 간격(Lm)에 의거하여 거리(D)를 계산했지만, 이것에 한정되지 않는다. 예를 들면, 이론값 계산부(32)는 삼각측량 방법이나 기하학을 사용한 방법에 의해 거리(D)를 산출해도 좋다.

도 10을 참조하여, 변형 실시예에 관한 방법의 일례로서, 삼각측량 방법을 이용하여 거리(D)를 추정하는 방법을 설명한다. 도 10은 조정용 화상(ER)을 모델화한 도면이다. 또한, 실시예와 동일한 구성에 관해서는 동일 부호를 붙임으로써 상세한 설명을 생략한다.

도 10에 있어서, 직선(J3)은 투영점(mR1)과 투영점(mR2)을 연결하는 선이다. 직선(J4)은 마커(M1)와 마커(M2)를 연결하는 선이다. 각도(α)는 직선(J1)과 직선(J3)이 이루는 각도이다. 각도(β)는 직선(J2)과 직선(J3)이 이루는 각도이다. 각도(α, β)는 각각 광학 중심(CR)과 투영점(mR1)과 투영점(mR2)을 정점으로 하는 삼각형의 내각에 상당한다. 이 삼각형은 광학 중심(CR)과 마커(M1)와 마커(M2)를 정점으로 하는 삼각형과 상사이다. 따라서, 각도(α)는 직선(J1)과 직선(J4)이 이루는 각도와 같고, 각도(β)는 직선(J2)과 직선(J4)이 이루는 각도와 같다.

여기에서, 점(QR')은 광학 중심(CR)으로부터 직선(J4) 상에 수직하게 내린 점이다. 광학 중심(CR)과 점(QR')의 거리를 「거리(Da)」라고 규정한다.

그러면, 거리(Da)는 삼각측량 방법을 이용하여 이하의 식(2)으로 표시된다.

Da = LMsinαsinβ/sin(α+β) ···(2)

광학 중심(CR)과 점(QR)과 점(QR')을 정점으로 하는 삼각형은 직각삼각형이다. 여기에서, 점(QR)과 점(QR')의 거리를 「거리(Db)」라고 규정한다. 거리(Db)는 카메라(11R)와 마커(M1, M2)의 위치 관계에 의해 계산된다. 비교적 단순한 예로서는 거리(Db)는 카메라(11R)의 높이와 마커(M1, M2)의 높이의 차이다. 비교적 복잡한 예로서는 거리(Db)는 카메라(11R)의 위치 및 각도와, 마커(M1, M2)의 위치를 이용하여 산출된다.

3평방의 정리에 따라서, 거리(D)는 이하의 식(3)에 의해 표시된다.

이러한 삼각측량 방법을 사용할 경우, 이론값 계산부(32)는 간격(LM)과, 광학 중심(CR)과, 투영점(mR1, mR2)을 정점으로 하는 삼각형의 내각(α, β)에 의거하여 거리(Da)를 계산한다. 구체적으로는, 이론값 계산부(32)는 촬영 조건 기억부(26)로부터 간격(LM)과 우 카메라(11R)의 내부 파라미터를 읽어 낸다. 이론값 계산부(32)는 조정용 화상(ER)과 내부 파라미터에 의거하여 광학 중심(CR) 및 투영점(mR1, mR2)의 상대적인 위치 관계를 계산하고, 광학 중심(CR) 및 투영점(mR1, mR2)의 상대적인 위치 관계에 의거하여 각도(α, β)를 산출한다. 이론값 계산부(32)는 간격(LM) 및 각도(α, β)를 관계식(2)에 대입하여 거리(Da)를 산출한다.

계속해서, 이론값 계산부(32)는 촬영 조건 기억부(26)로부터 우 카메라(11R)의 외부 파라미터와 마커(M1, M2)의 각 위치를 읽어 낸다. 또한, 마커(M1, M2)의 각 위치도 미리 촬영 조건 기억부(26)에 기억되어 있다. 이론값 계산부(32)는 우 카메라(11R)의 외부 파라미터와 마커(M1, M2)의 각 위치에 의거하여 거리(Db)를 산출한다. 또한, 이론값 계산부(32)는 관계식(3)을 사용하여 거리(D)를 계산한다.

상술한 변형 실시예에서는 마커(M1, M2)가 대략 동일한 높이 위치에 배치되어 있는 것이 특히 바람직하다. 또한, 측면에서 보았을 때, 광축(AR/AL)은 마커군 촬영 구간(Tab)에 있어서의 노면과 대략 평행한 것이 특히 바람직하다. 이론값 계산부(32)가 거리(Db)를 간이하게 산출할 수 있기 때문이다.

상술한 변형 실시예에서는 더욱이 카메라(11R/11L)가 마커(M1, M2)와 대략 동일한 높이 위치에 배치되어 있는 것이 특히 바람직하다. 이것에 의하면, 점(QR')이 점(QR)과 일치하고, 거리(Da)는 거리(D)와 같다. 따라서, 이론값 계산부(32)는 관계식(2)을 사용해서 직접적으로 거리(D)를 취득할 수 있어서 거리(Db)의 계산을 생략할 수 있다.

(2) 상술한 실시예에서는 이론값 계산부(32)는 조정용 화상(ER)에 의거하여 시차의 이론값(Ft)을 산출했지만, 이것에 한정되지 않는다. 예를 들면, 이론값 계산부(32)는 조정용 화상(EL)에 의거하여 시차의 이론값(Ft)을 산출해도 좋다. 조정용 화상(EL)을 이용해도 시차의 이론값(Ft)을 적합하게 산출할 수 있다. 또한, 예를 들면 이론값 계산부(32)는 조정용 화상(ER)에 의거하여 시차의 이론값(FtR)을 산출하고, 또한 조정용 화상(EL)에 의거하여 시차의 이론값(FtL)을 산출해도 좋다. 이 경우, 이론값 계산부(32)는 시차의 이론값(FtR, FtL)에 의거하여 1개의 시차의 이론값(Ft)을 더 산출해도 좋다. 이것에 의하면, 시차의 이론값(Ft)을 한층 정밀도 좋게 산출할 수 있다.

(3) 상술한 실시예에서는 측정부(31)는 대응 관계에 있는 1조의 투영점(mR, mL)에 의거하여 마커(M1, M2) 중 어느 하나에 관한 시차의 계측값(Fm)을 취득했지만, 이것에 한정되지 않는다. 예를 들면, 측정부(31)는 대응 관계에 있는 2조의 투영점(mR, mL)에 의거하여 마커(M1, M2)의 양방에 관한 시차의 계측값(Fm)을 취득해도 좋다. 이 경우, 측정부(31)는 마커(M1)에 관한 시차의 계측값(Fm)과 마커(M2)에 관한 시차의 계측값(Fm)에 의거하여 1개의 시차의 계측값(Fm)을 더 산출해도 좋다. 이것에 의하면, 시차의 계측값(Fm)을 한층 정밀도 좋게 산출할 수 있다.

(4) 상술한 실시예에서는 횡방향 조정량 계산부(33)는 시차의 계측값(Fm)이 시차의 이론값(Ft)과 같아지도록 횡방향 조정량(Hh)을 결정했지만, 이것에 한정되지 않는다. 예를 들면, 횡방향 조정량 계산부(33)는 시차의 계측값(Fm)과 시차의 이론값(Ft)의 차가 작아지도록 횡방향 조정량(Hh)을 결정해도 좋다. 이 변형 실시예에 의해서도 횡 시프트량(Bh)을 적합하게 조정할 수 있다.

마찬가지로, 종방향 조정량 계산부(36)는 투영점(mR)의 종방향에 있어서의 위치와, 투영점(mR)과 대응하는 투영점(mL)의 종방향에 있어서의 위치가 같아지도록 종방향 조정량(Hv)을 결정했지만, 이것에 한정되지 않는다. 예를 들면, 종방향 조정량 계산부(36)는 투영점(mR)의 종방향에 있어서의 위치와, 투영점(mR)과 대응하는 투영점(mL)의 종방향에 있어서의 위치의 차가 작아지도록, 종방향 조정량(Hv)을 결정해도 좋다. 이 변형 실시예에 의해서도, 종 시프트량(Bv)을 적합하게 조정할 수 있다.

회전방향 조정량 계산부(38)는 가상선(KR)의 경사와 가상선(KL)의 경사가 같아지도록 회전방향 조정량(Hr)을 결정했지만, 이것에 한정되지 않는다. 예를 들면, 회전방향 조정량 계산부(38)는 가상선(KR)의 경사와 가상선(KL)의 경사의 차가 작아지도록 회전방향 조정량(Hr)을 결정해도 좋다. 이 변형 실시예에 의해서도 회전량(Br)을 적합하게 조정할 수 있다.

(5) 상술한 실시예에서는 조정용 화상(ER, EL)이 특정되었을 경우에는 반드시 횡 시프트량 조정부(27)는 횡 시프트량(Bh)을 변경했지만, 이것에 한정되지 않는다. 예를 들면, 횡 시프트량 조정부(27)는 횡방향 조정량(Hh)의 값에 따라 선택적으로 횡 시프트량(Bh)을 변경해도 좋다. 마찬가지로, 상술한 실시예에서는 조정용 화상(ER, EL)이 특정되었을 경우에는 반드시 종 시프트량 조정부(28)는 종 시프트량(Bv)을 변경했지만, 이것에 한정되지 않는다. 예를 들면, 종 시프트량 조정부(28)는 종방향 조정량(Hv)의 값에 따라 선택적으로 종 시프트량(Bv)을 변경해도 좋다. 또한, 상술한 실시예에서는 조정용 화상(ER, EL)이 특정되었을 경우에는 반드시 회전량 조정부(29)는 회전량(Br)을 변경했지만, 이것에 한정되지 않는다. 예를 들면, 회전량 조정부(29)는 회전방향 조정량(Hr)의 값에 따라 선택적으로 회전량(Br)을 변경해도 좋다.

도 11을 참조한다. 도 11은 변형 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다. 또한, 상술한 실시예와 동일한 구성에 관해서는 같은 부호를 붙임으로써 상세한 설명을 생략한다.

횡 시프트량 조정부(27)는 횡방향 조정량 판정부(41)를 더 구비하고 있다. 횡방향 조정량 판정부(41)는 횡방향 조정량(Hh)이 소정의 역치 이상인지의 여부를 판정한다. 횡방향 조정량(Hh)이 소정의 역치 이상이라고 판정되었을 경우, 횡 시프트량 변경부(34)는 횡 시프트량(Bh)을 변경한다. 그렇지 않을 경우에는, 횡 시프트량 변경부(34)는 횡 시프트량(Bh)을 변경하지 않는다.

마찬가지로, 종 시프트량 조정부(28)는 종방향 조정량 판정부(42)를 더 구비하고 있다. 종방향 조정량 판정부(42)는 종방향 조정량(Hv)이 소정의 역치 이상 인지의 여부를 판정한다. 종방향 조정량(Hv)이 소정의 역치 이상이라고 판정되었을 경우, 종 시프트량 변경부(37)는 종 시프트량(Bv)을 변경한다. 그렇지 않을 경우에는, 종 시프트량 변경부(37)는 종 시프트량(Bv)을 변경하지 않는다.

회전량 조정부(29)는 회전방향 조정량 판정부(43)를 더 구비하고 있다. 회전방향 조정량 판정부(43)는 회전방향 조정량(Hr)이 소정의 역치 이상인지의 여부를 판정한다. 회전방향 조정량(Hr)이 소정의 역치 이상이라고 판정되었을 경우, 회전량 변경부(39)는 회전량(Br)을 변경한다. 그렇지 않을 경우에는, 회전량 변경부(39)는 회전량(Br)을 변경하지 않는다.

이 변형 실시예에서는 보정 파라미터(Bh, Bv, Br)가 개별적으로 변경된다. 즉, 결과적으로 보정 파라미터(Bh, Bv, Br)의 전부가 변경될 가능성, 보정 파라미터(Bh, Bv, Br)의 일부가 변경될 가능성, 및 보정 파라미터(Bh, Bv, Br) 모두가 변경되지 않을 가능성이 각각 있다.

이 변형 실시예에 의하면, 횡 시프트량(Bh)이 과민하게 변동하는 것을 적합하게 방지할 수 있다. 그 결과, 화상 보정부(22)는 한층 적절하게 화상(IL)을 보정할 수 있다. 마찬가지로, 종 시프트량(Bv) 및 회전량(Br)이 과민하게 변동하는 것을 적합하게 방지할 수 있다. 그 결과, 화상 보정부(22)는 더욱 한층 적절하게 화상(IL)을 보정할 수 있다.

(6) 상술한 실시예에서는 화상 보정부(22)는 화상(IR, IL)의 일방을 보정했지만, 이것에 한정되지 않는다. 예를 들면, 화상(IR, IL)의 쌍방을 보정해도 좋다. 이 경우, 도 11에 나타나 있는 바와 같이, 보정 파라미터 기억부(21)는 화상(IR)용 보정 파라미터(BhR, BvR, BrR)와, 화상(IL)용 보정 파라미터(BhL, BvL, BrL)를 기억해도 좋다. 이것에 의하면, 화상 보정부(22)는 화상(IR, IL)을 각각 적합하게 보정할 수 있다.

또한, 이 변형 실시예에서는 횡 시프트량 조정부(27)는 화상(IR)용 횡 시프트량(BhR)과 화상(IL)용 횡 시프트량(BhL)을 각각 조정해도 좋다. 마찬가지로, 종 시프트량 조정부(28)는 종 시프트량(BvR, BvL)을 각각 조정해도 좋다. 회전량 조정부(29)는 회전량(BrR, BrL)을 각각 조정해도 좋다.

(7) 상술한 실시예에서는 화상 보정부(22)는 화상(IL)을 이동시키는 처리를 행했지만, 이것에 한정되지 않는다. 예를 들면, 화상 보정부(22)는 화상(IL)을 이동시키는 처리에 추가해서, 화상의 변형(Distortion)을 보정해도 좋다. 이것에 의하면, 화상(IL)을 한층 적합하게 보정할 수 있다.

(8) 상술한 실시예에서는 조정용 화상(ER)은 화상 보정부(22)에 의해 보정되어 있지 않은 화상(IR)이며, 조정용 화상(EL)은 화상 보정부(22)에 의해 보정된 화상(ILc)이었지만, 이것에 한정되지 않는다. 예를 들면, 조정용 화상(ER)이 화상 보정부(22)에 의해 보정된 화상이며, 조정용 화상(EL)이 화상 보정부(22)에 의해 보정되어 있지 않은 화상이어도 좋다. 또한, 상술한 실시예에서는 조정용 화상(ER, EL)의 일방이 화상 보정부(22)에 의해 보정된 화상(ILc)이었지만, 이것에 한정되지 않는다. 예를 들면, 조정용 화상(ER, EL)의 양방이 화상 보정부(22)에 의해 보정된 화상이어도 좋다. 이것에 의해서도, 횡 시프트량 조정부(27), 종 시프트량 조정부(28) 및 회전량 조정부(29)는 각각 보정 파라미터(Bh, Bv, Br)를 적합하게 조정할 수 있다.

또한, 예를 들면 조정용 화상(ER, EL)의 양방이 화상 보정부(22)에 의해 보정되어 있지 않은 화상이어도 좋다. 구체적으로는, 도 11에 나타나 있는 바와 같이, 조정용 화상 특정부(25)는 화상(IR, IL)이 조정용 화상(ER, EL)인지의 여부를 판정해도 좋다. 이 변형 실시예에서는 횡 시프트량 변경부(34)는 횡방향 조정량(Hh)을 새로운 횡 시프트량(Bh)으로서 설정하는 것이 바람직하다. 이것에 의해, 횡방향 조정량(Hh)은 새로운 횡 시프트량(Bh)으로서 보정 파라미터 기억부(21)에 기억된다. 마찬가지로, 종 시프트량 변경부(37)는 종방향 조정량(Hv)을 새로운 종 시프트량(Bv)으로서 설정하는 것이 바람직하다. 회전량 변경부(39)는 회전방향 조정량(Hr)을 새로운 회전량(Br)으로서 설정하는 것이 바람직하다. 이것에 의하면, 조정용 화상(ER, EL)의 양방이 보정되어 있지 않은 화상일 경우에 보정 파라미터(Bh, Bv, Br)를 각각 적합하게 조정할 수 있다.

또한, 이 변형 실시예에 있어서, 화상(IR, IL)이 조정용 화상(ER, EL)이라고 판정되었을 경우, 각 조정부(27 내지 29)가 그 조정용 화상(ER, EL)에 의거하여 보정 파라미터(Bh, Bv, Br)를 변경하고, 화상 보정부(22)가 변경된 보정 파라미터(Bh, Bv, Br)를 사용하여 조정용 화상(ER, EL)이라고 판정된 화상(IR, IL)을 보정해도 좋다. 이것에 의하면, 실시예에서 설명한 화상 재보정부(24)를 생략할 수 있다.

(9) 상술한 실시예에서는 조정용 화상 특정부(25)가 사용하는 판정 조건 1∼4를 예시했지만, 판정 조건은 적당하게 설계, 선택할 수 있다.

예를 들면, 조정용 화상 특정부(25)는 판정 조건 1∼4에 추가해서, 이하에 나타내는 판정 조건 5를 사용해도 좋다.

판정 조건 5: 차(ΔvR)와 차(ΔvL) 간의 차가 역치 이하인 것.

여기에서, 차(ΔvR)는 판정 조건 2에 규정되고, 차(ΔvL)는 판정 조건 4에 규정된다.

또한, 조정용 화상 특정부(25)는 이하에 나타내는 판정 조건 6∼9를 사용해도 좋다.

판정 조건 6: 화상(IR)의 투영점(mR)의 개수가 2개인 것.

판정 조건 7: 일방의 투영점(mR1)이 화상(IR)의 영역(WR1)에 있고, 타방의 투영점(mR2)이 화상(IR)의 영역(WR2)에 있는 것.

판정 조건 8: 화상(IL)의 투영점(mL)의 개수가 2개인 것.

판정 조건 9: 일방의 투영점(mL1)이 화상(IL)의 영역(WL1)에 있고, 타방의 투영점(mL2)이 화상(IL)의 영역(WL2)에 있는 것.

여기에서, 각 영역(WR1, WR2)은 각각 횡축(uR)의 좌표값 및 종축(vR)의 좌표값에 의해 규정된다. 마찬가지로, 각 WL1, WL2는 각각 횡축(uL)의 좌표값 및 종축(vL)의 좌표값에 의해 규정된다. 이러한 변형 실시예에 의해서도, 조정용 화상 특정부(25)는 화상(IR, ILc)이 조정용 화상(ER, EL)인지의 여부를 적합하게 판정할 수 있다.

(10) 상술한 실시예에서는 횡 시프트량 조정부(27), 종 시프트량 조정부(28)및 회전량 조정부(29)를 구비하고 있었지만, 이것에 한정되지 않는다. 예를 들면, 이들 조정부(27∼29) 중 어느 1개 또는 2개를 생략해도 좋다. 이 변형 실시예에 의해서도, 차량(1)이 실가동하고 있을 때에 화상 처리부(13)는 보정 파라미터(Bh, Bv, Br) 중 적어도 1개를 적합하게 조정할 수 있다.

(11) 상술한 실시예에서는 촬영 장치(5)는 2대의 카메라(11R, 11L)를 구비하고 있었지만, 이것에 한정되지 않는다. 예를 들면, 촬영 장치(5)는 3대 이상의 카메라(11)를 구비해도 좋다. 즉, 3대 이상의 카메라(11)에 의해 스테레오 카메라를 구성해도 좋다.

(12) 상술한 실시예에서는 광축(AR, AL)은 각각 전방향(Zf)과 평행했지만, 이것에 한정되지 않는다. 즉, 광축(AR, AL)은 전방향(Zf)과 평행하지 않아도 좋다.

(13) 상술한 실시예에서는 마커군(MG)은 2개의 마커(M1, M2)를 구비하고 있었지만, 이것에 한정되지 않는다. 마커군(MG)은 3개 이상의 마커(M)를 구비해도 좋다. 이 변형 실시예에서는 마커(M)를 적당한 위치에 배치해도 좋다. 예를 들면, 실시예에서 설명한 평면(P) 상에 3개 이상의 마커(M)를 배치해도 좋다. 또한, 예를 들면 평면(P) 상에 2개 이상의 마커(M)를 배치하고, 또한 평면(P)으로부터 벗어난 위치에 다른 마커(M)를 배치해도 좋다. 이것에 의하면, 횡방향 조정량(Hh), 종방향 조정량(Hv) 및 회전방향 조정량(Hr)을 한층 적정하게 산출할 수 있다.

(14) 상술한 실시예에 있어서, 차량(1)은 골프 카트이었지만, 이것에 한정되지 않는다. 차량(1)을 각종 용도에 적용해도 좋다. 예를 들면, 차량(1)은 농원 내를 주행하기 위한 차량이어도 좋다. 또한, 차량(1)은 무인 주행차이어도 좋다.

(15) 상술한 실시예에서는 마커(M1)와 마커(M2)는 대략 같은 높이 위치에 배치되어 있었지만, 이것에 한정되지 않는다. 예를 들면, 마커(M1, M2) 중 적어도 어느 하나의 높이 위치를 임의로 변경해도 좋다.

(16) 상술한 실시예 및 상기 (1)∼(15)에서 설명한 각 변형 실시예에 대해서는 각 구성을 다른 변형 실시예의 구성으로 치환 또는 조합시키는 등을 해서 적당하게 더 변경해도 좋다.

1 … 차량 11R, 11L … 카메라(화상 센서)
5 … 촬영 장치 13 … 화상 처리부
21 … 보정 파라미터 기억부 22 … 화상 보정부
23 … 화상 기억부 24 … 화상 재보정부
25 … 조정용 화상 특정부 26 … 촬영 조건 기억부
27 … 횡 시프트량 조정부 28 … 종 시프트량 조정부
29 … 회전량 조정부 31 … 측정부
32 … 이론값 계산부 33 … 횡방향 조정량 계산부
34 … 횡 시프트량 변경부 AR, AL … 광축
Bh … 횡 시프트량 Bv … 종 시프트량
Br … 회전량 D … 거리
ER, EL … 조정용 화상 Fm … 시차의 계측값
Ft … 시차의 이론값 Hh … 횡방향 조정량
Hv … 종방향 조정량 Hr … 회전방향 조정량
IR, IL, ILc … 화상 LM … 마커의 간격
Lm … 투영점의 간격 MG … 마커군
M1, M2 … 마커(제 1 마커, 제 2 마커) mR1, mR2, mL1, mL2 … 투영점
P … 평면 T … 주로

Claims

촬영 장치이고,
상기 촬영 장치는
한 쌍의 화상 센서와,
적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 횡방향으로 횡 시프트량만큼 평행 이동시키는 화상 보정부와,
상기 화상 센서가 마커군 촬영 구간을 이동하고 있을 때, 상기 화상 센서의 각각이 제 1 마커로부터 광축방향으로 떨어져 있는 거리와 제 2 마커로부터 광축방향으로 떨어져 있는 거리가 대략 같은 위치에서 제 1 마커 및 제 2 마커를 촬영한 화상을 각각 조정용 화상으로 하고, 상기 조정용 화상에 의거하여 상기 횡 시프트량을 조정하는 횡 시프트량 조정부를 구비하고,
상기 횡 시프트량 조정부는
상기 조정용 화상의 양방에 의거하여 상기 제 1 마커 및 상기 제 2 마커 중 적어도 어느 하나에 관한 시차를 계측하여 시차의 계측값을 취득하는 측정부와,
상기 제 1 마커와 상기 제 2 마커 간의 간격과, 상기 조정용 화상 중 어느 일방에 의거하여, 상기 제 1 마커 및 상기 제 2 마커에 관한 시차의 이론값을 산출하는 이론값 계산부와,
상기 시차의 계측값과 상기 시차의 이론값에 의거하여 횡방향 조정량을 산출하는 횡방향 조정량 계산부와,
상기 횡방향 조정량을 이용하여 상기 횡 시프트량을 변경하는 횡 시프트량 변경부를 구비하고 있는 것을 특징으로 하는 촬영 장치.
제 1 항에 있어서,
상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것을 특징으로 하는 촬영 장치.
제 1 항에 있어서,
상기 이론값 계산부는 상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 어느 하나의 상기 조정용 화상 상에 있어서의 상기 제 1 마커의 투영점과 상기 제 2 마커의 투영점 간의 간격에 의거하여, 상기 제 1 마커 및 상기 제 2 마커와 상기 화상 센서 간의 광축방향에 있어서의 거리를 계산하고, 상기 거리에 의거하여 상기 시차의 이론값을 산출하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 횡방향 조정량 계산부는 상기 시차의 계측값과 상기 시차의 이론값의 차가 작아지도록 상기 횡방향 조정량을 결정하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 조정용 화상 중 적어도 일방은 상기 화상 보정부에 의한 처리가 행해진 화상이고,
상기 횡 시프트량 변경부는 상기 화상 보정부에 의해 사용된 상기 횡 시프트량에 상기 횡방향 조정량을 가감산하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 조정용 화상의 양방은 상기 화상 보정부에 의한 처리가 행해져 있지 않은 화상이고,
상기 횡 시프트량 변경부는 상기 횡방향 조정량을 새로운 상기 횡 시프트량으로서 설정하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 촬영 장치는 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여 상기 화상 센서의 각각으로부터 얻어진 화상이 조정용 화상인지의 여부를 판정하는 조정용 화상 특정부를 더 구비하고 있는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 11 항에 있어서,
상기 차량이 주로를 주행할 때, 상기 화상 센서는 각각 상기 제 1 마커 및 상기 제 2 마커를 촬영하는 것을 특징으로 하는 차량.
제 12 항에 있어서,
상기 주로는 미리 정해져 있고,
상기 차량은 상기 주로를 자율 주행하는 것을 특징으로 하는 차량.
차량이 마커군 촬영 구간을 주행하고 있을 때에, 차량에 탑재되어 있는 복수의 화상 센서가 차량의 외부에 설치되어 있는 마커군을 촬영하는 과정과,
상기 화상 센서 중 적어도 어느 하나로부터 얻어진 화상을 보정하는 과정과,
상기 화상 센서로부터 얻어지고 마커군이 투영되어 있는 화상을 조정용 화상으로 하고, 상기 조정용 화상에 의거하여 상기 화상을 보정하는 과정에서 사용되는 보정 파라미터를 조정하는 과정을 구비하고 있는 것을 특징으로 하는 화상 보정 방법.
제 14 항에 있어서,
상기 보정 파라미터는 횡 시프트량이고,
상기 화상을 보정하는 과정은 상기 화상을 상기 화상의 횡방향으로 상기 횡 시프트량만큼 평행 이동시키고,
상기 마커군은 서로 간격을 두고 배치되는 제 1 마커와 제 2 마커를 포함하고,
상기 촬영하는 과정을 실행할 때, 상기 화상 센서와 제 1 마커 간의 광축방향에 있어서의 거리와, 상기 화상 센서와 제 2 마커 간의 광축방향에 있어서의 거리는 대략 같고,
상기 보정 파라미터를 조정하는 과정은,
상기 조정용 화상의 양방에 의거하여 상기 제 1 마커 및 상기 제 2 마커 중 적어도 어느 하나에 관한 시차를 계측하여 시차의 계측값을 취득하는 과정과,
상기 제 1 마커와 상기 제 2 마커 간의 상기 간격과, 상기 조정용 화상 중 어느 일방에 의거하여, 상기 제 1 마커 및 상기 제 2 마커에 관한 시차의 이론값을 산출하는 과정과,
상기 시차의 계측값과 상기 시차의 이론값에 의거하여 횡방향 조정량을 산출하는 과정과,
상기 횡방향 조정량을 이용하여 상기 횡 시프트량을 변경하는 과정을 구비하고 있는 것을 특징으로 하는 화상 보정 방법.
제 4 항에 있어서,
상기 조정용 화상 중 적어도 일방은 상기 화상 보정부에 의한 처리가 행해진 화상이고,
상기 횡 시프트량 변경부는 상기 화상 보정부에 의해 사용된 상기 횡 시프트량에 상기 횡방향 조정량을 가감산하는 것을 특징으로 하는 촬영 장치.
제 4 항에 있어서,
상기 조정용 화상의 양방은 상기 화상 보정부에 의한 처리가 행해져 있지 않은 화상이고,
상기 횡 시프트량 변경부는 상기 횡방향 조정량을 새로운 상기 횡 시프트량으로서 설정하는 것을 특징으로 하는 촬영 장치.
제 4 항에 있어서,
상기 촬영 장치는 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여 상기 화상 센서의 각각으로부터 얻어진 화상이 조정용 화상인지의 여부를 판정하는 조정용 화상 특정부를 더 구비하고 있는 것을 특징으로 하는 촬영 장치.
제 5 항에 있어서,
상기 촬영 장치는 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여 상기 화상 센서의 각각으로부터 얻어진 화상이 조정용 화상인지의 여부를 판정하는 조정용 화상 특정부를 더 구비하고 있는 것을 특징으로 하는 촬영 장치.
제 6 항에 있어서,
상기 촬영 장치는 화상 상에 있어서의 상기 제 1 마커의 투영점 및 상기 제 2 마커의 투영점에 의거하여 상기 화상 센서의 각각으로부터 얻어진 화상이 조정용 화상인지의 여부를 판정하는 조정용 화상 특정부를 더 구비하고 있는 것을 특징으로 하는 촬영 장치.
제 4 항에 있어서,
상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것을 특징으로 하는 촬영 장치.
제 5 항에 있어서,
상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것을 특징으로 하는 촬영 장치.
제 6 항에 있어서,
상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것을 특징으로 하는 촬영 장치.
제 7 항에 있어서,
상기 제 1 마커와 상기 제 2 마커는 대략 같은 높이 위치에 배치되어 있는 것을 특징으로 하는 촬영 장치.
제 4 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 5 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 6 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 7 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 8 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 상기 화상의 종방향으로 종 시프트량만큼 더 평행 이동시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 종 시프트량을 조정하는 종 시프트량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 4 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 5 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 6 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 7 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 8 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 9 항에 있어서,
상기 화상 보정부는 적어도 어느 하나의 상기 화상 센서에 의해 촬영된 화상을 회전량만큼 더 회전시키고,
상기 촬영 장치는 상기 조정용 화상에 의거하여 상기 회전량을 조정하는 회전량 조정부를 더 구비하는 것을 특징으로 하는 촬영 장치.
제 4 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 5 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 6 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 7 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 8 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 9 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
제 10 항에 기재된 촬영 장치를 구비한 것을 특징으로 하는 차량.
삭제