KR20080002750A - 촬영 위치 해석 방법 - Google Patents

Abstract

본 발명은, 이동하면서 촬영된 복수(複數) 프레임의 화상 데이터에 대해서, 각 프레임의 촬영 위치를 정밀도좋게 구하는 것을 목적으로 한다. 화상 데이터 취득 장치(100)는, 차량으로 주행하면서 정면 화상을 비디오 카메라(120)로 촬영한다. 이 촬영시에는, 차속(車速) 센서(104)로 검출되는 차속 펄스를, 프레임 데이터에 대응지어서 기록한다. 화상 데이터 처리 장치(200)는, 화상의 각 프레임 데이터를, 차속 펄스와의 대응 관계에 따라서, 초기 궤적을 따라서, 배치한다. 그 후, 도로 구획선 등, 화상내에 포함되는 특징점에 대해서, 각 프레임 사이의 어긋남량(variation)을 구한다. 그리고, 이 어긋남량을 초기 궤적에 반영시키고, 이동 방향과 교차하는 방향의 오차를 수정함으로써 이동 궤적을 구함과 동시에, 각 프레임의 촬영 위치를 구한다. 이 방법에 의해, 각 프레임의 촬영 위치를 구하는 정밀도를 향상시킬 수가 있다.

Description

촬영 위치 해석 방법{IMAGING POSITION ANALYZING METHOD}

본 발명은, 이동하면서 촬영된 동영상(동화상) 및 그밖의 복수(複數) 프레임으로 이루어지는 화상에 대해서, 각 프레임의 촬영 위치를 해석하는 기술에 관한 것이다.

차량에 탑재(搭載)한 비디오 카메라로 촬영한 화상의 이용에 관해서, 여러가지(種種) 제안이 이루어져 있다. 예를 들면, 이들 화상으로부터 얻어지는 정보는, 시내(街中; 시가지)의 모습(樣子) 등을 컴퓨터 그래픽스를 활용한 3차원 화상으로 재현한 3차원 지도를 제공하기 위한 전자 지도 데이터의 생성에 활용할 수가 있다. 또, 일본 특개평(特開平) 제7-37065호 공보(이하, 「특허 문헌 1」이라고 한다)는, 비디오 카메라로 촬영한 각 프레임의 화상을 합성하고, 1매(枚)의 넓은 영역의 화상을 생성함으로써, 철도의 선로나 송전선 상태 감시에 활용하는 기술을 개시하고 있다.

상술한 목적 등에 대해서, 비디오 카메라로 촬영한 화상을 활용하기 위해서는, 각 프레임의 화상을 촬영한 위치, 예를 들면 위도 경도 등을 정밀도좋게 검출 해 둘 필요가 있다. 이 점에 관해서, 일본 특허 제2687645호 공보(이하, 「특허 문헌 2」라고 한다), 일본 특개평 제7-71973호 공보(이하, 「특허 문헌 3」이라고 한다)는, 통행대(通行帶)의 구획선으로서 설치(마련)된 단속 백선(斷續白線)의 수나, 가드 레일의 지주(支柱)의 수 등, 기지(旣知; 이미 알고 있음)의 거리를 이용해서 차량의 진행 방향 위치를 특정하는 기술을 개시하고 있다. 또, 위치의 검출에, GPS (Global Positioning System)나 자이로 등 그밖의 방향 센서를 병용하는 기술도 제안되어 있다.

특허문헌 1: 일본 특개평 제7-37065호 공보

특허문헌 2: 일본 특허 제2687645호 공보

특허 문헌 3: 일본 특개평 제7-71973호 공보

[발명이 해결하려고 하는 과제]

그러나, 종래 기술에서는, 화상의 촬영 위치의 정밀도가 반드시 충분하다고는 할 수 없었다. 촬영 지점은, 위도 경도 등, 적어도 2차원의 좌표값으로 위치를 특정할 필요가 있다 . 특허 문헌 2, 3 기재의 기술은, 차량의 진행 방향의 위치 정밀도의 향상을 도모하는 것은 가능하지만, 진행 방향과 교차하는 방향에 대해서는 충분한 검토가 이루어져 있지는 않았다. 또, GPS에서 검출된 위치는, 수십m 정도의 오차가 포함되어 있기 때문에, 화상 데이터를 이용한 여러 가지 해석에 이용하기에 충분한 정밀도라고는 할 수 없다. 자이로 등을 이용해서 검출된 위치도 마찬가지이다.

또, GPS에서는 시각에도 오차가 포함되어 있기 때문에, 위치 검출 오차를 어느 정도(얼마만큼) 향상시켰다고 해도, 촬영한 화상과의 완전한 동기를 취할 수 없으며, 결과로서 촬영시의 위치를 충분한 정밀도로 특정할 수 없다고 하는 과제가 있다. 다시말해, GPS에서 어떤(임의의) 시각에 특정된 위치는, 그 시각과는 다른 시각에서의 위치를 나타내고 있을 가능성이 있는 것이다. 따라서, 이동하면서 GPS에서 위치를 검출하면, 어느 정도 GPS의 위치 검출 정밀도가 향상했다고 해도, 얻어지는 정보는, 촬영 위치를 충분한 정밀도로 나타내는 것으로는 되지 않는 것이다.

촬영 위치의 정밀도가 낮은 화상에서는, 화상 자체의 해상도를 향상시켰다고 해도, 화상 데이터의 해상도를 충분히 살린 해석을 행할 수가 없다. 예를 들면, 촬영 위치가 부정확하면, 화상에 찍혀 있는 도로 표지(道路標識), 도로 위의 표시, 건물 등의 형상, 위치를 정밀도좋게 특정하고, 지도 데이터에 반영시킬 수가 없다. 또, 특허 문헌 1 기재의 기술과 같이 화상을 합성하는 경우, 위치 정밀도가 불충분한 것에서는 복수의 프레임 화상 사이에 어긋남이 생기고, 원화상(原畵像)의 해상도를 충분히 살린 고정세(高精細; high-definition) 합성 화상을 얻을 수가 없다.

이러한 과제는, 차량에 탑재해서 화상을 촬영했을 때에 한정되는 것은 아니며, 보행하면서 촬영한 화상 등, 이동하면서 촬영한 화상 일반에 대해서 마찬가지로 생길 수 있다. 또, 동영상에 한정되지 않고, 다른 복수 지점에서 촬영된 정지화상(靜止畵)에 대해서도 마찬가지로 생길 수 있다. 본 발명은, 이러한 과제를 감안해서, 이동하면서 촬영된 복수 프레임으로 이루어지는 화상에 관해서, 각 프레임의 촬영 위치를 정밀도좋게 특정하는 것을 목적으로 한다.

[과제를 해결하기 위한 수단]

본 발명은, 복수 프레임으로 이루어지는 화상에 대해서, 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 장치(이하, 단지 「해석 장치」라고 부르는 일도 있다)로서 구성할 수가 있다. 촬영 위치 해석 장치는, 지표면(地表面)과의 상대적인 자세각(姿勢角)을 대략 일정하게 유지(보전)한 상태로 이동하면서 기지의 타이밍에 촬영된 화상을 처리 대상으로 한다. 이러한 화상으로서는, 예를 들면 일정 자세각으로 촬영 장치를 고정시킨 차량으로 이동하면서 촬영한 동화상(동영상)을 들 수 있다. 거의 일정한 자세각으로 보존유지가능하면 보행하면서 촬영한 것이더라도 좋다. 또, 동화상일 필요는 없으며, 복수의 위치에서 촬영된 정지화상을 이용할 수도 있다. 화상의 각 프레임에는 직전 직후의 적어도 한쪽의 프레임과 공통해서(공통적으로) 촬영된 소정의 연속체가 포함되어 있다. 이 연속체는, 처리 대상으로 되는 전(全)프레임에 공통인 것일 필요는 없다. 연속체로서는, 도로 위의 통행대의 구획선 등을 들 수 있다.

해석 장치는, 상술한 복수 프레임으로 이루어지는 화상 데이터를 입력한다. 또, 해석의 초기값(初期値)으로서 촬영시의 이동의 초기 궤적을 입력한다. 화상이 이 초기 궤적 위를 이동하면서 촬영된 것이라고 가정하면, 각 프레임의 화상은 초기 궤적 위에 배치가능하게 된다. 해석 장치는, 이와 같이, 촬영 타이밍에 의거해서 초기 궤적의 이동 방향을 따라서 각 프레임의 촬영 위치를 임시설정(假設定)한다. 초기 궤적에는, 촬영 위치에 대한 오차가 포함되어 있기 때문에, 초기 궤적 위에 배치된 프레임 사이에서는 연속체의 화상에 어긋남이 생긴다.

해석 장치는, 복수 프레임에 걸쳐서 촬영되어 있는 연속체의 촬영 화상 사이의 어긋남을 화상 처리에 의해서 검출하고, 이 어긋남에 의거해서 임시설정된 촬영 위치를 초기 궤적의 이동 교차 방향으로 수정함으로써 각 프레임의 촬영 위치를 해석한다. 예를 들면, 연속체의 위치가, 앞(前) 프레임보다도 다음(次) 프레임에서 오른쪽으로 어긋나 있는 경우에는, 이 어긋남량(variation)에 따라서 임시설정의 촬영 위치를 좌측으로 어긋나게 하도록 수정하는 것이다. 역으로(거꾸로, 반대로) 왼쪽으로 어긋나 있는 경우에는, 임시설정된 촬영 위치를 우측으로 어긋나게 하도록 수정하는 것이다. 본 발명의 촬영 위치 해석 장치는, 촬영된 연속체의 화상 해석을 이용해서, 초기 궤적에 대한 이동 교차 방향의 오차를 특정하고, 이 오차를 반영시키는 것에 의해서 실제로 촬영을 행했을 때의 이동 궤적(이하, 「실궤적(實軌跡)」이라고 칭한다)을 정밀도좋게 검출하는 것, 또는 각 프레임의 촬영 위치를 정밀도좋게 특정할 수가 있다. 이 방법은, 실궤적의 특정에 화상 해석을 이용하기 때문에, 화상의 해상도에 알맞은 위치 정밀도를 실현할 수 있다고 하는 이점이 있다. 또, 이 방법에 의하면, 가령(만일) 실궤적에 위치 오차가 포함되어 있었다고 해도, 복수 프레임 사이의 화상간(畵像間)의 정합성(整合性)은 충분히 유지되게 되기 때문에, 복수 프레임의 화상을 이용한 지도 데이터의 생성 및 그밖의 해석에 요구되는 정밀도를 확보할 수 있다는 이점이 있다.

상술한 화상은, 이동 방향의 전방 또는 후방이 화상의 일부에 포함되어 있으면 족하고(충분하고), 예를 들면 기울기 전방, 기울기 후방을 향해서 설치한 카메라로 촬영한 화상을 이용해도 좋다. 또, 이동 방향에 대해서 바로 옆(眞橫)으로 향한 카메라로 촬영한 화상이더라도, 충분히 광각(廣角)으로 촬영된 것이면 이용가능하다. 단, 이동 교차 방향의 어긋남을 가장 효율적으로 또한 정밀도좋게 검출한다고 하는 관점에서, 상술한 화상은, 이동 방향의 정면 또는 배후(背後)의 화상으로 하는 것이 바람직하다. 또, 촬영 위치의 해석에는, 이렇게 해서 촬영된 화상 전체가 아니라, 하부의 일부를 이용하도록 해도 좋다. 화상의 하부는, 촬영 위치에 비교적 가까운 지점을 촬영하고 있는 것이라고 생각되기 때문에, 촬영 위치의 해석 정밀도 향상에 적합하기 때문이다.

실궤적의 특정에 이용하는 연속체에는, 복수 프레임에 걸쳐서 촬영되는 여러가지 대상을 이용할 수가 있다. 부근을 이동하는 버스, 트럭 등의 대형 차량 등도 이용가능하기는 하지만, 이동 교차 방향으로 이동하고 있지 않는 것이 보증되어 있을 필요가 있다. 교차 방향으로 이동하고 있지 않는 것이 보증되고 있다고 하는 관점에서는, 연속체는, 도로에 고정된 대상이 바람직하고, 예를 들면 도로곁(道路脇; 도로가)의 가드 레일, 건축물의 에지 등을 연속체로 할 수가 있다. 화상 인식이 비교적 용이하고 또한 정밀도좋게 실행가능하다는 관점도 고려하면, 연속체는, 도로 통행대의 구획선으로 하는 것이 바람직하다.

본 발명에서, 초기 궤적에 대한 프레임 화상의 배치에는 여러가지(각종) 방법을 취할 수가 있다. 예를 들면, 촬영시에 있어서의 시각과 이동 방향을 따르는 이동 거리와의 관계를 나타내는 이동 거리 정보를 입력하고, 이 이동 거리 정보에 의거해서 이동 방향을 따르는 각 프레임의 촬영 위치를 임시설정 하도록 해도 좋다. 각 프레임의 촬영 시각은 기지이기(이미 알고 있기) 때문에, 이동 거리 정보를 이용하는 것에 의해, 초기 궤적 위의 각 프레임의 촬영 위치를 정밀도좋게 특정할 수 있고, 최종적으로 얻어지는 촬영 위치의 2차원 좌표의 정밀도 향상을 도모할 수가 있다.

또, 이동 거리 정보에 의거해서, 촬영 위치의 해석에 이용하는 프레임으로서, 복수의 프레임 데이터 중에서 소정의 이동 거리마다 촬영된 프레임을 추출해도 좋다 . 이 양태(態樣)에서는, 추출된 프레임간(間)의 이동 거리는 똑같아지기 때문에, 복수 프레임간의 합성 등의 화상 처리가 용이해지는 이점이 있다. 이 양태에서는, 단위시간당 촬영되는 프레임수(이하, 「프레임 레이트」라고 부른다)가 충분히 높고, 소정의 이동 거리마다 프레임이 존재하는 것이 보증되어 있는 것이 바람직하다. 요구되어야 할 프레임 레이트는, 촬영시의 이동 속도, 프레임 추출시의 기준으로 되는 이동 거리에 의해서 결정되어진다. 예를 들면, 일반 도로의 제한 속도 정도의 속도로 이동하는 차량에 탑재한 촬영 장치로 촬영을 행하는 경우에는, 30프레임/초 정도의 프레임 레이트를 가지는 동화상이면, 상술한 요구를 만족시킬 수가 있다.

이동 거리 정보로서는, 예를 들면 도로 위에 단속적(斷續的)으로 그려진 구획선이나, 가드 레일의 지주 등, 간격이 기지의(이미 알고 있는) 대상물을 촬영한 화상 정보를 이용할 수가 있다. 또, 차량에 탑재한 촬영 장치에 의해서 화상을 촬영하는 경우에는, 차량의 차속(車速) 펄스, 즉 차량이 일정 거리 진행할 때마다 출력되는 펄스 신호를 이동 거리 정보로서 이용해도 좋다.

촬영시에는 또, 화상 데이터에 대응지어서, 교차점 및 그밖의 기지의 기준 위치에 도달한 시점을 나타내는 기준 위치 정보를 기록해 두는 것이 바람직하다. 이렇게 함으로써, 해석 장치는, 이 기준 위치 정보에 대응하는 시점에서의 촬영 위치(이하, 「기준 위치」라고 칭한다)는 기지의 것으로서 취급하는 것이 가능해진다. 따라서, 해석 과정에서, 기준 위치 정보에 의거해 적어도 이동 방향을 따르는 위치의 초기화를 행하는 것이 가능해지고, 촬영 위치의 추정 정밀도를 향상시킬 수가 있다.

기준 위치 정보는 여러가지 양태로 이용가능하다. 예를 들면, 기준 위치를 시작점(始点)으로 해서, 촬영한 순으로 프레임을 배치하도록 해도 좋다. 즉, 촬영시에 이동한 방향을 따라서, 시계열적(時系列的)으로 프레임을 배치하도록 해도 좋다. 이것에 대해서, 기준 위치를 시작점으로 해서 촬영한 순과는 역순(逆順)으로 프레임을 배치해도 좋다. 즉, 촬영시에 이동한 방향과 역방향으로 시계열에 역행하는 순서로 프레임을 배치하도록 해도 좋다. 어떠한 배치 방법에서도 시작점에 가까울수록 프레임의 배치 정밀도가 높아진다.

예를 들면, 내비게이션 시스템에서, 촬영한 프레임 화상 또는 이것에 의거해서 생성된 그래픽스를 차량의 위치에 따라서 표시하는 상황을 생각한다. 후자(後者)의 양태, 즉 기준 위치를 시작점으로 해서 시계열과 역순으로 배치하는 양태에서는, 차량이 기준 위치에 가까워질수록, 제공되는 화상의 위치 정밀도가 향상되게 된다. 교차점을 기준 위치로서 활용한 경우, 차량은 교차점의 바로앞(手前)에서 멈추거나, 교차점에서 구부러지거나 하는 것을 생각하면, 교차점에 가까워질 수록 화상의 위치 정밀도가 향상되는 것이 바람직하다. 이 의미에서, 앞서 설명한 후자의 양태는, 내비게이션용 데이터 생성에 유용성이 높다.

대향하는 복수의 통행대가 설치되어 있는 도로를 촬영한 화상을 처리하는 경우, 기준 위치를 시작점으로 해서 시계열과 역순으로 프레임 화상 등을 배치하는 양태는, 한쪽측(片側)의 통행대(통상은, 촬영시에 이동한 통행대)만이 촬영되어 있는 화상에 유용하다. 한편, 양측의 통행대가 촬영된 화상에 대해서는, 기준 위치를 시작점으로 해서, 이동 방향 및 역방향의 쌍방으로 순차, 프레임 데이터를 배치하는 방법이 유용하게 된다.

촬영 위치의 초기화는, 다음의 방법으로 행해도 좋다. 우선, 이동 교차 방향으로 복수 프레임의 가로화상(橫畵像) 데이터를 촬영한다. 가로화상 데이터로서는, 예를 들면 차량의 진행 방향에 대해서 가로방향(橫向)으로 설치한 카메라에서의 촬영 화상을 이용할 수가 있다. 이 가로화상 데이터의 피사체의 위치 좌표는, 지도 데이터를 참조하는 것에 의해 기지인 것으로 한다. 촬영 위치 해석 장치는, 복수 프레임의 가로화상 데이터로부터, 피사체의 위치를 나타내는 피사체 좌표를 산출한다. 복수 프레임의 가로화상 데이터는, 피사체를 복수의 촬영 위치로부터 촬영한 화상 데이터에 상당(相當)하기 때문에, 이동 속도 및 각 프레임의 촬영 시각이 기지이면, 복수의 촬영 위치 사이의 거리는 기지로 되기 때문에, 삼각 측량의 원리에 따라서, 촬영 위치를 기준으로 해서 피사체의 위치를 구하는 것이 가능하게 된다. 이렇게 해서 구해진 피사체 좌표와, 지도 데이터에 기록된 위치 좌표와의 어긋남은, 피사체 좌표를 구할 때에 이용된 촬영 위치의 오차를 나타내고 있다. 따라서, 이 어긋남에 의거해서 촬영 위치의 초기화, 즉 오차의 수정을 행하는 것이 가능하게 된다.

본 발명에서 이용하는 초기 궤적은, 촬영한 화상을 이용한 해석의 초기값으로서 이용하는 것이기 때문에, 촬영한 궤적의 개략을 나타내는 것이면 좋다. 예를 들면, 도로를 노드, 링크로 나타낸 도로 네트워크 데이터를 참조가능한(참조할 수 있는) 경우에는, 촬영시에 지나간(통과한) 궤적을 노드, 링크로 지정하는 등 하는 것에 의해, 도로 네트워크 데이터에 의거해서 초기 궤적을 설정하도록 해도 좋다. 도로 네트워크 데이터가 도로의 높이 정보도 가지고 있는 경우에는, 초기 궤적을 3차원적으로 특정하는 것도 가능하게 된다.

초기 궤적은, 위치 검출 센서의 출력을 이용해서 설정해도 좋다. 위치 검출 센서로서는, 자이로 및 거리계(距離計)나 GPS 등, 화상의 촬영시의 이동 궤적을 소정의 오차 범위내에서 적어도 2차원적으로 검출가능한 것을 적용가능하다. 여기서, 허용되는 오차는, 화상 처리에 의해서 초기 궤적과 교차하는 방향의 오차를 수정가능한 범위인 것이 바람직하다. 따라서, 허용 오차는, 초기 궤적과 실궤적과의 어긋남이 촬영 장치의 화각(畵角) 내에 들어가는(收) 정도인 것이 바람직하다.

본 발명은, 촬영 위치의 해석에 앞서서, 연속체를 정면에서 촬영한 상태의 화상에, 화상 데이터를 변환해도 좋다. 화상 변환은 아핀 변환(affine transformation) 등 여러가지 방법을 이용가능하다. 화상 데이터를 복수 영역으로 나누고, 각 영역에서 다른 변환 계수를 이용하는 것에 의해, 변환시의 정밀도 향상을 도모할 수가 있다. 복수 영역 및 변환 계수는, 예를 들면 기지 형상(旣知形狀; 이미 알고 있는 형상)의 망상체(網狀體; 그물모양체)를 촬영한 화상 데이터로부터, 해당(當該) 망상체의 정면시(正面視) 화상을 얻을 수 있도록 설정할 수가 있다.

본 발명은, 상술한 해석에 사용할 화상 데이터를 생성하는 화상 데이터 취득 장치로서 구성해도 좋다. 화상 데이터 취득 장치는, 예를 들면 지표면을 이동하는 차량, 촬영 장치, 이동 거리 정보 기록부를 구비하는 것으로 할 수가 있다. 촬영 장치는, 상대적인 자세각을 대략 일정하게 유지한 상태로 차량에 취부(取付; attach)되고, 기지의 타이밍에서 복수 프레임으로 이루어지는 화상, 동화상 또는 정지화상을 촬영한다. 물론, 촬영 장치는, 이밖에도 복수 탑재해도 상관없다. 이동 거리 정보 기록부는, 차량이 소정 거리 이동한 것을 나타내는 이동 거리 정보를, 촬영시에 있어서의 시각과 관련지어서 기록한다. 이 이동 거리 정보로서는, 예를 들면 차량으로부터 발사(發; emit)되는 차속 펄스를 이용할 수가 있다. 이렇게 하는 것에 의해, 해석에 적합한 화상 데이터 및 이동 거리 정보를 해석 장치에 제공할 수가 있다.

본 발명은, 이상에서 설명한 특징 모두를 구비하고 있을 필요는 없고, 일부를 생략하거나, 적당히 조합하거나 해서 구성해도 좋다. 본 발명은, 상술한 촬영 위치 해석 장치 및 화상 데이터 취득 장치로서의 양태 이외에, 컴퓨터를 이용해서 촬영 위치를 해석하는 해석 방법으로서 구성할 수도 있다. 또, 이러한 해석을 실현하기 위한 컴퓨터 프로그램으로서 구성해도 좋고, 이 컴퓨터 프로그램을 기록한 기록 매체로서 구성해도 좋다. 이 경우, 기록 매체로서는, 플렉시블 디스크나 CD-ROM, 광자기(光磁氣) 디스크, IC 카드, ROM 카트리지, 펀치 카드,바코드 등의 부호가 인쇄된 인쇄물, 컴퓨터의 내부 기억 장치(RAM이나 ROM 등의 메모리) 및 외부 기억 장치 등, 컴퓨터가 판독가능(讀取可能; readable; 읽기가능)한 여러가지 매체를 이용할 수 있다.

도 1은 실시예로서의 화상 데이터 처리 시스템의 구성을 도시하는 설명도,

도 2는 화상 데이터 취득 장치(100)를 구성하는 각 장치의 탑재, 접속예를 도시하는 설명도,

도 3은 화상 데이터 등의 구조를 도시하는 설명도,

도 4는 초기 궤적의 설정 방법을 도시하는 설명도,

도 5는 변형예로서의 초기 궤적의 설정 방법을 도시하는 설명도,

도 6은 특징점 추적 처리의 원리를 도시하는 설명도,

도 7은 변환 계수 설정 방법의 공정도,

도 8은 특징점 추적 처리의 예를 도시하는 설명도,

도 9는 촬영 위치 해석 처리의 플로차트,

도 10은 특징점 추적 처리의 플로차트,

도 11은 변형예로서의 특징점 추적 처리의 플로차트,

도 12는 표지·표시 추출 처리의 플로차트,

도 13은 화상 데이터의 처리예(그의 1)를 도시하는 설명도,

도 14는 화상 데이터의 처리예(그의 2)를 도시하는 설명도,

도 15는 변형예로서의 프레임 데이터 배치 방법을 도시하는 설명도,

도 16은 측면 화상을 활용해서, 기준 위치를 구하는 방법을 도시하는 설명도,

도 17은 변형예에서의 기준 위치 산출 처리의 플로차트,

도 18은 경시 변화(經時變化) 판정 처리의 플로차트,

도 19는 안내판 위치 좌표 해석 처리의 플로차트이다.

본 발명의 실시예에 대해서 이하의 순서로 설명한다.

A. 장치 구성:

B. 데이터 구조:

C. 촬영 위치 해석 원리:

C-l. 초기 궤적:

C-2. 특징점 추적 처리:

D. 촬영 위치 해석 처리:

E. 표지·표시 추출 처리:

F. 처리예:

Gl. 변형예∼프레임 데이터 배치 방법:

G2. 변형예∼측면 화상의 활용:

G3. 변형예∼경시 변화의 특정:

G4. 변형예∼안내판의 위치 좌표 해석:

A. 장치 구성:

도 1은 실시예로서의 화상 데이터 처리 시스템의 구성을 도시하는 설명도이다. 화상 데이터 처리 시스템은, 시내(시가지) 등을 이동하면서 촬영한 동화상을 처리하는 시스템이다. 처리 내용으로서는, 첫째로, 동화상을 구성하는 각 프레임에 대해서 위도 경도 등의 촬영 위치 좌표를 해석해서 구하는 촬영 위치 해석 처리를 들 수 있다. 둘째로, 이 결과를 이용해 각 프레임의 합성 화상을 생성하고(이 처리를 「화상 합성 처리」라고 부른다), 3차원의 지도 데이터 생성용 데이터로서, 합성 화상으로부터 도로면 위의 표시나 도로가(道路際)의 표지의 종별 및 위치를 특정하거나 하는 처리(이 처리를 「표시·표지 추출 처리」라고 부른다)를 들 수 있다. 제1 처리에 의해서 촬영 위치가 해석된 동화상은, 도로가 건물의 높이나 넓이(間口; 정면의 폭, 영역)의 계측에 활용할 수도 있다.

화상 데이터 처리 시스템은, 동화상을 촬영하기 위한 화상 데이터 취득 장치(100)와 , 동화상을 처리하기 위한 화상 데이터 처리 장치(200)로 구성된다. 본 실시예에서는, 양자(兩者)를 별체(別體)의 구성으로 했지만, 단일 장치로서 구성해도 좋다. 또, 화상 데이터 처리 장치(200)를 다수의 장치로 이루어지는 분산 처리 시스템으로서 구성해도 좋다.

실시예의 화상 데이터 취득 장치(100)는, 차량 위에 여러가지 장치를 탑재해서 구성되어 있다. 차량에는, 정면 화상을 촬영하기 위한 비디오 카메라(120) 및, 측방(側方) 화상을 촬영하기 위한 비디오 카메라(122)가 탑재되어 있다. 비디오 카메라(120, 122)는, 차량에 대해서 일정 자세각을 보존유지 가능한 상태로 고정되어 있다. 광범위·고정세 화상을 효율적으로 취득하기 위해서, 비디오 카메라(120, 122)는, 하이비전의 광각 카메라를 이용하는 것이 바람직하다.

비디오 카메라(120)의 화상은, 후술하는 바와 같이, 촬영 위치 해석 처리에 이용된다. 이러한 관점에서, 비디오 카메라(120)는 차량의 전후축을 따라서 주행중에 지표면과 평행하게 되는 자세각으로 취부하는 것이 바람직하다. 무엇보다도, 이러한 자세각은 필수는 아니다. 촬영 위치 해석 처리에는, 차량의 전방 또는 후방의 모습이 일부에 촬영된 화상이 있으면 족하기 때문에, 비디오 카메라(120)는 후방, 기울기(斜) 전방, 기울기 후방 등의 방향으로 향해서 취부해도 좋으며, 충분히 광각 촬영이 가능하면 바로 옆을 향해서 취부해도 좋다.

측방 화상은, 표지·표시의 추출, 건물의 높이나 넓이(정면의 폭)의 계측 등의 어플리케이션에 이용된다. 따라서, 비디오 카메라(122)는, 어플리케이션의 종류 및 목적에 따라, 대수(台數)를 늘리거나, 카메라의 설치 방향을 결정하면 좋다.

차량에는, 취득된 데이터를 디지털 화상 데이터로서 보존하기 위한 하드 디스크(114) 및 이 보존 등을 제어하기 위한 제어부(110)가 준비되어 있다. 제어부(110)는, 예를 들면 범용(汎用) 컴퓨터에, 화상 데이터 등을 취득·관리하기 위한 컴퓨터 프로그램을 인스톨함으로써 구성가능하다.

GPS(Global Positioning System)(102)는 촬영시의 차량의 위치 정보, 즉 위도 경도를 주기적으로 검출하고, 검출 시각과 함께(共) 출력한다. 이 데이터는, 화상 데이터와 아울러(倂) 여러가지 하드 디스크(114)에 기록된다. 무엇보다도, 후술하는 바와 같이, GPS(102)의 출력은, 촬영 위치의 해석에 필수 데이터는 아니기 때문에, GPS(102)를 생략하는 것도 가능하다. 차속 센서(104)는, 차량이 일정 거리 이동할 때마다 차속 펄스라고 불리는 신호를 출력한다. 차속 펄스도, 화상 데이터와 아울러 하드 디스크(114)에 기록된다.

본 실시예에서는, 촬영 위치의 해석 정밀도를 향상시키기 위해서, 촬영중에 기준 위치, 즉 위도 경도가 기지의 위치를 통과한 시점에서, 통과한 시각 및 기준 위치의 정보를 기록하는 것으로 했다. 차량에는, 오퍼레이터의 지시에 따라서, 이 기록을 행하기 위해서, 기준 위치 입력부(112)가 설치되어 있다. 기준 위치 입력부(112)는, 제어부(110)와 마찬가지로, 범용 컴퓨터에, 기준 위치 입력 기능을 실현하기 위한 컴퓨터 프로그램을 인스톨함으로써 구성가능하다.

본 실시예에서는, 디스플레이 위에 표시된 지도(132d)에서, 오퍼레이터가 기록해야 할 기준 위치를 마우스 등으로 클릭하면, 클릭된 시각 및 기준 위치의 정보가 기록되는 구성으로 했다. 지도 표시에 필요한 지도 데이터는, 하드 디스크(114)나 CD-ROM 등의 기록 매체에 미리 기록해 두도록 해도 좋고, 무선(無線) 네트워크를 거쳐서 외부 서버로부터 취득하도록 해도 좋다. 기준 위치 정보의 입력은, 상술한 방법에 한하지 않고, 위도 경도 등의 정보를 키보드 등으로부터 직접 입력하도록 해도 좋고, 기록해야 할 기준 위치가 미리 설정되어 있는 경우에는, 각각의 기준 위치에 대응지어진 코드를 입력해도 좋다. 나아가서는, 촬영시에는 기준 위치 정보의 입력을 생략 하고, 단지 통과 시각만을 입력하도록 해도 좋다.

본 실시예에서는, 제어부(110)및 기준 위치 입력부(112)를, 컴퓨터 프로그램의 인스톨에 의해서 소프트웨어적으로 실현하는 것으로 했지만, 이들은 전용(專用) 회로에 의해서 하드웨어적으로 구성하는 것도 가능하다.

다음에, 화상 데이터 처리 장치(200)의 구성에 대해서 설명한다. 화상 데이터 처리 장치(200)는, 범용 컴퓨터에, 화상 데이터 처리용 컴퓨터 프로그램을 인스톨해서 구성되어 있다. 화상 데이터 취득 장치(100)로부터 화상 데이터 처리 장치(200)에의 데이터의 전송(轉送)은, 리무버블 하드디스크(114a)를 이용하는 것으로 했다. 이러한 방법에 한하지 않고, DVD 및 그밖의 기록 매체를 이용해도 좋고, 네트워크 경유로 전송하도록 해도 좋다.

상술한 컴퓨터 프로그램의 인스톨에 의해, 화상 데이터 처리 장치(200)에는, 도시하는 여러가지 기능 블록이 구성된다. 무엇보다도, 이들 기능 블록의 적어도 일부는, ASIC 등에 의해서 하드웨어적으로 구성하는 것도 가능하다.

데이터 입력부(206)는 화상 데이터 취득 장치(100)에서 생성된 화상 데이터를 입력한다. 앞서 설명한 대로, 화상 데이터와 아울러 GPS(102)에서 검출된 위도 경도, 차속 펄스 및 기준 위치 정보도 입력한다. 이 정보는, 초기 궤적 설정부(204) 및 절출(切出; cutout) 화상 생성부(208)에 인도(受渡; deliver)된다.

초기 궤적 설정부(204)는, 후술하는 촬영 위치 해석 처리에서 이용되는 초기 궤적을 생성한다. 커맨드 입력부(202)는, 오퍼레이터에 의한 마우스나 키보드의 조작을 거쳐서, 초기 궤적의 생성을 위해서 필요한 커맨드를 입력한다. 오퍼레이터로부터 입력되는 커맨드는, 적당히, 초기 궤적 설정부(204) 이외의 기능 블록에 도 인도되지만, 도면의 번잡화(煩雜化)를 피하기 위해서, 도면 중에서는 가장 관련이 높은 초기 궤적 설정부(204)에 인도되는 모양만을 도시했다.

본 실시예에서는, 초기 궤적의 설정에는, 2가지(通) 생성 방법을 취할 수가 있다. 하나는, GPS(102)에서 검출된 위도 경도를 이용하는 방법이다. 또 하나(다른 하나)는, GPS(102)의 검출 결과를 이용하지 않고, 도로 네트워크 데이터를 이용해서 생성하는 방법이다. 도로 네트워크 데이터라는 것은, 경로 탐색에 이용되는 데이터이며, 도로의 경유 지점(經由地点)을 꺾은선(折線)으로 나타낸 링크, 링크의 교점 또는 끝점(端点)을 나타내는 노드 및, 링크나 노드의 속성 정보에 의해서, 도로를 나타낸 데이터이다. 본 실시예에서는, 네트워크 데이터베이스(220)로서 화상 데이터 처리 장치(200) 내에 격납(格納; 저장)되어 있다. 네트워크 데이터베이스(220)는, CD-ROM 등의 기록 매체나, 네트워크를 거쳐서 접속된 외부 서버 등으로부터 제공하도록 해도 좋다.

화상 배치부(210)는, 설정된 초기 궤적을 따라서, 화상 데이터 중의 각 프레임이 촬영된 위치를 특정한다. 이 위치를 이용함으로써 각 프레임을 초기 궤적 위에 배치하는 것이 가능하게 되기 때문에, 본 명세서에서는, 촬영 위치를 결정하는 처리를 「배치」라고 부르는 일(경우)도 있다. 여기서 특정되는 위치는, 오차를 포함하는 것이며, 촬영 위치 해석 처리의 초기값으로 된다. 이 처리에는, 차속 펄스나 기준 위치 정보가 이용된다. 처리의 내용에 대해서는 후술한다.

본 실시예에서는, 촬영 위치 해석 처리에서는, 입력된 화상 데이터의 일부만을 이용한다. 이 처리를 실현하기 위해서, 절출 화상 생성부(208)는, 입력된 화상 의 각 프레임으로부터, 촬영 위치 해석 처리에 이용할 부분을 절출하는(잘라내는) 처리를 실행한다. 이 때, 광각으로 촬영된 화상에 포함되는 여러가지 일그러짐(歪; distortion)을, 아핀 변환 등에 의해서 보정하는 것이 바람직하다. 화상의 절출은 필수가 아니며, 각 프레임의 화상 전체를 이용해서 촬영 위치 해석 처리를 실행하는 경우에는, 절출 화상 생성부(208)를 생략해도 좋고, 절출 화상 생성부(208)에 화상의 일그러짐 보정만을 행하게 하도록 해도 좋다.

궤적 수정부(212)는, 초기 궤적 위에 복수의 절출 화상을 배치하고, 이들 절출 화상에 대한 화상 처리에 의거해서, 절출 화상 사이의 연속성이 유지되도록 초기 궤적을 수정한다. 이 처리 내용에 대해서는 후술한다. 이와 같이 초기 궤적을 수정하는 것에 의해서, 각 프레임의 정확한 촬영 위치를 구할 수가 있다. 화상 데이터 처리 장치(200)는, 궤적 수정부(212)에서 구해진 촬영 위치를 출력해서 화상 데이터의 처리를 완료할 수도 있다.

본 실시예의 화상 데이터 처리 장치(200)는, 상술한 처리 결과를 이용해서, 표지·표시 추출 처리를 실행가능하다. 표지·표시 추출 처리라는 것은, 복수 프레임의 화상을 합성한 합성 화상을 생성함과 동시에, 이 합성 화상에 의거해서, 도로 위의 표시나 도로가의 표지 등의 형상·위치를 특정하는 처리이다. 이 처리는, 표지·표시 추출부(214)에 의해서 실현된다. 특정 대상으로 되는 표지·표시로서는, 예를 들면 횡단보도나 진로 방향의 규제를 나타내는 화살표 등의 표시, 신호나 도로 표지나 가로수 등을 들 수 있다. 이들 표지·표시는, 개략(槪略) 형상 및 색이 미리 정해져 있다. 표지·표시 데이터베이스(222)는, 이 개략 형상 및 색을, 기본 패턴으로서 격납(저장)하고 있다.

표지·표시 추출부(214)는, 표지·표시 데이터베이스(222)에 격납되어 있는 기본 패턴에 상당하는 화상을 합성 화상으로부터 추출하고, 기본 패턴을 변형해서 합성 화상에 적합한 정확한 표지·표시 형상을 결정함과 동시에, 그 위치를 특정한다. 화상 데이터 처리 장치(200)는, 이렇게 해서 설정된 형상 및 위치를, 표지·표시 위치 데이터(224)로서 관리한다. 표지·표시 위치 데이터(224)는, 리얼리티가 높은 3차원 지도의 생성 등에 이용가능하다.

도 2는 화상 데이터 취득 장치(100)를 구성하는 각 장치의 탑재, 접속예를 도시하는 설명도이다. 도시한 각 장치는, 차량에 탈착(脫着)가능하게 하고 있다. 각 장치의 전원(電源)은, 차량의 배터리로부터 시가(cigar) 라이터 소켓(110b)을 경유해서(거쳐) 취출(取出; extract)되는 직류 전원을, DC-AC 카 인버터(110c)로 교류 변환해서 이용한다. 도 1에 도시한 제어부(110) 및 리무버블 하드디스크(114a)의 기능은, 노트북 PC(laptop computer, notebook-sized PC)(110a)에서 실현한다. 노트북 PC(110a)에는, GPS(102)의 검출 신호가 입력된다. GPS(102)의 안테나(102a)는, GPS의 전파를 수신가능한 위치에 설치한다.

도면의 구성예에서는, 정면을 촬영하는 비디오 카메라로서 (120a, 120b, 120c)의 3대가 설치되어 있다. 비디오 카메라(120b)는, 방향 안내판의 촬영 전용이다. 비디오 카메라(120a, 120b, 120c)와 노트북 PC(110a)는 IEEE 인터페이스(200a)를 거쳐서 접속하고 있으며, 각 프레임의 촬영 시점을 나타내는 타임 코드가 비디오 카메라(120a, 120b, 120c)로부터 노트북 PC(110a)에 송신된다. 노트북 PC(110a)는, 촬영 위치의 해석용으로, 이 타임 코드를 차속 펄스나 기준 위치 정보와 대응지어서 기록해 둔다.

비디오 카메라(122R, 122L)는, 차량의 좌우 방향의 화상을 촬영하는 카메라이다. 비디오 카메라(122R, 122L)의 음성 입력은, 노트북 PC(110a) 의 음성 출력과 접속되어 있다. 노트북 PC(110a)가, 차속 펄스에 맞춰서 소정의 음성 펄스 신호를 출력하면, 음성 펄스 신호가 비디오 카메라(122R, 122L)의 음성 트랙에 기록되기 때문에, 해석시에 촬영된 각 프레임과 차속 펄스와의 대응짓기(對應付)가 가능하게 된다. 도시한 접속예 이외에, 음성 입출력을 이용한 접속 방법을, 비디오 카메라(120a, 120b, 120c)에 적용해도 좋다. 또, IEEE 인터페이스를 이용한 접속 방법을, 비디오 카메라(122R, 122L)에 적용해도 좋다.

차속 펄스를 검출하기 위한 펄스 발생기(發生器)(104a)는, 차량의 뒷바퀴 회전(後輪回轉)을 자기적(磁氣的)으로 검출하고, 회전에 동기(同期)한 펄스를 발생하는 장치이다. 예를 들면, 파이오니아(Pionner)사제(社製)의 ND-PG1(상표)을 이용할 수가 있다. 펄스 카운터(104b)는, 발생된 펄스를 카운트하고, 카운트 결과를 시각과 함께 출력하는 장치이다. 예를 들면, 터틀(Turtle) 공업사제(工業社製)의 TUSB-S01CN1(상표)을 이용할 수가 있다. 본 실시예에서는, 펄스 발생기(104a) 및 펄스 카운터(104b)는, 각각 차량 후방의 트렁크내에 설치했다.

도시한 구성에 의하면, 화상 데이터 취득 장치(100)를 시판(市販) 장치의 조합(組合)으로 구성할 수가 있다. 또, 차량에 대해서 탈착가능하기 때문에, 장치의 이동이 용이하다. 예를 들면, 도시한 각 장치를 계측지까지 전차(電車; 전철), 항 공기 등을 이용해서 운반(運)하고, 계측지에서 차량을 빌리면, 용이하게 계측이 가능하게 되는 이점이 있다.

B. 데이터 구조:

도 3은 화상 데이터 등의 구조를 도시하는 설명도이다. 비디오 카메라(120)로 촬영된 동화상을 구성하는 프레임 데이터, 및 차속 펄스, 기준 위치 펄스의 관계를 도시했다. 도면 위쪽(上方)의 데이터군(群)T에는, 이들 각종(各種) 데이터를 시간 기준으로 배치한 상태를 도시한다.

데이터군 T에 나타내는 대로, 프레임 데이터 Fr1∼Fr10은, 일정 시간 간격으로 취득되고 있다. 본 실시예에서는 30㎐이다. 무엇보다도, 프레임 데이터는, 임의의 시각에 촬영된 정지화상의 집합을 이용할 수도 있다. 이 경우, 시간 간격은 부정(不定; 일정하지 않음)하더라도 좋다.

차속 펄스 P1∼P6은, 차량이 일정 거리 이동할 때마다 취득된다. 본 실시예에서는, 약 0.39m 이동할 때마다 취득되고 있다. 데이터군 T는 시간 기준으로 배열(竝; 늘어놓음)한 것이기 때문에, 차속 펄스의 간격은 차량의 이동 속도에 따라서 변화한다. 예를 들면, 펄스 P1, P2 사이가 좁은 것은 이동 속도가 비교적 높았기(빨랐기) 때문이다. 역으로, 펄스 P2, P3 사이가 넓은 것은 이동 속도가 느렸기 때문이다.

기준 위치 펄스는, 차량이 횡단보도 등의 미리 규정된 기준 위치를 통과한 시점에서 취득된다. 기준 위치 펄스는, 차량이 어느 정도의 거리를 이동한 시점에서 취득되는 것이기 때문에, 프레임 데이터 및 차속 펄스와 비교해서, 취득 빈도 (頻度)는 낮다. 또, 후술하는 바와 같이, 기준 위치 펄스는, 촬영 위치 해석 처리의 정밀도를 향상시키기 위해서 초기 위치로서 이용되는 것이기 때문에, 이와 같이 낮은 빈도이더라도 지장은 없다.

아래쪽의 데이터군 R에는, 데이터군 T에 나타낸 각 데이터를 촬영시의 이동 거리 기준으로 배열한 상태를 도시했다. 이동 거리 기준이기 때문에, 도시하는 대로, 차속 펄스 P1∼P6이 등간격으로 배열되게 된다. 프레임 데이터 Fr1∼Fr8은, 각각의 차속 펄스 사이에서는 차량이 등속으로 이동하고 있다고 하는 가정하에서 배열된다. 이 결과, 예를 들면 프레임 데이터 Fr2는, 다음의 규칙하에서 배열되게 된다.

t1:t2=r1:r2;

t1…데이터군 T에서의 차속 펄스 P1과 프레임 Fr2 사이의 시간

t2…데이터군 T에서의 차속 펄스 P2와 프레임 Fr2 사이의 시간

r1…데이터군 R에서의 차속 펄스 P1과 프레임 Fr2 사이의 거리

r2…데이터군 R에서의 차속 펄스 P2와 프레임 Fr2 사이의 거리

다른 각 프레임 데이터 및 기준 위치 펄스도 마찬가지이다. 이렇게 하는 것에 의해, 데이터군 R에 나타내는 바와 같이, 각 프레임 데이터를 촬영시의 궤적을 따라서 배치하는 것, 즉 궤적을 따르는 방향의 위치를 특정하는 것이 가능하게 된다.

프레임 데이터의 배치는, 도시한 방법에 의존하지 않고, 여러가지 방법을 취할(채용할) 수가 있다. 예를 들면, 차속 펄스와 비교해서 프레임 데이터가 충분 히 높은 빈도로 취득되고 있는 경우에는, 이들 프레임 데이터로부터, 차속 펄스와 동기하고 있는 것을 추출하도록 해도 좋다. 이렇게 하는 것에 의해, 등거리 간격으로 취득된 프레임 데이터군을 생성하는 것이 가능하게 된다. 차속 펄스와 동기하고 있는 프레임 데이터를 추출하는 경우, 촬영 위치의 해석에 요구되는 정밀도를 고려하고, 양자의 시각 사이에 소정 범위내의 오차를 허용해도 좋다.

C. 촬영 위치 해석 원리:

이하에서는, 프레임 데이터의 추출에 의해, 등거리 간격으로 취득된 프레임 데이터군을 생성한 경우를 예로 들어서, 촬영 위치 해석 처리의 원리를 설명한다. 단, 도 3의 데이터군 R과 같이 부정 거리 간격으로 프레임 데이터가 배치되는 경우에서도, 마찬가지 처리를 적용가능하다.

본 실시예의 촬영 위치 해석 처리에서는, 우선 촬영시의 이동 궤적을 일정 오차 범위내에서 나타낸 초기 궤적을 설정한다. 그리고, 특징점 추적 처리라고 칭하는 프레임 데이터를 이용한 화상 해석 처리에 의해서, 이 초기 궤적을 수정하는 것에 의해, 각 프레임 데이터의 촬영 위치를 구한다. 이하에서는, 우선 초기 궤적의 설정 방법, 특징점 추적 처리 순(順)으로 설명한다.

C-1. 초기 궤적:

도 4는 초기 궤적의 설정 방법을 도시하는 설명도이다. 이 예에서는, GPS(102)에서 취득된 위도 경도 데이터에 의거해서 초기 궤적을 설정했다. 촬영시에는, 도로 R1, R2를 포함하는 교차점을 화살표 Ar1로부터 Ar2를 향해서 통과하는 궤적을 취한 것으로 한다. 도면 중의 검은 삼각형은, GPS(102)에서 얻어진 위도 경도 데이터를 나타내고 있다. GPS(102)의 위도 경도는, 자이로의 병용(倂用) 등에 의해서 보완해도 좋다. 흰 동그라미(白丸)는 등거리 간격으로 얻어진 프레임 데이터군을 나타내고 있다. 또, 흰색의 이중 동그라미 CP1, CP2는, 기준 위치 펄스가 취득된 지점을 나타내고 있다. 앞서 설명한 대로, 본 실시예에서는, 횡단보도 CW1, CW2에서 기준 위치 펄스가 취득되고 있는 것으로 한다.

초기 궤적은, GPS(102)에서 얻어진 위도 경도를 순차, 연결함으로써 설정된다. 기준 위치 펄스가 취득된 지점을 기준으로 해서, 초기 궤적 위에, 등거리 간격으로 각 프레임 데이터를 배치함으로써, 도 4에 도시하는 바와 같이 촬영 위치 해석 처리의 초기값으로서, 각 프레임 데이터의 촬영 위치가 구해진다. GPS(102)에서 얻어지는 위도 경도는 오차를 포함하고 있기 때문에, 도 4에 도시하는 초기 궤적도 촬영시의 이동 방향(이하, 단지 「이동 방향」이라고 칭한다)의 오차 및, 이동과 교차하는 방향(이하, 「교차 방향」이라고 칭한다)의 오차를 각각 포함하고 있게 된다. 단, 기준 위치 펄스가 얻어진 지점으로부터 등거리 간격으로 배치하는 방법을 취하는 것에 의해, 이동 방향의 오차는 충분히 작다고 생각되며, 교차 방향의 오차가 주로 포함되게 된다.

도 5는 변형예로서의 초기 궤적의 설정 방법을 도시하는 설명도이다. GPS(102)에서 얻어지는 위도 경도를 이용하지 않고 초기 궤적을 설정하는 예를 도시했다. 변형예에서는, 위도 경도 대신에, 도로 네트워크 데이터를 이용한다. 도면 중에 도시하는 파선(破線) L1, L2가 각각 도로 R1, R2에 대응하는 링크를 나타내고 있다. 검은 동그라미(黑丸) N1은 노드이다. 도로 네트워크 데이터라는 것 은, 이와 같이 링크, 노드에 의해서 도로를 나타낸 데이터이다. 도 5에서는, 링크는 직선모양(直線狀)으로 도시하고 있지만, 도로의 형상에 따라서는 꺾은선 모양(折線狀)으로 되는 일도 있다. 링크는 각각의 경유점 및 끝점의 위도 경도에 의해서 규정되어 있다. 위도 경도에 더하여 높이 정보를 포함하는 일도 있다.

변형예에서는, 촬영시에 통과한 도로의 링크를 초기 궤적으로서 이용한다. 도면의 예에서, 도로 R1로부터 R2에 이르는 경로를 촬영에 이용한 경우에는, 링크 L1, L2가 초기 궤적으로서 이용되게 된다. 각 프레임 데이터는, 이 초기 궤적 위에서, 기준 위치 펄스에 대응하는 지점을 기준으로 해서, 등거리 간격으로 배치된다. 변형예의 방법에 의하면, 노드 N1 근방에 나타내는 바와 같이 초기 궤적이 분단된 상태로 되는 경우가 있지만, 후술하는 특징점 추적 처리에 의해서 궤적의 수정을 행하는 것에 의해, 연속한 궤적이 얻어지도록 되기 때문에 지장은 없다.

변형예의 초기 궤적도, 실제의 촬영 위치에 대해서 오차를 포함하고 있다. 단, GPS(102)의 출력을 이용한 예(도 4 참조)와 마찬가지로, 이동 방향의 오차는 비교적 작고, 주로 교차 방향의 오차가 포함되어 있다고 생각된다.

C-2. 특징점 추적 처리:

도 6은 특징점 추적 처리의 원리를 도시하는 설명도이다. 도면의 중앙에 도시한 파선의 원(圓) Pt1∼Pt4는, 초기 궤적 위에서 프레임 데이터가 배치된 위치를 나타내고 있다. 원 Pt1로부터 Pt4로 향하는 방향이 이동 방향이다. 도면의 우측에는, 각각의 위치에 대응하는 프레임 데이터로 나타내어지는 화상 Pic1∼Pic4를 예시했다. 이들 화상은, 촬영된 화상의 아래쪽 일부를 절출한 것이다. 예를 들 면, 화상 Pic1은, 도면의 아래쪽에 도시하는 원화상(原畵像) Por 중 파선으로 나타낸 하부 영역을 절출한 것이다. 다른 화상 Pic2∼Pic4도 마찬가지로 해서, 하부를 절출한 것이다. 이하, 이와 같이 원화상으로부터 절출된 화상을, 절출 화상이라고 부르는 것으로 한다.

특징점 추적 처리에서는, 이들 화상중에 포함되는 특징점의 위치에 의거해서, 초기 궤적의 오차를 특정하고, 궤적을 수정한다. 본 실시예에서는, 도로의 차량 통행대의 구획선을 특징점으로서 이용하는 것으로 했다. 도면 중의 예에서, 원화상 Por의 중앙 하부에 도시한 실선이 구획선을 나타내고 있다.

화상 Pic1∼Pic4의 무게중심(重心)을, 각각 초기 궤적 Pt1∼Pt4에 맞추어서 배치했다고 한다. 이 때, 도면 중의 파선 FP로 나타내는 바와 같이, 특징점이 순차 어긋나게 되었다고 한다. 초기 궤적 Pt1∼Pt4가 촬영시의 궤적을 정확하게 나타내고 있다고 하면, 각 화상 사이에서 특징점의 어긋남은 생기지 않을 것이다. 다시말해, 특징점의 어긋남은, 초기 궤적에 오차가 포함되어 있는 것을 나타내고 있다. 예를 들면, 화상 Pic1과 Pic2 사이의 어긋남량 OS는, 초기 궤적 위치 Pt1을 기준으로 해서 생각한 경우에, 위치 Pt2의 교차 방향에서의 오차가 OS로 된다. 따라서, 위치 Pt2 를 교차 방향으로 「-OS」 이동시키면, 올바른(정확한) 궤적을이 얻어지게 된다. 이렇게 해서 얻어진 위치가 도면 중의 실선으로 나타낸 원 Pc2이다.

다른 위치 Pt3, Pt4에 대해서도 마찬가지로 해서, 인접하는 화상 사이의 특징점의 어긋남량을 구하고, 이 어긋남량에 따라서 교차 방향의 위치를 수정하는 것 에 의해, 올바른 궤적 위의 위치 Pc3, Pc4가 얻어진다. 도면의 예에서는, 이 처리에 의해서, 위치 Pt1, Pc2∼Pc4를 통과하는 실선의 궤적이 얻어지게 된다. 도면의 좌측에, 화상 Pic1∼Pic4의 무게중심이 실선의 궤적 위에 오도록 배치한 예를 도시했다. 도시하는 대로, 화상 사이에서 특징점의 어긋남이 해소되게 된다.

도 6에서는, 원화상으로부터 단순하게 절출한 화상을 이용한 예를 도시했다. 특징점 추적 처리에 앞서서, 아핀 변환 등에 의해, 화상 하부의 일그러짐을 보정해도 좋다. 본 실시예와 같이 광각의 카메라로 촬영한 화상 데이터를 이용하는 경우에는, 보정을 행하는 것이 바람직하다. 이 보정에 의해, 도로 바로위로부터 노면을 촬영한 상태에 상당하는 화상을 얻을 수 있기 때문에, 특징점 추적 처리에 의한 촬영 위치의 해석 정밀도를 향상시킬 수가 있다.

본 실시예에서는, 상술한 대로, 원화상의 하부를 절출해서 특징점 추적 처리에 이용했다. 특징점은, 초기 궤적의 오차가 화상내의 위치의 어긋남에 출현하는 임의의 점을 이용가능하다. 예를 들면, 도로 위의 표시 이외에, 가드레일, 도로가의 건물 등, 복수 프레임에 걸쳐서 촬영되어 있는 연속체의 일부를 특징점으로서 이용하는 것이 가능하다. 특징점 추적 처리에 이용하는 절출 화상은, 원화상의 하부에 한하지 않고, 특징점을 포함하는 임의의 개소를 선택가능하다. 또, 원화상 자체를 이용해서 특징점 추적 처리를 행하는 것도 가능하다. 단, 화상 하부의 특징점은, 화상내에 찍힌 여러가지 부위 중, 카메라에 가장 근접한 위치를 포함하고 있기 때문에, 화상 하부를 이용하는 것에 의해 촬영 위치의 해석 정밀도를 향상시키는 것이 가능하다.

상술한 대로, 특징점 추적 처리에서는, 아핀 변환 등에 의해, 화상에 일그러짐 보정을 행해도 좋다. 이 일그러짐 보정을 행하기 위한 변환 계수를 설정하는 수순(手順)을 예시한다.

도 7은 변환 계수 설정 방법의 공정도이다. 우선, 화상 데이터 취득 장치(100)로서의 차량의 전방 노면 위에, 캘리브레이션용 그리드를 배치한다(스텝 S100). 그리드를 배치하는 노면은, 경사나 요철(凹凸)이 없는 평탄한 면인 것이 바람직하다. 그리드는, 차량측의 끝선(端線) NS가 촬영가능한 정도의 간격 d2만큼 열고서 전방으로 배치한다. 그리드의 폭(幅) W 및 길이 L은, 임의로 설정가능하지만, 변환 계수의 설정 정밀도를 향상시키기 위해서는, 카메라로 촬영가능한 범위를 덮을 정도의 사이즈로 하는 것이 바람직하다. 본 실시예에서는, 폭 W를 15m, 길이 L을 3.5m로 했다. 또, 그리드의 메시 사이즈 d1도 임의로 설정가능하다. 메시 사이즈가 미세(細)할 수록, 변환 정밀도는 향상되지만, 변환 계수를 기억해 두기 위한 메모리 용량이 증대한다. 본 실시예에서는, 메시 사이즈 d1은 50㎝로 했다.

다음에, 그리드의 각 메시마다 변환 계수를 산출한다(스텝 S102). 도면 중에 변환 계수의 산출 방법을 도시했다. 차량의 전방으로 배치된 그리드의 촬영 화상은, 도면 중에 실선으로 나타내는 바와 같이, 대략 사다리꼴(台形)로 일그러짐을 일으킨다. 이와 같이 일그러진 각 메시를, 도면 중에 파선으로 나타낸 본래의 형상, 즉 그리드를 정면에서 촬영했을 때의 화상으로 변환하도록, 메시마다 변환 계수를 설정하는 것이다. 예를 들면, 메시 G11을 메시 G21에 사상(寫像)시키는 변환 계수를 설정한다. 또, 메시 G12 를 메시 G22에 사상시키는 변환 계수를 설정한다. 양자의 변환 계수는 달라 있어서도 좋다.

이렇게 해서 설정된 변환 계수를 테이블로서 격납하고(스텝 S104), 특징점 추적 처리에서의 일그러짐 보정에 이용한다. 도면 중에 테이블의 구성예를 도시했다. 본 실시예에서는, 촬영 화상 SCR의 각 픽셀 Pxy에 대해서, 변환 계수 Cxy1 , Cxy2…Cxyn을 할당하는 테이블로 한다. 예를 들면, 그리드를 촬영한 화상에서 메시 G13이 찍혀 있는 픽셀에는, 스텝 S102에서 메시 G13에 대응지어서 산출된 변환 계수를 설정하는 것이다. 이렇게 함으로써, 특징점 추적 처리에서도, 촬영 화상의 각 픽셀마다, 정밀도좋게 일그러짐 보정을 행하는 것이 가능하게 된다. 변환 계수는, 이와 같은 설정에 한정되는 것이 아니며, 예를 들면 촬영 화상의 화면내에서 통일적인 값을 이용하도록 해도 좋고, x방향으로 배열한 메시마다 통일적인 값을 이용하도록 해도 좋다.

도 8은 특징점 추적 처리의 예를 도시하는 설명도이다. 변형예에서 나타낸 초기 궤적(도 5 참조)에 대해서 특징점 추적 처리를 행한 결과를 예시했다. 초기 궤적 위에 배치된 프레임 데이터(도면중의 흰 동그라미)는, 특징점 추적 처리에 의해서, 각각 교차 방향의 오차가 수정된다. 이 결과, 도면 중, 태선(太線; 굵은선)으로 나타낸 궤적 Tr이 얻어진다. 초기 궤적은, 노드 N1 근방에서 분단된 바와 같은 상태로 되어 있지만, 교차 방향의 위치가 수정되는 결과, 도면 중에 도시하는 바와 같이 궤적 Tr은 연속적인 상태로 된다.

도 8에서는, 기준 위치(도면 중의 이중 동그라미) 자체도 교차 방향으로 위치가 수정되고 있는 예를 도시하고 있다. 이것은, 기준 위치는 위도 경도가 기지 의 지점이지만, 도로 네트워크 데이터를 이용해서 초기 궤적을 설정하는 형편상(都合上), 기준 위치도 도로 네트워크 데이터 위에서 임시로(가짜로) 설정할 필요가 있기 때문이다. 기준 위치를 기지의(이미 알고 있는) 위도 경도의 위치로 이동시킨 다음에, 특징점 추적 처리를 행하는 것에 의해, 도시하는 궤적을 얻을 수가 있다.

본 실시예에서는, 기준 위치에서 위도 경도가 기지인 것을 전제로 하고 있지만, 특징점 추적 처리는 기준 위치의 위도 경도의 어느것인가 한쪽이 불명한 경우, 즉 교차 방향의 위치를 특정할 수 없는 경우에도 적용가능하다. 이러한 경우에는, 예를 들면, 기준 위치에서의 화상내에서의 특징점의 절대 위치로부터, 교차 방향에서의 촬영 위치를 특정하도록 하면 좋다. 예를 들면, 기준 위치에서, 화상에 찍혀 있는 도로폭의 중앙의 점이 화상 하부의 중점과 일치하고 있는 경우에는, 촬영 위치는 도로의 중앙이라고 특정되게 된다. 화상 하부의 중점이, 도로폭을 소정비로 내분(內分)하는 내분점으로 되어 있는 경우에는, 촬영 위치는 도로를 같은(동일한) 비율로 내분하는 위치라고 특정되게 된다.

이상의 설명에서는, 단일의 기준 위치를, 이동 방향 및 교차 방향의 쌍방의 기준으로서 이용하는 경우를 예시했다. 특징점 추적 처리는, 이동 방향의 기준 위치와 교차 방향의 기준 위치가 달라 있어도 좋다. 예를 들면, 이동 방향의 기준 위치는, 도 8에 도시하는 바와 같이 횡단보도 위의 점으로 하면서, 교차 방향의 기준 위치는, 궤적 Tr이 구획선을 가로지르는(횡단하는) 지점 Fra로 해도 좋다. 지점 Fra 는, 구획선이 화상의 거의 중앙에 오는 지점이다. 이와 같이 특징점 추적 처리에서의 기준 위치의 선택, 그 좌표의 이용은, 여러가지 방법을 채용할 수가 있다. 특징점 추적 처리에서는, 어느것인가 단일 방법만을 적용하도록 해도 좋고, 여러가지 조건에 의거해서 복수의 방법을 구사하도록 해도 좋다.

D. 촬영 위치 해석 처리:

도 9는 촬영 위치 해석 처리의 플로차트이다. 화상 데이터 처리 장치(200)의 각 기능 블록(도 1 참조)이 협동해서 실현하는 처리이며, 하드웨어적으로는, 화상 데이터 처리 장치(200)를 구성하는 컴퓨터의 CPU가 실행하는 처리이다.

이 처리를 개시하면, CPU는, 화상 데이터, 기준 위치 정보, 차속 펄스를 입력한다(스텝 S10). 도 1에서 설명한 대로, 이들 데이터는, 화상 데이터 취득 장치(100)에 의해서 생성된 데이터이며, 본 실시예에서는, 리무버블 하드디스크(114a)를 거쳐서 화상 데이터 처리 장치(200)에 입력된다.

다음에, CPU는 초기 궤적을 입력한다(스텝 S20). 본 실시예에서는, 유저의 선택에 따라서, GPS(102)에 의해서 검출된 위도 경도를 이용하는 경우의 초기 궤적(도 4 참조) 및, 도로 네트워크 데이터를 이용한 초기 궤적(도 5 참조)의 어느것인가를 입력하는 것으로 했다. 물론, 어느것인가 한쪽만을 이용가능하게 해 두어도 좋다. 도로 네트워크 데이터를 이용하는 경우에는, 스텝 S20에서, 유저에 의한 커맨드에 의거해서 노드, 링크의 지정을 접수(受付)하고, 초기 궤적을 생성하도록 해도 좋다.

초기 궤적이 입력되면, CPU는, 프레임 데이터를 이 초기 궤적 위에 배치한다(스텝 S30). 이것은, 앞서 도 3에 도시한 처리에 상당한다. 즉, 입력된 각 프 레임 데이터에 대해서, 차속 펄스를 이용하여, 초기 궤적에 따른 위치를 결정하는 처리이다. 차속 펄스에 대응하는 프레임 데이터를 추출함으로써, 등거리 간격에 프레임 데이터를 배치하는 처리로 할 수도 있다.

CPU는, 이들 프레임 데이터에 대해서, 아핀 변환에 의한 일그러짐 보정을 행한 다음에, 화상의 하부를 절출하고, 특징점 추적 처리를 실행한다(스텝 S40, S50) . 그리고, 구해진 촬영 위치의 데이터를 각 프레임 데이터에 대응지어서 격납한다(스텝 S60). 이들은, 도 6에서 설명한 처리에 상당한다.

도 10은 특징점 추적 처리의 플로차트이다. 상술한 도 9의 스텝 S50 의 처리에 상당한다. 이 처리에서는, CPU는, 처리 대상으로 되는 절출 화상을 입력하고(스텝 S51), 특징점 위치를 특정한다(스텝 S52). 특징점 위치는, 절출 화상에 대해서 좌우 방향, 즉 차량의 이동 방향과 교차하는 방향으로 취한 x축 방향의 좌표로 된다.

도면 중에 특징점 위치를 구하는 방법을 예시했다. 이 예에서는, 절출 화상의 더욱더 하부의 일정 영역 Ras를 해석해서 특징점 위치를 구한다. 도로 위의 구획선 위치를 특징점으로 하는 경우, 구획선은 흰선으로 그려져 있기 때문에, 다른 부분보다도 명도가 높다. 따라서, 영역에 대해서는, x축 방향에 도시하는 대로의 명도 분포가 얻어진다. 그 중에서, 흰선을 식별가능한 범위에서 미리 설정된 임계값 Th를 넘는 범위 D를 구하고, 이 범위 D의 중앙값을 특징점 위치로 한다.

이렇게 해서 특징점 위치가 구해지면, CPU는, 직전의 절출 화상의 특징점 위치로부터의 어긋남량을 산출한다(스텝 S53). 직전이라는 것은, 초기 궤적을 따라 서 시계열적으로 배치된 복수의 프레임 데이터 중, 대상으로 되어 있는 프레임 데이터 직전에 배치된 데이터를 말한다. 예를 들면, 촬영된 프레임 데이터로부터, 차속 펄스에 대응하는 프레임 데이터를 추출해서 배치하고 있는 경우에는, 촬영된 프레임 데이터에서의 직전의 데이터와는 다른 경우가 있다.

CPU는, 이상의 처리를 전(全) 프레임 데이터에 대해서 완료할 때까지(스텝 S54), 되풀이해서 실행하고, 특징점 추적 처리를 완료한다.

상술한 방법은, 1예에 불과하다. 특징점은 흰선 이외에 건물의 에지 등에 의거해서 설정할 수도 있다. 상술한 예에서는, 명도 분포에 의거해서 특징점을 구하고 있지만, 색상이나 채도를 고려해서, 특징점 위치를 특정하도록 해도 좋다. 또, 다른 방법으로서, 예를 들면 화상 처리에 의해서, 절출 화상 중의 에지를 추출하고, 그 중에서, 구획선이라고 간주할 수 있는 선분을 특정함으로써 특징점 위치를 구하도록 해도 좋다.

도 10의 처리에서는, 화상의 하부 영역 Ras에 의거해서 특징점 위치의 어긋남량을 구하는 예를 나타냈다. 이것에 대해서, 직전의 프레임 데이터에 대해서는, 절출 화상의 상부 영역에 의거해서 특징점 위치를 이용하여, 어긋남량을 구하도록 해도 좋다. 다시말해, 직전의 절출 화상의 상부의 특징점 위치와, 처리 대상으로 되어 있는 절출 화상의 하부의 특징점 위치 사이의 어긋남량을 구하게 된다. 이 방법에 의하면, 상술한 2개의 절출 화상을 보다 정밀도좋게 정합시키는 것이 가능하게 되는 이점이 있다.

도 11은 변형예로서의 특징점 추적 처리의 플로차트이다. 이 처리에서는, CPU는, 우선 연속해서 배치되는 2매의 절출 화상[1][2]를 입력한다(스텝 S54). 그리고, 절출 화상[1][2]의 위치를 상대적으로 어긋나게 하면서, 접속 부분의 명도차 평가값 Ev를 산출한다(스텝 S55).

도면 중에 절출 화상 Pic[1][2]를 대상으로 하는 명도차 평가값 Ev의 산출 방법을 예시했다 . 케이스 A∼D는, 절출 화상 Pic[1]에 대해서 절출 화상 Pic[2]의 교차 방향의 상대적 위치를 왼쪽에서 오른쪽으로 4단계로 이동시킨 상태를 각각 가리키고 있다. 케이스 A에 나타내는 바와 같이, 이 배치에서 절출 화상 Pic[1][2]가 접하는 영역에서, x축 방향의 좌표가 동일하게 되는 화소 Px1, Px2의 명도차의 절대값 또는 명도차의 이승값(제곱값)을 구하고, 이 값의 x축 방향의 총합(總和)을 명도차 평가값 Ev로 한다.

명도차 평가값 Ev는, 절출 화상 Pic[1][2]의 상대적인 위치에 의해서 변화한다. 도면의 우측에 명도차 평가값 Ev의 변화를 나타냈다. 도시하는 대로, 절출 화상 Pic[1][2]의 화상이 정합하는 케이스 C에서, 명도차 평가값 Ev는 최소로 된다. 역으로, 명도차 평가값 Ev가 최소로 되는 상대적인 위치 관계를 구하면, 절출 화상 Pic[1][2]의 어긋남량을 특정할 수가 있다(스텝 S56)

이렇게 해서 어긋남량이 구해지면, CPU는, 절출 화상 [1]을 절출 화상 [2]로 치환하면서, 전프레임 데이터에 대해서 완료할 때까지 처리를 되풀이한다. 변형예의 방법에 의해서도, 특징점 추적 처리를 실현하는 것이 가능하다. 또, 이 처리에서는, 인접하는 절출 화상 사이의 명도차에 의거해서 어긋남량을 특정하기 때문에, 화상 사이를 정밀도좋게 정합시키는 것이 가능하게 되는 이점이 있다.

E. 표지·표시 추출 처리:

도 12는 표지·표시 추출 처리의 플로차트이다. 도 9에 도시한 촬영 위치 해석 처리에 의해서 구해진 촬영 위치 데이터를 이용하여 행하는 어플리케이션으로서의 처리이다. 도 1에 도시한 표지·표시 추출부(214)가 실행하는 처리에 상당하며, 하드웨어적으로는 화상 데이터 처리 장치(200)의 CPU가 실행하는 처리이다.

처리를 개시하면, CPU는 절출 화상 및 촬영 위치 데이터를 입력한다(스텝 S70). 절출 화상은, 앞서 설명한 대로 아핀 변환을 행하고 있으며, 도로를 위쪽에서 촬영한 평면 화상에 상당하는 상태로 되어 있다.

CPU는 촬영 위치 데이터에 따라서, 각각의 절출 화상을 배치하고, 화상을 합성한다(스텝 S71). 이 배치는, 절출 화상을, 평면 위에 붙여(貼付; 접합해) 가는 것을 의미한다. 도면 중에 절출 화상의 배치 방법을 예시했다. 촬영 위치 해석 처리의 결과, 절출 화상의 촬영 위치가 x, y좌표로 특정되어 있는 것으로 하며, 차량의 이동 궤적이 곡선 Pass와 같이 특정되어 있는 것으로 한다. 또, 절출 화상 Pic의 무게중심 위치는 Ps, 교차 방향 및 이동 방향의 좌표축은 Lx, Ly인 것으로 한다. 이 때, 절출 화상 Pic는, 무게중심 Ps를 상술한 촬영 위치에 일치시키고, 화상의 좌표축 Ly가 이동 궤적 Pass에 접하는 방향으로 배치한다.

도면의 아래쪽에는, 상술한 방법으로 연속적으로 화상을 배치한 예를 도시했다. 좌측에는, x-y 평면에서 2차원적으로 절출 화상을 배치한 상태를 도시하고 있다. 절출 화상은, 이와 같이, 이동 궤적을 따라서 매끄럽게 방향을 바꾸면서 배치되고, 항공 사진과 같은 평면적인 합성 화상을 얻을 수가 있다. 이 합성 화상은, 본 실시예에서는, 노면 근방에서 촬영한 화상을 이용하고 있기 때문에, 항공 사진의 수배(數倍)의 해상도로 되어 있다.

도면의 우측에는, 높이 방향(z방향)의 변화를 수반하는 이동 궤적을 따라서 화상을 배치한 예를 도시했다. 이러한 이동 궤적은, 예를 들면 도로 네트워크 데이터의 높이 정보를 이용해서 설정된 초기 궤적에 대해서 특징점 추적 처리(도 10, 도 11 참조)를 적용하는 것에 의해 얻을 수가 있다. 이와 같이 높이 정보를 이용하는 것에 의해, 고속도로에의 램프(ramp; 접속용 경사로, 램프웨이) 등의 오르막길(上板; upslope, uphill, ascent)에 대해서도 합성 화상을 얻을 수가 있다. 또, 노면을 주행하면서 촬영한 화상을 이용하고 있기 때문에, 고가(高架) 아래를 빠져나가는 도로와 같이, 항공 사진에서는 얻어지지 않는 부분에 대해서도 평면적인 합성 화상을 얻을 수가 있다.

CPU는, 미리 준비된 표지·표시 패턴 데이터를 판독입력(讀入; read into, load; 읽어들임)하고(스텝 S72), 합성 화상의 화상 처리에 의해서, 이들 패턴 데이터에 적합한 부위를 특정함으로써, 표지·표시의 위치를 특정한다(스텝 S73). 아울러, 표지·표시의 형상을 특정할 수도 있다. 표지·표시 패턴 데이터에는, 예를 들면 우회전/좌회전(右左折) 규제를 나타내는 화살표 등 도로 위에 그려진 표시, 신호기나 도로 표지 등이 포함된다. CPU는, 화상 처리에 의해서, 이 표시에 대응하는 형상을 합성 화상으로부터 추출하고, 그 위치를 특정하는 것이다. 또, 패턴 데이터로서 준비된 형상과, 합성 화상에 포함되는 표시가 다른 경우에는, 패턴 데이터를 횡방향 또는 종방향으로 임의의 비로 확대·축소하는 등 해서, 표시· 표지의 형상을 특정한다. 도로 표지 등에 대한 처리도 마찬가지이다.

F. 처리예:

도 13 및 도 14는 화상 데이터의 처리예를 나타내는 설명도이다. 도 13에 도시한 화상 Porg는, 비디오 카메라로 촬영된 차량 정면의 화상이다. 이 화상의 하부를 절출한 절출 화상이 화상 Pco이다. 이 도면은, 아핀 변환을 행하기 전의 상태를 도시하고 있다.

도 14의 하부의 화상 Ex1은, 절출 화상의 예이다. 이 절출 화상 Ex1에 아핀 변환을 행하면, 화상 Ex2의 아래쪽에 사각 테두리(frame)로 둘러싼 부분의 화상이 얻어진다. 다른 프레임 데이터에 대해서도, 마찬가지로 절출 화상을 준비하고, 아핀 변환을 행한 다음에, 초기 궤적을 따라서 배치하면, 화상 Ex2가 얻어진다. 다시말해, 화상 Ex2는, 촬영 위치 해석 처리(도 9)의 스텝 S30을 행한 상태의 화상에 상당한다. 단, 화상 Ex2는, 처리 내용을 설명하기 위해서 편의상, 도시한 것이며, 실제 처리에서는, 이와 같이 각 프레임 데이터를 배치·합성한 합성 화상을 생성할 필요는 없다.

화상 Ex2는, 이동 방향과 교차하는 방향의 위치가 수정되어 있지 않기 때문에, 노면의 표시가 불연속으로 되는 부정합 개소가 존재한다. 예를 들면, 직진·좌회전하는 차선인 것을 나타내는 표시 Mk는, 프레임 데이터의 경계 SL에서 도면 중의 좌우 방향으로 어긋나 있는 것을 알 수 있다. 화상 Ex2에서는, 어긋남을 인식하기 쉽도록, 표시 Mk에 가선(緣取; trimming)이 붙여져(둘러져) 있다.

화상 Ex3은, 특징점 추적 처리에 의해서 교차 방향의 어긋남을 수정 한 상태 를 나타내고 있다. 각 프레임 데이터의 촬영 위치가 구해진 후의 합성 화상이기 때문에, 표지·표시 추출 처리(도 12)의 스텝 S71 상태에 상당한다. 도면으로부터 알 수 있는 바와 같이, 도로 표시의 어긋남이 해소되어 있는 것을 알 수 있다. 이 화상을 이용하는 것에 의해, 예를 들면 도로 위의 좌회전·직진 차선을 나타내는 표시나 횡단보도 등의 위치를 구하는 것이 가능하게 된다. 또, 도면의 예에서는, 차량에 의해서 좌회전·직진 차선의 표시의 일부가 결락(缺落)되어 있지만, 패턴 데이터를 이용하는 것에 의해, 표시의 형상을 재현하는 것이 가능하게 된다.

이상에서 설명한 본 실시예의 화상 데이터 처리 시스템에 의하면, 특징점 추적 처리에 의해서 이동 방향과 교차하는 방향의 촬영 위치를 정밀도좋게 구할 수가 있다. 또, 차속 펄스와 같이 촬영시의 이동 거리를 나타내는 정보를 이용하는 것에 의해, 이동 방향의 위치 정밀도도 향상시킬 수가 있다. 이 결과, 각 프레임 데이터의 촬영 위치를 정밀도좋게 특정하는 것이 가능하게 되며, 도 14에 도시하는 바와 같이, 고해상도의 합성 화상을 얻는 것이 가능하게 된다.

이와 같은 합성 화상을 활용하는 것에 의해, 차량으로 주행하면서 비디오 카메라로 촬영하는 것만으로, 특별한 계측을 행할 것까지도(필요도) 없이, 노면의 도로 표시나 길(路; 도로) 측의 표지 형상 및 위치를 특정하는 것이 가능하게 된다. 따라서, 노면의 모습을 정확하게 재현한 3차원 지도 데이터의 생성에 요(要)하는 부담을 대폭 경감하는 것이 가능하게 된다. 이것은, 각 프레임 데이터의 촬영 위치가 구해진 후의 어플리케이션의 1예에 불과하며, 촬영 위치가 부여(付與)된 프레임 데이터는, 건축물의 높이 추정 등 여러가지 용도에 활용가능하다.

G1. 변형예∼프레임 데이터 배치 방법:

도 15는 변형예로서의 프레임 데이터 배치 방법을 도시하는 설명도이다. 촬영 위치 해석 처리(도 9)의 스텝 S30의 처리의 변형예에 상당한다. 실시예와 마찬가지로, 화살표 Ar1로부터 Ar2 방향으로 이동하면서 촬영한 프레임 데이터를, 링크 L1, L2에서 설정된 초기 궤적 위에 배치하는 예를 나타냈다.

변형예에서는, 기준 위치(도면 중의 이중 동그라미의 위치)를 시작점으로 해서, 촬영시에 시계열로 역행하도록 프레임을 배치한다. 예를 들면, 링크 L1 위에서는, 기준 위치를 시작점으로 해서, 차속 펄스에 대응한 거리만큼 역행(逆行), 즉 도면 중의 화살표 DL 방향으로 이동한 위치에, 순차 프레임 데이터를 배치해 간다. 이 결과, 링크 L1 위에서는, 기준 위치에 가까운 영역 E1 쪽이, 먼 영역 E2보다도, 프레임 화상의 위치 정밀도가 높아진다. 따라서, 이러한 배치를 이용하여, 촬영 위치의 해석 및 화상의 합성, 표지·표시 추출 처리(도 9∼도 12 참조)를 실행하면, 화상의 정밀도, 추출되는 표지 등의 위치 정밀도는 기준 위치에 가까울 수록 높아진다. 이렇게 해서 생성된 데이터는, 예를 들면 차량에 탑재된 내비게이션 시스템의 안내 화상에 이용할 수 있고, 도 15 중의 화살표 Ar1로부터 Ar2로 이동할 때에는, 노드 N1에 대응하는 교차점에 가까워질수록, 높은 위치 정밀도로 차량을 정확하게 또한 원활하게 안내하는 것이 가능하게 된다. 나아가서는, 차량의 자동 운전 제어를 실현하는 것도 가능하게 된다.

상술한 양태의 또다른 변형예로서, 기준 위치를 시작점으로 해서, 이동 방향 및 역방향의 쌍방으로 순차, 프레임 데이터를 배치하도록 해도 좋다. 다시말해, 실시예(도 5)에서 설명한 배치 방법과, 변형예(도 15)에서 설명한 배치 방법을 조합하여 적용해도 좋다. 이렇게 하는 것에 의해, 프레임 데이터 전체의 위치 정밀도를 향상시킬 수 있는 이점이 있다.

대향하는 복수의 통행대가 설치되어 있는 도로를 촬영한 화상을 처리하는 경우, 기준 위치를 시작점으로 해서 시계열과 역순으로 프레임 화상 등을 배치하는 양태는, 한쪽측의 통행대(통상은, 촬영시에 이동한 통행대)만이 촬영되어 있는 화상에 유용하다. 한편, 양측의 통행대가 촬영된 화상에 대해서는, 기준 위치를 시작점으로 해서, 이동 방향 및 역방향의 쌍방으로 순차, 프레임 데이터를 배치하는 방법이 유용하게 된다.

G2. 변형예∼측면 화상의 활용:

실시예에서는, 횡단보도를 기준 위치로서 이용하는 예를 나타냈다(도 6 참조). 해석 정밀도를 향상시키기 위해서는, 다종다양한 기준 위치를 병용하는 것이 바람직하다. 예를 들면, 횡단보도를 기준 위치로서 이용할 수 없을 정도로 긁혀(擦) 있는 경우나, 다른 차 등에 숨어서 촬영할 수 없는 경우에도, 다른 기준 위치가 활용가능하게 되기 때문이다. 변형예에서는, 이와 같은 기준 위치의 1예로서, 측면용 비디오 카메라(122R, 122L)(도 2 참조)로 촬영한 화상에 찍혀 있는 건물을 이용하는 예를 나타낸다.

도 16은 측면 화상을 활용해서, 기준 위치를 구하는 방법을 도시하는 설명도이다. 도면의 위쪽에는 2차원 지도의 일부를 확대해서 도시했다. 도면 중의 도로 위를 점 P1로부터 점 P2로 이동하면서 측면 화상을 촬영했다고 한다. 이 도로에 는, 빌딩 BLD1∼BLD3이 세워져 있다고 한다. 빌딩 BLD1∼BLD3의 위치 좌표(위도, 경도)는 기지이다.

점 P1에서 실선으로 나타내는 화각 A1로 빌딩을 촬영한 경우를 생각한다. 도면의 아래쪽에 나타내는 대로, 이 시점에서의 화상 PIC1에는, 빌딩 BLD1, BLD2가 촬영된다. 점 P2에 이동하면서, 파선으로 나타내는 화각으로 빌딩이 촬영된다. 점 P1, P2에서 각각 촬영된 화상을 비교하면, 빌딩 BLD1의 코너 CNR의 위치가 상대적으로 이동한다. 점 P1과 코너 CNR을 연결하는(잇는) 선과 화각의 끝선이 이루는 각도를 각도 A2로 하면, 점 P1의 시점에서는, 코너 CNR에 대응하는 에지 EDG1은 화면 PIC1의 폭 SC를 A2/ A1로 내분한 점에 찍힌다. 점 P2의 시점에서는, 각도 A2 가 커지기 때문에, 에지 EDGI의 위치는 도면 중의 오른쪽 방향으로 이동한다. 이 이동 거리를 MB로 한다. 점 P1로부터 점 P2까지의 이동 거리 MA는 기지이다. 따라서, 이동 거리 MA , MB 및 화각 A1에 의거해서, 기하학적으로 촬영 위치로부터 코너 CNR까지의 거리 DIST를 결정할 수가 있다. 마찬가지 처리는 빌딩 BLD1의 다른쪽의 에지 EDG2에 대해서도 행할 수가 있다. 또, 거리 DIST 가 구해지면, 화각 A1에 의거해서, 에지 EDG1, EDG2 사이의 실제의 거리, 즉 빌딩 BLD1 의 폭을 특정할 수가 있다.

촬영되어 있는 건물이 빌딩 BLD1인 것으로서 설명했지만, 상술한 연산은, 어느 건물이 촬영되고 있는지 특정할 수 없는 상태에서도 지장없이 행할 수가 있다. 변형예의 화상 데이터 처리 장치(200)는, 상술한 연산 결과에 의거해서 화상 PIC1에 찍혀 있는 건물을 검색한다. 변형예에서도, 점 P1, P2의 위치는 소정의 오차 범위내에서 특정되고 있다. 따라서, 점 P1을 기준으로 해서 거리 DIST의 위치에 있는 건물의 위치 좌표를 소정의 오차 범위내에서 구할 수가 있다. 또, 지도 데이터베이스를 참조 하는 것에 의해, 상술한 방법으로, 요구된 위치 좌표의 근방에서, 에지 EDG1, EDG2로부터 요구된 값에 상당하는 폭을 가지는 건물, 즉 화상 PIC1에 촬영된 건물을 특정할 수 있으며, 그 좌표를 특정할 수가 있다. 지도 데이터베이스로부터 얻어진 좌표와, 연산으로 구해진 좌표와의 오차는, 점 P1 위치 오차이다. 따라서, 이 오차를 반영하는 것에 의해, 점 P1의 위치 좌표를 수정할 수가 있다. 이렇게 해서 수정된 촬영 위치는, 기준 위치로서 이용할 수가 있다.

상술한 처리에서, 건물의 에지 EDG1, EDG2는, 화상 처리에 의해서 자동적으로 특정하는 것도 가능하기는 하지만, 변형예에서는, 정밀도좋게 특정가능하게 하기 위해서, 오퍼레이터가 화상을 보면서 마우스 등의 포인팅 디바이스에 의해서 에지 EDG1, EDG2를 끌어당기는 것에 의해서 지정하는 것으로 했다.

도 17은 변형예에서의 기준 위치 산출 처리의 플로차트이다. 도 16에서 설명한 방법에 따라서, 화상 데이터 처리 장치(200)가 기준 위치를 구하기 위한 처리이다. 화상 데이터 처리 장치(200)는, 우선 복수의 대상 프레임, 해석의 대상으로 되는 대상 빌딩 및, 그의 에지의 지정을 입력한다(스텝 S200). 또, 지정된 대상 프레임의 촬영 위치, 즉 GPS에서 검출된 위치 좌표를 입력한다(스텝 S202).

다음에, 화상 데이터 처리 장치(200)는, 대상 프레임 사이에서의 에지의 이동 거리 MB 및, 촬영 위치의 이동 거리 MA(도 16 참조)를 산출한다(스텝 S204). 그리고, 이동 거리 MA, MB에 의거해서, 촬영 위치와 대상 빌딩과의 거리 DIST 및, 대상 빌딩의 폭을 산출한다(스텝 S206). 화상 데이터 처리 장치(200)는, 네트워크 데이터베이스(220)(도 1 참조)를 참조해서, 촬영위치(GPS 출력), 거리 DIST, 대상 빌딩의 폭에 적합한 빌딩을 대상 빌딩으로서 특정한다(스텝 S208).

이렇게 해서 대상 빌딩이 특정되면, 네트워크 데이터베이스(220)로부터, 대상 빌딩의 좌표를 얻을 수가 있다. 따라서, 화상 데이터 처리 장치(200)는, 대상 빌딩의 위치를 기준으로 해서, 거리 DIST 및 촬영 화상내의 에지의 위치에 의거해서, 촬영 위치를 특정한다(스텝 S210). 이것은, 연산으로 얻어진 대상 빌딩의 위치 좌표와, 네트워크 데이터베이스(220)로부터 얻어진 위치 좌표의 오차를, GPS 출력으로서의 촬영 위치에 반영함으로써, 촬영 위치의 오차를 수정하는 처리에 상당한다. 화상 데이터 처리 장치(200)는, 이렇게 해서 특정된 촬영 위치를 기준 위치로서 설정하고(스텝 S211), 기준 위치 산출 처리를 종료한다. 이상에서 설명한 변형예의 처리에 의하면, 횡단보도를 기준 위치로서 이용할 수 없는 경우에서도, 건물 위치에 의거해서 촬영 위치의 오차를 해소할 수 있기 때문에, 각 프레임의 촬영 위치의 해석 정밀도를 향상시키는 것이 가능하게 된다.

G3. 변형예∼경시 변화의 특정:

실시예 및 변형예에서 설명해 온 동영상의 촬영은, 반드시 신규로 3차원 지도 데이터를 작성할 때뿐만 아니라, 이미 3차원 지도 데이터가 생성된 지역의 메인터넌스(maintenance; 유지관리)로서 행하는 경우도 있다. 이 경우에는, 촬영된 동화상은, 이미 준비된 3차원 지도 데이터와의 비교에 의해서, 건물의 신축이나 철거(取壞; 헐어냄), 개축 등의 경시 변화의 유무를 판정하기 위해서 활용할 수가 있 다. 이하에서는, 이 경시 변화 판정에 대해서 예시한다.

도 18은 경시 변화 판정 처리의 플로차트이다. 이 처리에서는, 화상 데이터 처리 장치(200)는, 우선 복수의 대상 프레임 및 촬영 위치를 판독입력한다(읽어들인다)(스텝 S150). 이 처리에서는, 측면 화상을 활용하는 것으로 했다. 촬영 위치는, GPS의 출력 결과를 이용한다.

화상 데이터 처리 장치(200)는 또, 기지의 3D 그래픽스 데이터, 즉 3차원 지도 데이터를 생성하기 위한 건물 등의 3차원 데이터를 이용하여, 촬영 위치로부터 이들 건물을 본 화상을 생성함으로써, 대상 프레임에 대응하는 2D 화상을 생성한다(스텝 S152). 그리고, 이렇게 해서 생성된 2D 화상과, 대상 프레임과의 매칭에 의해서 양자의 부정합 유무를 판단한다(스텝 S 154). 화상 사이의 매칭에는, 템플릿(template) 매칭, DP 매칭, 고유 공간법 등 주지(周知)의 방법을 이용하면 좋다. 부정합의 유무를 판단하는 기준값은, 2D 화상과 대상 프레임과의 사이의 부정합에, 건물의 신축, 철거 등에 상당하는 큰 부정합이 있는지 여부를 검출가능한 범위에서 설정하면 좋다.

화상 데이터 처리 장치(200)는, 매칭의 결과, 부정합이 없는 경우에는(스텝 S156), 대상 프레임을 앞서 도 17에서 설명한 기준 위치 산출 처리에 활용한다(스텝 S200). 경시 변화가 없다고 판단되는 건물이 촬영된 화상을 이용하는 것에 의해,기준 위치 산출 처리를 정밀도좋게 안정적으로 행할 수 있기 때문이다. 기준 위치 산출 처리는 필수가 아니며, 생략해도 지장없다. 매칭의 결과, 부정합이 있는 경우에는(스텝 S156), 화상 데이터 처리 장치(200)는, 대상 프레임 화상에 의거 해서 3D 그래픽스 데이터를 갱신하는 처리를 행한다(스텝 S158). 건물이 신축 또는 개축되어 있는 경우, 이 처리에는, 대상 프레임 화상으로부터, 자동 또는 오퍼레이터의 조작에 의해서, 신축 또는 개축된 건물의 텍스처를 절출하는 처리가 포함된다. 건물이 철거되어 있는 경우에는, 기존의 그래픽스 데이터로부터, 해당하는 건물의 데이터를 삭제하는 처리가 포함된다. 어떠한 경우에 있어서도, 전자동으로 처리할 필요는 없으며, 오퍼레이터의 조작에 의거해서 처리하도록 해도 좋다. 이상에서 설명한 경시 변화 판정 처리에 의하면, 기존의 3D 그래픽스 데이터의 경시 변환의 유무를 용이하게 판단할 수 있고, 메인터넌스의 부하(負荷)를 경감할 수가 있다.

G4. 변형예∼안내판의 위치 좌표 해석:

도 19는 안내판 위치 좌표 해석 처리의 플로차트이다. 거리에 설치되어 있는 안내판의 위치 좌표를, 촬영된 화상으로부터 특정하기 위한 처리이다. 위치 좌표의 특정에는, 도 16에서 설명한 원리, 즉 촬영 위치를 기준으로 해서 건물의 위치 좌표를 산출하는 방법을 이용한다.

화상 데이터 처리 장치(200)는, 해석에 이용하는 복수의 대상 프레임 및 각 프레임의 촬영 위치를 판독입력한다(스텝 S300). 대상 프레임으로서는, 안내판을 촬영한, 측면 화상을 이용하고, 촬영 위치는 GPS의 출력 결과, 또는 실시예의 처리 결과를 이용한다.

다음에, 화상 데이터 처리 장치(200)는, 대상 프레임 중에서 안내판의 지주 위치의 지정을 입력한다(스텝 S302). 여기에서는, 도시하는 바와 같이 안내판 SP 를 찍은 화상 중에서, 포인팅 디바이스를 이용하여 오퍼레이터가 지주 위치에 선 PSP를 끌어당김으로써 지정하는 방법을 취했다. 화상 해석에 의해서 자동적으로 지주 위치를 특정하도록 해도 좋다.

화상 데이터 처리 장치(200)는, 각 프레임에서 지정된 지주 위치 및, 촬영 위치에 의거해서, 도 16에서 설명한 원리에 따라서 지주의 위치 좌표를 산출한다(스텝 S304) 그리고, 이렇게 해서 얻어진 위치 좌표를 출력해서(스텝 S306), 안내판 위치 좌표 해석 처리를 종료한다. 네트워크 데이터베이스를 참조해서, 산출된 위치 좌표가 이상(異常; abnormal)한 값으로 되어 있지 않은 것을 확인해도 좋다. 예를 들면, 산출된 위치 좌표가 도로나 보도의 중앙으로 되어 있는 경우에는, 이상한 결과라고 판단할 수가 있다.

이상의 처리에 의하면, 비교적 용이하게, 안내판을 적절한 위치에 설치한 상태에서 3D 지도 데이터를 작성할 수가 있다. 안내판은 네트워크 데이터베이스 등 기존의 데이터로부터는 위치 좌표가 얻어지지 않는 것이 통상이다. 안내판은, 교차점 부근에 설치되어 있는 것이 통상이라고는 말할 수 있고, 현실의 위치와 너무나 다른 장소에 설치한 상태에서 작성된 3D 지도 데이터에서는, 오히려 이용자를 혼란시킬 우려도 있다. 상술한 처리에 의하면, 안내판의 동영상을 촬영하면 위치를 해석할 수 있기 때문에, 안내판의 위치 좌표를 측량할 정도의 부하를 가할 것까지도 없이, 상술한 과제를 회피하며, 현실 상태에 입각한(맞는) 3D 지도 데이터를 제공하는 것이 가능하게 되는 이점이 있다.

이상, 본 발명의 여러가지 실시예에 대해서 설명했지만, 본 발명은 이들 실 시예에 한정되지 않고, 그 취지를 일탈(逸脫)하지 않는 범위에서 여러가지 구성을 취할 수 있는 것은 말할 필요도 없다(물론이다). 예를 들면, 실시예에서는, 도로 위의 구획선에 의거해서 특징점 추적 처리를 실행했다. 특징점 추적 처리는, 복수 프레임에 촬영되어 있는 여러가지 대상을 이용하여 행하는 것이 가능하다. 예를 들면, 가드 레일, 길(도로) 측의 건축물 등을 이용해도 좋다.

실시예에서는, 차속 펄스를 이용하여 이동 방향의 위치를 특정했지만, 이 처리에는, 차속 펄스 이외의 정보를 이용하는 것도 가능하다. 차량의 이동 거리와 시각과의 관계를 주는(부여하는) 정보이면, 여러가지 정보를 적용가능하다. 예를 들면, 도로 위의 파선으로 그려진 구획선의 통과 개수(本數), 가드 레일의 지주의 개수 등을 차속 펄스 대신에 이용할 수도 있다.

본 발명은, 이동하면서 촬영된 동영상 및 그밖의 복수 프레임으로 이루어지는 화상에 대해서, 각 프레임의 촬영 위치를 해석하기 위해서 이용가능하다.

Claims (14)

1. 지표면과의 상대적인 자세각(姿勢角)을 대략 일정하게 유지한 상태로 이동하면서 기지(旣知)의 타이밍에서 촬영된 복수(複數) 프레임으로 구성되고, 상기 각 프레임에는 직전 직후의 적어도 한쪽의 프레임과 공통해서 촬영된 소정의 연속체가 포함되어 있는 화상에 관해, 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 장치로서,

   상기 복수 프레임으로 이루어지는 화상 데이터를 입력하는 입력부와,

   상기 해석의 초기값(初期値)으로서 상기 이동의 초기 궤적을 입력하는 초기 궤적 입력부와,

   상기 촬영의 타이밍에 의거해서 상기 초기 궤적의 이동 방향을 따라서 상기 각 프레임의 촬영 위치를 임시설정(假設定)함과 동시에, 상기 소정의 연속체에 대해서, 상기 복수 프레임에 걸쳐서 촬영된 화상 사이의 어긋남에 의거해서, 상기 임시설정된 촬영 위치를 상기 초기 궤적의 이동 교차 방향으로 수정함으로써 상기 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석부를 구비하는 촬영 위치 해석 장치.
2. 제1항에 있어서,

   상기 화상은, 상기 이동 방향의 정면 또는 배후의 화상이며,

   상기 입력부는, 상기 화상의 하부 일부를 입력하는 촬영 위치 해석 장치.
3. 제1항에 있어서,

   상기 화상은, 도로 위를 이동하면서 촬영된 화상이며,

   상기 연속체는, 도로의 통행대(通行帶)의 구획선인 촬영 위치 해석 장치.
4. 제1항에 있어서,

   상기 입력부는, 상기 이동 방향을 따라서, 상기 촬영시에 있어서의 시각과 이동 거리와의 관계를 나타내는 이동 거리 정보를 입력하고,

   상기 촬영 위치 해석부는, 상기 이동 거리 정보에 의거해서, 상기 이동 방향을 따르는 상기 각 프레임의 촬영 위치를 임시설정하는 촬영 위치 해석 장치.
5. 제1항에 있어서,

   상기 입력부는, 상기 이동 방향을 따라서, 상기 촬영시에 있어서의 시각과 이동 거리와의 관계를 나타내는 이동 거리 정보를 입력하고,

   상기 촬영 위치 해석부는, 상기 이동 거리 정보에 의거해서, 소정의 이동 거리마다 촬영된 프레임을 추출해서, 상기 해석을 행하는 촬영 위치 해석 장치.
6. 제4항에 있어서,

   상기 화상은, 차량에 탑재(搭載)한 촬영 장치에 의해서 촬영된 화상이며,

   상기 이동 거리 정보는, 상기 차량의 차속(車速) 펄스인 촬영 위치 해석 장 치.
7. 제1항에 있어서,

   상기 입력부는 또, 상기 화상 데이터에 대응지어서, 상기 촬영시에 기지의 기준 위치에 도달한 시점을 나타내는 기준 위치 정보를 입력하고,

   상기 촬영 위치 해석부는, 상기 해석 과정에서, 적어도 상기 이동 방향을 따르는 위치에 대해서, 상기 기준 위치 정보에 의거하는 초기화를 행하는 촬영 위치 해석 장치.
8. 제1항에 있어서,

   상기 화상 데이터는 또, 상기 이동 교차 방향으로 촬영한 복수 프레임의 가로화상(橫畵像) 데이터를 포함하고,

   상기 가로화상 데이터의 피사체의 위치 좌표를 기록한 지도 데이터를 참조하는 지도 데이터 참조부와,

   상기 복수 프레임의 가로화상 데이터로부터, 상기 피사체의 위치를 나타내는 피사체 좌표를 산출하는 좌표 산출부를 가지고,

   상기 촬영 위치 해석부는, 해석 과정에서, 적어도 상기 이동 방향을 따르는 위치에 대해서, 상기 지도 데이터에 기록된 위치 좌표와 상기 피사체 좌표에 의거하는 초기화를 행하는 촬영 위치 해석 장치.
9. 제1항에 있어서,

   도로를 노드, 링크로 나타낸 도로 네트워크 데이터를 참조하는 네트워크 데이터 참조부를 가지고,

   상기 초기 궤적 입력부는, 상기 도로 네트워크 데이터에 의거해서 상기 초기 궤적을 설정하는 촬영 위치 해석 장치.
10. 제1항에 있어서,

    상기 초기 궤적 입력부는, 상기 화상의 촬영시의 이동 궤적을 소정의 오차 범위내에서 적어도 2차원적으로 검출하는 위치 검출 센서의 출력을 입력하고, 상기 초기 궤적을 설정하는 촬영 위치 해석 장치.
11. 제1항에 있어서,

    상기 촬영 위치의 해석에 앞서서, 상기 연속체를 정면에서 촬영한 상태의 화상으로 상기 화상 데이터를 변환하는 화상 변환 처리부를 가지고,

    상기 화상 변환 처리부는, 상기 화상 데이터를 복수 영역으로 나누고, 각 영역에서 다른 변환 계수를 이용하여 상기 변환을 행하고,

    상기 복수 영역 및 상기 변환 계수는, 기지 형상(旣知形狀)의 망상체(網狀體)를 촬영한 화상 데이터로부터 그 망상체의 정면시(正面視) 화상을 얻을 수 있도록 설정되어 있는 촬영 위치 해석 장치.
12. 지표면과의 상대적인 자세각을 대략 일정하게 유지한 상태로 이동하면서 기지의 타이밍에서 촬영된 복수 프레임으로 구성되고, 상기 각 프레임에는 직전 직후의 적어도 한쪽의 프레임과 공통해서 촬영된 소정의 연속체가 포함되어 있는 화상에 관해서, 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 방법으로서,

    컴퓨터가 실행하는 공정으로서,

    상기 복수 프레임으로 이루어지는 화상 데이터를 입력하는 입력 공정과,

    상기 해석의 초기값으로서 상기 이동의 초기 궤적을 입력하는 초기 궤적 입력 공정과,

    상기 촬영의 타이밍에 의거해서 상기 초기 궤적의 이동 방향을 따라서 상기 각 프레임의 촬영 위치를 임시설정함과 동시에, 상기 소정의 연속체에 대해서, 상기 복수 프레임에 걸쳐서 촬영된 화상 사이의 어긋남에 의거해서, 상기 임시설정된 촬영 위치를 상기 초기 궤적의 이동 교차 방향으로 수정함으로써 상기 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 공정을 구비하는 촬영 위치 해석 방법.
13. 지표면과의 상대적인 자세각을 대략 일정하게 유지한 상태로 이동하면서 기지의 타이밍에서 촬영된 복수 프레임으로 구성되고, 상기 각 프레임에는 직전 직후의 적어도 한쪽의 프레임과 공통해서 촬영된 소정의 연속체가 포함되어 있는 화상에 관해서, 각 프레임의 촬영 위치를 해석하기 위한 컴퓨터 프로그램을 기록한 기록 매체로서,

    상기 복수 프레임으로 이루어지는 화상 데이터를 입력하는 입력 프로그램 코 드와,

    상기 해석의 초기값으로서 상기 이동의 초기 궤적을 입력하는 초기 궤적 입력 프로그램 코드와,

    상기 촬영의 타이밍에 의거해서 상기 초기 궤적의 이동 방향을 따라 상기 각 프레임의 촬영 위치를 임시설정함과 동시에, 상기 소정의 연속체에 대해서, 상기 복수 프레임에 걸쳐서 촬영된 화상 사이의 어긋남에 의거해서, 상기 임시설정된 촬영 위치를 상기 초기 궤적의 이동 교차 방향으로 수정함으로써 상기 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 프로그램 코드를 기록한 기록 매체.
14. 복수 프레임으로 이루어지는 화상 데이터에 의거해서, 각 프레임의 촬영 위치를 해석하는 촬영 위치 해석 장치에 입력해야 할 화상 데이터를 생성하는 화상 데이터 취득 장치로서,

    지표면을 이동하는 차량과,

    상기 차량에 상대적인 자세각을 대략 일정하게 유지한 상태로 취부(取付; attach)되고, 기지의 타이밍에서 복수 프레임으로 이루어지는 화상을 촬영하는 촬영 장치와,

    상기 차량이 소정 거리 이동한 것을 나타내는 이동 거리 정보를, 상기 촬영시에 있어서의 시각과 관련지어서 기록하는 이동 거리 정보 기록부를 가지는 화상 데이터 취득 장치.

Images