KR100745105B1 - 촬영 영상 표시 방법 및 촬영 영상 표시 장치 - Google Patents

Abstract

공중에서 촬영된 지표면의 촬영 영상의 위치를 3차원적으로 특정하고, 촬영된 지표면의 촬영 범위를 계산에 의하여 구하고, 상기 촬영 범위에 맞추어서 촬영 영상을 변형한 후에, 지리 정보 시스템(Geographic Information System)의 지도상에 중첩시켜서 표시하는 촬영 영상 표시 방법으로서, 상기 지리 정보 시스템의 지도와 상기 촬영 영상으로부터 각각 랜드마크를 추출하고, 대응하는 상기 랜드마크를 대조함으로써, 촬영된 촬영 범위의 계산에 사용하는 파라미터를 보정한다.

랜드마크, 지리 정보 시스템, 화상 처리, 영상, 지도 처리, 항공기, 사고

Description

촬영 영상 표시 방법 및 촬영 영상 표시 장치{IMAGE DISPLAY METHOD AND IMAGE DISPLAY APPARATUS}

본 발명은, 예를 들면 헬리콥터에 탑재된 촬영 장치로부터 송신된 영상을, 지리 정보 시스템(Geographic Information System)의 지도상에 중첩시켜 표시함으로써, 지진에 의한 재해, 화재 등의 천재 지변이나 폭발, 중대한 사고 등의 인재 등의 재해가 발생한 경우, 지상의 상황에 대한 판단을 용이하고, 또한 상세하게 행할 수 있도록 한 것을 특징으로 하는 촬영 영상 표시 방법과, 상기 촬영 영상 표시 방법을 이용한 촬영 영상 표시 장치에 관한 것이다.

공중에서 촬영한 지상의 촬영 대상의 위치를, 지도상에서 특정하는 것은 지진, 화재 등의 재해나 폭발, 중대한 사고 등의 인재 등이 발생한 경우, 지상 상황에 대한 판단을 용이하게 하기 위한 매우 중요한 기술이다. 종래의 위치 특정 방법 및 장치는 예를 들면 일본국 특허 제2695393호 공보에 나타나 있는 바와 같이, 공중에서의 촬영 위치를 3차원적으로 특정하고, 촬영 위치에 대한 목표물의 방향을 계측하고, 미리 작성되어 있는 지표면의 기복(起伏)을 나타내는 고도 정보를 포함하는 3차원 지세(地勢) 데이터로부터 목표물이 존재하는 지표면을 구하고, 지표면과 촬영 위치로부터 목표물의 방향으로 연장된 직선과의 교점 위치로서, 공중에서 촬영한 지표면의 목표물 위치를 특정하고 있다.

종래의 위치 특정 방법 및 장치에서는, 지표면에 있어서의 목표물의 위치를 특정하기 위한 전제 조건으로서, 미리 작성되어 있는 지표면의 기복에 대한 고도 정보를 포함하는 3차원 지세 데이터를 필요로 하였다. 또, 공중에서의 촬영 위치를 3차원적으로 특정하여, 촬영 위치에 대한 목표물의 방향을 계측할 때에 생기는 계측 오차를 보정할 수 없어서, 정확한 위치를 특정하기가 곤란하였다. 또한, 위치의 특정이 목표물 한 점에 한정되어 있으므로, 지표면에 있어서의 상황을 2차원적으로 파악하는 것은 불가능한 문제가 있었다.

본 발명은 상기와 같은 문제를 해결하기 위하여 이루어진 것이며, 촬영 영상을 지리 정보 시스템의 지도상에 중첩시켜서 표시함으로써, 촬영된 지표면의 상황을 2차원적으로 파악할 수 있게 하고, 또 촬영 영상과 지도를 대조하여 영상의 지도상에서의 표시 위치를 보정하여 정밀하게 중첩 표시를 행하고, 촬영된 지표면의 상황 파악을 보다 용이하고 신속하게 할 수 있는 촬영 영상 표시 방법과, 상기 촬영 표시 방법을 이용한 촬영 영상 표시 장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명에 관한 촬영 영상 표시 방법 및 촬영 영상 표시 장치는, 공중의 기체에 탑재된 촬영 장치에 의해 촬영된 지표면의 촬영 영상을 화상 처리하여 표시하는 것으로서, 공중에서의 촬영 위치를 3차원적으로 특정하고, 촬영된 지표면의 촬영 범위를 계산에 의하여 구하고, 그 촬영 범위에 맞추어서 촬영 영상을 변형한 후, 이것을 지리 정보 시스템의 지도상에 중첩시켜서 표시한다.

또, 공중의 기체에 탑재된 촬영 장치에 의해 촬영된 지표면의 촬영 영상을 화상 처리하여 표시하는 것으로서, 공중에서의 촬영 위치를 3차원적으로 특정하고, 촬영된 지표면의 촬영 범위를 계산에 의하여 구하고, 상기 촬영 범위에 맞추어서 촬영 영상을 변형한 후, 이것을 지리 정보 시스템의 지도상에 중첩시켜서 표시하는 촬영 영상 표시 방법 및 장치로서, 지리 정보 시스템의 지도와 촬영 영상으로부터 각각 랜드마크를 추출하고, 대응하는 랜드마크를 대조함으로써, 촬영된 지표면의 촬영 범위를 계산할 때에 사용하는 파라미터를 보정하고, 촬영 영상을 지리 정보 시스템의 지도상에 정밀하게 중첩하여 표시한다.

본 발명에 의하면, 영상 정보와 지도와의 정합성(整合性)을 용이하게 확인할 수 있어서, 목표 지점을 용이하게 판별할 수 있게 된다.

도 1은 본 발명의 실시예 1에 관한 촬영 영상 표시 방법을 실시하는 촬영 영상 표시 장치를 나타내는 블록도이다.

도 2는 실시예 1에서의 지도 처리 수단의 기능 설명도이다.

도 3은 실시예 1에 의한 표시 화면을 나타내는 사진이다.

도 4는 본 발명의 실시예 2에 관한 촬영 영상 표시 방법 및 장치에 의해 얻어진 표시 화면을 나타내는 사진이다.

도 5는 본 발명의 실시예 3을 설명하는 도면이다.

도 6은 실시예 3에 있어서의 지도 처리를 설명하는 도면이다.

도 7은 본 발명의 실시예 4를 설명하는 도면이다.

도 8은 실시예 4에 있어서의 지도 처리를 설명하는 도면이다.

도 9는 본 발명의 실시예 5를 설명하는 도면이다.

도 10은 실시예 5에 있어서의 지도 처리를 설명하는 도면이다.

도 11은 본 발명의 실시예 6에 관한 촬영 영상 표시 방법 및 장치의 지도 처리를 설명하는 도면이다.

도 12는 본 발명의 실시예 7에 관한 촬영 영상 표시 방법 및 장치의 지도 처리를 설명하는 도면이다.

도 13은 본 발명의 실시예 8에 관한 촬영 영상 표시 방법 및 장치를 설명하는 도면이다.

도 14는 본 발명의 실시예 9에 관한 영상 표시 방법을 실시하는 촬영 영상 표시 장치를 나타내는 블록도이다.

도 15는 실시예 9에 있어서의 지도 처리 수단의 기능 설명도이다.

도 16은 실시예 9에 의한 영상 표시 방법에 있어서의 동작을 나타낸 흐름도이다.

도 17은 실시예 9에 있어서의 지도 처리 수단의 중의 촬영 화상 프레임 계산에서 사용하는 각도 파라미터를 설명하는 도면이다.

도 18은 실시예 9에 있어서의 지도 처리 수단 중의 촬영 화상 프레임 계산을 설명하는 도면이다.

도 19는 실시예 9에 있어서의 지도 처리 수단의 중의 파라미터 보정을 설명하는 도면이다.

도 20은 실시예 9에 의한 영상 표시 방법 및 장치에서의 효과를 나타내는 도면이다.

도 21은 본 발명의 실시예 11을 설명하는 도면이다.

도 22는 본 발명의 실시예 12를 설명하는 도면이다.

도 23은 본 발명의 실시예 14에 관한 영상 표시 방법 및 장치에 있어서의 동작을 나타내는 흐름도이다.

도 24는 실시예 14에 관한 영상 표시 방법 및 장치에 있어서의 효과를 나타내는 도면이다.

도 25는 본 발명의 실시예 15를 설명하는 도면이다.

도 26은 본 발명의 실시예 16을 설명하는 도면이다.

[실시예 1]

먼저, 본 발명의 개략을 설명한다. 본 발명은, 공중에서 지상을 촬영한 촬영 영상을, 지리 정보 시스템(지도를 컴퓨터 화면 상에 표시하는 시스템)의 지도상에 중첩시켜서 표시함으로써, 영상 정보와 지도의 정합성을 용이하게 확인하고, 목표 지점을 용이하게 판별할 수 있게 하는 것이다. 다만, 공중에서 카메라로 지상을 촬영했을 경우, 그 영상은 카메라의 방향과 관계없이 항상 일정한 직사각형 형상으로밖에 찍히지 않기 때문에, 촬영한 영상을 지리 정보 시스템에 의하여 얻은 지도상에 그대로 중첩시키는(붙이는) 것은 곤란하다.

그래서 본 발명에서는, 영상 촬영 시의 카메라 정보와 기체의 자세 정보를 사용한 계산에 의하여, 지상에 대한 카메라의 자세 등에 따라서, 직사각형에서 사다리꼴 또는 마름모꼴에 가까운 형태 등, 복잡하게 바뀌면서 촬영되는 지표면의 촬영 범위(= 촬영 화상 프레임)를 계산에 의해 구하여, 상기 화상 프레임에 맞추어서 영상을 변형하여 지도상에 중첩시켜서 표시하는 것이다.

이하, 본 발명의 실시예 1에 관한 촬영 영상 처리 방법 및 촬영 영상 처리 시스템에 대하여 도면을 참조하여 설명한다. 도 1은 본 발명 방법을 실시하는 촬영 영상 표시 장치(시스템)를 시스템을 설명하는 블록도이며, 도 2는 지도 처리 수단의 기능을 설명하는 도면이다. 본 발명의 방법 및 장치는, 촬영 장치(= 카메라) 등을 탑재한 헬리콥터 등의 항공기(= 기체)로 이루어지는 기상계(100; on-board system)와, 기상계(100)로부터의 신호를 수신하여 처리하는, 지상에 설치된 지상계(200; ground system)에 의하여 실현된다.

기상계(100)는, 주로 공중에서 지표를 촬영하는 촬영 수단, 촬영 수단의 촬영 위치를 3차원적으로 특정하기 위한 정보를 취득하는 정보 수집부로서의 기체 위치 계측 수단(108)이나 기체 자세 계측 수단(107), 상기 촬영 수단에 의하여 촬영된 촬영 영상과 상기 정보 수집부로부터 취득된 정보를 송신하는 송신 수단을 가지는 기상 장치에 의하여 이루어진다.

즉, 기상계(100)에 있어서, 기체(101)에는, 공중에서 지상을 촬영하는 촬영 수단(105)인 카메라(102)가 탑재되어 있다. 기체(101)는 GPS 신호 수신부인 안테나(103)에 의하여 현재의 위치 정보를 얻어서, 기체 위치 검출을 행하는 기체 위치 계측 수단(108), 및 자이로(gyro)를 구비하고, 또한 기체(101)의 자세 즉 앙각(仰角, pitch)과 롤각(roll angle)을 검출하는 기체 자세 검출을 행하는 기체 자세 계측 수단(107)을 구비하고 있다.

카메라(102)를 포함하는 촬영 수단(105)은, 지상을 촬영하여, 그 영상 신호를 출력하고, 또한 카메라의 조리개, 줌 등의 카메라 정보도 병행하여 출력한다. 카메라(102)는 짐벌(gimbal)에 부착되고, 상기 짐벌은 카메라의 회전각(=pan), 경사(=tilt)를 검출하는 카메라 자세 계측 수단(106)을 가지고, 그 값을 출력한다.

상기 기체 위치 계측 수단(108)으로부터의 출력 신호, 기체 자세 계측 수단(107)으로부터의 출력 신호, 카메라 촬영 수단(105)의 영상 신호, 카메라 정보 신호, 카메라 자세 계측 수단(106)으로부터의 출력 신호는 다중 변조 수단(109)에 의하여 다중 변조되고, 신호 변환 수단(110)에 의하여 디지털 신호가 되고, 추적 수단(111)을 가지는 송신 수단(104)으로부터 지상계(200)를 향하여 송신된다.

지상계(200)는, 주로 공중에서 촬영 수단이 촬영한 지표의 촬영 영상 및 상기 촬영 수단의 촬영 위치를 3차원적으로 특정하기 위한 정보를 입력하는 입력부, 입력한 정보에 대한 신호 처리를 행하는 신호 처리부, 화면에 지도를 표시하는 지리 정보 시스템, 신호 처리부에서 처리된 정보를 포함하여 영상 처리하여 표시부에 표시하는 지도 처리부에 의하여 구성된다.

즉, 기상계(100)로부터의 신호는, 추적 수단(202)을 가지는 수신 수단(201)에서 수신되어 신호 변환 수단(203)에서 신호로 변환된다. 상기 신호는, 또한 다중 복조 수단(204)에 의해, 영상 신호와 그 외의 기체 위치, 기체 자세, 카메라 자세, 카메라 정보 등의 정보 신호로서 추출된다. 추출된 이들 신호를 신호 처리 수단(205)에서 신호 처리하고, 영상 신호는 동영상 데이터(207) 및 정지 화상 데이터(208)로서 다음 스텝의 지도 처리 수단(206)에서 지도 처리에 사용된다. 그 외, 지리 정보 시스템의 2차원 지도 데이터(209), 지세 데이터(210)을 포함한 정보 신호도 지도 처리 수단(206)에서 지도 처리에 사용된다. 부호 211은 모니터 표시 수단이다.

도 2는 본 실시예의 촬영 영상 표시 시스템의 지도 처리 수단의 개략을 나타내는 도면이다. 지도 처리 수단(206)은, 도 2에 나타내는 바와 같이, 영상 신호인 동영상 데이터(207)와 정지화상 데이터(208), 기체 위치, 기체 자세, 카메라 자세의 정보 신호, 및 지리 정보 시스템의 2차원 지도 데이터(209)와 3차원 지세 데이터(210)에 따라서 처리하는 수단이며, 주로 촬영 수단이 촬영한 촬영 영상의 촬영 범위에 대응하는 지리 정보 시스템의 지도상의 촬영 범위를 구하는 촬영 범위 계산부(화상 프레임 계산 처리부(212)), 화상 프레임 계산(212)에 의하여 구해진 촬영 범위에 맞추어서 상기 촬영 영상을 변형하는 영상 변형부(영상 변형 처리부(213)), 상기 지도상의 상기 촬영 범위에 변형된 상기 촬영 영상을 중첩시켜서 표시하는 표시부(화상 중첩 처리부(214) 등)에 의하여 구성된다.

지도 처리 수단(206)에서는, 먼저, 화상 프레임 계산(212)에 의하여, 기체 위치의 정보 신호에 의해 공중에서의 촬영 위치를 3차원적으로 특정하고, 카메라와 기체의 지표면에 대한 자세에 따라서, 촬영한 지표면의 촬영 범위(= 촬영 화상 프레임)를 계산에 의해 구하는 화상 프레임을 계산한다. 그리고, 상기 화상 프레임에 맞추어서 영상 변형(213)을 행한다. 상기 영상 변형은, 영상이 지도와 일치하도록 사다리꼴 또는 마름모꼴에 가까운 형태 등이 되도록 영상을 변형하는 것이다. 다음에, 중첩(214)에 의하여, 변형된 영상을 지리 정보 시스템의 지도상에 중첩시키고(붙이고), 그 후 이것을 CRT 등의 모니터 표시 수단(211; 모니터 표시부라고도 한다)에서 표시한다.

도 3은 지리 정보 시스템의 지도(301) 상에, 촬영 화상 프레임(303)을 지도에 맞추어서, 촬영 영상(302)을 중첩시킨 사진이다. 부호 304는 기체의 비행 경로, 305는 기체 위치(카메라 위치)이다. 전술한 변형 처리를 포함하는 지도 처리 를 지도 처리 수단(206)에 의하여 행함으로써, 도 3에 나타낸 바와 같이, 영상과 지도가 거의 완전하게 일치하므로, 영상 정보와 지도의 정합성을 용이하게 확인할 수 있고, 목표 지점을 용이하게 판별할 수 있다.

또, 도 3과 같이, 카메라로 촬영한 화상 프레임의 영상을 지도상에 중첩시켜서 표시할 수 있을 뿐만 아니라, 촬영 영상(302)을 지우고 화상 프레임(303)만 용이하게 표시할 수 있다. 여기서 촬영 영상(302)은 2차원의 지도상에 중첩되어 있다. 따라서, 예를 들면 재해 발생의 장소(예를 들면 화재가 발생하고 있는 빌딩) 등을 촬영 영상(302)에서 눈으로 확인하고 촬영 영상(302) 상에서 그 위치를 체크(클릭)하고, 그 후 촬영 영상(302)을 지우고 화상 프레임(303)만 표시해두고 촬영 영상(302) 아래의 2차원의 지도를 표시시키면, 촬영 영상 상에서 체크한 위치가 지도상의 어디에 해당되는지 신속하게 인식할 수 있다. 또한, 카메라의 방향과 관계없이, 모니터의 표시 영상이 일정한 방향을 나타내도록 해 두면, 목표 지점의 판별이 더 용이해진다.

[실시예 2]

본 실시예에서는, 기체(101)의 현재 위치를 측정하고, 지리 정보 시스템의 지도상에 기상으로부터 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서, 촬영한 영상을 변형하고 중첩시키고, 촬영 영상과 지도를 대조할 때, 연속적으로 촬영한 촬영 영상을, 복수매 연속하여 소정의 주기로 샘플링하고, 연속하는 복수매의 영상을 지리 정보 시스템의 지도상에 중첩시켜서 표시하고, 상기 지도상에 중첩된 영상으로부터 목표 지점을 특정화하는 것이다.

도 4는 상기 방법에 의한 모니터 표시 화면을 나타낸 것이며, 부호 304는 기체의 비행 경로, 305는 기체 위치(카메라 위치)이다. 비행 경로(304)를 따라서 카메라로 촬영한 영상을 소정의 타이밍에서 샘플링하여 각각의 화상 프레임을 구하고, 촬영 영상을 화상 프레임에 맞추어서 변형 처리하고, 지도(301) 상에 중첩시킨다. 302a ~ 302f는 중첩한 영상, 303a ~ 303f는 그 화상 프레임이다.

촬영 화상 프레임의 계산 및 각 화상 프레임으로 영상을 변형하는 것은, 실시예 1에서 설명한 바와 같이 촬영 시의 카메라 정보와 기체의 자세 정보를 사용한 계산에 의해 행한다. 각 화상의 샘플링 주기는, 기체의 속도에 따라 변경할 수도 있다. 통상적으로, 기체의 속도가 빠를 때는 샘플링 주기를 짧게 하고, 기체 속도가 늦을 때는 샘플링 주기를 길게 한다.

본 실시예 2에서는, 지도와 복수매의 연속 영상에 의한 넓은 범위의 지표면의 상황을 확인하면서, 지상의 상황을 식별하는 것이 가능하게 되어서, 목표 지점을 한층 효과적으로 판별할 수 있다.

[실시예 3]

본 실시예에서는, 기체(101)의 현재 위치와 기체에 대한 카메라(102)의 회전각과 경사(팬(pan)과 틸트(tilt) = 카메라의 자세)를 측정하고, 이 카메라의 자세에 따라서 지리 정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추기 위하여, 촬영한 영상을 변형 및 중첩시키고, 촬영 영상과 지도를 대조한다.

본 실시예 3에 의하면, 촬영 수단인 카메라의 자세에 따라서 촬영 화상 프레 임을 계산함으로써, 촬영 영상과 지도의 위치 관계를 확인하면서, 지상의 상황을 보다 상세하고 정확하게 식별할 수 있게 된다.

지금, 기체(101)와 카메라(102)의 관계를, 도 5와 같이, 카메라(102)가 짐벌(112)에 수용되고, 기체(101)가 수평으로 비행한다고 가정하면, 도 5(b) 및 5(c)에 나타내는 바와 같이, 카메라(102)의 경사는 기체(101)의 중심축으로부터의 경사각(= 틸트)이고, 카메라(102)의 회전각(팬)은 기체(101)의 진행 방향으로부터의 회전 각으로서 출력된다. 즉, 5(b)의 상태에서는, 카메라(102)가 바로 밑을 향하고 있으므로 경사는 0°, 5(c)의 상태에서는 카메라(102)의 경사 θ가 수직면으로부터의 경사가 되는 것을 나타내고 있다.

카메라의 촬영 화상 프레임의 계산방법은, 컴퓨터 그래픽을 베이스로 하여, 3D 좌표 내의 직사각형(화상 프레임)의 회전 이동과 투상(投象) 처리에 의하여 얻을 수 있다. 기본은, 카메라의 촬영 화상 프레임을 카메라 정보와 기체 정보에 의하여 변환 처리를 행하고, 지상에 투영한 경우의 도면 프레임을 계산함으로써, 목적으로 하는 화상 프레임을 얻을 수 있다. 3D 좌표 내의 각 좌표의 계산 방법은, 이하의 행렬 계산 방법을 사용하여 얻는다.

1)기준 상태에서의 촬영 화상 프레임의 계산

먼저, 도 6(a)에 나타내는 바와 같이, 화상 프레임 4점의 위치를, 기체의 위치를 원점으로 하여 상대 좌표로서 계산한다. 촬영 화상 프레임을, 카메라의 초점 거리와 화각과 고도에 의하여, 기준 위치로 계산하여, 4점의 좌표를 얻는다.

2)카메라의 틸트(z축)에서, 4점의 회전 후의 위치 계산

도 6(b)에 나타내는 바와 같이, 카메라의 틸트각 θ로부터, z축의 주위에 촬영 화상 프레임을 회전시킨다. 회전 후의 좌표를 다음 수식 1에 의하여 변환하여 구한다.

[수식 1]

3)카메라의 방위각(y축)에서, 4점의 회전 후의 위치 계산

도 6(c)에 나타내는 바와 같이, 카메라의 방위각 θ로부터, y축의 주위에 촬영 화상 프레임을 회전시킨다. 회전 후의 좌표를 다음의 수식 2에 의하여 변환하여 구한다.

[수식 2]

4)회전 처리 후의 화상 프레임을, 원점(기체 위치)으로부터 지표면(y축 고도 지점)에 투영한 도면 프레임 계산

도 6(d)에 나타내는 바와 같이, 촬영 화상 프레임을 지표면(y축 고도)에 투 상함으로써, 투상 평면(촬영 화상 프레임)을 얻는다. 투영 후의 좌표를 다음의 수식 3에 의하여 변환하여 구한다.

[수식 3]

다음의 수식 4에서, 일반 동차 좌표계[X, Y, Z, W]를 얻는다. 단, d는 해발 고도이다.

[수식 4]

다음에, W'( = y/d)로 나누어 3D로 표현하면 다음의 수식 5가 된다.

[수식 5]

[실시예 4]

본 실시예에서는, 기체(101)의 현재 위치와, 기체(101)의 앙각과 롤각을 측정하고, 상기 앙각과 롤각에 의하여, 지리 정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서, 촬영한 영상을 변형 및 중첩시키고, 촬영 영상과 지도를 대조한다. 본 실시예 4에 의 하면, 기체(101)의 지상에 대한 위치 정보로부터 촬영 화상 프레임을 계산함으로써, 촬영 영상과 지도의 위치 관계를 확인하면서, 보다 정밀하게 지상의 상황을 식별할 수 있게 된다.

지금, 기체와 카메라의 관계를 도 7과 같이, 카메라(102)가 기체(107)에 고정(즉 짐벌을 사용하지 않는다)되어 있다고 가정하면, 도 7(b)에 나타내는 바와 같이, 기체(101) 자신이 지상과 수평으로 비행하고 있는 경우는, 카메라(102)가 바로 밑을 향하고 있으므로, 카메라(102)의 경사는 0°가 된다. 도 7(c)와 같이, 기체(101)가 기울어져 있는 경우는 이것이 카메라(102)의 자세가 되므로, 기체(101)의 앙각(피치), 롤각에 따라서 카메라의 촬영 화상 프레임을 계산한다.

1)기준 상태에서의 촬영 화상 프레임의 계산

도 8(a)에 나타내는 바와 같이, 기체의 위치를 원점으로 하여 화상 프레임의 4점의 위치를 상대 좌표로서 계산한다. 또한, 카메라의 초점 거리와 화각과 고도에 의하여, 촬영 화상 프레임을 기준 위치로 계산하여, 4점의 좌표를 얻는다.

2)기체의 롤(x축)에서, 4점의 회전 후의 위치 계산

도 8(b)에 나타내는 바와 같이, 다음 식에 의해 기체의 롤각 θ로부터, x축주위에 촬영 화상 프레임을 회전시킨다. 회전 후의 좌표를 다음의 수식 6에 의하여 변환하여 구한다.

[수식 6]

3)기체의 피치(z축)에서, 4점의 회전 후의 위치 계산

도 8(c)에 나타내는 바와 같이, 기체의 피치각 θ로부터, z축의 주위에 촬영 화상 프레임을 회전시킨다. 회전 후의 좌표를 다음의 수식 7에 의하여 변환하여 구한다.

[수식 7]

4)회전 처리 후의 화상 프레임을, 원점(기체 위치)에서 지표면(y축 고도 지점)에 투영한 도면 프레임의 계산

도 8(d)에 나타낸 바와 같이, 촬상 화상 프레임을 지표면(y축 고도)에 투상 함으로써, 투상 평면(촬영 화상 프레임)을 얻는다. 투상 후의 좌표를 다음의 수식 8에 의하여 변환하여 구한다.

[수식 8]

다음의 수식 9에 의하여 일반 동차 좌표계[X, Y, Z, W]를 얻는다.

[수식 9]

다음에, W'( = y/d)로 나누어 3D로 표현하면 다음의 수식 10이 된다.

[수식 10]

[실시예 5]

본 실시예에서는, 기체(101)의 현재 위치와, 기체에 대한 카메라(102)의 회전각과 경사, 거기에 기체(101)의 앙각과 롤각을 측정하고, 이들로부터, 지리 정보 시스템의 지도상에, 기상에서 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추기 위하여, 촬영한 영상을 변형 및 중첩시키고, 촬영 영상과 지도를 대조한다. 본 실시예 5에 의하면, 카메라의 자세 정보, 기체의 자세 정보로부터 촬영 화상 프레임을 계산함으로써, 촬영 영상과 지도의 위치 관계를 확인하면서, 보다 정밀한 지상의 상황을 식별하는 것이 가능해진다.

지금, 기체(101)와 카메라(102)의 관계를 도 9와 같이, 카메라(102)가 짐벌(112)에 수용되고, 또 기체(101)는 자유 자세로 비행한다고 하면, 도(b)에 나타내는 바와 같이, 짐벌(112)로부터 카메라(102)의 경사와 카메라의 회전 각도가 출력된다. 또, 자이로로부터 기체(101) 자체의 지상에 대한 앙각과 롤각이 출력된다.

카메라의 촬영 화상 프레임의 계산 방법은, 컴퓨터 그래픽에 따라서, 3D 좌표 내의 직사각형(화상 프레임)의 회전 이동과 투상 처리에 의하여 얻을 수 있다. 계산의 기본은, 카메라의 촬영 화상 프레임을 카메라 정보와 기체 정보에 의하여 변환 처리를 행하고, 지상에 투영한 경우의 도면 프레임을 계산함으로써, 목적하는 화상 프레임을 얻을 수 있다. 3D 좌표 내의 각 좌표의 계산방법은, 이하의 행렬 계산 방법을 사용하여 얻는다.

1)기준 상태에서의 촬영 화상 프레임의 계산

도 10(a)에 나타내는 바와 같이, 화상 프레임 4점의 위치를, 기체의 위치를 원점으로한 상대 좌표로서 계산한다. 카메라의 초점 거리와 화각과 고도에 따라서, 촬영 화상 프레임을 기준 위치로 계산하여, 4점의 좌표를 얻는다.

2)카메라의 틸트(z축)에서, 4점의 회전 후의 위치 계산

도 10(b)에 나타내는 바와 같이, 카메라의 틸트 각 θ로부터, z축의 주위에 촬영 화상을 회전시키는 변환을 한다. 회전 후의 좌표를 다음의 수식 11에 의하여 변환하여 구한다.

[수식 11]

3)카메라의 방위각(y축)에서, 4점의 회전 후의 위치를 계산

도 10(c)에 나타내는 바와 같이, 카메라의 방위각 θ로부터 y축의 주위에 촬영 화상 프레임을 회전시키는 변환을 한다. 회전 후의 좌표를 다음의 수식 12에 의하여 변환하여 구한다.

[수식 12]

4)기체의 롤(x축)에서, 4점의 회전 후의 위치 계산

도 10(d)에 나타내는 바와 같이, 기체의 롤각 θ로부터, x축의 주위에 촬영 화상 프레임을 회전시키는 변환을 한다. 회전 후의 좌표를 다음의 수식 13에 의하여 변환하여 구한다.

[수식 13]

5)기체의 피치(z축)에서, 4점의 회전 후(회전각θ)의 위치 계산

도 10(e)에 나타내는 바와 같이, 기체의 피치각 θ로부터, z축의 주위에 촬영 화상 프레임을 회전시키는 변환을 한다. 회전 후의 좌표를 다음의 수식 14에 의하여 변환하여 구한다.

[수식 14]

6)회전 처리 후의 화상 프레임을, 원점(기체 위치)에서 지표면(y축 고도 지점)에 투영한 도면 프레임의 계산

도 10(f)에 나타낸 바와 같이, 촬상 화상 프레임을 지표면(y축 고도)에 투상 함으로써, 투상 평면(촬상 화상 프레임)을 얻는다. 투상 후의 좌표를 다음의 수식 15에 의하여 변환하여 구한다.

[수식 15]

7)다음의 수식 16에 의하여, 일반 동차 좌표계[X, Y, Z, W]를 얻는다.

[수식 16]

8)다음에, W'( = y/d)로 나누어서 3D로 표현하면 다음의 수식 17이 된다.

[수식 17]

[실시예 6]

본 실시예에서는, 기체(101)의 현재 위치와, 기체에 대한 카메라(102)의 회전 각과 경사, 거기에 기체(101)의 앙각과 롤각을 측정하고, 지리 정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 화상 프레임을 계산한다. 상기 촬영 화상 프레임의 4점의 계산 처리에 있어서, 지세 고도 데이터를 이용하고, 기체(101)의 비행 위치를 보정하여 촬영 화상 프레임을 계산한다. 상기 촬영 화상 프레임에 맞추기 위하여, 촬영한 영상을 변형시켜서 지리 정보 시스템의 지도상에 중첩시키고, 촬영 영상과 지도를 대조한다.

본 실시예 6에 의하면, 기체의 위치, 고도, 기체 자세 정보와 카메라의 자세 정보를 사용하고, 지표면의 고도 지세 정보에 의하여 보정하고, 촬영 화상 프레임을 계산함으로써, 촬영 영상과 지도의 위치 관계를 확인하면서, 보다 정밀하게 지상의 상황을 식별할 수 있게 된다.

도 11에 나타내는 바와 같이, 전술한 실시예 5에 있어서의 회전 후의 지표면에의 촬영 화상 프레임의 계산 처리에 있어서, 기체의 고도를, GPS 장치로부터 얻어지는 해발 고도에 대해서, 지표면의 지세 고도 정보를 이용하여 촬영 지점의 지표면 고도(상대 고도 d = 해발 고도 - 지표면 고도)를 사용하여, 촬영 화상 프레임의 4점의 계산을 실시한다.

1)회전 처리 후의 화상 프레임을, 원점(기체 위치)에서 지표면(y축 고도 지점)에 투영한 도면 프레임의 계산

촬영 화상 프레임을 지표면(y축 고도)에 투상함으로써, 투상 평면을 얻는다. 투상 후의 좌표를 다음의 수식 18에 의하여 변환하여 구한다.

[수식 18]

다음의 수식 19에 의하여, 일반 동차 좌표계[X, Y, Z, W]를 얻는다.

[수식 19]

다음에, W'( = y/d)로 나누어서 3D로 표현하면 다음의 수식 20이 된다.

[수식 20]

여기서 사용하는 상대 고도 d를, GPS 장치로부터 얻어지는 지평선으로부터의 절대 고도로부터 목표 지점의 지세 고도를 감산하여 구하고, 카메라로부터의 상대 고도를 이용함으로써, 정밀도가 높은 촬영 화상 프레임의 위치를 계산한다.

[실시예 7]

본 실시예에서는, 기체(101)의 현재 위치를 측정하고, 지리 정보 시스템의 지도상에, 기상으로부터 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추기 위하여, 촬영한 영상을 변형 및 중첩시키고, 촬영 영상과 지도를 대조할 때, 지도상에 중첩시킬 수 있는 촬영 영상을 연속적으로 복수매를, 연속적으로 지리 정보 시스템의 지도상에 중첩 표시를 행하고, 상기 지도상에 중첩시킨 영상에서 목표하는 지점을 특정시킨다.

복수매의 촬영 영상을 지리 정보 시스템의 지도상에 중첩하는 처리에 있어서, 계산된 촬영 화상 프레임에 따라 배치하고, 각 촬영 영상의 중복 부분의 접합 상태를 확인하고, 영상이 겹쳐진 상태가 가장 많아지도록 영상을 이동하여 위치를 보정하고, 그 보정값을 사용하여 지리 정보 시스템의 지도상에 촬영 영상을 촬영 화상 프레임에 맞추어서 변형 및 중복시키는 처리를 행한다.

그 순서를 도 12에 나타낸다. 기체(101)의 이동에 따라서 촬영한, 예를 들면 2개의 촬영 영상 1(A)과 촬영 영상 2(B)를 중첩시켜서, 중복되는 부분(도면의 두꺼운 선으로 둘러싸인 부분 C)를 검출하고, 영상의 겹치는 상태가 가장 많아지도록 A와 B를 상대적으로 이동하고, 중첩 시의 위치 보정값을 얻어서, 위치 보정 D를 행하여 중첩시킨다.

위치 보정은, 도 2의 영상 중첩·보정부(215)에서 행한다.

본 실시예 7에 의하면, 복수매의 연속 영상이 보다 정밀하게 중첩되고, 보다 광범위한 지표면의 상황을 확인하면서, 지상의 상황을 식별할 수 있게 된다.

[실시예 8]

본 실시예에서는, 기체(101)의 현재 위치와, 기체에 대한 카메라(102)의 장착 각도와 경사, 거기에 기체(1)의 앙각과 롤각을 측정하고, 지리 정보 시스템의 지도상에, 기상에서 촬영한 지상의 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서 촬영한 영상을 변형 및 중첩시켜서, 촬영 영상과 지도를 대조한다.

상기 처리를 행하는 경우, 기상계(100)로부터 송신되는 다양한 정보가 완전하게 동기하여, 지상계(200)로 수신되는 것이 중요하며, 그것을 실현하기 위하여, 기체 위치 계측 수단의 처리 시간, 카메라의 짐벌에 의한 자세 계측 수단의 처리 시간, 영상 송신의 처리 시간 등의 처리 시간을 조정하고, 촬영 영상과 동기시켜서 송신할 필요가 있다. 그것을 실현하기 위해, 도 1에 버퍼를 설치하고, 이것에 기상의 카메라의 영상 신호를 일시적으로 기억 수단(113)에 기억시키고, GPS 등에 의한 기체 위치 검출의 계산 처리 시간의 지연과 동기시켜서, 지상계(200)에 송신한다.

상기의 관계를 도 13에 의해 설명한다. 기체(101)가 GPS 신호를 수신하여, 기체 위치를 검출하기까지는 T 시간 필요하며, 이 사이에 기체(101)는 P1의 위치에서 P2의 위치까지 이동한다. 그러므로, 기체의 위치 검출이 완료된 시점에서는, 카메라(102)가 촬영하고 있는 영역은 P1의 위치에서 촬영한 영역으로부터 거리 R 만큼 떨어진 영역이 되어서, 오차가 생기게 된다.

이것을 수정하는 순서를 나타내는 타임 챠트가 도 13(b)이다. 기체 위치 검출을 위한 GPS 관측 지점 t1으로부터 시작되는 GPS 계산 시간 T, 영상 신호를 버퍼에 일시적으로 보존하고, t2에 있어서, 일시적으로 보존된 영상 신호와 기체 위치, 기체 자세, 카메라 정보 등을 함께 송신한다.

본 실시예에 의하면, 촬영 장치의 장착 정보로부터 촬영 화상 프레임을 계산 함으로써, 촬영 영상과 지도의 위치 관계를 확인하면서, 보다 정밀하게 지상의 상황을 식별할 수 있게 된다.

또, 상기 각각의 실시예에서는, 화상 프레임을 계산한 후에, 상기 화상 프레임에 맞추어서 촬영 영상을 변형시키고, 변형시킨 상기 영상을 지도에 중첩시키고 있지만, 단지 촬영 수단이 촬영한 촬영 영상에 대응하는 지도상의 촬영 범위를 구하고, 지도상의 상기 범위에 촬영 영상을 중첩시켜서 표시할 수도 있다.

또, 상기 각 실시예에서는, 기상계로부터 송신되는 정보에 따라서 지상계에서 지도 처리를 행하도록 하고 있지만, 이것은 특히 한정하는 것이 아니고, 기상계에 디스플레이 등의 표시 장치를 구비하고, 기상계에서 지도 처리를 행하도록 하고, 그것을 기상계의 표시 장치에 표시하거나 처리한 정보를 지상계에 송신하여, 지상계에서 표시할 수도 있다.

[실시예 9]

본 실시예는 촬영 영상으로부터, 지도상의 특징적인 지점을 나타내는, 예를 들면 교차점이나 역, 큰 건물 등의 이른바 랜드마크를 추출하고, 또 지도상의 촬영 범위에 대응하는 영역으로부터 대응하는 랜드마크를 추출하고, 영상과 지도상의 랜드마크가 합치하도록 화상 프레임 계산의 파라미터(이하, 지표면에 있어서의 카메라의 촬영 범위인 촬영 화상 프레임을 계산하기 위해 사용하는, 기체 위치·기체 자세·카메라 자세 정보와 카메라 설정 정보를 나타낸다)를 조정함으로써, GIS 화면 상에 정밀하게 영상을 변형 및 중첩시켜서 표시하는 것이다.

이하, 도면을 참조하여 설명한다. 도 14는 실시예 9를 나타내는 블록도이다. 그리고, 도 14에서는, 도 1의 안테나(103), 다중 변조 수단(109), 신호 변환 수단(110), 추적 수단(111), 일시 기억 수단(113), 송신 수단(104), 수신 수단(201), 추적 수단(202), 신호 변환 수단(203), 및 다중 복조 수단(204)은 도시를 생략한다. 도 15는 지도 처리 수단을 설명한 기능 설명도이다.

도 14에 있어서, 헬리콥터 등의 항공기(= 기체)(101)에 탑재된 GPS 장치 등의 기체 위치 계측 수단(108)에 의하여 현재의 위치 정보를 얻어서 기체 위치를 측 정한다. 또 기체(101)는 자이로 등을 구비하고, 상기 기체 자세 계측 수단(107)에 의해 기체(101)의 자세, 즉 앙각(= 피치)과 롤각을 계측한다. 기체(101)에 탑재된 카메라(102)에 의한 촬영 수단(105)은 지상을 촬영하고, 그 영상 신호를 출력하고, 또한 카메라의 줌 등의 카메라 정보도 병행하여 출력한다. 카메라(102)는 짐벌 등에 장착되고, 카메라 자세 계측 수단(106)에 의하여 카메라의 회전각(=팬), 경사(=틸트)가 계측된다.

상기 기체 위치 계측 수단(108), 기체 자세 계측 수단(107), 촬영 수단(105), 카메라 자세 계측 수단(106)의 출력은 신호 처리 수단(205)에 입력되어 각각 신호 처리되고, 카메라로 촬영된 영상 신호는, 동영상 데이터(207), 정지화상 데이터(208)로 변환된다. 신호 처리 수단(205)의 출력과 2차원 지도 데이터(209)는 지도 처리 수단(226)에 입력되고 지도 처리를 행한다.

상기 지도 처리 수단(226)은 도 15에 나타내는 기능을 가진다. 지도 처리 수단(226)에서는 도 15에 나타내는 바와 같이, 영상 신호인 동영상 데이터(207), 정지 화상 데이터(208)와 기체 위치, 기체 자세, 카메라 자세의 정보 신호 및 지리 정보 시스템의 2차원 지도 데이터(209)에 의하여 처리한다.

상기 지도 처리 수단(226)에서는, 먼저 공중에서의 촬영 위치를 3차원으로 특정하고, 카메라와 기체의 지표면에 대한 자세에 따라서, 촬영한 지표면의 촬영 범위(= 촬영 화상 프레임)를 계산에 의해 구하는 화상 프레임 계산(212)을 행한다. 다음에, 지리 정보 시스템의 지도상의 촬영 범위 주변에 대응하는 범위에 있어서 랜드마크 추출(220)을 행하고, 정지 화상 데이터(208)로부터도 랜드마크 추출(221) 을 행한다. 이어서, 이들 랜드마크를 합치시키기 위한 랜드마크 대조(222)를 행하고, 랜드마크 대조(222)의 결과에 따라서 영상 변형·보정(223)을 행하고, 촬영 영상의 지도상의 중첩 표시 위치를 보정한 후에, 영상을 지리 정보 시스템의 지도상에 중첩시킨다(214). 마지막으로, 이것을 CRT 등의 모니터 표시 수단(211)에 의해 모니터로 표시한다.

다음에 도 16의 흐름도에 따라서 동작에 대하여 설명한다. 먼저, 도 14에 있어서의 기체 위치 계측 수단(108)의 출력인 기체 위치와, 기체 자세 계측 수단(107)의 출력인 피치 앙각, 롤각, 카메라 자세 계측 수단(106)의 출력인 팬, 틸트, 촬영 수단(105)의 출력인 카메라(102)의 줌, 신호 처리 수단(205)에서 얻어진 정지화상 데이터(20S), 및 2차원 지도 데이터(209)를 각각 입력 데이터로서 읽어들인다(S21). 다음에, 기체 위치, 피치 앙각, 롤각, 카메라의 팬, 틸트, 및 줌을 파라미터로 하여 화상 프레임 계산(212)을 행한다(S22). 이어서, 지리 정보 시스템의 지도상의, 화상 프레임 계산(212)에 의하여 구한 촬영 범위에 대응하는 영역의 주변에서 랜드마크를 추출한다(S23). S23에서 랜드마크가 추출되었을 경우는, 정지화상 데이터(208)로부터 대응하는 랜드마크를 추출한다(S24, S25).

S25에서 영상으로부터도 랜드마크가 추출되었을 경우는, S23과 S25에서 얻어진, 대응하는 랜드마크를 대조하고, 이들 랜드마크가 합치하도록 S22의 화상 프레임 계산에서 사용한 파라미터(예를 들면 팬·틸트)를 보정한다(S26, S27, S28). 또한 S28에서 구한 파라미터의 보정값에 따라서 재차 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서 정지 화상 데이터(208)를 변형하고, 지리 정보 시스템의 지도상에 중첩시켜서 표시한다(S29, S30, S31).

S23 또는 S25에서 랜드마크가 추출되지 않은 경우는, S22에서 구한 촬영 화상 프레임에 맞추어서 정지 화상 데이터(208)를 변형하고, 지리 정보 시스템의 지도상에 중첩시켜서 표시한다(S24, S26, S30, S31). 도 17은 화상 프레임 계산(212)에서 사용하는 각도 파라미터인 피치 앙각, 롤각, 카메라의 팬, 틸트를 나타낸다.

촬영 화상 프레임의 계산방법은 전술한 방법을 사용하고, 기준 상태에서의 촬영 화상 프레임을 각각의 각도 파라미터에 의해 회전 처리한 후에, 지표면에 투영함으로써, 지표면에 있어서의 카메라의 촬영 범위, 즉 촬영 화상 프레임을 얻는다. 도 18에 나타내는 바와 같이, 기체 위치를 원점으로 하고, 기체 진행 방향으로 x축, 지표면에 대해서 수직 위 방향으로 z축, 이들 x축, z 축에 대하여 수직이 되도록 y축을 취하면, 구체적인 계산은 이하와 같이 된다.

기준 상태에서의 촬영 화상 프레임의 계산

카메라의 틸트에 의한 y축 주위의 회전

카메라의 팬에 의한 z축 주위의 회전

기체의 롤각에 의한 x축 주위의 회전

기체의 피치 앙각에 의한 y축 주위의 회전

지표면(절대 고도(=해발 고도) 0의 수평면)에의 투영

도 18(a)는 기준 상태에서의 촬영 화상 프레임(42)을 계산한 상태를, 도 18(b)는, 기준 상태에서의 촬영 화상 프레임(42)을 각각의 각도 파라미터에 의해 회전 처리한 후, 지표면에 투영한 상태를 나타낸다.

카메라의 팬·틸트를 보정하는 방법을 도 19를 사용하여 설명한다. 기체 고도를 h, 틸트의 계측값을 θ, 팬의 계측값을 φ, 화상 상의 랜드마크 좌표(x, y), 지도상에서의 랜드마크 좌표(x₀, y₀)로 할 때, 보정 후의 틸트, 팬의 값 θ₀, φ₀는, 다음의 수식 21을 풀어서 구할 수 있다.

[수식 21]

단, 여기서 대조하는 지도상에서의 랜드마크 좌표(x₀, y₀)는, 이하의 변환을 행한 후의 좌표이다.

기체의 피치 앙각에 의한 y축 주위의 역회전

기체의 롤각에 의한 x축 주위의 역회전

지표면(절대 고도(= 해발 고도) 0의 수평면)에의 투영

도 20(a)는, 본 발명에 의한 보정을 행하지 않고, 지리 정보 시스템의 지도(41) 상에 촬영 화상 프레임(42)과 촬영 영상(43)을 중첩시킨 사진이며, 도 20(b)는 본 발명에 의한 보정을 행하고, 지리 정보 시스템의 지도(41) 상에 촬영 화상 프레임(42)과 촬영 영상(43)을 중첩시킨 사진이다. 부호 44는 기체 위치(카메라 위치)이다. 전술한 보정 처리를 포함하는 지도 처리 수단(226)에 의한 처리를 행함으로써, 도 20(b)에 나타내는 바와 같이, 영상과 지도가 완전히 일치하며, 정밀 하게 중첩 표시를 행할 수 있고, 촬영된 지표면의 상황 파악을 보다 용이하고 신속하게 할 수 있다.

상기 실시예 9에 의하면, 각 파라미터를 계측하는 각종 계측 기기의 계측 오차를 수정할 수 있을 뿐만 아니라, 기체에 탑재된 카메라를 조작 중에 촬영된 영상을 지도상에 중첩시켜서 표시하는 경우에도, 촬영 타이밍과 카메라 자세 정보(팬·틸트)의 데이터 취득 타이밍이 맞지않아서 발생한 오차를 수정할 수 있게 된다.

[실시예 10]

본 실시예는, 상기 실시예 9의 파라미터 조정을, 팬·틸트의 보정이 아니고, 기체의 자세 정보(롤·피치)를 보정함으로써, 촬영 화상 프레임의 위치를 보정하는 방법이며, 롤·피치의 보정은, 이하의 계산에 의해 이루어진다.

틸트·팬에 의한 회전 처리까지 하였을 때의 영상 상의 랜드마크 좌표를 (x₁, y₁, z₁)이라 하면, 롤 θ·피치 φ에 의한 회전 시의 랜드마크 좌표 (x₂, y₂, z₂)는, 수식 22에 의하여 구해진다.

[수식 22]

또한, 지표면으로 투영하면, 랜드마크 좌표 (x, y, z)는, 수식 23에 의하여 구해진다.

[수식 23]

여기서, h는 기체 고도이고, 지도상에서의 랜드마크 좌표를 (x₀, y₀)로 했을 때의 수식 24,

[수식 24]

를 만족시키는 θ, φ가 보정 후의 롤 θ₀, 피치 φ₀이다.

본 실시예 10에 의하면, 카메라가 기체에 고정되어 장착되고, 팬·틸트의 각도가 변화하지 않게 설치되어 있으므로 팬·틸트의 보정이 효과적이지 않은 경우에도, 기체의 자세 정보, 즉 롤·피치를 수정함으로써, 보다 현실에 가까운 상태에서의 파라미터의 보정이 가능해져서, 정밀하게 중첩 표시를 행할 수 있으므로, 촬영된 지표면의 상황을 보다 용이하고 신속하게 파악할 수 있다.

[실시예 11]

본 실시예는 랜드마크의 2점을 추출하고, 상기 2점간의 거리에 의하여 기체의 고도를 보정하는 것이다. 실시예 9(도 16)의 S23에서 랜드마크가 2점 추출되었을 경우는, 정지 화상 데이터(208)로부터도 마찬가지로 대응하는 2점의 랜드마크를 추출한다(S24, S25).

S25에서 영상으로부터도 대응하는 랜드마크가 추출되었을 경우는, S23과 S25에서 얻어진 랜드마크를 대조하고, 영상 상의 랜드마크 2점 사이의 거리와 GIS 지도상의 랜드마크 2점 사이의 거리가 같아지도록, 기체 고도(이 경우, 기체 고도는 GPS 장치에 의한 해면으로부터의 절대 고도로서 취득되어 있으므로, 이 고도 보정은, 지표면의 상대 고도가 된다)를 보정한다(S27, S28).

또한 S28에서 구한 파라미터의 보정값에 따라서 재차 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서 정지 화상 데이터(208)를 변형시키고, 지리 정보 시스템의 지도상에 중첩시켜서 표시한다(S29, S30, S31).

도 21(b)에서 알 수 있는 바와 같이, 본 발명에 의한 랜드마크 간의 거리에 의한 보정한 고도(상대 고도) h'는, 기체의 절대 고도를 h로 하여

(상대 고도) = (절대 고도) × (지도상에 있어서의 랜드마크 2점 간의 거리)÷(화상 상에서의 랜드마크 2점 간의 거리)

에 의하여 구해진다. 그리고, E는 지도상의 거리, F는 화상 상의 거리이다.

전술한 보정 처리를 포함하는 지도 처리 수단(226)에 의한 처리를 행함으로써, 지표면이 해면보다 높은 지점에 대한 촬영 영상도 정밀하게 중첩 표시할 수 있어서, 촬영된 지표면의 상황을 보다 용이하고 신속하게 파악할 수 있다.

[실시예 12]

본 실시예는 랜드마크의 개수에 따라서 파라미터를 보정함으로써, 보다 정밀하게 촬영 영상과 지도의 중첩 표시를 가능하게 한다. 실시예 9(도 16)의 S22에서 랜드마크가 2점 추출된 경우는, 정지 화상 데이터(208)로부터도 마찬가지로 대응하 는 2점의 랜드마크를 추출한다(S24, S25). S25에서 영상으로부터도 랜드마크가 추출되었을 경우에는, S23과 S25에서 얻어진, 대응하는 랜드마크를 대조한다(S27).

먼저, 1점째의 대응하는 랜드마크가 합치하도록 S22의 화상 프레임 계산에서 사용한 파라미터(팬·틸트)를 보정하고, 다음에 2점째의 대응하는 랜드마크의 차이(difference)를 수정하도록, 기체 자세 파라미터(롤·피치)를 수정한다(S27, S28). 또한 S28에서 구한 각각의 파라미터의 보정값에 따라서 재차 촬영 화상 프레임을 계산하고, 계산된 상기 촬영 화상 프레임에 맞추어서 정지 화상 데이터(208)를 변형하여, 지리 정보 시스템의 지도상에 중첩시켜서 표시한다(S29, S30, S31).

도 22는 이것을 설명하는 도면이며, 흑색 원 표시는 지도상의 랜드마크를, 흑색 삼각 표시는 화상 상의 랜드마크를 나타내고 있다. 도 22(a)는 GIS 지도상에 촬영 영상이 중첩되어 표시된 상태를 나타내고, 도 22(b)는 상기 실시예 11에 의한 고도를 보정한 후의 상태, 도 22(c)는 그 후 팬·틸트 보정을 행한 후의 상태, 도 22(d)는, 롤·피치 보정을 행한 후의 상태를 나타낸다.

상기 실시예 12에 의하면, 1점 만의 랜드마크의 합치에 의한 파라미터의 조정에서는, 촬영 범위 전반에 걸쳐서, 정밀도가 높은 촬영 영상과 지도의 중첩 표시가 곤란한 경우에도, 2점의 랜드마크를 사용함으로써, 보다 정밀하게 중첩되도록 표시할 수 있고, 촬영된 지표면의 상황을 보다 용이하고 신속하게 파악할 수 있다.

[실시예 13]

본 실시예는 랜드마크가 3점 이상 추출된 경우, 모든 2점 간의 파라미터 보정값을 구하여, 그 평균값을 파라미터 보정값으로 하는 것이다. 실시예 9(도 16) 의 S23에서 랜드마크가 2점 이상의 복수개의 점이 추출된 경우는, 정지 화상 데이터(208)로부터도 마찬가지로 대응하는 2점 이상의 복수개의 점의 랜드마크를 추출한다(S24, S25).

S25에서 영상으로부터도 랜드마크가 추출되었을 경우는, S23과 S25에서 얻어진 랜드마크에서 대응하는 2점을 선택하고, 각각 대조함으로써 파라미터의 보정값을 구한다. 이것을 랜드마크 2점의 선택 방식 모두에 대하여 적용함으로써 복수개의 파라미터 보정값을 취득하고, 파라미터마다 이들 보정값의 평균을 취하고, 이들의 평균값을 각각의 파라미터의 보정값으로 한다(S27, S28). 또한 S28에서 구한 파라미터의 보정값에 따라서 재차 촬영 화상 프레임을 계산하고, 상기 촬영 화상 프레임에 맞추어서 정지 화상 데이터(208)를 변형시키고, 지리 정보 시스템의 지도상에 중첩시켜서 표시한다(S29, S30, S31).

전술한 보정 처리를 포함하는 지도 처리를 행함으로써, 랜드마크 1점 또는 2점의 위치에 따라서 영상과 지도의 중첩을 표시하는 보정을 행하는 경우에 비하여, 보다 정밀하게 중첩 표시를 행할 수 있고, 촬영된 지표면의 상황을 보다 용이하고 신속하게 파악할 수 있다.

[실시예 14]

본 실시예는, 촬영 영상을 연속적으로 소정의 주기로 복수매 촬영하고, 연속되는 복수매의 영상이 정지 화상 데이터로서 부여되는 경우, 지도상에 중첩하여 표시시키는 처리에 관한 것이다. 얻어진 정지 화상 영상에 대해서 랜드마크의 추출 처리를 행하고, 그 결과 랜드마크가 추출되면 GIS 지도와 대조함으로써 보정하지 만, 모든 정지 화상 영상으로부터 랜드마크를 추출할 수 있다고는 할 수 없다. 촬영하면서 중첩 표시를 행하는 라이브 표시 처리에 있어서, 모든 촬영 화상에 대하여, 화상 처리를 즉시 실행하여 랜드마크를 추출하고, 보정하는 것은 처리 시간의 문제때문에 곤란하다.

그러므로, 랜드마크가 추출되지 않는 정지 화상의 지도상의 중첩 표시는, 앞서 보정한 때의 보정값에 따라서 재차 화상 프레임을 계산에 의하여 구한 촬영 화상 프레임에 맞추어서 영상을 변형시키고, 지리 정보 시스템의 지도상에 중첩되게 표시함으로써, 중첩 위치에 대한 정밀도를 향상시키는 것이다.

이 처리는, 도 23의 S24, S26, S32, S33, S31에 해당하여, S24에서 대응하는 랜드마크가 추출되었을 경우는 실시예 9와 같이 처리한다. 도 24는 이 방법에 의한 모니터 표시 화면을 나타내는 것이며, 부호 41은 지도, 44는 기체 위치(카메라 위치), 45는 기체의 비행 경로이다. 상기 비행 경로(45)를 따라서 카메라에서 촬영한 영상을 소정의 타이밍에서 샘플링하여, 각각 중첩 위치를 보정한 후에, 지리 정보 시스템의 지도(41) 상에 중첩 표시하고 있다. 43a ~ 43g는 중첩한 화상, 42는 최신 화상(43g)의 촬영 화상 프레임이다.

본 실시예 14에서는, 랜드마크가 추출되지 않는 경우에도, 중첩 표시 위치를 보정할 수 있으며, 정밀하게 중첩되게 표시할 수 있고, 또한 광범위하게 촬영된 지표면의 상황을 보다 용이하고 신속하게 파악할 수 있다.

[실시예 15]

본 실시예 15에서는, 촬영 영상을 연속하여 소정의 주기로 복수매 촬영하고, 연속하는 복수매의 영상이 정지 화상 데이터로서 부여되는 경우, 지도상에 중첩시키는 표시 처리에 관한 것이다. 연속 촬영 영상에는, 랜드마크의 대조에 의해 중첩되도록 위치 보정을 실행한 영상과, 랜드마크를 추출하지 못하고, 대조에 의한 중첩 위치 보정을 행할 수 없는 촬영 영상이 존재한다.

이 경우, 실제 비행 시에는, 상기 실시예 14에서 나타낸 바와 같이, 다음 랜드마크가 추출되기까지 전회(前回)의 보정값을 계속 사용하지만, 과거의 비행 영상을 사용하여 지도상에 영상을 중첩시켜서 표시하는 처리에 있어서는, 실제 비행 시에 비하여, 위치 보정의 처리 시간에 여유가 생기게 된다. 그래서, 과거의 비행 영상을 지도상에 중첩시켜서 표시하는 경우는, 도 25에 나타내는 바와 같이, 다음에 랜드마크가 추출된 지점에서 구한 각각의 파라미터의 보정값을, 전회 랜드마크 대조에 의한 보정을 행한 지점과의 중간 지점까지 거슬러 올라가서 적용함으로써 중첩 표시 위치를 보정한다.

도 25에 있어서, 회색 사각형은 랜드마크 추출 화상을, 흰색 사각형은 랜드마크가 추출되지 않았던 화상을 나타낸다. 또, 화살표 G는 랜드마크가 추출되어 중첩 위치 보정을 행한 화상으로부터 그 중첩 위치 보정값을 이용하여 중첩 위치를 보정하는 것을 나타내고 있다. 이 실시예 15에 의하여, 랜드마크의 대조에 의한 보정을 할 수 없는 경우의 화상 사이의 중복 상태는, 도 25에 나타낸 바와 같이 개선된다.

도 25(a)는 본 실시예를 적용하지 않는 경우를 나타내고, 도 25(b)는 본 실시예를 적용한 경우를 나타낸다. 랜드마크의 대조에 의한 영상의 중첩 표시 위치 보정을 행한 촬영 영상을 기점으로 하고, 중첩 표시 보정을 한 촬영 영상 사이의 중간 지점을 지향하여, 전후에 영상의 중복 부분의 합치율이 최대가 되도록 영상을 조정하여 배치함으로써, 연속적으로 촬영된 영상을, GIS 지도상에, 보다 정밀하게 중첩하여 표시시킬 수 있다.

본 실시예 15에 의하면, 과거의 비행 영상을 GIS 지도상에 중첩시켜서 표시하는 처리에 있어서, 랜드마크가 추출되지 않는 경우에도, 중첩 표시 위치의 보정을 행할 수 있다. 또, 화상 사이의 중복 상태가 랜드마크 추출 화상에서 분단되지 않고, 보다 부드럽게, 연속적으로 정밀하게 중첩 표시를 행할 수 있고, 또한 광범위하게 촬영된 지표면의 상황 파악을 보다 용이하고 신속하게 할 수 있다.

[실시예 16]

본 실시예에서는, 과거의 비행 영상으로부터 추출되는 촬영 영상의 고도 보정 데이터를, 위치에 링크해 등록함으로써, 촬영 영상으로부터 랜드마크를 추출할 수 없는 경우에도, 촬영 지점의 고도 보정을 행하는 것이다.

랜드마크의 합치에 의해 고도 보정 처리가 실행할 수 있을 경우에, 절대 고도와 상대 고도의 차이에 의하여 부여되는 고도 보정값은, 촬영 지점에 그 지점의 고도 보정값으로서 등록 및 관리함으로써, 언제라도 이용할 수 있고, 다음 회 이후, 그 지점에 가까운 지점을 기체가 비행할 경우에는, 처리 시간이 한정되는 실제 비행 시나, 정지 화상과 지도에서 대응하는 랜드마크를 2점 이상 추출할 수 없는 경우에도, 고도 보정을 행할 수 있다.

도 26은, 연속적으로 촬영된 정지 화상을, GIS 지도상에 중첩 표시된 상태를 나타낸다. 상기 도면 중, 마지막 1개의 화상(51)과 중간의 1개의 화상(52)에서 2점의 랜드마크가 추출되어, 고도의 보정값을 취득할 수 있는 경우를 설명하고 있다.

화상(51)과 화상(52)에 있어서는, 2점 이상의 랜드마크가 합치하므로, 고도의 보정값을 취득할 수 있고, 상기 보정값을 각각 61, 62이라 하면, 지도의 지점으로서의 고도 보정값(61, 62)을 심볼로서 등록하고, 2점 이상의 랜드마크를 추출할 수 없는 영상에 대해서, 그 지점의 고도 보정값을 제공함으로써, 카메라의 장착 각도뿐만 아니라, 지표의 고도에 의한 오차를 보정하고, 연속적으로 촬영된 영상을, GIS 지도상에, 보다 정밀하게 중첩되게 표시시킬 수 있다.

본 실시예 16에서는, 과거 비행 영상으로부터 추출된 고도 보정 데이터를 지도상의 지점에 등록함으로써, 2점 이상의 랜드마크를 추출할 수 없는 영상에 대해서도, 고도를 보정할 수 있고, 보다 정밀하게 중첩되게 표시할 수 있다.

지진 등의 천재 지변이나, 화재, 폭발, 중대사고 등의 인재가 발생한 경우, 헬리콥터 등의 기상으로부터 지상의 상황을 촬영하는 촬영 영상 표시 장치에 이용할 수 있다.

Claims (20)

1. 공중의 기체(機體)에 탑재된 촬영 장치에 의해 촬영된 지표면의 촬영 영상(302)을 화상 처리하여 표시하는 촬영 영상 표시 장치로서,

   상기 지표면에 대한 상기 기체(101)와 상기 촬영 장치(102)의 자세에 따라서, 공중에서의 촬영 위치를 3차원적으로 특정하고, 촬영된 지표면의 촬영 범위를 계산에 의하여 구하는 화상 프레임 계산 처리부(212),

   상기 촬영 범위에 맞추어서 촬영 영상(302)을 변형하는 영상 변형 처리부(213),

   변형한 상기 촬영 영상을 지리 정보 시스템(Geographic Information System)의 지도(301)상에 중첩시키는 영상 표시 처리부(214),

   상기 중첩된 지도를 표시하는 모니터 표시부(211)를 구비하는 것을 특징으로 하는 촬영 영상 표시 장치.
2. 공중의 기체에 탑재된 촬영 장치에 의해 촬영된 지표면의 촬영 영상(302)을 화상 처리하여 표시하는 촬영 영상 표시 장치로서,

   상기 지표면에 대한 상기 기체(101)와 상기 촬영 장치(102)의 자세에 따라서, 공중에서의 촬영 위치를 3차원적으로 특정하고, 연속적으로 촬영된 복수매의 지표면의 각각의 촬영 범위를 계산에 의하여 구하는 화상 프레임 계산 처리부(212),

   각각의 상기 촬영 범위에 맞추어서 각각의 촬영 영상(302)을 변형하는 화상 변형 처리부(213),

   변형한 이들 복수매의 촬영 영상을 지리 정보 시스템의 지도(301)상에 중첩시키는 영상 중첩 처리부(214),

   상기 중첩된 지도를 표시하는 모니터 표시부(211)를 구비한 것을 특징으로 하는 촬영 영상 표시 장치.
3. 제2항에 있어서,

   중첩시키는 복수매의 촬영 영상(302)은, 일부를 서로 중복시키고, 그 중복되는 부분에 있어서의 중복 상태가 가장 많아지도록 촬영 영상을 이동하여 보정한 후에, 접합하는 영상 접합·보정부(215)를 구비한 것을 특징으로 하는 촬영 영상 표시 장치.
4. 제2항에 있어서,

   상기 중첩시키는 복수매의 촬영 영상(302)은, 상기 연속적으로 촬영한 영상을 기체의 속도에 따라 변화하는 주기로 샘플링하여 얻은 결과인 것을 특징으로 하는 촬영 영상 표시 장치.
5. 제1항에 있어서,

   상기 화상 프레임 계산 처리부(212)는, 촬영된 지표면의 촬영 범위를, 상기 촬영 장치(102)의 상기 기체(101)에 대한 경사와 회전각에 따라서 계산에 의하여 구하는 것을 특징으로 하는 촬영 영상 표시 장치.
6. 제1항에 있어서,

   상기 화상 프레임 계산 처리부(212)는, 촬영된 지표면의 촬영 범위를, 상기 기체(101)의 지표면에 대한 경사와 롤 각도에 따라서 계산에 의하여 구하는 것을 특징으로 하는 촬영 영상 표시 장치.
7. 제1항에 있어서,

   상기 화상 프레임 계산 처리부(212)는, 촬영된 지표면의 촬영 범위를, 상기 촬영 장치(102)의 상기 기체(101)에 대한 경사와 회전 각도 및 상기 기체의 지표면에 대한 경사와 롤 각도에 따라서 계산에 의하여 구하는 것을 특징으로 하는 촬영 영상 표시 장치.
8. 제7항에 있어서,

   상기 화상 프레임 계산 처리부(212)는, 상기 지표면의 촬영 범위를 계산에 의하여 구한 후에, 상기 촬영 범위의 지표면의 고도를, 미리 작성되어 있는 지표면의 기복(起伏)에 대한 고도 정보를 포함하는 3차원 지세(地勢) 데이터(210)를 이용하여 취득하고, 촬영 지점의 고도를, 기체(101)의 절대 고도에서 지표면의 고도를 감산한 상대 고도로서 계산하는 것이며, 상기 영상 변형 처리부(213)는 상기 촬영 범위에 맞추어서 촬영 영상을 변형하여, 상기 영상 중첩 처리부(214)는 이 영상을 지리 정보 시스템의 지도(301)상에 중첩시켜서 표시하는 것을 특징으로 하는 촬영 영상 표시 장치.
9. 공중의 기체(101)에 탑재된 촬영 장치(102)에 의해 지표면을 촬영하고, 그 촬영 영상(302)과 지도를 대조하여 지상의 상황을 식별하는 것을 목적으로 하는 촬영 영상 표시 장치로서,

   상기 지표면에 대한 상기 기체와 상기 촬영 장치의 자세에 따라서, 공중에서의 촬영 위치를 3차원적으로 특정하고, 촬영한 영상의 신호에, 상기 기체 위치 정보, 카메라 정보, 기체 정보의 신호를 동기시켜서 송신하고,

   수신측에서는 촬영된 지표면의 촬영 범위를 계산에 의하여 구하고, 상기 촬영 범위에 맞추어서 촬영 영상(302)을 변형한 후에, 지리 정보 시스템의 지도상에 중첩시켜서 표시하는 것을 특징으로 하는 촬영 영상 표시 장치.
10. 공중의 기체에 탑재된 촬영 장치에 의하여 촬영된 지표면의 촬영 영상을 화상 처리하여 표시하는 촬영 영상 표시 방법으로서,

    상기 지표면에 대한 상기 기체 상기 기체와 상기 촬영 장치의 자세에 따라서, 공중에 있어서의 촬영 위치를 3차원적으로 특정하고, 촬영된 1매 이상의 지표면의 화상의 촬영 범위를 계산하여 구하고,

    상기 촬영 범위에 맞추어서 촬영 영상을 변형한 후에,

    변형된 상기 촬영 영상을 지리 정보 시스템의 지도상에 중첩시킨 촬영 영상을, 촬영 범위 프레임만 남기고 지울 수 있는 것을 특징으로 하는 촬영 영상 표시 방법.
11. 제10항에 있어서,

    상기 지리 정보 시스템의 지도와 상기 촬영 영상으로부터 각각 랜드마크를 추출하고, 대응하는 랜드마크를 대조함으로써, 촬영된 지표면의 촬영 범위를 계산할 때 사용하는 파라미터를 보정하고, 촬영 영상을 지리 정보 시스템의 지도상에 정밀하게 중첩시켜서 표시하는 것을 특징으로 하는 촬영 영상 표시 방법.
12. 제11항에 있어서,

    추출된 상기 랜드마크의 개수에 따라서, 보정하는 파라미터를 변경하는 것을 특징으로 하는 촬영 영상 표시 방법.
13. 제11항에 있어서,

    추출된 상기 랜드마크에 따라서, 상기 촬영 장치의 상기 기체에 대한 경사와 회전각을 보정하고, 촬영된 지표면의 촬영 범위를 계산하는 것을 특징으로 하는 촬영 영상 표시 방법.
14. 제11항에 있어서,

    추출된 상기 랜드마크에 따라서, 상기 기체의 지표면에 대한 경사와 롤 각도를 보정하고, 촬영된 지표면의 촬영 범위를 계산하는 것을 특징으로 하는 촬영 영상 표시 방법.
15. 제11항에 있어서,

    추출된 상기 랜드마크의 두 점을 사용하여, 두 점간의 거리에 따라서 상기 기체의 고도를 보정하고, 촬영된 지표면의 촬영 범위를 계산하는 것을 특징으로 하는 촬영 영상 표시 방법.
16. 제11항에 있어서,

    추출된 상기 랜드마크가 3개 이상의 경우에, 각 랜드마크의 두 점간에서의 파라미터 보정값의 평균을 사용하여, 촬영된 지표면의 촬영 범위를 계산하는 것을 특징으로 하는 촬영 영상 표시 방법.
17. 제11항에 있어서,

    상기 지리 정보 시스템의 지도와 각각의 촬영 영상의 복수매로부터 각각 랜드마크를 추출할 때에, 대응하는 랜드마크가 없는 경우, 촬영된 지표면의 촬영 범위를 계산할 때에 사용하는 파라미터를, 전회(前回)에 랜드마크를 추출했을 때의 보정값에 따라서 보정하고, 서로 일부를 중복하여 접합시켜서 지도상에 중첩 표시하는 촬영 영상을, 그 중복하는 부분에서의 중복 상태가 가장 많아지도록 이동한 후에, 접합하는 것을 특징으로 하는 촬영 영상 표시 방법.
18. 제11항에 있어서,

    지리 정보 시스템의 지도와 각각의 촬영 영상으로부터 각각 랜드마크를 추출하고, 전회에 랜드마크를 추출했을 때의 촬영 영상과 현재의 촬영 영상의 중간 지점까지 거슬러 올라가서, 연속적으로 촬영된 지표면의 각각의 촬영 범위를 계산할 때에 사용하는 파라미터를 현재의 보정값에 따라서 보정하고, 이들 복수매의 촬영 영상을 지리 정보 시스템의 지도상에 정밀하게 중첩시켜서 표시하는 것을 특징으로 하는 촬영 영상 표시 방법.
19. 제15항에 있어서,

    상기 랜드마크의 합치(合致)에 의하여, 촬영 영상의 고도 보정 처리가 실행된 지점에서, 고도 보정값을 등록하고, 그 이후, 그 지점과 가까운 지점을 비행할 경우에, 등록된 상기 고도 보정값이 고도 보정의 기준치로서 다시 이용될 수 있는 것을 특징으로 하는 촬영 영상 표시 방법.
20. 삭제

Images