KR20030070553A

KR20030070553A - 촬영영상 처리방법

Info

Publication number: KR20030070553A
Application number: KR10-2003-0011412A
Authority: KR
Inventors: 노노야마야수마사
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2002-02-25
Filing date: 2003-02-24
Publication date: 2003-08-30
Also published as: TW200303411A; TW593978B; CN1445508A; IL154516A0; US20030218675A1

Abstract

공중에서 촬영된 영상을 지상에 송신하여 지상에서 지상의 상황을 파악하는 작업에 있어서, 촬영된 영상을 지도상에서 정확하게 위치를 판별하는 것은 곤란하였다.

공중 기체에 탑재된 촬영장치에서 지표면을 촬영하고 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법으로써, 공중에서 촬영위치를 3차원적으로 특정시켜 촬영된 지표면의 촬영범위를 계산하여 구하고, 그 촬영범위에 맞추어 촬영영상을 변형시킨 후 이것을 지리정보 시스템의 지도상에 중첩시켜서 표시한다.

Description

촬영영상 처리방법{VIDEO PICTURE PROCESSING METHOD}

이 발명은 예컨대 헬리곱터에 탑재된 촬영장치에서 송신된 영상을 지리정보 시스템의 지도상에 중첩시켜 표시함으로써 지진 재난등의 지상 상황의 판별을 용이하게 하고, 또 정밀도 있게 행할 수 있도록 된 것을 특징으로 하는 촬영영상 처리방법에 관한 것이다.

(종래의 기술)

도 14는 일본 특허제2695393호 공보에 표시된 종래 장치의 원리적인 구성을 나타내는 도면이다.

공중을 비행하는 헬리곱터(1)등의 기체에는 텔리비전 카메라등의 촬영장치 (2)가 탑재되어 목표물(3)을 촬영한다.

목표물(3)은 3차원적인 기복이 어떤 지표면(4)상에 존재하고, 지표면(4)을 평면으로 투영한 2차원 평면(5)상에는 존재하지 않는다.

본 예에서는 헬리곱터(1)의 현재위치를 측정하고 목표물 위치의 방향으로 뻗는 직선(L)과 지표면(4)과의 교점으로써 목표물(3)의 위치가 특정된다.

지표면(4)이 2차원 표면(5)에서 고도(H)만큼 다른 높이에 존재하므로 목표물 (3)까지의 직선을 2차원 평면(5)까지 연장시킨 교점의 위치가 목표물(3)을 2차원 평면(5)에 투영시킨 위치보다 E만큼 다른 위치로 판단하게 된다.

이 종래의 기술에서는 지표면(4)위에서 목표물(3)의 위치를 정확하게 특정할 수 있는 것이다.

도 16은 도 15에 표시한 공중 촬영상(6)에서 재해발생지점을 발견하는 과정을 나타낸 것이다.

도 16(1)에 표시한 재해발생지점(20)에 대응하는 화면을 도 16(2)에 표시한 바와 같이 확대시켜 표시하면 피해 상황을 상세하게 알 수 있는 것이다.

공중 촬영상(6)을 촬영하고 있는 기체 탑재 카메라의 방위각(PAN), 상하각 (TILT) 및 헬리곱터(1)의 고도정보를 포함하는 3차원적인 위치정보를 기초로 하여 재해발생지점(20)이 특정된다.

도 17은 특정된 재해발생지점(20)을 2차원적인 지도에 맞추어 화상 표시되어 있는 상태를 나타낸다.

재해발생지점(20)의 주위에는 화상표시를 하고 있는 카메라의 시야(21)에 대응하는 영역이 표시되고, 카메라의 방향(22)도 화살표로써 표시되어 있다.

재해발생지점(20)은 여러가지 요인에 의하여 어느 정도의 오차를 수반하는 것이지만 카메라의 시야(21) 및 카메라의 방향(22)을 고려하여 공중 촬영상(6)을 보면 재해발생지점(20)을 보다 정확하게 특정할 수 있는 것이다.

도 18은 도 14의 헬리곱터(1)에 탑재되는 위치 특정에 관한 기기의 개략적인 구성을 나타낸다.

촬영장치(2)는 카메라(30) 및 짐벌유닛(31)을 포함하며, 카메라(30)는 TV카메라(30a) 및 적외선 카메라(30b)를 가지고 있고, 주야를 불문하고 공중 촬영을 할수 있는 것이다.

카메라(30)는 2축 또는 3축 안정화 자이로(Gyro)를 내장하는 짐벌유닛(31)에 설치되어 도 14의 헬리곱터(1)의 외부를 촬영하는 것이다.

촬영장치(2)에 의하여 촬영된 영상신호와 짐벌유닛(31)의 방향은 데이터 변환이나 시스템 전원 배분을 행하는 비디오 처리 및 짐벌 제어유닛(32)에 의하여 처리 또는 제어된다. 처리된 비디오 화상이나 음성정보는 VTR(33)에 의하여 자기 테이프에 수록되어 모니터(34)에 의하여 화상 표시된다. 카메라(30)의 초점 조정이나 짐벌유닛(31)의 방향 제어는 촬영 제어유닛(35)에서 조작된다.

다음에 동작에 관하여 설명한다.

도 14의 헬리곱터(1)의 현재위치는 GPS 안테나(36)를 통하여 GPS 수신기 (37)에 수신되는 GPS 위성에서의 전파에 위하여 측정된다.

4개의 GPS 위성에서의 전파를 수신하면 헬리곱터(1)의 현재위치를 3차원적으로 구할 수 있다.

지표면에 관한 고도정보를 포함한 지세 데이터는 3차원 지리 데이터 기억장치(38)내에 기억된다.

이와 같은 데이터의 일예로서는 일본국토 지리원 발행의 3차원 지세 데이터가 있다.

위치검출장치(39)는 3차원 지리 데이터 기억장치(38)의 기억내용을 판독하여 지도 화상을 발행하게 된다.

또, GPS 수신기(37)에서의 출력에 의하여 기계 자체위치의 출력을 행한다.

또한 헬리곱터(1)의 기수가 향하고 있는 방향의 출력이나 촬영하고 있는 날짜, 시간등의 출력 또는 목표의 표시나 그 보정을 하게 되는 것이다.

데이터 처리유닛(40)은 위치검출장치(39)에서의 출력에 응답하여 목표물의 위치계산을 하여 도 17에 표시한 바와 같이 2차원 표시를 하기 위한 화상 데이터 처리를 한다.

카메라(30)의 조작자와 헬리곱터(1)의 파이롯과의 연락등은 기내 교화계통 (41)을 통하여 하게 된다.

데이터 처리유닛(40)에 위하여 처리된 화상 데이터는 분배유닛(42)을 통하여 송신유닛(43)에 보내져서 송신 안테나(44)에서 전파로써 송신된다.

송신 안테나(44)는 자동 트래킹유닛(45)에 의하여 제어되어 도 15에 표시한 현지본부 지휘차(7) 또는 재해대책본부(10)의 방향으로 향하게 된다.

자동 트래킹유닛(45)은 꼭 필요한 것은 아니지만 자동 트래킹유닛(45)을 장착하면 송신 안테나(44)에서 송신되는 전력이 적어도 먼곳까지 효율좋게 전송할 수 있는 것이다. 분배유닛(42)에서는 송신항목을 선택하여 송신제어를 하며 신호분배등을 하게 된다.

송신유닛(43)에서는 분배유닛(42)에서 선택된 각 항목의 화상이나 음성 또는 데이터를 송신한다.

송신하는 화상을 모니터(34)에서 볼 수 있다.

도 19는 도 18에 표시한 헬리곱터(1)의 기기에서 송신되는 화상등의 전파신호를 재해대책본부(10)에서 수신하는 구성을 표시한다.

조작대(14)로서는 데이터 처리유닛(50) 및 지도화상 발생유닛(51)등이 포함된다.

데이터 처리유닛(50)에서는 수신된 화상 데이터의 처리와 데이터 변환등을 행한다.

지도화상 발생유닛(51)에서는 2차원 지도화상의 발생이나 3차원 지도화상의 발생 또는 날짜 및 시간등의 출력을 행한다.

자동 트래킹 공중선 장치(11)내에는 자동 트래킹 안테나(55), 안테나 제어유닛(56) 및 수신유닛(57)등이 포함된다.

자동 트래킹 안테나(55)표시는 고이득 지향성이 큰 안테나가 사용되고, 안테나 제어유닛(56)에 의하여 지향성의 향이 헬리곱터(1)방향으로 되도록 제어된다.

자동 트래킹 안테나(55)가 수신한 전파는 수신유닛(57)에 의하여 수신되어 화상 데이터등을 포함한 각 항목의 수신 데이터가 데이터 처리유닛(50)에 입력된다.

데이터 처리유닛(50)은 헬리곱터(1)에서 수신되는 화상 데이터의 처리결과를 대형 프로젝터(13)내에 설치되는 방재용 모니터(60)에 화상 표시되어 VTR(61)에 기록된다.

모니터(60)에는 도 17에 표시한 바와 같이 2차원 지도화상이 표시되고, VTR (61)에는 그 2차원 지도화상이 수록된다.

도 17에 표시한 바와 같은 2차원 지도화상이 표시되는 것은 재해 발생시의 방재용이며, 평상시의 운항 관리용에는 모니터(62)에 의하여 3차원 지도화상이 표시된다.

3차원 지도화상은 헬리곱터(1)의 주위에 산악등의 장애물을 3차원적으로표시하여 운항의 주의를 환기 시킨다.

3차원 지도화상은 도 18의 위치검출장치(39)에서의 기계자체 위치의 출력에 의하여 지도화상 발생유닛(51)에서 발생되어 VTR(63)에 수록된다.

도 18의 카메라(30)가 촬영한 화상 데이터는 제어장치(12)에 설치된 모니터 (65)에 표시되어 VTR(66)에 수록된다.

도 18에 표시한 카메라(30)는 가시광용의 TV 카메라(30a)와 적외선용의 적외선 카메라(30b)를 구비하고 있으므로 이것을 적절하게 절환함으로써 주야를 불문하고 영상을 얻을 수 있는 것이다.

일반적으로 주간에는 TV 카메라(30a)를 사용하고, 야간에는 적외선 카메라 (30b)를 사용한다.

화재가 발생하였을때에는 야간에서도 TV 카메라(30a)를 사용할 수도 있다.

또 주간에서도 안개나 연기 때문에 TV 카메라(30a)에서 양호한 화상을 얻을 수 없을때에는 적외선 카메라(30b)를 사용한다.

종래의 위치특정 방법 및 장치는 이상과 같이 구성되어 있으므로 촬영된 화상만으로 목표지점을 특정화하고, 그 영상에서 목표지점을 지시함으로써 목표지점의 특정화를 행하였다.

그러나 사용하는 영상정보와 실제지점과의 차이를 학인할 수 없어 그 오차를 확인할 수 없기 때문에 정밀도 높은 목표지점의 판별이 곤란한 문제점이 있었다.

또 1매의 영상으로서는 1매의 영상으로 촬영할 수 없는 광범위한 정보를 취득할 수 없으므로 복수매의 영상으로 광범위한 목표지역의 판독이 곤란한 문제점이 있었다.

이 발명은 상기와 같은 과제를 해결하기 위하여 발명된 것으로써 촬영영상을 지도정보 시스템의 지도상에 중첩시켜 표시함으로써 영상정보와 지도와의 정합성(整合性)을 용이하게 확인할 수 있고, 목표지점의 판별을 용이하게 할 수 있는 촬영영상 처리방법을 제공하는 것이다.

도 1은 이 발명의 실시의 형태 1에 관한 촬영영상 처리방법을 실시하는 시스템의 기능 설명도.

도 2는 실시의 형태 1에 있어서, 지도처리 시스템의 기능 설명도.

도 3은 실시의 형태 1에 의한 표시화면을 나타내는 사진.

도 4는 이 발명의 실시의 형태 2에 관한 촬영영상 처리방법에 의하여 얻어진 표시화면을 나타내는 사진.

도 5는 이 발명의 실시의 형태 3을 설명하는 도면.

도 6은 실시의 형태 3에 있어서, 지도처리를 설명하는 도면.

도 7은 이 발명의 실시의 형태 4를 설명하는 도면.

도 8은 실시의 형태 4에 있어서, 지도처리를 설명하는 도면.

도 9는 이 발명의 실시의 형태 5를 설명하는 도면.

도 10은 실시의 형태 5에 있어서, 지도처리를 설명하는 도면.

도 11은 이 발명의 실시의 형태 6에 관한 촬영영상 처리방법의 지도처리를 설명하는 도면.

도 12는 이 발명의 실시의 형태 7에 관한 촬영영상 처리방법의 지도처리를설명하는 도면.

도 13은 이 발명의 실시의 형태 8에 관한 촬영영상 처리방법을 설명하는 도면.

도 14는 종래 장치의 기본적 구성을 나타내는 도면.

도 15는 종래의 재해촬영 시스템의 구성을 나타내는 도면.

도 16은 종래의 공중 촬영상 및 그 부분 확대도.

도 17은 종래의 재해발생 지점후의 2차원 표시도.

도 18은 종래의 기상계(機上系)전기적 구성을 나타내는 블록도.

도 19는 종래의 재해대책본부내의 기기의 전기적 구성을 나타내는 블록도이다.

<도면의 주요부분에 대한 부호의 설명>

100 : 기상계, 101 : 기체,

102 : 카메라, 103 : GPS 신호수신,

104 : 송신, 105 : 촬영,

106 : 카메라 자세검출, 107 : 기체 자세검출,

108 : 기체 위치검출, 109 : 다중변조,

110 : 신호변환, 111 : 트래킹(Tracking),

112 : 짐벌(Gimbal), 200 : 지상계,

201 : 수신, 202 : 트래킹,

203 : 신호교환, 204 : 다중복조(多重復調),

205 : 신호처리, 206 : 지도처리,

207 : 동화(動畵) 데이터, 208 : 정지화 데이터,

209 : 2차원 지도 데이터, 210 : 지세(地勢)데이터,

211 : 모니터 표시,

212 : 이미지 프레임(Inage Frame)계산,

213 : 영상변형, 214 : 중첩(Superimposing),

301 : 지도, 302 : 촬영영상,

303 : 촬영 이미지 프레임,304 : 비행궤적,

305 : 기체위치.

이 발명에 관한 촬영영상 처리방법은 공중 기체에 탑재된 촬영장치에서 지표면을 촬영하고, 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법으로써 공중에서 촬영위치를 3차원적으로 특정시켜 촬영된 지표면의 촬영범위를 계산하고, 그 촬영범위에 맞추어서 촬영영상을 변형시킨 후 이것을 지리정보 시스템의 지도상에 중첩시켜 표시하도록 한 것이다.

또 공중 기체에 탑재된 촬영장치에서 지표면을 연속하여 촬영하고, 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법으로써, 공중에서 좔영위치를 3차원적으로 특정하여 연속적으로 촬영된 복수매의 지표면의 각 촬영범위를 계산하고, 그 각 촬영범위에 맞추어 각 촬영영상을 변형시킨 후 이들복수매의 촬영영상을 지리정보 시스템의 지도상에 중첩시켜 표시하도록 한 것이다.

또, 촬영영상 처리방법에 있어서, 중첩시키는 복수의 촬영영상은 서로 일부를 중복 접합되도록 한 것이다.

또, 촬영영상 처리방법에 있어서, 중복 접합시키는 촬영영상은 그 중복부에서 중복상태가 가장 많아지게 촬영영상을 이동 보정시킨 후 접합되도록 한 것이다.

또, 촬영영상 처리방법에 있어서, 중첩시키는 복수의 촬영영상은 연속적으로 촬영한 영상을 소정의 주기로 샘플링하여 얻도록 한 것이다.

또, 촬영영상 처리방법에 있어서, 샘플링 주기를 변경할 수 있도록 하는 것이다.

또, 촬영영상 처리방법에 있어서, 촬영된 지표면의 촬영범위를 촬영장치의 기체에 대한 경사와 회전각도에 의하여 계산하여 구하도록 하는 것이다.

또, 촬영영상 처리방법에 있어서, 촬영된 지표면의 촬영범위를 촬영장치의 기체에 대한 경사와 회전각도 및 기체의 지표면에 대한 경사와 롤각도에 의하여 계산하여 구하도록 하는 것이다.

또, 촬영영상 처리방법에 있어서, 지표면의 촬영범위를 계산하여 구한 후 촬영범위의 지표면의 고도를 미리 작성되어 있는 지표면의 기복에 관한 고도정보를 포함한 3차원 지세 데이터를 이용하여 취득하고, 촬영지점의 고도를 기체의 절대고도에서 지표면의 고도를 감산시킨 상대고도로써 계산하고, 그 촬영범위에 맞추어 촬영영상을 변형시키어 지리정보 시스템의 지도상에 중첩시켜 표시하도록 하는 것이다.

또, 이 발명에 관한 촬영영상 처리방법은 공중의 기체에 탑재된 촬영장치에 의하여 지표면을 촬영하고 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 한느 촬영영상 처리방법으로써, 공중에서 촬영장치를 3차원적으로 특정하여 촬영항 영상에 기체위치정보, 카메라정보, 기체정보를 동기시켜 송신하고, 수신측에서는 촬영된 지표면의 촬영범위를 계산하여 구하고, 그 촬영범위에 맞추어 촬영영상을 변형시킨 후 지리정보 시스템의 지도상에 중첩시켜 표시하도록 하는 것이다.

또, 촬영영상 처리방법에 있어서, 지도상에 중첩시킨 촬영영상을 촬영범위만 남겨 놓고 지울 수 있도록 하는 것이다.

또, 촬영영상 처리방법에 있어서, 표시되는 영상의 방향을 촬영장치의 방향에 관계없이 일정방향으로 표시할 수 있도록 하는 것이다.

(발명의 실시의 형태)

실시의 형태 1.

우선, 이 발명의 개략을 설명한다.

이 발명은 공중에서 지상을 촬영한 촬영영상을 지도정보 시스템(GIS : Geographic Information System 지도를 컴퓨터 화면상에 표시하는 시스템)의 지도상에 중첩시켜 표시함으로써, 영상정보와 지도의 정합성의 확인을 용이하게 하여 목표지점의 판별을 용이하게 하는 것이다.

단, 공중에서 카메라로 지상을 촬영한 경우 그 영상은 카메라의 방향에 관계없이 항상 일정한 직4각형 형상으로 밖에 찍을 수 없기 때문에 촬영한 영상을 지도정보 시스템에서 얻은 지도상에 그대로 중첩(풀로 붙이다)시킬 수는 없다.

그러므로, 본 발명에서는 영상을 촬영시의 카메라정보와 기체의 자세정보를 사용한 계산에 의하여 지상에 대한 카메라의 자세등에 의하여 직4각형에서 사다리꼴 또는 마름모꼴에 가까운 형등, 복잡하게 변하는 촬영되는 지표면의 촬영범위(촬영 이미지 프레임)를 계산에 의하여 구하고 그 이미지 프레임에 맞추어 영상을 변형시키어 지도상에 붙이어 표시하는 것이다.

이 발명의 실시의 형태 1에 관한 촬영영상 처리방법에 관하여 도면에 의하여 설명한다.

도 1은 이 발명의 방법을 실시하는 시스템의 각 기능을 블록으로 설명한 기능 설명도.

도 2는 지도처리를 설명한 기능 설명도이다.

이 발명의 방법은 촬영장치(카메라)등을 탑재시킨 헬리곱터등의 비행체(기체)로된 기상계(100)와, 기상계(100)에서의 신호를 수신하여 처리하는 지상에 배치된 지상계(200)에 의하여 실현되는 것이다.

기상계(100)에 있어서, 기체(101)에는 공중에서 지상을 촬영하는 촬영장치인 카메라(102)가 탑재되어 있다.

기체(101)는 안테나에 의한 GPS 신호수신(103)에 의하여 현재의 위치정보를 얻어서 기체 위치검출(108)을 한다.

기체(101)는 자이로를 구비하여 기체(101)의 자세 즉 앙각(仰角 : Pitch)과 롤(Roll)각을 검출하는 기체 자세검출(107)을 한다.

촬영장치인 카메라(102)는 지상을 촬영(105)하여 그 영상신호를 출력함과 동시에 카메라의 조리개, 줌(Zoom)등의 카메라정보도 합쳐서 출력한다.

카메라(102)는 짐벌에 부착시키고, 이 짐벌은 카메라의 회전각, 경사(Tilt)를 검출하는 카메라 자세검출(106)을 하여 출력한다.

기체 위치검출(108)의 출력신호, 기체 자세출력(107)의 출력신호, 카메라 촬영(105)의 영상신호, 카메라 정보신호, 카메라 자세검출(106)의 출력신호는 변조수단에 위하여 다중변조(109)되고, 디지털신호 신호변환(110)되어 트래킹(111)의 기능을 가진 안테나에서 지상계(200)로 향하여 송신(104)된다.

지상계(200)에서는 기상계(100)로부터의 신호를 트래킹(202)의 기능을 가진 안테나에서 수신(201)되어 신호변환(203)되고, 다중복조(204)를 경유하여 영상신호와 기타 기체위치, 기체자세, 카메라자세, 카메라정보등의 정보신호를 끄집어 낸다.

끄집어낸 이들의 신호를 신호처리(205)하고, 영상신호는 동화 데이터(MPEG) (207), 정지화 데이터(JPEG)로써 다음 스텝의 지도처리(206)를 한다.

기타 정보신호도 지도처리(206)로 사용한다.

지도처리(206)는 도 2에 표시한 기능을 갖는다.

지도처리(206)에서는 도 2에 표시한 바와 같이 영상신호인 동화 데이터 (207), 정지화 데이터(208), 기체위치, 기체자세, 카메라자세의 정보신호, 지리정보 시스템의 2차원 지도 데이터(209) 및 3차원 지세 데이터(210)에 의하여 처리한다.

지도처리(206)에서는 우선 공중에서 촬영위치를 3차원적으로 특정시키고, 카메라와 기체의 지표면에 대한 자세에 의하여 촬영된 지표면의 촬영범위(촬영 이미지 프레임)를 계산에 의하여 구하는 이미지 프레임 계산(212)을 한다.

이 이미지 프레임에 맞추어서 영상변형(213)을 한다.

이 영상변형은 영상이 지도에 일치하는 사다리꼴 혹은 마름모꼴에 가까운 형으로 되도록 영상을 변형시키는 것이다.

다음에 변형된 영상을 지리정보 시스템의 지도상에 중첩(214)시킨다.

그후 이것을 CRT등에서 모니터 표시(211)한다.

도 3은 지리정보 시스템의 지도(301)상에 촬영 이미지 프레임(303)을 지도에 합쳐서 촬영영상(302)을 중첩시킨 사진이다.

304는 기체의 비행경로, 305는 기체위치(카메라위치)이다.

상술한 변형처리를 포함한 지도처리(206)를 행함으로써 도 3에 표시한 바와 같이 영상과 지도가 고정밀도로 일치되고, 영상정보와 지도의 정합성을 용이하게 확인할 수 있으므로 목표지점의 판별을 용이하게 할 수 있는 것이다.

또, 도 3과 같이 카메라에서 촬영된 이미지 프레임의 영상을 지도상에 중첩되게 표시할 수 있는 것 이외에 촬영영상(302)을 지우고 이미지 프레임(303)만을 표시하는 것도 용이하게 할 수 있다.

따라서, 예컨대 재해발생장소등을 촬영영상(302)에서 시인하여 촬영영상 (302)상에서 그 위치를 첵크(click)하고, 그 다음 촬영영상(302)을 지워 이미지 프레임(303)만의 표시로써 촬영영상(302)의 밑에 2차원 지도를 표시하려면 촬영영상위에서 첵크한 위치가 지도상의 어디에 해당하는가를 신속하게 인식할 수 있게 된다. 더욱, 카메라의 방향에 관계없이 모니터의 표시형상을 일정한 방향으로 표시되록 하면 목표지점의 판별이 더욱 용이하게 된다.

실시의 형태 2.

본 실시의 형태에서는 기체(101)의 현재위치를 특정하고, 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지 프레임을 계산하고 그 촬영 이미지 프레임에 맞추어서 촬영한 영상을 변형시켜 붙이고, 촬영영상과 지도를 매칭시킬때 연속촬영한 촬영영상을 복수매 연속하여 소정의 주기에서 샘플링하고 연속된 복수매의 영상을 지리정보 시스템의 지도상에 붙이어 표시한다.

그 지도상에 붙인 영상에서 목표지점을 특정화 하려는 것이다.

도 4는 이 방법에 의함 모니터 표시화면을 표시한 것으로써 301은 지도, 304는 기체의 비행경로, 305는 기체위치(카메라위치)이다.

비행경로(304)를 따라 카메라에서 촬영한 영상을 소정의 타이밍에서 샘플링하여 각 이미지 프레임을 구하고, 촬영영상을 이미지 프레임에 맞도록 변형처리하여 지도(301)상에 붙인다.

302a ~ 302f는 붙인 영상, 303a ~ 305f는 그 이미지 프레임이다. 촬영 이미지 프레임의 계산 및 각 이미지 프레임으로의 영상의 변형은 실시의 형태 2에서 설명한 바와 같이 촬영시의 카메라정보와 기체의 자세정보를 사용한 계산에 의하여 행한다.

각 화상의 샘플링 주기는 기체의 속도에 따라 변화시켜도 된다.

통상적으로 기체의 속도가 빠를때에는 샘플링 주기를 짧게 기체속도가 느릴때에는 샘플링 주기를 길게한다.

본 실시의 형태에서는 지도와 복수매의 연속영상에 의한 광범위한 지표면의 상황을 확인하면서 지상의 상황을 식별하는 것이 가능하게 되어 목표지점의 판별을 일층 효과적으로 할 수 있는 것이다.

실시의 형태 3.

본 실시의 형태에서는 기체(101)의 현재위치와 기체에 대한 카메라(101)의 회전각과 경사(카메라의 자세)를 측정하고, 이 카메라의 자세에 의하여 지리정보 시스템의 지도상에 기상에서 촬영상 지상의 촬영 이미지 프레임을 계산하며 그 촬영 이미지 프레임에 맞추어서 촬영한 영상을 변형시켜 붙여서 촬영영상과 지도의 매칭을 행한다.

본 실시의 형태에 의하면 촬영장치인 카메라의 자세에 의하여 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀도 높은 지상의 상황을 식별할 수 있는 것이다.

지금 기체(101)와 카메라(102)의 관계를 도 5와 같이 카메라(102)가 짐벌 (112)에 수용되고, 기체(101)는 수평비행을 하고 있다고 가정하면 도 5(b),(c)에 표시한 바와 같이 카메라(102)의 경사는 기체(101)의 중심축에서의 경사, 카메라 (102)의 회전각도는 기체(101)의 진행방향으로부터의 회전각도로써 출력된다.

즉, (b)의 상태에서는 카메라(102)가 바로 밑을 향하고 있으므로 경사는 0도, (c)의 상태에서는 카메라(102)의 경사(θ)가 수직면에서의 경사로 되어 있는 것을 표시하고 있다.

카메라의 촬영 이미지 프레임의 계산방법은 컴퓨터 그래픽을 기초로 하여 3D좌표내의 직4각형(이미지 프레임)의 회전이동과 투상처리로 얻을 수 있다.

기본은 카메라의 촬영 이미지 프레임을 카메라정보와 기체정보에 의하여 변환처리하여 지상으로 투영시킨 경우의 그래픽 프레임을 계산함으로써 목적의 이미지 프레임을 얻을 수 있는 것이다. 3D좌표내의 각 좌표의 계산방법은 이하의 행열 계산방법을 사용하고 있다.

(1) 기준상태에서의 촬영 이미지 프레임의 계산

우선 도 6(a)에 표시한 바와 같이 이미지 프레임 4점의 위치를 기체의 위치를 원점으로 하여 상대좌표로써 계산한다.

촬영 이미지 프레임을 카메라의 초점거리와 화각과 고도에 의하여 기준위치로 게산, 4점의 좌표를 얻는다.

(2) 카메라의 틸트(Z축)에 의하여 4점의 회전후의 위치를 계산.

도 6(b)에 표시한 바와 같이 카메라의 틸트각도(θ)에서 Z축의 회전으로 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음 수학식 1에서 변환시켜 구한다

(3) 카메라의 방위각(Y축)에 의하여 4점의 회전후의 위치를 계산 도 6(c)에 표시한 바와 같이 카메라의 방위각(θ)에서 Y축의 회전으로 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음의 수학식 2에서 변환시켜 구한다.

(4) 수학식 1과 수학식 2에 의한 회전처리후의 이미지 프레임을 원점(기체위치)에서 지표면(Y축 고도지점)에 투영한 그래픽 프레임을 계산.

도 6(d)에 표시한 바와 같이 촬영 이미지 프레임을 지표면(Y축 고도)에 투영함으로써 투영평면(촬영 이미지 프레임)을 얻는다.

투영후의 좌표를 다음 수학식 3에서 변환시켜 구한다.

다음 수학식 4에서 일반동차 좌표계(一般同次座慓系)[X,Y,Z,W]을 얻는다.

단, d는 해발고도이다.

다음에 W'(=y/d)으로 나누어 3D에 되돌리면 다음의 수학식 5로 된다.

실시의 형태 4.

본 실시의 형태에서는 기체(101)의 현재위치와, 기체(101)의 앙각과 롤각을 측정하고, 이 앙각과 롤각에 의하여 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지 프레임을 계산하여 그 촬영 이미지 프레임에 맞추어서 촬영한 영상을 변형시키어 붙이어서 촬영영상과 지도를 조합한다.

본 실시의 형태에 의하면 기체(101)의 지상에 대한 위치정보에서 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀한지상상황을 식별할 수 있는 것이다.

지금, 기체와 카메라의 관계를 도 7과 같이 카메라(102)가 기체(101)에 고정 (짐벌을 사용하지 않음)되어 있다고 가정하면 도 7(b)에 표시한 바와 같이 기체 (101)자체가 지상에서 수평으로 비행하고 있는 경우에는 카메라(102)가 바로 밑을 향하고 있으므로 카메라(102)의 경사는 0도로 된다.

도 7(c)와 같이 기체(101)가 경사되어 있는 경우에는 이것이 카메라(102)의 자세로 되기 때문에 기체(101)의 앙각(피치), 롤각에 의하여 카메라의 촬영 이미지 프레임을 계산한다.

(1) 기준상태에서의 촬영 이미지 프레임의 계산

도 8(a)에 표시한 바와 같이 이미지 프레임 4점의 위치를 기체의 위치를 원점으로 하여 상대 좌표로써 계산한다.

촬영 이미지 프레임을 카메라의 초점거리와 화각과 고도에 의하여 기준위치로 계산, 4점의 좌표를 얻는다.

(2) 기체의 롤(X축)에 의하여 4점의 회전후의 위치를 계산

도 8(b)에 표시한 바와 같이 다음 식에 의하여 기체의 롤각도(θ)에서 X축을 따라서 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음 수학식 6에서 변환시켜 구한다.

(3) 기체의 피치(Z축)에 의하여 4점의 회전후의 위치를 계산

도 8(c)에 표시한 바와 같이 기체의 피치각도(θ)에서 Z축을 따라 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음 수학식 7에서 변환시켜 구한다.

(4) 수학식 6과 수학식 7에 의한 회전처리후의 이미지 프레임을 원점(기체위치)에서 지표면(Y축 고도지점)에 투영시킨 그래픽 프레임을 계산

도 8(d)에 표시한 바와 같이 촬영 이미지 프레임을 지표면(Y축 고도)에 투영시킴으로써 투영평면(촬영 이미지 프레임)을 얻는다. 투영후의 좌표를 다음의 수학식 8에서 변환시켜 구한다.

다음의 수학식 9에 의하여 일반동차 좌표계[X,Y,Z,W]를 얻는다.

다음에, W'(=y/d)로 나누어 3D로 되돌리면 다음의 수학식 10이 된다.

실시의 형태 5.

본 실시의 형태에서는 기체(101)의 현재위치와 기체에 대한 카메라(102)의 회전각도와 경사, 여기에 기체(101)의 앙각과 롤각을 측정하고, 이것으로 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지를 계산하여 그 촬영 이미지 프레임에 맞추어 촬영한 영상을 변형시키어 붙이어 촬영영상과 지도를 조합시킨다.

본 실시의 형태에 의하면 카메라의 자세정보, 기체의 자세정보에서 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀한 지상의 상황을 식벽할 수 있는 것이다.

지금, 기체(101)와 카메라(102)의 관계를 도 9와 같이 카메라(102)가 짐벌 (112)에 수용되고, 또 기체(101)는 자유로운 자세로 비행한다면 도 9(b)에 표시한 바와 같이 짐벌(112)에서 카메라(102)의 경사와 카메라의 회전속도가 출력된다.

또 자이로에서 기체(101)자체의 지상에 대한 앙각과 롤각이 출력된다.

카메라의 촬영 이미지 프레임의 계산방법을 컴퓨터 그래픽의 기초로써 3D 좌표내의 직4각형(이미지 프레임)의 회전이동과 투영처리에서 얻을 수 있다.

기본은, 카메라의 촬영 이미지 프레임을 카메라정보와 기체정보에 의하여 변환처리한다.

지상에 투영하였을때의 그래픽 프레임을 계산함으로써 목적하는 이미지 프레임을 얻을 수 있다.

3D 좌표내의 각 좌표의 계산방법은 아래의 행열 계산방법을 사용하여 얻을 수 있다.

(1) 기분상태에서의 촬영 이미지 프레임의 계산

도 10(a)에 표시한 바와 같이, 이미지 프레임 4점의 위치를 기체의 위치를 원점으로 하여 상대좌표로써 계산한다.

촬영 이미지 프레임을 카메라의 큰점거리와 화각과 고도에 의하여 기준위치로 계산, 4점의 좌표를 얻는다.

(2)카메라의 틸트(Z축)에 의하여, 4점의 회전후의 위치를 계산

도 10(b)에 표시한 바와 같이, 카메라의 틸트각도(θ)에서 Z축을 따라 촬영이미지 프레임을 회전한다.

회전후의 좌표를 다음의 수학식 11에서 변환시켜 구한다.

(3)카메라의 방위각(Y축)에 의하여, 4점의 회전후의 위치를 계산

도 10(c)에 표시한 바와 같이, 카메라의 방위각도(θ)에서 Y축을 따라 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음의 수학식 12에 변환시켜 구한다.

(4)기체의 롤(X축)에 의하여, 4점의 회전후의 위치를 계산

도 10(d)에 표시한 바와 같이, 기체의 롤각도(θ)에서, X축을 따라 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음의 수학식 13에서 변환시켜 구한다.

(5)기체의 피치(Z축)에 의하여, 4점의 회전후(회전각θ)의 위치를 계산

도 10(e)에서 표시한 바와 같이, 기체의 피치각도(θ)에서 Z축을 따라 촬영 이미지 프레임을 회전시킨다.

회전후의 좌표를 다음의 수학식 14에서 변환시켜 구한다.

(6) 수학식 11 ~ 수학식 14에 의한 회전처리후의 이미지 프레임을 원점(기체위치)에서 지표면(Y축 고도지점)에 투영시킨 그래픽 프레임을 계산

도 10(f)에 표시한 바와 같이, 촬영 이미지 프레임을 지표면(Y축 고도)에 투영함으로써 투영평면(촬영 이미지 프레임)을 얻는다.

투영후의 좌표를 다음의 수학식 15에서 변환시켜 구한다.

(7) 다음의 수학식 16에 의하여 일반동차 좌표계[X,Y,Z,W]를 얻는다.

(8) 다음에, W'(=y/d)로 나누어 3D에 되돌리면 다음의 수학식 17이 된다.

실시의 형태 6.

본 실시의 형태에서는 기체(101)의 현재위치와 기체에 대한 카메라(102)의 회전각도와 경사, 여기에 기체(101)의 앙각과 롤각을 측정하고, 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지 프레임을 계산한다.

이 촬영 이미지 프레임의 4점의 계산처리에 있어서, 지세고도 데이터를 이용하여 기체(101)의 비행위치를 보정하여 촬영 이미지 프레임을 계산한다. 이 촬영 이미지 프레임에 맞추어서 촬영한 영상을 변형시켜 지리정보 시스템의 지도상에 붙이어 촬영영상과 지도와를 매칭한다.

본 실시의 형태에 의하면 기체의 위치, 고도, 기체 자세정보와 카메라의 자세정보를 사용하여 지표면의 고도 자세정보에 의하여 보정을 하고, 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀도 높은 지상의 상황을 식별할 수 있는 것이다.

도 11에 표시한 바와 같이 상술한 실시의 형태 5에서 수학식 11 ~ 수학식 14에 의한 회전처리후의 지표면으로의 촬영 이미지 프레임의 계산처리에 있어서 기체의 고도를 GPS장치에서 얻어지는 해발고도에 대하여 지표면의 자세 고도정보를 이용하여 촬영지점의 지표면고도(상태고도 d = 해발고도 - 지표면고도)를 사용하여 촬영 이미지 프레임의 4점의 계산을 실시한다.

(1) 수학식 11 ~ 수학식 14에 의한 회전처리후의 이미지 프레임을 원점(기체위치)에서 지표면(Y축 고도지점)에 투영한 그래픽 프레임을 계산

촬영 이미지 프레임을 지표면(Y축 고도)에 투영함으로써 투영평면을 얻는다.

투영후의 좌표를 다음의 수학식 18에서 변환시켜 구한다.

다음의 수학식 19에 의하여 일반동차 좌표계[X,Y,Z,W]를 얻는다.

다음에, w'(=y/d)로 나누어 3D에 되돌리면 다음의 수학식 20이 된다.

여기에서 사용하는 상대고도(d)를 GPS장치에서 얻어진 지평선에서의 절대고도에서 목표지점의 지세고도를 감산시켜 구하고, 카메라로부터의 상대고도를 이용함으로써 정밀도 높은 촬영 이미지 프레임의 위치를 계산한다.

실시의 형태 7.

본 실시의 형태에서는 기체(101)의 현재위치를 측정하고 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지 프레임을 계산하며, 그 촬영 이미지 프레임에 맞추어서 촬영한 영상을 변형시켜 붙이어 촬영영상과 지도를 매칭할때 지도상에 붙이기 위하여 변형된 촬영영상을 복수매 선택하여 연속적으로 지리정보 시스템의 지도상에 붙이 표시를 한다.

그 지도상에 붙여진 영상에서 목표의 지점을 특정화한다.

복수매의 촬영영상을 지리정보 시스템의 지도상에 붙이기 위한 처리에 있어서, 계산된 촬영 이미지 프레임에 따라 변형된 복수매의 촬영영상의 지도상에 배치한다.

각 촬영영상의 중복부분의 접합상태를 확인하고, 영상의 중첩상태가 더욱더 많아지도록 영상을 이동시키어 위치보정을 한다.

이 보정치를 사용하여 지리정보 시스템의 지도상에 촬영영상을 촬영 이미지 프레임을 합쳐서 변형시키어 붙이는 처리를 한다.

그 수순을 도 12에 표시한다.

기체(101)의 이동에 따라 촬영한 2매의 촬영영상 1(A)과 촬영영상 2(B)를 중첩하여 중복부분을 검출하고, 영상의 중첩상태가 더욱더 많아지도록 A와 B를 상대적으로 이동시키어 접합시의 위치보정치를 얻어 위치보정을 하여 접합시킨다. 위치보정은 도 2의 영상접합, 보정(215)을 행한다. 본 실시의 형태에 의하면 복수매의 연속영상이 보다 정밀한 접합이 되어 보다 광범위한 지표면의 상황을 확인하면서 지상의 상황을 식별할 수 있는 것이다.

실시의 형태 8.

본 실시의 형태에서는 기체(101)의 현재위치와 기체에 대한 카메라(102)의 부착각도와 경사, 기체(101)의 앙각과 롤각을 측정하고, 지리정보 시스템의 지도상에 기상에서 촬영한 지상의 촬영 이미지 프레임을 계산하며, 그 촬영 이미지 프레임에 맞추어 촬영한 영상을 변형시키어 붙여서 촬영영상과 지도를 매칭시키고, 이 처리를 행한후 기상계(100)에서 송신되는 제정보가 완전하게 동기되어 지상계(200)에 수신되는 것이 중요하며 그것을 실현하기 위하여 비행위치 검출장치의 처리시간, 카메라의 짐벌에 의한 자세검출의 처리시간, 영상송신의 처리시간등의 처리시간을 조정하여 촬영영상에 동기시키어 송신할 필요가 있다.

그것을 실현하기 위하여 도 1에 버퍼(Buffer)를 설치하고, 여기에 기상의 카메라의 영상신호를 일시적으로 기억(113)시키어 GPS등에 의한 기체 위치검출의 계산처리 시간의 지연과 동기시키어 지상계(200)에 송신한다.

이 관계를 도 13에 의하여 설명한다.

기체(101)가 GPS신호를 수신하여 기체위치를 검출할때 까지에는 T의 시간을 요하고, 그 사이에 기체(101)는 P1의 위치에서 P2의 위치까지 이동한다.

이때문에 기체의 위치검출이 완료된 시점에서는 카메라(102)가 촬영하고 있는 영역은 P1의 위치에서 촬영한 영역에서 거리 R만큼 떨어진 영역이 되어 오차가 생긴다.

이것을 수정하는 수순을 표시한 타임차트가 도 13(b)이다.

기체 위치검출을 위한 GPS 관측지점(t1)에서 GPS 계산시간(T)의 기간, 영상신호를 버퍼에서 일시적으로 보존하고, t2에서 일시적으로 보존한 영상신호와 기체위치, 기체자세, 카메라정보등을 합치어 송신한다.

본 실시의 형태에 의하면 촬영장치의 부착정보에서 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀한 지상의 상황을 인식할 수 있는 것이다.

이상과 같이 이 발명에 의하면, 영상정보와 지도의 정합성을 용이하게 확인할 수 있으므로 목표지점의 판별을 용이하게 할 수 있다.

또, 지도와 복수매의 연속영상에 의한 광범위한 위치관계를 학인하면서 지상의 상황을 식별할 수 있는 것이다.

또, 촬영장치인 카메라의 지면에 대한 자세에서 촬영 이미지 프레임을 계산함으로써 촬영영상과 지도의 위치관계를 확인하면서 보다 정밀한 지상의 상황을 식별할 수 있는 것이다.

또 도형처리에 있어서, 이미지 프레임만을 남겨두고 지도상에 중첩시켜 표시하거나, 카메라의 방향에 관계없이 영상을 일정한 방향으로 표시하는 것과 같은 영상처리가 용이하여 지상의 상황을 일층 신속하게 식별할 수 있다.

Claims

공중의 기체에 탑재된 촬영장치에서 지표면을 촬영하여 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법에 있어서, 공중에서 촬영위치를 3차원적으로 특정하여 촬영된 지표면의 촬영범위를 계산하여 구하고, 그 촬영범위에 맞추어 촬영영상을 변형시키 후 이것을 지리정보 시스템의 지도상에 중첩시키어 표시하도록 하는 것을 특징으로 하는 촬영영상 처리방법.
공중의 기체에 탑재된 촬영장치에서 지표면을 연속하여 촬영하여 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법에 있어서, 공중에서 촬영위치를 3차원적으로 특정하여 연속해서 촬영된 복수매의 지표면의 각 촬영범위를 계산하여 구하고, 그 각 촬영범위에 맞추어서 각 촬영영상을 변형시킨 후 이 복수매의 촬영영상을 지리정보 시스템의 지도상에 중첩시키어 표시하도록 하는 것을 특징으로 하는 촬영영상 처리방법.
공중의 기체에 탑재된 촬영장치에 의하며 지표면을 촬영하여 그 지표면에 존재하는 상황을 식별하는 것을 목적으로 하는 촬영영상 처리방법에 있어서, 공중에서 촬영위치를 3차원적으로 특정하여 촬영된 영상에 기체위치정보, 카메라정보, 기체정보를 동기시키어 송신하고, 수신측에서는 촬영된 지표면의 촬영범위를 계산하여 구하고, 그 촬영범위에 맞추어 촬영영상을 변형시킨 후 지리정보 시스템의 지도상에 중첩시키어 표시하도록 하는 것을 특징으로 하는 촬영영상 처리방법.