KR100473331B1 - 이동식 매핑시스템 및 그 영상처리방법 - Google Patents

Abstract

본 발명은 지피에스장비, 아이엔에스장비, 시시디카메라 등을 차량에 설치하여 원하는 대상물의 위치를 이동 도중에 실시간으로 인식할 수 있는 전방위치 측정장치에 있어서, 전방의 시시디카메라(111,112)(121,122)를 좌우측으로 구분하여 각 측이 적어도 2개 이상 전방을 향하여 설치되도록 하고,

각 시시디카메라는 좌우측이 일조의 시시디카메라(112,122)(111,121)를 이루어 각각 초점을 달리 이루도록 구성한 이동식 매핑시스템이며,

이동식 매핑시스템의 영상을 처리하는 방법에 있어서,

차량전방 좌우측 시시디카메라를 통한 동영상에서 좌우측 정지영상을 각 측 2개씩 도합 4개의 시시디카메라로부터 구분 절취하고, 절취한 영상에서 원하는 대상을 포함하는 영상인지를 확인하는 단계, 확인한 영상 중 2개를 선택 정합하여 대상물의 3차원 지상 좌표를 결정하는 단계, 결정한 3차원 지상좌표가 허용오차 이내이면 3차원 국지 좌표로 결정하고, 아니면 기 선택되지 않은 다른 2장을 선택하는 단계를 수행함을 특징으로 하는 이동식 매핑 시스템의 영상 처리방법에 관한 것이다.

Description

이동식 매핑시스템 및 그 영상처리방법{Mobile Mapping System and treating method thereof}

본 발명은 지피에스장비, 아이엔에스장비, 시시디카메라 등을 차량에 설치하여 원하는 대상물의 위치를 이동 도중에 실시간으로 인식할 수 있는 전방위치 측정장치에 관한 것으로,

상세히는 시시디 카메라를 좌우측으로 구분하여 각 측이 적어도 2개 이상 전방을 향하여 설치되도록 하고, 각 시시디카메라는 좌우측이 일조를 이루어 각각 초점을 이루도록 구성한 이동식 매핑시스템 및 영상 처리방법에 관한 것이다.

인공위성 자동 위치측정 시스템(GPS)을 이용한 이동식 매핑 시스템(Mobile

Mapping System)은 토목분야의 측지, 수치사진측량, 수치지도제작, 다이내믹 비젼(Dynamic Vision) 및 지리정보 시스템(Geographic Information System, 이하 'GIS'라 칭함) 기술 등을 통합한 최첨단 측량기술이다.

한편, 지리정보 시스템(GIS)은 최근에 여러 분야에서 활용되고 있는 지형/지물에 관한 위치정보를 담고 있는 기술로 나날이 그 효용성이 증대되고 있다. 이러한 지리정보 시스템(GIS)을 이용해 여러 자료들을 분석하고자 할 때, 위치정보는 매우 중요한 역할을 수행하고 있다. 따라서, 보다 신속한 위치정보를 수집할 수 있는 방법이 여러 각도에서 모색되고 있다.

일례로, 정부는 1990년 초부터 국책사업의 일환으로 GIS 프로젝트를 추진해오고 있다. 이 프로젝트의 주요 내용은 국가기간산업의 전산화, 각종 국토개발 관련 설계 및 관리 등의 분야에 주안점을 두고 매년 기하 급수적으로 정부예산을 투입하고 있다. 예컨대, GIS 시장은 '94년에는 약 400억원, '95년에는 약 600억원 정도로 '94년에 비하여 50%정도 성장하였고, '96년에는 약 1,000억원, '97년에는 약 1,700억원 (한국지리정보, 1997), '98년에는 약 1,000억원 그리고 '99년에는 약 1,500억원 정도로 급성장 하였다.

그러나, 이러한 GIS 구축 프로젝트는 전통적인 측량방식으로 진행되어 막대한 재원과 고급기술자들의 비효율적인 작업 분담 및 막대한 시간의 낭비를 초래하고 있다. 특히, 도로와 관련된 시설물의 경우, 데이터 구축을 위해 항공사진 측량방법을 사용하고 있으나 맨홀, 소화전 등과 같은 소형 시설물 등의 측정이 이루어지지 않아 수많은 인력을 동원하여 개략적으로 현장조사를 실시하고 있는 실정이다. 이러한 측정방법은 대상물에 대한 정확한 위치정보를 확보하지 못함으로 인해 매우 위험한 결과를 초래할 가능성이 있다.

결국, 종래의 방식으로는 외부환경에 따른 효율성과 정확성 문제로 인해 변화하는 정보에 대한 적절한 대응이 이루어질 수 없는 문제점이 있다. 실례로 1차 국책 GIS 사업의 대부분이 국가기본도의 수치지도화, 지방자치단체와 공공기업의 도로 및 지하시설물 관리시스템 구축사업이 중심이 되었다. 이 사업들은 막대한 재원을 들여 항공사진 측량방법 및 지상측량방법 등에 의하여 데이터를 구축하고 있으나 단기적으로는 1∼2년, 장기적으로는 4∼5년의 시간이 경과하면 데이터베이스를 갱신하여야 하는 문제가 발생한다. 기존의 측량방식으로는 이상에서 언급한 장애들을 효율적으로 해결할 수 없다는 것이다.

도 1 은 이동식 매핑시스템의 개략 구성도로, 차량에 지피에스 수신기를 둔 이동국과, 이동국에 위치 정보를 제공하는 지피에스 인공위성과, 지피에스 인공위성으로부터 지피에스 데이터를 받아 이동국의 위치 오차를 줄이도록 기능하는 기지국으로 이루어진다. 도 2 는 도 1 에 보인 이동국에서의 영상 처리 과정을 나타낸 플로우차트로, 이동국에는 단계 16 내지 20에서 차량 지붕에 각각 부착된 두 대의 시시디카메라를 이용하여 대상물의 영상을 촬상한다. 단계 24에서는 카메라의 광학 조절부를 통해 촬상소자로 수집된 각각의 영상을 전기적인 신호로 처리하고 이를 메모리에 저장한다. 단계 26에서는 단계 24로부터 정지영상을 절취한다. 단계 28과 30들에서는 각 프레임별로 좌측과 우측의 정지영상으로 구분한다. 단계 32에서는 단계 28과 단계 30으로부터의 각 프레임별 정지영상을 정합한다. 단계 36에서는 단계 32로부터의 영상정합을 이용하여 외부표정요소를 결정한다. 단계 38에서는 단계 36으로부터 산출된 외부표정요소를 이용하여 대상물의 3차원 지상좌표를 결정한다. 단계 44에서는 좌표변환 알고리즘을 통해 단계 38의 지상좌표를 국지좌표로 변환한다. 이때, 관성관측장치(IMU)와 GPS 신호가 매개변수로 이용된다.

시시디카메라의 영상으로부터 3 차원의 지상좌표를 결정하기 위해, 윈도우상의 영상 창에는 상하좌우로 움직이는 스크롤바(scroll bar)가 있어, 작업화면보다 큰 영상도 처리할 수 있도록 한다. 확대 대상영역은 2배, 4배 최대 7배까지 가능하다. 작업화면 맨 아래의 상태바 우측엔 마우스가 위치하여 지점의 (x,~y) 좌표와 밝기 값을 알지비(RGB)값으로 표시한다. 마우스의 좌측버튼을 누르면 1번부터 번호가 순차적으로 붙어 영상에서 측점을 선택하여 영상좌표를 등록할 수 있다. 측점의 번호는 변경, 삭제가 가능하고 영상에서 번호 표시를 감출 수 있도록 한다. 자료의 입력, 출력 및 수정을 위해 간단한 문서편집기를 추가하여 문서의 저장, 출력 이외에 자르기, 복사, 붙이기 등의 편집기능을 지원한다.

도 3 은 영상정합을 위한 플로우차트로, 단계 46과 48에서는 차량 위에 부착된 두 대의 카메라를 이용하여 각각의 우측 영상과 좌측 영상을 수집한다. 단계 50에서는 수집된 영상으로부터 좌측 영상의 특징점을 추출한다. 단계 52에서는 전술한 상관계수법을 사용하여 영상의 정합점을 구한다. 계속해서, 단계 54에서는 정합 강도에 따른 불량 정합점을 제거하는 일련의 과정을 진행한다. 단계 56에서는 상기 단계들을 통해 얻어진 영상이 최하위 단계의 영상인가를 판단한다. 판별 결과가 최하위 영상이면 다음 단계로 넘어가지만, 그렇지 않는 경우에는 다시 단계 52로 피드백되어 상관계수법을 이용한 영상정합 과정을 반복한다. 단계 58에서는 최하위 단계의 영상인 경우, 계속해서 최소제곱 영상정합을 수행한다. 단계 60에서는 전술한 공간후방교선법에 의한 외부표정요소를 결정한다. 단계 62에서는 상기 단계 60으로부터 결정된 외부표정요소를 이용하여 공간전방 교선법을 수행한다. 그리고 단계 64에서는 최종적으로 대상물의 3차원 좌표를 결정한다.

도 4 는 이동식 매핑시스템을 이루는 전체 작업 처리 플로우차트로,

단계 66에서는 관리하고자 하는 도로 시설물들의 대상을 선정한다. 단계 68 에서는 대상 지역이 선정된 경우 촬영 계획을 수립한다. 단계 70에서는 GPS 상시기준점 위치를 파악한다. 단계 72에서는 실험 장비들에 대한 점검 작업으로 GPS 수신기, INS 및 CCD 카메라를 점검한다. 단계 74에서는 대상 지역에 대한 영상 정보를 수집한다. 단계 76에서는 좌표결정 자료를 수집한다. 단계 78에서는 단계 74 및 단계76으로부터 수집된 영상 및 자료들을 소프트웨어적으로 프로그램된 알고리즘을 이용하여 처리한다. 단계 80에서는 단계 78로부터 처리된 결과를 실내에서 별도의 작업을 통해 편집한다. 그리고, 단계 82에서는 단계 80으로부터 편집된 자료를 토대로 최종적인 대상 지역에 대한 결과 도면을 작성한다.

그러나 이러한 방식은 좌우 하나씩의 시시디 카메라를 사용하는 구조이므로 좌우측 촬영 영상에 이상이 있으면 이 부분을 다시 촬영하여야 하는 문제점이 있어 장비의 신뢰성이 저하되는 요인이 된다.

본 발명은 이를 해소코자 하는 것으로, 본 발명의 목적은 지리정보시스템(GIS), 시설물관리시스템(FMS), 도시관리시스템(UIS)등의 데이터베이스를 구축함에 있어 유용하게 사용되어 질 수 있는 이동식 매핑시스템을 구체화하고 획기적으로 더 정확도를 높이어, 데이터베이스를 구축하는 데에 있어 좀 더 저렴하게 양질의 데이터를 획득하는 데에 있다.

이를 위하여 본 발명은 이동식 매핑시스템을 이루는 시시디 카메라를 좌우 각각 복수 개로 구성하고 좌우 일조가 다른 일조와 초점을 달리하도록 하여 촬영 화상수를 증대시켜 원하는 화면을 반복 선택하여 획득 가능토록 하려는 것이다.

즉, 본 발명은 지피에스장비, 아이엔에스장비, 시시디카메라 등을 차량에 설치하여 원하는 대상물의 위치를 이동 도중에 실시간으로 인식할 수 있는 이동식 전방위치 측정장치(MMS)에 있어서,

전방의 시시디카메라를 좌우측으로 구분하여 각 측이 적어도 2개 이상 전방을 향하여 설치되도록 하고,

각 시시디카메라는 좌우측이 일조를 이루어 각각 초점을 달리 이루도록 구성한 이동식 매핑시스템을 제공하려는 것이다.

상기 각 측의 시시디카메라는 복수개로 구성하고, 상호 예각을 두고 전방을 향하여 설치된 것이 좋다.

본 발명은 또한 전방차량에 설치한 시시디카메라를 통하여 수득한 영상을 통한 이동식 매핑시스템 영상 처리 방법에 있어서,전방 좌우측 시시디카메라를 통한 동영상에서 좌우측 정지영상을 각측 2개씩 도합 4개의 시시디카메라로부터 구분 절취하고,

삭제

절취한 영상에서 원하는 대상을 포함하는 영상인지를 확인하는 단계,

확인한 영상 중 2개를 선택 정합하여 대상물의 3차원 지상 좌표를 결정하는 단계,

결정한 3차원 지상좌표가 허용오차 이내이면 3차원 국지 좌표로 결정하고, 아니면 기 선택되지 않은 다른 2장을 선택하는 단계를 수행하는 이동식 매핑 시스템의 영상 처리방법을 제공하려는 것이다.

이하 본 발명의 실시 예를 도면을 참조하여 상세히 설명한다.

도 5 는 본 발명의 시스템 개략 구성도, 도 6 은 본 발명에 사용되는 데이터 입력장치의 구성도로, 이동국을 이루는 이동 차량의 천정 외면에는 지지판(110)을 설치하고, 지지판(110) 전면 부위 상면에 고정된 지지레그(116)에 일정 높이로 지지되는 관체형 고정프레임(115)을 차폭 방향으로 설치하고, 고정프레임(115)의 양단에는 시시디카메라(111,112,121,122)를 설치한다. 고정프레임(115)의 중앙에는 관성항법장치(INS, 이하 아이엔에스라 함)(113)를 또한 설치한다. 아이엔에스(113) 대응 지지판(110)에는 캠코더(117)를 설치한다. 아울러 지지판(110)의 임의 위치에는 지피에스 수신기(114)를 설치한다.

도 7 은 본 발명에 사용하는 시시디카메라의 설치 구성을 나타낸 반단면도로, 고정프레임(115)에 고정된 하우징(123) 내부 공간 벽에는 결합돌기(124)를 두어 결합링(125)이 고정되도록 하고, 결합링(125)의 하면에는 카메라 지지판(126)을 내부 공간을 향하도록 연장 설치한다. 카메라 지지판(126)에는 카메라고정판(127)과 고정나사(128)로 고정되는 시시디카메라(121,122)를 설치한다.

도 8 은 본 발명을 이루는 시스템 구성도로, 메인보드(200)는 외부 입력 기기를 통한 입력을 인가 받아 중앙처리장치(210)로 보내는 유에스비 포트(240)와,

프린터(233), 키보드(232) 및 모니터(231)와의 입출력 데이터를 역시 중앙처리장치(210)로 보내는 입출력부(230)를 포함하여 구성한다. 상기 유에스비포트(240)에는 시시디카메라(111,112,121,122)와, 아이엔에스(113), 지피에스 수신기(114), 및 디지털 캠코더(117)를 설치한다. 상기 중앙처리장치(210)는 메모리(220)를 통하여 데이터를 저장하거나 각종 프로그램을 구동토록 한다.

도 9 는 본 발명의 영상처리 플로우차트로, 이동국에는 단계 16 내지 20에서 차량 지붕에 각각 부착된 두 대의 시시디 카메라를 이용하여 대상물의 영상을 촬상한다. 단계 24에서는 카메라의 광학 조절부를 통해 촬상소자로 수집된 각각의 영상을 전기적인 신호로 처리하고 이를 메모리에 저장하고, 단계 26에서는 단계 24로부터 정지영상을 절취하며, 단계 28과 30들에서는 각 프레임별로 좌측과 우측의 정지영상으로 구분하고, 단계 32에서는 단계 28과 단계 30으로부터의 각 프레임별 정지영상을 정합하며, 단계 36에서는 단계 32로부터의 영상정합을 이용하여 외부표정요소를 결정하고, 단계 38에서는 단계 36으로부터 산출된 외부표정요소를 이용하여 대상물의 3차원 지상좌표를 결정하며, 단계 44에서는 좌표변환 알고리즘을 통해 단계 38의 지상좌표를 국지좌표로 변환하는 기본 적인 과정은 도 2 와 유사하다.

아울러 본 발명은 단계 16, 20 대신 단계16-1, 20-1를 수행하는바, 본 발명에서 각 측에 적어도 2개의 시시디카메라를 통한 영상을 제공받는다. 그리고 단계 26 에 이어 정지영상을 각 카메라로부터의 영상을 각각 분리 절취하는 과정26-1,26-2,26-3,26-4를 수행한다. 이어 원하는 대상을 포함하는 영상인지를 확인하고(단계 26-5), 포함하는 영상을 선택할 때까지 확인하여 2장을 선택한다(단계 26-7) 그리고 영상정합을 포함하는 3차원 지상좌표를 결정하는 단계(단계 32,36,40,42,38)를 수행한다. 이어 결정된 좌표가 허용 오차 이내 인지를 확인한다(단계 39). 허용오차 이내이면 대상물의 3차원 국지좌표를 결정한다(단계 44).

상기 단계 39에서 허용오차 이내가 아니면 새로운 영상을 선택하기 위하여 상기 단계 26-7로 이동한다.

도 10 은 본 발명의 시시디카메라를 통한 영상을 처리 하기전의 모니터에 나타난 초기 화면의 예시도로 시시디카메라로부터의 영상을 받기 전에 시시디카메라 렌즈를 보정하기 위한 보정화면의 설명도면으로 중앙처리장치(210)와 보정프로그램을 저장한 메모리(220)를 통하여 수행하는 것을 예시할 수 있다.

도 11 은 본 발명을 이루는 영상의 보정을 위한 화면을 나타내는 화면, 도 12a, 도 12b 는 본 발명의 영상 정합 과정을 나타내는 화면으로, 도 9 의 중앙처리장치(210)의 제어 하에 메모리(220)에 저장한 프로그램툴(어도비 등)을 통하여 이루어진다.

도 13 은 본 발명을 이루는 탑재기인 아이엔에스의 자세계산과정을 나타낸 과정도로, 아이엔에스(113) 자체 감지 센서(1131)로부터 수득한 자이러 데이터를 받아 오일러 매개변수로 적분하는 적분과정(1132)을 수행한다. 상기 적분과정(1132)은 직교정교화과정(1133)과, 초기값 좌표계 회전과정(1134)을 통한 값을 받아 적분한다.

상기 적분과정(1132)을 통한 적분치는 오일러 매개변수를 통하여 오일러 각으로 변환하는 변환과정(1135)을 수행하여 좌우회전각, 전후회전각, 및 방향각을 수득토록 이루어진다.

도 14 는 본 발명에 사용되는 아이엔에스를 통한 자료처리 입출력 구성도로, 적분자이로 입력 및 가속도입력치를 제공하는 센서(1131)와, 각 센서(1131)를 통한 입력을 받아 자세방향각, 속도 및 위치, 및 탑재기(아이엔에스)의 회전율을 인식토록 처리하는 아이엔에스 컴퓨터(1136)로 이루어진다.

도 15 는 본 발명의 탑재기를 통한 3축 방향각 계산도로, 오일러각 및 변화율을 함께 나타낸다.

도 16 은 본 발명에서 사용된 스테레오매칭 이론을 나타낸 플로우차트이다.

도 17 내지 21 은 본 발명에 사용된 스테레오 매칭을 설명하는 도면이다.

도 22 는 본 발명에서 사용하는 지피에스를 이용하여 위치를 결정하는 도면이다.

이와 같이 구성한 본 발명을 상기 도면을 참고하여 상세히 설명한다.

본 발명에 사용한 탑재기인 아이엔에스(113)(INS; Inertial Navigation System, 관성항법체계)를 이용한 항법은 관성항법이라 불리우는데, 탑재기의 속도 및 위치를 파악하는데 사용한다. 센서(1131)를 이루는 가속도계는 가속도를 감지하는 장치이며, 가속도는 방향과 크기를 가지는 벡터량이다. 본 발명에서 센서(1131)를 이루는 값인 자이로는 관성계 내에서 가속도계가 고정된 상태가 일정하게 유지되도록 한다. 가속도계는 중력가속도를 감지하지 않기 때문에 이러한 가속도계의 결함을 보완하기 위하여 중력모형에 기초한 중력효과를 도입할 필요가 있다. 컴퓨터와 중력모형을 이용하여 중력을 위치의 함수로 계산할 수 있으며, 위치는 관측된 가속도를 두 번 적분함으로써 얻을 수 있다.

INS의 기본 기능은 감지, 계산, 출력 등이다. 가속도계와 자이로는 감지기능을 수행하며, 가속도와 각 회전량과 같은 관측값을 도 8 에 보인 유에스비 포트(240)를 통하여 중앙처리장치(210)로 전송한다. 중앙처리장치(210)는 이 자료를 이용하여 속도와 위치, 자세, 자세변화율, 방향, 고도 등을 계산한다. 출력기능은 사용자의 목적에 맞게 적절한 자료를 출력하는 것이다. 위치나 속도를 결정하는데 이용되는 외부 항법장비들을 아이엔에스에 결합할 수 있다.

현재 이용되고 있는 관성항법체계는 크게 안정 지지대 방식과 도 12 에 보인 묶음방식으로 나눌 수 있다. 현재까지 안정 지지대 방식이 주로 이용되었으나 최근 몇 년 동안 묶음방식의 이용이 증가하고 있는 추세이다. 본 발명에서는 안정지지대 방식보다 소형이고, 경량이며, 경제적으로 유리한 묶음방식을 이용한다.

묶음방식에서는 본체의 축에 평행하게 가속도계가 탑재되어 있다. 자이로의 감지기법에 의해서 탑재기의 자세변화가 연속적으로 관측되며 가속도계 자체의 위치는 불변이다. 묶음방식은 안정 지지대 방식에 비해서 정확도가 떨어지지만 소형이고, 경량이며, 경제적인 측면을 고려할 때 이동용 측량체계에 활용하기가 용이하다는 장점을 가지고 있다. 묶음 방식은 안정 지지대 방식에 비해서 개념적으로나 물리적으로 매우 간단하지만, 복잡한 계산과정을 거쳐야 한다는 단점이 있다. 그러나 이러한 문제는 전자회로의 발달에 의해서 쉽게 극복될 수 있다. 묶음 방식은 1970년대 이후 컴퓨터 내의 소형처리기(micro processor)의 제작 기술이 발전되고, 묶음 방식에 적합한 탐측기 들이 개발되면서 실용화되기 시작하였으며, 현재 묶음방식에 대한 많은 연구가 진행되고 있다. 일반적으로 묶음 방식의 아이엔에스는 3개의 자이로와 3개의 가속도계가 부착되어 있다. 가속도계는 탑재기가 받는 힘을 관측하는 역할을 하고, 자이로는 탑재기의 회전운동을 관측하는 역할을 한다. 항법컴퓨터는 관성관측장치들로부터 받은 정보를 이용하여 탑재기의 자세, 위치, 속도, 위도, 경도 등과 같은 항법에 필요한 정보들을 계산한다.

묶음 방식에서는 탐측기가 일정한 표정요소를 갖도록 하는 안정지지대가 존재하지 않기 때문에 컴퓨터에서 많은 계산을 수행해야 한다. 묶음 방식의 INS에서는 탑재기에 장착된 자이로의 출력값을 이용하여 탑재기 좌표계와 INS에서는 탑재기에 장착된 자이로의 출력값을 이용하여 탑재기 좌표계와 INS사이의 방향 여현을 계산할 수 있다. 가속도계의 출력값을 국지좌표계인 관성항법좌표계로 변환하기 위해서는 방향 여현 행렬을 이용하여 수평 및 수직 가속도를 해석적으로 계산해야 한다.

묶음 방식은 안정지지대 방식과는 다르게 자이로의 출력이 탑재기 좌표계를 기준으로 하여 발생하기 때문에 탑재기 좌표계를 기준좌표계로 변환해야 한다. 이러한 좌표변환방법에는 오일러방법(Euler method), 방향 여현 행렬법(Direction Cosine Matrix method), 4인수법(Quartenion method) 등이 있다. 3축의 각 회전량의 변화율인 p, q ,r로부터 탑재기의 자세(Ψ, θ, Φ)는 일반적인 오일러변환이나 방향 여현행렬, 4인수 변환의 미분식을 적분하여 구할 수 있다. 본 발명에서는 4인수법을 사용하였는데 4인수법은 4인수에 관련된 식들이 선형으로 취급되며 변환행렬을 구할 때 초월함수를 사용하지 않는다는 장점을 가지고 있기 때문에 현재 많이 사용되고 있다.

본 발명에서 사용한 4인수법에서는 탑재기의 자세가 오일러각에 의해서 결정된다. (도 13)은 오일러각을 나타내고 있다. 좌우 회전각 변화율인 p, 전후 회전각 변화율인 q, 방향각 변화율인 r은 탑재기에 장착된 자이로에 의해서 관측할 수 있다.

또한 p, q, r과 오일러각 Ψ, θ, Φ, 오일러각 변화율 Ψ′, θ′, Φ′사이의 관계는 도 15 와 같이

오일러각 Φ′의 3축방향 성분은

이다.

θ′의 3축방향 성분은

이다.

Ψ′의 3축방향 성분은

이다.

그러므로,

이다.

탑재기의 자세를 계산하기 위해서 다시 정리하면 다음과 같다.

행렬로 나타내면

이다.

오일러각은 기지점에서의 자세를 초기조건으로 하고, 오일러각 변화울을 적분함으로써 구할 수 있다. 그러나 θ가 90°인 경우 와 의 값이 무한대이기 때문에 탑재기의 자세를 결정할 수 없다. 이러한 경우를 안정지지대에 의한 고정이라 부른다. 3개의 오일러 매개변수를 이용하여 탑재기의 자세를 결정할 때 수학적인 특이성을 피하기 위해서는 전후 회전각인 θ가 ±30° 이내에 있어야 한다. 이러한 문제점을 해결하기 위해서는 대칭을 이루는 오일러 4인수법을 이용하면 된다. 기존의 좌표축을 적당한 지점에 위치하고 있는 축을 중심으로 하여 한 번 회전시킴으로써 탑재기의 자세를 결정할 수 있다. 적당한 지점에 위치한 축을 중심으로 하여 μ만큼의 회전을 발생시킴으로써 좌표축 OX, OY, OZ는 관성축인 OX _O , OY _O , OZ _O 와 각각 arccosα, arccosβ, arccosγ의 각도차를 이룬다. 대칭을 이루는 4개의 오일러 매개변수는 다음과 같다.

여기에서, e_0 ,~ e_1 ,~ e_2 ,~ e_3는 세 개의 축 OX _O , OY _O , OZ _O 에 대한 탑재기의 자세를 결정하는데 사용된다. 4개의 오일러 매개변수인 e_0 ,~ e_1 ,~ e_2 ,~ e_3와 오일러각 사이의 관계는 다음과 같다.

e_0 ,~ e_1 ,~ e_2 ,~ e_3의 변화율과 각 변화율 p,~q,~r과의 관계는 (식 1)과 같다.

4개의 매개변수를 이용하여 탑재기의 자세를 결정할 때에는 (식 2)와 같은 조건식을 만족해야 한다.

e_0^2 +e_1^2 + e_2^2 + e_3^2 =1~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(식~2)

또한 오일러 매개변수는 모든 탑재기의 자세를 구할 수 있으며, 각 매개변수는 계산과정에서 발생하는 축척의 문제를 간단히 해결하기 위해서 -1∼+1 사이의 범위를 갖게 된다. (식 2)는 다음과 같이 쓸 수 있다.

또한 (식 3)을 간략하게 나타내면 (식 4)와 같다.

'X=AX~~~~~~~~~~~~~~~~~~~~~~(식~4)

여기에서,

이다.

(식 4)는 시간 t_n으로부터 t_n+1까지의 시간차 Δt동안 각 변화율인 p, q, r이 일정하다고 가정하고 근사 적분법을 이용하여 풀 수 있다. 시간 t_n+1일 때 예측값을 나타내는 행렬인 X_n+1은 (식 5)와 같다.

여기에서 1은 단위행렬을 나타낸다. (1+AΔt)는 시간 t_n일 때의 값과 t_n+1일 때의 값 사이를 규정하는 근사 전이행렬(approximate transition matrix)이다.

각 방향의 회전의 증가량을 ΔP,~ΔQ,~ΔR이라고 하면,

이다.

그러므로 근사 전이행렬은 (식 6)과 같다.

또한 시간 t_n+1 일 때의 e_0 , e_1 ,e_2 , e_3 와 시간 t_n일 때의 e_0 , e_1 ,e_2 , e_3 는 (식 7)과 같은 관계를 가진다.

4개의 오일러 매개변수를 4인수라고 한다. 오일러각은 (식 5), (식 6), (식 7)을 이용하여 구할 수 있다. 총 4개의 변수 중에서 3개는 회전축 주위의 방향여현과 관련이 있으며, 나머지 한 개는 회전축에 대한 회전량에 관한 변수이다. (도 13)는 탑재기의 자세계산과정을 나타낸다.

본 발명에서는 스테레오 매칭 기법을 사용하였는바, 이는 스테레오매칭의 전반적인 흐름은 다음 (도 16)과 같이 좌우측의 영상을 입력받아 영상 정합을 추출하고, 아이엔에스 정보를 받아 공간후방교선법에 의한 외부 표정요소를 결정하고, 먼저 수치사진측량에서의 정확도는 어떻게 결정되는가를 알아볼 필요가 있겠다. 사진측량으로 결정한 3차원 좌표의 정확도는 어떠한 요인에 의해 영향을 받는지를 이해하기 위해 도 17을 참조하여 설명한다.

도 17 에서 볼 수 있는 바와 같이, 초점거리가 c인 이상적인 사진기로 기선거리 B 간격으로 평행광축을 유지하면서, 피사체 P를 촬영하고, P에 대한 영상 P ₁ (X ₁ , Y ₁ ), P ₂ (X ₂ , Y ₂ )를 얻었다고 하자. 2대의 사진기 렌즈 중심을 연결하는 방향을 X축이라 하고 좌측 사진기의 렌즈중심을 원점이 되도록 XYZ축을 설정한다.

2개의 빛다발(光束)의 식으로부터 P의 3차원좌표 (X,Y,Z)는 다음과 같이 얻을 수 있다.

사진측량에서 Z값(높이)의 정밀도가 가장 중요하다. (식 10)을 보면 c와 B는 정수이므로 (X ₁ -X ₂ )값에 따라서 정밀도가 달라진다. (X ₁ -X ₂ )는 (도 16)에서 볼 수 있는 바와 같이 공간직선 O ₂ P ₂ P를 평행 이동하여 좌측 사진기에 전개한 P ₂ 와 P ₁ 간의 거리로서, 사진측량에서는 시차(parallax)라고 한다.

p=X_1 -Y_2 ~~:~시차~~~~~~~~~~~~~~~~(식~11)

Z의 식은 시차 p를 이용하여 다음과 같이 쓸 수 있다.

따라서 Z의 정확도는 p로 미분하면 다음과 같이 구해진다.

위 식에서 Z/c는 사진축척 c/Z의 역수이며, Z/B는 기선고도비 B/Z의 역수이다. 시차 p의 정밀도는 사진좌표의 측정정밀도이다. 따라서 사진측량에서 얻어진 높이의 정확도는 사진 축척 및 기선고도비에 반비례하고 사진좌표의 정밀도에 비례한다. 평면위치 X또는 Y의 정확도는 사진축척의 역수와 사진좌표의 정밀도에 비례한다. 높이의 정확도를 유지하기 위해서는 기선고도비 B/Z를 0.3∼1.0으로 유지하여야 한다.

도 18 은 사진측량의 일반적인 경우를 보인 것이다. 표정요소인 사진기 위치 (X ₀ ,Y ₀ ,Z ₀ ) 및 사진기의 경사 (ω,φ,κ : roll, pitch, yaw)는 미지수이다. 표정요소는 좌표를 알고 있는 기준점(3점 이상)의 지상좌표와 측정된 사진좌표를 이용하여 해석적으로 산출한다. 따라서, 사진측량의 정확도는 위에서 말한 요소 외에도 기준점 좌표의 정확도에도 크게 영향을 받는다.

결론을 얘기하자면 두 장의 사진 주점사이의 거리 B는 원근을 나타내는 값인 Z와 반비례하기 때문에 B가 크면 정확도가 더욱 높아진다. 물론 중복도는 유지하여야 한다.

그리고 한 쌍의 사진으로부터 어떻게 원근의 정도가 나타내어질 수 있는가는 수치사진측량에서의 스테레오매칭이라는 기법을 이용하면 가능하다. 스테레오 매칭은 두 영상간의 정합점(正合點, matching point)을 차이로부터 시차(disparity)를 구하는 기법이다. 이러한 기법을 이용하면, 사진기준점측량에서는 지형의 고도를 구할 수 있으며, 이를 응용하여, 본 시스템에서는 대상까지의 거리, 즉 원근의 정도를 구할 수 있다.

그림을 도시해보면, 도 19 와 같이

사람이 P가 Q보다 가까운 물체 PQ를 H만큼 떨어진 곳에서 바라보고 있을 때 두 지점 P, Q는 양쪽 눈에서 보는 각 a와 각 b가 다르기 때문에 물체의 입체감을 느낄 수 있다. P와 Q는 양쪽 눈의 초점 중심 O ₁ , O ₂ 를 통해 망막상의 P ₁ , P ₂ 와 Q ₁ , Q ₂ 에 투영되며 P ₁ P ₂ 를 점 P의 시차(parallax)라하며 Q ₁ Q ₂ 를 Q점의 시차(parallax)라 한다. 사람이 물체의 원근을 느끼는 것은 점 P와 Q의 시차의 차이 때문에 이를 시차(disparity)라 한다.

한 쌍의 이미지로부터 대상물의 원근정도를 계산하기 위하여 정합점을 찾고 이 점들과 각각 이미지의 주점을 연결한 두 직선은 이론적으로는 한 점에서 만나며 이때의 교차하는 교점을 지상의 위치로 결정한다. 좌·우측의 사진과 지상의 한 점이 하나의 평면을 이루는 조건을 공면조건이라 한다. 3차원 공간에서 두 직선의 교점이 존재하는 공면조건을 만족해야 하지만 카메라의 위치와 자세의 변화 등으로 공면조건이 정확히 성립을 하지 않으므로 두 직선의 교점대신 최단거리를 사용한다. 하지만 본 발명에서는 카메라의 위치와 자세는 고정되어 있기 때문에 이는 거의 무시할만하다 하겠다. 다음 도 20 은 두 직선의 최단거리 공간상의 구조를 보여주고 있다. 그러므로 두 직선의 교점대신, 두 직선간의 최단거리가 되는 곳의 중심을 원근으로 계산한다.

정합으로 정합점 P ₁ , P ₂ 를 찾았을 경우, 그 때의 투영중심 L ₁ , L ₂ 에 의하여 두 개의 직선이 형성된다. 이론적으로는 두 직선이 한 점에서 만나야 하지만, 외부표정요소의 결정과 정합위치 결정에서 발생하는 오차로 인하여 두 직선은 서로 교차하지 않으므로 실제에 있어서는 두 직선의 최단거리인 벡터 를 찾아 이것의 중간점을 교차점으로 가정하여 좌표를 계산한다.

는 두 직선에 수직인 벡터이므로 와 의 외적으로 표현된다. 즉,

(식 14)는 (식 15)로 표현된다.

여기서 는 X, Y, Z 방향의 단위벡터(unit vector)이며,

식 ⑨에서 M ₁ , M ₂ 는 회전행렬로 외부표정요소에 의해 구할 수 있으므로, (식 16)에 의해 를 구할 수 있으며, 벡터의 합에 의하여 (식 17)이 성립한다.

식 ⑩을 벡터성분으로 표현하면

따라서 (식 18)에 의하여 λ₁, κ₁, λ₂를 구할 수 있으므로 점 P의 좌표(X _P , Y _P , Z _P )는 (식 19)로 구해진다.

여기서 구한 점 P를 실좌표로 변환하면 원근의 정도를 얻을 수 있다.

이미지의 표정

우리가 정합점을 찾아 그 점에 실좌표를 넣어주면, 정합하지 않는 나머지 부분의 좌표도 알아낼 수 있다. 물론 그 좌표의 정확도도 정합점의 좌표정확도가 좌우하게 된다. 이는 광속조정법을 이용하여 수행되어질 수 있는데 광속조정법이란 각 사진 상에서 관측된 기준점과 사진좌표를 관측값으로 하여 최소제곱법을 결정하는 것으로서, 인접 사진과의 중복 부분 및 기준점을 이용하여 동시에 표정함으로써 각 사진의 투영 중심점 위치와 사진의 경사 등을 해석하여 사진에 나타난 지상점을 기준좌표계상에서의 위치로 해석하는 방법이다. 이 광속조정법은 현재 해석사진측량의 조정계산에 널리 이용되고 있다.

또한, 광속조정법은 종횡접합모형에 포함되어 있는 관측대상인 지상기준점의 지상좌표와 지상기준점 및 연결점, 정합점 또는 중복촬영된 임의의 점에 대한 사진좌표들을 이용하여 각 사진의 외부표정요소 및 주어진 시간좌표들에 대응하는 지상좌표를 결정하며, 조정의 기본단위는 광속으로서 다항식법이나 독립입체모형법에 비해 정확도가 높다. 중복촬영된 지상의 임의점에 대한 사진좌표가 주어질 경우 광속조정에서 얻어지는 각 사진의 외부표정요소를 이용하면 각 모형에 대하여, 상호표정, 절대표정 과정을 거치지 않고 직접 지상좌표를 계산할 수 있다. 광속조정법은 공간후방교선법과 공간전방교선법의 두 단계로 분류할 수 있다.

광속조정법에서는 각 사진상에서 관측된 기준점과 종횡접합점의 사진좌표가 관측값이며, 이들 좌표값의 잔차의 제곱을 최소화하여 각 사진의 외부표정요소 (X _O , Y _O , Z _O , ω, φ, κ) 및 종횡접합점의 절대좌표 (X, Y, Z)를 해석한다. 광속조정법의 기본적인 수학적 모형은 도 21 과 같은 공선조건으로 나타낼 수 있다.

도 21 에서와 같이 공간상의 임의의 점 (X, Y, Z)와 그에 대응하는 사진상의 점 (x,y) 및 사진기의 투영중심 (X _O , Y _O , Z _O )가 동일 직선 상에 있어야 하는 조건을 공선조건이라고 한다. 공선조건식은 3점의 지상기준점을 이용하여 투영중심 O의 좌표(X _O , Y _O , Z _O )와

표정인자 (ω, φ, κ)를 구하는 공간후방교선법과 공간후방교선법에 의해 결정된 6개의 표정인자와 상점 (x, y)를 이용하여 새로운 지상점의 좌표(X, Y, Z)를 구하는 공간전방교선법에 이용된다. 사진상 i의 지상점 j에 대한 공선조건식은 (식 20)과 같다.

여기에서, x _ij : 사진상에서 i로 나타나는 지상점 j의 사진좌표

f : 사진기의 초점거리

X _j , Y _j , Z _j : 점 j의 지상좌표

X _Oi , Y _Oi , Z _Oi : 사진 i 에 대한 사진기 노출점의 지상좌표

이다. 또한 m ₁₁ ∼m ₃₃ 은 회전행렬의 요소로서 (식 21)과 같다.

(식 20)에 회전행렬 요소를 나타내는 (식 21)을 대입하여 정리하면 (식 22)와 같다.

(식 22)는 비선형이므로 이를 Taylor급수를 이용하여 선형화하면 (식 23)과 같다.

여기에서,

{F^0}_x,~{F^0}_y : 근사값

{omega^0}_i,~{phi^0}_i,~{kappa^0}_i,~ (X_Oi )^0 ,~ (Y_Oi )^0 ,~ (Z_Oi )^0 , {X^0}_j ,{Y^0}_j ,{Z^0}_j 를 F_x , F_y에 대입하여 얻은 값

Δomega_i ,Δphi_i ,Δkappa_i ,ΔX_Oi ,ΔY_Oi ,ΔZ_Oi ,ΔX_j ,ΔY_j ,ΔZ_j : 보정량

이다.

(식 23)을 행렬로 표시하면 (식 24)와 같다.

(식 24)에서

이라 하면 (식 25)와 같이 간단하게 나타낼 수 있다.

V_ij +B'_ij Δ'_i +B″_ij Δ″_j =E_ij~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(식~25)

(식 25)에서 B계수행렬의 요소는 (식 26)과 같다.

광속조정법에서 외부표정요소와 지상좌표에 대한 관측방정식은 (식 27)과 같이 된다

여기에서,

V : 잔차행렬

B' : 외부표정요소항의 계수행렬

B" : 지상좌표항의 계수행렬

Δ' : 외부표정요소의 보정량 행렬

Δ" : 지상좌표의 보정량 행렬

이다.

또한, 아래첨자 i는 점이 포함되는 사진번호이며, j는 임의점의 번호이다.

이와 같은 이론을 기초로 본 발명은 도 5 내지 도 7 과 같은 장치를 구성하고, 이들 구성의 작용은 시시디카메라(111,112,121,122)를 각각 좌우에 복수개(적어도 2개 이상) 설치하였기에 예를 들어 좌우 일조(예를 들어 카메라(111,121)(112,122))씩 구분하여 촬영하게된다. 그리고 인접하는 카메라(111,121)(112,122)는 도 7 과 같이 상호 예각을 두고 전방을 향하여 설치되어 전방 촬영 범위를 넓히고 자료 영상의 수집 양을 확장한다. 도 6 및 7 에서는 카메라(111,121,112,122)를 좌우 각 일조로 설명하였으나, 그 이상의 개수로 촬영 가능하다.

특히 본 발명에서는 도 9 와 같이 시시디카메라로부터의 정지영상을 카메라 대수만큼 4개의 영상을 절취하고(단계 26-1,26-2,26-3,26-4), 영상에서 기 타겟으로 선정한 영상이(원하는 대상의 영상이) 있는지를 확인하여(단계 26-5), 그 중에서 2장을 선택한다(단계 26-7). 그리고 기존의 방식대로 2장의 영상 사진을 정합하고 일련의 3차원 지상 좌표를 결정한다. 이외에 본 발명은 기본 수집 사진이 많이 있기에 결정 영상이 허용오차 이내가 아니면 상기 단계 26-7를 다시 수행토록 하여 허용오차 이내의 정확한 영상을 수집하여 자료로 결정할 수 잇도록 하여 수집 자료의 신뢰성과 시간을 단축한다(이는 종래의 경우 수집 사진이 1개 뿐 이어서 오차가 나면 이를 재 촬영하여야하는데 본 발명은 이를 기 수집 자료에서 실시간으로 처리하므로 재 촬영의 시간을 단축하는 효과를 제공한다). 물론 이들이 가능토록 하기 위하여는 유에스비포트(240)등을 활용하여 주변기기의 확장이 용이하도록 도 8 과 같은 장비의 사용이 있기에 가능하다. 아울러 카메라(111,112,121,122) 등은 개수를 확장 가능함도 알 수 있을 것이다.

이상에서 설명한 본 발명은 전술한 실시예 및 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

이상과 같이 본 발명은 기존의 이동식 3차원 영상처리 기술인 이동식 매핑시스템에서 사용한 촬영용 시시디카메라를 좌우 각각 복수 개로 설치하여 촬영 영상을 복수 개로 수득하므로 영상 처리시 오차가 나면 이를 다른 영상으로 실시간으로 교체하여 처리하므로 사진의 처리에 따른 신뢰성이 높고 처리 시간이 향상된다. 아울러 본 발명의 이동식 매핑시스템은 시시디카메라를 복수 개로 설치하되 인접 카메라의 촬영각도가 예각을 이루게 하여 촬영 범위를 넓히므로 정확한 광범위한 영상을 수득 가능토록 한다.

도 1 은 일반적인 이동식 매핑시스템의 개략구성도,

도 2 는 도 1 에 사용하는 이동국에서의 영상처리 플로우차트,

도 3 은 도 1 에 사용하는 이동국에서의 영상정합을 위한 플로우차트,

도 4 는 도 1 에 사용되는 전체 작업처리 플로우차트,

도 5 는 본 발명의 시스템 개략 구성도,

도 6 은 본 발명에 사용되는 데이터 입력장치의 구성도,

도 7 은 본 발명에 사용되는 시시디카메라의 설치 상태를 나타낸 반 단면도,

도 8 은 본 발명의 구성을 나타낸 시스템 구성도,

도 9 는 본 발명의 영상처리 플로우차트,

도 10 은 본 발명의 영상처리전의 모니터 화면 예시도,

도 11 은 본 발명의 영상정합 전의 영상보정을 나타낸 화면,

도 12a 는 본 발명의 영상정합 과정을 나타낸 화면,

도 12b 는 본 발명의 영상정합 과정을 나타낸 화면,

도 13 은 본 발명의 탑재기(INS)의 계산 과정을 나타낸 과정도,

도 14 는 본 발명의 탑재기(INS)를 통한 자료 처리 입출력 설명도,

도 15 는 본 발명의 탑재기(INS)를 통한 3축방향각 계산도,

도 16 은 본 발명에서 사용된 스테레오 매칭 과정을 나타낸 플로우차트,

도 17 은 도 16을 설명하는 도면,

도 18 은 도 16을 설명하는 다른 도면,

도 19 는 도 16을 설명하는 또 다른 도면,

도 20 은 도 16을 설명하는 또 다른 도면,

도 21 은 도 16을 설명하는 또 다른 도면이다.

도면의 주요 부분에 대한 부호의 설명

110;지지판 111,112,121,122;시시디카메라 113;아이엔에스 114;지피에스수신기 115;고정프레임 116;지지레그 117;캠코더 118;캠코더지지구 123;하우징 124;결합돌기 125;결합링 126;카메라지지판 127;카메라고정판

Claims (3)

1. 지피에스장비, 아이엔에스장비, 시시디카메라 등을 차량에 설치하여 원하는 대상물의 위치를 이동 도중에 실시간으로 인식할 수 있는 전방위치 측정장치에 있어서,

   차량전방의 시시디카메라(111,112)(121,122)를 좌우측으로 구분하여 각 측이 적어도 2개 이상 전방을 향하여 설치되도록 하고,

   각 시시디카메라는 좌우측이 일조의 시시디카메라(112,122)(111,121)를 이루어 각각 초점을 달리 이루도록 구성한 것을 특징으로 하는 이동식 매핑시스템.
2. 제 1 항에 있어서, 각 측의 시시디카메라는 상호 예각을 두고 전방을 향하도록 설치된 것을 특징으로 하는 이동식 매핑시스템.
3. 전방차량에 설치한 시시디카메라를 통하여 수득한 영상을 통한 이동식 매핑시스템 영상 처리 방법에 있어서,

   차량전방 좌우측 시시디카메라를 통한 동영상에서 좌우측 정지영상을 각측 2개씩 도합 4개의 시시디카메라로부터 구분 절취하고,

   절취한 영상에서 원하는 대상을 포함하는 영상인지를 확인하는 단계,

   확인한 영상 중 2개를 선택 정합하여 대상물의 3차원 지상 좌표를 결정하는 단계(32~38),

   결정한 3차원 지상좌표가 허용오차 이내이면 3차원 국지 좌표로 결정하고, 아니면 기 선택되지 않은 다른 2장을 선택하는 단계를 수행함을 특징으로 하는 이동식 매핑 시스템의 영상 처리방법.