KR20110127202A

KR20110127202A - 장면 해석과 등록 수행 평가를 위한 2차원 전기광학 이미지와 3차원 포인트 클라우드 데이터의 융합

Info

Publication number: KR20110127202A
Application number: KR1020117021303A
Authority: KR
Inventors: 캐스린 마이니어; 도날드 풀리; 앤서니 오`닐 스미스
Original assignee: 해리스 코포레이션
Priority date: 2009-02-13
Filing date: 2010-02-10
Publication date: 2011-11-24
Also published as: BRPI1005836A2; CA2751025A1; US20100207936A1; EP2396766A1; JP2012517652A; WO2010093682A1; CN102317973A; US8179393B2

Abstract

본 발명은 일반 장면의 개선된 시각화뿐 아니라 등록 과정의 성공의 해석을 위해 2차원 이미지와 3차원 포인트 클라우드를 결합하는 시스템 및 방법에 관한 것이다. 최종적으로 융합된 데이터는 최초 3차원 포인트 클라우드로부터 결합된 정보와 2차원 이미지로부터의 정보를 포함한다. 최초 3차원 포인트 클라우드 데이터는 컬러맵 태깅 과정에 따라서 코드화된 색이다. 서로 상이한 센서로부터 융합된 데이터에 의해, 최종 장면은 전장인식, 표적 식별, 제공된 장면 내에서 변화 감지, 및 등록 성공의 결정과 관련된 유용한 속성을 갖는다.

Description

장면 해석과 등록 수행 평가를 위한 2차원 전기광학 이미지와 3차원 포인트 클라우드 데이터의 융합{Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment}

본 발명은 2차원 또는 3차원 이미지 데이터의 등록에 관한 것으로, 보다 자세하게는 2차원 및 3차원 이미지 데이터의 등록 수행의 시각적 해석을 위한 방법에 관한 것이다. 본 발명은 등록 성공의 판단기준으로 사용된다.

통상의 전기광학(Electro-Optical)센서는 이러한 이미지 데이터의 수집을 위해 오랫동안 사용되어 왔고 일반적으로 2차원 데이터를 생산한다. 이러한 데이터는 x와 y 직각좌표계에 의해 정의될 수 있는 평면계에 투영된 이미지와 일반적으로 일치한다. 최근에는 3차원 이미지 데이터에 대한 관심이 증가하고 있다. 예를 들어, LIDAR 시스템은 고에너지 레이저, 광학 검출기, 및 타이밍 회로를 사용하여 3차원 포인트 클라우드 데이터(point cloud data)를 생성한다. 3차원 포인트 클라우드에서의 각 점은 x,y,z 직각좌표계로 정의되는 3차원 공간에서의 다양한 위치로 정의되는 점들과 함께 3차원으로 배열되는 것을 제외하고는 디지털 카메라에 의해 생성되는 픽셀 데이터와 공간적으로 유사하다. 주된 차이점 하나는 LIDAR는 거리 데이터인 반면 2차원 전기광학 데이터는 위치와 강도(intensity) 정보 둘 다 갖는다는 점이다. 그러나, LIDAR 센서는 잠시 머물러 강도 '이미지'를 생성할 수 있는 모드도 있다. 이 모드는 데이터 정렬 또는 등록을 결정하기 위해 본 발명에서 기술되는 2가지 데이터 형태를 겹치는 것을 수행할 필요는 없다.

미가공 데이터 속의 객체 또는 지형 특징은 쉽게 구별되지 않기 때문에 포인트 클라우드 데이터를 해석하는 것이 어려울 수 있다. 대신에 미가공 포인트 클라우드 데이터는 3차원 좌표계 시스템에서 포인트들의 거의 무정형하고 정보의 가치가 없는 집합으로 나타날 수 있다. 컬러 맵은 포인트 클라우드 데이터를 시각화하는데 사용되어 왔다. 예를 들어, 컬러맵들은 각 포인트의 고도 좌표의 기능으로서 3차원 포인트 클라우드 속의 각 포인트의 컬러를 선택적으로 변경하는데 사용되어 왔다. 이러한 시스템에서, 컬러의 변화는 지면 높이 위의 서로 상이한 높이들 또는 고도들에서 포인트들을 나타내는데 사용되어 진다. 이러한 전통적인 컬러 맵들의 사용에도 불구하고, 3차원 포인트 클라우드 데이터를 해석하는 것이 어려웠다.

동일 장면에 대해 2차원 전기광학 이미지 데이터를 3차원 포인트 클라우드 데이터와 결합하는 것은 이점이 있다. 이 과정은 때로는 데이터 융합으로 불린다. 어쨋거나, 이미지 데이터의 상이한 세트 두 개의 융합에는 포인트들을 공간상에 정렬하기 위한 이미지 등록 과정이 필수적으로 요구된다. 그런 이미지 등록 과정은 일반적으로 각 이미지와 관련된 메타데이터에 의해 지원된다. 예를 들어, 이러한 메타데이터는 1) 센서의 방향 및 자세 정보, 2) 이미지의 모서리 포인트들과 관련한 위도 및 경도 좌표들, 그리고 3) 포인트 클라우드 데이터의 경우에 있어서 포인트 클라우드 데이터에 대한 미가공 x,y,z 점 위치를 포함할 수 있다.

2차원에서 3차원으로의 이미지 등록 단계는 서로 상이한 데이터 수집시간과 서로 상이한 센서 위치에서의 서로 상이한 센서들에 의해 취득된 전기광학과 LIDAR 데이터의 정밀한 조정을 요구하기 때문에 어렵고 시간낭비일 수 있다. 게다가, 포인트 클라우드 데이터는 더 복잡한 등록 문제를 야기하는 전기광학 이미지 데이터와 비교할 때 일반적으로 서로 상이한 형식이다. 다양한 등록 계획안이 앞서 말한 등록 문제를 해결하기 위해 제안되어 왔다. 그러나, 등록된 전기광학과 LIDAR 데이터 결과의 시각적 해석은 종종 분석가들에게는 어려운 문제이다. 그런 어려움 중 한가지 이유는 2가지 형태의 이미징 데이터의 등록과 융합 후에서조차 3차원 LIDAR 포인트 클라우드가 2차원 이미지 데이터로 대표되는 2 차원 평면 위에 떠 있는 것처럼 보이는 것이다. 이것은 2가지 주목할만한 문제를 생성한다. 특별히, 이러한 2가지 문제는 사람이 융합된 이미지 데이터에 의해 대표되는 장면을 구체화하는 것을 더욱 어렵게 한다. 이러한 점은 포인트 클라우드 데이터를 어떻게 2차원 이미지에 맞추는지 이해하기 어려울 수 있기 때문에 발생한다. 또한 동일한 결과는 얼마나 등록 과정이 잘 수행되었는지 평가하는 것을 더욱 어렵게 한다. 3차원 포인트 클라우드 데이터가 2차원 평면 위에 떠있는 것처럼 보임에 따라, 포인트 클라우드(예를 들어, 구조, 운송수단)에 의해 나타낸 다양한 특징들이 이차원 이미지(예를 들어, 빌딩 윤곽 또는 발자국들, 그리고 도로들) 속의 대응하는 특징들과 얼마나 잘 정렬되었는지 사람이 판단하기가 어렵다. 선택된 특정 등록 계획안에 관계없이 결과의 수행을 평가하는 것은 유용하다.

본 발명은 일반 장면의 개선된 시각화뿐 아니라 등록 과정의 성공의 해석을 위해 2차원 이미지와 3차원 포인트 클라우드를 결합하는 시스템 및 방법에 관한 것이다.

최종적으로 융합된 데이터는 최초 3차원 포인트 클라우드로부터 결합된 정보와 2차원 이미지로부터의 정보를 포함한다. 최초 3차원 포인트 클라우드 데이터는 컬러맵 태깅 과정에 따라서 코드화된 색이다. 서로 상이한 센서로부터 융합된 데이터에 의해, 최종 장면은 전장인식, 표적 식별, 제공된 장면 내에서 변화 감지, 및 등록 성공의 결정과 관련된 유용한 속성을 갖는다.

2차원 이미지와 3차원 포인트 클라우드 LIDAR를 융합하는 방법은 몇몇 절차를 포함한다. 만약 이미지가 미리 등록되어 있지 않다면, 상기 방법은 2차원 이미지와 3차원 포인트 클라우드를 정렬하는 등록절차로 시작할 수 있다. 그 후에 상기 방법은 일반 장면에서 복수의 영역들의 선택된 내용 기반 특성들을 식별하기 위한 2차원 이미지 분석을 포함한다. 예를 들어, 내용 기반 특성들은 도시 장면 내용, 자연 장면 내용, 물 내용, 그리고 인공 구조물 내용 등을 포함할 수 있다. 그 후 식별된 복수 영역들 각각은 영역의 내용 기반 특성에 대응하는 컬러맵 태그로 할당된다.

2차원 이미지를 사용한 컬러맵 태그 할당 뒤에, 컬러맵 태그들에 일치하는 3차원 포인트 클라우드의 복수의 영역 각각에 컬러맵이 할당된다. "거리" 형태 이미지는 2차원 이미지로부터 생성된다. 즉, 각 Z 값이 3차원 LIDAR에서 가장 가까운 포인트로의 보간 및 그 Z 값의 추정에 기초하여 결정되도록, 가상 3차원 포인트 클라우드는 Z값을 2차원 이미지에서의 각 픽셀에 할당함으로써 2차원 이미지로부터 형성된다. 가상 3차원 포인트 클라우드에 대한 컬러값은 2차원 이미지에서의 해당 픽셀의 컬러값에 기초하여 할당된다. 종종 2차원 이미지 컬러 정보는 RGB 값으로 변환될 수 있는 11비트 또는 16비트 값에서 공급된다. 마지막으로, 융합 장면은 가상 거리 이미지와 3차원 포인트 클라우드 데이터를 겹침으로써 생성된다.

상술한 방식에 의해 형성된 융합 장면은 등록 단계의 수행이나 질을 평가하는데 특히 유용하다. 특히, 일반 장면에서의 특징들이 적절하게 정렬되었는지 결정하기 위하여 융합 장면이 시각적으로 검사될 수 있다.

본 발명에서는 2차원 이미지가 변경된 후 일반 장면에 대한 3차원 포인트 클라우드 데이터와 융합된다. 상술한 처리는 장면의 해석을 가능하게 하며, 이미지 등록 과정의 질에 대한 개선된 평가를 허용한다. 2차원 이미지와 3차원 포인트 클라우드 데이터는 적합한 등록 과정을 이용하여 등록된다. 그 후, 3차원 포인트 클라우드 데이터는 식별하기 위해 처리되고, 지면 테이블을 정의한다. 지면 테이블은 장면 속의 지상의 윤곽을 표현한다. 그 다음에 지면 테이블은 2차원 이미지를 윤곽으로 구성된 가상 3차원 이미지로 변환하는데 사용된다. 가상 3차원 이미지는 2차원 이미지의 픽셀들과 관련된 Z값을 선택적으로 변경함으로써 생성되어 지면 테이블에 의해 정의된 Z값에 일반적으로 일치한다. 이런 방식으로 지면 윤곽은 2차원 이미지로 전달되어 가상 3차원 이미지가 형성된다. 이러한 과정이 한번 완료되면, 앞서 등록된 3차원 포인트 클라우드 데이터는 가상 3차원 이미지에 겹쳐진다.

최종적으로 융합된 3차원 이미지는 장면의 개선된 시각화를 제공하고, 등록의 질을 더 잘 평가할 수 있도록 한다.

도 1은 본 발명을 이해하기 위한 컴퓨터 시스템의 블록 다이어그램이고,
도 2는 본 발명을 이해하기 위한 흐름도이고,
도 3은 이미지 데이터가 각각의 유리 포인트(vantage point)으로부터 어떻게 취득되는지 이해하기 위한 다이어그램이고,
도 4는 컬러맵 태그가 2차원 이미지에 어떻게 할당될 수 있는지 이해하기 위한 개념도이고,
도 5는 3차원 이미지 데이터 또는 포인트 클라우드 데이터를 이해하기 위한 도면이고,
도 6은 2차원 이미지 데이터를 이해하기 위한 도면이고,
도 7은 도 6에서의 2차원 이미지 데이터가 가상 3차원 이미지로 어떻게 변환되는지 이해하기 위한 도면이고,
도 8은 도 2에서 기술된 과정에 사용될 수 있는 2차원 이미지 데이터의 일례이고,
도 9는 가상 3차원 이미지가 3차원 포인트 클라우드 데이터와 결합된 융합 이미지의 일례이다.

이하에서는 본 발명의 일실시예가 도시된 첨부도면을 참조하여 본 발명이 보다 더 상세하게 설명되어질 것이다. 그러나, 본 발명은 다른 많은 형태중에서 구체화된 것이고, 여기서 확정된 실시예의 범위를 한정하는 것으로 해석되어서는 안된다. 예를 들어, 본 발명은 방법, 데이터 처리 시스템 혹은 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 본 발명은 전체적으로 하드웨어 실시예 혹은 전체적으로 소프트웨어 실시예 혹은 하드웨어/소프트웨어 실시예로 이룰 수 있다.

본 발명은 2차원 이미지 데이터. 및 포인트 클라우드를 포함하는 3차원 이미지 데이터를 포함하는 등록 과정의 관련된 수행을 평가하기 위한 방법이다. 본 발명의 목적을 위해, 2차원 이미지 데이터와 3차원 포인트 클라우드 데이터는 등록 과정으로 이미 등록되었다고 가정될 것이다. 다양한 등록 과정들이 선행기술로 알려져 있다. 그래서, 특별한 등록 과정은 자세하게 기술되지는 않을 것이다.

본 발명은 하나의 컴퓨터 시스템내에 실현될 수 있다. 선택적으로, 본 발명은 여러대의 연결된 컴퓨터 시스템내에서 구현될 수 있다. 이하에서 설명되는 방법들을 구현하기 위해 적용되는 어떤 종류의 컴퓨터 시스템 혹은 다른 장치들도 적합할 수 있다. 하드웨어와 소프트웨어의 전형적인 조합은 다목적 컴퓨터 시스템이 될 수 있다. 다목적 컴퓨터 시스템은 이하에서 설명되는 방법들을 구현하는 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 가질 수 있다.

본 발명은 컴퓨터-이용가능 저장매체(예를 들어, 하드디스크 혹은 CD-ROM)상에 컴퓨터 프로그램 제품의 형태를 이룰 수 있다. 컴퓨터-이용가능 저장매체는 매체내에 실현된 컴퓨터-이용가능 프로그램 코드를 가질 수 있다. 이하에서 사용되는 컴퓨터 프로그램 제품이라는 항목은 이하에서 설명되는 방법들을 구현할 수 있는 모든 특징들로 구성된 장치를 참조한다. 컴퓨터 프로그램, 소프트웨어 응용제품, 컴퓨터 소프트웨어 루틴, 및/또는 이들 항목의 다른 변형들은, 본 명세서에서, 다음중중 하나 혹은 양쪽의 이후에 혹은 직접 특정 기능을 완수하기 위해 정보 처리 능력을 가진 시스템을 촉발시키려는 명령어 세트의 모든 표현(모든 언어, 코드 혹은 표기법)을 의미한다: a) 다른 언어, 코드 혹은 표기법으로 변환; 혹은 b) 다른 물건의 형태로 재생산하는 것.

컴퓨터 시스템(100)은 서버 컴퓨터, 클라이언트 사용자 컴퓨터, 개인용 컴퓨터(PC), 태블릿 PC, 랩탑 컴퓨터, 데스크탑 컴퓨터, 제어 시스템, 네트워크 라우터, 스위치 혹은 브릿지 또는 그러한 장치들에 의해 일어날 수 있는 액션들을 특정할 수 있는 일련의 명령어(순차적인 것 또는 그 밖의 것)를 실행할 수 있는 그 밖의 장치들을 포함하는 컴퓨팅 시스템과 장치들의 다양한 형태로 구성할 수 있다. 본 명세서의 장치들은 또한 음성, 비디오 또는 데이터 통신을 제공하는 모든 전자장비를 포함하는 것으로 이해되어야 한다. 더욱이, 단일 컴퓨터가 설명되었으나, "컴퓨터 시스템"이란 용어는, 이하에서 논의되는 어떠한 하나 혹은 그 이상의 방법론을 수행하기 위하여 일련(또는 다중 세트)의 명령어를 개별적으로 또는 공동으로 실행하는 모든 컴퓨팅 장치들의 조합을 포함하는 것으로 이해되어져야 한다.

컴퓨터 시스템(100)은 버스(108)를 통해 각기 다른 장비와 통신하는 프로세서(102)(중앙처리장치, CPU), 그래픽 처리장치(GPU 또는 양쪽 모두), 주메모리(104), 및 정적 메모리(106)를 포함할 수 있다. 컴퓨터 시스템(100)은 비디오 디스플레이(예를 들어, 액정 표시장치 또는 LCD), 평면 패널, 고체 디스플레이 또는 음극선 튜브(CRT)와 같은 디스플레이 장치(110)를 더 포함할 수 있다. 컴퓨터 시스템(100)은 입력장치(112)(예 : 키보드), 커서 제어 장치(114)(예 : 마우스), 디스크 드라이브 장치(116), 신호 발생장치(118)(예 : 스피커 또는 원격 제어) 및 네트워크 인터페이스 장치(120)를 포함할 수 있다.

디스크 드라이브 장치(116)는 이하에서 설명되는 하나 또는 그 이상의 방법론, 과정 또는 기능들을 수행하도록 구성된 하나 또는 그 이상의 명령어 세트(124)(예 : 소프트웨어 코드)를 저장하는 컴퓨터-판독가능 저장매체(122)를 더 포함할 수 있다. 명령어(124)는 컴퓨터 시스템(100)에 의해 실행되는 동안 주메모리(104), 정적 메모리(106)내에서 그리고/또는 프로세서(102) 내에서 완전히 혹은 적어도 부분적으로 존재할 수도 있다. 주메모리(104)와 프로세서(102)도 기계-판독가능 매체를 구성할 수 있다.

이들에 국한되는 것은 아니지만, 주문형 반도체, 프로그램어블 로직 어레이, 및 그 밖의 하드웨어 장치를 포함하는 공개된 하드웨어 구현은 마찬가지로 이하에서 설명하는 방법들을 구현하도록 구성되어질 수 있다. 다양한 실시예의 시스템과 장치들을 포함할 수 있는 응용제품들은 다양한 전자장치 및 컴퓨터 시스템을 폭넓게 포함한다. 어떤 실시예들은 관련된 제어와 모듈들 사이 그리고 모듈들을 통해 통신되는 데이터 신호들을 가지고, 두개 또는 그 이상으로 상호 연결된 특정 하드웨어 모듈 또는 장치들내에서 또는 주문형 반도체의 일부분으로서 기능들을 구현한다.

본 발명의 다양한 실시예들에 따르면, 이하에서 설명되는 방법들은 컴퓨터-판독가능 저장매체내에 소프트웨어 프로그램으로 저장될 수 있고, 그리고 컴퓨터 프로세서 상에서 실행하도록 구성되어질 수 있다. 더욱이, 이들에 국한되는 것은 아니지만, 소프트웨어 구현은 분산처리, 컴포넌트/오브젝트 분산 처리, 병렬 처리, 가상머쉰 처리를 포함할 수 있고, 이들은 이하에서 설명되는 방법들을 구현하도록 구성되어질 수도 있다.

본 발명의 다양한 실시예에서, 명령어들(124) 등을 포함하는 컴퓨터-판독가능 기록매체는 전파된 신호로부터 명령어(124)를 수신하여 실행하고, 이로써 네트워크 환경(126)에 연결된 장치는 음성 및/또는 비디오 데이터를 보내거나 수신할 수 있고, 그리고 이는 명령어(124)를 사용하여 네트워크(126)상에서 통신할 수 있다. 명령어(124)는 네트워크 인터페이스 장치(120)를 경유하여 네트워크(126)를 통해 추가로 전송되거나 수신될 수 있다.

컴퓨터-판독가능 저장매체(122)가 단일 저장매체가 되는 대표적인 실시예내에 도시되는 동안, "컴퓨터-판독가능 기록매체"란 용어는 하나 또는 그 이상의 명령어 세트를 저장하는 단일 매체 또는 다중 매체(예 : 집중된 또는 분산된 데이터베이스, 및/또는 연계된 캐시와 서버)를 포함하도록 취급되어야 할 것이다. "컴퓨터-판독가능 기록매체"란 용어는 기기에 의한 실행용 명령어 세트의 저장, 인코딩 또는 이동할 수 있는 모든 매체를 포함하고 그리고 기기가 본 발명의 하나 이상의 방법론 모두를 수행하는 것으로 취급되어야 할 것이다.

이들에 국한되는 것은 아니지만, "컴퓨터-판독가능 매체"라는 용어는 하나 또는 그 이상의 판독-전용(비휘발성) 메모리, 랜덤 액세스 메모리, 또는 그 밖의 재기록 가능한(휘발성) 메모리를 수용하는 메모리 카드 또는 그 밖의 패키지와 같은 고체 메모리들; 뿐만 아니라 전달매체내에서 신호 구현 컴퓨터 명령어들과 같은 반송파 신호; 및/또는 유형의 저장 매체와 동등한 분산 매체라고 여겨지는 전자메일 또는 그 밖의 자동 정보 기록장치 또는 기록장치 세트에 디지털 파일을 첨부하는 장치를 포함하는 것으로 여겨져야 한다. 따라서, 본 개시는 본 명세서에서 나열되는 바와 같이 하나 또는 그 이상의 컴퓨터-판독가능 매체 또는 분산 매체의 모든 형태를 포함하고, 인지하고 있는 동등물 및 대체 매체를 포함하는 것으로 여겨져야 하고, 여기에 소프트웨어의 구현이 저장된다.

당업자는 도 1에 도시된 컴퓨터 시스템 아키텍쳐가 컴퓨터 시스템의 가능한 하나의 일예라고 인식할 것이다. 그러나, 본 발명은 이러한 인식에 국한되지 않고, 그 밖의 다른 적당한 컴퓨터 시스템 아키텍쳐도 제한없이 사용되어질 수 있다.

도 2를 참고하면, 흐름도가 제공된다. 흐름도는 2차원 이미지 데이터, 및 포인트 클라우드를 포함하는 3차원 이미지 데이터를 포함하는 등록 과정의 관련된 수행을 평가하기 위한 방법을 이해하는데 유용하다. 본 방법은 202 단계에서 시작하여 일반 장면에 대해 2차원 이미지 데이터와 3차원 이미지 데이터를 획득하는 203 단계로 계속된다.

도 3에 도시된 바와 같이, 첫번째 및 두번째 이미징 센서(302, 304) 각각은 일반 장면(306) 이미지 데이터를 획득한다. 비록 2개의 이미지 센서들이 도 3에 도시되었으나, 본 발명은 이에 국한되지 않는 것으로 이해되어야 한다. 대신에, 보통 센서가 2개의 상이한 시간대에 사용되어질 수 있다. 중요한 것은, 도 3에서, 제 1 위성(302)은 2차원 이미지 데이터를 수집하도록 구성되어질 수 있고, 그리고 제 2 센서(304)는 3차원 클라우드 이미지 데이터를 수집하도록 구성되어질 수 있다.

유리하게, 획득된 2차원 이미지 데이터는 컬러로 표현될 수 있는 멀티 스펙트럼 감응성의 형상이다. 그러나, 본 발명은 전정색(panchromatic) 형상에도 사용될 수 있다. 여기서 설명되는 2차원 이미지 데이터는 당업자에게 알려진 적합한 모든 이미지 센서를 통해 수집되어질 수 있다. 예를 들어, 지구-궤도 위성과 공중 데이터 수집 플랫폼은 통상적으로 전기-광학(EO) 센서를 사용하여 2차원 이미지 데이터를 수집한다. 여기서 사용되는 "전기-광학 센서"라는 용어는 일반적으로 넓고 다양한 장치들중 어떠한 하나도 포함하고, 여기서 광학 시스템은 선택된 샘플 주기동안 장면으로부터 이미지 장치의 이미지 감지면상에 조사되는 이미지를 위해 사용된다. 이미지장치는 포토-반응 영역중 2차원 어레이 형태로 이루어진다. 이미지장치에 기초한 다양한 반도체가 당업계에 알려져 있다. 예를 들어, 전하결합소자(CCD)와 포토다이오드 어레이가 이러한 목적을 위해 제한없이 종종 사용된다. 전술한 이미지 장치들은 단지 예를 들기 위한 방안으로 이해되어야 하고, 그리고 본 발명은 어떠한 특정 EO 형 이미지 장치도 한정하는 의도는 없다. 예를 들어, 본 발명은 의료 이미지의 등록을 위해서도 사용되어질 수 있다.

상이하고 다양한 형태의 이미지 센서들은 3차원 데이터, 보다 상세하게는 3차원 포인트 클라우드 데이터를 생성하기 위해 사용될 수 있다. 본 발명은 이러한 상이하고 다양한 형태의 이미지 센서들로부터 얻어진 3차원 포인트 클라우드 데이터의 등록 수행 평가를 위해 활용되어질 수 있다. 3차원 포인트 클라우드 데이터 중 하나 이상의 프레임을 생성하는 3차원 이미지 시스템의 일예로는 종래의 LIDAR 이미지 시스템이 될 수 있다. LIDAR 데이터의 각 프레임은 다중 거리 에코에 대응되는 3차원(3차원 포인트 클라우드)내에서 포인트의 수집으로 구성될 것이다. 이러한 포인트들은 "화소(Voxel)"내에 구성되어질 수 있고, 이는 3차원 공간내에 규칙적인 격자상의 수치를 나타낸다. 3차원 이미지내에 사용되는 화소는 2차원 이미지장치와 관련하여 사용되는 픽셀과 유사하다. 이들 프레임들은 목표물의 3차원 이미지를 재구성하도록 처리되어질 수 있다. 이러한 관점에서, 3차원 포인트 클라우드 내의 각 포인트는 3차원인 장면내에서 실제 표면을 나타내는 개별 x, y, z 값을 갖는다.

3차원 이미지 데이터의 전형적인 큐브(500)가 도 5에 도시되고, 그리고 2차원 이미지 데이터의 프레임은 도 6에 도시되어 있다. 2차원 이미지 데이터의 프레임(600)은 단일 x,y 평면내에 정의되는데 반해, 3차원 이미지 데이터의 큐브(500)는 3차원(x,y,z) 내에 정의되는 포인트 클라우드(502)를 구성한다. 더욱이, 비록 도 5의 전형적인 3차원 이미지 데이터는 큐브로서 한정되어 도시되나, 본 발명은 이러한 인식에 국한되지 않는다는 것을 알아야 한다. 비록 큐브가 이러한 목적을 위해 사용되는데 통상적인 형상이 될 수 있지만, 3차원 데이터는 그 밖의 적합한 기하학적 체적내에서도 정의되어질 수 있다. 예를 들어, 큐브를 대신하여 사각 프리즘도 3차원 포인트 클라우드 세트를 정의하기 위해 사용되어질 수 있다. 앞서 설명한 것임에도 불구하고, 편리함을 위해, 본 발명은 포인트 클라우드 데이터의 큐브 배경으로 기술되어질 것이다.

다시 한번 도 3에 대해 언급하면, 이미지 센서들(302,304)은 각각 상이한 위치와 방향을 가질 수 있는 것으로 볼 수 있다. 당업자는 센서들의 위치와 방향이 때때로 그와 같은 센서의 자세로 언급된다는 것을 알 것이다. 예를 들어, 센서(302)는 3차원 이미지 데이터가 획득되는 순간에서 자세 파라미터에 의해 정의되는 자세를 갖는다고 말할 수 있다.

상기에서, 2차원 이미지와 센서들(302, 303)에 의해 획득된 3차원 이미지는 일반적으로 상이한 센서-중심 좌표 시스템들에 기초하는 것이 이해되어야 할 것이다. 결과적으로, 2차원 이미지와 3차원 이미지는 상이한 좌표 시스템들에 관하여 정의된다. 당업자는 둘 또는 그 이상의 이미지 센서들로부터의 2차원 이미지 및 3차원 이미지가 일반 좌표 시스템 내에 적절히 표현되려면 필요에 따라 선행하여 이러한 상이한 좌표 시스템들이 회전되고 공간에서 변형되어야 함을 인식할 것이다. 이러한 과정은 일반적으로 등록으로 언급된다.

204 단계에서, 2차원 이미지를 포함하는 픽셀들은 X, Y 형식으로 변환된다. 당업자에게 인식된 바와 같이 3차원 포인트 클라우드 데이터는 일반적으로 위도, 경도 (X, Y) 좌표들에 더하여 고도 Z 좌표의 관점에서 표현된다. 이와 대비하여, 2차원 이미지 픽셀 데이터는 전형적으로 상이한 형식으로 될 것이다. 204 단계에서, 이차원 이미지는 3차원 이미지를 포함하는 포인트 클라우드 데이터와 관련된 형식에 일치하는 X, Y 형식으로 변환된다.

206 단계에서는, 2차원 이미지들과 3차원 포인트 클라우드들의 등록을 가능하게 하는 어떤 등록 과정에 의해 2차원 이미지 데이터 및 3차원 데이터가 등록된다. 당업자에게 알려진 것처럼 어떠한 적절한 알고리즘 또는 등록 단계도 이러한 목적을 위해 사용될 수 있다. 본 발명이 직접적으로 등록 절차를 수행하는 방법에 관한 것은 아니므로 이러한 등록 과정은 여기서 상세하게 기술되지는 않을 것이다. 등록 과정의 결과는 어떤 등록 계획에 따라서 실질적으로 등록된 일반 장면에 대한 2차원 이미지 데이터 또는 3차원 포인트 클라우드 데이터가 될 것이다.

본 방법은 2차원 이미지의 이미지 내용 분석을 수행함으로써 208 단계로 계속된다. 이미지 내용 분석은 2차원 이미지 내에 포함된 특별한 특징들이나 영역들의 특성들을 식별하기 위해 선발되거나 설정된 통계적 분석이다. 이 분석은 특징 추출 단계로 생각될 수 있다. 예를 들어, 관습적인 장면 내용 감지 알고리즘들을 사용하여, 그 장면은 도시 영역들 및 자연 영역들로 분리된다. 도 4에 도시된 바와 같이, 도시 영역들(404)은 다수의 빌딩들과 그 밖의 인공 구조물들을 포함하는 것으로 식별된 2차원 이미지 내의 해당 영역들일 수 있다. 빌딩들과 그 밖의 인공 구조물들은 일반적으로 많은 선형 가장자리들과 모서리들을 포함하므로 이러한 구조물들은 당업자에게 알려진 다양한 가장자리와 모서리를 감지하는 알고리즘들을 사용함으로써 쉽게 인식될 수 있다. 자연 영역들(402)은 도시 영역들 이외의 해당 영역들로 식별될 수 있다. 여전히, 본 발명은 이러한 사항에 한정되지 않고, 다양한 다른 형태의 이미지 인식 알고리즘들이 도시, 자연 또는 다른 형태의 지역들을 인식하기 위해 사용될 수 있다. 예를 들어, 다른 형태의 영역들은 바위가 많거나 사막 영역들, 고도로 수목이 우거진 영역들, 농경 영역들, 물 영역들 등등을 포함할 수 있다.

선택적으로, 또는 넓은 지역들 또는 영역들을 단순히 도시 대 자연의 것으로 식별하는 것 이외에, 장면 내용 감지 알고리즘들은 장면 내에 포함된 특정 개별 특징들을 감지할 수 있다. 예를 들어, 장면 내용 감지 알고리즘은 2차원 이미지 내에 표현된 도로들(406)을 식별할 수 있다. 장면 내용 감지 알고리즘들은 또한 개별 빌딩들(408) 또는 다른 형태의 구조물들을 제한없이 식별하는데 사용될 수 있다. 예를 들어, 운송수단들이 식별될 수 있다. 이러한 기능들을 수행하기 위한 알고리즘들이 알려져 있으므로 여기서는 자세히 기술되지 않을 것이다.

이미지 내용 감지 분석이 완료된 후, 본 과정은 212 단계로 계속된다. 212 단계에서는 상이한 컬러 맵 태그들이 2차원 이미지의 선택된 X, Y 좌표 영역들에 대해 할당된다. 상이한 컬러 맵 태그들은 식별되어 온 상이한 영역들이나 특징들(402, 404, 406, 408)에 대해 할당된다. 예를 들어, 첫번째 형태의 컬러 맵 태그는 도시로 식별된 어떠한 영역(402)에도 할당될 수 있는 반면 두번째 형태의 컬러 맵 태그는 자연으로 지정된 어떠한 영역(402)에도 할당될 수 있다. 더욱이, 상이한 컬러 맵 태그들은 이미지(306) 내에서 식별되어 온 개별 빌딩들(408), 또는 도로들(406)과 같은 특정 특징들의 X, Y 좌표와 관련될 수 있다.

본 발명의 일 실시예에 따르면, 각 개별 컬러 맵 태그는 특별한 컬러 맵과 관련된다. 게다가, 각 컬러 맵은 특별한 형태의 장면들이나 장면 내용에 관련된 특징들의 시각화를 돕기 위해 유리하게 선발된다. 예를 들어, 그러한 컬러 맵은 내용이 여기서 참조되어 병합되고, 공개된 미국특허출원 제12/046880호, 마이니어 외(Minear, et al)에 기술되어 있다. 컬러 맵들은 상이한 고도에서의 특징들을 하이라이트하기 위해 색조(hue), 채도(saturation), 및 강도(intensity)를 선택적으로 택함으로써 장면 내의 일정한 형태의 소재를 강조하기 위해 디자인된다. 이 HSI(색조, 채도, 강도) 공간 내에서 생성된 컬러맵들은 숲의 우거진 부분 아래 뿐 아니라 수목한계선 위와 같은 관심영역들 내에 강도 하이라이트들을 허용하는 비선형성이다. 더 자세하게는, 컬러 맵들이 선택되어서 컬러 채도 및 강도에 대해 정의되는 값이 하나 또는 그 이상의 소정의 고도에서 피크 값을 갖는다. 예를 들어, 소정의 특징 높이 거리의 상부 높이 한계에 대략 대응하는 고도에서 피크 값이 제공된다. 또한 컬러 맵들은 빌딩들, 초목, 또는 도로들과 같은 장면 내용의 일정한 형태와 일반적으로 연관된 모방 색깔들로 선택될 수 있다.

214 단계에서는 3차원 포인트 클라우드를 사용하여 지면 테이블이 생성된다. 지면 테이블은 3차원 포인트 클라우드 내에 포함된 장면의 지면 윤곽의 표현(테이블 양식으로)으로 여겨질 수 있다. 이것은 3차원 포인트 클라우드의 균일한 격자에 기초하고, X, Y, 및 Z 좌표축에 대하여 정의된다. 지면 테이블은 장면의 격자로 된 각 지역에 대한 대략의 고도를 표현하는 Z 값을 정의한다.

지면 테이블이 어떻게 생성되는지 이해하기 위해서는, 3차원 포인트 클라우드 데이터의 성격을 첫째로 고려하는 것이 유용하다. 3차원 포인트 클라우드 데이터를 획득하기 위한 시스템들(예를 들어 LIDAR)은 일반적으로 "라스트-리턴"(last-return) 데이터 포인트들을 측정하기 위해 설정된다. 이러한 "라스트-리턴" 포인트들은 종종 지상 데이터 노이즈와 관련된 반사 에너지의 결과이다. 이렇게, 지형 밑에 있는 실제 맵을 표현하기보다는, 미가공 3차원 포인트 클라우드 데이터 내의 X, Y 포인트 각각에 관련된 Z값이 초목, 운송수단, 및 구조물들과 같은 다양한 다른 객체에 대응하게 된다. 지형이나 지면에 대응하는 포인트들의 세트를 결정할 목적으로, 지형 내의 윤곽들에 정확히 대응하지 않는 운송수단들, 구조물, 및 초목과 같은 무관한 특징들을 배제하기 위해 적어도 어떤 후처리가 일반적으로 요구된다. 3차원 포인트 클라우드 데이터에 바탕을 둔 이러한 지면 고도를 추출하거나 추정하기 위한 다양한 알고리즘이 알려져 있다. 지면 테이블의 생성을 위해 이러한 알고리즘 어떤 것도 사용될 수 있다.

지면 테이블이 214 단계에서 생성되면, 본 과정은 216 단계로 계속된다. 216 단계에서는 데이터 포인트들이 미가공 3차원 포인트 클라우드로부터 선택적으로 삭제된다. 사실상, 3차원 포인트 클라우드 데이터는 지면이나 지형과 관련된 포인트들을 제거함으로써 줄어든다. 본 발명의 일 실시예에 따라서, 3차원 LIDAR 데이터 내의 하위지역 각각에 대해서, 이것은 그 하위지역에 대한 지면 테이블에서 특정된 Z값(작은 델타 Z를 더한)을 초과하지 않는 그 하위지역 내의 어떤 포인트를 삭제함으로써 달성된다. 예를 들어, 특별한 하위지역에 대한 Z값이 1 미터일 수 있다. 그러한 경우에, 그 하위지역 안에 놓인 미가공 포인트 클라우드 데이터 내의 각 점에 대해, 미가공 데이터 포인트의 고도 또는 Z 값이 1 미터에 작은 델타를 더한 높이보다 작은지 여부로 결정을 내릴 수 있다. 그렇다면, 그 포인트는 삭제되며; 그렇지 않다면 그 포인트는 유지된다. 여전히, 어떠한 다른 기술도 미가공 포인트 클라우드 데이터로부터 선택적으로 지면 데이터 포인트를 삭제하기 위해 사용될 수 있음이 이해되어야 한다. 적용되는 기술에 관계없이, 본 단계의 목표는 단지 지면 기준보다 위의 어떤 Z-값보다 아래에 있는 포인트 클라우드 데이터 안의 모든 포인트를 제거하는 것이다. 이것은 이미지 등록 절차들의 수행 평가의 목적을 위해서는 일반적으로 유용하지 않은 지상 노이즈를 제거하여 완료된다.

216 단계 다음에는, 본 과정은 218 단계로 계속된다. 컬러 맵 태그들이 212 단계에서 2차원 이미지에 포함된 일정한 X, Y 영역들에 대해 할당됨에도 불구하고, 컬러 맵들은 실제로는 2차원 이미지와 관련된 픽셀들에 컬러들을 할당하기 위해 사용되지 않는다. 대신에, 컬러 맵들은 218 단계에서 3차원 포인트 클라우드 데이터의 해당 X, Y 영역들 내의 포인트들에 컬러들을 할당하기 위해 사용된다. 2차원 이미지 및 3차원 포인트 클라우드가 등록되었으므로, 특별한 장면에서의 영역들과 특징들이 대략 동일한 X, Y 좌표 영역들을 각 이미지 데이터 세트 내에서 가질 것이다. 예를 들어, X, Y 좌표 영역을 갖는 2차원 장면 내의 특별한 도시 영역은 3차원 포인트 클라우드 데이터 내의 대략 동일한 X, Y 좌표 영역에 대응한다. 이것은 또한 장면 내의 개별 빌딩들 및 도로들과 같은 다양한 다른 특징들에 관해서도 사실이다. 사실상 그 다음에는, 장면의 상이한 부분들에 대한 적합한 컬러 맵들이 2차원 이미지를 사용해 식별되고, 컬러 맵들이 218 단계에서 3차원 포인트 클라우드의 해당 영역들 내에 포함된 데이터 포인트들에 적용된다.

220 단계에서는, 할당된 컬러 맵들이 3차원 포인트 클라우드 내에서 각 데이터 포인트에 대한 RGB 값을 계산하거나 그렇지 않다면 결정하기 위해 사용된다. 컬러 맵들은 Z 좌표의 역할이며, 그래서 3차원 포인트 클라우드 내의 각 포인트의 실제 컬러는 (1) 3차원 이미지의 X, Y 영역에 할당된 특별한 컬러 맵에 기초하며, 그리고 (2) 그 특별한 포인트의 연관된 높이나 Z 값을 기초로 한다.

당업자는 특정한 RGB 컬러 값들을 결정하기 위해 사용될 수 있는 테이블, 스케줄, 또는 수학적 방정식으로 여기서 언급된 컬러 맵을 특별한 Z 값을 갖는 포인트들에 할당해야 하는 것을 인식할 수 있을 것이다. 어떠한 적합한 컬러 맵도 본 목적을 위해 사용될 수 있다. 그러나, 관찰자에 대해 어떤 시각화 이익을 갖는 컬러 맵을 선택하는 데에는 이점이 있다. 예를 들어, 상이한 고도에서 특징들을 하이라이트하기 위해 색조와 강도를 선택적으로 택함으로써 장면 내의 일정한 형태의 소재를 강조하도록 디자인된 컬러 맵들을 사용하는 이점이 있다. 특별한 장면들에 대응하는 것으로 일반적으로 이해되는 특별한 색조들을 사용하는 컬러 맵을 선택하는 것에도 역시 이점이 있다. 예를 들어, 초목의 컬러에 자연스럽게 대응하는 갈색, 황갈색, 및 녹색 컬러들은 자연 영역에 대해 사용될 수 있다. 이와 대비하여, 다양한 회색 색조는 도시 영역에 대한 사용자의 이해와 좀 더 일치할 수 있을 것이다.

222 단계에서는 213 단계에서 3차원 이미지 데이터로부터 파생된 지면 테이블이 Z 값을 2차원 이미지 데이터의 각 픽셀에 할당하기 위해 사용된다. Z 값은 지면 테이블의 지역 내에 Z 값을 보간하여 결정된다. 적합한 Z 값이 지면 테이블로부터 한번 계산되면, 그 Z 값은 2차원 이미지 내의 픽셀에 대한 Z 값으로 할당된다. 이것은 지면 테이블로부터의 Z 값이 2차원 이미지 데이터에 할당된 후의 가상 3차원 이미지(702)의 윤곽을 나타낸 도 7에 개념적으로 도시되어 있다. 도 7에서 2차원 전기광학 이미지는 가상 3차원 거리 이미지로 변환된다.

본 방법은 222 단계에서 얻은 가상 3차원 거리 이미지 내의 각 포인트에 대해 RGB 값을 계산하는 224 단계로 계속된다. 가상 3차원 이미지에 대한 RGB 컬러 값들은 어떠한 적합한 컬러 맵도 기초로 한다. 가상 3차원 거리 이미지 컬러 맵을 위한 바람직한 선택은 색조를 최소한으로 변경하여 최종 융합 제품을 흐뜨러뜨리지 않는 것이다. 더 자세하게는, 각각의 가상 3차원 포인트는 X, Y, Z 좌표와 마찬가지로 컬러 값을 가질 것이다.

226 단계에서는, 본 방법은 3차원 포인트 클라우드 데이터를 2차원 전기광학 이미지로부터 생성된 가상 3차원 이미지와 함께 융합하는 단계로써 계속된다. 융합 과정은 최초 3차원 포인트 클라우드와 가상 3차원 포인트 클라우드로부터 관련 정보를 결합한다. 이것은 시각적으로 해석 및 장면 인식을 위해 환경에 대해 추가 정보를 얻을 목적으로 상이한 원본의 정보를 한 장면으로 결합하는 것을 포함하므로 실(true) 융합이다.

226 단계 후의 최종적으로 융합된 장면은 최초 LIDAR 포인트 클라우드 데이터로부터 융합된 정보와 2차원 이미지로부터 융합된 정보를 포함하는 3차원 장면일 것이다. 최초 3차원 포인트 클라우드 데이터는 컬러 맵 태깅 과정에 따라 컬러 코드화될 것이다. 최종 3차원 장면은 전장 인식, 표적 식별, 제공된 장면 내에서의 변화 감지, 및 등록 성공의 결정과 관련된 몇몇의 유용한 속성들을 가진다. 이러한 특징들 각각은 이하에서 더욱 상세하게 설명되어질 것이다.

도 8을 참조하면, 도 7에 도시된 것과 유사한 가상 3차원 이미지를 형성하기 위해 사용될 수 있는 2차원 이미지의 일례가 도시된다. 도 9는 도 8에서의 2차원 이미지가 첫번째로 도 7에서와 같이 가상의 3차원 이미지로 변환되고, 다음으로 앞서 도 2에서의 다양한 단계들에 따라 3차원 포인트 클라우드 데이터와 융합된 융합 이미지를 도시한다. 도 9에 도시된 이미지는 사용자가 장면을 시각화하고 등록과정의 수행을 평가하는 것을 돕기 위해 컴퓨터 화면상에서 회전, 확대, 및 3차원으로 보여질 수 있다.

전장 인식과 같은 장면 해석 분야에서 도 9에서의 융합 이미지는 사람의 눈으로의 시각화를 더 선명하고 더 자연스럽게 만들어준다. 포인트 클라우드 데이터는 더이상 평판 2차원 이미지 위에 떠 보이지 않게 된다. 대신에, 2차원 이미지는 장면의 실제 지면 윤곽에 대응하는 가상의 3차원 이미지로 변환된다. 최종적으로 융합된 이미지에 대해, 지면 윤곽은 3차원 포인트 클라우드를 의미하도록 개선된 배경을 제공할 것이다. 정의되고 그 후 3차원 포인트로 지정된 컬러 모델들은 유리하게 선택되므로 해당 영역들과 특징들의 실제 세계 컬러에 근접하게 관련된다. 이것은 데이터를 시각화하는 사용자에게 친근감을 준다. 표적 식별 분야에서는 융합 이미지 내의 표적들이 추출되고 알려진 표적들의 데이터베이스와 서로 관련된다. 변화 감지 분야에서는, 시간으로 분리된 융합 이미지가 겹쳐지고 객체 상이점 및 운송수단 이동에 대해 비교된다.

게다가, 최종적으로 융합된 장면은 등록 과정이 성공적이었는지 여부를 결정하는데 더욱 유용하다. 3차원 포인트 클라우드 데이터를 2차원 이미지 데이터와 함께 등록하기 위해 시도할 때 부딪히는 어려움 중 하나는 등록 과정이 두 세트의 데이터를 성공적으로 등록했는지 여부를 결정하는 것이다. 도 1 내지 도 7과 관련하여 서술된 본 과정은 사람이 시각적으로 등록의 질을 평가하는 것을 허용한다. 최종적으로 융합된 이미지에 있어서, 실제의 3차원 포인트 클라우드 데이터와 병렬되는 가상의 3차원 이미지의 지면 윤곽은 3차원 포인트 클라우드를 의미하도록 개선된 배경을 제공한다. 이것은 사람에게 등록 과정이 3차원 포인트 클라우드 데이터에 의해 표현된 객체가 2차원 이미지 데이터에 관련되어 적절히 위치되도록 융합 이미지를 제작하였는지 여부를 평가하는 더 나은 기회를 제공한다. 또한, 3차원 포인트 클라우드 내의 포인트를 컬러 코딩함으로써 장면 내에서 특징들의 적절한 조정에 관하여 선명한 시각적 해석이 가능하도록 한다. 예를 들어, 빌딩 모서리들, 운송수단들, 도로들 등에 관해 선명한 시각적 해석이 이루어진다. 이러한 시각적 평가 과정은 이러한 컬러 코딩 없이는 굉장히 더 어렵거나 불가능할 것이다.

100 : 컴퓨터 시스템,
102 : 프로세서,
104 : 주메모리,
106 : 정적메모리,
108 : 버스
110 : 디스플레이장치,
112 : 입력장치,
114 : 커서제어장치,
116 : 디스크 드라이브 장치,
118 : 신호발생장치,
120 : 네트워크 인터페이스 장치,
122 : 컴퓨터 판독가능 저장매체,
124 : 명령어,
126 : 네트워크,
302 : 제 1 영상센서,
304 : 제 2 영상센서,
306 : 장면,
402 : 자연 영역들
404 : 도시 영역들
406 : 도로들
408 : 개별 빌딩들
500 : 큐브
502 : 포인트 클라우드
600 : 프레임
702 : 가상 3차원 이미지

Claims

일반 장면 내의 복수의 영역들의 선택된 내용 기반 특성들을 식별하기 위해 2차원 이미지를 분석하는 단계;
상기 영역의 내용 기반 특성에 대응하는 컬러 맵 태그를 상기 복수의 영역들 각각에 선택적으로 할당하는 단계;
상기 컬러 맵 태그에 상응하도록 3차원 이미지의 복수의 영역들 각각에 상이한 컬러 맵을 선택적으로 할당하는 단계;
상기 3차원 이미지 내의 지면 윤곽에 기초해서 Z 값을 상기 2차원 이미지 속 픽셀들에 할당하여 상기 2차원 이미지로부터 가상의 3차원 이미지를 형성하는 단계;
목적하는 컬러 맵에 기초해서 상기 가상의 3차원 이미지 내의 포인트에 대한 컬러값을 결정하는 단계; 및
상기 가상의 3차원 이미지와 상기 3차원 이미지를 겹쳐서 융합 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
일반 장면 내의 특징들이 적절히 정렬됐는지 결정하기 위해 상기 융합 이미지를 시각적으로 검사하여 상기 등록 단계의 수행이나 질을 평가하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
상기 내용 기반 특성들은 도시 내용, 자연 내용, 물 내용, 및 인공 구조물 내용으로 이루어진 그룹으로부터 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 3항에 있어서,
상기 인공 구조물 내용은 빌딩들, 집들, 도로들, 및 운송수단들로 이루어진 그룹으로부터 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
상기 3차원 이미지는 X, Y, 및 Z 좌표축 값에 따라 각각의 포인트가 정의되는 3차원 포인트 클라우드를 포함하는 복수의 포인트들로 구성되고
상기 2차원 이미지는 X, 및 Y 축으로 정의된 값에 따라 배타적으로 정의된 위치를 갖는 복수의 픽셀들로 구성되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 5항에 있어서,
상기 2차원 이미지 속에서 식별된 상기 복수의 영역들의 X, Y 좌표값에 대응하여 할당된 상기 컬러 맵 태그들에 기초해서 상기 3차원 이미지 속의 영역들 이내의 X, Y, 및 Z 좌표값을 갖는 하나 이상의 포인트에 상기 컬러 맵 각각을 할당하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
상기 합성하는 단계에 앞서서 지면 데이터를 포함하는 상기 3차원 이미지의 부분을 제거하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 5항에 있어서,
상기 Z 값을 할당하는 단계는
동일한 X, Y 좌표값을 갖는 상기 3차원 이미지의 지면 윤곽으로부터 Z 값을 할당하고, 상기 X, Y 좌표값을 갖는 각각의 2차원 픽셀에 대해 할당하는 단계; 및
특정 2차원 픽셀로써 상기 동일한 X, Y 좌표값을 갖는 상기 3차원 이미지 속에 데이터가 없는 점이 있으면 Z 값을 보간하거나 추정하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
복수의 상기 컬러 맵들은 상기 컬러 맵이 사용되는 상기 영역의 상기 내용 기반 특성과 관련된 컬러들이나 색조들을 모방하기 위해 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
제 1항에 있어서,
상기 2차원 이미지와 상기 2차원 이미지를 등록하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합방법.
일반 장면 내의 복수의 영역들의 선택된 내용 기반 특성들을 식별하기 위해 2차원 이미지를 분석하는 단계;
상기 영역의 내용 기반 특성에 대응하는 컬러 맵 태그를 상기 복수의 영역들 각각에 선택적으로 할당하는 단계;
상기 컬러 맵 태그와 일치하여 3차원 이미지의 복수의 영역들 각각에 상이한 컬러 맵을 선택적으로 할당하는 단계;
상기 3차원 이미지 내의 윤곽에 기초하여 각각의 Z 값이 결정되도록 상기 Z 값을 상기 2차원 이미지 속 픽셀들에 할당하여 상기 2차원 이미지로부터 가상의 3차원 이미지를 형성하는 단계;
상기 2차원 이미지 속 대응 픽셀의 컬러 값들 상의 목적하는 컬러 맵에 기초해서 상기 가상의 3차원 이미지 내의 포인트에 대한 컬러값을 결정하는 단계; 및
상기 가상의 3차원 이미지와 상기 3차원 이미지를 겹쳐서 융합 이미지를 생성하는 단계;를 위한 명령어의 세트로 프로그램된 컴퓨터를 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
일반 장면 속 특징들이 적절히 정렬됐는지 결정하기 위해 상기 융합 이미지를 시각적으로 검사하여 상기 등록 단계의 수행이나 질을 평가하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
상기 내용 기반 특성들은 도시 내용, 자연 내용, 물 내용, 및 인공 구조물 내용으로 이루어진 그룹으로부터 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 13항에 있어서,
상기 인공 구조물 내용은 빌딩들, 집들, 도로들, 및 운송수단들로 이루어진 그룹으로부터 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
상기 3차원 이미지는 X, Y, 및 Z 좌표축 값에 따라 각각의 포인트가 정의되는 3차원 포인트 클라우드를 포함하는 복수의 포인트들로 구성되고
상기 2차원 이미지는 X, 및 Y 축으로 정의된 값에 따라 배타적으로 정의된 위치를 갖는 복수의 픽셀들로 구성되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 15항에 있어서,
상기 2차원 이미지 속에서 식별된 상기 복수의 영역들의 X, Y 좌표값에 대응하여 할당된 상기 컬러 맵 태그들에 기초해서 상기 3차원 이미지 속의 영역들 이내의 X, Y, 및 Z 좌표값을 갖는 하나 이상의 포인트에 상기 컬러 맵 각각을 할당하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
상기 합성하는 단계에 앞서서 지면 데이터를 포함하는 상기 3차원 이미지의 부분을 제거하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 15항에 있어서,
상기 Z 값을 할당하는 단계는
동일한 X, Y 좌표값을 갖는 상기 3차원 이미지의 지면 윤곽으로부터 Z 값을 할당하고, 상기 X, Y 좌표값을 갖는 각각의 2차원 픽셀에 대해 할당하는 단계; 및
특정 2차원 픽셀로써 상기 동일한 X, Y 좌표값을 갖는 상기 3차원 이미지 속에 데이터가 없는 점이 있으면 Z 값을 보간하거나 추정하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
복수의 상기 컬러 맵들은 상기 컬러 맵이 사용되는 상기 영역의 상기 내용 기반 특성과 관련된 컬러들이나 색조들을 모방하기 위해 선택되는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.
제 11항에 있어서,
상기 2차원 이미지와 상기 2차원 이미지를 등록하는 단계;를 더 포함하는 것을 특징으로 한 일반 장면의 개선된 시각화를 위한 2차원 이미지와 3차원 이미지의 결합시스템.