KR101525772B1 - 가로수 정보의 3차원 모델 서비스 제공 방법 및 그 장치 - Google Patents

Abstract

본 발명은 일반 사용자들이 스마트폰, 태블릿 PC, PDA, 스마트 패드 등의 네트워크 기능을 가진 지능형 단말을 이용하여 사용자가 언제 어디서나 손쉽게 가로수의 수종, 수고, 3차원 좌표를 포함한 가로수의 다양한 정보를 쉽게 획득할 수 있으며, 이를 통해 실감형 서비스를 제공함에 따라 도로변에 식재된 가로수에 대한 이해를 높일 뿐만 아니라 식재된 수종을 파악할 수 있는 가로수 정보의 3차원 모델 서비스 제공 방법 및 그 장치에 관한 것이다.

Description

가로수 정보의 3차원 모델 서비스 제공 방법 및 그 장치{METHOD AND APPARATUS FOR PROVIDING THREE-DIMENSIONAL MODEL SERVICE OF STREET TREE INFORMATION}

본 발명은 가로수 정보의 3차원 모델 서비스 제공 방법 및 그 장치에 관한 것으로, 스마트폰을 이용하여 획득한 가로수의 영상을 통해 수종을 탐지하고 3차원 모델을 생성하는 방법을 제공하여 이를 통해 사용자가 도로변에 식재된 가로수의 정보를 획득하고 수종을 파악할 수 있고, 수종에 대한 실감형 서비스를 제공할 수 있는 가로수 정보의 3차원 모델 서비스를 제공하는 것에 관한 것이다.

가로수 정보의 3차원 모델 서비스를 제공하기 위해서는 스마트폰의 운영체계에 해당하는 안드로이드, 가로수 영상에서 공액점을 추출하기 위한 영상처리기술, 가로수의 3차원 좌표를 결정하기 위한 사진측량기술 및 3차원 모델링을 구현하기 위한 기술이 필요하다.

본 발명에서 스마트폰의 운영체계를 안드로이드로 지칭하는 것은 설명의 편의를 위해서이고, 본 발명에서 스마트폰의 운영체계를 반드시 안드로이드로 한정하는 것은 아니며, iOS등 운영체계에 독립적으로 구성할 수 있음이 당연하다.

상기와 같이 가로수 정보를 3차원으로 모델링하는 기술이 요구됨에 따라 선행문헌으로서 한국공개특허 제2011-0027654호(2011.03.16)는 캐스케이드형 카메라 및/또는 보정 특성을 포함하여 넓은 영역의 이미지를 상세하게 캡쳐하는 시스템 및 방법을 제안하였다. 상기 선행문헌은 넓은 영역의 이미지를 획득하는 것과 관련된 시스템 및 방법을 개시하고 있으며, 그 예시적인 일 실시예에 있어서, 하나 이상의 제1 이미지 캡쳐 장치를 포함하는 제1 시스템을 통해 제1 영역을 나타내는 개관 이미지를 획득하거나 캡쳐할 뿐만 아니라 복수의 이미지 캡쳐 장치를 포함하는 제2 시스템을 통해 이미지 축선을 따라 서로 관련되는 상세 이미지를 획득하거나 캡쳐하는 방법을 특징으로 하나, 가로수 영상을 이용하여 가로수의 수종을 탐지할 수 없으며 3차원 모델을 생성할 수 없는 문제점이 있다.

또한 다른 선행문헌으로서 한국등록특허 제1089361호(2011.11.28)에는 지형변화 감지를 통해 영상도화 이미지의 수정이 가능한 디지털 수치지도시스템이 제안되어 있다. 상기 선행문헌은 항공촬영시 표석의 기능을 대체할 수 있는 기준점의 위치 정보를 항공촬영이미지 내에 표시해서 작업자가 표석 확인을 위해 별도로 외근할 필요가 없도록 한, 지형변화 감지를 통해 영상도화 이미지의 수정이 가능한 디지털 수치지도시스템을 제공하는 것을 특징으로 하나, 가로수 영상을 이용하여 가로수의 수종을 탐지할 수 없으며 3차원 모델을 생성할 수 없는 문제점이 있다.

따라서 일반 사용자들이 쉽게 가로수의 수종, 수고, 3차원 좌표 등을 포함한 가로수의 정보를 쉽게 획득할 수 있는 서비스가 제공될 필요성이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 개별 가로수의 3차원 정보를 구축하기 위해서 가로수의 꼭대기점을 추출하는 방법을 제공하며, 라이다 자료에서 개별 가로수의 영역을 분리하는 기술, 가로수의 수종 자동 탐지 기술, 가로수의 3차원 좌표결정 기법 및 가로수의 3차원 모델 생성기법을 통하여 일반 사용자들도 스마트폰을 이용하여 가로수의 정보를 쉽게 획득할 수 있으며 획득한 정보를 토대로 3차원 모델 서비스를 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 장치는, 사용자가 촬영한 나뭇잎과 나무 전체의 영상을 데이터베이스에 미리 저장된 가로수 영상과 비교하여 가로수의 수종을 자동으로 탐지하는 영상처리부; 상기 자동으로 탐지된 수종을 사용자가 촬영한 영상과 단말기에 내장된 GPS 좌표를 사용하여 가로수의 3차원 좌표를 결정하는 3차원 좌표결정부; 및 상기 결정된 가로수의 3차원 좌표를 토대로 데이터베이스에 미리 저장되어 있는 수종 별 나뭇잎과 기둥(또는 몸통)에 대한 3차원 모델정보를 기준으로 가로수의 3차원 모델을 생성하는 3차원 모델링부;를 포함하는 것을 특징으로 한다. 또한 본 발명의 일실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 장치에 있어서, 상기 영상처리부의 상기 비교는 사용자가 촬영한 가로수 영상에서 공액점을 추출하고 이를 데이터베이스에 저장된 가로수의 정보들과 비교함으로써 수행하며, 상기 영상처리부는, 나뭇잎 영상을 비교한 결과와 나무 전체 영상을 비교한 결과 이외에 나무기둥에 대한 영상을 추가적으로 비교하고, 나뭇잎 영상, 나무 전체 영상 또는 나무기둥에 대한 영상을 포함하여 가로수를 중복 촬영한 적어도 2장 이상의 영상을 입력 자료로 하는 것이며, 상기 영상처리부는, 상기 데이터베이스에 저장된 영상과 나뭇잎을 1차 비교하고, 다음으로 나무 전체 형상을 2차 비교하여 수종을 자동 탐지하는 것이고, 가로수의 3차원 모델을 생성하기 위한 인자값은 가로수의 수고, 수관폭, 기둥두께, 지반고 또는 이들의 조합을 포함하며, 상기 3차원 좌표결정부는, 가로수를 중복 촬영한 적어도 2장 이상의 영상과 단말기의 GPS 정보를 입력 자료로 하는 것을 특징으로 한다.

아울러 본 발명의 또 다른 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 방법은, 사용자가 촬영한 나뭇잎과 나무 전체의 영상을 데이터베이스에 미리 저장된 가로수 영상과 비교하여 가로수의 수종을 자동 탐지하는 단계; 상기 자동 탐지된 수종을 사용자가 촬영한 영상과 단말기에 내장된 GPS 좌표를 사용하여 가로수의 3차원 좌표를 결정하는 단계; 및 상기 결정된 가로수의 3차원 좌표를 토대로 데이터베이스에 미리 저장되어 있는 수종 별 나뭇잎과 기둥(또는 몸통)에 대한 3차원 모델정보를 기준으로 가로수의 3차원 모델을 생성하는 단계;를 포함하는 것을 특징으로 한다.

본 발명은 일반 사용자들도 스마트폰을 이용하여 가로수의 수종, 수고, 3차원 좌표를 포함한 가로수의 정보를 쉽게 획득할 수 있으며, 이를 통해 실감형 서비스를 제공함에 따라 도로변에 식재된 가로수에 대한 이해를 높일 뿐만 아니라 식재된 수종을 파악할 수 있는 효과가 있다. 또한 최근 점차 확대되고 있는 스마트폰, 태블릿 PC, PDA, 스마트 패드 등의 네트워크 기능을 가진 지능형 단말을 이용하여 사용자가 언제 어디서나 손쉽게 가로수의 정보를 획득할 수 있어 가로수에 대한 단순한 이해나 파악뿐만 아니라 도시 전체의 조경에 대한 식견을 높일 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 장치를 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 안드로이드, 영상처리기술, 사진측량기술 및 3차원 모델링을 구현하기 위한 기술을 보인 예시도.
도 3은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 방법을 보인 블록도.
도 4는 본 발명의 일 실시예에 따른 가로수의 데이터베이스의 저장 내용을 보인 예시도.
도 5는 본 발명의 일 실시예에 따른 3차원 모델 생성을 위한 사용자 입력을 보인 예시도.
도 6은 본 발명의 일 실시예에 따른 가로수 3차원 모델 구축을 보인 예시도.
도 7은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 방법을 보인 순서도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 가로수 정보의 3차원 모델 서비스 제공 방법 및 그 장치의 일 실시예를 설명한다.

가로수는 시민의 건강과 도시경관, 환경오염 방지 등의 중요한 기능을 가지며, 도시에서 이산화탄소를 저감하고 녹지공간을 제공하는 기능을 수행한다.

본 발명은 일반 사용자들도 쉽게 스마트폰을 이용하여 가로수의 수종, 수고, 3차원 좌표 등에 대한 정보를 보다 쉽게 획득하여 가로수에 대한 이해를 높일 수 있도록 하기 위함이다.

또한 최근 점차 확대되고 있는 스마트폰, 태블릿 PC, PDA, 스마트 패드 등의 네트워크 기능을 가진 지능형 단말을 이용하여 사용자가 언제 어디서나 손쉽게 가로수의 정보를 획득할 수 있어 가로수에 대한 단순한 이해나 파악뿐만 아니라 도시 전체의 조경에 대한 식견을 높일 수도 있다.

도 1은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 장치를 보인 예시도로서, 상기 가로수 정보의 3차원 모델 서비스 제공 장치는 단말기(100), 플랫폼 서버(200) 및 데이터베이스(300)를 포함하여 구성될 수 있다.

먼저 사용자는 상기 플랫폼 서버에 접속하여 본 발명에 의한 가로수 정보의 3차원 모델 서비스를 제공하는 앱(또는 애플리케이션)을 다운로드 받을 수 있다. 상기 다운로드 받은 앱을 통해서 사용자 단말기는 플랫폼 서버와 접속되어 서비스를 제공받을 수 있다.

다음으로 사용자는 단말기(100)의 카메라를 이용하여 가로수의 영상을 촬영한다. 이때 사용자의 단말기(100)는 안드로이드 OS 기반의 스마트폰, PDA 또는 태블릿 PC를 포함한 클라이언트 단말의 일체를 모두 포함하며, 단말의 제한은 없다. 본 발명에서 제시하는 단말기는 개념적으로, 안드로이드 이외의 타 운영체제 기반에서도 작동될 수 있으므로, 운영체제의 종류에 따라 동작 여부가 제한을 받는 것은 아니다.

다음으로 촬영된 가로수의 영상은 사용자의 단말기에 설치된 애플리케이션에 업로드 되고 네트워크를 통해 플랫폼 서버(200)로 전송된다. 이때 플랫폼 서버(200)에는 촬영된 가로수 영상에서 공액점을 추출하고 이를 데이터베이스(300)에 저장된 가로수의 정보들과 비교하여 가로수의 수종을 자동으로 탐지하는 영상처리부(210), 가로수의 3차원 좌표를 결정하기 위한 사진측량부(220) 및 3차원 모델링을 구현하는 3차원 모델링부(230)를 포함하여 구성된다. 상기 플랫폼 서버에서 다양한 영상처리 기술을 이용할 수 있으며, 좌표 결정과 3차원 모델링에 대한 것도 구현되는 기술이 특별히 제한되는 것은 아니다.

또한 플랫폼 서버에서는 전송된 가로수의 영상과 데이터베이스(300)에 저장된 가로수의 정보들을 서로 비교하여 가로수의 수종을 자동으로 탐지하며, 가로수의 3차원 좌표를 결정하고, 3차원 모델을 구현할 수 있으며, 구현된 3차원 모델은 애플리케이션을 통해 사용자의 단말기로 전송하여 사용자가 촬영한 가로수의 정보를 보다 쉽게 획득 할 수 있다.

여기서 데이터베이스는 본 발명의 서비스에 관련된 데이터들을 저장하는 로컬 저장부로서 통상적으로 내장형 메모리 또는 외장형 메모리를 비롯하여 네트워크에 있는 클라우드 컴퓨팅 네트워크의 가상화된 저장장치(간략하게 클라우드 저장장치라고 부름)를 더 포함할 수 있다. 예컨대 상기 클라우드 저장장치는 서비스 제공자가 제공하는 전용 클라우드 저장장치, 또는 포털 사이트(예 : 네이버, 다음 등)에서 제공하는 무료 클라우드 저장장치(또는 네트워크 HDD)를 더 포함할 수 있다. 즉, 상기 데이터베이스(300)는 전기 혹은 광학 케이블로, 클라우드 컴퓨팅을 포함한 네트워크로, 또는 이들의 조합을 통해서 플랫폼 서버(200)와 연결된 데이터베이스이다.

더불어 상기 데이터베이스뿐만이 아니라 상기 플랫폼 서버(200)를 포함한 본 발명의 가로수 정보의 3차원 모델 서비스 제공 장치는 클라우드 컴퓨팅 서버 환경에서 구현되어, 별도의 플랫폼 서버를 서비스 제공자가 하드웨어로 구축할 필요가 없으며, 본 발명에 의한 어플리케이션(앱) 소프트웨어를 일종의 서비스 형태로 제공(예: SaaS(Software as a Service))하여, 사용자들이 자신에게 필요한 소프트웨어를 선택하여 서비스 받을 수 있도록 할 수 있다.

또한, HTML5 기반으로 모바일 상의 웹 앱을 제공하기 위한 하이브리드 웹 앱 환경을 제공하여, OS와 단말기기에 독립적이며, ActiveX를 설치할 필요가 없이 결재가 가능하고 서비스에 대한 보안접속이 가능하도록 함으로써, 사용자가 본 발명의 플랫폼을 통해 콘텐츠의 구매 및 활용이 용이하도록 할 수 있다.

참고로, 상기 실시예에서 가로수 정보의 3차원 모델 서비스를 제공 장치를 구성하는 각 구성수단들은 설명의 편의를 위하여 기재된 것일 뿐이며, 실질적으로는 어느 하나의 구성수단에서 모든 동작을 처리할 수도 있고, 더 다양한 구성수단으로 세분화하거나, 그 구성수단들을 조합하여 처리하도록 구성할 수도 있을 것이다. 또한 SNS 서버를 기반으로 사용자에게 가로수 정보의 3차원 모델 서비스를 제공하는 것도 가능하다.

도 2는 본 발명의 일 실시예에 따른 안드로이드, 영상처리기술, 사진측량기술 및 3차원 모델링을 구현하기 위한 기술을 보인 예시도이다.

먼저 도 2의 (a)는 스마트폰의 운영체계에 해당하는 안드로이드(Android) 개발의 필수 구성요소를 나타낸 것으로, 안드로이드는 휴대폰 운영체제와 서비스의 모든 영역을 커버하는 개방형 확장 플랫폼이다. 안드로이드의 애플리케이션 프레임 워크(application framework)는 컴포넌트의 재사용과 교체 기능을 제공하고 웹키트(WebKit) 엔진을 사용한 통합 브라우저는 사용자 인터페이스를 담당하며 SQLite는 구조화된 데이터 스토리지를 제공한다. 이때 SQLite는 MySQL이나 PostgreSQL과 같은 데이터베이스 관리 시스템이지만, 서버가 아니라 응용 프로그램에 넣어 사용하는 비교적 가벼운 데이터베이스이다. GSM Telephony, 블루투스, EDGE, 3G, WiFi, 카메라, GPS 등의 제어 모듈 또한 안드로이드에 포함되며, 모든 애플리케이션은 자바로 구현된다. 안드로이드의 소프트웨어 개발 키트(SDK: software development kit)가 자바로 제공된다. 이때 소프트웨어 개발 키트는 일반적으로 소프트웨어 기술자가 특정한 소프트웨어 꾸러미, 소프트웨어 프레임워크, 하드웨어 플랫폼, 컴퓨터 시스템, 게임기, 운영 체제 등을 위한 응용프로그램을 만들 수 있게 하는 개발 도구의 집합을 말한다.

도 2의 (a)에 도시된 바와 같이 안드로이드 개발에 필요한 구성요소들은 다음과 같다. 먼저 SampleProject는 프로젝트의 버전이나 이름, 구성 등에 대한 정보를 가지며, src/SampleProjectActivity.java는 메인소스파일로, 이곳에서 코드작성, 응용 프로그램 동작기술 및 필요한 만큼의 소스 추가가 가능하다. 또한 gen/R.java는 프로젝트 내의 각종 개체에 접근할 수 있는 ID를 정의하고, 툴이 자동으로 gen/R.java를 관리하기 때문에 사용자가 직접 편집할 수 없다. Android Library 폴더는 응용 프로그램이 참조하는 안드로이드의 기본 라이브러리로 의례 포함되며, assets 폴더는 리소스 폴더로 최초 비어 있는데 이 안에 비디오, 오디오 등의 파일을 저장할 수 있다. 또한 res/drawable 폴더는 이미지 파일을 저장하고, 디폴트로 아이콘 하나가 저장되어 있되 해상도별로 세 개의 크기로 각각의 res/drawable 폴더를 제작할 수 있으며, res/layout/main.xml은 개체의 레이아웃을 정의하여 응용 프로그램 모양을 디자인한다. 또한 res/values/string.xml은 프로젝트에서 사용하는 문자열을 정의하고, default.properties는 프로젝트의 빌드 타겟이 명시되어 있으며, proguard.cfg는 디컴파일 방지를 위한 설정 파일을 의미한다.

또한 도 2의 (a)에 도시된 AndroidFirst프로젝트를 구성하는 각 파일들의 역할과 관계는 다음과 같다.

strings.xml은 hello라는 문자열을 정의하고, main.xml은 hello문자열을 리니어 레이아웃(LinearLayout)의 텍스트 뷰(textView)에 집어넣는다. 다음으로 AndroidFirst.java는 SetcontentView 메소드를 호출하여 레이아웃을 액티비티(Activity)에 배치하며, R.java는 각 파일들이 참조하는 개체의 ID가 정의되어 있다.

다음으로 도 2의 (b)는 가로수 영상에서 공액점을 추출하기 위한 영상처리기술을 보인 예시도로, SVM(Support Vector Machine)의 개념도를 나타낸 것이다.

상기 영상처리기술은 도 1에 도시된 플랫폼 서버의 영상처리부에서 수행되며, SIFT(Scale Invariant Feature Transform) 알고리즘, RANSAC(RANdom SAmple Consensus) 알고리즘 및 SVM 알고리즘을 이용하여 가로수의 공액점을 추출하는 방법이다.

SIFT 알고리즘은 가로수 영상에서 특징점을 추출하고 영상과 영상 간에 동일한 공액점을 추출하기 위한 기법이다. 이때 SIFT 알고리즘은 조명, 축척, 회전, 부등각사상변환, 투영과 같은 요소들의 변화에 관계없이 두 영상간의 동일점을 찾는다.

또한 두 영상에서 찾은 동일점의 정확도를 향상시키기 위해서 RANSAC 알고리즘을 적용하여 최종적으로 신뢰도가 향상된 가로수의 특징점을 추출한다. 이때 RANSAC 알고리즘은 컨센서스(consensus)가 최대인 즉 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 방법을 말한다. 그 방법은 일단 무작위로 샘플 데이터 몇 개를 추출하여 이 샘플 데이터를 만족하는 모델 파라미터를 구하고 이렇게 구한 모델과 가까이에 있는 데이터들의 개수를 세어서 그 개수가 크다면 이 모델을 기억해 둔다. 이러한 과정을 n번 반복한 후 가장 지지하는 데이터의 개수가 많았던 모델을 최종 결과로 반환하는 방법이다.

또한 스마트폰에 구축된 애플리케이션을 통해 도 1의 플랫폼 서버에서 사용자가 촬영한 가로수 영상과 가로수 데이터베이스(DB)의 정보들을 비교 실시하여 수종을 탐지하기 위해서는 도 2의 (b)에 도시된 SVM을 사용한 분류기법이 필요하다.

SVM은 분류 알고리즘의 하나로 입력 데이터에서 경계선을 기준으로 두 그룹을 생성하고, 생성된 두 그룹에서 각각의 데이터 간 거리를 측정하여 두 개의 중심을 구한 후에 그 가운데에서 최적의 초평면(optimal hyper plane)을 구하여 각 그룹의 데이터를 분류하고 임의의 각()에 따라 데이터를 이동시켜 각 그룹을 나누는 방법이다.

본 발명에서는 SIFT 알고리즘, RANSAC 알고리즘 및 SVM 알고리즘을 이용하여 촬영된 가로수의 영상에서 가로수의 공액점을 추출하고 추출된 공액점을 토대로 데이터베이스의 가로수 정보와 비교하여 수종을 탐지할 수 있다.

다음으로 도 2의 (c)는 가로수의 3차원 좌표를 결정하기 위한 사진측량기술을 보인 예시도로, 캘리브레이션(calibration)에 사용되는 체크보드를 나타낸 것이다. 사진측량기술은 도 1에 도시된 플랫폼 서버의 사진측량부에서 수행되며, 스마트폰의 카메라에서 대상물의 3차원 좌표(X, Y, Z)를 결정하기 위해서 직접선형변환(DLT : Direct Linear Transformation)을 이용한다. 직접선형변환은 공선조건식을 수정하여 근거리사진측량에서 활용할 수 있도록 개발된 모델을 말한다.

직접선형변환의 적용에 앞서 카메라의 왜곡에 대한 특성을 파악하고 내부표정요소와 외부표정요소를 결정하기 위해서 도 2의 (c)와 같이 캘리브레이션이 필요하며, 이를 위해 이미 좌표값을 알고 있는 체크보드 형태의 영상을 출력하여 자료처리를 수행한다. 이때 캘리브레이션은 입출력 시스템인 스캐너, 모니터, 프린터와 같은 장치들의 특성과 성질에 따라 색온도, 컬러 균형 및 기타 특성을 조절하여 일정한 표준으로 보이도록 하는 과정으로 이는 각 장비마다 색공간이 다르고 설정에 따라 색 재현성이 다르기 때문에 일정한 형태의 프로파일에 의해 장치들 간의 색차를 최소로 보이도록, 최적의 상태를 만들고자 하는 과정을 말한다. 또한 직접선형변환은 비선형식과 선형식에 의해 변환될 수 있다. 먼저 직접선형변환의 비선형식은 [수식 1]과 같이 계산할 수 있다.

[수식 1]

또한 직접선형변환의 선형식은 [수식 2]와 같이 계산할 수 있다.

[수식 2]

상기 직접선형변환 수식에서 L1에서 L11까지의 11개의 매개변수를 통해서 카메라의 위치와 자세 및 초점거리를 포함한 다양한 정보를 구할 수 있으므로, 가로의 3차원 좌표(X, Y, Z)를 결정할 수 있다.

다음으로 도면에는 도시되지 않았지만 3차원 모델링을 구현하는 기술은 도 1에 도시된 플랫폼 서버의 3차원 모델링부에서 수행한다.

OpenGL-ES는 오픈 포맷이자 3차원 표준 API(Application Program Interface)의 OpenGL의 모바일버전이다. 임베디드(embedded) 단말을 위한 OpenGL(OpenGL ES)는 크로노스 그룹(Khronos Group)에 의해 정의된 3차원 그래픽 API인 OpenGL의 서브셋으로, 휴대전화, PDA 등과 같은 임베디드 단말을 위한 API이다. OpenGL-ES의 특징은 실제적으로 업계 표준의 모바일 3차원 API이며 대부분의 모바일 3차원 하드웨어 업체의 지원을 받고 있으며, OpenGL에 익숙한 3차원 개발자들이 쉽게 모바일 환경에서도 작업을 할 수 있는 환경을 제공한다. 이때 OpenGL은 2D와 3D를 정의한 컴퓨터 산업 표준 응용 프로그램 인터페이스(API)이며, 작도나 특수 효과를 내는 일련의 수행 명령어를 기술한 것으로 반복 효과를 낼 수 있고 각 운영 체계(OS)의 독립된 윈도 기능에 해당 시스템의 윈도 환경에서 동작할 수 있도록 각 OS별로 특수 접속(glue) 루틴을 제공한다. 또한 API는 프로그램 또는 애플리케이션이 운영 체제에 어떤 처리를 위해서 호출할 수 있는 서브루틴 또는 함수의 집합을 말한다.

이하 상기 간단하게 설명한 본 발명의 배경이 되는 기술을 이용하여 가로수 정보의 3차원 모델 서비스 제공 방법에 대해서 보다 상세하게 설명하고자 한다.

도 3은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 제공 방법을 보인 블록도로, 가로수 정보의 3차원 모델 서비스는 가로수의 수종 자동 탐지(400), 가로수의 3차원 좌표결정(500) 및 가로수의 3차원 모델 생성(600)을 포함하여 구성된다.

가로수의 수종 자동 탐지(400)는 가로수 데이터베이스(DB)의 정보를 통해 가로수의 수종을 자동 탐지하며, 가로수의 3차원 좌표결정(500)은 사용자가 촬영한 가로수 영상과 스마트폰에 내장된 GPS를 사용하여 가로수의 3차원 좌표값(X, Y, Z)을 계산하여 가로수의 3차원 좌표를 결정한다. 또한 가로수의 3차원 모델 생성(600)은 가로수의 데이터베이스에 저장되어 있는 각 수종의 3차원 모델정보의 기준으로 가로수의 최종 모델을 생성한다.

도 4는 본 발명의 일 실시예에 따른 가로수의 데이터베이스의 저장 내용을 보인 예시도로서, 각각의 가로수의 나뭇잎, 기둥, 나무 전체 영상정보, 품종, 생김새, 잎, 꽃, 열매, 쓰임새 및 탄소 저감량을 포함한 가로수의 속성 정보로 구성되며, 상기 가로수의 종류 및 정보에는 제한이 없다.

예를 들어 가로수 데이터베이스의 정보 중 소나무의 데이터베이스는 다음과 같다. 소나무는 나뭇잎이 가늘고 뾰쪽하고, 구과목 소나무과 품종이며, 생김새는 늘 푸른 바늘잎, 높이 35m, 지름 1.8m, 붉은 갈색의 나무껍질은 거북의 등처럼 갈라져 있으며, 잎의 길이는 6~12㎝의 바늘잎으로 2개씩 모여 나고, 밑부분에 비늘이 있고, 2년 뒤에 잎이 떨어진다. 또한 소나무의 수꽃은 노란색을 띤 갈색이고, 길이는 1㎝의 타원형으로 새가지(또는 어린싹) 밑부분에 달려져 있고, 암꽃은 자주빛을 띠며 달걀모양으로 새가지 끝에 2~3개가 돌려나고, 열매는 구과로 달걀모양으로 다음해 가을에 열매가 익으며, 소나무의 쓰임새는 관상용, 식용, 약용 및 조경용으로 사용될 수 있으며, 소나무 1그루당 1.81㎏의 탄소배출을 저감 시킬 수 있다.

가로수의 수종 자동 탐지는 도 2의 (b)와 같이 영상처리기술을 기반으로 사용자가 촬영한 나뭇잎과 나무전체의 2장의 영상을 사용하여 도 4의 가로수 데이터베이스 정보와 비교하여 수종을 탐지한다. 나뭇잎과 나무 전체 형상을 나타내는 영상을 비교한 결과 이외에 나무기둥에 대한 영상을 추가적으로 비교할 수 있다. 이때 입력 자료는 나뭇잎 영상, 나무 전체 영상을 포함하여 적어도 2장 이상의 영상을 입력 자료로 한다.

자료처리과정은 입력 영상과 가로수 데이터베이스의 정보를 RANSAC, SIFT 알고리즘으로 비교하여 나뭇잎과의 1차 비교를 수행하며, 나무 전체 형상과의 2차 비교를 통해 수종을 자동 탐지한다. 탐지된 수종의 정확도를 향상시키기 위해서 추가적으로 가로수의 기둥영상을 가로수 데이터베이스의 정보와 비교한다.

도 5는 본 발명의 일 실시예에 따른 3차원 모델 생성을 위한 사용자 입력을 보인 예시도로서, 가로수의 3차원 좌표결정 기법을 나타낸 것이다.

가로수의 3차원 좌표를 결정하기 위해서는 사용자가 촬영한 가로수의 입체영상 또는 입체사진과 스마트폰에 내장된 GPS를 사용하여 가로수의 3차원 좌표값(X, Y, Z)을 계산한다. 가로수의 3차원 모델링을 위한 인자값은 도 5에 도시된 바와 같이 가로수의 수고(510), 수관폭(520), 기둥두께(530) 및 지반고(미도시)를 포함하여 설정한다. 가로수의 수고(510)는 가로수의 높이를 의미하며, 수관폭(520)은 가로수의 녹엽 부분을 수평면에 수직으로 투영한 최대 지름으로 즉 수관의 직경을 의미한다. 또한 가로수의 기둥두께(530)는 가로수의 기둥의 지름으로 즉 기둥의 직경을 의미하며, 지반고(미도시)는 가로수를 토대로 되어 있는 땅의 높이를 의미한다.

이때 입력 자료는 가로수를 중복 촬영한 2장 이상의 영상과 스마트폰의 GPS 정보이다.

자료처리의 첫 번째 과정으로 여러 영상에서 동일점은 SIFT와 RANSAC 알고리즘을 이용하여 자동으로 결정하며, 가로수의 3차원 모델 인자를 계산하기 위해서 도 5와 같이 상기 가로수의 수관폭, 가로수의 꼭대기, 기둥두께 및 지반고에 대한 영상좌표는 수동으로 사용자가 순서대로 입력한다. 한편, 상기 영상좌표는 사용자 단말에 제공된 앱이나, 상기 플랫폼 서버에서 자동으로 환산할 수도 있다.

자료처리의 두 번째 과정으로는 동일점에 대한 영상좌표와 상기 DLT의 비선형식과 선형식의 수식을 이용하여 가로수를 모델링하기 위한 상대적인 3차원 좌표를 결정한다. 이때 가로수의 절대좌표는 GPS 정보를 이용하여 보정한다.

이렇게 결정된 3차원 좌표는 다음에 설명하는 3차원 모델링에 사용하게 된다.

도 6은 본 발명의 일 실시예에 따른 가로수 3차원 모델 구축을 보인 예시도로서, 가로수의 3차원 모델 생성을 위한 나뭇잎, 가로수의 기둥(또는 몸통) 및 최종 생성된 가로수의 모델을 나타낸 것이다.

가로수의 3차원 모델 생성은 도 3에 도시된 바와 같이 가로수 데이터베이스에 저장되어 있는 각 수종별의 정보 즉, 나뭇잎과 기둥(또는 몸통)에 대한 3차원 모델정보를 기준으로, 도 5에서 계산된 가로수의 수고, 수관폭, 기둥두께 및 지반고를 포함한 4개의 모델 인자를 기준으로 최종 모델을 생성한다. 이때 가로수의 3차원 모델링을 위한 입력 인자값은 가로수의 수고, 수관폭, 기둥두께 및 지반고를 포함하여 설정한다.

가로수의 3차원 모델링을 위한 자료처리는 오픈소스(OpenSource)인 OpenGL ES를 기반으로 하며, 가로수의 실제 표현을 위해 사용자가 직접 촬영한 나뭇잎, 기둥의 영상을 3차원 모델링의 텍스처링 작업에 사용한다. 이때 3차원 모델링의 텍스처링은 생성된 3차원 모델 표면에 대한 정보를 추가함으로써 3차원 모델을 보다 상세하고 현실감 있게 표현하는 작업을 말하며, 주로 컴퓨터 그래픽 분야에서 적용되며, 영상에서 취득된 실제 대상물체에 대한 정보를 사용하여 3차원 모델에 현실감을 부여할 수 있는 기법인 텍스처 매핑, 솔리드 텍스처링, 기하학적 텍스처링 등을 적용하여 수행할 수 있다.

이와 같이 가로수 3차원 모형화를 위한 상기 정보를 통해서 실제 3차원 모델을 생성함으로서 일반 사용자가 친근감 있게 도시 내에 존재하는 가로수의 정보를 획득할 수 있다.

도 7은 본 발명의 일 실시예에 따른 가로수 정보의 3차원 모델 서비스 방법을 보인 순서도이다.

먼저 사용자가 스마트폰, PDA 또는 태블릿 PC를 포함한 클라이언트 단말기를 이용하여 직접 가로수의 나뭇잎, 나무 전체 영상을 촬영(S100)한다. 촬영한 가로수의 영상을 사용자 단말기의 애플리케이션에 입력하고, 입력된 가로수 영상과 애플리케이션에 저장된 가로수 데이터베이스의 정보를 RANSAC, SIFT 알고리즘으로 비교하여 나뭇잎과 1차 비교 수행, 나무 전체 형상과 2차 비교를 통해 가로수의 수종을 자동 탐지(S200)한다. 이때 탐지된 수종의 정확도를 향상시키기 위해서 추가적으로 가로수의 기둥영상을 가로수 데이터베이스의 정보와 비교할 수 있다. 다음으로 사용자가 촬영한 가로수의 입체영상과 스마트폰에 내장된 GPS를 이용하여 가로수의 3차원 좌표(X, Y, Z)를 결정(S300)한다. 이때 가로수의 3차원 모델링을 위한 3차원 인자값은 가로수의 수고, 수관폭, 기둥두께 및 지반고로 설정되며, 입력 자료는 가로수를 중복 촬영한 2장 이상의 영상과 스마트폰의 GPS 정보이다. 또한 가로수의 3차원 좌표를 결정을 위해 자료처리 과정은 여러 영상에서의 동일점을 SIFT 및 RANSAC 알고리즘을 이용하여 자동으로 결정하며, 동일점에 대한 영상좌표와 DLT 수식을 이용하여 가로수를 모델링하기 위한 상대적인 3차원 좌표를 결정하며, 가로수의 절대좌표는 GPS 정보를 이용하여 보정한다. 다음으로 가로수의 3차원 모델링은 가로수의 데이터베이스에 저장되어 있는 각 수종 별로 나뭇잎과 기둥(또는 몸통)의 3차원 모델정보를 기준으로 가로수의 최종 모델을 생성(S400)한다. 이때 가로수의 3차원 모델링을 위한 입력 인자값은 가로수의 수고, 수관폭, 기둥두께 및 지반고를 포함한다. 또한 가로수의 3차원 모델링은 오픈소스(OpenSource)인 OpenGL ES를 기반으로 하며, 가로수의 실제 표현을 위해 사용자가 직접 촬영한 나뭇잎, 기둥의 영상을 3차원 모델링의 텍스처링 작업에 사용한다. 다음으로 생성된 최종 3차원 모델을 애플리케이션을 통해 사용자의 스마트폰으로 전송하여 사용자가 촬영한 가로수의 정보 및 형상을 보다 쉽게 획득할 수 있는 실감형 서비스를 제공(S500)한다.

이와 같은 가로수 정보의 3차원 모델 서비스 방법은 일반 사용자들도 스마트폰을 이용하여 가로수의 수종, 수고, 3차원 좌표를 포함한 가로수의 다양한 정보를 쉽게 획득할 수 있으며, 이를 통해 실감형 서비스를 제공함에 따라 도로변에 식재된 가로수에 대한 이해를 높일 뿐만 아니라 식재된 수종을 파악할 수 있는 이점이 있다.

상기에서는 본 발명에 따른 바람직한 실시 예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정 되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

100 : 단말기 200 : 플랫폼 서버
210 : 영상처리부 220 : 사진측량부
230 : 3차원 모델링부 300 : 데이터베이스
400 : 가로수 수종 자동 탐지 500 : 가로수 3차원 좌표 결정
510 : 가로수의 수고 520 : 가로수의 수관폭
530 : 가로수의 기둥두께 600 : 가로수 3차원 모델 생성

Claims (14)

1. 사용자가 촬영한 나뭇잎 영상, 나무 전체 영상 및 나무기둥에 대한 영상을 포함하여 가로수를 중복 촬영한 적어도 두 장 이상의 영상을 데이터베이스에 미리 저장된 가로수 영상과 비교하여 가로수의 수종을 자동으로 탐지하는 영상처리부;
   상기 자동으로 탐지된 수종에 대해 직접선형변환을 적용하여 상기 사용자가 촬영한 가로수의 3차원 좌표를 결정하고, 단말기에 내장된 GPS 좌표를 사용하여 상기 가로수의 절대좌표를 보정하는 3차원 좌표결정부; 및
   상기 결정된 가로수의 3차원 좌표를 토대로 데이터베이스에 미리 저장되어 있는 수종 별 나뭇잎과 나무기둥(또는 몸통)에 대한 3차원 모델정보를 기준으로 가로수의 수고, 수관폭, 기둥두께 및 지반고를 포함하는 3차원 모델을 생성하는 3차원 모델링부;를 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
2. 청구항 1에 있어서,
   상기 영상처리부는,
   사용자가 촬영한 가로수 영상에서 공액점을 추출하고 이를 데이터베이스에 저장된 가로수의 정보들과 비교함으로써 수행하는 것이며,
   상기 공액점은 상기 가로수 영상에서 특징점을 추출하고, 조명, 축척, 회전, 부등각사상변환 또는 투영을 포함하는 요소들의 변화에 관계없이 두 영상에서 동일점을 찾는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
3. 청구항 2에 있어서,
   상기 두 영상에서 찾은 동일점의 정확도를 향상시키기 위해서, 신뢰도가 향상된 가로수의 특징점을 추출하는 과정을 수행하는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
4. 청구항 3에 있어서,
   상기 영상처리부는,
   가로수 영상에서 특징점을 추출하는 입력 데이터에서 경계선을 기준으로 두 그룹을 생성하고, 생성된 두 그룹에서 각각의 데이터 간 거리를 측정하여, 두 개의 중심을 구한 후에 최적의 초평면을 구하여 각 그룹의 데이터를 분류하고, 임의의 각에 따라 데이터를 이동시켜 각 그룹을 나누는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
5. 청구항 1에 있어서,
   상기 영상처리부는,
   상기 데이터베이스에 저장된 영상과 나뭇잎을 1차 비교하고, 다음으로 나무 전체 형상을 2차 비교하여 수종을 자동 탐지하며, 탐지된 수종의 정확도를 향상시키기 위해서 추가적으로 가로수의 기둥영상을 가로수 데이터베이스의 정보와 비교하는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
6. 삭제
7. 청구항 1에 있어서,
   상기 3차원 좌표결정부에서,
   상기 직접선형변환을 적용하기 전에, 카메라 렌즈의 특성 및 왜곡을 보정하는 캘리브레이션을 먼저 수행하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 장치.
8. 사용자가 촬영한 나뭇잎 영상, 나무 전체 영상 및 나무기둥에 대한 영상을 포함하여 가로수를 중복 촬영한 적어도 두 장 이상의 영상을 데이터베이스에 미리 저장된 가로수 영상과 비교하여 가로수의 수종을 자동으로 탐지하는 단계;
   상기 자동으로 탐지된 수종에 대해 직접선형변환을 적용하여 상기 사용자가 촬영한 가로수의 3차원 좌표를 결정하고, 단말기에 내장된 GPS 좌표를 사용하여 상기 가로수의 절대좌표를 보정하는 3차원 좌표를 결정하는 단계; 및
   상기 결정된 가로수의 3차원 좌표를 토대로 데이터베이스에 미리 저장되어 있는 수종 별 나뭇잎과 나무기둥(또는 몸통)에 대한 3차원 모델정보를 기준으로 가로수의 수고, 수관폭, 기둥두께 및 지반고를 포함하는 3차원 모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.
9. 청구항 8에 있어서,
   상기 가로수의 수종을 자동으로 탐지하는 단계는,
   사용자가 촬영한 가로수 영상에서 공액점을 추출하고 이를 데이터베이스에 저장된 가로수의 정보들과 비교함으로써 수행하는 것이며,
   상기 공액점은 상기 가로수 영상에서 특징점을 추출하고, 조명, 축척, 회전, 부등각사상변환 또는 투영을 포함하는 요소들의 변화에 관계없이 두 영상에서 동일점을 찾는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.
10. 청구항 9에 있어서,
    상기 두 영상에서 찾은 동일점의 정확도를 향상시키기 위해서, 신뢰도가 향상된 가로수의 특징점을 추출하는 과정을 수행하는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.
11. 청구항 10에 있어서,
    상기 가로수의 수종을 자동으로 탐지하는 단계는,
    가로수 영상에서 특징점을 추출하는 입력 데이터에서 경계선을 기준으로 두 그룹을 생성하고, 생성된 두 그룹에서 각각의 데이터 간 거리를 측정하여, 두 개의 중심을 구한 후에 최적의 초평면을 구하여 각 그룹의 데이터를 분류하고, 임의의 각에 따라 데이터를 이동시켜 각 그룹을 나누는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.
12. 청구항 8에 있어서,
    상기 가로수의 수종을 자동으로 탐지하는 단계는,
    상기 데이터베이스에 저장된 영상과 나뭇잎을 1차 비교하고, 다음으로 나무 전체 형상을 2차 비교하여 수종을 자동 탐지하며, 탐지된 수종의 정확도를 향상시키기 위해서 추가적으로 가로수의 기둥영상을 가로수 데이터베이스의 정보와 비교하는 것을 포함하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.
13. 삭제
14. 청구항 8에 있어서,
    상기 3차원 좌표를 결정하는 단계에서,
    상기 직접선형변환을 적용하기 전에, 카메라 렌즈의 특성 및 왜곡을 보정하는 캘리브레이션을 먼저 수행하는 것을 특징으로 하는 가로수 정보의 3차원 모델 서비스 제공 방법.

Images