KR101875047B1 - 사진측량을 이용한 3d 모델링 시스템 및 방법 - Google Patents

사진측량을 이용한 3d 모델링 시스템 및 방법 Download PDF

Info

Publication number
KR101875047B1
KR101875047B1 KR1020180047235A KR20180047235A KR101875047B1 KR 101875047 B1 KR101875047 B1 KR 101875047B1 KR 1020180047235 A KR1020180047235 A KR 1020180047235A KR 20180047235 A KR20180047235 A KR 20180047235A KR 101875047 B1 KR101875047 B1 KR 101875047B1
Authority
KR
South Korea
Prior art keywords
reference point
camera
texture
sub
space
Prior art date
Application number
KR1020180047235A
Other languages
English (en)
Inventor
박병재
이재민
박병권
Original Assignee
주식회사 예간아이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 예간아이티 filed Critical 주식회사 예간아이티
Priority to KR1020180047235A priority Critical patent/KR101875047B1/ko
Application granted granted Critical
Publication of KR101875047B1 publication Critical patent/KR101875047B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 모델링 시스템을 개시한다. 보다 상세하게는, 본 발명은 연속으로 중복 촬영된 둘 이상의 이미지를 이용하여 위치 및 높이를 측량하는 사진측량 기법을 이용한 3D 모델링 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, 상용화된 사진측량 툴로부터 카메라 좌표 및 피사체 이미지를 획득하고, 시스템이 제공하는 3D 공간 내 가상 카메라의 위치를 정렬하고 오브젝트를 정의하며, 각 가상 카메라별 이미지 데이터에 대응하는 텍스처를 생성하여 오브젝트에 매핑함으로써 3D 모델을 용이하게 제작할 수 있는 환경을 제공하는 효과가 있다.

Description

사진측량을 이용한 3D 모델링 시스템 및 방법{SYSTEM AND METHOD FOR 3D MODELLING USING PHOTOGRAMMETRY}
본 발명은 3D 모델링 시스템에 관한 것으로, 특히 연속으로 중복 촬영된 둘 이상의 이미지를 이용하여 위치 및 높이를 측량하는 사진측량 기법을 이용한 3D 모델링 시스템 및 방법에 관한 것이다.
3D 모델링이란 현실세계(real world) 또는 비현실 세계를 3차원적인 형태로 모델화 또는 가상화 (virtualization)하여 구현하는 것을 가리킨다. 이러한 3차원(3D) 모델링은 3차원의 실제(real world) 오브젝트(objects)들을 저장된 기하학적 데이터(geometric data)로서 나타낼 수 있다. 디스플레이 장치에서 오브젝트의 렌더링된 2D 영상과의 상호작용은 오브젝트의 3D 모델링에 저장된 치수 데이터(dimensional data)를 연산처리 함으로써 실제의 오브젝트와의 상호작용을 유도하게 된다.
과거에는 현실세계의 측량성과 기반 3차원 묘사 구축방법이 비효율적으로 간주됨에 따라 측량성과를 이용하지 않고, 사진이나 현장답사를 통한 목측에 근거하여 대략적인 3D 모델링이 이뤄지거나 비현실 세계에 대한 모델링이 주로 이루어지는 형태에 머물렸으나, 근래에는 측량기술의 발달과 사진측량 툴의 개발 및 컴퓨터그래픽 기술의 발전으로 현실세계에 대한 3D 모델링 작업이 점진적으로 진행되고 있다.
3D 모델은 실제의 오브젝트로부터 컴퓨터에 모델을 3D 스캐닝함으로써 생성될 수 있다. 스캐닝에 의해 생성된 픽쳐(picture)는 그 각 포인트에서 한 표면에 대한 거리를 기술한다. 따라서, 픽처 내의 각 포인트의 3차원 위치가 식별될 수 있다. 이러한 기술에서는 전형적으로 오브젝트의 모든 방향에서의 정보를 입수하기 위해 여러 방향에서의 스캔 작업이 필요하며, 이러한 작업은 상당한 작업시간을 소요하게 된다.
등록특허공보 제10-1538014호(공고일자: 2015.07.22.)
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 상용화된 사진측량 툴(photogrammetry tool)로부터 획득한 데이터를 이용하여 3D 공간 내 가상 카메라 및 텍스처(texture)를 설정하고, 오브젝트에 대한 좌표를 설정함으로써 신속하고 최적화된 3D 모델을 제작할 수 있도록 한 사진측량을 이용한 3D 모델링 시스템 및 방법을 제공하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 바람직한 실시예에 따른 3D 모델링 시스템은, 사진측량 툴로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여, 3D 공간 내 가상 카메라의 위치를 설정하는 임포트부와, 상기 이미지 데이터의 왜곡을 제거하는 노이즈 제거부와, 원본 이미지 사이즈를 입력받아, 상기 가상 카메라의 위치에 대응하도록 상기 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 이미지 연결부와, 상기 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 가상 카메라 처리부와, 상기 메인 카메라를 중심으로 복수의 기준점을 설정하여 상기 3D 공간 상에 오브젝트를 생성하는 오브젝트 생성부와, 각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 상기 각 가상 카메라가 상기 오브젝트를 향한 각도에 따라 상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 텍스처 투영부를 포함할 수 있다.
상기 오브젝트 생성부는, 상기 3D 공간 상에서 각각 제1 내지 제3 축을 갖는 제1 내지 제3 기준점을 생성하고, 상기 제1 기준점은, 제2 축이 상기 메인 카메라를 향하도록 고정되고, 상기 오브젝트의 제1 꼭지점에 배치되고, 상기 제2 기준점은, 상기 제1 기준점에서 파생되어 상기 제1 꼭지점과 일 직선상에 위치한 상기 오브젝트의 제2 꼭지점에 배치되되, 제2 축이 상기 메인 카메라를 향하도록 고정되고, 상기 제3 기준점은, 상기 오브젝트의 제1 꼭지점에 배치되되, 제2 축이 상기 제2 기준점을 향하도록 배치되고, 상기 오브젝트의 영역을 확정하는 프레임의 일 꼭지점에 대응할 수 있다.
상기 오브젝트 생성부는, 상기 제1 또는 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제1 또는 제2 기준점의 3D 공간 내 위도, 경도 및 고도를 산출할 수 있다.
상기 텍스처는 오브젝트에 대응하지 않는 주변영역 데이터를 포함하고, 상기 텍스처 투영부는, 상기 텍스처의 투영시, 상기 주변영역 데이터를 제거할 수 있다.
복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라의 상기 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 할 수 있다.
상기 텍스처 투영부는, 복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 상기 오브젝트의 일면의 법선에 대응할 경우, 상기 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외할 수 있다.
또한, 전술한 목적을 달성하기 위한 본 발명의 다른 양태의 실시예에 따른 3D 모델링 시스템에 의한 3D 모델링 방법은, 사진측량 툴로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여 3D 공간 내 가상 카메라의 위치를 설정하는 단계와, 상기 이미지 데이터의 왜곡을 제거하는 단계와, 원본 이미지 사이즈를 입력받아, 상기 가상 카메라의 위치에 대응하도록 상기 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 단계와, 상기 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 단계와, 상기 메인 카메라를 중심으로 복수의 기준점을 설정하여 상기 3D 공간 상에 오브젝트를 생성하는 단계와, 각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 상기 각 가상 카메라가 상기 오브젝트를 향한 각도에 따라 상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계를 포함할 수 있다.
상기 3D 공간상에 오브젝트를 생성하는 단계는, 상기 3D 공간 상에서 제1 내지 제3 축을 갖는 제1 기준점을 생성하는 단계와, 상기 제1 기준점의 제2 축이 상기 메인 카메라를 향하도록 고정하고, 상기 제2 축에 따른 이동에 따라, 상기 제1 기준점을 상기 오브젝트의 제1 꼭지점에 배치하는 단계와, 상기 제1 기준점에서 파생되며, 상기 3D 공간 상에서 제1 내지 제3 축을 갖는 제2 기준점을 생성하는 단계와, 상기 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 고정하고, 제2 축에 따른 이동에 따라 꼭지점과 일 직선상에 위치한 상기 오브젝트의 제2 꼭지점에 상기 제2 기준점을 배치하는 단계와, 상기 3D 공간 상에서 제1 내지 제3 축을 가지며, 상기 오브젝트의 영역을 확정하는 프레임의 일 꼭지점에 대응하는 제3 기준점을 생성하는 단계와, 상기 프레임이 상기 오브젝트 영역에 대응하도록 조절됨에 따라, 상기 오브젝트를 생성하는 단계를 포함할 수 있다.
상기 제1 기준점을 상기 오브젝트의 제1 꼭지점에 배치하는 단계는, 상기 제1 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제1 기준점의 3D 공간 내 위도, 경도 및 고도를 산출하는 단계를 포함할 수 있다.
상기 제2 기준점을 상기 오브젝트의 제2 꼭지점에 배치하는 단계는, 상기 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제2 기준점의 3D 공간 내 위도, 경도 및 고도를 산출하는 단계를 포함할 수 있다.
상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는, 상기 텍스처의 오브젝트의 좌표에 따라, 상기 텍스처에 포함된 오브젝트에 대응하지 않는 주변영역에 대한 데이터를 제거할 수 있다.
상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는, 복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라가 상기 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외할 수 있다.
상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는, 복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 상기 오브젝트의 일면의 법선에 대응할 경우, 상기 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외할 수 있다.
본 발명의 실시예에 따르면, 상용화된 사진측량 툴로부터 카메라 좌표 및 피사체 이미지를 획득하고, 시스템이 제공하는 3D 공간 내 가상 카메라의 위치를 정렬하고 오브젝트를 정의하며, 각 가상 카메라별 이미지 데이터에 대응하는 텍스처를 생성하여 오브젝트에 매핑함으로써 3D 모델을 용이하게 제작할 수 있는 환경을 제공하는 효과가 있다.
또한, 본 발명은 3D 공간 내 정의된 가상 카메라들간 입사각을 고려하여 텍스처 정보를 보정함으로써 보다 현실세계의 오브젝트에 가까운 3D 모델을 제작할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 3D 모델링 시스템에 의한 사진측량을 이용한 3D 모델링 방법을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템이 제공하는 GUI를 예시한 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 가상 카메라 포인트를 모식화한 도면이다.
도 5a 내지 도 5c는 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 GUI를 예시한 도면이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제1 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제2 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제3 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 9는 본 발명의 실시예에 따른 3D 모델링 시스템에 의해 생성된 오브젝트에 관련된 화면들을 예시한 도면이다.
도 10은 본 발명의 실시예에 따른 텍스처 투영 작업 화면을 예시한 도면이다.
도 11a 및 도 11b는 본 발명의 실시예에 따른 3D 모델링 시스템에서 텍스처 투영 작업에서 제외되는 이미지 데이터를 설명하기 위한 도면이다.
설명에 앞서, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 그리고, "포함하는", "구비하는" 및 "갖는" 등의 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
또한, 본 명세서의 전반에 걸쳐 기재된 "...부(unit), "...장치(device)" 및 "...시스템(system)" 등의 용어는 하나 또는 둘 이상의 기능이 조합된 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부", "장치" 및 "시스템" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명에서 사용자 단말에서 실행되는 어플리케이션 프로그램은 "부" 단위로 구성될 수 있고, 읽기, 쓰기 및 지우기가 가능한 형태로 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 또는 기록매체 사이에 분산되어 기록될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템 및 방법을 설명한다. 이하의 설명에서, 본 발명의 3D 모델링 시스템은 프로그래밍 언어로 작성되고, 이를 실행할 수 있는 프로세서 및 메모리를 탑재한 컴퓨팅 장치에 의해 읽고 쓰기가 가능한 기록매체에 기록된 프로그램 형태로 구현되어 컴퓨팅 장치에 탑재될 수 있다.
도 1은 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 전체 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 사진측량을 이용한 3D 모델링 시스템(100)은 사진측량 툴(10)로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여, 3D 공간 내 가상 카메라의 위치를 설정하는 임포트부(110), 이미지 데이터의 왜곡을 제거하는 노이즈 제거부(115), 원본 이미지 사이즈를 입력받아, 가상 카메라의 위치에 대응하도록 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 이미지 연결부(120), 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 가상 카메라 처리부(130), 메인 카메라를 중심으로 복수의 기준점을 설정하여 3D 공간 상에 오브젝트를 생성하는 오브젝트 생성부(150) 및, 각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 각 가상 카메라가 오브젝트를 향한 각도에 따라 텍스처를 오브젝트에 투영하여 3D 모델을 생성하는 투영부(160)를 포함할 수 있다.
임포트부(110)는, 3D 모델링의 대상이 되는 지형, 건물 등에 대하여 외부의 상용화된 사진측량 툴(10)으로부터 실측된 대상을 촬영한 다수의 실제 카메라 장치에 대한 GPS 등의 위치정보와, 각 카메라 장치가 촬영한 이미지 데이터를 본 발명의 3D 모델링 시스템으로 임포트(import)할 수 있다. 이에 따라, 3D 모델링 시스템(100)이 구현하는 3D 공간 상에는 각 카메라 장치에 대응하는 위치에 가상 카메라가 배치되고, 각 가상 카메라 마다, 실제 카메라 장치에 의해 촬영된 이미지 데이터가 연관되어 프로그램 상에 상주하게 된다.
노이즈 제거부(115)는 로드된 이미지 데이터에 포함된 왜곡(noise)을 제거할 수 있다. 실제 촬영된 이미지에는 촬영시의 주변환경, 일 예로서, 날씨, 조명 및 먼지 등에 의한 환경적 요소 및 카메라 장치 자체의 비네팅(vignetting) 특성에 따른 장치적 요소 등에 의한 왜곡이 존재할 수 있으며, 노이즈 제거부(115)는 이러한 왜곡들을 제거하게 된다.
이미지 연결부(120)는 인터페이스 제공부(140)를 통해 사용자(usr)에 의해 입력되는 원본 이미지 데이터들의 사이즈를 이미지 데이터에 반영하되, 3D 공간에 대응되도록 축소 또는 확대하고, 연계된 가상 카메라에 연결 설정할 수 있다. 만약, 각 이미지 데이터가 입력된 원본 이미지 데이터의 사이즈와 비교하여 가로의 길이 값이 작을 경우 가상 카메라에 의한 표시 구역의 가로 크기에 맞게 이미지를 늘리고, 세로의 길이 값이 작을 경우 세로 크기에 맞게 이미지를 늘리게 된다.
가상 카메라 처리부(130)는 3D 공간상에 설정된 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하고, 나머지 가상 카메라들을 서브 카메라로 설정할 수 있다. 여기서, 메인 카메라는 3D 모델링을 위한 오브젝트를 생성하는 데 기준이 되며, 서브 카메라들은 오브젝트를 생성하는 기준점의 위도, 경도, 및 고도를 산출하는 데 이용될 수 있다.
또한, 가상 카메라 처리부(130)는 사용자(usr)의 개수입력에 따라, 하나 이상의 작업창을 생성하고, 그 작업창에 각 가상 카메라들을 중심으로 하는 화면을 표시할 수 있다.
이러한 가상 카메라 설정 작업은 사용자(usr)의 임의의 선택에 의해 수행될 수 있다.
인터페이스 제공부(140)는 사용자(usr)의 입력을 3D 모델링 시스템(100)에 반영하는 것으로, 마우스 이동, 클릭, 드래그 앤 드롭 및 키보드 입력 등에 따른 메뉴선택, 좌표변경 및 수치입력이 3D 모델링 시스템(100)에 반영되도록 한다.
오브젝트 생성부(150)는 3D 공간상에 3D 모델링 대상에 대응하는 오브젝트를 생성할 수 있다. 본 발명의 3D 모델링 시스템(100)은 작업창에 3D 공간상에 로드된 가상 카메라의 위치 및 그 지역에 대한 이미지 데이터를 표시할 수 있고, 이미지 데이터에서 3D 모델을 제작하고자 하는 영역에 대하여 기준점을 설정하여 오브젝트를 생성할 수 있다.
상세하게는, 오브젝트 생성부(150)는, 3D 공간 상에서 각각 제1 내지 제3 축을 갖는 제1 내지 제3 기준점을 생성할 수 있다. 여기서, 제1 내지 제3 축은 각각 3D 공간상의 X, Y, Z 축에 대응할 수 있다.
이러한 제1 내지 제3 기준점은 3D 모델링 대상과 인접하여 작업의 진행에 따라 순차적으로 생성될 수 있고, 사용자(usr)는 3D 모델링 대상의 특정 영역상에 각 기준점을 매칭시켜 오브젝트를 생성할 수 있다.
먼저, 오브젝트 생성부(150)는 제1 기준점으로서, 사용자(usr)의 제어에 따라, 제1 기준점을 제2 축이 상기 메인 카메라를 향하도록 고정하고, 3D 모델링 대상을 이루는 각 꼭지점 중, 어느 하나인 제1 꼭지점에 배치할 수 있다.
또한, 오브젝트 생성부(150)는 제2 기준점으로서, 제1 기준점에서 파생되며, 사용자(usr)의 제어에 따라, 제2 기준점을 전술한 제1 꼭지점과 일 직선상에 위치한 3D 모델링 대상의 제2 꼭지점에 배치하고, 제2 축이 메인 카메라를 향하도록 고정할 수 있다.
이후, 오브젝트 생성부(150)는 제3 기준점으로서, 제1 기준점에서 파생되며, 오브젝트의 제1 꼭지점에 배치되되, 사용자(usr)의 제어에 따라, 제2 축이 제2 기준점을 향하도록 배치할 수 있다. 특히, 제3 기준점은 오브젝트의 영역을 확정하는 프레임의 일 꼭지점에 대응하는 것으로, 제3 기준점의 위치 및 방향이 고정되고, 프레임의 사이즈 변화에 따라 오브젝트의 영역을 설정하게 된다. 프레임의 사이즈 변환이 종료되면 오브젝트 생성부(150)는 프레임을 오브젝트로 확정하게 된다.
텍스처 투영부(160)는 3D 공간 내 생성된 오브젝트에 대하여, 각 가상 카메라 장치의 방향에서 그와 연결된 데이터 이미지를 투영하여 3D 모델(3D model)을 생성할 수 있다.
오브젝트는 기준점에 의해 그 위도, 경도, 및 고도와, 사이즈가 결정되어 있고, 각 가상 카메라들에는 촬영방향에 따른 이미지 데이터가 연결되어 있음에 따라, 각 가상 카메라별 연결된 이미지를 오브젝트에 투영(mapping)함으로써 3D 모델을 생성할 수 있다.
이때, 텍스처는 오브젝트에 대응하지 않는 주변영역 데이터를 포함할 수 있고, 텍스처 투영부(160)는 텍스처에서 오브젝트에 해당하지 않는 주변영역 데이터를 제거할 수 있다.
한편, 본 발명에서 복수의 가상 카메라는 오브젝트와의 거리와, 이웃한 카메라 간 촬영범위가 중복되는 경우, 불필요한 이미지 데이터가 존재할 수 있다.
일 예로서, 이웃한 복수의 가상 카메라가 오브젝트가 충분이 먼 경우, 두 가상 카메라의 촬영범위는 중복영역이 상당히 존재함에 따라 동일 피사체에 대하여 서로 다른 각도에서 촬영된 데이터 이미지가 존재할 수 있다.
또한, 이웃한 세 개의 가상 카메라간 배치간격이 좁은 경우, 그 중앙의 가상 카메라에 의한 데이터 이미지는 양측 가상 카메라에 연결된 데이터 이미지에 포함될 수 있다.
이에 오브젝트에 텍스처가 정확히 투영되도록 텍스처 투영부(160)는 복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라가 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 대응하는 텍스처는 투영시 제외할 수 있다.
또한, 텍스처 투영부(160)는 복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 오브젝트의 일면의 법선에 대응할 경우, 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 대응하는 텍스처는 투영시 제외할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템은 상용 사진측량 툴을 통해 획득된 데이터에 기반하여 3D 모델링을 수행할 수 있는 환경을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템에 의한 3D 모델링 방법을 설명한다.
도 2는 본 발명의 실시예에 따른 3D 모델링 시스템에 의한 사진측량을 이용한 3D 모델링 방법을 나타낸 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도 전술한 3D 모델링 시스템 및 이를 이루는 구성부가 된다.
도 2를 참조하면, 본 발명의 실시예에 따른 3D 모델링 방법은, 사진측량 툴로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여 3D 공간 내 가상 카메라의 위치를 설정하는 단계(S100), 이미지 데이터의 왜곡을 제거하는 단계(S110), 원본 이미지 사이즈를 입력받아, 가상 카메라의 위치에 대응하도록 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 단계(S120), 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 단계(S130), 메인 카메라를 중심으로 복수의 기준점을 설정하여 3D 공간 상에 오브젝트를 생성하는 단계(S140) 및 각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 각 가상 카메라가 오브젝트를 향한 각도에 따라 텍스처를 오브젝트에 투영하여 3D 모델을 생성하는 단계(S150)를 포함할 수 있다.
가상 카메라의 위치를 설정하는 단계(S100)는, 외부의 사용 사진측량 툴로부터 실측된 대상을 촬영한 다수의 실제 카메라 장치의 GPS 등을 포함하는 위치정보 및 각 카메라 장치가 촬영한 이미지 데이터를 임포트하고, 획득된 위치정보를 이용하여 본 발명의 3D 모델링 시스템의 3D 공간 내 실제 카메라 장치에 대응하는 위치에 가상 카메라의 위치를 설정하는 단계이다.
다음으로, 이미지 데이터의 왜곡을 제거하는 단계(S110)는 임포트된 이미지 데이터에 존재하는 환경적 및 장치적 왜곡을 제거하는 단계이다. 이러한 왜곡 제거 단계(S110)에서는 공지된 영상 보정 방법이 적용될 수 있다.
다음으로, 이미지 데이터를 연결하는 단계(S120)는 왜곡이 제거된 이미지 데이터를 3D 공간상에 배치된 각 가상 카메라에 연결시키는 단계이다. 이미지 데이터는 원본 이미지 데이터 즉, 실측 카메라 장치에 의해 촬영된 데이터에서 기반한 것으로, 각 이미지 데이터에 대응하는 3D 공간 상의 가상 카메라와 연결할 수 있다.
특히, S120 단계에서는 이미지 데이터를 가상 카메라와 연결하는 데 있어, 그 이미지 사이즈가 가상 카메라의 3D 공간이 정의하는 영역의 크기가 고려되어야 한다. 즉, 연결되는 이미지 데이터는 해당하는 가상 카메라에 의해 촬영된 것으로 가정되는 이미지 이므로, 사용자는 원본 이미지 데이터의 사이즈를 입력하여 이미지 데이터의 원 사이즈를 3D 모델링 시스템에 제공하고, 이에 3D 모델링 시스템은 이미지 데이터 연결시, 원 사이즈에 비례하여 3D 공간이 정의하는 영역에 적합하도록 이미지 데이터의 사이즈를 변환하게 된다.
이후, 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 가상 카메라 분류 및 가상 카메라 시점으로 화면을 이동시키는 단계(S130)를 통해 사용자는 3D 공간에 모델링 대상에 대한 오브젝트를 생성할 수 있다.
상세하게는, 본 발명의 실시예에 따른 3D 모델링 시스템은 3D 공간 내 오브젝트를 생성하기 위해, 적어도 3개의 기준점을 이용할 수 있다. S130 단계에 따르면, 사용자는 3D 공간 내 배치된 복수의 가상 카메라 중, 어느 하나를 선택하여 메인 카메라로 설정할 수 있다. 이러한 메인 카메라는 오브젝트의 생성을 위한 기준이 되는 이미지 데이터에 연결된 가상 카메라 일 수 있다. 또한, 메인 카메라의 설정에 따라, 타 가상 카메라들은 서브 카메라로 설정되게 된다.
가상 카메라의 설명이 완료되면, 3D 모델링 시스템은 메인 카메라를 포함하는 각 가상 카메라를 작업창에 할당하고, 어느 하나의 작업창을 화면상에 표시해 줌으로써, 사용자가 기준점에 대한 작업을 수행할 수 있도록 한다.
이때, 각 작업창의 3D 공간상에는 각 카메라에 연결된 이미지 데이터가 함께 표시될 수 있다.
다음으로, 메인 카메라를 중심으로 복수의 기준점을 설정하여 3D 공간 상에 오브젝트를 생성하는 단계(S140)는 사용자에 의해 선택된 위치에 기준점들을 설정하여 3D 공간상에 오브젝트를 생성하는 단계이다.
먼저, 사용자는 작업창의 화면상에 모델링 대상이 되는 영역을 확인하고, 3D 모델링 시스템이 제공하는 인터페이스를 통해 해당 작업창에 제1 기준점을 생성할 수 있다. 여기서, 제1 기준점은 3D 공간의 X축, Y축 및 Z축에 각각 대응하는 제1 내지 제3 축을 포함하고, 사용자는 제1 기준점을 모델링 대상이 되는 영역에 포함되는 어느 하나의 꼭지점으로 이동시킨다.
이때, 사용자는 생성된 제1 기준점의 제2 축, 즉 Y축이 메인 카메라를 향하도록 제1 기준점의 방향을 변경하고, 제2 축을 따라 제1 기준점을 상기 꼭지점으로 이동시키게 된다.
제1 기준점이 모든 방향에서 보았을 때, 서브 카메라에 의한 화면에서도 모델링 대상의 일 꼭지점에 배치된 것으로 판단되면, 제1 기준점의 위치가 결정되며, 해당 좌표가 제1 기준점의 위도, 경도 및 고도가 된다.
다음으로, 3D 모델링 시스템은 제1 기준점으로부터 파생되는 제2 기준점을 생성한다. 여기서, '파생'이라는 용어는 제1 기준점의 고정에 따라 생성되며, 두 점이 가상의 선으로 연결되는 것을 가리킨다.
사용자는 제1 기준점으로부터 시작하여 오브젝트의 하나의 변을 따라, 그의 꼭지점상에 3D 공간 내 생성되는 제2 기준점을 배치할 수 있다. 이때, 제2 기준점의 제2 축은 메인 카메라를 향하도록 하여, 제2 축을 따라 제2 기준점을 이동시켜 모든 방향에서의 모델링 대상의 타 꼭지점에 배치되면, 해당 좌표가 제2 기준점의 위도, 경도 및 고도가 된다.
전술한 단계에 따르면, 제1 및 제2 기준점을 오브젝트의 하나의 변에 대응되게 된다.
이어서, 3D 모델링 시스템은 3D 공간내 제1 기준점과 동일 위치의 제3 기준점을 생성한다. 제3 기준점은 소정의 프레임의 일 꼭지점에 대응되며, 프레임은 사용자의 마우스 조작에 따라 그 사이즈가 조절 가능한 구조이다. 또한, 제3 기준점의 제2 축은 제2 기준점을 향하도록 고정될 수 있다. 이에 따라, 사용자는 프레임의 일 꼭지점이 제2 축과 만나도록 프레임의 사이즈를 조절함으로써 오브젝트의 영역을 확정할 수 있다.
3D 모델링 시스템은 프레임 사이즈의 조절이 완료되면, 해당 프레임에 해당하는 영역을 오브젝트로 설정하게 된다.
다음으로, 각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 각 가상 카메라가 오브젝트를 향한 각도에 따라 텍스처를 오브젝트에 투영하여 3D 모델을 생성하는 단계(S150)는 3D 모델링 시스템이 오브젝트를 향하는 각 가상 카메라에 연결된 이미지 데이터를 이용하여 오브젝트의 텍스처(texture)를 생성하는 단계이다. S150 단계에서는 3D 모델링 시스템이 각 가상 카메라에 연결된 이미지 중, 오브젝트에 대응하는 영역은 텍스처로서 추출하게 된다. 또한, 3D 모델링 시스템은 가상 카메라가 오브젝트를 향한 각도별 텍스처를 투영(mapping) 함으로써 3D 모델링을 생성하게 된다.
이때, 상기의 텍스처 추출단계에서 실제 오브젝트가 아닌 배경에 해당하는 주변영역이 부분이 남아 있을 수 있고, 3D 모델링 시스템은 텍스처의 투영시, 상기 주변영역 데이터를 제거할 수 있다.
또한, S150 단계에서 3D 모델 생성시, 모든 가상 카메라에 연결된 데이터 이미지를 이용하는 것이 아닌, 일부 이미지를 투영 단계에 이용되지 않을 수 있다 상세하게는, 복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라의 상기 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 의한 이미지 데이터 즉, 텍스처는 타 서브 카메라에 의한 텍스처와 중첩됨에 따라, 텍스처 투영 단계에서 제외될 수 있다.
또한, S150 단계에서, 복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 상기 오브젝트의 일면의 법선에 대응할 경우, 상기 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 의한 텍스처는 법선에 대응하는 서브 카메라의 텍스처와 일부영역이 중첩되고, 법선의 서브 카메라의 텍스처 만으로도 오브젝트로의 투영이 충분함에 따라, 텍스처의 투영시 제외될 수 있다.
전술한 바와 같이, 본 발명의 실시예에 따른 3D 모델링 방법에서는 사진측량 툴의 데이터에 기반하여 사용자가 3D 모델링을 수행할 수 있도록 한다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템이 제공하는 화면의 예시를 통해 본 발명의 기술적 사상을 설명한다.
도 3은 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템이 제공하는 GUI를 예시한 나타낸 도면이다.
도 3을 참조하면, 본 발명의 실시예에 따른 3D 모델링 시스템이 제공하는 GUI(300)는 가상 카메라 정렬 및 오브젝트 생성을 위한 다양한 기능을 제공할 수 있으며, 이중 일부를 설명하면 다음과 같다.
'Camera Background' 메뉴(301)는 각 가상 카메라 별 이미지 데이터를 정렬하는 기능을 제공할 수 있다.
'Track To view camera' 메뉴(302)는 기준점의 축이 메인 카메라에 고정되도록 하는 기능을 제공할 수 있다.
'Camera View' 메뉴(303)는 각 가상 카메라의 시점을 변경하는 기능을 제공할 수 있다.
'MagicObjects' 메뉴(304)는 메인 카메라에 기준을 두는 프레임을 생성하는 기능을 제공할 수 있다.
'Empty Seclect' 메뉴(305)는 오브젝트를 생성하기 위한 제1 내지 제3 기준점을 생성하는 기능을 제공할 수 있다.
'Camera Setting' 메뉴(306)는 임포트된 카메라 장치의 특성정보를 자동으로 반영하여 표시하는 기능을 제공할 수 있다. 전술한 임포팅 단계에서 사진측량 툴은 위치정보 및 이미지 데이터뿐만 아니라, 실제 카메라 장치의 특성정보를 더 제공할 수 있고, 이러한 특성정보는 이미지 왜곡제거 등에 환경값으로 활용되거나, 사용자가 각 카메라 장치의 특성을 판단하는 데 활용될 수 있다.
'Change camera sight' 메뉴(307)는 가상 카메라의 뷰 거리를 변경하는 기능을 제공할 수 있다.
'Link Image' 메뉴(308)는 오브젝트를 형성하는 각 면에 배경과의 구분을 용이하게 하도록 하기 위한 임의의 이미지를 생성하는 기능을 제공할 수 있다.
'Show & Hide' 메뉴(309)는 사용자 설정에 따라 가상 카메라, 오브젝트 등에 대한 보이기 및 숨기기 기능을 제공할 수 있다.
'Object Name' 메뉴(310)는 생성된 오브젝트에 대한 이름을 설정 또는 변경하는 기능을 제공할 수 있다.
'Remove Unlink Materials' 메뉴(311)는 3D 공간내 이용하지 않는 마테리얼(material), 일 예로서, 중복되는 텍스처 등을 삭제하는 기능을 제공할 수 있다.
'Change Image Filepath' 메뉴(312)는 선택된 오브젝트에 대한 텍스처와 같은 마테리얼의 이미지 데이터에 대한 파일의 경로를 변경하는 기능을 제공할 수 있다.
'Setting' 및 'UVmap Resize & Relocation' 메뉴(313)는 선택된 오브젝트의 옵션 설정을 변경하는 기능 및 마테리얼별로 3D 공간에 대한 작업창을 자동으로 분할하여 배치하는 기능을 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 가상 카메라 포인트를 모식화한 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 3D 모델링 시스템은 생성하고자 하는 3D 모델에 대응하는 오브젝트(obj)를 3D 공간 내 생성하는 데 있어서, 실제 모델링 대상이 되는 피사체에 대응하는 오브젝트(obj)를 촬영하는 복수의 가상 카메라{c1 ~ cn(n은 자연수)}를 설정하되, 각 가상 카메라(c1 ~ cn)가 배치되는 가상 카메라 포인트가 오브젝트(obj)를 둘러싸는 형태로 설정될 수 있다. 여기서, 각 가상 카메라(c1 ~ cn) 중, 어느 하나는 메인 카메라로 설정될 수 있고, 가상 카메라 포인트를 기준으로 하여 오브젝트(obj)의 위도 등을 결정하고, 텍스처를 투영하게 된다.
도 5a 내지 도 5c는 실시예에 따른 사진측량을 이용한 3D 모델링 시스템의 GUI를 예시한 도면이다.
먼저, 도 5a를 참조하면, 임포트 화면(W100)에서 사용자는 3D 모델링 시스템을 구동하여 3D 공간을 생성하고, 사진측량 툴에 의해 생성되는 데이터 파일, 일 예로서 'FBX' 포맷의 파일을 장치 내 폴더에서 선택하여 3D 공간에 임포트할 수 있다.
임포트에 따라, 데이터 파일에 포함된 좌표 데이터 및 이미지 데이터가 설정된다. 도 5b에 예시된 3D 공간 화면(W110)은 3D 공간 내에 설정된 카메라 장치를 형태를 표시하게 된다.
또한, 사용자는 생성된 3D 공간의 각 가상 카메라에 연결되는 이미지 데이터의 크기(px)를 입력할 수 있고, 도 5c는 본 발명의 3D 모델링 시스템이 제공하는 이미지 데이터 입력화면(W111)을 예시하고 있다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제1 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 6a 및 도 6b를 참조하면, 본 발명의 3D 모델링 시스템을 이용한 오브젝트 생성시 제1 기준점의 설정화면(W121 ~ W127)으로서, 각 화면은 서로 다른 가상 카메라에 의한 화면일 수 있다.
상세하게는, 제1 기준점(P1)의 최초 생성시 사용자는 제1 설정화면(W121)에서 예시된 바와 같이, 모델링 대상(tgt)의 일 꼭지점에 대응하도록 배치하고, 제2 축이 메인 카메라를 향하도록 그 방향을 조절한다. 이에 따라, 메인 카메라에 의한 제1 설정화면(W121)에서는 제1 기준점(P1)이 제2 축을 중심으로 표시되게 된다. 이때, 서브 카메라에 의한 화면인 제2 설정화면(W122) 및 제3 설정화면(W123)에서 제1 기준점(P1)이 모델링 대상(tgt)의 꼭지점에 일치하지 않는다는 것을 확인할 수 있다. 또한, 제4 설정화면(W124)에 의하면, 제1 기준점의 제2 축이 다수의 가상 카메라(cn) 중, 메인 카메라 방향을 향하도록 설정된 상태를 확인할 수 있다.
이에, 사용자는 제1 기준점(P1)을 제2 축을 따라 이동시켜 모델링 대상(tgt)의 꼭지점에 위치시키게 된다. 이러한 과정에서 제5 설정화면(W125)에 나타난 바와 같이, 메인 카메라에 의한 화면은 제1 기준점(P1)의 제2 축에 맞추어져 있음에 위치에 변동이 없으나, 서브 카메라에 의한 제6 설정화면(W126) 및 제7 설정화면(W127)에 나타난 바와 같이 제1 기준점(P1)이 제2 축을 따라 이동하여 모델링 대상(tgt)의 꼭지점에 일치됨으로써 제1 기준점(P1)의 위치를 정의하게 된다.
모든 설정화면에서 제1 기준점(P1)과 모델링 대상(tgt)의 꼭지점이 일치하면, 제1 기준점(P1)은 고정되고, 그 위치는 제1 기준점(P1)의 위도, 경도 및 고도가 된다. 제8 설정화면(W128)은 확정된 제1 기준점 및 가상 카메라(cn)의 상태를 나타내고 있다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제2 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 7a 및 도 7b를 참조하면, 본 발명의 3D 모델링 시스템을 이용한 오브젝트 생성시 제2 기준점의 설정화면(W121 ~ W127)을 예시하고 있다.
제1 기준점의 생성 이후, 사용자는 제2 기준점을 생성할 수 있고, 사용자는 제1 설정화면(W131)에서 예시된 바와 같이, 모델링 대상(tgt)에서 제1 기준점에 대응하는 꼭지점이 아닌, 그 꼭지점의 연결에 따라 하나의 변을 이루는 타 꼭지점에 대응하도록 제2 기준점(P2)을 배치할 수 있다. 여기서, 제2 기준점(P2)은 제1 기준점(P1)에서 파생됨에 따라, 하나의 직선을 이루게 되며, 제1 설정화면(W131)에서 타 꼭지점에 배치됨에 따라 모델링 대상(tgt)의 일 변에 대응하게 된다.
그리고, 사용자는 제2 기준점(P2)의 제2 축을 메인 카메라를 향하도록 방향을 조절한다. 이에 따라, 메인 카메라에 의한 제1 설정화면(W131)에서는 제2 기준점(P2)이 제2 축을 중심으로 표시된다. 또한, 서브 카메라에 의한 화면인 제2 설정화면(W132) 및 제3 설정화면(W133)에서 제2 기준점(P2)이 모델링 대상(tgt)의 꼭지점에 일치하지 않으며, 대상(tgt)의 변과도 일치하지 않는 것을 확인할 수 있다. 제4 설정화면(W124)은 제2 기준점의 제2 축이 현재 상태를 보여준다.
이에, 사용자는 제2 기준점(P2)을 제2 축을 따라 이동시켜 모델링 대상(tgt)의 타 꼭지점에 위치시키게 된다. 이에 따라, 제5 설정화면(W135)에서의 메인 카메라에 의한 화면은 변동이 없으나, 서브 카메라에 의한 제6 설정화면(W136) 및 제7 설정화면(W137)에 나타난 바와 같이 모델링 대상(tgt)의 타 꼭지점에 일치됨에 따라 제2 기준점(P2)의 위치를 정의하게 된다.
그리고, 제2 기준점(P2)이 타 꼭지점과 일치하면, 제2 기준점(P2)은 고정되고, 그 위치는 제2 기준점(P2)의 위도, 경도 및 고도가 된다. 제8 설정화면(W138)은 확정된 제2 기준점의 상태를 나타내고 있다.
다음으로, 사용자는 제3 기준점을 생성할 수 있다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 3D 모델링 시스템을 이용한 오브젝트 생성시 제3 기준점 생성과 관련된 화면들을 예시한 도면이다.
도 8a 및 도 8b에 나타난 바와 같이, 제1 내지 제3 설정화면(W141 ~ W143)에 나타난 바와 같이, 제3 기준점(P3)은 제1 및 제2 기준점(P1, P2)와는 달리, 오브젝트의 영역을 확정할 수 있도록 크기가 가변되는 다면체 형태의 프레임과 연결될 수 있고, 그 프레임의 어느 하나의 꼭지점에 대응될 수 있다.
또한, 제3 기준점(P3)의 제2 축은 제2 기준점(P2)을 향하도록 설정될 수 있고, 일반적으로 제3 기준점(P3)의 위치는 제1 기준점(P1)과 중첩될 수 있다. 따라서, 사용자가 제3 기준점(P3)을 제1 기준점(P1)의 위치에 대응되도록 이동하고, 그 위치를 고정한 후 프레임의 사이즈를 모델링 대상(tgt)의 외곽선에 맞추어 조절하여 3D 모델링을 수행할 수 있다. 제4 설정화면(W144)은 3D 공간내에서 제3 기준점(P3) 및 이와 연결된 사이즈 조절 전의 프레임(frm)을 예시하고 있다.
제5 내지 제7 설정화면(W145 ~ W147)은 제1 기준점(P1)상에 제3 기준점(P3)이 배치 및 고정되고, 제3 기준점(P3)의 제2 축이 제2 기준점(P2)을 향함에 따라, 모델링 대상(tgt)의 일 꼭지점이 제3 기준점(P3)에 대응하게 되고, 이후 사용자의 조작에 따라, 프레임(frm)이 모델링 대상(tgt)의 외관에 대응되도록 함으로써 오브젝트를 생성할 수 있다.
제8 설정화면(W148)은 3D 공간내에서 제3 기준점(P3)의 프레임(frm)에 의해 정의되는 오브젝트의 형상을 나타내고 있다.
도 9는 본 발명의 실시예에 따른 3D 모델링 시스템에 의해 생성된 오브젝트에 관련된 화면들을 예시한 도면이다.
도 9를 참조하면, 제1 내지 제3 설정화면(W151 ~ W153)은 제3 기준점(P3)과 연결된 프레임(frm)의 사이즈가 모델링 대상(tgt)의 외관에 일치하도록 조절됨에 따라, 해당 영역이 오브젝트로 설정되는 화면을 예시하고 있다. 여기서, 프레임(frm)이 모델링 대상(tgt)에 완벽히 일치하지 않을 수도 있고, 각 가상 카메라에서 바라보는 모델링 대상(tgt)을 바라볼 때, 그 형상이 일정 레벨이상으로 반영되는 수준에서 결정될 수 있다. 모든 방향에서 모델링 대상(tgt)에 프레임(frm)이 정렬되면, 그 프레임(frm)은 오브젝트(obj)로 정의되게 된다.
제4 설정화면(W154)은 3D 공간상에 배치되는 복수의 가상 카메라(cn)와 설정된 오브젝트(obj)의 형상을 나타내고 있다.
이후, 오브젝트의 표면의 색상, 질감 등을 표현하기 위한 이미지인 텍스처를 생성 및 투영하는 작업을 진행하게 된다. 이때, 텍스처는 각 가상 카메라에 연결된 이미지 데이터를 이용하게 되며, 각 가상 카메라의 방향에서 연결된 이미지 데이터에 대하여, 3D 모델 부분에 해당하는 영역을 추출하여 오브젝트를 향해 투영함으로써 모델링 작업 수행하게 된다.
이때, 각 텍스처에는 추출시 오브젝트에 해당하는 영역 이외도 일부 주변영역이 남아있는 경우가 존재할 수 있다.
도 10은 본 발명의 실시예에 따른 텍스처 투영 작업 화면을 예시한 것으로, 도 10을 참조하면, 텍스처 투영 작업에서 최초 매칭창(W161)에 의하면, 오브젝트에 해당하는 영역이외에도 그 영역에 연장되어 일부 주변영역이 포함되는 것을 확인할 수 있고, 사용자는 편집창(W162)에 나타난 바와 같이, 오브젝트 영역이 아닌 부분을 제거함으로써 3D 모델링을 완료하게 된다.
한편, 전술한 텍스처 투영작업에서 3D 공간 내 존재하는 모든 가상 카메라의 이미지 데이터를 텍스처로 이용하는 것이 아닌, 불필요하거나 중복되는 데이터는 제외할 수 있다.
도 11a 및 도 11b는 본 발명의 실시예에 따른 3D 모델링 시스템에서 텍스처 투영 작업에서 제외되는 이미지 데이터를 설명하기 위한 도면으로서, 도 11a을 참조하면, 본 발명에서 작업공간인 3D 공간에는 다수의 카메라가 설정될 수 있음에 따라, 오브젝트(obj)와 가상 카메라(c1 ~ c4)간 거리 및 가상 카메라(c1 ~ c4)의 격에 따라 따라, 중복되거나 불필요한 이미지 데이터가 발생할 수 있다.
상세하게는, 도 11a에서 제1 가상 카메라(c1) 및 제2 가상 카메라(c2)는 서로간 거리가 인접하여 각 카메라의 각도에서 촬영된 이미지 데이터는 오브젝트(obj)에 대하여 거의 유사한 형태를 가질 수 있다. 또한, 실제 텍스처 매핑작업에서 다각형의 오브젝트(obj)의 각면은 제1 가상 카메라(c1) 및 제4 갓ㅇ 카메라에 의해 그 전(全)면이 대응함에 따라, 제2 가상 카메라(c2) 및 제3 가상 카메라(c3)에 의한 이미지 데이터는 중복되거나, 불필요하게 된다.
따라서, 제1 가상 카메라(c1)를 기준으로 한다고 할 때, 본 발명의 3D 모델링 시스템에서 그 촬영범위에서 일정각도(θ1) 이내의 가상 카메라들(c2, c3)의 데이터 이미지는 텍스처 작업시 제외될 수 있다.
또한, 중복이미지를 제외하는 다른 기준으로서, 도 11b를 참조하면, 임의의 가상 카메라가 오브젝트(obj)의 일 면에 법선방향에 대응된다고 할 때, 그 법선에 대하여 일정각도(θ1) 이내에 포함되는 가상 카메라에 연결된 이미지 데이터는 전술한 이유로 텍스처 작업시 제외될 수 있다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
10 : 사진측량 툴 100 : 3D 모델링 시스템
110 : 임포트부 115 : 노이즈 제거부
120 : 이미지 연결부 130 : 카메라 처리부
140 : 인터페이스 제공부 150 : 오브젝트 생성부
160 : 텍스처 투영부

Claims (13)

  1. 사진측량 툴로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여, 3D 공간 내 복수의 가상 카메라의 위치를 설정하는 임포트부;
    상기 이미지 데이터의 왜곡을 제거하는 노이즈 제거부;
    원본 이미지 사이즈를 입력받아, 상기 가상 카메라의 위치에 대응하도록 상기 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 이미지 연결부;
    상기 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 가상 카메라 처리부;
    상기 메인 카메라를 중심으로 복수의 기준점을 설정하여 상기 3D 공간 상에 오브젝트를 생성하는 오브젝트 생성부; 및
    각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 상기 각 가상 카메라가 상기 오브젝트를 향한 각도에 따라 상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 텍스처 투영부를 포함하고,
    상기 오브젝트 생성부는, 상기 3D 공간 상에서 각각 제1 내지 제3 축을 갖는 제1 내지 제3 기준점을 생성하고,
    상기 제1 기준점은, 제2 축이 상기 메인 카메라를 향하도록 고정되고, 상기 오브젝트의 제1 꼭지점에 배치되고,
    상기 제2 기준점은, 상기 제1 기준점에서 파생되어 상기 제1 꼭지점과 일 직선상에 위치한 상기 오브젝트의 제2 꼭지점에 배치되되, 제2 축이 상기 메인 카메라를 향하도록 고정되고,
    상기 제3 기준점은,
    상기 오브젝트의 제1 꼭지점에 배치되되, 제2 축이 상기 제2 기준점을 향하도록 배치되고, 상기 오브젝트의 영역을 확정하는 프레임의 일 꼭지점에 대응하는 3D 모델링 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 오브젝트 생성부는,
    상기 제1 또는 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제1 또는 제2 기준점의 3D 공간 내 위도, 경도 및 고도를 산출하는 3D 모델링 시스템.
  4. 제 1 항에 있어서,
    상기 텍스처는 오브젝트에 대응하지 않는 주변영역 데이터를 포함하고,
    상기 텍스처 투영부는,
    상기 텍스처의 투영시, 상기 주변영역 데이터를 제거하는 3D 모델링 시스템.
  5. 제 1 항에 있어서,
    상기 텍스처 투영부는,
    복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라의 상기 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외하는 3D 모델링 시스템.
  6. 제 1 항에 있어서,
    상기 텍스처 투영부는,
    복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 상기 오브젝트의 일면의 법선에 대응할 경우, 상기 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외하는 3D 모델링 시스템.
  7. 3D 모델링 시스템에 의한 3D 모델링 방법으로서,
    사진측량 툴로부터 실측 카메라의 좌표 데이터 및 이미지 데이터를 로드하여 3D 공간 내 복수의 가상 카메라의 위치를 설정하는 단계;
    상기 이미지 데이터의 왜곡을 제거하는 단계;
    원본 이미지 사이즈를 입력받아, 상기 가상 카메라의 위치에 대응하도록 상기 이미지 데이터의 사이즈를 변환하고, 각 가상 카메라에 대응하는 이미지 데이터를 연결하는 단계;
    상기 복수의 가상 카메라 중, 어느 하나를 메인 카메라로 설정하며, 나머지를 서브 카메라로 설정하고, 선택되는 어느 하나의 가상 카메라 시점으로 화면을 이동시키는 단계;
    상기 메인 카메라를 중심으로 복수의 기준점을 설정하여 상기 3D 공간 상에 오브젝트를 생성하는 단계; 및
    각 가상 카메라에 연결된 이미지 데이터에 대응하는 텍스처를 생성하고, 상기 각 가상 카메라가 상기 오브젝트를 향한 각도에 따라 상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계를 포함하고,
    상기 3D 공간 상에 오브젝트를 생성하는 단계는,
    상기 3D 공간 상에서 제1 내지 제3 축을 갖는 제1 기준점을 생성하는 단계;
    상기 제1 기준점의 제2 축이 상기 메인 카메라를 향하도록 고정하고, 상기 제2 축에 따른 이동에 따라, 상기 제1 기준점을 상기 오브젝트의 제1 꼭지점에 배치하는 단계;
    상기 제1 기준점에서 파생되며, 상기 3D 공간 상에서 제1 내지 제3 축을 갖는 제2 기준점을 생성하는 단계;
    상기 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 고정하고, 제2 축에 따른 이동에 따라 꼭지점과 일 직선상에 위치한 상기 오브젝트의 제2 꼭지점에 상기 제2 기준점을 배치하는 단계;
    상기 3D 공간 상에서 제1 내지 제3 축을 가지며, 상기 오브젝트의 영역을 확정하는 프레임의 일 꼭지점에 대응하는 제3 기준점을 생성하는 단계; 및
    상기 프레임이 상기 오브젝트의 영역에 대응하도록 조절됨에 따라, 상기 오브젝트를 생성하는 단계
    를 포함하는 3D 모델링 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 제1 기준점을 상기 오브젝트의 제1 꼭지점에 배치하는 단계는,
    상기 제1 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제1 기준점의 3D 공간 내 위도, 경도 및 고도를 산출하는 단계
    를 포함하는 3D 모델링 방법.
  10. 제 7 항에 있어서,
    상기 제2 기준점을 상기 오브젝트의 제2 꼭지점에 배치하는 단계는,
    상기 제2 기준점의 제2 축이 상기 메인 카메라를 향하도록 배치되면, 하나 이상의 상기 서브 카메라와의 거리에 대응하여 상기 제2 기준점의 3D 공간 내 위도, 경도 및 고도를 산출하는 단계
    를 포함하는 3D 모델링 방법.
  11. 제 7 항에 있어서,
    상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는,
    상기 텍스처의 오브젝트의 좌표에 따라, 상기 텍스처에 포함된 오브젝트에 대응하지 않는 주변영역에 대한 데이터를 제거하는 3D 모델링 방법.
  12. 제 7 항에 있어서,
    상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는,
    복수의 서브 카메라 중, 이웃한 둘 이상의 서브 카메라가 상기 오브젝트를 향한 각도가 일정범위 이내 속하는 경우 해당 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외하는 3D 모델링 방법.
  13. 제 7 항에 있어서,
    상기 텍스처를 상기 오브젝트에 투영하여 3D 모델을 생성하는 단계는,
    복수의 서브 카메라 중, 어느 하나의 서브 카메라의 방향이 상기 오브젝트의 일면의 법선에 대응할 경우, 상기 법선을 중심으로 일정각도 내 포함되는 방향을 갖는 하나 이상의 서브 카메라에 대응하는 텍스처는 상기 텍스처의 투영시 제외하는 3D 모델링 방법.
KR1020180047235A 2018-04-24 2018-04-24 사진측량을 이용한 3d 모델링 시스템 및 방법 KR101875047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180047235A KR101875047B1 (ko) 2018-04-24 2018-04-24 사진측량을 이용한 3d 모델링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180047235A KR101875047B1 (ko) 2018-04-24 2018-04-24 사진측량을 이용한 3d 모델링 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101875047B1 true KR101875047B1 (ko) 2018-07-06

Family

ID=62921107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047235A KR101875047B1 (ko) 2018-04-24 2018-04-24 사진측량을 이용한 3d 모델링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101875047B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023671A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
WO2022103190A1 (ko) * 2020-11-13 2022-05-19 주식회사 예간아이티 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
WO2022119039A1 (ko) * 2020-12-04 2022-06-09 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
KR102561301B1 (ko) 2023-01-31 2023-07-28 주식회사 씨스텍 2d 이미지 주석 3d 모델 자동 전송 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115042A (ja) * 2001-10-05 2003-04-18 Minolta Co Ltd 3次元形状モデルの評価方法および生成方法並びに装置
US6731329B1 (en) * 1999-05-14 2004-05-04 Zsp Geodaetische Systeme Gmbh Method and an arrangement for determining the spatial coordinates of at least one object point
JP2004157968A (ja) * 2002-04-18 2004-06-03 Canon Europa Nv 3次元コンピュータモデリング
JP2010020487A (ja) * 2008-07-09 2010-01-28 Nippon Hoso Kyokai <Nhk> 任意視点映像生成装置及び任意視点映像生成プログラム
KR20100090405A (ko) * 2009-02-06 2010-08-16 팅크웨어(주) 높이 있는 구조물을 이용하여 유효한 관심지점을 선별 표시하는 방법 및 장치
KR20120065834A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 멀티 카메라 기반의 디지털 액터 생성 장치 및 그 방법
KR20170112228A (ko) * 2016-03-31 2017-10-12 박병재 사진측량기법을 이용한 촬영소스 생성방법, 이를 이용한 광고 제공 방법 및 광고 제공 시스템
WO2017203709A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 3次元モデル生成システム、3次元モデル生成方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731329B1 (en) * 1999-05-14 2004-05-04 Zsp Geodaetische Systeme Gmbh Method and an arrangement for determining the spatial coordinates of at least one object point
JP2003115042A (ja) * 2001-10-05 2003-04-18 Minolta Co Ltd 3次元形状モデルの評価方法および生成方法並びに装置
JP2004157968A (ja) * 2002-04-18 2004-06-03 Canon Europa Nv 3次元コンピュータモデリング
JP2010020487A (ja) * 2008-07-09 2010-01-28 Nippon Hoso Kyokai <Nhk> 任意視点映像生成装置及び任意視点映像生成プログラム
KR20100090405A (ko) * 2009-02-06 2010-08-16 팅크웨어(주) 높이 있는 구조물을 이용하여 유효한 관심지점을 선별 표시하는 방법 및 장치
KR20120065834A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 멀티 카메라 기반의 디지털 액터 생성 장치 및 그 방법
KR20170112228A (ko) * 2016-03-31 2017-10-12 박병재 사진측량기법을 이용한 촬영소스 생성방법, 이를 이용한 광고 제공 방법 및 광고 제공 시스템
WO2017203709A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 3次元モデル生成システム、3次元モデル生成方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023671A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
KR102413517B1 (ko) 2019-08-23 2022-06-28 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치
WO2022103190A1 (ko) * 2020-11-13 2022-05-19 주식회사 예간아이티 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
KR20220065301A (ko) * 2020-11-13 2022-05-20 주식회사 예간아이티 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
KR102551194B1 (ko) * 2020-11-13 2023-07-05 주식회사 예간 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
WO2022119039A1 (ko) * 2020-12-04 2022-06-09 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
KR102561301B1 (ko) 2023-01-31 2023-07-28 주식회사 씨스텍 2d 이미지 주석 3d 모델 자동 전송 시스템

Similar Documents

Publication Publication Date Title
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
US7965304B2 (en) Image processing method and image processing apparatus
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
US9001120B2 (en) Using photo collections for three dimensional modeling
KR101388133B1 (ko) 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
KR102197732B1 (ko) 실내공간의 3차원 지도 생성 방법 및 장치
US8487926B2 (en) Method and apparatus for generating 3D image using 2D photograph images
JP5093053B2 (ja) 電子カメラ
AU2016336030A1 (en) Volumetric depth video recording and playback
KR101989969B1 (ko) 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템
JP2000307949A (ja) 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
JP2008275341A (ja) 情報処理装置、情報処理方法
JP3104638B2 (ja) 3次元画像作成装置
JP4153761B2 (ja) 3次元モデル空間生成装置、3次元モデル空間生成方法、及び3次元モデル空間生成プログラム
JP7475022B2 (ja) 室内空間の3次元地図生成方法及び装置
KR20120078949A (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
US20240062345A1 (en) Method, apparatus, and computer-readable medium for foreground object deletion and inpainting
JP2002236909A (ja) 画像データ処理方法およびモデリング装置
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
JP7420815B2 (ja) 3d幾何抽出のために画像の複数から相補的画像を選択するシステムおよび方法
JP6348318B2 (ja) 画像処理装置、方法、および、プログラム
Hanusch A new texture mapping algorithm for photorealistic reconstruction of 3D objects
JP3309841B2 (ja) 合成動画像生成装置および合成動画像生成方法
KR101169590B1 (ko) 사용자 스케치를 통한 이동통신 단말기에서의 3차원 파노라마 공간 재구성 방법
JP6859763B2 (ja) プログラム、情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant