KR20200010824A - 적응적 삼차원 공간 생성방법 및 그 시스템 - Google Patents

적응적 삼차원 공간 생성방법 및 그 시스템 Download PDF

Info

Publication number
KR20200010824A
KR20200010824A KR1020180085371A KR20180085371A KR20200010824A KR 20200010824 A KR20200010824 A KR 20200010824A KR 1020180085371 A KR1020180085371 A KR 1020180085371A KR 20180085371 A KR20180085371 A KR 20180085371A KR 20200010824 A KR20200010824 A KR 20200010824A
Authority
KR
South Korea
Prior art keywords
space
type
images
adaptive
texturing
Prior art date
Application number
KR1020180085371A
Other languages
English (en)
Other versions
KR102126561B1 (ko
Inventor
김규현
Original Assignee
주식회사 쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리아이 filed Critical 주식회사 쓰리아이
Priority to KR1020180085371A priority Critical patent/KR102126561B1/ko
Priority to JP2019133031A priority patent/JP6851089B2/ja
Priority to US16/518,580 priority patent/US10891761B2/en
Publication of KR20200010824A publication Critical patent/KR20200010824A/ko
Application granted granted Critical
Publication of KR102126561B1 publication Critical patent/KR102126561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

적응적 삼차원 공간 생성시스템 및 그 방법이 개시된다.
상기 적응적 삼차원 공간 생성방법은 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들에 기초하여, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하는 단계, 상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택 영상을 상기 영상들 중에서 적응적으로 선택하는 단계, 및 상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 단계를 포함한다.

Description

적응적 삼차원 공간 생성방법 및 그 시스템{Method and system for adaptive 3D space generating}
본 발명은 공간 내부에서 촬영한 영상을 이용하여 공간의 3차원 모델링 정보를 생성하는 방법 및 그 시스템에 관한 것이다.
소정의 공간 내부에서 촬영한 영상(예컨대, 360도 영상)을 이용하여 3차원 공간으로 모델링하기 위한 개념이 개시된 바 있다.
이러한 기술적 사상은 본 출원인이 출원한 한국특허출원(출원번호 10-2016-0126242호, "매물에 관한 3차원 모델링 영상제공 서버 및 3차원 모델링 영상 제공 서버의 매물 영상에 대한 3차원 모델링 방법, 이하 '이전출원')에도 개시된 바 있다.
이전출원에서는 공간내에서 촬영된 영상(예컨대, 360도 영상)을 이용하여 바닥면을 생성하고 이로부터 상기 공간의 3차원 모델링 정보를 생성하는 기술적 사상을 개시하고 있다.
하지만 생성된 3차원 공간의 텍스쳐링(texturing)을 효율적으로 수행할 수 있는 개념은 제시하고 있지 못하다.
특히 공간이 복잡한 경우 어느 하나의 촬영된 영상만으로부터 얻게 되는 이미지 정보(예컨대, 벽면 및/또는 바닥면에 해당하는 영상정보)를 이용하여 텍스쳐링을 수행할 경우, 부자연스럽거나 공간이 왜곡되어 표시되는 현상이 발생할 수 있다.
따라서 본 발명이 이루고자 하는 기술적인 과제는 공간의 복잡도에 따라 적응적으로 삼차원 공간의 텍스처링을 달리 수행할 수 있는 방법 및 그 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 적응적 삼차원 공간 생성방법은 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들에 기초하여, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하는 단계, 상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택 영상을 상기 영상들 중에서 적응적으로 선택하는 단계, 및 상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 단계를 포함한다.
상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하는 단계는 상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부에 따라 상기 공간을 상기 제1타입 또는 상기 제2타입으로 판단하는 단계를 포함할 수 있다.
상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는, 상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제1타입이라고 판단한 경우, 상기 영상들 중에서 상기 제4기준을 만족하는 위치에 해당하는 어느 하나의 영상을 선택영상으로 선택하는 단계를 포함할 수 있다.
상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택 영상에 기초하여 상기 공간을 텍스쳐링하는 단계는, 상기 선택영상에 포함된 상기 공간의 벽들 각각에 상응하는 이미지 정보를 이용하여 상기 공간을 텍스쳐링하는 단계를 포함할 수 있다.
상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는, 상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제2타입이라고 판단한 경우, 상기 영상들 중에서 복수 개를 상기 선택영상으로 선택하는 것을 특징으로 하며, 상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 단계는 상기 공간의 벽들 중 적어도 일부를 서로 다른 선택영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하는 것을 특징으로 할 수 있다.
상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는, 상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 벽들 각각 간의 거리 또는 각도 중 적어도 하나에 기초하여 상기 벽들 각각을 텍스처링할 선택영상을 적어도 하나 선택하는 것을 특징으로 할 수 있다.
상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 벽들 각각 간의 거리 또는 각도 중 적어도 하나에 기초하여 상기 벽들 각각을 텍스처링할 선택영상을 선택하는 단계는, 상기 벽들 중 특정 벽에 대해 상기 위치들 각각이 가지는 거리가 가까울수록, 상기 특정 벽에 대해 상기 위치들 각각이 형성하는 각도가 작을수록 높은 가중치를 부여하여 부여된 가중치가 소정의 기준을 만족하는 적어도 하나의 영상을 상기 특정 벽을 텍스처링할 선택영상으로 선택하는 단계를 포함할 수 있다.
상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는, 상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 바닥을 구성하는 단위 영역들 간의 거리에 기초하여 상기 바닥을 텍스처링할 선택영상을 선택하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 다른 실시 예에 의하면, 적응적 삼차원 공간 생성방법은 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받는 단계, 입력받은 상기 복수의 영상들에 기초하여 상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부를 판단하는 단계, 및 판단 결과에 따라 적응적으로 상기 공간을 텍스쳐링 하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 다른 실시 예에 의하면, 적응적 삼차원 공간 생성방법은 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받는 단계, 상기 적응적 삼차원 공간 생성시스템이 상기 공간의 벽들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하거나, 상기 공간의 바닥에 해당하는 픽셀들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출된 이미지 정보에 기초하여 텍스처링하는 단계를 포함한다.
상기 적응적 삼차원 공간 생성방법은 기록매체에 저장된 컴퓨터 프로그램에 의해 구현될 수 있다.
상기 기술적 과제를 해결하기 위한 일 실시 예에 의하면, 상기 적응적 삼차원 공간 생성시스템은 프로세서, 상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며, 상기 프로그램은 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들에 기초하여, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하고, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택 영상을 상기 영상들 중에서 적응적으로 선택하며, 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링한다.
상기 기술적 과제를 해결하기 위한 다른 실시 예에 의하면, 상기 적응적 삼차원 공간 생성시스템은 프로세서, 상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며, 상기 프로그램은 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받고, 입력받은 상기 복수의 영상들에 기초하여 상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부를 판단하며, 판단 결과에 따라 적응적으로 상기 공간을 텍스쳐링 한다.
상기 기술적 과제를 해결하기 위한 또 다른 실시 예에 의하면, 상기 적응적 삼차원 공간 생성시스템은 프로세서, 상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며, 상기 프로그램은 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받고, 상기 공간의 벽들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하거나, 상기 공간의 바닥에 해당하는 픽셀들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출된 이미지 정보에 기초하여 텍스처링한다.
본 발명에 의하면 공간의 복잡도에 따라 적응적으로 텍스처링을 수행함으로써 자연스러운 공간 모델링이 가능한 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 적응적 삼차원 공간 생성시스템의 개략적인 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 적응적 삼차원 공간 생성방법의 개략적인 플로우 차트를 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 공간의 타입을 설명하기 위한 도면이다.
도 4 내지 도 5는 본 발명의 실시 예에 따라 공간의 타입을 분류하는 기준을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따라 공간의 텍스처링을 수행하는 방법을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 다른 실시 예에 따라 공간의 텍스처링을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 바닥면의 텍스처링을 수행하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 텍스처링 결과를 예시적으로 나타내는 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 적응적 삼차원 공간 생성시스템의 개략적인 구성을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 적응적 삼차원 공간 생성방법을 구현하기 위해서는 적응적 삼차원 공간 생성시스템(100)이 구비된다.
상기 적응적 삼차원 공간 생성시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장되는 메모리(120), 및 상기 메모리(120)에 저장된 프로그램을 실행하기 위한 프로세서(110)가 구비될 수 있다.
상기 프로세서(110)는 상기 적응적 삼차원 공간 생성시스템(100)의 구현 예에 따라, CPU, 모바일 프로세서 등 다양한 명칭으로 명명될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 메모리(120)는 상기 프로그램이 저장되며, 상기 프로그램을 구동시키기 위해 상기 프로세서가 접근할 수 있는 어떠한 형태의 저장장치로 구현되어도 무방하다. 또한 하드웨어적 구현 예에 따라 상기 메모리(120)는 어느 하나의 저장장치가 아니라 복수의 저장장치로 구현될 수도 있다. 또한 상기 메모리(120)는 주기억장치 뿐만 아니라, 임시기억장치를 포함할 수도 있다. 또한 휘발성 메모리 또는 비휘발성 메모리로 구현될 수도 있으며, 상기 프로그램이 저장되고 상기 프로세서에 의해 구동될 수 있도록 구현되는 모든 형태의 정보저장 수단을 포함하는 의미로 정의될 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)은 실시 예에 따라 웹 서버, 컴퓨터, 모바일 폰, 태블릿, TV, 셋탑박스 등 다양한 방식으로 구현될 수 있으며, 본 명세서에서 정의되는 기능을 수행할 수 있는 어떠한 형태의 데이터 프로세싱 장치도 포함하는 의미로 정의될 수 있다.
또한 상기 적응적 삼차원 공간 생성시스템(100)의 실시 예에 따라 다양한 주변장치들(주변장치 1 내지 주변장치 N)이 더 구비될 수 있다. 예컨대, 키보드, 모니터, 그래픽 카드, 통신장치 등이 주변장치로써 상기 적응적 삼차원 공간 생성시스템(100)에 더 포함될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 기술적 사상에 따른 적응적 삼차원 공간 생성시스템(100)은 공간의 타입에 따라 적응적으로 텍스처링(texturing)을 수행할 수 있다. 텍스처링이라 함은 공간의 표면을 표시하는 일련의 과정을 의미할 수 있다.
예컨대, 소정의 기준에 따라 구조적으로 단순한 공간 타입으로 분류된 공간의 경우에는 어느 하나의 위치에서 촬영된 영상(예컨대 360도 영상)을 이용하여 텍스처링을 수행하더라도 상대적으로 자연스러운 공간의 표현이 가능할 수 있다. 하지만 상기 기준에 따라 복잡한 공간 타입으로 분류된 공간의 경우는 어느 하나의 위치에서 촬영된 영상만으로는 공간을 전체적으로 텍스처링하는 것이 불가능하거나 또는 가능하다고 하더라도 부자연스러운 텍스처링이 되거나 공간이 왜곡되어 표시될 수 있는 문제점이 있다.
이러한 문제점을 해결하기 위해 본 발명의 기술적 사상에 따른 상기 적응적 삼차원 공간 생성시스템(100)은 공간을 소정의 기준에 따라 서로 다른 타입으로 분류하고, 분류된 타입에 따라 적응적으로 공간 내부를 텍스처링하는 기술적 사상을 제공한다.
이러한 기술적 사상에 대해서는 이하 상세히 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 적응적 삼차원 공간 생성방법의 개략적인 플로우 차트를 나타내는 도면이다.
도 2를 참조하면, 본 발명의 기술적 사상에 따른 적응적 삼차원 공간 생성방법을 구현하기 위해 상기 적응적 삼차원 공간 생성시스템(100)은 소정의 공간 내부에서 촬영된 복수의 촬영 영상들을 특정할 수 있다(S100). 이를 위해 상기 적응적 삼차원 공간 생성시스템(100)은 상기 촬영 영상들을 사용자로부터 또는 네트워크를 통해 입력받을 수 있다. 상기 촬영영상들 각각은 공간 내부에서 소정의 위치에서 촬영된 것일 수 있다. 상기 적응적 삼차원 공간 생성시스템(100)이 상기 촬영영상들을 특정한다고 함은, 촬영영상들 자체뿐만 아니라 촬영영상들 각각이 촬영된 위치 및/또는 방향을 인식함 또는 획득함을 의미할 수 있다.
각각의 촬영 영상들은 예컨대, 360도 영상일 수 있다. 따라서 이론적으로 하나의 촬영영상만으로도 공간 내부의 모든 벽면이 나타난다면 공간 내부 전체를 텍스처링할 수도 있다.
하지만 본 발명의 기술적 사상에 의하면, 공간의 구조적 특성에 따라 어느 하나의 촬영영상만으로는 공간내부를 텍스처링하는 경우 부자연스러운 텍스처링 또는 공간이 왜곡되어 표시되는 등의 문제점을 해결하기 위해 공간을 소정의 기준으로 분류할 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)은 공간을 제1타입 및 제2타입으로 분류할 수 있다(S110). 상기 제1타입은 상대적으로 공간의 구조가 심플(simple)한 타입을 의미할 수 있고, 상기 제2타입은 상대적으로 공간의 구조가 복잡한 타입을 의미할 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)은 공간의 구조가 제1타입으로 분류되는 경우, 상기 공간의 내부를 텍스처링하기 위해 복수의 촬영영상들 중에서 선택된 어느 하나의 촬영영상 즉 선택영상을 이용하여 공간의 내부를 텍스처링할 수 있다. 일 예에 의하면, 상기 적응적 삼차원 공간 생성시스템(100)은 공간의 구조가 제1타입으로 분류되면, 공간의 내부의 벽면들 및 바닥면 모두를 상기 선택영상을 이용하여 텍스처링할 수도 있다. 다른 실시 예에 의하면, 벽면들은 하나의 선택영상을 이용하여 텍스처링하고, 바닥면은 복수의 촬영영상들을 이용하여 텍스처링할 수도 있다.
한편, 상기 적응적 삼차원 공간 생성시스템(100)이 상기 공간이 제2타입이라고 판단한 경우에는 복수의 촬영영상들 즉, 복수의 선택영상들을 이용하여 공간 내부를 텍스처링할 수 있다.
이를 위해 상기 적응적 삼차원 공간 생성시스템(100)은 각각의 벽면을 텍스처링하기 위한 선택영상을 결정할 수 있다(S130). 즉, 벽면 각각에 대해 해당 벽면을 명확하고 왜곡이 상대적으로 없거나 덜하게 표현할 수 있는 촬영영상을 선택영상으로써 결정할 수 있다. 그리고 선택영상으로부터 해당 벽면을 텍스처링하기 위한 이미지 정보(예컨대, 360도 영상 중에서 해당 벽면이 표시된 영역)를 추출하고, 이를 이용하여 해당 벽면을 텍스처링 할 수 있다(S150). 물론 해당 벽면에 상응하는 이미지 정보는 360도 영상에서는 스피어(sphere)에 부착되기 위해 보정된 것일 수 있으므로, 이를 다시 평평한 평면으로 재보정하는 이미지 처리과정이 더 수행될 수 있음은 물론이다.
또한 상기 적응적 삼차원 공간 생성시스템(100)은 바닥면 역시 바닥 픽셀별로 선택영상을 결정할 수 있다(S140). 그리고 결정된 선택영상으로부터 해당 픽셀에 해당하는 이미지 정보(예컨대, 360도 영상에서 해당 픽셀에 대응되는 픽셀)를 추출하고 이를 이용해 바닥면을 텍스처링할 수 있다(S150). 물론 이러한 방식의 바닥면의 텍스처링은 제1타입에서도 수행될 수도 있다.
상기 적응적 삼차원 공간 생성시스템(100)이 공간을 제1타입 또는 제2타입으로 분류하기 위해서는 상기 공간의 평면 즉, 바닥면의 구조적 특징을 이용할 수 있다. 그리고 360도 영상으로부터 바닥면을 모델링하기 위한 기술적 사상은 이전출원에 상세히 개시한 바 있으므로 본 명세서에서는 상세한 설명은 생략하도록 한다.
상기 적응적 삼차원 공간 생성시스템(100)이 공간을 제1타입 또는 제2타입으로 분류하는 기준은 복수 개일 수 있다.
도 3은 본 발명의 실시 예에 따른 공간의 타입을 설명하기 위한 도면이다.
또한 도 4 내지 도 5는 본 발명의 실시 예에 따라 공간의 타입을 분류하는 기준을 설명하기 위한 도면이다.
우선 도 3을 참조하면, 공간은 도 3의 좌측에 도시된 바와 같이 상대적으로 심플한 공간으로 분류될 수도 있고, 우측에 도시된 바와 같이 상대적으로 복잡한 공간으로 분류될 수도 있다.
본 발명의 일 실시 예에 의하면, 각각의 공간들은 상대적으로 심플한 공간이 제1타입 및 상대적으로 제2타입으로 분류되는 경우를 일 예로 설명하지만 구현 예에 따라 3개 이상의 타입으로 공간이 분류될 수도 있고, 분류된 공간의 타입별로 서로 다른 텍스처링 방식이 정의될 수도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상술한 바와 같이 공간을 복수의 타입으로 분류하는 이유는 공간의 타입에 따라 적응적으로 텍스처링을 수행함으로써 자연스러운 텍스처를 표현할 수 있기 위함이다.
본 발명의 기술적 사상에 의하면, 공간의 타입을 분류하기 위한 기준은 복수개일 수 있다.
제1기준은 공간에 포함된 코너의 개수가 미리 정해진 기준 개수 이하인 조건일 수 있다. 일 예에 의하면 상기 미리 정해진 기준 개수는 8개이하일 수 있지만 실시 예에 따라 다른 기준 개수가 적용될 수 있음은 물론이다. 본 발명의 일 실시 예에 따르면 상기 적응적 삼차원 공간 생성시스템(100)은 공간의 내부에서 촬영된 촬영영상들 중 적어도 하나를 사용자가 이용하는 데이터 프로세싱 장치(예컨대, 컴퓨터 등)에 디스플레이하고, 디스플레이된 공간에서 각각의 코너를 사용자가 직접 마킹하도록 함으로써 코너의 위치 및/또는 개수를 특정할 수 있다. 물론, 다른 실시 예에 의하면 소정의 자동화된 알고리즘을 통해 코너의 위치 및/또는 개수를 특정할 수도 있다.
예컨대, 도 3에서 좌측에 도시되며 제1타입으로 분류되는 공간들은 각각, 좌측상단으로부터 오른쪽 순서대로, 코너가 4개, 5개, 4개, 6개, 6개일 수 있다. 그리고 도 3에서 우측에 도시되며 제2타입으로 분류되는 공간들은 각각 , 좌측상단으로부터 오른쪽 순서대로, 코너가 6개, 12개, 8개, 8개, 10 개일 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)은 상기 제1기준이 만족하는 공간을 제1타입으로 분류할 수 있다. 물론, 후술할 다른 기준과 더불어 공간 타입을 분류할 수도 있음은 물론이다.
제2기준은 촬영된 영상들 각각에 상응하는 위치들(즉, 카메라 위치) 각각으로부터 모든 벽들까지의 거리가 미리 정해진 기준 거리 이하인 위치가 존재하는 기준일 수 있다. 이때 위치들로부터 벽까지의 거리는 벽의 중심으로부터의 거리일 수 있다. 이처럼 카메라 위치로부터 벽까지의 거리가 공간 타입을 분류하는 기준으로 포함됨으로써, 공간 자체는 상대적으로 간단한 구조를 가진다고 하더라도 카메라 위치로부터 거리가 먼 특정 벽이 존재하는 경우에 해당 카메라 위치에서 촬영된 상기 특정 벽의 영상과 상대적으로 거리가 가까운 벽의 영상을 같이 텍스처링에 사용하는 경우는 공간이 왜곡되는 것처럼 표현되거나 부자연스러운 텍스처링이 일어날 수 있기 때문이다.
제3기준은 공간의 면적이 미니멈 바운딩 박스의 면적대비 미리 정해진 기준비율이상일 조건일 수 있다. 상기 기준 비율은 예컨대, 80%일 수 있지만 실시 예에 따라 다른 기준 비율이 적용될 수 있음은 물론이다.
이러한 기준은 공간이 상대적으로 간단한 구조 예컨대, 사각형, 원, 사다리꼴의 형태에 가까운지 여부를 판단하는 기준 중 하나일 수 있다. 예컨대, 도 4에 도시된 공간(음영부분)의 미니멈 바운딩 박스는 점선과 같을 수 있다. 그리고 상기 공간의 면적은 미니멈 바운딩 박스의 면적 대비 기준 비율 이하일 수 있다.
이러한 제3기준에 따라 도 3에 도시된 공간을 판단하면, 좌측에 도시된 공간은 모두 제3기준을 만족하는 공간이며, 우측에 도시된 공간은 몇 몇 공간(예컨대, 상단 2번째 및 3번째)만 제3기준을 만족하는 공간일 수 있다.
제4기준은 촬영영상들 각각에 상응하는 위치 즉, 카메라 위치들 중 모든 벽이 보이는 위치가 적어도 하나 존재하는 기준일 수 있다. 이러한 제4기준을 만족하는지 여부를 판단하기 위해 상기 적응적 삼차원 공간 생성시스템(100)은 각각의 카메라 위치와 벽의 중심으로부터의 법선이 이루는 각도를 이용할 수 있다. 예컨대, 도 5에서 좌측에 도시된 경우는 카메라 위치와 특정 벽의 중심에서의 법선이 이루는 각도가 소정의 기준 각도(예컨대, 88도 등)이하일 수 있다. 하지만 우측에 도시된 경우는 카메라 위치와 특정 벽의 중심에서의 법선이 이루는 각도가 소정의 기준 각도 이상일 수 있다. 상기 기준 각도는 90도 이하로 선정될 수 있으며, 실시 예에 따라 다양하게 설정될 수 있다.
본 발명의 기술적 사상에 따르면 상술한 제1기준, 제2기준, 제3기준, 및 제4기준을 모두 만족하는 경우에 상기 적응적 삼차원 공간 생성시스템(100)은 공간을 제1타입으로 분류하고 그렇지 않은 경우에는 제2타입으로 분류할 수도 있다. 물론 실시 예에 따라서는 이들 기준 중 일부만 만족하더라도 제1타입으로 분류할 수 있으며, 적어도 상기 기준들 중 두 개 이상의 기준을 만족하면 제1타입으로 그렇지 않으면 제2타입으로 분류할 수 있다.
그러면, 일 실시 예에 따라 상기 적응적 삼차원 공간 생성시스템(100)은 제1타입으로 분류된 공간은 어느 하나의 위치에서 촬영된 영상으로부터 상기 공간의 벽면 및 바닥을 텍스처링할 수 있다. 또한 제2타입으로 분류된 공간은 복수의 위치에서 촬영된 영상들로부터 상기 공간의 벽면 및 바닥을 텍스처링할 수 있다. 즉, 제1타입의 공간에서는 텍스처링의 소스가 1개의 영상인 경우에도 충분히 자연스러운 텍스처링이 이루어질 수 있는 반면, 제2타입의 공간에서는 텍스처링의 소스가 복수개라야만 자연스러운 텍스처링이 이루어질 수 있음을 의미할 수 있다.
일 예에 의하면, 제1타입의 공간에서의 텍스처링의 소스 즉, 선택영상을 결정하기 위해 상기 적응적 삼차원 공간 생성시스템(100)은 촬영영상들 각각에 상응하는 위치 즉, 카메라 위치가 공간의 중심에서 가장 가까운 것부터 차례대로 해당 위치에서 모든 벽이 보이는지 여부를 확인할 수 있다. 모든 벽이 보이는지 여부를 판단하기 위해서는 도 5를 통해 상술한 방식이 이용될 수 있음은 물론이다. 그리고 모든 벽이 보이면서 공간의 중심에서 가장 가까운 위치의 촬영영상을 선택영상으로 결정할 수 있다.
예컨대, 도 6은 본 발명의 실시 예에 따라 공간의 텍스처링을 수행하는 방법을 설명하기 위한 도면인데, 도 6은 제1카메라 위치(10)와 제2카메라 위치(11)가 존재하고 제2카메라 위치(11)가 공간의 중심에서 제1카메라 위치(10)가 더 가까운 경우를 예시적으로 도시하고 있다.
이러한 경우 상기 적응적 삼차원 공간 생성시스템(100)은 공간의 중심에서 가까운 순서대로 카메라 위치에서 모든 벽이 보이는지를 판단할 수 있다. 예컨대, 먼저 제2카메라 위치(11)에서 모든 벽이 보이는지를 판단할 수 있다. 제2카메라 위치(11)에서는 도 6에 도시된 바와 같이 보이지 않는 벽이 존재하므로, 상기 적응적 삼차원 공간 생성시스템(100)은 공간의 중심에서 그 다음으로 가까운 위치인 제1카메라 위치(10)에서 모든 벽이 보이는지를 판단할 수 있다. 제1카메라 위치(10)에서는 모든 벽이 보이므로 제1카메라 위치(10)에 상응하는 촬영영상을 선택영상으로 결정할 수 있다. 그러면 상기 적응적 삼차원 공간 생성시스템(100)은 상기 선택영상으로부터 각각의 벽면들 및 바닥면을 텍스처링할 수 있다. 물론 실시 예에 따라서는 바닥면은 후술할 바와 같이 복수의 선택영상으로부터 텍스처링을 수행할 수도 있다.
한편, 상기 적응적 삼차원 공간 생성시스템(100)은 공간이 제2타입으로 분류되는 경우, 상기 적응적 삼차원 공간 생성시스템(100)은 각각의 벽면마다 텍스처링 소스를 복수의 촬영영상들 중에서 결정할 수 있다.
또한 상기 적응적 삼차원 공간 생성시스템(100)은 바닥면을 소정의 단위영역들로 구분하고, 단위 영역들별로 텍스처링 소스를 복수의 촬영영상들 중에서 결정할 수 있다. 일 예에서 상기 단위 영역은 바닥면의 픽셀일 수 있지만 이에 국한되지는 않으며, 바닥면이 소정의 방식으로 분할되고 분할된 단위 영역별로 텍스처링 소스가 결정될 수 있음은 물론이다.
이러한 일 예는 이러한 일 예는 도 7 내지 도 9는를 참조하여 설명하도록 한다.
도 7 내지 도 9는 본 발명의 다른 실시 예에 따라 공간의 텍스처링을 수행하는 방법을 설명하기 위한 도면이다.
우선 도 7을 참조하면, 각각의 벽면들에 상응하는 선택영상을 결정하기 위해 소정의 스코어링 방식이 이용될 수 있다. 상기 적응적 삼차원 공간 생성시스템(100)은 각각의 벽들별로 촬영영상들 각각에 상응하는 위치(예컨대, cam1(camera 1)의 카메라 위치, cam2의 카메라 위치, 및 cam3의 카메라 위치)와의 거리 및/또는 각도에 기초하여 해당 벽들 각각의 텍스처링 소스를 결정할 수 있다.
따라서 각각의 벽들별로 텍스처링하는 이미지 소스, 즉 해당 벽들을 표시하기 위해 참조하는 촬영영상은 서로 다를 수 있다.
일 예에 의하면, 특정 벽의 이미지 소스 즉, 특정 벽(예컨대, wall 1)에 상응하는 선택영상(예컨대, cam1에 상응하는 촬영영상)을 결정하기 위해, 상기 적응적 삼차원 공간 생성시스템(100)은 상기 특정 벽(예컨대, wall 1)과 상기 선택영상(예컨대, cam1에 상응하는 촬영영상)에 상응하는 카메라 위치(예컨대, P1) 간의 거리를 연산할 수 있다. 거리는 전술한 바와 같이 특정 벽(예컨대, wall 1)의 중심과 상기 카메라 위치(P1)간의 거리일 수 있다. 또한 각도는 전술한 바와 같이 특정 벽(예컨대, wall 1)의 중심으로부터의 법선과 상기 카메라 위치(P1)가 이루는 각도일 수 있다.
상기 특정 벽(예컨대, wall 1)의 이미지 소스는 상기 특정 벽(예컨대, wall 1)을 가까이서 촬영한 것일수록, 그리고 상대적으로 정면을 바라보고 있는 것일수록 명확하고 자연스러운 텍스처링이 가능할 수 있다.
따라서 상기 적응적 삼차원 공간 생성시스템(100)은 미리 정해진 가중치(스코어링 기준)을 적용하여 가급적 특정 벽(예컨대, wall 1)으로부터 카메라 위치가 가깝고 정면으로 촬영한 촬영영상을 상기 특정 벽(예컨대, wall 1)의 이미지 소스 즉 선택영상으로 결정하는 것이 바람직할 수 있다.
예컨대, 상기 적응적 삼차원 공간 생성시스템(100)은 도 8에 도시된 바와 같이 특정 벽(예컨대, wall 1)과 카메라 위치들 각각이 이루는 각도에 따라 서로 다른 각도 가중치를 부여할 수 있다. 예컨대, 도 8에 도시된 바와 같이 특정 벽(예컨대, wall 1)과 카메라 위치의 각도가 88도를 초과하는 경우는 각도 가중치가 0, 80도에서 88도 사이인 경우는 각도 가중치가 1, 70도에서 80도 사이인 경우는 각도 가중치가 3, 70도 미만인 경우는 각도 가중치를 6으로 부여할 수 있다.
또한 각도가 소정의 각도 미만이라도 소정의 위치에서는 특정 벽이 보이지 않을 수 있으므로 각 카메라의 위치가 특정 벽(예컨대, wall 1)을 보지 못하는 위치에 존재하는 경우, 예컨대 특정 벽(예컨대, wall 1)과 카메라 위치 사이에 다른 벽면이 존재하는 경우, 낮은 각도 가중치 또는 0을 부여할 수 있다. 즉, 해당 카메라 위치에 상응하는 촬영영상은 상기 특정 벽(예컨대, wall 1)의 선택영상으로 선택되지 않도록 할 수 있다.
또한 각각의 별들과 카메라 위치들 간의 거리가 가까운 순서에 따라 거리에 따른 거리 가중치를 부여할 수 있다. 예컨대, 가장 가까운 카메라 위치에 대해서는 4, 그 다음 가까운 카메라 위치에 대해서는 2의 거리 가중치를 부여할 수 있다.
이러한 방식으로 연산된 각도 가중치 및/또는 거리 가중치에 기초하여, 특정 벽(예컨대, wall 1)에 대한 각각의 카메라 위치의 통합 가중치(스코어)를 연산할 수 있다. 예컨대, 상기 적응적 삼차원 공간 생성시스템(100)은 거리 가중치 및 각도 가중치의 곱셈을 통해 통합 가중치를 연산할 수 있다.
그러면 상기 적응적 삼차원 공간 생성시스템(100)은 통합 가중치가 가장 높은 어느 하나의 촬영영상을 해당 벽에 상응하는 이미지 소스로 결정할 수 있다. 다른 실시 예에 의하면, 통합 가중치가 일정 기준 값(예컨대, 통합 가중치의 평균 값) 이상인 복수의 촬영 영상을 해당 벽의 이미지 소스로 결정할 수도 있다.
복수의 촬영영상을 특정 벽의 이미지 소스로 선택하는 경우에는, 상기 적응적 삼차원 공간 생성시스템(100)은 선택된 촬영영상들로부터 각각 상기 특정 벽에 해당하는 영역을 추출하고(필요시 소정의 평면으로 이미지를 보정하는 이미지 프로세싱을 수행한 후), 추출된 영영들 즉, 이미지 정보를 블렌딩(blending)한 결과를 상기 특정 벽의 텍스처로 이용할 수 있다.
이러한 일 예는 도 9에 도시된다.
도 9에 도시된 바와 같이 상기 적응적 삼차원 공간 생성시스템(100)은 특정 벽에 대해 복수의 촬영영상이 텍스처링할 이미지 소스 즉 선택영상으로 결정된 경우에 상기 특정 벽의 텍스처링 결과를 나타낸다.
상기 적응적 삼차원 공간 생성시스템(100)은 어느 하나의 제1선택영상으로부터 상기 특정 벽에 해당하는 제1이미지 정보(상단 좌측)를 추출하고, 다른 제2선택영상으로부터 상기 특정 벽에 해당하는 제2이미지 정보(상단 우측)을 추출할 수 잇다. 그러면 상기 적응적 삼차원 공간 생성시스템(100)은 상기 제1이미지 정보와 제2이미지 정보를 소정의 방식으로 블렌딩하여 도 9의 하단과 같은 이미지를 획득할 수 있고, 획득한 이미지를 상기 특정 벽의 텍스쳐로 이용할 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)이 수행하는 블렌딩은 다양한 실시 예가 가능할 수 있다. 예컨대, 가우시안 블렌딩(Gaussian blending), 피라미드 블렌딩(Pyramid blending), 또는 기타 다양한 블렌딩 기법 중 적어도 하나를 이용하여 특정 벽에 상응하는 이미지 정보들을 블렌딩할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 상기 적응적 삼차원 공간 생성시스템(100)은 바닥면에 대한 텍스처링을 수행할 수 있다. 바닥면에 대한 텍스처링은 바닥면을 복수의 단위영역으로 구분하고 구분한 단위 영역들 각각에 대한 선택영상을 결정함으로써 이루어질 수 있다.
본 발명의 일 실시 예에 따르면 상기 단위 영역은 픽셀 단위일 수 있지만, 이보다 큰 소정의 방식으로 단위 영역이 정의될 수도 있음은 물론이다.
상기 적응적 삼차원 공간 생성시스템(100)은 바닥면의 단위 영역별로 카메라 위치들이 해당 단위영역을 볼 수 있는지 여부와 단위영역과 카메라 위치 간의 거리에 기초하여 단위 영역별 이미지 소스를 결정할 수 있다.
예컨대, 상기 적응적 삼차원 공간 생성시스템(100)은 단위 영역을 볼 수 있는 카메라 위치 중 가장 거리가 가까운 카메라 위치에 상응하는 촬영영상을 텍스처링할 이미지 소스 즉, 선택영상으로 결정할 수 있다.
소정의 카메라 위치가 특정 단위영역을 볼 수 있는지 여부는 상기 카메라 위치와 상기 특정 단위영역의 특정 위치(예컨대, 중심) 또는 상기 특정 단위영역에 포함된 픽셀들간에 직선을 그릴 경우 다른 벽면과 교차하는지 여부에 따라 결정할 수 있다.
그러면 상기 적응적 삼차원 공간 생성시스템(100)은 단위영역별 선택영상으로부터 해당하는 단위영역의 이미지 정보를 추출하여 바닥면을 텍스처링할 수 있다.
예컨대, 상기 적응적 삼차원 공간 생성시스템(100)은 결정된 단위영역별 선택영상을 이용하여 바닥면에 대한 마스크를 생성하고, 이를 이용하여 바닥면의 텍스쳐를 생성할 수 있다.
이러한 일 예는 도 10을 참조하여 설명하도록 한다.
도 10은 본 발명의 실시 예에 따른 바닥면의 텍스처링을 수행하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 서로 다른 카메라 위치들(예컨대, cam1, cam2, cam3) 각각에 상응하는 촬영영상들로부터 추출되는 바닥면의 이미지 정보는 도 10의 최좌측에 도시된 바와 같을 수 있다.
상기 적응적 삼차원 공간 생성시스템(100)은 단위영역별 선택영상을 결정하여 각각의 선택영상별 마스크(예컨대, 도 10의 중간에 도시된 이미지들)를 생성할 수 있다. 예컨대, 카메라 위치 1에 대해 바닥면의 단위영역(예컨대, 픽셀)별로 상기 카메라 위치 1이 선택영상으로 결정되면 1, 그렇지 않으면 0을 부여할 수 있다. 그러면 바닥면 전체에 대해 카메라 위치 1의 마스크는 도 10에 도시된 중간 최상단에 도시된 바와 같을 수 있다. 예컨대, 1로 부여된 단위영역은 흰색, 0으로 부여된 단위영역은 검은 색으로 표시하면 카메라 위치 1의 마스크는 도 10에 도시된 중간 최상단에 도시된 바와 같을 수 있다.
이러한 방식으로 각각의 카메라 위치별 즉, 선택영상별 마스크를 생성한 후, 각각의 선택영상과 대응되는 마스크를 곱하여 결합하면 도 10의 최우측에 도시된 바와 같은 바닥면의 텍스쳐가 생성될 수 있다.
이러한 바닥면의 텍스처링 방식은 본 발명에서는 공간의 타입이 제2타입인 경우에 적용된 것을 일 예로 설명하였지만, 공간의 타입이 제1타입인 경우에도 적용될 수 있음은 물론이다.
상술한 바와 같이 벽들 각각의 텍스쳐와 바닥면의 텍스쳐가 결정되면 공간 내부가 전체적으로 텍스처링될 수 있다.
이러한 일 예는 도 11에 도시된 바와 같을 수 있다.
도 11은 본 발명의 실시 예에 따른 텍스처링 결과를 예시적으로 나타내는 도면이다.
도 11을 참조하면, 이미지(20)는 각각의 벽들의 텍스쳐를 연결한 이미지이고, 이미지(30)은 바닥면의 텍스처일 수 있다. 또한 이미지(40)는 공간의 삼차원 구조를 나타낼 수 있다. 공간의 삼차원 구조를 생성하는 방식에 대해서는 이전출원에 상세히 개시되어 있으므로 상세한 설명은 생략하도록 한다.
그러면 상기 적응적 삼차원 공간 생성시스템(100)은 상기 이미지들(20, 30, 40)을 이용하여 텍스처링을 수행하고, 그 결과 텍스쳐링된 삼차원 공간의 이미지(50)를 획득할 수 있다.
본 발명의 실시 예에 따른 적응적 삼차원 공간 생성방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들에 기초하여, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하는 단계;
    상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택 영상을 상기 영상들 중에서 적응적으로 선택하는 단계; 및
    상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  2. 제1항에 있어서, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하는 단계는,
    상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부에 따라 상기 공간을 상기 제1타입 또는 상기 제2타입으로 판단하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  3. 제 2항에 있어서, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는,
    상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제1타입이라고 판단한 경우, 상기 영상들 중에서 상기 제4기준을 만족하는 위치에 해당하는 어느 하나의 영상을 선택영상으로 선택하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  4. 제 3항에 있어서, 상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택 영상에 기초하여 상기 공간을 텍스쳐링하는 단계는,
    상기 선택영상에 포함된 상기 공간의 벽들 각각에 상응하는 이미지 정보를 이용하여 상기 공간을 텍스쳐링하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  5. 제 2항에 있어서, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는,
    상기 적응적 삼차원 공간 생성시스템이 상기 공간이 제2타입이라고 판단한 경우, 상기 영상들 중에서 복수 개를 상기 선택영상으로 선택하는 것을 특징으로 하며,
    상기 적응적 삼차원 공간 생성시스템이 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 단계는,
    상기 공간의 벽들 중 적어도 일부를 서로 다른 선택영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하는 것을 특징으로 하는 적응적 삼차원 공간 생성방법.
  6. 제5항에 있어서, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는,
    상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 벽들 각각 간의 거리 또는 각도 중 적어도 하나에 기초하여 상기 벽들 각각을 텍스처링할 선택영상을 적어도 하나 선택하는 것을 특징으로 하는 적응적 삼차원 공간 생성방법.
  7. 제6항에 있어서, 상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 벽들 각각 간의 거리 또는 각도 중 적어도 하나에 기초하여 상기 벽들 각각을 텍스처링할 선택영상을 선택하는 단계는,
    상기 벽들 중 특정 벽에 대해 상기 위치들 각각이 가지는 거리가 가까울수록, 상기 특정 벽에 대해 상기 위치들 각각이 형성하는 각도가 작을수록 높은 가중치를 부여하여 부여된 가중치가 소정의 기준을 만족하는 적어도 하나의 영상을 상기 특정 벽을 텍스처링할 선택영상으로 선택하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  8. 제 2항에 있어서, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택영상을 상기 영상들 중에서 적응적으로 선택하는 단계는,
    상기 영상들 각각에 상응하는 위치들 각각과 상기 공간의 바닥을 구성하는 단위 영역들 간의 거리에 기초하여 상기 바닥을 텍스처링할 선택영상을 선택하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  9. 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받는 단계;
    입력받은 상기 복수의 영상들에 기초하여 상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부를 판단하는 단계; 및
    판단 결과에 따라 적응적으로 상기 공간을 텍스쳐링 하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  10. 적응적 삼차원 공간 생성시스템이 공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받는 단계;
    상기 적응적 삼차원 공간 생성시스템이 상기 공간의 벽들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하거나, 상기 공간의 바닥에 해당하는 픽셀들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출된 이미지 정보에 기초하여 텍스처링하는 단계를 포함하는 적응적 삼차원 공간 생성방법.
  11. 데이터 처리장치에 설치되며 제 1항 내지 제 10항 중 어느 한 항에 기재된 방법을 수행하기 위한 기록매체에 저장된 컴퓨터 프로그램.
  12. 프로세서;
    상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며,
    상기 프로그램은,
    공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들에 기초하여, 상기 공간이 상기 공간의 구조적 특성에 따라 분류되는 공간타입인 제1타입인지 제2타입인지 여부를 판단하고, 상기 공간이 제1타입인지 또는 상기 제2타입인지에 따라 상기 공간을 텍스쳐링(texturing)하기 위한 선택 영상을 상기 영상들 중에서 적응적으로 선택하며, 선택한 상기 선택영상에 기초하여 상기 공간을 텍스쳐링하는 적응적 삼차원 공간 생성시스템.
  13. 프로세서;
    상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며,
    상기 프로그램은,
    공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받고, 입력받은 상기 복수의 영상들에 기초하여 상기 공간의 코너의 개수가 미리 정해진 기준 개수 이하인 제1기준, 상기 공간의 평면구조의 미니멈 바운딩 박스의 면적 대비 상기 평면구조의 면적이 기준 면적 비율 이상인 제2기준, 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽까지의 거리 각각이 모두 기준 거리 이하인 제3기준, 또는 상기 복수의 영상들 각각에 상응하는 위치에서 상기 공간의 모든 벽이 보이는지 여부인 제4기준 중 적어도 2개를 만족하는지 여부를 판단하며, 판단 결과에 따라 적응적으로 상기 공간을 텍스쳐링 하는 적응적 삼차원 공간 생성시스템.
  14. 프로세서;
    상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며,
    상기 프로그램은,
    공간 내에서 촬영되며 서로 다른 위치에서 촬영된 복수의 영상들을 입력받고, 상기 공간의 벽들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출되는 이미지 정보에 기초하여 텍스처링하거나, 상기 공간의 바닥에 해당하는 픽셀들 중 적어도 일부를 상기 영상들 중 서로 다른 영상들로부터 추출된 이미지 정보에 기초하여 텍스처링하는 적응적 삼차원 공간 생성시스템.

KR1020180085371A 2018-07-23 2018-07-23 적응적 삼차원 공간 생성방법 및 그 시스템 KR102126561B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180085371A KR102126561B1 (ko) 2018-07-23 2018-07-23 적응적 삼차원 공간 생성방법 및 그 시스템
JP2019133031A JP6851089B2 (ja) 2018-07-23 2019-07-18 適応的三次元空間生成方法及びそのシステム
US16/518,580 US10891761B2 (en) 2018-07-23 2019-07-22 Adaptive three-dimensional space generation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085371A KR102126561B1 (ko) 2018-07-23 2018-07-23 적응적 삼차원 공간 생성방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20200010824A true KR20200010824A (ko) 2020-01-31
KR102126561B1 KR102126561B1 (ko) 2020-06-24

Family

ID=69163152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085371A KR102126561B1 (ko) 2018-07-23 2018-07-23 적응적 삼차원 공간 생성방법 및 그 시스템

Country Status (3)

Country Link
US (1) US10891761B2 (ko)
JP (1) JP6851089B2 (ko)
KR (1) KR102126561B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230081989A (ko) * 2021-11-29 2023-06-08 주식회사 쓰리아이 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220941B (zh) * 2021-06-01 2022-08-02 平安科技（深圳）有限公司 基于多模型的视频类型获取方法、装置、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09134449A (ja) * 1995-11-09 1997-05-20 Ainesu:Kk 立体モデルのテクスチャマッピング方法
KR20140102108A (ko) * 2013-02-13 2014-08-21 (주)다인디지컬처 3차원 실내공간 정보 구축을 위한 라이다 데이터 모델링 방법 및 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201546B1 (en) * 1998-05-29 2001-03-13 Point Cloud, Inc. Systems and methods for generating three dimensional, textured models
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
JP2006098256A (ja) * 2004-09-30 2006-04-13 Ricoh Co Ltd ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
EP2745892B1 (en) * 2012-12-21 2018-12-12 Dassault Systèmes Partition of a 3D scene into a plurality of zones processed by a computing resource
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
EP3086292B1 (en) * 2013-12-17 2018-12-26 Sony Corporation Information processing device, information processing method, and program
US9953111B2 (en) * 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10055876B2 (en) * 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
KR20160126242A (ko) 2015-04-23 2016-11-02 주식회사 리그닌 마스크 팩용 얼굴용 시트 절개구조 및 코, 시트 의 조합시트 제조 방법
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
JP6220486B1 (ja) * 2016-05-27 2017-10-25 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
JP6116746B1 (ja) * 2016-11-17 2017-04-19 株式会社ネクスト 情報処理装置、情報処理方法、及びプログラム
US10726633B2 (en) * 2017-12-29 2020-07-28 Facebook, Inc. Systems and methods for generating and displaying artificial environments based on real-world environments
CN109064542B (zh) * 2018-06-06 2019-11-19 贝壳找房(北京)科技有限公司 三维模型表面空洞填补方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09134449A (ja) * 1995-11-09 1997-05-20 Ainesu:Kk 立体モデルのテクスチャマッピング方法
KR20140102108A (ko) * 2013-02-13 2014-08-21 (주)다인디지컬처 3차원 실내공간 정보 구축을 위한 라이다 데이터 모델링 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230081989A (ko) * 2021-11-29 2023-06-08 주식회사 쓰리아이 3차원 가상모델 생성을 위한 텍스처링 방법 및 그를 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR102126561B1 (ko) 2020-06-24
US10891761B2 (en) 2021-01-12
JP6851089B2 (ja) 2021-03-31
JP2020017276A (ja) 2020-01-30
US20200027250A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
US7545384B2 (en) Image generation method and apparatus
US7538774B2 (en) Virtual visual point image generating method and 3-d image display method and device
RU2215326C2 (ru) Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
US5917937A (en) Method for performing stereo matching to recover depths, colors and opacities of surface elements
US8441477B2 (en) Apparatus and method of enhancing ray tracing speed
US7787658B2 (en) Creating a depth map
TWI300908B (en) Video game system, image rendering system, and computer-readable medium having stored thereon a program of computer-readable instructions configured to cause generation of a renderized display
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
US10891761B2 (en) Adaptive three-dimensional space generation method and system
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP3629243B2 (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
US7834871B2 (en) Splat filtering method, medium, and system
CN116485969A (zh) 体素对象生成方法、装置和计算机可读存储介质
US11436797B2 (en) Image generation system and method
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
EP1697902A1 (en) Method of and scaling unit for scaling a three-dimensional model
US9053382B2 (en) Robust image based edge detection
US7859531B2 (en) Method and apparatus for three-dimensional graphics, and computer product
JP2024502912A (ja) 対象識別方法、装置、デバイス及び記憶媒体
JP7211994B2 (ja) 画像処理装置、方法及びプログラム
JP2016119041A (ja) 画像処理システム、画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2022162653A (ja) 描画装置及びプログラム
Cheng Foveated 3d model simplification
KR20210045871A (ko) 뷰포트(Viewport) 추출 방법 및 장치
Kutsenko et al. Use of virtual reality in the development of 3D games

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant