KR102662058B1 - 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램 - Google Patents

서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램 Download PDF

Info

Publication number
KR102662058B1
KR102662058B1 KR1020210164776A KR20210164776A KR102662058B1 KR 102662058 B1 KR102662058 B1 KR 102662058B1 KR 1020210164776 A KR1020210164776 A KR 1020210164776A KR 20210164776 A KR20210164776 A KR 20210164776A KR 102662058 B1 KR102662058 B1 KR 102662058B1
Authority
KR
South Korea
Prior art keywords
image
acquired
depth information
images
processor
Prior art date
Application number
KR1020210164776A
Other languages
English (en)
Other versions
KR20230077471A (ko
Inventor
최정민
Original Assignee
(주)천재교육
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)천재교육 filed Critical (주)천재교육
Priority to KR1020210164776A priority Critical patent/KR102662058B1/ko
Publication of KR20230077471A publication Critical patent/KR20230077471A/ko
Application granted granted Critical
Publication of KR102662058B1 publication Critical patent/KR102662058B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램에 관한 것이다.
이러한 목적을 달성하기 위해 본 발명에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치는 카메라, 메모리, 및 상기 카메라, 상기 메모리와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하고, 상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하고, 상기 추출된 제1 뎁스 정보를 상기 메모리에 저장하고, 상기 특정 공간의 제2 내지 제4 위치에서 제2 내지 제4 이미지를 각각 획득하고, 상기 획득된 제2 내지 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하고, 상기 저장된 제1 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성할 수 있다.

Description

서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램{AN APPARATUS AND METHOD FOR GENERATING 3 DIMENSION SPATIAL MODELING DATA USING A PLURALITY OF 2 DIMENSION IMAGES ACQUIRED AT DIFFERENT LOCATIONS, AND A PROGRAM THEREFOR}
본 발명은 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램에 관한 것이다.
최근 사회 전 분야에 걸쳐서 메타버스가 키워드로 떠오르고 있으며, 이러한 메타버스의 구현을 위해서는 3차원(3 dimension, 3D) 공간 모델링이 기반이 된다. 이러한 3차원 공간 모델링을 위해 유니티(unity), 언리얼(unreal)과 같은 소프트웨어를 사용한다.
이러한 소프트웨어를 이용하여 3차원 공간 모델링을 생성하는 경우, 촬영자의 위치에서 전 방향(3600)을 촬영한 2차원 결과물일 뿐, 3차원 공간 개념의 결과물이 아니기 때문에, 시각적인 감상만 가능하며 공간 기반의 다른 기술 구현이 불가능한 문제점이 있다.
또한, 3차원 공간 모델링을 위한 장비는 고가인 관계로 일반 사용자들의 접근성이 떨어지는 문제점이 있다.
종래 선행 기술(한국 등록특허공보 제10-1926701)은 2D 데이터-3D 데이터 변환 장치 및 방법에 관한 내용을 개시하고 있다.
그러나, 종래 선행 기술은 2차원 데이터를 3차원 데이터 환경에서 사용하기 위해 2차원 데이터를 일정 크기로 분리하고, 분리한 2차원 데이터마다 각각 벡터값을 설정하고, 벡터값이 설정된 2차원 데이터를 재결합함으로써, 3차원 환경에서 카메라의 시점에 따라 이미지의 왜곡이 발생되는 것을 방지하는 내용을 개시하고 있다.
그러나, 종래 선행 기술은 단지 2차원 데이터를 일정 크기로 분리하여 3차원 데이터를 생성할 뿐, 하나의 공간에 대한 이미지를 서로 다른 위치에서 획득하지 않기 때문에, 해상도가 떨어지는 문제점이 있다.
따라서, 동일한 공간 내의 서로 다른 위치에서 서로 다른 이미지를 획득하여 해상도가 높은 3차원 공간 모델링 데이터를 생성할 필요성이 제기된다.
한국등록특허공보 제10-1926701
종래에는 비싼 장비를 이용해 3차원 공간 모델링 데이터를 생성하기 때문에, 일반 사용자가 손쉽게 3차원 공간 모델링 데이터를 생성하지 못하였다.
또한, 한 위치에서 3600의 이미지를 획득하여 3차원 공간 모델링 데이터를 생성하는 경우, 고해상도의 3차원 공간 모델링 데이터를 생성하지 못하였다.
따라서, 본 발명은 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법을 제공하는 것이다.
또한, 본 발명은 사용자가 편리하게 휴대 가능한 휴대 단말을 통해 동일한 공간 내의 서로 다른 위치에서 획득한 각각의 이미지를 통해 3차원 공간 모델링 데이터를 생성하는 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위해 본 발명에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치는 카메라, 메모리, 및 상기 카메라, 상기 메모리와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하고, 상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하고, 상기 추출된 제1 뎁스 정보를 상기 메모리에 저장하고, 상기 특정 공간의 제2 내지 제4 위치에서 제2 내지 제4 이미지를 각각 획득하고, 상기 획득된 제2 내지 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하고, 상기 저장된 제1 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성할 수 있다.
또한, 본 발명에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 방법은, 카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하는 과정, 상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하는 과정, 상기 추출된 제1 뎁스 정보를 메모리에 저장하는 과정, 상기 특정 공간의 제2 내지 제4 위치에서 제2 내지 제4 이미지를 각각 획득하는 과정, 상기 획득된 제2 내지 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하는 과정; 및 상기 저장된 제1 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성하는 과정을 포함할 수 있다.
또한, 본 발명에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 프로그램은 카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하는 명령어들, 상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하는 명령어들, 상기 추출된 제1 뎁스 정보를 메모리에 저장하는 명령어들, 상기 특정 공간의 제2 내지 제4 위치에서 제2 내지 제4 이미지를 각각 획득하는 명령어들, 상기 획득된 제2 내지 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하는 명령어들, 및 상기 저장된 제1 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성하는 명령어들을 포함할 수 있다.
본 발명은 특정 공간 내에서 위치가 서로 다른 적어도 두 위치에서 각각 이미지를 획득하고, 상기 각각의 이미지 내의 객체에 대한 뎁스 정보를 추출하고, 상기 추출된 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성함으로써, 사용자는 고가의 전문 장비 없이 자신의 휴대 단말을 통해 3차원 공간 모델링 데이터를 생성할 수 있다.
또한, 본 발명은 각각의 이미지에 포함된 객체의 엣지 영역을 추출하고, 상기 각각의 이미지에 대해 미리 결정된 셀들의 개수 단위로 그룹핑함으로써, 3차원 공간 모델링 데이터를 생성하는 시간을 단축시킬 수 있다.
또한 본 발명은 각각의 이미지를 획득한 카메라의 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출함으로써, 정밀한 3차원 공간 모델링 데이터를 생성할 수 있다.
또한 본 발명은 각각의 이미지에 포함된 객체를 뎁스 정보에 기반하여 매핑함으로써, 해상도가 향상된 3차원 공간 모델링 데이터를 생성할 수 있다.
또한 본 발명은 생성된 3차원 공간 모델링 데이터를 다른 전자 장치로 전송하여 비대면 서비스에 활용함으로써, 비대면 수업에 이용할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 과정을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 특정 공간의 제1 위치에서 획득한 제1 이미지를 나타낸 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 특정 공간의 제2 위치에서 획득한 제2 이미지를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 특정 공간의 제3 위치에서 획득한 제3 이미지를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 특정 공간의 제4 위치에서 획득한 제4 이미지를 나타낸 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 특정 공간의 제5 위치에서 획득한 제5 이미지를 나타낸 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 특정 공간의 제6 위치에서 획득한 제6 이미지를 나타낸 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 이미지에서 뎁스 정보를 추출하여 3차원 공간 모델링 데이터를 생성하는 과정을 나타낸 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 3차원 공간 모델링 데이터의 제1 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 3차원 공간 모델링 데이터의 제2 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
이하에서 구성요소의 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
명세서 전체에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다
이하에서는, 본 발명의 몇몇 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램을 설명하도록 한다.
3차원 모델링(3D Modeling)은 컴퓨터 그래픽스의 분야에서 가상의 3차원 공간속에 재현될 수 있는 수학적 모델을 만들어 내는 것을 말한다. 이러한 3차원 객체는 3차원 선으로 표현되어 나타나며 렌더링 과정을 통해 실제 물체와 비슷한 양감과 질감을 가질 수 있다. 이러한 3차원 모델링은 곡면, 스플라인, B-스플라인 등과 같은 여러 가지 면의 표현을 통해 사실적인 데이터를 만들어 낼 수 있다.
도 1은 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 장치(100)는 통신부(110), 메모리(120), 표시부(130), 카메라(140), 및 프로세서(150)를 포함할 수 있다.
도 1에 도시된 장치(100)의 구성은 일 실시 예에 따른 것이고, 장치(100)의 구성 요소들이 도 1에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 통신부(110)는 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 프로그램(또는 어플리케이션)을 서버(미도시)로부터 수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
또한, 상기 통신부(110)는 상기 프로세서(150)에 의해 생성된 3차원 공간 모델링 데이터를 상기 서버 또는 적어도 하나의 전자 장치로 전송할 수 있다.
일 실시 예에 따르면, 상기 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들면, 상기 메모리(120)는 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 프로그램(또는 어플리케이션)을 저장할 수 있다. 또한, 상기 메모리(120)는 특정 공간(예: 교실, 방, 세미나실 등등)에 대한 적어도 하나의 이미지를 저장할 수 있다.
일 실시 예에 따르면, 상기 표시부(130)는 카메라(140)를 통해 획득한 이미지를 표시할 수 있다. 또한, 상기 표시부(130)는 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 전반적인 과정에 대한 이미지를 표시할 수 있다. 또한, 상기 표시부(130)는 3차원 공간 모델링 데이터를 입체적으로 표시할 수 있다. 이러한 3차원 공간 모델링 데이터는 상기 표시부(130) 상의 터치 앤 드래그(touch & drag) 입력에 따라 상하좌우로 입체적으로 전환되어 상기 표시부(130) 상에 표시될 수 있다.
예를 들면, 상기 표시부(230)는 3차원 공간 모델링 데이터를 다각적으로 보기 위한 호버링 입력을 감지하는 회로를 포함하며, 상기 호버링 입력에 기반하여 다각적으로 표현되는 3차원 공간 모델링 데이터를 표시할 수 있다.
일 실시 예에 따르면, 상기 카메라(140)는 특정 공간에서 적어도 하나의 이미지를 획득할 수 있다. 상기 카메라(140)는 화각에 존재하는 적어도 하나의 객체 각각에 대한 픽셀 단위로 뎁스 정보를 획득하는 적어도 하나의 이미지 센서를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들면, 상기 프로세서(150)는 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성, 저장 및 전송하는 전반적인 과정을 수행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 과정을 나타낸 순서도이다. 도 3은 본 발명의 일 실시 예에 따른 특정 공간의 제1 위치에서 획득한 제1 이미지를 나타낸 예시도이다. 도 4는 본 발명의 일 실시 예에 따른 특정 공간의 제2 위치에서 획득한 제2 이미지를 나타낸 예시도이다. 도 5는 본 발명의 일 실시 예에 따른 특정 공간의 제3 위치에서 획득한 제3 이미지를 나타낸 예시도이다. 도 6은 본 발명의 일 실시 예에 따른 특정 공간의 제4 위치에서 획득한 제4 이미지를 나타낸 예시도이다. 도 7은 본 발명의 일 실시 예에 따른 특정 공간의 제5 위치에서 획득한 제5 이미지를 나타낸 예시도이다. 도 8은 본 발명의 일 실시 예에 따른 특정 공간의 제6 위치에서 획득한 제6 이미지를 나타낸 예시도이다.
이하, 도 2 내지 도 8을 참조하여, 본 발명의 일 실시 예에 따른 서로 다른 위치에서 획득한 복수의 2차원 이미지들 이용하여 3차원 공간 모델링 데이터를 생성하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 상기 프로세서(150)는 카메라(140)가 실행되는지 식별할 수 있다(S210). 상기 프로세서(150)는 특정 공간에서 적어도 하나의 이미지를 획득하기 위해 상기 카메라(140)를 활성화시킬 수 있다. 상기 카메라(140)는 화각에 존재하는 적어도 하나의 객체 각각에 대한 픽셀 단위로 뎁스 정보를 획득하는 적어도 하나의 이미지 센서를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 특정 공간의 제1 위치에서 상기 특정 공간에 대한 제1 이미지 획득할 수 있다(S212). 상기 프로세서(150)는 상기 특정 공간(예: 교실, 세미나실, 방 등)의 제1 위치(예: 제1 구석)에 위치한 사용자가 휴대 단말(예: 장치(100))의 카메라(140)를 통해 상기 특정 공간에 대한 제1 이미지를 획득할 수 있다. 상기 프로세서(150)는 제1 위치의 일정 높이(예: 사용자가 휴대 단말을 파지하여 이미지를 촬영하는 높이)에서 카메라(140)를 통해 제1 이미지를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제1 이미지를 촬영한 좌표를 식별할 수 있다. 상기 제1 이미지는 제1 위치(예: 제1 구석)에서 특정 공간의 대각선 방향에 위치한 제3 위치(예: 제3 구석)를 중심으로 획득된 이미지이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제1 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 제1 이미지에 포함된 적어도 하나의 객체(예: 책상, 의자, 사물함 등) 각각에 대해 엣지 영역을 추출할 수 있다. 이와 같이, 상기 프로세서(150)는 객체에 대한 엣지 영역을 추출함으로써, 객체의 종류, 크기, 위치를 식별할 수 있다. 또한, 상기 프로세서(150)는 상기 획득된 제1 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제1 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하고, 상기 추출된 제1 뎁스 정보를 저장할 수 있다(S214). 상기 프로세서(150)는 상기 제1 이미지를 획득한 카메라(140)의 위치 정보(예: 공간 좌표(x, y, z) 정보)를 획득하고, 상기 획득된 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보(depth information)를 추출할 수 있다. 상기 프로세서(150)는 상기 카메라(140)의 공간 좌표를 기준으로, 상기 제1 이미지에 포함된 적어도 하나의 객체의 그룹핑된 셀들에 대한 뎁스 정보를 추출할 수 있다.
도 3을 참조하면, 제1 이미지(310)는 특정 공간(예: 교실)에서 제1 위치(320)에서 일정 높이(h)(321)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제1 이미지(310) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제1 이미지(310)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제1 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 특정 공간의 제2 위치에서 상기 특정 공간에 대한 제2 이미지 획득할 수 있다(S216). 상기 프로세서(150)는 상기 특정 공간(예: 교실, 세미나실, 방 등)에서 제2 위치(예: 제1 위치에서 x축 방향에 위치한 제2 구석)에 위치한 사용자가 휴대 단말(예: 장치(100))의 카메라(140)를 통해 상기 특정 공간에 대한 제2 이미지를 획득할 수 있다. 상기 프로세서(150)는 제2 위치의 일정 높이(예: 사용자가 휴대 단말을 파지하여 이미지를 촬영하는 높이)에서 카메라(140)를 통해 제2 이미지를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제2 이미지를 촬영한 좌표를 식별할 수 있다. 상기 제2 이미지는 제2 위치(예: 제2 구석)에서 특정 공간의 대각선 방향에 위치한 제4 위치(예: 제4 구석)를 중심으로 획득된 이미지이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제2 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 제2 이미지에 포함된 적어도 하나의 객체(예: 책상, 의자, 사물함 등) 각각에 대해 엣지 영역을 추출할 수 있다. 이와 같이, 상기 프로세서(150)는 객체에 대한 엣지 영역을 추출함으로써, 객체의 종류, 크기, 위치를 식별할 수 있다. 또한, 상기 프로세서(150)는 상기 획득된 제2 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제2 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제2 이미지 내의 적어도 하나의 객체에 대한 제2 뎁스 정보를 추출하고, 상기 추출된 제2 뎁스 정보를 저장할 수 있다(S218). 상기 프로세서(150)는 상기 제2 이미지를 획득한 카메라(140)의 위치 정보(예: 공간 좌표(x, y, z) 정보)를 획득하고, 상기 획득된 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출할 수 있다. 상기 프로세서(150)는 상기 카메라(140)의 공간 좌표를 기준으로, 상기 제2 이미지에 포함된 적어도 하나의 객체의 그룹핑된 셀들에 대한 뎁스 정보를 추출할 수 있다.
도 4를 참조하면, 제2 이미지(410)는 특정 공간(예: 교실)에서 제2 위치(420)에서 일정 높이(h)(421)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제2 이미지(410) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제2 이미지(410)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제2 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 특정 공간의 제3 위치에서 상기 특정 공간에 대한 제3 이미지 획득할 수 있다(S220). 상기 프로세서(150)는 상기 특정 공간(예: 교실, 세미나실, 방 등)에서 제3 위치(예: 제2 위치에서 y축 방향에 위치한 제3 구석)에 위치한 사용자가 휴대 단말(예: 장치(100))의 카메라(140)를 통해 상기 특정 공간에 대한 제3 이미지를 획득할 수 있다. 상기 프로세서(150)는 제3 위치의 일정 높이(예: 사용자가 휴대 단말을 파지하여 이미지를 촬영하는 높이)에서 카메라(140)를 통해 제3 이미지를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제3 이미지를 촬영한 좌표를 식별할 수 있다. 상기 제3 이미지는 제3 위치(예: 제3 구석)에서 특정 공간의 대각선 방향에 위치한 제1 위치(예: 제1 구석)를 중심으로 획득된 이미지이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제3 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 제3 이미지에 포함된 적어도 하나의 객체(예: 책상, 의자, 사물함 등) 각각에 대해 엣지 영역을 추출할 수 있다. 이와 같이, 상기 프로세서(150)는 객체에 대한 엣지 영역을 추출함으로써, 객체의 종류, 크기, 위치를 식별할 수 있다. 또한, 상기 프로세서(150)는 상기 획득된 제3 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제3 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제3 이미지 내의 적어도 하나의 객체에 대한 제3 뎁스 정보를 추출하고, 상기 추출된 제3 뎁스 정보를 저장할 수 있다(S222). 상기 프로세서(150)는 상기 제3 이미지를 획득한 카메라(140)의 위치 정보(예: 공간 좌표(x, y, z) 정보)를 획득하고, 상기 획득된 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출할 수 있다. 상기 프로세서(150)는 상기 카메라(140)의 공간 좌표를 기준으로, 상기 제3 이미지에 포함된 적어도 하나의 객체의 그룹핑된 셀들에 대한 뎁스 정보를 추출할 수 있다.
도 5를 참조하면, 제3 이미지(510)는 특정 공간(예: 교실)에서 제3 위치(520)에서 일정 높이(h)(521)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제3 이미지(510) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제3 이미지(510)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제3 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 특정 공간의 제4 위치에서 상기 특정 공간에 대한 제4 이미지 획득할 수 있다(S224). 상기 프로세서(150)는 상기 특정 공간(예: 교실, 세미나실, 방 등)에서 제4 위치(예: 제1 위치에서 y축 방향에 위치한 제4 구석)에 위치한 사용자가 휴대 단말(예: 장치(100))의 카메라(140)를 통해 상기 특정 공간에 대한 제4 이미지를 획득할 수 있다. 상기 프로세서(150)는 제4 위치의 일정 높이(예: 사용자가 휴대 단말을 파지하여 이미지를 촬영하는 높이)에서 카메라(140)를 통해 제4 이미지를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제4 이미지를 촬영한 좌표를 식별할 수 있다. 상기 제4 이미지는 제4 위치(예: 제4 구석)에서 특정 공간의 대각선 방향에 위치한 제2 위치(예: 제2 구석)를 중심으로 획득된 이미지이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제4 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 제4 이미지에 포함된 적어도 하나의 객체(예: 책상, 의자, 사물함 등) 각각에 대해 엣지 영역을 추출할 수 있다. 이와 같이, 상기 프로세서(150)는 객체에 대한 엣지 영역을 추출함으로써, 객체의 종류, 크기, 위치를 식별할 수 있다. 또한, 상기 프로세서(150)는 상기 획득된 제4 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제4 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제4 이미지 내의 적어도 하나의 객체에 대한 제4 뎁스 정보를 추출하고, 상기 추출된 제4 뎁스 정보를 저장할 수 있다(S226). 상기 프로세서(150)는 상기 제4 이미지를 획득한 카메라(140)의 위치 정보(예: 공간 좌표(x, y, z) 정보)를 획득하고, 상기 획득된 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출할 수 있다. 상기 프로세서(150)는 상기 카메라(140)의 공간 좌표를 기준으로, 상기 제4 이미지에 포함된 적어도 하나의 객체의 그룹핑된 셀들에 대한 뎁스 정보를 추출할 수 있다.
도 6을 참조하면, 제4 이미지(610)는 특정 공간(예: 교실)에서 제4 위치(620)에서 일정 높이(h)(621)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제4 이미지(610) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제4 이미지(610)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제4 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제5 이미지를 촬영한 좌표를 식별할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
마찬가지로, 도 7을 참조하면, 제5 이미지(710)는 특정 공간(예: 교실)에서 제5 위치(720)에서 일정 높이(h)(721)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제5 이미지(710) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제5 이미지(710)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제5 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
또한, 도 8을 참조하면, 제6 이미지(810)는 특정 공간(예: 교실)에서 제6 위치(820)에서 일정 높이(h)(821)에 위치한 카메라(140)를 통해 획득한 화각(θ)을 갖는 이미지이다. 제6 이미지(810) 내에는 적어도 하나의 객체(예: 의자, 책상 등)를 포함할 수 있다. 예를 들면, 제6 이미지(810)에는 제1 객체(311)(예: 제1 의자)와 제2 객체(예: 제1 책상), 및 제3 객체(313)(예: 제2 의자)와 제4 객체(314)(예: 제2 책상)를 포함할 수 있다. 상기 프로세서(150)는 제6 이미지 내의 각각의 객체에 대한 뎁스 정보를 획득할 수 있다. 또한, 상기 프로세서(150)는 상기 특정 공간 내에서 상기 제6 이미지를 촬영한 좌표를 식별할 수 있다.
상기 프로세서(150)는 제1 내지 제6 이미지들 각각을 촬영한 좌표(예: 제1 내지 제6 좌표)를 식별하고, 각각의 좌표들 간의 거리를 계산할 수 있다.
그리고, 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
상술한 바와 같이, 상기 프로세서(150)는 특정 공간 내의 제1 위치 내지 제4 위치에 제1 내지 제4 이미지를 각각 획득하고, 상기 획득된 제1 내지 제4 이미지 각각에 포함된 적어도 하나의 객체의 그룹핑된 셀들에 대한 뎁스 정보를 추출할 수 있다. 상기 적어도 하나의 객체는 상기 제1 내지 제4 이미지 모두에 포함될 수 있다.
또한, 상기 제1 내지 제4 위치는 상기 특정 공간 내의 네 구석에 해당되는 위치이며, 상기 제1 내지 제4 이미지는 상기 특정 공간 내의 지면으로부터 동일한 높이에 위치한 상기 카메라(140)를 통해 획득된 것이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 저장된 제1 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성할 수 있다(S228). 상기 프로세서(150)는 상기 제1 내지 제4 이미지 각각에 포함된 적어도 하나의 객체를 상기 추출된 뎁스 정보에 기반하여 매핑하여 3차원 공간 모델링 데이터를 생성할 수 있다. 상기 3차원 공간 모델링 데이터는 표시부(130) 상의 터치 앤 드래그(touch & drag) 입력에 따라 상하좌우로 입체적으로 전환되어 표시될 수 있는 데이터이다. 또한, 상기 3차원 공간 모델링 데이터는 줌-인(zoom-in)에 의해 확대가 가능하며, 줌-아웃(zoon-out)에 의해 축소가 가능하다.
일 실시 예에 따르면, 상기 프로세서(150)는 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 상기 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다. 그리고, 상기 프로세서(150)는 상기 계산된 3차원 공간에 대한 좌표 및 각각의 이미지를 촬영한 좌표에 기반하여 상기 적어도 하나의 객체를 포함하는 상기 3차원 공간 모델링 데이터를 생성할 수 있다.
예를 들면, 상기 프로세서(150)는 제1 내지 제4 이미지 각각을 그레이 이미지로 변환하고, 변환된 그레이 이미지에 캔니(canny) 알고리즘을 적용하여 엣지 영역을 추출할 수 있다. 그리고, 상기 프로세서(150)는 각각의 이미지에서 객체를 분리할 수 있다.
또한, 상기 프로세서(150)는 분리된 객체를 미리 결정된 셀들(예: 픽셀들) 단위로 나누고, 객체(또는 이미지)에 가상의 수평선을 설정하여 객체에 대한 중심 좌표(center x, center y)를 산출한다. 그리고, 이미지의 좌표(x, y)에 대응되는 3차원 공간 모델링에 대한 공간 좌표(x, y, z)를 계산한다.
상기 프로세서(150)는 아래 [수학식 1]을 통해 3차원 공간 모델링에 대한 공간 좌표(vx, vy, vz)를 계산할 수 있다.
상기 [수학식 1]에서 Sx, Sy, Sz는 스케일링 인수이고, θx는 [-π, π] 영역으로 제한한다. 3차원 공간 모델의 공간 좌표는 V(vx, vy, vz)이고, 후방 부분의 공간 좌표는 V(vx, vy, -vz)이다.
상술한 바와 같이, 본 발명은 특정 공간의 각각의 위치에서 획득한 이미지를 상기 [수학식 1]을 통해 공간 좌표를 획득하여 매핑하고, 각각의 좌표들 간의 거리를 계산하여 적용함으로써, 서로 다른 위치에서 획득한 복수의 이미지들을 통해 3차원 공간 모델링 데이터를 생성할 수 있다.
뿐만 아니라, 상기 프로세서(150)는 상기 특정 공간(예: 교실, 세미나실, 방 등)에서 제5 위치(예: 제1 위치와 제2 위치의 중간)에 위치한 사용자가 휴대 단말(예: 장치(100))의 카메라(140)를 통해 상기 특정 공간에 대한 제5 이미지를 획득할 수 있다. 상기 프로세서(150)는 제5 위치의 일정 높이(예: 사용자가 휴대 단말을 파지하여 이미지를 촬영하는 높이)에서 카메라(140)를 통해 제5 이미지를 획득할 수 있다. 상기 제5 이미지는 제5 위치에서 제6 위치(예: 제3 위치와 제4 위치의 중간)를 중심으로 획득된 이미지이다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 제5 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 제5 이미지에 포함된 적어도 하나의 객체(예: 책상, 의자, 사물함 등) 각각에 대해 엣지 영역을 추출할 수 있다. 이와 같이, 상기 프로세서(150)는 객체에 대한 엣지 영역을 추출함으로써, 객체의 종류, 크기, 위치를 식별할 수 있다. 또한, 상기 프로세서(150)는 상기 획득된 제5 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제5 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
마찬가지로, 상기 프로세서(150)는 제6 위치(예: 제3 위치와 제4 위치의 중간)에서 제6 이미지를 획득한 후, 상기 획득된 제6 이미지에 대해 미리 결정된 셀들(예: 픽셀들)의 개수 단위로 상기 제6 이미지 내의 전체 셀들(예: 픽셀들)을 그룹핑할 수 있다.
그리고, 상기 프로세서(150)는 제5 및 제6 이미지의 획득에 기반하여 추출된 제5 및 제6 뎁스 정보를 반영하여 상기 3차원 공간 모델링 데이터를 생성할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 제1 내지 제6 이미지들 중 적어도 두 개의 이미지를 통해 3차원 공간에 대한 좌표를 계산하여 3차원 공간 모델링 데이터를 생성할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 이미지에서 뎁스 정보를 추출하여 3차원 공간 모델링 데이터를 생성하는 과정을 나타낸 순서도이다. 도 10은 본 발명의 일 실시 예에 따른 3차원 공간 모델링 데이터의 제1 예시도이다. 도 11은 본 발명의 일 실시 예에 따른 3차원 공간 모델링 데이터의 제2 예시도이다.
이하, 도 9 내지 도 11을 참조하여 본 발명의 일 실시 예에 따른 이미지에서 뎁스 정보를 추출하여 3차원 공간 모델링 데이터를 생성하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 상기 프로세서(150)는 이미지를 획득할 수 있다(S910). 상기 프로세서(150)는 특정 공간의 적어도 두 개의 위치 각각에서 적어도 하나의 이미지를 획득할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다(S912). 상기 프로세서(150)는 상기 획득된 이미지에 포함된 적어도 하나의 객체의 엣지 영역을 추출할 수 있다. 상기 프로세서(150)는 상기 획득된 이미지를 그레이 이미지로 변환하고, 변환된 그레이 이미지에 캔니(canny) 알고리즘을 적용하여 각 객체에 대한 엣지 영역을 추출할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 획득된 이미지 및 상기 추출된 엣지 영역의 객체 각각에 대해 미리 결정된 셀들의 개수 단위로 그룹핑을 수행할 수 있다(S914). 상기 프로세서(150)는 처리 속도에 기반하여 그룹핑할 셀들의 개수를 결정할 수 있다. 예를 들면, 상기 프로세서(150)의 처리량이 높을수록 그룹핑된 셀들의 개수는 많아지고, 처리량이 낮을수록 그룹핑된 셀들의 개수는 적어질 수 있다. 또는, 상기 프로세서(150)는 기 설정된 개수에 기반하여 셀들을 그룹핑할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 이미지를 획득한 위치 정보에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출할 수 있다(S916). 상기 프로세서(150)는 그룹 단위로 객체에 대한 뎁스 정보를 추출할 수 있다. 상기 프로세서(150)는 카메라의 높이(h)를 기준으로 각각의 이미지 내의 객체에 대한 뎁스 정보를 추출할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 추출된 뎁스 정보에 기반하여 제1 내지 제4 이미지 각각에 포함된 상기 적어도 하나의 객체를 매핑할 수 있다. 상기 프로세서(150)는 상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 상기 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 상기 추출된 뎁스 정보를 저장할 수 있다(S918). 상기 프로세서(150)는 각각의 이미지의 단위 픽셀 좌표에 따른 뎁스 정보를 저장할 수 있다. 또는, 상기 프로세서(150)는 엣지 추출에 따라 식별된 객체의 뎁스 정보를 저장할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 다른 이미지가 획득되는지 식별할 수 있다(S920). 예를 들면, 상기 다른 이미지가 획득되는 것으로 식별되면, 상기 프로세서(150)는 상기 과정들(S912, S914, S916, S918)을 수행할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 서로 다른 위치에서 획득된 각각의 이미지 내의 객체의 뎁스 정보를 매핑하여 3차원 공간 모델링 데이터를 생성할 수 있다(S922). 상기 프로세서(150)는 상기 획득된 적어도 두 개의 이미지들 각각에 포함된 적어도 하나의 객체를 뎁스 정보에 기반하여 매핑하여 3차원 공간 모델링 데이터를 생성할 수 있다. 상기 프로세서(150)는 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 상기 적어도 하나의 객체 각각의 중심 좌표를 산출하고, 상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산하고, 상기 계산된 3차원 공간에 대한 좌표에 기반하여 적어도 하나의 객체를 포함하는 상기 3차원 공간 모델링 데이터를 생성할 수 있다.
도 10 및 도 11을 참조하면, 상기 프로세서(150)는 생성된 3차원 공간 모델링 데이터를 표시부(130) 상에 표시할 수 있다. 또한, 상기 프로세서(150)는 터치 또는 호버링 입력이 가능한 상기 표시부(130) 상에 터치 또는 호버링 입력에 대응되도록 상기 3차원 공간 모델링 데이터를 상하좌우로 입체적으로 전환하여 상기 표시부(130) 상에 표시할 수 있다.
상술한 바와 같이, 본 발명은 동일한 공간의 서로 다른 위치 각각에서 적어도 하나의 이미지를 획득하고, 획득된 적어도 두 개의 이미지를 통해 3차원 공간 모델링 데이터를 생성할 수 있다.
본 발명은 이러한 3차원 공간 모델링 데이터를 통해, 다문화 가정 또는 외국인을 위한 한국 언어, 문화 교육을 제공하는 교육 플랫폼을 제공할 수 있다.
이상에서 상술한 각각의 순서도에서의 각 단계는 도시된 순서에 무관하게 동작될 수 있거나, 또는 동시에 수행될 수 있다. 또한, 본 발명의 적어도 하나의 구성 요소와, 상기 적어도 하나의 구성 요소에서 수행되는 적어도 하나의 동작은 하드웨어 및/또는 소프트웨어로 구현 가능할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100: 장치 110: 통신부
120: 메모리 130: 표시부
140: 카메라 150: 프로세서

Claims (10)

  1. 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치에 있어서,
    카메라;
    메모리; 및
    상기 카메라, 상기 메모리와 전기적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하고,
    상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하고,
    상기 추출된 제1 뎁스 정보를 상기 메모리에 저장하고,
    상기 특정 공간의 제2 위치 내지 제4 위치에서 제2 이미지 내지 제4 이미지를 각각 획득하고,
    상기 획득된 제2 이미지 내지 상기 획득된 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하고,
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 적어도 하나의 객체의 엣지 영역을 추출하여 상기 적어도 하나의 객체의 종류, 크기 및 위치를 식별하고,
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지에 대해 미리 결정된 셀들의 개수 단위로 그룹핑하고,
    상기 제1 이미지 내지 상기 제4 이미지의 각각을 획득한 상기 카메라의 공간 좌표를 각각 획득하고,
    상기 획득된 공간 좌표에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출하고,상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 상기 적어도 하나의 객체를 상기 추출된 뎁스 정보에 기반하여 매핑하여 3차원 공간 모델링 데이터를 생성하도록 설정된 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 상기 적어도 하나의 객체 각각의 중심 좌표를 산출하고,
    상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산하고,
    상기 계산된 3차원 공간에 대한 좌표 및 상기 제1 위치 내지 상기 제4 위치 각각의 좌표에 기반하여 상기 적어도 하나의 객체를 포함하는 상기 3차원 공간 모델링 데이터를 생성하도록 설정된 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해, 상기 제1 위치 내지 상기 제4 위치 각각과 서로 다른 제5 위치 및 제6 위치에서 제5 이미지 및 제6 이미지를 각각 획득하고,
    상기 획득된 제5 이미지 및 제6 이미지에서 제5 뎁스 정보 및 제6 뎁스 정보를 각각 추출하고,
    상기 추출된 제5 뎁스 정보 및 상기 추출된 제6 뎁스 정보를 반영하여 상기 3차원 공간 모델링 데이터를 생성하도록 설정된 장치.
  7. 제1 항에 있어서,
    상기 제1 위치 내지 상기 제4 위치는 상기 특정 공간 내의 네 구석에 해당되는 위치이며,
    상기 제1 이미지 내지 상기 제4 이미지는 상기 특정 공간 내의 지면으로부터 동일한 높이에 위치한 상기 카메라를 통해 획득되는 장치.
  8. 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 방법에 있어서,
    카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하는 과정;
    상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하는 과정;
    상기 추출된 제1 뎁스 정보를 메모리에 저장하는 과정;
    상기 특정 공간의 제2 위치 내지 제4 위치에서 제2 이미지 내지 제4 이미지를 각각 획득하는 과정;
    상기 획득된 제2 이미지 내지 상기 획득된 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하는 과정;
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 적어도 하나의 객체의 엣지 영역을 추출하여 상기 적어도 하나의 객체의 종류, 크기 및 위치를 식별하는 과정;
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지에 대해 미리 결정된 셀들의 개수 단위로 그룹핑하는 과정;
    상기 제1 이미지 내지 상기 제4 이미지의 각각을 획득한 상기 카메라의 공간 좌표를 각각 획득하는 과정;
    상기 획득된 공간 좌표에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출하는 과정; 및
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 상기 적어도 하나의 객체를 상기 추출된 뎁스 정보에 기반하여 매핑하여 3차원 공간 모델링 데이터를 생성하는 과정을 포함하는 방법.
  9. 제8 항에 있어서,
    상기 3차원 공간 모델링 데이터를 생성하는 과정은,
    상기 적어도 하나의 객체 각각에 대해 가상의 수평선을 설정하여 상기 적어도 하나의 객체 각각의 중심 좌표를 산출하는 과정;
    상기 산출된 중심 좌표에 기반하여 상기 적어도 하나의 객체에 대한 3차원 공간에 대한 좌표를 계산하는 과정; 및
    상기 계산된 3차원 공간에 대한 좌표에 기반하여 상기 적어도 하나의 객체를 포함하는 상기 3차원 공간 모델링 데이터를 생성하는 과정을 포함하는 방법.
  10. 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하기 위해 매체에 저장된 컴퓨터 프로그램에 있어서,
    카메라를 통해 특정 공간의 제1 위치에서 제1 이미지를 획득하는 명령어들;
    상기 획득된 제1 이미지 내의 적어도 하나의 객체에 대한 제1 뎁스 정보를 추출하는 명령어들;
    상기 추출된 제1 뎁스 정보를 메모리에 저장하는 명령어들;
    상기 특정 공간의 제2 위치 내지 제4 위치에서 제2 이미지 내지 제4 이미지를 각각 획득하는 명령어들;
    상기 획득된 제2 이미지 내지 제4 이미지에서 제2 뎁스 정보 및 제4 뎁스 정보를 각각 추출하여 상기 메모리에 저장하는 명령어들;
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 적어도 하나의 객체의 엣지 영역을 추출하여 상기 적어도 하나의 객체의 종류, 크기 및 위치를 식별하는 명령어들;
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지에 대해 미리 결정된 셀들의 개수 단위로 그룹핑하는 명령어들;
    상기 제1 이미지 내지 상기 제4 이미지의 각각을 획득한 상기 카메라의 공간 좌표를 각각 획득하는 명령어들;
    상기 획득된 공간 좌표에 기반하여, 상기 그룹핑된 셀들 각각에 대한 뎁스 정보를 추출하는 명령어들; 및
    상기 획득된 제1 이미지 내지 상기 획득된 제4 이미지 각각에 포함된 상기 적어도 하나의 객체를 상기 추출된 뎁스 정보에 기반하여 매핑하여 상기 저장된 제1 뎁스 정보 내지 제4 뎁스 정보를 이용하여 3차원 공간 모델링 데이터를 생성하는 명령어들을 포함하는 컴퓨터 프로그램.
KR1020210164776A 2021-11-25 2021-11-25 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램 KR102662058B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210164776A KR102662058B1 (ko) 2021-11-25 2021-11-25 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210164776A KR102662058B1 (ko) 2021-11-25 2021-11-25 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램

Publications (2)

Publication Number Publication Date
KR20230077471A KR20230077471A (ko) 2023-06-01
KR102662058B1 true KR102662058B1 (ko) 2024-04-30

Family

ID=86770703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210164776A KR102662058B1 (ko) 2021-11-25 2021-11-25 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램

Country Status (1)

Country Link
KR (1) KR102662058B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381654B1 (ko) * 2012-12-13 2014-04-04 전자부품연구원 3ｄ 모델 생성 장치 및 이의 운용 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101288971B1 (ko) * 2007-02-16 2013-07-24 삼성전자주식회사 모델링 방법 및 장치
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
KR101388668B1 (ko) * 2011-11-29 2014-04-25 (주)리얼디스퀘어 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
KR101869605B1 (ko) * 2016-09-29 2018-06-21 전자부품연구원 평면정보를 이용한 3차원 공간 모델링 및 데이터 경량화 방법
KR101926701B1 (ko) 2017-08-16 2019-03-07 황금희 2d 데이터 - 3d 데이터 변환 장치 및 방법
KR102129458B1 (ko) * 2017-11-22 2020-07-08 한국전자통신연구원 객체의 3차원 정보 복원 방법 및 장치
KR102370326B1 (ko) * 2019-08-23 2022-03-04 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381654B1 (ko) * 2012-12-13 2014-04-04 전자부품연구원 3ｄ 모델 생성 장치 및 이의 운용 방법

Also Published As

Publication number Publication date
KR20230077471A (ko) 2023-06-01

Similar Documents

Publication Publication Date Title
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN107223269B (zh) 三维场景定位方法和装置
KR100443552B1 (ko) 가상 현실 구현 시스템 및 방법
EP2546806B1 (en) Image based rendering for ar - enabling user generation of 3d content
CN109829981B (zh) 三维场景呈现方法、装置、设备及存储介质
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN110163942B (zh) 一种图像数据处理方法和装置
CN108805979A (zh) 一种动态模型三维重建方法、装置、设备和存储介质
Comes Haptic devices and tactile experiences in museum exhibitions
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
CN106797458A (zh) 真实对象的虚拟改变
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
TWI502546B (zh) 推擠一模型通過二維場景的系統、方法和電腦程式商品
US11250643B2 (en) Method of providing virtual exhibition space using 2.5-dimensionalization
CN116057577A (zh) 用于增强现实的地图
CN107067461A (zh) 室内立体图的构建方法及装置
CN116109765A (zh) 标注对象的三维渲染方法、装置、计算机设备、存储介质
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
KR102662058B1 (ko) 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램
CN111815683B (zh) 目标定位方法及装置、电子设备和计算机可读介质
Deepu et al. 3D Reconstruction from Single 2D Image
CN112634439B (zh) 一种3d信息展示方法及装置
CN112634431A (zh) 一种三维纹理贴图转化成三维点云的方法及装置
CN112258435A (zh) 图像处理方法和相关产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant