KR102359230B1 - 가상 공간 제공 방법 및 장치 - Google Patents

가상 공간 제공 방법 및 장치 Download PDF

Info

Publication number
KR102359230B1
KR102359230B1 KR1020210119820A KR20210119820A KR102359230B1 KR 102359230 B1 KR102359230 B1 KR 102359230B1 KR 1020210119820 A KR1020210119820 A KR 1020210119820A KR 20210119820 A KR20210119820 A KR 20210119820A KR 102359230 B1 KR102359230 B1 KR 102359230B1
Authority
KR
South Korea
Prior art keywords
virtual space
image
space
wall surface
linear components
Prior art date
Application number
KR1020210119820A
Other languages
English (en)
Other versions
KR20210114365A (ko
Inventor
최지윤
신승호
임국찬
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210119820A priority Critical patent/KR102359230B1/ko
Publication of KR20210114365A publication Critical patent/KR20210114365A/ko
Application granted granted Critical
Publication of KR102359230B1 publication Critical patent/KR102359230B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법은, 현실 공간에 대한 영상을 분석하여 상기 현실 공간의 구조적 특징을 추출하는 단계와, 기 정의된 복수개의 가상 공간 모델 중에서, 상기 구조적 특징과 가장 유사한 어느 하나의 가상 공간 모델을 선택하는 단계와, 상기 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 상기 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하는 단계와, 사용자 인터페이스를 통한 인터랙션에 따라, 기 정의된 객체 데이터베이스를 이용하여 상기 가상 공간 내에 하나 이상의 객체를 배치하는 단계를 포함하고, 상기 구조적 특징을 추출하는 단계는, 상기 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하는 단계와, 상기 현실 공간에 대한 영상의 깊이 정보를 획득하는 단계와, 상기 복수개의 직선 성분을 연장하여 소실점을 검출하는 단계와, 상기 검출된 소실점의 위치를 기준으로 하여 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 넓이에 기초하여 상기 가상 공간의 첫 번째 벽면을 정의하는 단계와, 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 첫 번째 벽면과 일정 각도로 교차하여 이루는 면 중에서 넓이에 기초하여 두 번째 벽면을 정의하는 단계와, 상기 정의된 첫 번째 벽면 및 두 번째 벽면에 대한 정보를 상기 구조적 특징으로서 획득하는 단계를 포함한다.

Description

가상 공간 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING VIRTUAL ROOM}
본 발명은 가상 공간 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 현실 공간에 대한 영상에 대응하는 가상 공간을 제공하는 가상 공간 제공 방법 및 장치에 관한 것이다.
주지하고 있는 바와 같이, 가상 현실은 어떤 특정한 환경이나 상황을 컴퓨팅 연산을 통해 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황이나 환경과 상호작용을 하고 있는 것처럼 느끼는 착각을 일으키게 한다. 이러한 가상 현실은 여러 가지의 영상이나 컴퓨터 그래픽을 이용하여 가상 공간을 표시하고, 사용자의 동작에 따라 가상 공간을 변화시켜서 사용자가 가상 공간 내에 있는 것처럼 느끼게 할 수 있다.
한편, 가상 현실 기술 분야에서는 가상 현실 화면에 대한 현실감을 향상시키기 위한 노력이 지속되고 있는데, 사용자의 요구 또는 필요에 따라 현실 공간에 대응하는 가상 공간을 제공할 때에는 가상 현실 화면을 통해 제공되는 가상 공간이 현실 공간과 얼마만큼 유사한가에 따라 가상 현실 화면에 대한 현실감이 변화된다.
종래 기술에 따르면, 현실 공간에 대한 영상을 분석하여 영상 내에 존재하는 객체들을 모두 검출하고, 검출된 객체들에 대응하는 3차원 가상 모델을 생성하며, 생성된 3차원 가상 모델을 포함하는 가상 공간을 생성하여 가상 현실 화면을 제공하였다.
그러나, 종래 기술에 의하면, 현실 공간에 대한 영상 내에 존재하는 객체들이 정확히 검출되지 않을 경우에는 가상 공간의 현실 공간에 대한 유사성이 떨어져서 가상 현실 화면에 대한 현실감이 현저히 낮아진다. 또, 이처럼 현실감이 낮은 가상 공간이 제공되면서도 현실 공간 내에 존재하는 객체들을 검출하기 위해 많은 연산이 필요하기 때문에, 모바일 기기 등과 같이 하드웨어적인 제약으로 인해 컴퓨팅 연산능력이 제한되는 경우에는 실시간 처리를 통해 가상 공간을 제공할 수 없는 문제점이 있었다.
대한민국 공개특허공보 제10-2016-0125439호, 공개일자 2016년 10월 31일.
본 발명의 실시예에 의하면, 기 정의된 복수개의 가상 공간 모델 중에서 현실 공간에 대한 영상에 대응하는 가상 공간 모델을 선택하여 가상 공간을 제공함으로써, 적은 량의 컴퓨팅 연산량을 요구하기에, 컴퓨팅 연산능력이 제한되는 경우에도 실시간 처리가 가능하도록 하고, 가상 공간을 포함하는 가상 현실 화면에 대한 현실감은 항상 기초 수준 이상을 유지하도록 한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따라 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법은, 현실 공간에 대한 영상을 분석하여 상기 현실 공간의 구조적 특징을 추출하는 단계와, 기 정의된 복수개의 가상 공간 모델 중에서, 상기 구조적 특징과 가장 유사한 어느 하나의 가상 공간 모델을 선택하는 단계와, 상기 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 상기 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하는 단계와, 사용자 인터페이스를 통한 인터랙션에 따라, 기 정의된 객체 데이터베이스를 이용하여 상기 가상 공간 내에 하나 이상의 객체를 배치하는 단계를 포함하고, 상기 구조적 특징을 추출하는 단계는, 상기 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하는 단계와, 상기 현실 공간에 대한 영상의 깊이 정보를 획득하는 단계와, 상기 복수개의 직선 성분을 연장하여 소실점을 검출하는 단계와, 상기 검출된 소실점의 위치를 기준으로 하여 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 넓이에 기초하여 상기 가상 공간의 첫 번째 벽면을 정의하는 단계와, 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 첫 번째 벽면과 일정 각도로 교차하여 이루는 면 중에서 넓이에 기초하여 두 번째 벽면을 정의하는 단계와, 상기 정의된 첫 번째 벽면 및 두 번째 벽면에 대한 정보를 상기 구조적 특징으로서 획득하는 단계를 포함한다.
본 발명의 다른 관점에 따른 가상 공간 제공 장치는, 현실 공간에 대한 영상을 획득하는 영상 획득부와, 인터랙션을 위해 사용자 인터페이스를 제공하는 입력부와, 복수개의 가상 공간 모델 및 객체 데이터베이스가 저장되는 저장부와, 상기 현실 공간에 대한 영상에 대응하는 가공 공간을 출력하는 출력부와, 제어부를 포함하며, 상기 제어부는, 현실 공간에 대한 영상을 분석하여 상기 현실 공간의 구조적 특징을 추출하고, 상기 복수개의 가상 공간 모델 중에서, 상기 구조적 특징과 가장 유사한 어느 하나의 가상 공간 모델을 선택하고, 상기 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 상기 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하며, 상기 사용자 인터페이스를 통한 인터랙션에 따라, 상기 객체 데이터베이스를 이용하여 상기 가상 공간 내에 하나 이상의 객체를 배치하되, 상기 구조적 특징을 추출할 때에, 상기 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하고, 상기 현실 공간에 대한 영상의 깊이 정보를 획득하며, 상기 복수개의 직선 성분을 연장하여 소실점을 검출하고, 상기 검출된 소실점의 위치를 기준으로 하여 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 넓이에 기초하여 상기 가상 공간의 첫 번째 벽면을 정의하며, 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 첫 번째 벽면과 일정 각도로 교차하여 이루는 면 중에서 넓이에 기초하여 두 번째 벽면을 정의하고, 상기 정의된 첫 번째 벽면 및 두 번째 벽면에 대한 정보를 상기 구조적 특징으로서 획득한다.
본 발명의 실시예에 의하면, 기 정의된 복수개의 가상 공간 모델 중에서 현실 공간에 대한 영상에 대응하는 가상 공간 모델을 선택하여 가상 공간을 제공함으로써, 적은 량의 컴퓨팅 연산량을 요구하기에, 컴퓨팅 연산능력이 제한되는 경우에도 실시간 처리가 가능하도록 하고, 가상 공간을 포함하는 가상 현실 화면에 대한 현실감은 항상 기초 수준 이상을 유지하도록 한다.
아울러, 가상 공간을 위한 현실 공간의 영상에서 직선 성분을 추출한 결과를 기초로 구조적 특징을 획득하기 때문에, 현실 공간의 영상을 획득할 때에 현실 공간이 말끔히 정리되지 않은 상태라고 할지라도 무방하다. 이는 개인에 의해 관리되는 사적 공간뿐만 아니라 개인이 관여할 수 없는 다양한 공간까지 투영시켜 가상 공간을 생성할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법에서 가상 공간 모델을 선택하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법에서 현실 공간의 구조적 특징을 추출하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 가상 공간 제공 장치가 현실 공간에서 직선 성분을 추출하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따라 가상 공간 제공 장치가 가상 공간 모델에게 속성을 부여해 가상 공간을 생성하는 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따라 가상 공간 제공 장치가 가상 공간 내에 객체를 배치하는 과정을 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 공간 제공 장치의 블록 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 가상 공간 제공 장치(100)는 영상 획득부(110), 입력부(120), 저장부(130), 출력부(140), 제어부(150)를 포함한다.
영상 획득부(110)는 현실 공간에 대한 영상을 획득한다. 예를 들어, 영상 획득부(110)는 현실 공간에 대한 2차원 영상 정보와 깊이 정보를 획득할 수 있다.
이러한 영상 획득부(110)는 현실 세계를 촬영하는 카메라를 포함할 수 있고, 카메라에 의해 촬영된 프레임의 깊이 정보를 센싱하는 깊이 센서를 더 포함할 수 있다. 이 경우라면, 영상 획득부(110)는 카메라 및 깊이 센서를 이용하여 현실 공간에 대한 2차원 영상 정보와 깊이 정보를 직접 생성할 수 있다.
또는, 영상 획득부(110)는 가상 공간 제공 장치(100)와는 별도로 구비된 카메라 및 깊이 센서로부터 정보를 입력받을 수 있는 통신 인터페이스를 포함할 수 있다. 이 경우라면, 별도의 카메라에 의해 2차원 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 2차원 영상 정보를 입력받아 획득할 수 있다. 또, 별도의 깊이 센서에 의해 2차원 영상 정보에 대응하는 프레임의 깊이 정보가 생성되고, 영상 획득부(110)는 통신 인터페이스를 통해 깊이 정보를 입력받아 획득할 수 있다.
입력부(120)는 사용자가 가상 공간 제공 장치(100)와의 인터랙션을 위해 사용자 명령을 입력할 수 있는 인터페이스 수단이다. 예를 들어, 입력부(120)은 가상 공간 제공 장치(100)의 일측에 마련된 키패드를 포함할 수 있다. 또, 입력부(120)로서 출력부(140)를 통해 그래픽 사용자 인터페이스가 제공될 수도 있다.
저장부(130)에는 기 정의된 복수개의 가상 공간 모델이 저장되며, 복수개의 가상 공간 모델에 대한 구조적 특징에 대한 정보가 함께 저장될 수 있다. 또, 저장부(130)에는 가상 공간에 배치할 수 있는 복수개의 객체와 각 객체에 대응하는 텍스처(texture)를 포함하는 객체 데이터베이스가 함께 저장될 수 있다. 아울러, 저장부(130)에는 제어부(150)에 의한 실행 시에, 가상 공간 제공 과정을 전반적으로 제어할 수 있는 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장될 수 있다. 예를 들어, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
출력부(140)는 제어부(150)에 의해 수행되는 프로세스의 결과에 의한 제어신호에 따라, 현실 공간에 대응하는 가상 공간 모델에 의한 가상 공간을 포함하는 화면을 출력할 수 있다. 이처럼, 출력부(140)를 통해 출력되는 가상 공간 내에는 현실 공간에 대한 영상에서 추출할 수 있는 텍스처에 대응하는 객체가 배치되어 텍스처에 대응하는 속성이 가상 공간 모델에 부여될 수 있다. 예를 들어, 출력부(140)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자를 포함할 수 있다.
제어부(150)는 저장부(130)에 저장된 복수개의 가상 공간 모델 중에서, 영상 획득부(110)에 의해 획득된 현실 공간에 대한 영상에 대응하는 어느 하나의 가상 공간 모델을 선택하고, 현실 공간에 대한 영상의 일부 영역에서 추출된 특성을 기초로, 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하며, 입력부(120)를 통한 사용자와의 인터랙션에 따라, 저장부(130)에 저장된 객체 데이터베이스를 이용하여 가상 공간 내에 하나 이상의 객체를 배치할 수 있다.
이러한 제어부(150)는 영상 획득부(110)에 의해 획득된 현실 공간에 대한 영상을 분석하여 현실 공간의 구조적 특징을 추출하고, 저장부(130)에 저장된 복수개의 가상 공간 모델 중에서 추출된 구조적 특징과의 유사도가 가장 높은 가상 공간 모델을 출력부(140)를 통해 제공할 가상 공간 모델로서 선택할 수 있다.
또, 제어부(150)는 현실 공간의 구조적 특징을 추출할 때에, 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하고, 현실 공간에 대한 영상의 깊이 정보를 획득하며, 추출된 복수개의 직선 성분을 연장하여 소실점을 검출하고, 검출된 소실점의 위치를 기준으로 하여 복수개의 직선 성분이 형성할 수 있는 면 중에서 가상 공간의 벽면을 정의하며, 복수개의 직선 성분이 형성할 수 있는 면 중에서 정의된 벽면 내의 창문을 정의하고, 정의된 벽면에 대한 정보와 정의된 창문에 대한 정보를 구조적 특징으로서 획득할 수 있다.
또, 제어부(150)는 저장부(130)에 저장될 수 있는 컴퓨터 실행가능 명령어를 실행하여 가상 공간 제공 과정을 전반적으로 제어할 수 있는 프로세스를 수행할 수 있다. 예컨대, 제어부(150)는 CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등과 같은 프로세서를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법을 설명하기 위한 흐름도이다.
도 2에 나타낸 바와 같이 일 실시예에 따른 가상 공간 제공 방법은, 현실 공간에 대한 영상을 획득한 후, 기 정의된 복수개의 가상 공간 모델 중에서, 현실 공간에 대한 영상에 대응하는 어느 하나의 가상 공간 모델을 선택하는 단계(S200, S300)를 포함한다.
이어서, 일 실시예에 따른 가상 공간 제공 방법은, 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하는 단계(S400, S500)를 더 포함한다.
그리고, 일 실시예에 따른 가상 공간 제공 방법은, 사용자 인터페이스를 통한 인터랙션에 따라, 기 정의된 객체 데이터베이스를 이용하여 가상 공간 내에 하나 이상의 객체를 배치하는 단계(S600)를 더 포함한다.
도 3은 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법에서 가상 공간 모델을 선택하는 과정을 설명하기 위한 흐름도이다.
도 3에 나타낸 바와 같이 일 실시예에 따른 가상 공간 제공 방법에서 가상 공간 모델을 선택하는 단계(S300)는, 현실 공간에 대한 영상을 분석하여 현실 공간의 구조적 특징을 추출하는 단계(S310) 및 복수개의 가상 공간 모델 중에서 구조적 특징과 가장 유사한 가상 공간 모델을 어느 하나의 가상 공간 모델로서 선택하는 단계(S320)를 포함한다.
도 4는 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법에서 현실 공간의 구조적 특징을 추출하는 과정을 설명하기 위한 흐름도이다.
도 4에 나타낸 바와 같이 일 실시예에 따른 가상 공간 제공 방법에서 현실 공간의 구조적 특징을 추출하는 단계(S310)는, 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하는 단계(S311), 현실 공간에 대한 영상의 깊이 정보를 획득하는 단계(S312), 복수개의 직선 성분을 연장하여 소실점을 검출하는 단계(S313), 검출된 소실점의 위치를 기준으로 하여 복수개의 직선 성분이 형성할 수 있는 면 중에서 가상 공간의 벽면을 정의하는 단계(S14), 복수개의 직선 성분이 형성할 수 있는 면 중에서 정의된 벽면 내의 창문을 정의하는 단계(S315), 정의된 벽면에 대한 정보와 정의된 창문에 대한 정보를 현실 공간의 구조적 특징으로서 획득하는 단계(S316)를 포함한다.
이하, 도 1 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법에 대해 더 자세히 살펴보기로 한다.
먼저, 영상 획득부(110)는 현실 공간에 대한 영상을 획득한다(S200). 예를 들어, 영상 획득부(110)는 카메라 및 깊이 센서를 이용하여 현실 공간에 대한 2차원 영상 정보와 깊이 정보를 획득할 수 있다.
그리고, 제어부(150)는 기 정의되어 저장부(130)에 저장된 복수개의 가상 공간 모델 중에서 영상 획득부(110)에 의해 획득된 현실 공간에 대한 영상에 대응하는 어느 하나의 가상 공간 모델을 선택한다(S300).
여기서, 제어부(150)는 현실 공간에 대한 영상에 대응하는 가상 공간 모델을 선택하기 위해, 단계 S200에서 획득된 현실 공간에 대한 영상을 분석하여 현실 공간의 구조적 특징을 추출한다(S310).
이처럼, 제어부(150)가 현실 공간의 구조적 특징을 추출할 때에, 단계 S200에서 획득된 현실 공간에 대한 영상 내에서 먼저 복수개의 직선 성분을 추출한다. 예를 들어, 제어부(150)는 에지 디텍션(edge detection) 방식이나 피처 포인트(feature point) 방식을 이용하여 현실 공간에 대한 영상에 포함된 고주파수(high frequency) 성분을 분석하여 일직선으로 이어지는 직선 성분들을 정의할 수 있다(S311).
그리고, 제어부(150)는 현실 공간에 대한 영상의 깊이 정보를 획득한다. 예를 들어, 제어부(150)는 현실 공간에 대한 영상을 획득할 때에, 피처 포인트 방식이나 매칭 방식을 이용하여, 영상 내에서 영역들이 움직이는 양을 디스패리티(disparity)로 하여 깊이 맵을 계산할 수 있다. 또는, 영상 획득부(110)를 구성하는 깊이 센서로부터 센싱값을 입력받아 깊이 정보를 획득할 수도 있다(S312).
이어서, 제어부(150)는 현실 공간에 대한 영상 내에 추출된 복수개의 직선 성분을 연장하여 소실점을 검출하며(S313), 검출된 소실점의 위치를 기준으로 하여 복수개의 직선 성분이 형성할 수 있는 면 중에서 가상 공간의 벽면을 정의한다. 예를 들어, 제어부(150)는 소실점이 검출된 위치에서 복수개의 직선 성분이 형성할 수 있는 면 중에서 가장 넓게 차지할 수 있는 공간을 첫 번째 벽면으로 정의할 수 있으며, 첫 번째 벽면과 일정 각도로 교차하여 이루는 면들 중에서 가장 넓게 차지할 수 있는 공간을 두 번째 벽면으로 정의할 수 있고, 두 번째 벽의 반대편 공간 중 가장 넓은 면을 세 번째 벽면으로 정의할 수 있다(S314). 예컨대, 단계 S200에서 현실 공간에 대한 영상을 획득할 때에 어떤 각도로 현실 공간에 대한 영상을 획득하는가에 따라 가상 공간의 벽면은 두 개의 벽면 또는 세 개의 벽면으로 정의될 수 있다. 도 5에는 (가)와 같은 현실 공간에 대한 영상에 대해 (나)와 같이 두 개의 벽면(401, 402)이 정의되는 예를 나타내었다.
그리고, 제어부(150)는 복수개의 직선 성분이 형성할 수 있는 면 중에서 단계 S314에서 정의된 벽면 내의 창문을 정의한다. 예를 들어, 제어부(150)는 복수개의 직선 성분이 형성할 수 있는 면 중에서 단계 S314에서 정의된 벽면 내에 면을 창문으로 정의할 수 있다(S315). 예컨대, 도 5에 나타낸 바와 같이 벽면(401) 내의 면을 창문(403)으로 정의할 수 있으며, 도 5에는 하나의 창문(403)을 정의하는 예를 나타내었으나 이처럼 창문(403)을 정의하는 과정을 여러 차례 반복하여 복수의 창문을 정의할 수 있다.
이어서, 제어부(150)는 단계 S314에서 정의된 벽면에 대한 정보와 단계 S315에서 정의된 창문에 대한 정보를 현실 공간의 구조적 특징으로서 획득한다(S316).
아울러, 제어부(150)는 저장부(130)에 저장된 복수개의 가상 공간 모델 중에서 단계 S316에서 획득한 구조적 특징과 가장 유사한 가상 공간 모델을 사용자에게 제공할 가상 공간을 위한 가상 공간 모델로서 선택한다. 여기서, 제어부(150)는 저장부(130)에 저장된 복수개의 가상 공간 모델 중에서 단계 S314에서 정의된 벽면과 단계 S315에서 정의된 창문을 가지는 가상 공간 모델을 검색하여 가장 유사한 가상 공간 모델을 선택한다. 예를 들어, 제어부(150)는 단계 S310에서 추출된 현실 공간의 구조적 특징과 저장부(130)에 저장된 복수개의 가상 공간 모델의 유사도를 각각 산출하며, 가장 유사도가 높은 가상 공간 모델을 사용자에게 제공할 가상 공간을 위한 가상 공간 모델로서 선택할 수 있다.
다음으로, 제어부(150)는 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 단계 S300에서 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하고, 출력부(140)는 제어부(150)에 의해 생성된 가상 공간을 화면으로 출력한다. 여기서, 제어부(150)는 가상 공간에 미리 정의된 영역에 대한 현실 공간의 대응 영역에서 텍스처를 추출하며, 추출된 텍스처에 대응하는 객체를 저장부(130)의 객체 데이터베이스를 이용해 가상 공간에 생성함으로써, 추출된 텍스처에 대응하는 속성을 해당 가상 공간에 부여할 수 있다(S500). 예를 들어, 도 6에 나타낸 바와 같이 객체 데이터베이스를 검색하여, 현실 공간의 바닥면에서 추출된 텍스처에 대응하는 객체로서 침대(501)를 생성할 수 있다. 또, 현실 공간의 벽면에서 추출된 텍스처에 대응하는 객체로서 액자(502)와 벽장(503)을 생성할 수도 있다.
한편, 사용자는 입력부(120) 등의 사용자 인터페이스를 이용하여 가상 공간 제공 장치(100)와의 인터랙션을 유발할 수 있고, 제어부(150)는 인터랙션에 따라, 저장부(130)의 객체 데이터베이스를 이용하여 가상 공간 내에 하나 이상의 객체를 배치한다(S600). 예를 들어, 도 7에 나타낸 바와 같이 사용자에 의해 지정된 위치에 사용자에 의해 지정된 객체들(601, 602, 603)을 생성할 수 있다.
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 기 정의된 복수개의 가상 공간 모델 중에서 현실 공간에 대한 영상에 대응하는 가상 공간 모델을 선택하여 가상 공간을 제공함으로써, 적은 량의 컴퓨팅 연산량을 요구하기에, 컴퓨팅 연산능력이 제한되는 경우에도 실시간 처리가 가능하도록 하고, 가상 공간을 포함하는 가상 현실 화면에 대한 현실감은 항상 기초 수준 이상을 유지하도록 한다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 가상 공간 제공 장치
110 : 영상 획득부 120 : 입력부
130 : 저장부 140 : 출력부
150 : 제어부

Claims (9)

  1. 가상 공간 제공 장치가 수행하는 가상 공간 제공 방법으로서,
    현실 공간에 대한 영상을 분석하여 상기 현실 공간의 구조적 특징을 추출하는 단계와,
    기 정의된 복수개의 가상 공간 모델 중에서, 상기 구조적 특징과 가장 유사한 어느 하나의 가상 공간 모델을 선택하는 단계와,
    상기 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처(texture)를 기초로, 상기 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하는 단계와,
    사용자 인터페이스를 통한 인터랙션에 따라, 기 정의된 객체 데이터베이스를 이용하여 상기 가상 공간 내에 하나 이상의 객체를 배치하는 단계를 포함하고,
    상기 구조적 특징을 추출하는 단계는,
    상기 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하는 단계와,
    상기 현실 공간에 대한 영상의 깊이 정보를 획득하는 단계와,
    상기 복수개의 직선 성분을 연장하여 소실점을 검출하는 단계와,
    상기 검출된 소실점의 위치를 기준으로 하여 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 넓이에 기초하여 상기 가상 공간의 첫 번째 벽면을 정의하는 단계와,
    상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 첫 번째 벽면과 일정 각도로 교차하여 이루는 면 중에서 넓이에 기초하여 두 번째 벽면을 정의하는 단계와,
    상기 정의된 첫 번째 벽면 및 두 번째 벽면에 대한 정보를 상기 구조적 특징으로서 획득하는 단계를 포함하는
    가상 공간 제공 방법.
  2. 제 1 항에 있어서,
    상기 구조적 특징을 추출하는 단계는,
    상기 정의된 두 번째 벽면의 반대편 공간 중에서 넓이에 기초하여 세 번째 벽면을 정의하는 단계를 더 포함하고,
    상기 구조적 특징으로서 획득하는 단계는,
    상기 정의된 세 번째 벽면에 대한 정보를 상기 구조적 특징으로서 더 포함하여 획득하는
    가상 공간 제공 방법.
  3. 제 1 항에 있어서,
    상기 구조적 특징을 추출하는 단계는,
    상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 정의된 첫 번째 벽면 또는 두 번째 벽면 내의 창문을 정의하는 단계를 더 포함하고,
    상기 구조적 특징으로서 획득하는 단계는,
    상기 정의된 창문에 대한 정보를 상기 구조적 특징으로서 더 포함하여 획득하는
    가상 공간 제공 방법.
  4. 제 1 항에 있어서,
    상기 가상 공간을 생성하는 단계는, 상기 객체 데이터베이스에 저장된 객체 모델 중에서 상기 텍스처에 대응하는 속성을 가지는 객체를 상기 가상 공간에 생성하는
    가상 공간 제공 방법.
  5. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제 1 항 내지 제 4 항 중 어느 한 항의 가상 공간 제공 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
  6. 현실 공간에 대한 영상을 획득하는 영상 획득부와,
    인터랙션을 위해 사용자 인터페이스를 제공하는 입력부와,
    복수개의 가상 공간 모델 및 객체 데이터베이스가 저장되는 저장부와,
    상기 현실 공간에 대한 영상에 대응하는 가공 공간을 출력하는 출력부와,
    제어부를 포함하며,
    상기 제어부는, 현실 공간에 대한 영상을 분석하여 상기 현실 공간의 구조적 특징을 추출하고, 상기 복수개의 가상 공간 모델 중에서, 상기 구조적 특징과 가장 유사한 어느 하나의 가상 공간 모델을 선택하고, 상기 현실 공간에 대한 영상의 일부 영역에서 추출된 텍스처를 기초로, 상기 선택된 가상 공간 모델에게 속성을 부여하여 가상 공간을 생성하며, 상기 사용자 인터페이스를 통한 인터랙션에 따라, 상기 객체 데이터베이스를 이용하여 상기 가상 공간 내에 하나 이상의 객체를 배치하되, 상기 구조적 특징을 추출할 때에, 상기 현실 공간에 대한 영상 내에서 복수개의 직선 성분을 추출하고, 상기 현실 공간에 대한 영상의 깊이 정보를 획득하며, 상기 복수개의 직선 성분을 연장하여 소실점을 검출하고, 상기 검출된 소실점의 위치를 기준으로 하여 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 넓이에 기초하여 상기 가상 공간의 첫 번째 벽면을 정의하며, 상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 첫 번째 벽면과 일정 각도로 교차하여 이루는 면 중에서 넓이에 기초하여 두 번째 벽면을 정의하고, 상기 정의된 첫 번째 벽면 및 두 번째 벽면에 대한 정보를 상기 구조적 특징으로서 획득하는
    가상 공간 제공 장치.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 정의된 두 번째 벽면의 반대편 공간 중에서 넓이에 기초하여 세 번째 벽면을 정의하고, 상기 정의된 세 번째 벽면에 대한 정보를 상기 구조적 특징으로서 더 포함하여 획득하는
    가상 공간 제공 장치.
  8. 제 6 항에 있어서,
    상기 제어부는,
    상기 복수개의 직선 성분이 형성할 수 있는 면 중에서 상기 정의된 첫 번째 벽면 또는 두 번째 벽면 내의 창문을 정의하고, 상기 정의된 창문에 대한 정보를 상기 구조적 특징으로서 더 포함하여 획득하는
    가상 공간 제공 장치.
  9. 제 6 항에 있어서,
    상기 제어부는, 상기 객체 데이터베이스에 저장된 객체 모델 중에서 상기 텍스처에 대응하는 속성을 가지는 객체를 상기 가상 공간에 생성하는
    가상 공간 제공 장치.
KR1020210119820A 2017-10-31 2021-09-08 가상 공간 제공 방법 및 장치 KR102359230B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119820A KR102359230B1 (ko) 2017-10-31 2021-09-08 가상 공간 제공 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170143515A KR102314787B1 (ko) 2017-10-31 2017-10-31 가상 공간 제공 방법 및 장치
KR1020210119820A KR102359230B1 (ko) 2017-10-31 2021-09-08 가상 공간 제공 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143515A Division KR102314787B1 (ko) 2017-10-31 2017-10-31 가상 공간 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210114365A KR20210114365A (ko) 2021-09-23
KR102359230B1 true KR102359230B1 (ko) 2022-02-08

Family

ID=66546140

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170143515A KR102314787B1 (ko) 2017-10-31 2017-10-31 가상 공간 제공 방법 및 장치
KR1020210119820A KR102359230B1 (ko) 2017-10-31 2021-09-08 가상 공간 제공 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170143515A KR102314787B1 (ko) 2017-10-31 2017-10-31 가상 공간 제공 방법 및 장치

Country Status (1)

Country Link
KR (2) KR102314787B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102601196B1 (ko) * 2022-06-10 2023-11-13 (주)딜리셔스랑고 사용자 맞춤형 가상공간 생성 서비스 제공 장치, 시스템, 방법 및 프로그램
KR102622709B1 (ko) * 2022-06-13 2024-01-08 태나다 주식회사 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
KR102652446B1 (ko) 2023-12-29 2024-03-28 주식회사 커넥트코리아 주택 데이터 기반 가상 공간 생성 방법, 장치 및 시스템
KR102664237B1 (ko) 2024-01-05 2024-05-08 주식회사 커넥트코리아 가상 공간을 활용한 가구 배치 방법, 장치 및 시스템
KR102649178B1 (ko) 2024-01-10 2024-03-19 주식회사 커넥트코리아 사용자 맞춤형 인테리어 디자인 제공 방법, 장치 및 시스템
KR102658273B1 (ko) 2024-01-16 2024-04-18 주식회사 커넥트코리아 실내 디자인을 기반으로 인테리어를 생성하는 방법, 장치 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003518294A (ja) * 1999-12-22 2003-06-03 ナショナル・リサーチ・カウンシル・オブ・カナダ ３次元画像検索方法
JP2006318015A (ja) * 2005-05-10 2006-11-24 Sony Corp 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム
KR100735676B1 (ko) * 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052772A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 증강 현실 환경에서 증강 현실 서비스 제공 방법 및 이를 위한 시스템
CN106255996B (zh) 2014-02-26 2020-09-04 萨万特系统有限责任公司 用户生成的基于虚拟房间的用户接口

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003518294A (ja) * 1999-12-22 2003-06-03 ナショナル・リサーチ・カウンシル・オブ・カナダ ３次元画像検索方法
JP2006318015A (ja) * 2005-05-10 2006-11-24 Sony Corp 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム
KR100735676B1 (ko) * 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법

Also Published As

Publication number Publication date
KR20210114365A (ko) 2021-09-23
KR20190048506A (ko) 2019-05-09
KR102314787B1 (ko) 2021-10-20

Similar Documents

Publication Publication Date Title
KR102359230B1 (ko) 가상 공간 제공 방법 및 장치
US11989895B2 (en) Capturing environmental features using 2D and 3D scans
EP3176678B1 (en) Gesture-based object measurement method and apparatus
CN105637564B (zh) 产生未知对象的扩增现实内容
CN105637559B (zh) 使用深度传感器的结构建模
JP5952001B2 (ja) 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム
KR101288971B1 (ko) 모델링 방법 및 장치
CN105493154B (zh) 用于确定增强现实环境中的平面的范围的系统和方法
JP2013235373A5 (ko)
US11842514B1 (en) Determining a pose of an object from rgb-d images
JP2016126795A5 (ko)
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
TW201503050A (zh) 三維資料視覺化技術
KR102068489B1 (ko) 3차원 객체 생성 장치
KR20110051044A (ko) 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치
KR101919077B1 (ko) 증강 현실 표시 방법 및 장치
US20170214880A1 (en) Method for helping a person to select a furnishing covering surface
EP2590417A1 (en) Stereoscopic image display apparatus
KR102388715B1 (ko) 문화유적복원 실감 장치
US9218104B2 (en) Image processing device, image processing method, and computer program product
KR20210023663A (ko) 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치
Hao et al. Development of 3D feature detection and on board mapping algorithm from video camera for navigation
JP2005321966A (ja) インタフェース方法、装置、およびプログラム
EP4020400A2 (en) Image processing method and image processing device for generating 3d content by means of 2d images
JP2013196648A (ja) 情報処理装置、情報処理方法、プログラムおよびコンピュータ読取り可能な記憶媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant