KR101901663B1 - 증강현실 기반 셀프 인테리어 시스템 및 방법 - Google Patents
증강현실 기반 셀프 인테리어 시스템 및 방법 Download PDFInfo
- Publication number
- KR101901663B1 KR101901663B1 KR1020170074452A KR20170074452A KR101901663B1 KR 101901663 B1 KR101901663 B1 KR 101901663B1 KR 1020170074452 A KR1020170074452 A KR 1020170074452A KR 20170074452 A KR20170074452 A KR 20170074452A KR 101901663 B1 KR101901663 B1 KR 101901663B1
- Authority
- KR
- South Korea
- Prior art keywords
- space
- virtual
- image
- information
- interior
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 239000003550 marker Substances 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000000465 moulding Methods 0.000 abstract description 16
- 239000000463 material Substances 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06F17/5004—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 셀프 인테리어를 수행함에 있어 시스템 몰딩을 가상으로 수행하는 증강현실 기반 셀프 인테리어 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 천장, 창틀 등 현실 공간(사용자의 셀프 인테리어 공간)의 작업 환경을 영상을 통해 측정하고 입력된 영상에 가상의 시스템 몰딩 부품을 합성하여 실제 공간에 셀프 인테리어(시스템 몰딩)를 진행하였을 경우에 대한 결과물을 실시간으로 확인할 수 있는 셀프 인테리어 시스템 및 방법에 관한 것이다.
본 발명은 사용자 모바일 디바이스에서 입력받은 현실공간에 시스템 몰딩을 수행하는 가상의 오브젝트를 합성하여 출력함으로써 현실공간에서 인테리어를 수행한 결과물과 유사한 시뮬레이션을 수행할 수 있어 현실감 있는 시뮬레이션이 가능하며, 공간 정합 부정합 문제가 발생하지 않는다.
또한 본 발명은 상기 시뮬레이션을 통해 인테리어를 사전 작업함으로써 인테리어 작업 시 불필요한 재료, 시간 등이 감소하기 때문에 인테리어에 소요되는 비용을 줄일 수 있다.
본 발명은 사용자 모바일 디바이스에서 입력받은 현실공간에 시스템 몰딩을 수행하는 가상의 오브젝트를 합성하여 출력함으로써 현실공간에서 인테리어를 수행한 결과물과 유사한 시뮬레이션을 수행할 수 있어 현실감 있는 시뮬레이션이 가능하며, 공간 정합 부정합 문제가 발생하지 않는다.
또한 본 발명은 상기 시뮬레이션을 통해 인테리어를 사전 작업함으로써 인테리어 작업 시 불필요한 재료, 시간 등이 감소하기 때문에 인테리어에 소요되는 비용을 줄일 수 있다.
Description
본 발명은 셀프 인테리어를 수행함에 있어 시스템 몰딩을 가상으로 수행하는 증강현실 기반 셀프 인테리어 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 천장, 창틀 등 현실 공간(사용자의 셀프 인테리어 공간)의 작업 환경을 영상을 통해 측정하고 입력된 영상에 가상의 시스템 몰딩 부품을 합성하여 실제 공간에 셀프 인테리어(시스템 몰딩)를 진행하였을 경우에 대한 결과물을 실시간으로 확인할 수 있는 셀프 인테리어 시스템 및 방법에 관한 것이다.
일반적으로 셀프 인테리어를 수행하기 전에 작업의 결과물을 예상하기 위해서는 상기 작업을 수행하는 사람의 노하우 또는 경력으로 예상하기 때문에 셀프 인테리어를 수행한 후에 원하는 결과물을 도출하지 못하는 문제점이 있다.
상기 문제점을 해결하기 위하여 가상의 공간에서 가상의 오브젝트를 이용하여 인테리어 결과물을 확인하는 시스템(한국등록특허 제10-1334540호 등)들이 사용되고 있다.
그러나 상기 시스템들은 인테리어를 수행하는 현실공간이 아닌 가상의 공간에서 인테리어를 수행하기 때문에 상기 가상의 공간과 실제 공간의 유사도가 낮아 상기 인테리어 수행 작업에 따른 실제 인테리어 작업 시 부조화 및 구성 배치 오류 등 문제가 발생한다.
또한 가상의 가구를 배치하거나 홈퍼니싱 제품에 대한 배치만을 수행하기 때문에 시스템 몰딩과 같이 인테리어 제품을 가공하여 부착하는 방식의 경우에 대한 사전 결과물 확인하기 어렵다는 문제가 있다.
따라서 본 발명은 상기 문제점들을 해결하기 위하여 안출된 것으로서, 가상의 공간이 아닌 현실 공간의 영상에서 시스템 몰딩을 수행하는 공간을 측정하고, 측정된 영역에 시스템 몰딩을 수행하는 재료에 대한 가상의 오브젝트를 합성하여 사용자 모바일 디바이스의 디스플레이로 출력함으로써, 가상의 공간과 실제 공간의 유사도를 높이고, 인테리어 작업 시 발생하는 부조화 및 구성 배치 오류를 개선하는 것을 목적으로 한다.
또한 본 발명은 사용자 모바일 디바이스에서 입력받은 현실 공간에 시스템 몰딩을 수행하는 가상의 오브젝트를 합성하여 출력함으로써, 현실 공간에서 인테리어를 수행한 결과물과 유사한 시뮬레이션을 수행할 수 있어 현실감 있는 시뮬레이션이 가능하고, 공간 정합 부정합 문제가 발생하지 않는 증강현실 기반 인테리어 시스템을 제공하는 것을 목적으로 한다.
본 발명은 상술한 목적을 달성하기 위해 안출된 것으로서, 본 발명은 사용자가 실제 인테리어를 수행하는 공간으로서, 상기 사용자가 인테리어 시뮬레이션을 수행할 영역에 이미지 마커를 부착한 공간이며, 모바일 디바이스(200)로 영상을 전송하기 위하여 웹캠에 의하여 촬영되는 현실 공간(100); 상기 웹캠을 통해 촬영된 상기 현실 공간(100)의 영상을 입력받아 가상 인테리어 시스템(300)으로 전송하고, 상기 가상 인테리어 시스템(300)으로부터 합성된 영상을 전송받아 디스플레이를 통하여 사용자에게 제공하는 모바일 디바이스(200); 상기 모바일 디바이스(200)에 내장되어 있으며 공간 좌표 측정 모듈(310), 타겟 인식 모듈(320) 및 객체 증강 모듈(330)을 포함하고 있는 가상 인테리어 시스템(300); 및 상기 타겟 인식 모듈(320)에서 인식하기 위한 이미지 마커의 패턴 정보, 상기 패턴 정보에 해당하는 가상의 오브젝트에 대한 정보 및 시뮬레이션을 수행하기 위한 정보를 저장하고 있는 데이터베이스(400);를 포함하고, 상기 가상 인테리어 시스템(300)은 상기 모바일 디바이스(200)에서 입력된 영상으로부터 시뮬레이션을 수행할 영역을 측정하여 사용자가 시뮬레이션을 수행할 영역을 지정하게 하는 공간 좌표 측정 모듈(310); 상기 공간 좌표 측정 모듈(310)에서 측정된 영역에 존재하는 상기 이미지 마커를 추출하고, 상기 추출된 이미지 마커의 패턴에 해당하는 가상의 오브젝트를 상기 데이터베이스(400)에서 검출하는 타겟 인식 모듈(320); 및 상기 타겟 인식 모듈(320)에서 추출된 이미지 마커의 2차원 좌표를 가상의 3차원 좌표로 변환하고, 변환된 좌표에 상기 데이터베이스(400)에서 검출된 가상의 오브젝트를 합성하여 모바일 디바이스(200)로 전송하는 객체 증강 모듈(330)을 포함하는 것을 특징으로 하는 증강현실 기반 셀프 인테리어 시스템을 제공한다.
또한 본 발명은 모바일 디바이스(200)에서 현실 공간(100)을 포함한 영상을 입력받는 영상 입력 단계(S101); 상기 영상 입력 단계(S101)에서 입력받은 영상을 이진화하고 잡음을 제거하는 영상 전처리 단계(S102); 상기 영상 전처리 단계(S102)에서 전처리된 영상에서 에지 정보를 추출하는 에지 정보 추출단계(S103); 상기 모바일 디바이스(200)에 입력된 영상에서 사용자가 임시 가상 영역을 설정하고, 상기 에지 정보 추출단계(S103)에서 추출된 에지 중 상기 설정된 임시 가상 영역에 존재하는 에지 정보로부터 인테리어 수행을 위한 시뮬레이션 공간을 설정하고, 좌표 정보 및 인테리어 수행에 필요한 정보를 추출하는 시뮬레이션 공간 설정 단계(S104); 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 시뮬레이션 공간에 존재하는 에지 정보에서 코너 및 픽셀 정보를 이용하여 특징점을 추출하여 벡터정보로 변환하는 특징점 추출 단계(S105); 상기 특징점 추출 단계(S105)에서 추출된 특징점들로 이루어진 패턴을 데이터베이스(400)에 저장되어 있는 패턴 정보와 매칭하여 해당 패턴과 연동된 인테리어를 수행할 가상의 오브젝트를 도출하고, 상기 패턴을 가지고 있는 이미지 마커의 2차원 좌표를 3차원 좌표로 변환하여 이를 상기 도출된 가상의 오브젝트에 적용하여 합성하는 객체 증강 단계(S106); 및 상기 객체 증강 단계(S106)에서 합성된 영상을 모바일 디바이스(200)의 디스플레이를 통해 출력하여 사용자에게 시뮬레이션 정보를 제공하는 영상 출력 단계(S107)를 포함하는 상기 증강현실 기반 셀프 인테리어 시스템을 사용한 증강현실 기반 셀프 인테리어 방법을 제공한다.
본 발명의 일실시예에 있어서, 상기 시뮬레이션 공간 설정 단계(S104)는 모바일 디바이스(200)에 입력된 영상에서 사용자가 가상 시뮬레이션을 수행하는 공간을 선택하여 가상의 영상 처리 공간을 설정하고, 상기 설정된 가상의 영상 처리 공간 내에 추출된 에지 정보들만을 추출하고 나머지 에지 정보를 제거하며, 상기 추출된 에지 정보를 기반으로 현실 공간(100)의 2차원 좌표를 추출하고 추출된 좌표에 카메라 보정기법을 적용하여 3차원 공간정보를 도출하고, 상기 도출된 정보를 기반으로 가상 공간의 정보를 추출하여 객체를 증강하기 위한 가상 공간을 생성하는 것을 특징으로 한다.
본 발명의 일실시예에 있어서, 상기 객체 증강 단계(S106)는 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 공간의 픽셀과 히스토그램 분포를 추출하여 색상 정보와 상기 설정된 공간에 존재하는 에지 정보를 기반으로 코너 및 특징 벡터를 추출하고, 상기 추출된 코너, 특징 벡터 및 색상 정보를 기반으로 검색 패턴을 생성하고, 상기 생성된 검색 패턴을 상기 데이터베이스(400)에 저장되어 있는 기준 패턴 정보와 상관관계를 분석하고 템플릿 매칭을 통해 비교하여 패턴 ID를 추출하며, 상기 추출된 패턴 ID와 연동된 인테리어를 수행하기 위한 가상의 오브젝트를 검색하고, 상기 추출된 검색 패턴에 해당하는 입력영상의 2차원 좌표를 카메라 보정하여 3차원 좌표로 변환하고, 변환된 좌표를 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 가상 공간에 정합하고, 상기 정합된 정보를 상기 검색된 가상의 오브젝트의 4차원 행렬에 적용하여 오브젝트 좌표 및 로테이션 값을 설정하며, 상기 설정된 로테이션 값을 기반으로 가상 공간에 합성하는 것을 특징으로 한다.
본 발명에 의한 증강현실 기반 셀프 인테리어 시스템은 종래의 가상 공간에서 인테리어를 수행하는 시뮬레이션 시스템들이 실제 공간과 가상 공간의 공간 부조화로 인한 정확한 시뮬레이션을 수행하지 못하는 문제점과 시스템 몰딩과 같은 인테리어 재료를 이용한 방식을 수행하지 못하는 문제점들을 해결할 수 있다.
본 발명은 사용자 모바일 디바이스에서 입력받은 현실공간에 시스템 몰딩을 수행하는 가상의 오브젝트를 합성하여 출력함으로써 현실공간에서 인테리어를 수행한 결과물과 유사한 시뮬레이션을 수행할 수 있어 현실감 있는 시뮬레이션이 가능하며, 공간 정합 부정합 문제가 발생하지 않는다.
또한 본 발명은 상기 시뮬레이션을 통해 인테리어를 사전 작업함으로써 인테리어 작업 시 불필요한 재료, 시간 등이 감소하기 때문에 인테리어에 소요되는 비용을 줄일 수 있다.
도 1은 본 발명의 일실시예에 의한 가상 시스템 몰딩 수행을 위한 증강현실 기반 셀프 인테리어 시스템의 구조도를 나타낸다.
도 2는 본 발명의 일실시예에 의한 가상 시스템 몰딩 수행을 위한 증강현실 기반 셀프 인테리어 방법의 순서도를 나타낸다.
도 2는 본 발명의 일실시예에 의한 가상 시스템 몰딩 수행을 위한 증강현실 기반 셀프 인테리어 방법의 순서도를 나타낸다.
이하 도면을 바탕으로 본 발명을 상세히 설명한다. 본 발명에 사용된 용어, 도면 등은 본 발명을 보다 구체적으로 설명하고 통상의 기술자의 이해를 돕기 위하여 예시된 것에 불과할 뿐이며, 본 발명의 권리범위 등이 이에 한정되어 해석되어서는 안 된다.
본 발명에 사용되는 기술 용어 및 과학 용어는 다른 정의가 없다면 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 나타낸다.
도 1은 본 발명의 일실시예에 의한 증강현실 기반 셀프 인테리어 시스템의 구조도이다.
도 1에 도시한 바와 같이, 본 발명에 의한 증강현실 기반 셀프 인테리어 시스템은 사용자가 실제 인테리어 작업을 수행할 현실 공간으로 가상의 오브젝트를 합성하기 위한 타겟(이미지 마커)이 존재하는 현실 공간(100), 상기 현실 공간(100)을 촬영하기 위한 웹캠을 포함하는 모바일 디바이스(200), 가상 인테리어 시스템(300) 및 데이터베이스(400)를 포함한다.
상기 현실 공간(100)은 사용자가 실제 인테리어를 수행하는 현실 공간으로서, 상기 사용자가 인테리어 시뮬레이션을 수행할 영역에 이미지 마커를 부착한 공간이며, 상기 현실 공간(100)의 영상은 웹캠에 의하여 촬영되어 모바일 디바이스(200)로 전송된다.
상기 모바일 디바이스(200)는 상기 웹캠을 통해 촬영된 상기 현실 공간(100)의 영상을 입력받아 가상 인테리어 시스템(300)으로 전송하고, 상기 가상 인테리어 시스템(300)으로부터 합성된 영상을 디스플레이를 통하여 사용자에게 제공한다.
상기 가상 인테리어 시스템(300)은 상기 모바일 디바이스(200)에 내장되어 있으며 공간 좌표 측정 모듈(310), 타겟 인식 모듈(320), 객체 증강 모듈(330)을 포함한다.
상기 데이터베이스(400)는 상기 모바일 디바이스(200)에 내장되어 있으며 상기 가상 인테리어 시스템(300)과 연동되어 정보를 저장하고 관리한다.
상기 가상 인테리어 시스템(300)은 상기 모바일 디바이스(200)에서 입력된 영상으로부터 시뮬레이션을 수행할 영역을 측정하여 사용자가 시뮬레이션을 수행할 영역을 지정하게 하는 공간 좌표 측정 모듈(310); 상기 공간 좌표 측정 모듈(310)에서 측정된 영역에 존재하는 상기 이미지 마커를 추출하고 상기 추출된 이미지 마커의 패턴에 해당하는 가상의 오브젝트(상기 인테리어를 수행할 시스템 몰딩의 가상 오브젝트)를 상기 데이터베이스(400)에서 검출하는 타겟 인식 모듈(320); 및 상기 타겟 인식 모듈(320)에서 추출된 이미지 마커의 2차원 좌표를 가상의 3차원 좌표로 변환하고 변환된 좌표에 상기 데이터베이스(400)에서 검출된 가상의 오브젝트를 합성하여 영상에 출력하는 객체 증강모듈(330)을 포함하며, 상기 모바일 디바이스(200)에 내장되어 시스템 몰딩을 위한 가상 인테리어 시뮬레이션을 수행한다.
상기 데이터베이스(400)는 상기 타겟 인식 모듈(320)에서 인식하기 위한 이미지 마커의 패턴 정보, 상기 패턴 정보에 해당하는 가상의 오브젝트에 대한 정보, 시뮬레이션을 수행하기 위한 정보 등을 저장하고 있다.
도 2는 본 발명의 일실시예에 의한 증강현실 기반 셀프 인테리어 방법의 순서도이다.
도 2에 도시한 바와 같이, 본 발명에 의한 증강현실 기반 셀프 인테리어 방법은 상기 모바일 디바이스(200)에서 상기 현실 공간(100)을 포함한 영상을 입력받는 영상 입력 단계(S101), 상기 영상 입력 단계(S101)에서 입력받은 영상을 이진화하고 잡음을 제거하는 영상 전처리 단계(S102), 상기 영상 전처리 단계(S102)에서 전처리된 영상에서 에지 정보를 추출하는 에지 정보 추출단계(S103), 상기 모바일 디바이스(200)에서 입력된 영상에서 사용자가 임시 가상 영역(상기 현실 공간(100)에 이미지 마커가 포함되어 있으며 인테리어를 수행할 공간)을 설정하고 상기 에지 정보 추출단계(S103)에서 추출된 에지 중 상기 설정된 가상 영역에 존재하는 에지 정보로부터 인테리어 수행을 위한 시뮬레이션 공간을 설정하고 좌표 정보 및 인테리어 수행에 필요한 길이, 깊이 너비 등의 정보를 추출하는 시뮬레이션 공간 설정 단계(S104), 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 공간에 존재하는 에지 정보에서 코너, 픽셀 정보 등을 이용하여 특징점을 추출하여 벡터정보로 변환하는 특징 점 추출 단계(S105), 상기 특징 점 추출 단계(S105)에서 추출된 특징점들로 이루어진 패턴을 상기 데이터베이스(400)에 저장되어 있는 패턴 정보와 매칭하여 해당 패턴과 연동된 상기 시스템 몰딩을 수행할 가상의 오브젝트를 도출하고 상기 패턴을 가지고 있는 이미지 마커의 2차원 좌표를 3차원 좌표로 변환하여 이를 상기 도출된 가상의 오브젝트에 적용하여 합성하는 객체 증강 단계(S106) 및 상기 객체 증강 단계(S106)에서 합성된 영상을 상기 모바일 디바이스(200)의 디스플레이를 통해 출력하여 사용자에게 시뮬레이션 정보를 제공하는 영상 출력 단계(S107)를 포함한다.
상기 시뮬레이션 공간 설정 단계(S104)는 모바일 디바이스(200)에 입력된 영상에서 사용자가 가상 시뮬레이션을 수행하는 공간을 선택하여 가상의 영상 처리 공간을 설정하고, 상기 설정된 가상의 영상 처리 공간 내에 추출된 에지 정보들만을 추출하고 나머지 에지 정보를 제거하며, 상기 추출된 에지 정보를 기반으로 현실 공간(100)의 2차원 좌표를 추출하고 추출된 좌표에 카메라 보정기법을 적용하여 3차원 공간정보를 도출하고, 상기 도출된 정보를 기반으로 가상 공간의 정보를 추출하여 객체를 증강하기 위한 가상 공간을 생성하는 것을 특징으로 한다.
상기 객체 증강 단계(S106)는 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 공간의 픽셀과 히스토그램 분포를 추출하여 색상 정보와 상기 설정된 공간에 존재하는 에지 정보를 기반으로 코너 및 특징 벡터를 추출하고, 상기 추출된 코너, 특징 벡터 및 색상 정보를 기반으로 검색 패턴을 생성하고, 상기 생성된 검색 패턴을 상기 데이터베이스(400)에 저장되어 있는 기준 패턴 정보와 상관관계를 분석하고 템플릿 매칭을 통해 비교하여 패턴 ID를 추출하며, 상기 추출된 패턴 ID와 연동된 인테리어를 수행하기 위한 가상의 오브젝트를 검색하고, 상기 추출된 검색 패턴에 해당하는 입력영상의 2차원 좌표를 카메라 보정하여 3차원 좌표로 변환하고, 변환된 좌표를 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 가상 공간에 정합하고, 상기 정합된 정보를 상기 검색된 가상의 오브젝트의 4차원 행렬에 적용하여 오브젝트 좌표 및 로테이션 값을 설정하며, 상기 설정된 로테이션 값을 기반으로 가상 공간에 합성하는 것을 특징으로 한다.
100: 현실 공간 200: 모바일 디바이스
300: 가상 인테리어 시스템 310: 공간 좌표 측정 모듈
320: 타겟 인식 모듈 330: 객체 증강 모듈
400: 데이터베이스
300: 가상 인테리어 시스템 310: 공간 좌표 측정 모듈
320: 타겟 인식 모듈 330: 객체 증강 모듈
400: 데이터베이스
Claims (4)
- 삭제
- 사용자가 실제 인테리어를 수행하는 공간으로서, 상기 사용자가 인테리어 시뮬레이션을 수행할 영역에 이미지 마커를 부착한 공간이며, 모바일 디바이스(200)로 영상을 전송하기 위하여 웹캠에 의하여 촬영되는 현실 공간(100);
상기 웹캠을 통해 촬영된 상기 현실 공간(100)의 영상을 입력받아 가상 인테리어 시스템(300)으로 전송하고, 상기 가상 인테리어 시스템(300)으로부터 합성된 영상을 전송받아 디스플레이를 통하여 사용자에게 제공하는 모바일 디바이스(200);
상기 모바일 디바이스(200)에 내장되어 있으며 공간 좌표 측정 모듈(310), 타겟 인식 모듈(320) 및 객체 증강 모듈(330)을 포함하고 있는 가상 인테리어 시스템(300); 및
상기 타겟 인식 모듈(320)에서 인식하기 위한 이미지 마커의 패턴 정보, 상기 패턴 정보에 해당하는 가상의 오브젝트에 대한 정보 및 시뮬레이션을 수행하기 위한 정보를 저장하고 있는 데이터베이스(400);를 포함하고,
상기 가상 인테리어 시스템(300)은 상기 모바일 디바이스(200)에서 입력된 영상으로부터 시뮬레이션을 수행할 영역을 측정하여 사용자가 시뮬레이션을 수행할 영역을 지정하게 하는 공간 좌표 측정 모듈(310);
상기 공간 좌표 측정 모듈(310)에서 측정된 영역에 존재하는 상기 이미지 마커를 추출하고, 상기 추출된 이미지 마커의 패턴에 해당하는 가상의 오브젝트를 상기 데이터베이스(400)에서 검출하는 타겟 인식 모듈(320); 및
상기 타겟 인식 모듈(320)에서 추출된 이미지 마커의 2차원 좌표를 가상의 3차원 좌표로 변환하고, 변환된 좌표에 상기 데이터베이스(400)에서 검출된 가상의 오브젝트를 합성하여 모바일 디바이스(200)로 전송하는 객체 증강 모듈(330)을 포함하는 것을 특징으로 하는 증강현실 기반 셀프 인테리어 시스템을 사용한 증강현실 기반 셀프 인테리어 방법에 있어서,
모바일 디바이스(200)에서 현실 공간(100)을 포함한 영상을 입력받는 영상 입력 단계(S101);
상기 영상 입력 단계(S101)에서 입력받은 영상을 이진화하고 잡음을 제거하는 영상 전처리 단계(S102);
상기 영상 전처리 단계(S102)에서 전처리된 영상에서 에지 정보를 추출하는 에지 정보 추출단계(S103);
상기 모바일 디바이스(200)에 입력된 영상에서 사용자가 임시 가상 영역을 설정하고, 상기 에지 정보 추출단계(S103)에서 추출된 에지 중 상기 설정된 임시 가상 영역에 존재하는 에지 정보로부터 인테리어 수행을 위한 시뮬레이션 공간을 설정하고, 좌표 정보 및 인테리어 수행을 위한 정보를 추출하는 시뮬레이션 공간 설정 단계(S104);
상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 시뮬레이션 공간에 존재하는 에지 정보에서 코너 및 픽셀 정보를 이용하여 특징점을 추출하여 벡터정보로 변환하는 특징점 추출 단계(S105);
상기 특징점 추출 단계(S105)에서 추출된 특징점들로 이루어진 패턴을 데이터베이스(400)에 저장되어 있는 패턴 정보와 매칭하여 해당 패턴과 연동된 인테리어를 수행할 가상의 오브젝트를 도출하고, 상기 패턴을 가지고 있는 이미지 마커의 2차원 좌표를 3차원 좌표로 변환하여 이를 상기 도출된 가상의 오브젝트에 적용하여 합성하는 객체 증강 단계(S106); 및
상기 객체 증강 단계(S106)에서 합성된 영상을 모바일 디바이스(200)의 디스플레이를 통해 출력하여 사용자에게 시뮬레이션 정보를 제공하는 영상 출력 단계(S107)를 포함하는 증강현실 기반 셀프 인테리어 방법.
- 제2항에 있어서,
상기 시뮬레이션 공간 설정 단계(S104)는 모바일 디바이스(200)에 입력된 영상에서 사용자가 가상 시뮬레이션을 수행하는 공간을 선택하여 가상의 영상 처리 공간을 설정하고,
상기 설정된 가상의 영상 처리 공간 내에 추출된 에지 정보들만을 추출하고 나머지 에지 정보를 제거하며,
상기 추출된 에지 정보를 기반으로 현실 공간(100)의 2차원 좌표를 추출하고 추출된 좌표에 카메라 보정기법을 적용하여 3차원 공간정보를 도출하고,
상기 도출된 정보를 기반으로 가상 공간의 정보를 추출하여 객체를 증강하기 위한 가상 공간을 생성하는 것을 특징으로 하는 증강현실 기반 셀프 인테리어 방법.
- 제2항에 있어서,
상기 객체 증강 단계(S106)는 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 공간의 픽셀과 히스토그램 분포를 추출하여 색상 정보와 상기 설정된 공간에 존재하는 에지 정보를 기반으로 코너 및 특징 벡터를 추출하고,
상기 추출된 코너, 특징 벡터 및 색상 정보를 기반으로 검색 패턴을 생성하고, 상기 생성된 검색 패턴을 상기 데이터베이스(400)에 저장되어 있는 기준 패턴 정보와 상관관계를 분석하고 템플릿 매칭을 통해 비교하여 패턴 ID를 추출하며,
상기 추출된 패턴 ID와 연동된 인테리어를 수행하기 위한 가상의 오브젝트를 검색하고,
상기 추출된 검색 패턴에 해당하는 입력영상의 2차원 좌표를 카메라 보정하여 3차원 좌표로 변환하고, 변환된 좌표를 상기 시뮬레이션 공간 설정 단계(S104)에서 설정된 가상 공간에 정합하고, 상기 정합된 정보를 상기 검색된 가상의 오브젝트의 4차원 행렬에 적용하여 오브젝트 좌표 및 로테이션 값을 설정하며,
상기 설정된 로테이션 값을 기반으로 가상 공간에 합성하는 것을 특징으로 하는 증강현실 기반 셀프 인테리어 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170074452A KR101901663B1 (ko) | 2017-06-13 | 2017-06-13 | 증강현실 기반 셀프 인테리어 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170074452A KR101901663B1 (ko) | 2017-06-13 | 2017-06-13 | 증강현실 기반 셀프 인테리어 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101901663B1 true KR101901663B1 (ko) | 2018-09-27 |
Family
ID=63719587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170074452A KR101901663B1 (ko) | 2017-06-13 | 2017-06-13 | 증강현실 기반 셀프 인테리어 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101901663B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522616A (zh) * | 2018-10-26 | 2019-03-26 | 平安科技(深圳)有限公司 | 模拟装修的控制方法、装置、计算机设备及存储介质 |
WO2020101339A1 (ko) * | 2017-12-04 | 2020-05-22 | 주식회사 양파 | 공간 인식에 기반한 인테리어 플랫폼 제공 방법 |
KR20200074443A (ko) | 2018-12-17 | 2020-06-25 | 주식회사 락소 | 홀로그램 기반 홈퍼니싱 시뮬레이션 시스템 및 방법 |
KR20210086837A (ko) | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 |
-
2017
- 2017-06-13 KR KR1020170074452A patent/KR101901663B1/ko active IP Right Grant
Non-Patent Citations (2)
Title |
---|
김동현 외 1명, 증강현실 데이터 리소스 변조 방지를 위한 패턴 검출 기법 연구, 보안공학연구논문지 Vol.14.No.1(2017년 02월)(2017.02.28.)* |
김연수 외 7명, 증강현실 기반의 인테리어 설계 시스템에 관한 연구, 한국멀티미디어학회 학술발표논문집,2009.11(2009.11.30.)* |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020101339A1 (ko) * | 2017-12-04 | 2020-05-22 | 주식회사 양파 | 공간 인식에 기반한 인테리어 플랫폼 제공 방법 |
CN109522616A (zh) * | 2018-10-26 | 2019-03-26 | 平安科技(深圳)有限公司 | 模拟装修的控制方法、装置、计算机设备及存储介质 |
CN109522616B (zh) * | 2018-10-26 | 2024-01-23 | 平安科技(深圳)有限公司 | 模拟装修的控制方法、装置、计算机设备及存储介质 |
KR20200074443A (ko) | 2018-12-17 | 2020-06-25 | 주식회사 락소 | 홀로그램 기반 홈퍼니싱 시뮬레이션 시스템 및 방법 |
KR102274824B1 (ko) * | 2018-12-17 | 2021-07-08 | 주식회사 락소 | 홀로그램 기반 홈퍼니싱 시뮬레이션 시스템 및 방법 |
KR20210086837A (ko) | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | 증강현실을 이용한 실내 인테리어 시뮬레이션 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101901663B1 (ko) | 증강현실 기반 셀프 인테리어 시스템 및 방법 | |
US10282856B2 (en) | Image registration with device data | |
US10269092B2 (en) | Image processing device, image processing method, and storage medium | |
CN106959691B (zh) | 可移动电子设备和即时定位与地图构建方法 | |
US11051000B2 (en) | Method for calibrating cameras with non-overlapping views | |
KR101865655B1 (ko) | 증강현실 상호 작용 서비스 제공 장치 및 방법 | |
JP5538667B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
US20200387745A1 (en) | Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features | |
CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
KR102152436B1 (ko) | 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법 | |
CN109769326B (zh) | 一种追光方法、装置及设备 | |
US11989827B2 (en) | Method, apparatus and system for generating a three-dimensional model of a scene | |
CN110458896B (zh) | 一种基于绝对二次曲面的相机内参求解方法及系统 | |
CN113744394A (zh) | 鞋楦三维建模方法、装置、设备及存储介质 | |
KR102274824B1 (ko) | 홀로그램 기반 홈퍼니싱 시뮬레이션 시스템 및 방법 | |
JP5794427B2 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム | |
Ferreira et al. | A real-time mosaicking algorithm using binary features for ROVs | |
KR102166586B1 (ko) | 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법 | |
JP6374812B2 (ja) | 三次元モデル処理装置およびカメラ校正システム | |
WO2018150515A1 (ja) | 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法 | |
KR20220085242A (ko) | 공작기계용 기구물 종류 및 위치 인식 방법 | |
KR101497944B1 (ko) | 영상 처리 기반의 계측 정보 표시 장치 및 계측 정보 표시 방법 | |
JP6904922B2 (ja) | 情報処理装置及びプログラム | |
JP7274782B1 (ja) | 建屋内構造物認識システム及び建屋内構造物認識方法 | |
Casanova Pagà | Fusion of 3D data for interactive applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |