KR101779978B1 - Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치 - Google Patents

Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치 Download PDF

Info

Publication number
KR101779978B1
KR101779978B1 KR1020160060123A KR20160060123A KR101779978B1 KR 101779978 B1 KR101779978 B1 KR 101779978B1 KR 1020160060123 A KR1020160060123 A KR 1020160060123A KR 20160060123 A KR20160060123 A KR 20160060123A KR 101779978 B1 KR101779978 B1 KR 101779978B1
Authority
KR
South Korea
Prior art keywords
virtual
input image
user device
image
target
Prior art date
Application number
KR1020160060123A
Other languages
English (en)
Inventor
한동호
Original Assignee
한동호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한동호 filed Critical 한동호
Priority to KR1020160060123A priority Critical patent/KR101779978B1/ko
Application granted granted Critical
Publication of KR101779978B1 publication Critical patent/KR101779978B1/ko

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/0025—Detail-in-context presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0062—Panospheric to cylindrical image transformation
    • G06T3/053—
    • G06T3/12—

Abstract

VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치가 개시되어 있다. VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법은 사용자 장치가 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신하는 단계, 사용자 장치가 디스플레이를 통해 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정하는 단계와 사용자 장치가 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공하는 단계를 포함할 수 있되, 타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고, 가상 이미지는 공간에 대응되는 가상 공간 상에서 객체에 대한 변화 후의 정보를 포함할 수 있다.

Description

VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치{Method and apparatus for providing virtual image for changed space based on VR(virtual reality)}
본 발명은 VR(virtual reality)을 이용하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치에 관한 것이다.
2016년 초에 열린 ICT(information communication technology) 관련 행사의 주요 테마는 가상 현실(Virtual Reality, VR)이었다. 2016년 1월 5~8일 미국 라스베이거스에서 열린 세계 최대 가전 전시회인 CES(consumer electronic show)에서는 오큘러스, 삼성전자, HTC, 소니 등이 가상 현실 관련 제품들을 선보여 관심을 얻었다. 뒤이어 2월 22~25일 스페인 바르셀로나에서 열린 세계 최대의 모바일 전시회인 MWC에서도 삼성전자의 가상 현실(VR) 디바이스인 ‘기어 VR’ 체험이 큰 인기를 얻었고, 전자, 통신, 반도체, 자동차 등 다양한 분야의 업체들이 가상 현실(VR) 체험 서비스를 제공하면서 가상 현실이 올 한 해 ICT산업의 핵심 화두로 부상했다. 특히, 페이스북의 주커버그는 “가상 현실(VR)은 차세대 소셜 플랫폼이 될 것이며, 가상 현실을 통해 서로 다른 장소에 있어도 같은 광경과 경험을 공유하게 될 것”이라고 말했다. 이를 위해 페이스북은 가상 현실에 대한 투자를 확대하고 관련 생태계를 구축하고자 노력하고 있다.
가상 현실 기술은 매우 오래된 기술이지만 이렇게 갑자기 부상한 이유는 대중화가 될 만한 ICT 기술 및 인프라가 마련되었기 때문이다. 가상 현실이 대중적으로 성공을 거두기 위해서는 가상 현실 디바이스의 확산뿐만 아니라 핵심 콘텐츠, 소프트웨어 및 서비스 플랫폼, 고도화된 네트워크 등의 생태계의 형성이 무엇보다 중요하다. 특히, 가상 현실의 응용 사례가 게임, 영화, 스포츠, 테마파크와 같이 엔터테인먼트 시장에서 벗어나 교육, e-커머스, 헬스케어 등 다수의 산업으로 확대될 가능성이 커서 관련 시장의 확산에 따른 파급효과는 매우 클 것으로 예상된다.
KR 10-2008-0012857
본 발명의 일 측면은 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법을 제공한다.
본 발명의 다른 측면은 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법을 수행하는 장치를 제공한다.
본 발명의 일 측면에 따른 VR(virtual reality)을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법은 사용자 장치가 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신하는 단계, 상기 사용자 장치가 디스플레이를 통해 상기 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정하는 단계와 상기 사용자 장치가 상기 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공하는 단계를 포함할 수 있되, 상기 타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고, 상기 가상 이미지는 상기 공간에 대응되는 가상 공간 상에서 상기 객체에 대한 변화 후의 정보를 포함할 수 있다.
한편, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 복수개의 포인트 지점을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 복수개의 포인트 지점과 대응되는 복수개의 가상 포인트 지점을 기반으로 결정되고, 상기 가상 포인트 지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
또한, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 도형을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 도형의 꼭지점과 대응되는 복수개의 꼭지점을 기반으로 결정되고, 상기 꼭지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
또한, 상기 도형은 상기 디스플레이 상에서 사용자에 의해 그려진 도형일 수 있다.
또한, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 마킹 영역을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 마킹 영역에 포함되는 3차원 좌표축 상의 복수개의 3차원 좌표를 기반으로 결정되고, 상기 복수개의 3차원 좌표는 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
본 발명의 또 다른 측면에 따른 VR(virtual reality)을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 시스템에 있어서, 상기 가상 이미지 정보 제공 시스템은 사용자 장치를 포함하고, 상기 사용자 장치는 프로세서를 포함하고, 상기 프로세서는 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신하고, 디스플레이를 통해 상기 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정하고, 상기 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공하도록 구현될 수 있되, 상기 타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고, 상기 가상 이미지는 상기 공간에 대응되는 가상 공간 상에서 상기 객체에 대한 변화 후의 정보를 포함할 수 있다.
한편, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 복수개의 포인트 지점을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 복수개의 포인트 지점과 대응되는 복수개의 가상 포인트 지점을 기반으로 결정되고, 상기 가상 포인트 지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
또한, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 도형을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 도형의 꼭지점과 대응되는 복수개의 꼭지점을 기반으로 결정되고, 상기 꼭지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
또한, 상기 도형은 상기 디스플레이 상에서 사용자에 의해 그려진 도형일 수 있다.
또한, 상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 마킹 영역을 기반으로 결정되고, 상기 타겟 가상 입력 이미지는 상기 마킹 영역에 포함되는 3차원 좌표축 상의 복수개의 3차원 좌표를 기반으로 결정되고, 상기 복수개의 3차원 좌표는 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정될 수 있다.
본 발명의 실시예에 따른 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치에 따르면, 사용자 장치의 영상 촬상 장치를 통해 입력된 특정 공간에 대한 입력된 이미지 정보에 대응되는 변화 후의 가상 이미지 정보가 사용자 장치를 통해 제공될 수 있다. 따라서, 사용자가 도면 없이도 편하고 정확하게 변화된 공간에 대한 이미지를 제공받을 수 있다.
도 1은 본 발명의 실시예에 따른 VR(virtual reality) 어플리케이션을 이용한 변화된 공간에 대한 정보를 제공하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 입력 이미지를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 사용자 장치를 통해 가상 이미지를 제공하는 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 VR(virtual reality) 어플리케이션을 이용한 변화된 공간에 대한 정보를 제공하는 방법을 나타낸 개념도이다.
도 1에서는 사용자 장치(150)에 설치된 VR 어플리케이션을 기반으로 사용자에게 변화된 공간에 대한 정보를 제공하기 위한 방법이 개시된다.
도 1을 참조하면, VR 서버(100)는 사용자 장치(150)로 VR 어플리케이션을 제공할 수 있다. VR 어플리케이션은 사용자가 위치한 공간의 변화에 대한 정보를 제공할 수 있다. 예를 들어, VR 어플리케이션은 사용자에게 도면 없이도 특정 공간의 인테리어 공사 후의 공간에 대한 경험을 제공할 수 있다. 구체적으로 사용자가 A라는 공간에 대한 인테리어 작업을 의뢰한 경우, VR 어플리케이션을 통해 A라는 공간의 인테리어 후의 가상 이미지가 사용자 장치(150)를 통해 제공될 수 있다.
사용자 장치(150)는 다양한 타입의 입력 이미지를 수신할 수 있다. 입력 이미지는 사용자가 현재 공간에 대한 정보를 입력받아 생성된 영상 정보일 수 있다. 예를 들어, 입력 이미지는 구형(spherical) 타입 입력 이미지, 실린더(cylinder) 타입 입력 이미지, 큐브(cube) 타입 입력 이미지, Quick time VR 타입의 포맷(확장자 MOV), 벡터 그래픽 파일 포맷(확장자 SWF, 어도비 시스템즈사의 플래시 소프트웨어) 등을 포함할 수 있다.
사용자 장치(150)는 입력 이미지를 수신하고, 입력 이미지에 대한 수신 이후, VR 어플리케이션을 통해 입력 이미지와 가상 이미지를 매칭시켜 사용자에게 입력 이미지 또는 입력 이미지 중 일부와 매칭되는 가상 이미지를 제공할 수 있다. 예를 들어, 입력 이미지가 인테리어 공사 전의 공간의 이미지라면, 가상 이미지는 인테리어 공사 후의 공간의 이미지일 수 있다.
입력 이미지와 가상 이미지 간의 매칭은 GPS(global positioning system) 기반의 위도 정보, 경도 정보, 자이로 센서를 기반으로 한 방향 정보를 기반으로 수행될 수 있다. 또한, 입력 이미지와 가상 이미지 간의 매칭을 위해 사용자 장치의 높이 센서, 위치 센서가 사용될 수 있다. 이에 대해서는 구체적으로 후술한다.
도 2는 본 발명의 실시예에 따른 입력 이미지를 나타낸 개념도이다.
도 2에서는 입력 이미지의 타입이 개시된다.
도 2의 (a)에서는 구형 타입 입력 이미지가 개시된다.
도 2의 (b)에서는 실린더 타입 입력 이미지가 개시된다.
도 2의 (c)에서는 큐브 타입 입력 이미지가 개시된다.
도 3은 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 3에서는 포인트를 기반으로 입력 이미지와 가상 이미지를 매칭하는 방법이 개시된다. 입력 이미지는 사용자가 사용자 장치에 구현된 영상 촬상 장치를 사용하여 촬영한 이미지일 수 있다.
도 3을 참조하면, 4개의 포인트를 기반으로 입력 이미지와 가상 이미지가 매칭될 수 있다. 이하, 타겟 입력 이미지는 사용자가 해당 부분에 대한 변화된 이미지(예를 들어, 인테리어 후의 이미지)를 보기 위해 선택된 변화 전의 이미지를 의미할 수 있다. 타겟 가상 이미지는 타겟 입력 이미지에 대응되는 변화 후(예를 들어, 인테리어 후)의 이미지일 수 있다.
사용자 장치가 입력 이미지 상에서 제1 포인트, 제2 포인트, 제3 포인트 및 제4 포인트를 지정하여 타겟 입력 이미지를 지정하는 경우, 사용자 장치는 입력 이미지의 제1 포인트, 제2 포인트, 제3 포인트 및 제4 포인트와 매칭되는 가상 이미지 상의 제1 가상 포인트, 제2 가상 포인트, 제3 가상 포인트 및 제4 가상 포인트를 결정하고, 가상 이미지 상에서 제1 가상 포인트, 제2 가상 포인트, 제3 가상 포인트 및 제4 가상 포인트에 대응되는 타겟 가상 이미지를 사용자 장치의 디스플레이를 통해 제공할 수 있다.
제1 포인트와 제1 가상 포인트, 제2 포인트와 제2 가상 포인트, 제3 포인트와 제3 가상 포인트 및 제4 포인트와 제4 가상 포인트를 매칭하기 위해서는 다양한 방법이 사용될 수 있다.
예를 들어, 각 포인트의 위도, 경도 및 방향에 대한 정보가 결정될 수 있다. 각 포인트의 위도, 경도 및 방향은 사용자 장치에 구현된 GPS, 자이로 센서, 거리 측정 센서, 높이 측정 센서 등을 기반으로 결정될 수 있다. 가상 이미지에는 가상 이미지의 각 부분에 대한 위도 경도 및 방향에 대한 정보가 포함될 수 있다. 예를 들어, VR 서버 및/또는 사용자 장치로 입력되는 가상 이미지는 영상 정보뿐만 아니라 가상 이미지 상의 각 위치에 대한 위도 경도 및 방향에 대한 정보를 포함할 수 있다.
사용자 장치는 각 포인트의 위도, 경도, 방향과 매칭되는 위도, 경도, 방향을 가지는 가상 이미지 상의 가상 포인트 각각을 결정하고, 가상 포인트 각각에 대응되는 타겟 가상 이미지를 제공할 수 있다.
또는 사용자 장치의 위치를 기준으로 각 포인트의 3차원 좌표가 결정되고 각 포인트의 3차원 좌표와 매칭되는 가상 이미지의 가상 3차원 좌표 상의 가상 포인트가 결정될 수 있다.
사용자 장치가 VR 어플리케이션 상에서 입력 이미지에 대한 줌-인(zoom-in)/줌-아웃(zoom-out) 등의 동작을 수행하는 경우, 타겟 가상 이미지도 줌-인/줌-아웃 등의 동작에 대응하여 변화될 수 있다. 예를 들어, 줌-인/줌-아웃 동작이 수행되는 경우, 매칭 포인트가 줌-인/줌-아웃 동작에 따라 변화되고, 매칭 포인트의 변화에 따라 가상 이미지가 출력될 수 있다.
이뿐만 아니라, 본 발명의 실시예에 따르면, 입력 이미지를 생성하는 사용자 장치의 높이 변화, 위치 변화를 판단하여 입력 이미지의 높이 변화, 위치 변화를 고려하여 타겟 가상 이미지가 제공될 수 있다. 예를 들어, 사용자 장치가 50cm의 높이 변화, 50cm의 위치 변화를 가지는 경우, 이러한 위치 변화를 고려하여 사용자 장치의 기준점을 변화시킨 후 새롭게 3차원 좌표를 설정하여 현재 입력 이미지의 3차원 좌표 상의 각 포인트가 결정될 수 있다. 이후, 변화된 현재 입력 이미지의 3차원 좌표를 기준으로 가상 이미지의 3차원 좌표를 변화시킴으로써 사용자 장치의 위치 변화에 따라 연속적으로 가상 이미지를 사용자 장치를 통해 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 4에서는 도형을 기반으로 입력 이미지와 가상 이미지를 매칭하는 방법이 개시된다.
도 4를 참조하면, 도형을 기반으로 입력 이미지와 가상 이미지가 매칭될 수 있다.
사용자가 사용자 장치의 디스플레이 상에서 출력되는 입력 이미지 상에서 도형으로 타겟 입력 이미지를 지정하는 경우, 사용자 장치를 통해 타겟 입력 이미지에 대응되는 타겟 가상 이미지가 제공될 수 있다.
사용자 장치는 입력 이미지 상에서 도형을 구성하는 꼭지점 각각과 매칭되는 가상 이미지 상의 가상 꼭지점 각각을 결정하고, 가상 꼭지점에 대응되는 타겟 가상 이미지를 사용자 장치의 디스플레이를 통해 제공할 수 있다.
도형을 구성하는 꼭지점 각각과 매칭되는 가상 이미지 상의 가상 꼭지점 각각을 결정하기 위해 다양한 방법이 사용될 수 있다.
예를 들어, 도형을 구성하는 꼭지점 각각의 위도, 경도 및 방향이 결정될 수 있다. 각 꼭지점의 위도, 경도 및 방향은 GPS, 자이로 센서, 거리 측정 센서, 높이 측정 센서 등을 기반으로 결정될 수 있다. 가상 이미지에는 가상 이미지의 각 부분에 대한 위도, 경도 및 방향에 대한 정보가 포함될 수 있다. 예를 들어, VR 서버 및/또는 사용자 장치로 입력되는 가상 이미지는 영상 정보뿐만 아니라 가상 이미지 상의 각 위치에 대한 위도 경도 및 방향에 대한 정보를 포함할 수 있다.
사용자 장치는 꼭지점 각각의 위도, 경도, 방향과 매칭되는 위도, 경도, 방향을 가지는 가상 이미지 상의 가상 꼭지점 각각을 결정하고, 가상 꼭지점 각각에 대응되는 타겟 가상 이미지를 제공할 수 있다.
또는 사용자 장치의 위치를 기준으로 도형 상의 꼭지점의 3차원 좌표가 결정되고 각 꼭지점의 3차원 좌표와 매칭되는 가상 이미지의 가상 3차원 좌표 상의 가상 포인트가 결정될 수 있다.
도 4에서는 설명의 편의상 도형의 꼭지점을 가정하였으나, 도형의 꼭지점이 아닌 선, 면 등을 기준으로 타겟 입력 이미지 및 타겟 입력 이미지에 매칭되는 가상 입력 이미지가 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 5에서는 도형을 그려서 입력 이미지와 가상 이미지를 매칭하는 방법이 개시된다.
도 5를 참조하면, 사용자가 직접 그린 도형(이하, 그려진 도형)을 기반으로 입력 이미지와 가상 이미지가 매칭될 수 있다.
사용자가 사용자 장치의 디스플레이 상에서 출력되는 입력 이미지 상에서 그려진 도형으로 타겟 입력 이미지를 지정하는 경우, 사용자 장치를 통해 타겟 입력 이미지에 대응되는 타겟 가상 이미지가 제공될 수 있다.
그려진 도형이 사용되는 경우, 도 4와 마찬가지 방식으로 도형을 구성하는 꼭지점 각각과 매칭되는 가상 이미지 상의 가상 꼭지점 각각이 결정되고, 결정된 가상 꼭지점 각각을 기반으로 타겟 가상 이미지가 제공될 수 있다.
도 6은 본 발명의 실시예에 따른 입력 이미지와 가상 이미지를 매칭하기 위한 방법을 나타낸 개념도이다.
도 6에서는 마킹을 기반으로 입력 이미지와 가상 이미지를 매칭하는 방법이 개시된다.
도 6을 참조하면, 마킹을 기반으로 입력 이미지와 가상 이미지가 매칭될 수 있다. 사용자가 사용자 장치의 디스플레이 상에서 출력되는 입력 이미지 상에서 특정한 영역을 마킹하는 경우, 마킹을 기반으로 타겟 입력 이미지가 결정될 수 있다.
타겟 입력 이미지가 결정되는 경우, 사용자 장치를 통해 타겟 입력 이미지에 대응되는 타겟 가상 이미지가 제공될 수 있다.
사용자 장치는 입력 이미지 상에서 마킹된 영역에 대응되는 복수의 좌표 지점을 결정할 수 있다. 예를 들어, 입력 이미지는 3차원 좌표축 상에서 표현될 수 있고, 마킹된 영역은 대응되는 복수의 3차원 좌표로 표현될 수 있다.
복수의 3차원 좌표는 현재 이미지 상의 각각의 위도, 경도 및 방향에 대한 정보 및 사용자 장치와 객체 사이의 거리, 사용자 자치와 객체 사이의 높이를 기반으로 결정될 수 있다. 타겟 가상 이미지는 마킹된 영역에 대응되는 복수의 3차원 좌표에 대응되는 복수의 3차원 가상 좌표에 대응되는 이미지일 수 있다.
도 7은 본 발명의 실시예에 따른 사용자 장치를 통해 가상 이미지를 제공하는 방법을 나타낸 개념도이다.
도 7에서는 사용자 장치의 영상 촬상부로부터 입력되는 입력 이미지의 위치를 결정하는 구체적인 방법이 개시된다.
도 7을 참조하면, 사용자 장치(700)는 거리 센서를 기반으로 사용자 장치(700)를 기준으로 한 객체 거리(750)를 측정하고 높이 센서를 기반으로 사용자 장치(700)를 기준으로 한 객체 높이(760)를 측정할 수 있다.
사용자 장치(700)는 GPS, 자이로 센서 등을 이용하여 현재 사용자 장치의 위도, 경도, 방향 등을 기반으로 사용자 장치를 원점으로 하는 3차원 좌표 체계를 생성하고, 거리 센서, 높이 센서를 기반으로 객체의 3차원 좌표 상의 위치를 결정할 수 있다.
사용자 장치(700) 및/또는 VR 서버는 사용자 장치(700)의 현재 위치 정보(위도, 경도, 방향 등)를 기반으로 결정된 객체의 3차원 좌표 상의 위치와 대응되는 가상 이미지 상의 위치를 매칭시킬 수 있다. 구체적으로 가상 이미지의 좌표 정보는 사용자 장치(700)의 현재 위치 정보를 고려하여 각 3차원 가상 좌표로 변화될 수 있고, 3차원 좌표와 3차원 가상 좌표가 매칭되어, 도 3 내지 도 6에서 전술한 타겟 입력 이미지의 타겟 가상 이미지로의 변환이 수행될 수 있다.
도 8은 본 발명의 실시예에 따른 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법을 나타낸 순서도이다.
도 8을 참조하면, 사용자 장치가 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신할 수 있다(단계 S800).
전술한 바와 같이 사용자 장치가 영상 촬상부를 통해 구형 타입 입력 이미지, 실린더 타입 입력 이미지 및 큐브 타입 입력 이미지를 수신할 수 있다.
사용자 장치가 디스플레이를 통해 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정할 수 있다(단계 S810).
도 3 내지 도 6에서 전술한 바와 같이 다양한 방법을 통해 타겟 입력 이미지의 타겟 가상 이미지로의 변환이 수행될 수 있다. 이러한 타겟 가상 이미지로의 변환 과정은 VR 서버에 의해 수행될 수도 있다.
타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고, 가상 이미지는 공간에 대응되는 가상 공간 상에서 객체에 대한 변화 후의 정보를 포함할 수 있다.
사용자 장치가 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공할 수 있다(단계 S820).
사용자 장치는 디스플레이를 통해 타겟 가상 입력 이미지를 제공할 수 있다. 사용자 장치의 움직임에 따라 변환된 타겟 가상 입력 이미지가 제공될 수 있다.
VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법에서 사용자 장치, VR 서버 등의 동작은 프로세서를 기반으로 수행될 수 있다. 또한, 이와 같은 VR을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. VR(virtual reality)을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법은,
    사용자 장치가 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신하는 단계;
    상기 사용자 장치가 디스플레이를 통해 상기 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정하는 단계; 및
    상기 사용자 장치가 상기 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공하는 단계를 포함하되,
    상기 타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고,
    상기 가상 이미지는 상기 공간에 대응되는 가상 공간 상에서 상기 객체에 대한 변화 후의 정보를 포함하고,
    상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 복수개의 포인트 지점 또는 도형을 기반으로 결정되고,
    상기 타겟 가상 입력 이미지는 상기 복수개의 포인트 지점 또는 도형과 대응되는 복수개의 가상 포인트 지점을 기반으로 결정되고,
    상기 가상 포인트 지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 도형은 상기 디스플레이 상에서 사용자에 의해 그려진 도형인 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 사용자 장치는 상기 사용자 장치의 높이 변화 또는 위치 변화를 기반으로 변화되는 입력 이미지의 기준점을 고려하여 변화된 타겟 입력 이미지를 제공하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 사용자 장치는 현재 사용자 장치의 상기 위치, 상기 경도 및 상기 방향을 기반으로 상기 사용자 장치를 원점으로 하는 좌표체계를 생성하고, 거리 센서 및 높이 센서를 기반으로 상기 입력 이미지에 포함된 객체의 3차원 좌표를 결정하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 마킹 영역을 더 고려하여 결정되는 것을 특징으로 하는 방법.
  6. VR(virtual reality)을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 시스템에 있어서,
    상기 가상 이미지 정보 제공 시스템은 사용자 장치를 포함하고,
    상기 사용자 장치는 프로세서를 포함하고,
    상기 프로세서는 영상 촬상부를 통해 공간 상의 객체에 대한 입력 이미지를 수신하고,
    디스플레이를 통해 상기 입력 이미지의 전체 또는 일부를 지정하여 타겟 입력 이미지를 결정하고,
    상기 타겟 입력 이미지에 대응되는 타겟 가상 입력 이미지를 제공하도록 구현되되,
    상기 타겟 가상 입력 이미지는 가상 이미지를 기반으로 제공되고,
    상기 가상 이미지는 상기 공간에 대응되는 가상 공간 상에서 상기 객체에 대한 변화 후의 정보를 포함하고,
    상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 복수개의 포인트 지점 또는 도형을 기반으로 결정되고,
    상기 타겟 가상 입력 이미지는 상기 복수개의 포인트 지점 또는 도형과 대응되는 복수개의 가상 포인트 지점을 기반으로 결정되고,
    상기 가상 포인트 지점은 상기 사용자 장치의 위도, 경도 및 방향에 대한 정보 및 상기 사용자 장치와 상기 객체 사이의 거리, 상기 사용자 장치의 높이에 대한 정보를 기반으로 결정되는 것을 특징으로 하는 가상 이미지 정보 제공 시스템.
  7. 제6항에 있어서,
    상기 도형은 상기 디스플레이 상에서 사용자에 의해 그려진 도형인 것을 특징으로 하는 가상 이미지 정보 제공 시스템.
  8. 제7항에 있어서,
    상기 사용자 장치는 상기 사용자 장치의 높이 변화 또는 위치 변화를 기반으로 변화되는 입력 이미지의 기준점을 고려하여 변화된 타겟 입력 이미지를 제공하는 것을 특징으로 하는 가상 이미지 정보 제공 시스템.
  9. 제8항에 있어서,
    상기 사용자 장치는 현재 사용자 장치의 상기 위치, 상기 경도 및 상기 방향을 기반으로 상기 사용자 장치를 원점으로 하는 좌표체계를 생성하고, 거리 센서 및 높이 센서를 기반으로 상기 입력 이미지에 포함된 객체의 3차원 좌표를 결정하는 것을 특징으로 하는 가상 이미지 정보 제공 시스템.
  10. 제9항에 있어서,
    상기 타겟 입력 이미지는 입력 이미지 상에서 사용자 장치를 통해 입력된 마킹 영역을 더 고려하여 결정되는 것을 특징으로 하는 가상 이미지 정보 제공 시스템.
KR1020160060123A 2016-05-17 2016-05-17 Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치 KR101779978B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160060123A KR101779978B1 (ko) 2016-05-17 2016-05-17 Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160060123A KR101779978B1 (ko) 2016-05-17 2016-05-17 Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101779978B1 true KR101779978B1 (ko) 2017-09-19

Family

ID=60033536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160060123A KR101779978B1 (ko) 2016-05-17 2016-05-17 Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101779978B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258821A (ja) * 2004-03-11 2005-09-22 Matsushita Electric Works Ltd 建築物画像の画像張り替え方法、建築物のリフォーム支援システム及びそのためのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258821A (ja) * 2004-03-11 2005-09-22 Matsushita Electric Works Ltd 建築物画像の画像張り替え方法、建築物のリフォーム支援システム及びそのためのプログラム

Similar Documents

Publication Publication Date Title
US20220351473A1 (en) Mobile augmented reality system
AU2021206838B2 (en) Self-supervised training of a depth estimation model using depth hints
US9280852B2 (en) Augmented reality virtual guide system
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
JP2021526680A (ja) 深度推定システムの自己教師ありトレーニング
US10733798B2 (en) In situ creation of planar natural feature targets
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
US10762713B2 (en) Method for developing augmented reality experiences in low computer power systems and devices
US20230360339A1 (en) Determining Traversable Space from Single Images
JP6393000B2 (ja) ３ｄマップに関する仮説的ラインマッピングおよび検証
KR101779978B1 (ko) Vr을 이용한 변화된 공간에 대한 가상 이미지 정보 제공 방법 및 장치
TWI839513B (zh) 用於利用深度提示之深度預估模型之自我監督訓練之電腦實施之方法及非暫時性電腦可讀儲存媒體
KR20240053224A (ko) 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
Lue et al. 3D whiteboard: collaborative sketching with 3D-tracked smart phones

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant