KR20190072277A - 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 - Google Patents

제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 Download PDF

Info

Publication number
KR20190072277A
KR20190072277A KR1020170173509A KR20170173509A KR20190072277A KR 20190072277 A KR20190072277 A KR 20190072277A KR 1020170173509 A KR1020170173509 A KR 1020170173509A KR 20170173509 A KR20170173509 A KR 20170173509A KR 20190072277 A KR20190072277 A KR 20190072277A
Authority
KR
South Korea
Prior art keywords
virtual space
image
interaction
gesture recognition
recognition module
Prior art date
Application number
KR1020170173509A
Other languages
English (en)
Other versions
KR102074680B1 (ko
Inventor
성창건
Original Assignee
주식회사 디자인에이포인트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디자인에이포인트 filed Critical 주식회사 디자인에이포인트
Priority to KR1020170173509A priority Critical patent/KR102074680B1/ko
Publication of KR20190072277A publication Critical patent/KR20190072277A/ko
Application granted granted Critical
Publication of KR102074680B1 publication Critical patent/KR102074680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예는 제스처 인식 모듈을 이용하여 대형 디스플레이로부터 키오스크까지의 장비에 3차원 가상공간을 공중에서 손 동작으로 컨트롤하면서 이동 및 인터랙션, 메뉴 선택 등의 기능을 사용할 수 있으며, 디스플레이 모듈에서는 모델하우스 VR에 대한 영상이 제공되고 사용자 인터랙션에 대응하는 영상을 사용자에 제공할 수 있다. 즉, 사용자가 터치 또는 마우스를 조작하는 등의 불편을 제거하고 손으로 특정 제스처를 취함으로써, VR 영상을 확인하고 가상공간에서 이동이나 다른 공간으로의 이동이 가능하여 사용자의 편의성을 증대 시킬 수 있다.

Description

제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 {DEVICE AND METHOD FOR MOVING AND CONTROL OF REAL ESTATE MODEL HOUSE VIRTUAL SPACE USING GESTURE RECOGNITION MODULE}
본 발명은 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치에 관한 것으로서, 보다 상세하게는, 모델하우스에 공간의 제약으로 인해 모두 구현되지 못한 실제 아파트에 대한 주변 환경, 편의 시설, 다른 평형 및 다른 구조의 집에 대해 VR과 AR을 통해 경험해 볼 수 있도록 하는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치에 관한 것이다.
종래에는 사람들이 모델하우스를 직접 방문하여 추후 완료 될 아파트에 대해 확인하고 해당 모델하우스 내 구비 된 평형대와 구조에 대해서만 직접 눈으로 확인이 가능 하고 다른 평형이나 다른 구조의 집에 대해서는 도면 또는 구두로 설명하는 형태를 가지고 있었다.
이러한 불편을 해소하기 위해 360 파라노믹 이미지를 활용한 사이버 모델하우스를 통해 실제 사진 또는 3D CG를 통해 만들어진 이미지를 붙여서 360도 이미지를 생성하고 PC, 스마트기기, 구글카드보드 등을 활용하여 모델하우스 내 시공되어 있지 않은 형태도 눈으로 확인이 가능하도록 하였다.
하지만, 사진이 촬영된 공간 즉, 정해진 카메라의 동선에 따라서만 진행이 되고 카메라를 중심으로 주변의 360도로 찍힌 이미지만을 확인이 가능하여, 실제 모델하우스에 시공 된 구조를 보는 것과 큰 차이가 있다는 문제점이 존재하였다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 3D 그래픽으로 만들어진 360도 이미지가 실시간으로 랜더링 되어 화면 속 오브젝트를 고화질로 관찰이 가능하며, 능동적으로 방향을 선택하여 자의적으로 이동하면서 관찰이 가능하도록 하며, 제스처 인식을 통해 복잡한 조작이 아닌 단순한 손동작 만으로 제어가 가능하도록 하는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 서버에 의해 수행되는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법은, 가상공간에 대한 입장 요청을 수신하고, 제스처 인식 모듈을 통해 수신되는 사용자의 손에 의한 인터렉션을 인식하여, 상기 인터렉션에 대응하는 명령을 검색하고, 현재 영상에서 상기 명령이 수행된 영상을 제공한다. 상기 가상공간은 1인칭 시점으로 제공 되며, 상기 가상공간은 실물 모델하우스를 3D VR 컨텐츠로 구현한 것으로써, 실내 전체와 아파트 단지 주변의 환경, 단지 내의 편의 시설 및 단지 전체의 경관을 포함하는 컨텐츠이며, 영상 제공 장치는 지면에 고정되고, 상기 인터렉션을 인식하는 제스처 인식 모듈을 포함하는 몸체부 및 상기 몸체부의 상단에 형성되며, 상기 제스처 인식 모듈을 통해 인식 된 동작에 대응하여 이동 및 제어 되는 영상을 상기 사용자에게 제공하는 디스플레이 모듈이 포함된 디스플레이부를 포함한다.
또한, 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 장치는, 지면에 고정되고, 상기 인터렉션을 인식하는 제스처 인식 모듈을 포함하는 몸체부 및 상기 몸체부의 상단에 형성되며, 상기 제스처 인식 모듈을 통해 인식 된 동작에 대응하여 이동 및 제어 되는 영상을 상기 사용자에게 제공하는 디스플레이 모듈이 포함된 디스플레이부를 포함하고, 상기 제스처 인식 모듈을 가상공간에 대한 입장 요청을 수신하면, 서버로 요청을 전송하여 해당하는 영상을 디스플레이부를 통하여 제공하고, 제스처 인식 모듈을 통해 수신되는 사용자의 손을 인식하고, 상기 인터렉션에 대응하는 영상을 제공한다.
본 발명의 일 실시예는 제스처 인식 모듈을 이용하여 대형 디스플레이로부터 키오스크까지의 장비에 3차원 가상공간을 공중에서 손 동작으로 컨트롤하면서 이동 및 인터랙션, 메뉴 선택 등의 기능을 사용할 수 있다.
디스플레이 모듈에서는 모델하우스 VR에 대한 영상이 제공되고 사용자 인터랙션에 대응하는 영상을 사용자에 제공할 수 있다. 즉, 사용자가 터치 또는 마우스를 조작하는 등의 불편을 제거하고 손으로 특정 제스처를 취함으로써, VR 영상을 확인하고 가상공간에서 이동이나 다른 공간으로의 이동이 가능하여 사용자의 편의성을 증대 시킬 수 있다.
도 1은 본 발명의 일 실시예에 따르는 시스템의 구성도 이다.
도 2는 본 발명의 일 실시예에 따르는 서버의 내부구성을 나타내는 블록도이다.
도 3 내지 5는 본 발명의 일 실시예에 따르는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 장치의 실제 사진이다.
도 6은 본 발명의 일 실시예에 따르는 키오스크 형태의 장치에 대한 예시도 이다.
도 7은 본 발명의 일 실시예에 따르는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 설명하기 위한 순서도 이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 " 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다.
또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
또한, 본 명세서에서 가상공간이란, 사용자 단말 등의 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 장치의 디스플레이 모듈을 통해 제공 되는 1인칭 시점으로 제공되되, 실물 모델하우스를 3D VR 컨텐츠로 구현한 것으로써, 실내 전체와 아파트 단지 주변의 환경, 단지 내의 편의 시설 및 단지 전체의 경관을 포함하는 컨텐츠가 될 수 있다.
이하 도 1을 참조하여 본 발명의 일 실시예에 따르는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하기 위한 시스템(10)에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는 시스템(10)은 서버(100)와 단말(200)을 포함할 수 있다. 서버(100)와 단말(200)은 유, 무선 네트워크를 통해 통신 연결될 수 있다.
서버(100)는 단말(200)의 요청에 따라, 요청한 가상공간에 대한 컨텐츠를 검색하고 해당 가상공간에 대해 1인칭 시점의 VR 컨텐츠를 단말(200)을 통해 사용자에게 전달할 수 있다.
단말(200)은 사용자가 소지하는 디바이스 또는 특정 장소에 설치 된 컴퓨팅 장치로서, 부동산 모델하우스 가상공간 어플리케이션이 설치되어 있을 수 있다. 또한, 본 명세서에서 단말(200)은 영상 제공 장치를 포함할 수 있다. 사용자가 특정 가상공간에 대한 입장 요청을 하는 경우 서버(100)로 요청 쿼리를 전송하고 서버(100)로부터 수신한 VR 컨텐츠를 사용자에게 제공할 수 있다.
이하 도 2를 참조하여 본 발명의 일 실시예에 따르는 서버(100)에 대해 구체적으로 설명한다.
서버(100)는 단말(200)로부터 쿼리를 전송 받게 되는데, 이때, 쿼리는 새로운 가상공간에 대한 입장, 현재 가상공간에서 다른 가상공간으로의 이동, 현재 가상공간 내에서 시점의 이동에 대한 쿼리를 포함할 수 있다.
네트워크로 연결 된 단말(200)이 특정 요청에 대한 쿼리를 전송하게 되면, 서버(100)내 통신모듈(110)을 통해 쿼리가 수신되고, 수신 된 쿼리는 프로세서(130)를 통해 해당 쿼리의 요청을 확인할 수 있다.
메모리(120)는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하기 위한 프로그램이 저장되어 있을 수 있다.
프로세서(130)는 쿼리에 따라 단말(200)로 제공하기 위한 VR 컨텐츠를 서버(100)내 DB(140)에서 검색하고, 검색 된 컨테츠를 통신모듈(110)을 통해 단말(200)로 전달할 수 있다.
예를 들어, 사용자가 25평형 아파트에 대한 입장을 요청하는 경우, 단말(200)은 서버(100)로 25평형 아파트에 대한 VR 컨텐츠를 요청하는 쿼리를 전송하게 되고, 서버(100)는 해당 쿼리에 맞게 DB(140)에 저장 된 컨텐츠 중 25평형 아파트의 VR 컨텐츠를 단말(200)을 통해 사용자에게 제공할 수 있다.
이하 도 3 내지 5를 참조하여 본 발명의 일 실시예에 따르는 제스처 인식에 대해 구체적으로 설명한다.
본 발명의 일 실시예에 따르는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법은, 가상공간에 대한 입장 요청을 수신하고, 제스처 인식 모듈을 통해 수신되는 사용자의 손에 의한 인터렉션을 인식하여, 인터렉션에 대응하는 명령을 검색하고, 현재 영상에서 명령이 수행된 영상을 제공한다. 가상공간은 1인칭 시점으로 제공 되며, 가상공간은 실물 모델하우스를 3D VR 컨텐츠로 구현한 것으로써, 실내 전체와 아파트 단지 주변의 환경, 단지 내의 편의 시설 및 단지 전체의 경관을 포함하는 컨텐츠이며, 영상 제공 장치는 지면에 고정되고, 인터렉션을 인식하는 제스처 인식 모듈을 포함하는 몸체부(420) 및 몸체부(420)의 상단에 형성되며, 제스처 인식 모듈을 통해 인식 된 동작에 대응하여 이동 및 제어 되는 영상을 사용자에게 제공하는 디스플레이 모듈이 포함된 디스플레이부(420)를 포함할 수 있다.
본 발명의 일 실시예에 따르는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행함에 있어서 제스처 인식을 통한 인터렉션에 의해 제공되는 영상은 영상에 의한 가상공간 내의 시점의 변경 또는 시점 이동이 이루어지도록 제공될 수 있다.
도 3을 참조하면, 사용자가 양손을 펴고 손바닥을 마주하게 위치하여 오른손과 왼손 사이의 간격을 만들고 있다. 해당 제스처는 메인 메뉴 화면을 활성화 시키는 제스처일 수 있다.
즉, 사용자가 손바닥을 펼치는 제스처에 대한 사용자 인터랙션에 의해 제공되는 영상은 최초 입장을 위한 선택 입력이 가능한 메인 메뉴 영상이거나, 현재 제공 된 시점에 해당하는 공간에서 다른 공간으로 이동이 가능한 메뉴 영상이 될 수 있다.
메뉴가 오픈 되면 특별한 조작이나 명령 지정된 제스처가 아닌 단순하게 가상공간 내에서 해당 구역은 터치하는 동작 만으로 선택이 가능하며, 제공되는 가상공간에 대한 3D 영상을 선택할 수 있다.
도 4를 참조하면, 사용자가 주먹을 쥐는 동작을 하고 있으며, 해당 제스처는 가상공간 내에서 앞으로 이동하는 제스처 일 수 있다.
즉, 인터랙션에 의해 제공되는 영상은 상기 가상공간 내에서 현재 제공 된 시점이 앞으로 이동하는 영상이 될 수 있다. 현재 디스플레이 모듈을 통해 보여지는 가상공간에 대한 3D 영상에서 바라보는 방향으로 이동할 수 있다.
사용자에게 제공되는 가상 공간 3D 영상데이터에서 이동 기능은 넓은 위치에서 이동 할 때, 예를 들어, 사용자가 아파트 단지 주변의 환경을 보고 싶은 경우 아파트 단지 환경을 메뉴에서 선택하여, 아파트 단지 환경에 대한 영상을 제공 받게 되는데, 이때 1인칭시점의 가상공간에 대한 영상을 제공 받게 되고 사용자는 제공된 아파트 주변환경이라는 가상공간에 대한 영상 안에서 자유롭게 이동하면서 주변 환경을 확인할 수 있다.
가상공간에서 앞으로 이동은 현재 1인칭 시점으로 바라보고 있는 방향으로의 이동을 지칭하며, 가상공간에 대한 영상은 360도 영상으로 제공되어 사용자가 전방이 아닌 측면을 바라보거나 뒤를 돌아 보더라도, 지속적으로 가상공간에 대한 영상이 제공되며, 사용자의 몸이 뒤를 돌거나 옆으로 회전하지 않더라도, 시선이 이동하게 되면 서버(100)는 가상공간 내에서는 시선의 이동에 따라 방향을 전환하여 해당 인터렉션에 대응하는 영상을 제공할 수 있다.
이하 도 5를 참조하면, 사용자가 손바닥을 펼치는 제스처를 취하고 있으며, 해당 제스처는 현재 위치에서 정지라는 명령의 인터렉션이 될 수 있다.
즉, 사용자가 손바닥을 펼치는 동작을 하는 경우, 손바닥을 펴는 인터랙션에 의해 제공되는 영상은 상기 가상공간 내에서 현재 제공 된 시점에 정지하는 영상이 될 수 있다.
예를 들어, 사용자가 넓은 가상공간에 대한 영상을 제공받아 해당 가상공간 영역안에서 주먹을 쥐는 제스처를 통한 인터렉션에 의해 이동하는 도중에 손바닥을 펼치게 되면, 현 위치인 현재 시점에서 영상에 대한 이동이 정지하여, 있을 수 있다.
가상공간에서 정지는 현재 현재 1인칭 시점으로 바라보고 있는 방향으로 이동한 도중 현재 디스플레이를 통해 제공되는 영상에 멈추는 것을 지칭하며, 사용자의 이동이 멈추더라도, 주변의 나무의 흔들림이나, 배치 되어 있는 사람 케릭터의 움직임, 기타 가상공간에 배치 된 사물의 움직임은 사용자의 정지에 관계없이 지속적으로 움직일 수 있다.
이하 도 6 내지 7을 참조하여, 본 발명의 일 실시예에 따르는 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치에 대해 구체적으로 설명한다.
도 6에 도시 된 바와 같이, 지면에 고정될 수 있으며, 제스처 인식 모듈을 포함하는 몸체부(420)와 몸체부(420)의 상단에 구비되어 사용자에게 영상을 제공하는 디스플레이 모듈을 포함하는 디스플레이부(420)로 구성 될 수 있다.
몸체부(420)에 포함되는 제스처 인식 모듈은 디스플레이부(420)에서 영상이 제공되는 화면보다 앞쪽에 배치 될 수 있다.
도시 된 바와 같이 영상 제공 장치는 키오스크 형태로 구비 될 수 있다.
키오스크 형태의 영상 제공 장치에는 부동산 모델하우스 가상공간 어플리케이션이 설치되어 있을 수 있다. 제스처 인식 모듈을 포함할 수 있다. 사용자가 특정 가상공간에 대한 입장 요청을 하는 경우 서버(100)로 요청 쿼리를 전송하고 서버(100)로부터 수신한 VR 컨텐츠를 사용자에게 제공할 수 있다.
즉, 키오스크 형태의 영상 제공 장치는 그 형태가 키오스크이지만 단말(200)과 같은 역할을 수행할 수 있다.
본 발명의 일 실시예에 따르는 키오스크 형태의 영상 제공 장치는, 디스플레이부(420)가 몸체부(420) 상단에 구비되되, 몸체부(420)와 디스플레이부(420)의 후면이 예각을 이루도록 기울어져 형성될 수 있다.
즉, 몸체부(420)의 상단에 기울어진 형태를 취하게 되는데, 화면이 제공되는 앞면과 몸체부(420)는 둔각을 이루고 뒷면과 몸체부(420)가 이루는 내각(401)은 예각을 이루도록 기울어 질 수 있다.
몸체부(420)의 상단 중 일 영역에 배치되는 제스처 인식 모듈은 디스플레이부(420)를 기준으로 디스플레이부(420)의 하단에 구비될 수 있다. 또는, 디스플레이부(420)가 배치되는 몸체부(410)의 상면에 구비되되, 디스플레이부(420)보다 사용자에게 더 가까운 위치에 구비 될 수 있다.
이는 사용자가 영상 제공 장치에 사용자 인터렉션을 위한 제스처를 취할 때 디스플레이 부의 바로 앞쪽에서 진행이 가능할 수 있다.
디스플레이부(420)가 다른 터치형식의 키오스크처럼 화면이 제공되는 부분이 상단을 바라보도록 하면, 사용자의 눈 높이에 맞지 않는 다는 단점이 존재할 수 있으며, 직각으로 구비되거나 혹은 디스플레이부(420) 전면(화면)과 몸체부(420)가 예각을 이루는 경우에는 제스처 인식이 제대로 수행되지 않을 수 있다.
따라서, 키오스크 형태의 영상 제공 장치는 디스플레이부(420)를 기울어지게 구비 함으로써 제스처 인식 모듈의 인식률을 높일 수 있으며, 사용자가 편리하게 사용하도록 할 수 있다.
이하 도 8을 참조하여 본 발명의 일 실시예에 따르는 서버에 의해 수행되는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법에 대한 순서를 상세히 설명한다.
우선, 서버(100)은 단말(200)로부터 가상공간에 대한 입장요청을 수신하게 된다(S310). 이때 입장 요청에 대한 쿼리는 메뉴에서 선택한 특정 공간이 될 수 있고, 처음 시작하여 메뉴를 선택 할 수 있는 화면에 대한 요청 쿼리 일 수 있다.
처음 시작한 상황이라면, 입장이 가능한 가상공간에 대한 영상 메뉴를 제공 할 수 있고, 현재 가상공간에 대한 영상을 제공받고 있는 상황에서 메뉴를 통해 다른 영상을 요청하게 되면, 단말(200)로부터 요청을 수신한 특정 가상공간에 대한 영상 데이터를 제공할 수 있다.
이후, 사용자는 현재 제공받은 가상공간에 대한 영상 데이터를 기준으로 이동이 가능 할 수 있다.
제스처 인식 모듈은 사용자의 손을 인식하고, 손을 인식한 이후에 손의 모양이나, 방향 등을 고려하여 사용자의 손 동작을 통한 인터렉션을 인식할 수 있다(S320).
주먹을 쥐거나, 손을 펴거나, 양손의 간격을 벌리는 것과 같은 사전에 계획된 인터렉션이 수신 되는 경우 서버(100)는 이에 해당하는 영상 데이터를 제공할 수 있다.
사용자가 취한 제스처에 따라 제스처 인식 모듈은 사용자의 인터렉션에 대응하는 명령을 검색하고 해당 인터렉션에 의해 요청된 명령이 수행된 영상 데이터를 단말(200)을 통해 사용자에게 제공할 수 있다.
본 발명의 추가 실시예로, 사용자가 한손은 펴고 한손은 주먹을 쥐는 동작을 취하는 제스처를 통한 인터렉션은 현재 바라보는 방향으로 끝까지 갔다가 막다른 길이 나오면 멈추도록 할 수 있다.
또는 현재 바라보는 방향으로 끝까지 이동하다가 막다른 길이 나오면 손을 펴고 있는 방향으로 회전하여 이동할 수 있다.
즉, 두손이 모두 인식되었을 때, 서로 다른 제스처를 취하게 되면, 상이한 두 손의 동작을 인식하여 다양한 인터렉션이 가능하고 다양한 명령을 할 수 있다.
본 발명의 추가 실시예로, 가상공간에 대한 3D 영상이 제공 될 때, 화면을 분할하여, 두개의 화면을 제공 받는 것이 가능할 수 있으며, 화면이 분할되는 경우 각 화면에서 독립적인 동작을 인식하여 각 화면에 독립적인 가상공간을 제공하여, 화멸 별로 사용자 인터렉션에 의한 명령이 수행되도록 할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능 한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 시스템 100: 서버
110: 통신 모듈 130: 프로세서
140: DB
200: 단말
400: 영상 제공 장치
410: 몸체부 420: 디스플레이부
401: 몸체부와 디스플레이부 후면 사이의 각

Claims (12)

  1. 서버에 의해 수행되는 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법에 있어서,
    가상공간에 대한 입장 요청을 수신하는 단계;
    영상 제공 장치를 통해 수신되는 사용자의 손에 의한 인터렉션을 인식하는 단계;
    상기 인터렉션에 대응하는 명령을 검색하여, 현재 영상에서 상기 명령이 수행된 영상을 제공하는 단계;
    를 포함하며,
    상기 가상공간은,
    1인칭 시점으로 제공 되며, 상기 가상공간은 실물 모델하우스를 3D VR 컨텐츠로 구현한 것으로써, 실내 전체와 아파트 단지 주변의 환경, 단지 내의 편의 시설 및 단지 전체의 경관을 포함하는 컨텐츠이며,
    상기 영상 제공 장치는,
    지면에 고정되고, 상기 인터렉션을 인식하는 제스처 인식 장치를 포함하는 몸체부; 및
    상기 몸체부의 상단에 형성되며, 상기 제스처 인식 모듈을 통해 인식 된 동작에 대응하여 이동 및 제어 되는 영상을 상기 사용자에게 제공하는 디스플레이 모듈이 포함된 디스플레이부;
    를 포함하는 것인, 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  2. 제 1 항에 있어서,
    상기 디스플레이부는,
    상기 몸체부와 상기 디스플레이부의 후면이 예각을 이루도록 기울어져 형성되는 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  3. 제 1 항에 있어서,
    상기 인터렉션에 의해 제공되는 영상은,
    상기 영상에 의한 가상공간 내의 시점의 변경 또는 시점 이동이 이루어지도록 제공되는 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  4. 제 3 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 주먹을 쥐는 동작을 포함하며,
    상기 인터랙션에 의해 제공되는 영상은 상기 가상공간 내에서 현재 제공 된 시점이 앞으로 이동하는 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  5. 제 3 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 손바닥을 펼치는 동작을 포함하며,
    상기 인터랙션에 의해 제공되는 영상은 상기 가상공간 내에서 현재 제공 된 시점에 정지하는 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  6. 제 3 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 양 손의 간격을 벌리는 동작을 포함하며,
    상기 인터랙션에 의해 제공되는 영상은 상기 가상공간 내에서 현재 제공 된 시점에 해당하는 공간에서 다른 공간으로 이동이 가능한 메뉴 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법.
  7. 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치에 있어서,
    지면에 고정되고, 인터렉션을 인식하는 영상 제공 장치를 포함하는 몸체부; 및
    상기 몸체부의 상단에 형성되며, 상기 영상 제공 장치를 통해 인식 된 동작에 대응하여 이동 및 제어 되는 영상을 상기 사용자에게 제공하는 디스플레이 모듈이 포함된 디스플레이부;
    를 포함하고,
    상기 영상 제공 장치는 가상공간에 대한 입장 요청을 수신하면, 서버로 요청을 전송하여 해당하는 영상을 디스플레이부를 통하여 제공하고,
    영상 제공 장치를 통해 수신되는 사용자의 손을 인식하고,
    상기 인터렉션에 대응하는 영상을 제공하는 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.
  8. 제 7 항에 있어서,
    상기 디스플레이부는,
    상기 몸체부와 상기 디스플레이부의 후면이 예각을 이루도록 소정의 각도로 기울어져 형성되는 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.
  9. 제 7 항에 있어서,
    상기 인터렉션에 대응하는 영상은,
    상기 영상에 의한 가상공간 내의 시점의 변경 또는 시점 이동이 이루어지도록 제공되는 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.
  10. 제 9 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 주먹을 쥐는 동작을 포함하며,
    상기 인터랙션에 대응하는 영상은 상기 가상공간 내에서 현재 제공 된 시점이 앞으로 이동하는 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.
  11. 제 9 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 손바닥을 펼치는 동작을 포함하며,
    상기 인터랙션에 대응하는 영상은 상기 가상공간 내에서 현재 제공 된 시점에 정지하는 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.
  12. 제 9 항에 있어서,
    상기 인터랙션은,
    상기 사용자가 양 손의 간격을 벌리는 동작을 포함하며,
    상기 인터랙션에 대응하는 영상은 상기 가상공간 내에서 현재 제공 된 시점에 해당하는 공간에서 다른 공간으로 이동이 가능한 메뉴 영상인 것인,
    제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법을 수행하는 영상 제공 장치.

KR1020170173509A 2017-12-15 2017-12-15 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 KR102074680B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173509A KR102074680B1 (ko) 2017-12-15 2017-12-15 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173509A KR102074680B1 (ko) 2017-12-15 2017-12-15 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190072277A true KR20190072277A (ko) 2019-06-25
KR102074680B1 KR102074680B1 (ko) 2020-04-08

Family

ID=67065140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173509A KR102074680B1 (ko) 2017-12-15 2017-12-15 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102074680B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
KR20130111234A (ko) * 2010-06-21 2013-10-10 마이크로소프트 코포레이션 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160132683A (ko) * 2015-05-11 2016-11-21 (주)젠트정보기술 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
KR20130111234A (ko) * 2010-06-21 2013-10-10 마이크로소프트 코포레이션 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160132683A (ko) * 2015-05-11 2016-11-21 (주)젠트정보기술 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法
CN112518743B (zh) * 2020-11-20 2022-04-01 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制系统及方法

Also Published As

Publication number Publication date
KR102074680B1 (ko) 2020-04-08

Similar Documents

Publication Publication Date Title
US9563272B2 (en) Gaze assisted object recognition
US9626939B1 (en) Viewer tracking image display
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
JP2020074058A (ja) ２ｄ／３ｄ混在コンテンツの検出及び表示
US9288471B1 (en) Rotatable imaging assembly for providing multiple fields of view
US8451344B1 (en) Electronic devices with side viewing capability
US20150187138A1 (en) Visualization of physical characteristics in augmented reality
US9373025B2 (en) Structured lighting-based content interactions in multiple environments
US9213420B2 (en) Structured lighting based content interactions
WO2012158439A1 (en) Using spatial information with device interaction
JP2017536715A (ja) 立体空間の物理的な対話の発現
US20190155484A1 (en) Method and apparatus for controlling wallpaper, electronic device and storage medium
US20130254648A1 (en) Multi-user content interactions
US9367124B2 (en) Multi-application content interactions
US9294670B2 (en) Lenticular image capture
US20150213784A1 (en) Motion-based lenticular image display
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
WO2020151255A1 (zh) 一种基于移动终端的展示控制系统及方法
US10984607B1 (en) Displaying 3D content shared from other devices
JP2019536140A (ja) 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2020165885A1 (en) Computer-implemented method and system for providing interaction rules in mixed reality
Chen et al. A case study of security and privacy threats from augmented reality (ar)
KR102074680B1 (ko) 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치
KR20200144702A (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right