KR20200074557A - 음성/동작인식 적용한 건축공간 가상현실 시스템 - Google Patents

음성/동작인식 적용한 건축공간 가상현실 시스템 Download PDF

Info

Publication number
KR20200074557A
KR20200074557A KR1020180163082A KR20180163082A KR20200074557A KR 20200074557 A KR20200074557 A KR 20200074557A KR 1020180163082 A KR1020180163082 A KR 1020180163082A KR 20180163082 A KR20180163082 A KR 20180163082A KR 20200074557 A KR20200074557 A KR 20200074557A
Authority
KR
South Korea
Prior art keywords
user
voice
virtual reality
motion
hmd
Prior art date
Application number
KR1020180163082A
Other languages
English (en)
Inventor
이구
Original Assignee
주식회사 제이와이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이와이지 filed Critical 주식회사 제이와이지
Priority to KR1020180163082A priority Critical patent/KR20200074557A/ko
Publication of KR20200074557A publication Critical patent/KR20200074557A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 형태는 사용자 머리동작과 사용자 음성을 인식하며, 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD; 및 HMD를 통해 감지되는 사용자 동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD에 표시하는 VR 컨트롤러 기기;를 포함할 수 있다.

Description

음성/동작인식 적용한 건축공간 가상현실 시스템{Construction space VR system using voice/motion cognition}
본 발명은 음성/동작인식 적용한 건축공간 가상현실 시스템으로서, 음성 및 동작의 인식을 통한 건축공간 가상현실 시스템에 관한 것이다.
일반적으로 모델하우스는 아파트 등의 건물을 건축할 때, 집을 사려는 사람들에게 보이기 위해 미리 지어놓은 견본용 집이다. 모델하우스를 제작하는 것은 건축업자들이 건축하는 아파트가 완공되기 전에 집을 사려는 사람들을 모집함으로써 입주계약을 하기 위함이다.
그런데 이러한 모델하우스, 인테리어 등의 건축 산업의 고질적인 문제는 실물을 구축하는데 필요한 시간 및 모델 하우스 등 실물 확인을 위하여 이동해야 하는 시간적 문제, 실물 구축에 필요한 공간 및 인테리어를 위한 제작물을 저장하기 위한 공간이 필요한 공간적 문제, 실물을 구축하고 유지하기 위해서 초기 비용 및 지속 비용이 발생되는 비용적 문제가 있다.
한편, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 가상현실(VR;Virtual Reality)이 일반화되어 상용되고 있다. 가상현실(VR)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 말한다. 인공현실(artificial reality), 사이버 공간(cyberspace), 가상세계(virtual worlds), 가상환경(virtual environment), 합성환경(synthetic environment), 인공환경(artificial environment) 등이라고도 한다.
따라서 건축분야에서 VR기술을 접목시켜 이용되고 있는데, 예를 들어, 모델하우스는 최근 가상현실로도 운영되고 있다. 가상현실을 통한 모델하우스는 현실성이 높아 구매자에게 현실에 가까운 내부뷰를 제공함으로써 공간분할이 어떻게 되어 있는지 확인할 수 있도록 한다.
그런데 기존의 건축분야에서의 VR기술은, 단순하게 건축공간을 가상현실 그래픽으로 제공해줄 뿐이지, 건축물 특성을 고려한 사용자와의 고유한 인터페이스 수단을 제공하지 못하여 효율성이 떨어지는 문제가 있다.
한국등록특허 10-0735676
본 발명의 기술적 과제는 건축, 인테리어 산업의 고질적인 문제인 실물을 구축하는데 필요한 시간 및 모델 하우스 등 실물 확인을 위하여 이동해야 하는 시간적 문제, 실물 구축에 필요한 공간 및 인테리어를 위한 제작물을 저장하기 위한 공간이 필요한 공간적 문제, 실물을 구축하고 유지하기 위해서 초기 비용 및 지속 비용이 발생되는 비용적 문제를 해결할 수 있는 수단을 제공하는데 있다.
본 발명의 실시 형태는 사용자 머리동작과 사용자 음성을 인식하며, 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD; 및 HMD를 통해 감지되는 사용자 동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD에 표시하는 VR 컨트롤러 기기;를 포함할 수 있다.
상기 HMD는, 사용자 동작을 인식하는 HMD 동작 인식기; 사용자 음성을 인식하는 HMD 마이크; 및 가상현실 그래픽이 표시되는 디스플레이 유닛;를 포함하며, 상기 HMD 동작 인식기는, 사용자 머리동작을 인식하는 자이로 센서; 사용자 머리동작 및 손동작을 인식하는 카메라 센서; 및 적외선을 포함하는 특정 파장을 가진 광선을 송출하는 외부 센서와 해당 광선과 연동하도록 HMD에 장착된 센서 중 어느 하나로 구현될 수 있다.
또한 본 발명의 실시 형태는, 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD; 사용자 손동작과 사용자 음성을 인식하는 손동작 인식기; 및 손동작 인식기를 통해 감지되는 사용자 손동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD에 표시하는 VR 컨트롤러 기기;를 포함할 수 있다.
상기 동작/음성 인식 커맨드에 따른 상호작용은, 인식되는 사용자 음성의 명령 유형을 파악한 후, 파악되는 명령 유형에 따른 사용자 동작을 발생시킬 수 있다.
인식되는 사용자 음성의 명령 유형이 방향 이동 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향으로 사용자 위치 이동이 이루어지도록 하는 방향 이동 상호작용 모드로 동작하며, 인식되는 사용자 음성의 명령 유형이 객체 제어 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향에 있는 객체를 객체 제어 요청 명령대로 제어하는 객체 제어 상호작용 모드로 동작할 수 있다.
상기 방향 이동 상호작용 모드는, 가상현실 그래픽의 대상이 되는 건축대상체의 바닥재질과 바닥면적을 고려하여 이동 거리가 다르게 결정되도록 할 수 있다.
상기 객체 제어 상호작용 모드는, 사용자 동작 방향에 있는 객체에 적용될 수 있는 추천 건축자재 목록을 표시하며, 선택되는 추천 건축자재에 대한 객체 제어 요청 명령을 음성 인식할 수 있다.
본 발명의 실시 형태에 따르면 건축 또는 인테리어라는 산업의 특성상 실물을 구성하기 위하여는 많은 비용이 들고 유지하는데 추가적으로 비용이 드는 것을 디지털 기술로 구성하여 비용 문제를 해결함과 동시에 VR 환경이라는 측면에서 기존 디지털 환경이 모니터로 보는 2D 환경과는 다른 만족감을 가져올 수 있다.
또한 본 발명의 실시 형태에 따르면 모델하우스 등 건축 산업을 진행하기 위하여 필수적으로 소요되는 공간적(실물을 구성할 공간)과 시간적(구성 위치에 따른 거리와 변경시 소요되는 기간 등) 제약을 쉽게 해소할 수 있어, 건축 산업의 공간적, 시간적 제약을 해소할 수 있다.
또한 본 발명의 실시 형태에 따르면 VR 게임에만 집중되어 있는 현재 국내 VR 산업에서 실용적 효과를 확인할 수 있는 사례를 창출함으로 말미암아 세계적으로 뒤쳐져 있는 국내 VR 산업의 생태계를 다양한 산업군으로 연결시키는 효과를 가져올 수 있다.
도 1은 본 발명의 실시예에 따른 음성/동작인식 적용한 건축공간 가상현실 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 건축공간의 가상현실 그래픽의 예시 그림.
도 3은 본 발명의 실시예에 따른 HMD의 구성 블록도.
도 4는 본 발명의 실시예에 따른 상호작용 기능을 위한 기능 다이어 그램을 도시한 그림.
도 5는 본 발명의 실시예에 따른 손동작 인식기가 구비된 음성/동작인식 적용한 건축공간 가상현실 시스템의 구성도.
이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 음성/동작인식 적용한 건축공간 가상현실 시스템의 구성도이며, 도 2는 본 발명의 실시예에 따른 건축공간의 가상현실 그래픽의 예시 그림이며, 도 3은 본 발명의 실시예에 따른 HMD의 구성 블록도이며, 도 4는 본 발명의 실시예에 따른 상호작용 기능을 위한 기능 다이어 그램을 도시한 그림이며, 도 5는 본 발명의 실시예에 따른 손동작 인식기가 구비된 음성/동작인식 적용한 건축공간 가상현실 시스템의 구성도이다.
본 발명의 가상현실 적용 음성/동작인식 스마트홈 시스템은, 도 1에 도시한 바와 같이 사용자 머리동작과 사용자 음성을 인식하며, 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD(200)와, HMD(200)를 통해 감지되는 사용자 동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD(200)에 표시하는 VR 컨트롤러 기기(100)를 포함할 수 있다. 이하, 상술한다.
HMD(200)(Head mounted Display)는, 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 머리 착용 영상 표시 기기이다. 본 발명의 HMD(200)는 사용자 머리동작과 사용자 음성을 인식하여, 감지되는 사용자 동작과 사용자 음성의 상호작용이 적용된 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시한다. 이러한 가상현실 그래픽은, 도 2에 도시한 바와 같이 아파트 등의 모델하우스, 주택 인테리어 등을 가상현실(VR)로서 표시하는데, 극현실 재질 및 실시간 조명 표현으로 체험자에게 실체적 몰입 환경을 제공할 수 있다.
HMD(200)는, 도 3에 도시한 바와 같이, 사용자 동작을 인식하는 HMD 동작 인식기(210)와, 사용자 음성을 인식하는 HMD 마이크(220)와, 가상현실 그래픽이 표시되는 디스플레이 유닛(230)과, VR 컨트롤러 기기(100)와 통신하는 유무선 통신 유닛(240)을 포함할 수 있다.
여기서 유무선 통신 유닛(240)은, 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus), IEEE 1394, 직렬통신(serial communication) 및 병렬 통신(parallel communication)과 같은 유선 통신 방식이 사용될 수 있으며, 적외선 통신(Infrared Radiation), 블루투스(Bluetooth), 홈 RF(Radio Frequency) 및 무선 랜(Wireless LAN)과 같은 무선 통신 방식이 사용될 수도 있다.
또한 HMD 동작 인식기(210)는, 사용자가 주택 내 설치된 인테리어 요소와의 상호작용을 통해 즉각 선택, 설치, 작동할 수 있도록 하기 위하여 사용자 머리동작이나 손동작을 인식하는 기능을 수행한다. 이를 위하여 HMD 동작 인식기(210)는, 사용자 머리동작을 인식하는 자이로 센서(211)로 구현될 수 있다. 따라서 자이로 센서(211)를 통하여 HMD(200)를 착용한 사용자의 머리 동작을 인식할 수 있는데, 예컨대, HMD(200)를 착용한 사용자가 머리를 돌려 오른쪽 방향을 가리키면 오른쪽 방향을 가리킨다는 것을 인식할 수 있으며, HMD(200)를 착용한 사용자가 머리를 돌려 왼쪽 방향을 가리키면 오른쪽 방향을 가리킨다는 것을 인식할 수 있다.
또한 HMD 동작 인식기(210)는, 사용자 머리동작 및 손동작을 인식하는 카메라 센서(212)로 구현될 수 있다. 따라서 카메라 센서(212)를 통하여 사용자 머리동작 이나 손동작을 인식할 수 있다. 예컨대, HMD(200)를 착용한 사용자가 머리를 돌려 오른쪽 방향을 가리키면 카메라 센서(212)가 오른쪽 방향에 있는 객체를 인식할 수 있으며, HMD(200)를 착용한 사용자가 머리를 돌려 왼쪽 방향을 가리키면 카메라 센서(212)가 왼쪽 방향에 있는 객체를 인식할 수 있다. 또한 HMD(200)를 착용한 사용자가 손을 오른쪽으로 가리키는 경우 카메라 센서(212)는 사용자의 손을 촬영하여 사용자 지시 방향이 오른쪽을 가리킴을 알 수 있게 되며, HMD(200)를 착용한 사용자가 손을 왼쪽으로 가리키는 경우 카메라 센서(212)는 사용자의 손을 촬영하여 사용자 지시 방향이 왼쪽을 가리킴을 알 수 있게 된다.
VR 컨트롤러 기기(100)는, CPU 및 메모리를 구비하여 연산 및 저장 기능을 수행하는 단말이다. 참고로, 메모리는, 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
VR 컨트롤러 기기(100)는, 스마트폰, 태블릿, 노트북, 데스크탑 PC 등의 다양한 단말로 구현가능하다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 외부 장치와 통신이 가능한 단말기를 모두 포함할 수 있음은 당연하다.
특히 본 발명의 VR 컨트롤러 기기(100)는, 사용자가 자유로운 체험 기회를 가질 수 있도록 주택내 설치된 인테리어 요소와의 상호작용을 통해 즉각 선택, 설치, 작동할 수 있는 가상현실 그래픽을 제공한다. 이를 위해 VR 컨트롤러 기기(100)는, HMD(200)를 통해 감지되는 사용자 동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD(200)에 표시한다.
여기서, 동작/음성 인식 커맨드에 따른 상호작용이라 함은, 도 4에 도시한 바와 같이 사용자 동작인식 데이터를 활용한 음성인식 인터페이스의 보조에 의한 상호작용을 말하는 것이다.
따라서 동작/음성 인식 커맨드에 따른 상호작용은, 인식되는 사용자 음성의 명령 유형을 파악한 후, 파악되는 명령 유형에 따른 사용자 동작을 발생시키는 작용을 말한다. 따라서 동작인식 + 음성인식의 조합으로 음성 인식 커맨드의 단순화 및 실패율 경감을 가져올 수 있다.
상호작용은 다음과 같이 방향 이동 상호작용 모드와 객체 제어 상호작용 모드의 두 가지 모드로 동작될 수 있다.
첫 번째 상호작용 모드인 방향 이동 상호작용 모드는, 인식되는 사용자 음성의 명령 유형이 방향 이동 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향으로 사용자 위치 이동이 이루어지도록 하는 모드이다.
예를 들어, 손 또는 머리로 방향을 가리키며 "저기로" 라는 음성 명령어를 입력하면 가리킨 곳으로 가상현실 그래픽에서 이동하며, 또한 손 또는 머리로 방향을 가리키며 "안으로" 라는 음성 명령어를 입력하면 가리킨 곳의 내부로 가상현실 그래픽에서 이동하며, 손 또는 머리로 방향을 가리키며 "밖으로" 라는 음성 명령어를 입력하면 가리킨 곳의 내부로 가상현실 그래픽에서 이동한다.
나아가, 추가적으로 본 발명은, 방향 이동 상호작용 모드로 동작함에 있어서, 가상현실 그래픽의 대상이 되는 건축대상체의 바닥재질과 바닥면적을 고려하여 이동 거리가 다르게 결정되도록 가상현실 그래픽을 제어하도록 한다.
예를 들어, 가상현실 그래픽에서 바닥재질이 미끄러운 대리석 바닥일 경우, 손 또는 머리로 방향을 가리키며 "저기로" 라는 음성 명령어를 입력하면 미끄러운 바닥을 따라 기준보다 더 멀리 이동하며, 가상현실 그래픽에서 바닥재질이 미끄럽지 않은 흑인 경우, 손 또는 머리로 방향을 가리키며 "저기로" 라는 음성 명령어를 입력하면 미끄러운 바닥을 따라 기준보다 더 적게 이동하도록 한다.
또한 가상현실 그래픽에서 바닥면적이 작은 경우, 손 또는 머리로 방향을 가리키며 "저기로" 라는 음성 명령어를 입력하면 기준보다 더 적게 이동하며, 가상현실 그래픽에서 바닥면적이 큰 경우, 손 또는 머리로 방향을 가리키며 "저기로" 라는 음성 명령어를 입력하면 기준보다 더 멀리 이동한다.
두 번째 상호작용 모드인 객체 제어 상호작용 모드는, 인식되는 사용자 음성의 명령 유형이 객체 제어 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향에 있는 객체를 객체 제어 요청 명령대로 제어하는 모드이다.
예를 들어, 손 또는 머리로 상호작용할 객체인 베란다 창문을 가리키며 "열어줘" 라는 음성 명령어를 입력하면 가상현실 그래픽내에서의 베란다 창문이 열리며, 손 또는 머리로 상호작용할 객체인 베란다 창문을 가리키며 "닫아줘" 라는 음성 명령어를 입력하면 가상현실 그래픽내에서의 베란다 창문이 닫힌다. 또한 손 또는 머리로 상호작용할 객체인 현관도어를 가리키며 "열어줘" 라는 음성 명령어를 입력하면 가상현실 그래픽내에서의 현관도어가 열리며, 손 또는 머리로 상호작용할 객체인 현관도어를 가리키며 "닫아줘" 라는 음성 명령어를 입력하면 가상현실 그래픽내에서의 현관도어가 닫힌다.
나아가, 추가적으로 본 발명은, 객체 제어 상호작용 모드로 동작함에 있어서, 사용자 동작 방향에 있는 객체에 적용될 수 있는 추천 건축자재 목록을 표시하며, 선택되는 추천 건축자재에 대한 객체 제어 요청 명령을 음성 인식하도록 가상현실 그래픽을 제어하도록 구현할 수 있다.
예를 들어, 손 또는 머리로 상호작용할 객체인 현관도어를 가리키며 "닫아줘" 라는 음성 명령어를 입력하면 가상현실 그래픽내에서의 현관도어에 어울리는 추천 건축자재 목록들이 표시된다. 사용자가 현관도어의 추천 건축자재 목록 중에서 중문을 선택하는 경우, 선택되는 중문도 함께 표시하며 현관도어 뿐만 아니라 중문도 닫혀 있는 가상현실 그래픽을 제공한다. 따라서 사용자는 건축공간 가상현실 그래픽에서 현실적인 체험을 할 수 있게 된다.
한편, 상기의 도 1에서는 HMD(200)가 동작 인식 및 음성 인식을 하는 예시를 도시하였는데, 본 발명의 다른 실시예로서 도 5에 도시한 바와 같이 별도의 손동작 인식기(300)를 구비하여, 손동작 인식기(300)가 동작 인식 및 음성 인식을 하도록 구현할 수 있다. 손동작 인식기(300)에는 자이로 센서, 마이크 등이 설치된다.
따라서 도 5에 도시된 VR 컨트롤러 기기(100)는, 손동작 인식기(300)를 통해 감지되는 사용자 손동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD(200)에 표시하게 된다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
100:VR 컨트롤러 기기
200:HMD
300:손동작 인식기

Claims (7)

  1. 사용자 머리동작과 사용자 음성을 인식하며, 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD; 및
    HMD를 통해 감지되는 사용자 동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD에 표시하는 VR 컨트롤러 기기;
    를 포함하는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  2. 청구항 1에 있어서, 상기 HMD는,
    사용자 동작을 인식하는 HMD 동작 인식기;
    사용자 음성을 인식하는 HMD 마이크; 및
    가상현실 그래픽이 표시되는 디스플레이 유닛;를 포함하며,
    상기 HMD 동작 인식기는,
    사용자 머리동작을 인식하는 자이로 센서; 및
    사용자 머리동작 및 손동작을 인식하는 카메라 센서; 중 어느 하나로 구현되는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  3. 건축공간을 가상현실로 나타낸 가상현실 그래픽을 표시하는 HMD;
    사용자 손동작과 사용자 음성을 인식하는 손동작 인식기; 및
    손동작 인식기를 통해 감지되는 사용자 손동작과 사용자 음성을 조합한 음성 인식 커맨드를 생성하며, 생성된 동작/음성 인식 커맨드에 따른 상호작용이 적용되는 가상현실 그래픽을 HMD에 표시하는 VR 컨트롤러 기기;
    를 포함하는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  4. 청구항 1 또는 청구항 3에 있어서, 상기 동작/음성 인식 커맨드에 따른 상호작용은,
    인식되는 사용자 음성의 명령 유형을 파악한 후, 파악되는 명령 유형에 따른 사용자 동작을 발생시키는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  5. 청구항 4에 있어서
    인식되는 사용자 음성의 명령 유형이 방향 이동 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향으로 사용자 위치 이동이 이루어지도록 하는 방향 이동 상호작용 모드로 동작하며,
    인식되는 사용자 음성의 명령 유형이 객체 제어 요청 명령인 경우, 가상현실 그래픽 내에서 사용자 동작 방향에 있는 객체를 객체 제어 요청 명령대로 제어하는 객체 제어 상호작용 모드로 동작하는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  6. 청구항 5에 있어서,
    상기 방향 이동 상호작용 모드는, 가상현실 그래픽의 대상이 되는 건축대상체의 바닥재질과 바닥면적을 고려하여 이동 거리가 다르게 결정되도록 함을 특징으로 하는 음성/동작인식 적용한 건축공간 가상현실 시스템.
  7. 청구항 5에 있어서,
    상기 객체 제어 상호작용 모드는, 사용자 동작 방향에 있는 객체에 적용될 수 있는 추천 건축자재 목록을 표시하며, 선택되는 추천 건축자재에 대한 객체 제어 요청 명령을 음성 인식함을 특징으로 하는 음성/동작인식 적용한 건축공간 가상현실 시스템.
KR1020180163082A 2018-12-17 2018-12-17 음성/동작인식 적용한 건축공간 가상현실 시스템 KR20200074557A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180163082A KR20200074557A (ko) 2018-12-17 2018-12-17 음성/동작인식 적용한 건축공간 가상현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163082A KR20200074557A (ko) 2018-12-17 2018-12-17 음성/동작인식 적용한 건축공간 가상현실 시스템

Publications (1)

Publication Number Publication Date
KR20200074557A true KR20200074557A (ko) 2020-06-25

Family

ID=71400102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163082A KR20200074557A (ko) 2018-12-17 2018-12-17 음성/동작인식 적용한 건축공간 가상현실 시스템

Country Status (1)

Country Link
KR (1) KR20200074557A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127952A (zh) * 2021-03-19 2021-07-16 南京墨白建筑景观设计有限公司 基于vr技术的建筑设计方法
KR102303357B1 (ko) * 2020-11-17 2021-09-24 주식회사 퍼스트하우스 원격 화상 감리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735676B1 (ko) 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735676B1 (ko) 2006-02-24 2007-07-06 조현덕 가상현실 모델하우스 운영시스템 및 운영방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102303357B1 (ko) * 2020-11-17 2021-09-24 주식회사 퍼스트하우스 원격 화상 감리 시스템
CN113127952A (zh) * 2021-03-19 2021-07-16 南京墨白建筑景观设计有限公司 基于vr技术的建筑设计方法

Similar Documents

Publication Publication Date Title
US11599237B2 (en) User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10936080B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
Bruder et al. Arch-explore: A natural user interface for immersive architectural walkthroughs
AU2021200913A1 (en) Remote expert system
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
KR102442136B1 (ko) 메타버스 대화 서비스 제공 기반의 디지털 트윈 공간 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US11244511B2 (en) Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device
KR20120072126A (ko) 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법
US20120229509A1 (en) System and method for user interaction
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
CN105075246A (zh) 使用镜子暗喻来提供远程沉浸式体验
CN101977240A (zh) 基于iPhone智能手机的机器人人机交互系统
JP6629528B2 (ja) 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
WO2012119371A1 (zh) 一种用户交互系统和方法
CN108671539A (zh) 目标对象交互方法及装置、电子设备、存储介质
KR20230029885A (ko) 말 풍선들 및 번역을 갖는 증강 현실 안경류
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
CN111459264B (zh) 3d对象交互系统和方法及非暂时性计算机可读介质
CN106468917B (zh) 一种可触摸现场实时视频图像的远程呈现交互方法和系统
KR102144515B1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
KR20200074557A (ko) 음성/동작인식 적용한 건축공간 가상현실 시스템
Medeiros et al. 3D pointing gestures as target selection tools: guiding monocular UAVs during window selection in an outdoor environment
WO2021046747A1 (zh) 主动式物体识别方法、物体识别装置以及物体识别系统
US20210372772A1 (en) Electronic device for providing image data using augmented reality and control method for same
JP7130215B1 (ja) 建築予定建物確認システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination