KR20180079943A - 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법 - Google Patents

웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20180079943A
KR20180079943A KR1020170000717A KR20170000717A KR20180079943A KR 20180079943 A KR20180079943 A KR 20180079943A KR 1020170000717 A KR1020170000717 A KR 1020170000717A KR 20170000717 A KR20170000717 A KR 20170000717A KR 20180079943 A KR20180079943 A KR 20180079943A
Authority
KR
South Korea
Prior art keywords
wearable device
user
indoor control
projector
area
Prior art date
Application number
KR1020170000717A
Other languages
English (en)
Inventor
정소영
임채은
한주화
이주행
이주호
정민교
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020170000717A priority Critical patent/KR20180079943A/ko
Publication of KR20180079943A publication Critical patent/KR20180079943A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 실내 제어 시스템 및 방법에 관한 것으로, 특히 프로젝터로 사용자가 거주하는 환경의 실세계 표면의 원하는 곳에 정보/인터페이스/콘텐츠를 출력하고 사용자가 착용한 웨어러블 장치를 이용하여 공간증강현실(SAR : spatial augmented reality) 방식으로 인터렉티브하게 입력을 하여 실내의 다양한 장치를 제어할 수 있도록 한 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치; 동작 영역에 대한 촬상 이미지를 획득하는 카메라; 동작 영역에 가상 이미지를 투사하는 프로젝터; 및 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하고, 상기 카메라를 통하여 획득된 촬상 이미지로부터 가상 이미지를 형성하여 상기 프로젝터를 통하여 투사하도록 하는 실내 제어 장치를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법을 제공한다.

Description

웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법{Apparatus and method for room control based on wearable device and spatial augmented reality}
본 발명은 실내 제어 시스템 및 방법에 관한 것으로, 특히 프로젝터로 사용자가 거주하는 환경의 실세계 표면의 원하는 곳에 정보/인터페이스/콘텐츠를 출력하고 사용자가 착용한 웨어러블 장치를 이용하여 공간증강현실(SAR : spatial augmented reality) 방식으로 인터렉티브하게 입력을 하여 실내의 다양한 장치를 제어할 수 있도록 한 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법에 관한 것이다.
공간증강현실은 증강현실 또는 혼합현실 분야의 한 기술로 별도의 디스플레이 장치 없이 환경내 배치된 프로젝터로 실세계 사물의 표면에 정보/인터페이스/콘텐츠를 직접 투사하는 기술이다.
모바일 또는 글래스 기반의 증강현실에 비해 프로젝션 기반의 증강현실 기법은 실세계 상호작용면에서 장점을 갖는다.
특히, 물리적 사물을 직접 다루는 작업이나, 노약자/어린이가 별도의 장치에 의존하지 않고 가상 세계의 정보를 누릴 수 있는 상호 작용 기술이다.
이와 관련하여 모터에 장착된 프로젝터의 투사 방향을 결정하거나 투사된 정보와의 상호 작용을 위해서는 별도의 상호 작용 기술이 필요하다.
시계/팔찌/반지와 같은 웨어러블 장치는 모바일이나 글라스에 비해 휴대와 착용에 대한 부담이 적어 사용 계층과 사용 환경을 넓힐 수 있다.
웨어러블 장치는 각종 센서를 장착하여 다양한 생체/제스처 정보를 수집할 수 있다. 다만, 웨어러블 장치에 관련된 기술들이 많지만 프로젝션 기반의 공간증강현실을 제어하는 예는 없다.
실내 제어라 함은 홈 네트워크, 유비쿼터스, IoT 환경에서 네트워크에 연결된 가전 기기들을 제어함을 의미한다.
보통 리모컨이나 스마트폰의 앱을 통해 제어하게 되는데, 장치의 풍부한 기능을 언제 어디서나 제어한다는 점에서 기존의 리모컨은 기능적인 한계가 있다.
스마트폰을 휴대하는 경우에는 제어앱을 이용하여 문제가 덜 하지만 가정 실내에서 스마트폰의 휴대를 항상 가정할 수 없는 경우도 있다.
모바일 증강현실로 장치 제어를 하는 기술도 있지만 실제 물체와 관련된 정보를 적시에 표시하기에 어려운 점이 있다.
국내공개번호 10-2015-0140043호 국내공개번호 10-2016-0047189호 국내공개번호 10-2015-0044286호 국내등록번호 10-1567469호 국내공개번호 10-2015-0110285호
본 발명은 상기와 같은 문제점을 해결하기 위하여, 프로젝터로 사용자가 거주하는 환경의 실세계 표면의 원하는 곳에 정보/인터페이스/콘텐츠를 출력하고 사용자가 착용한 웨어러블 장치를 이용하여 공간증강현실(SAR : spatial augmented reality) 방식으로 인터렉티브하게 입력을 하여 실내의 다양한 장치를 제어할 수 있도록 한 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법을 제공하는데 있다.
본 발명의 장치의 일 측면은 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치; 동작 영역에 대한 촬상 이미지를 획득하는 카메라; 동작 영역에 가상 이미지를 투사하는 프로젝터; 및 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하고, 상기 카메라를 통하여 획득된 촬상 이미지로부터 가상 이미지를 형성하여 상기 프로젝터를 통하여 투사하도록 하는 실내 제어 장치를 포함한다.
또한, 본 발명의 장치의 일 측면의 상기 실내 제어 장치는 상기 카메라, 프로젝터 및 웨어러블 장치와 인터페이스를 제공하는 인터페이스부; 상기 카메라를 통하여 획득된 촬상 이미지에 대한 이미지 처리를 수행하고, 가상 이미지를 생성하는 영상 처리부; 상기 웨어러블 장치에서 입력되는 사용자의 착용 부위의 동작을 인식하는 동작 인식부; 및 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하며, 상기 카메라를 통하여 획득된 촬상 이미지로부터 상기 영상 처리부를 통하여 가상 이미지를 형성하여 상기 프로젝터를 통하여 투사하도록 하는 제어부를 포함한다.
또한, 본 발명의 장치의 일 측면은 상기 프로젝터에서 투사되는 가상 이미지의 방향을 변화시키는 회전 거울; 및 상기 회전 거울을 회전시키는 모터를 더 포함하며, 상기 실내 제어 장치는 상기 모터를 구동하는 모터 구동부를 더 포함하며, 상기 실내 제어 장치는 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 상기 모터 구동부를 제어하여 상기 모터를 구동시켜 상기 회전 거울의 반사 방향을 변화시킨다.
또한, 본 발명의 장치의 일 측면의 상기 웨어러블 장치는 동작 센서를 구비하여 사용자의 착용 부위의 동작을 인식하여 전송한다.
한편, 본 발명의 장치의 다른 측면은 사용자의 착용 부위의 상태를 인식하여 전송하고, 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치; 동작 영역에 대한 촬상 이미지를 획득하는 카메라; 동작 영역에 가상 이미지를 투사하는 프로젝터; 및 상기 카메라를 통하여 획득한 동작 영역의 촬상 이미지와 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 형성하여 상기 프로젝터를 통하여 동작 영역에 투사하고, 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 실내 제어 장치를 포함한다.
또한, 본 발명의 장치의 다른 측면의 상기 웨어러블 장치는 사용자의 착용 부위의 동작을 인식하여 전송하는 동작 센서; 및 사용자의 착용 부위의 심박을 측정하여 전송하는 심박 센서를 포함한다.
또한, 본 발명의 장치의 다른 측면의 상기 실내 제어 장치는 상기 카메라, 프로젝터 및 웨어러블 장치와 인터페이스를 제공하는 인터페이스부; 상기 카메라를 통하여 획득된 촬상 이미지에 대한 이미지 처리를 수행하고, 가상 이미지를 생성하는 영상 처리부; 상기 웨어러블 장치의 동작 센서로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 동작 인식부; 상기 웨어러블 장치의 심박 센서로부터 전송되는 사용자의 착용 부위의 심박을 인식하는 심박 확인부; 및 상기 카메라를 통하여 획득한 동작 영역의 촬상 이미지와 상기 심박 확인부에서 인식된 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 상기 영상 처리부를 통하여 생성하여 상기 프로젝터를 통하여 동작 영역에 투사하고, 상기 동작 인식부로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 제어부를 포함한다.
한편, 본 발명의 방법의 일 측면은 (A) 웨어러블 장치가 사용자의 착용 부위의 동작을 인식하여 전송하는 단계; (B) 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 단계; (C) 상기 실내 제어 장치가 인식된 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하여 방향을 전환하는 단계; 및 (D) 카메라가 동작 영역에 대한 촬상 이미지를 획득하면, 상기 실내 제어 장치가 가상 이미지를 형성하고, 프로젝터가 동작 영역에 가상 이미지를 투사하는 단계를 포함한다.
또한, 본 발명의 방법의 일 측면의 상기 (A) 단계는 상기 웨어러블 장치가 동작 센서를 구비하여 사용자의 착용 부위의 동작을 인식하여 전송한다.
한편, 본 발명의 방법의 다른 측면은 (A) 웨어러블 장치가 사용자의 착용 부위의 상태를 전송하면, 실내 제어 장치가 추천 조명과 온도를 포함한 가상 이미지를 생성하여 프로젝터를 통해 동작 영역에 투영하는 단계; (B) 상기 웨어러블 장치가 사용자의 착용 부위의 동작을 인식하여 전송하는 단계; 및 (C) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하여 조명 기구, 전열기구 또는 냉열기구를 제어하는 단계를 포함한다.
또한, 본 발명의 방법의 다른 측면의 상기 (A) 단계는 (A-1) 상기 웨어러블 장치가 사용자의 착용 부위의 상태를 인식하여 전송하는 단계; (A-2) 상기 실내 제어 장치는 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 생성하는 단계; 및 (A-3) 상기 프로젝터는 상기 실내 제어 장치가 생성한 가상 이미지를 동작 영역에 투사하는 단계를 포함한다.
또한, 본 발명의 방법의 다른 측면의 상기 (C) 단계는 (C-1) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 단계; 및 (C-2) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 단계를 포함한다.
본 발명은 유사한 기존 방식에 비해 몇가지 특징을 갖는다. 예를 들어, 애플과 아마존의 특허는 키넥트와 같은 깊이 카메라로 자세를 인식하게 되는데, 실내의 조건에 따라서 거리, 가림, 방향성의 문제가 발생할 수 있다.
유사한 기술로 립모션은 근거리 제스처 센싱을 지원하므로 컴퓨터 근처에서만 활용이 가능하다.
반면에 본 발명은 사용자가 착용한 웨어러블 장치를 통해 인터렉티브하게 입력을 하게 되어 기존 기술의 한계를 극복할 수 있다.
즉, 깊이 카메라로 제스처 입력이 용이하지 않은 환경에서 사용자가 휴대하는 웨어러블이나 모바일 장치를 이용해서 제스처 또는 화면 터치의 방식으로 입력을 하게 된다.
복잡한 제어가 필요한 상황에서 시각 정보가 필요한 경우 본 발명은 웨어러블의 작은 디스플레이가 아닌 공간에 배치된 프로젝터를 통해 사용자가 지정하거나 시스템이 추천한 실세계 표면에 정보/인터페이스/콘텐츠를 출력하게 된다.
또한, 웨어러블을 착용한 사용자의 상태와 움직임을 프로젝터 기반의 공간 증강 현실로 실세계에 표현한다. 동적으로 투사면을 활용할 수 있도록 팬-틸트로 방향 전환이 되는 프로젝터-카메라쌍을 가정하며 이때 방향을 제어하기 위해 사용자의 입력을 자세 제어 신호로 매핑하게 된다.
본 발명은 정보와 인터페이스, 콘텐츠 출력이 많이 필요한 교실에 적용됨으로써 공간증강현실과 웨어러블 장치를 이용한 효율적인 학습공간을 구성할 수 있다.
별도의 터치 스크린이나 전자칠판을 설치해야 하는 비용과 관리의 부담 없이 교실 안에 존재하는 모든 객체와 벽면에 정보, 콘텐츠, 인터페이스를 출력하여 학습에 활용할 수 있으며, 프로젝션의 투사 방향을 마우스나 키보드로 제어하는 것이 아닌 웨어러블 장치로 원격 제어함으로써 강의자가 수업진행에 방해를 받지 않고 자유롭게 수업에 활용할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템의 구성도이다.
도 2는 도 1의 실내 제어 장치의 내부 구성도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법의 흐름도이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템의 구성도이다.
도 5는 도 4의 실내 제어 장치의 내부 구성도이다.
도 6은 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법의 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템은 카메라(10), 프로젝터(20), 회전거울(30), 모터(40), 웨어러블 장치(50) 및 실내 제어 장치(60)를 포함하며, 교실에 설치된 경우를 나타낸다.
상기 카메라(10)는 증강현실에서의 비전을 구현하기 위한 것으로서, 동작이 이루어지는 교실 영역(이를 동작 영역이라고 할 수 있다)의 촬상이미지를 획득한다.
또한, 카메라(10)는 사용자의 제스처를 인식할 수 있다. 카메라(10)는 하나의 구성으로 구현되거나, 혹은 사용자의 제스처를 인식하기 위한 적외선 방식의 제1카메라와, 동작 영역의 이미지를 인식하기 위한 제2카메라를 포함할 수 있다.
상기 프로젝터(20)는 교실 영역에 가상이미지(도 1의 25 참조; virtual image)를 투사시켜 표시한다.
그리고, 회전 거울(30)은 프로젝터(20)에서 투사되는 가상 이미지를 원하는 방향으로 반사시켜 방향을 전환시킨다.
상기 모터(40)는 상기 회전 거울(30)의 회전시켜 가상 이미지가 투사되는 방향을 전환시킨다.
한편, 웨어러블 장치(50)는 사용자의 팔목에 설치된 시계나, 팔찌, 반지 등으로 이러한 시계나, 팔찌, 반지등에 동작 센서를 구비하여 사용자의 팔목이나 팔의 동작을 인식하여 실내 제어 모듈(60)로 전송한다.
또한, 웨어러블 장치(50)는 심박 센서를 구비하여 사용자의 심박을 측정하여 실내 제어 장치(60)로 전송한다.
다음으로, 실내 제어 장치(60)는 카메라(10), 프로젝터(20), 모터(40)에 연결되어 있어, 증강현실에 관한 이미지 처리와, 전반적인 제어를 수행한다.
실내 제어 장치(60)는 카메라(10) 및 프로젝터(20)와 유선 혹은 무선으로 연결될 수 있다. 실내 제어 장치(60)는 카메라(10) 및 프로젝터(20) 중 적어도 하나와 별도의 장치로 구현되거나, 혹은 이들과 함께 하나의 장치로 구현될 수도 있
다.
실내 제어 장치(60)는 카메라(10)를 통하여 획득된 촬상 이미지에 기초하여 가상이미지를 생성하고, 생성된 가상이미지를 프로젝터(20)를 통하여 동작영역에 표시하도록 제어를 수행한다.
실내 제어 장치(60)는, 도 2에 도시된 바와 같이, 인터페이스부(61), 영상처리부(62), 동작 인식부(63), 심박 확인부(64), 제어부(65) 및 모터 구동부(66)을 포함할 수 있다.
인터페이스부(61)는 카메라(10), 프로젝터(20) 및 웨어러블 장치(50)와 통신을 수행한다.
영상처리부(62)는 제어부(65)의 제어에 따라 카메라(10)를 통하여 획득된 촬상이미지에 대한 이미지 처리를 수행하고, 가상 이미지를 생성한다.
그리고, 동작 인식부(63)는 웨어러블 장치(50)의 동작 센서로부터 웨어러블 장치(50)의 동작을 전송받아 웨어러블 장치(50)가 앞뒤로 움직이는지, 상하로 움직이는지, 좌우로 움직이는지, 원을 그리는지, 지그재그 운동을 하는지 등을 파악한다. 여기에서는 표현을 웨어러블 장치(50)의 동작으로 표현했지만 실제는 사용자의 손이나 손목이 움직이는 것이다.
다음으로, 심박 확인부(64)는 웨어러블 장치(50)에 구비된 심박 센서로부터 사용자의 심박을 전송받아 심박을 확인하여 정상 심박보다 높은지 아니면 낮은지를 판단하여 제어부(65)로 전송한다.
제어부(65)는 영상 처리부(62)를 통하여 획득된 현실 세계에 따라 가상이미지를 생성하고, 생성된 가상 이미지를 동작 영역에 표시되도록 프로젝터(20)를 제어한다.
또한, 제어부(65)는 웨어러블 장치(50)의 동작 센서로부터 입력되는 동작이 동작 인식부(63)에서 인식되며 각각의 동작에 따라 매핑되어 있는 명령어에 따라 프로젝터(20)나 모터(40)를 제어하여 투사 방향을 변경한다.
예를 들어, 제어부(65)는 동작 인식부(63)에 의해 인식된 동작이 좌우 이동인 경우에 프로젝터(20)를 좌우로 이동하도록 제어한다.
그리고, 제어부(65)는 동작 인식부(63)에서 인식된 동작이 상하 이동인 경우에 프로젝터(20)를 상하로 이동하도록 제어한다.
물론, 제어부(65)는 동작 인식부(63)에 의해 인식된 동작이 좌우 이동인 경우에 모터 구동부(66)를 통하여 모터(40)를 구동하여 회전 거울(30)이 회전하도록 하여 프로젝터에서 투사되는 가상 이미지의 방향이 좌우로 이동하도록 할 수 있다.
또한, 제어부(65)는 동작 인식부(63)에 의해 인식된 동작이 상하 이동인 경우에 모터 구동부(66)를 통하여 모터(40)를 구동하여 회전 거울(30)이 회전하도록 하여 프로젝터에서 투사되는 가상 이미지의 방향이 상하로 이동하도록 할 수 있다.
그리고, 제어부(65)는 심박 확인부(64)를 통하여 사용자의 심박이 확인되어 정상 심박보다 높으면 에어컨등을 가동하여 온도를 낮추며, 사용자의 심박이 정상 심박보다 낮으면 전열기를 가동하여 온도를 높인다.
이와 같은 제어부(65)는 상기와 같은 제어의 수행을 가능하게 하는 제어프로그램과, 제어프로그램이 저장되는 플래시메모리, 하드디스크 등과 같은 비휘발성의 메모리와, 저장된 제어프로그램의 전부 또는 일부가 일시적으로 로딩되는 램과 같은 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 CPU와 같은 마이크로프로세서를 포함할 수 있다.
영상 처리부(62), 동작 인식부(63) 그리고 심박 확인부(64)도 프로그램인 소프트웨어의 형태로 마련될 수 있으며, 이 경우, 제어부(65)의 하드웨어(비휘발성의 메모리, 휘발성의 메모리 및 마이크로프로세서)를 공유할 수 있다.
여기에서, 동작 영역은 물리적인 작업공간으로서 책상, 바닥, 벽, 칠판, 종이 등의 평면의 공간을 포함하는 교실등을 말한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법의 흐름도이다.
도 3을 참조하면, 본 발명의 바람직한 일 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법은 실내 제어 장치가 웨어러블 장치의 동작 센서로부터 동작 정보를 획득한다(S110).
그리고, 실내 제어 장치는 획득된 웨어러블 장치의 동작 정보로부터 사용자의 손이나 손목의 동작을 인식한다(S120). 즉, 좌우 이동인지, 상하이동인지, 회전이동인지등을 파악한다.
이후에, 실내 제어 장치는 인식된 동작에 따라 프로젝터를 제어하여 투사 방향을 전환하거나, 모터를 제어하여 회전 거울을 회전시킴으로 투사 방향을 제어한다(S130).
다음으로, 카메라를 통하여 실내 제어 장치는 모터 제어로 결정된 투사면에 대한 3차원 정보를 추출하며(S140), 획득된 투사면에 적합하게 증강현실된 가상 이미지를 생성하여 프로젝터를 사용하여 투영한다(S150).
물론, 실내 제어 장치는 웨어러블 장치의 심박 센서로부터 사용자의 심박이 확인되어 정상 심박보다 높으면 에어컨등을 가동하여 온도를 낮추거나, 사용자의 심박이 정상 심박보다 낮으면 전열기를 가동하여 온도를 높일 수 있다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템의 구성도이다.
도 4를 참조하면, 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템은 카메라(10'), 프로젝터(20'), 회전거울(30'), 모터(40'), 웨어러블 장치(50') 및 실내 제어 장치(60')를 포함하며, 침실에 설치된 경우를 나타낸다.
상기 카메라(10')는 증강현실에서의 비전을 구현하기 위한 것으로서, 동작이 이루어지는 침실 영역(이를 동작 영역이라고 할 수 있다)의 촬상 이미지를 획득한다.
또한, 카메라(10')는 사용자의 제스처를 인식할 수 있다. 카메라(10')는 하나의 구성으로 구현되거나, 혹은 사용자의 제스처를 인식하기 위한 적외선 방식의 제1 카메라와, 동작 영역의 이미지를 인식하기 위한 제2 카메라를 포함할 수 있다.
상기 프로젝터(20')는 침실 영역에 가상이미지(도 4의 25' 참조; virtual image)를 투사시켜 표시한다.
그리고, 회전 거울(30')은 프로젝터(20')에서 투사되는 가상 이미지를 원하는 방향으로 반사시켜 방향을 전환시킨다.
상기 모터(40')는 상기 회전 거울(30')의 회전시켜 가상 이미지가 투사되는 방향을 전환시킨다.
한편, 웨어러블 장치(50')는 사용자의 팔목에 설치된 시계나, 팔찌, 반지 등으로 이러한 시계나, 팔찌, 반지등에 동작 센서를 구비하여 사용자의 팔목이나 팔의 동작을 인식하여 실내 제어 모듈(60')로 전송한다.
또한, 웨어러블 장치(50')는 심박 센서를 구비하여 사용자의 심박을 측정하여 실내 제어 장치(60')로 전송한다.
다음으로, 실내 제어 장치(60')는 카메라(10'), 프로젝터(20'), 모터(40')에 연결되어 있어, 증강현실에 관한 이미지 처리와, 전반적인 제어를 수행한다.
실내 제어 장치(60')는 카메라(10') 및 프로젝터(20')와 유선 혹은 무선으로 연결될 수 있다. 실내 제어 장치(60')는 카메라(10') 및 프로젝터(20') 중 적어도 하나와 별도의 장치로 구현되거나, 혹은 이들과 함께 하나의 장치로 구현될 수도 있다.
실내 제어 장치(60')는 카메라(10')를 통하여 획득된 촬상 이미지에 기초하여 가상 이미지를 생성하고, 생성된 가상 이미지를 프로젝터(20')를 통하여 동작영역에 표시하도록 제어를 수행한다.
실내 제어 장치(60')는, 도 5에 도시된 바와 같이, 인터페이스부(61'), 영상처리부(62'), 동작 인식부(63'), 심박 확인부(64'), 제어부(65') 및 모터 구동부(66')를 포함할 수 있다.
인터페이스부(61')는 카메라(10'), 프로젝터(20') 및 웨어러블 장치(50')와 통신을 수행한다.
영상 처리부(62')는 제어부(65')의 제어에 따라 카메라(10')를 통하여 획득된 촬상이미지에 대한 이미지 처리를 수행하고, 가상이미지를 생성한다.
그리고, 동작 인식부(63')는 웨어러블 장치(50')의 동작 센서로부터 웨어러블 장치(50')의 동작을 전송받아 웨어러블 장치(50')가 앞뒤로 움직이는지, 상하로 움직이는지, 좌우로 움직이는지, 원을 그리는지, 지그재그 운동을 하는지 등을 파악한다. 여기에서는 표현을 웨어러블 장치(50')의 동작으로 표현했지만 실제는 사용자의 손이나 손목이 움직이는 것이다.
다음으로, 심박 확인부(64')는 웨어러블 장치(50')에 구비된 심박 센서로부터 사용자의 심박을 전송받아 심박을 확인하여 정상 심박보다 높은지 아니면 낮은지를 판단하여 제어부(65')로 전송한다.
제어부(65')는 영상 처리부(62')를 통하여 획득된 현실 세계에 따라 가상 이미지를 생성하고, 생성된 가상 이미지를 동작 영역에 표시되도록 프로젝터(20')를 제어한다.
또한, 제어부(65')는 웨어러블 장치(50')의 동작 센서로부터 입력되는 동작이 동작 인식부(63')에서 인식되며 각각의 동작에 따라 매핑되어 있는 명령어에 따라 프로젝터(20')나 모터(40')를 제어하여 투사 방향을 변경한다.
예를 들어, 제어부(65')는 동작 인식부(63')에 의해 인식된 동작이 좌우 이동인 경우에 프로젝터(20')를 좌우로 이동하도록 제어한다.
그리고, 제어부(65')는 동작 인식부(63')에서 인식된 동작이 상하 이동인 경우에 프로젝터(20')를 상하로 이동하도록 제어한다.
물론, 제어부(65')는 동작 인식부(63')에 의해 인식된 동작이 좌우 이동인 경우에 모터 구동부(66')를 통하여 모터(40')를 구동하여 회전 거울(30')이 회전하도록 하여 프로젝터에서 투사되는 가상 이미지의 방향이 좌우로 이동하도록 할 수 있다.
또한, 제어부(65')는 동작 인식부(63')에 의해 인식된 동작이 상하 이동인 경우에 모터 구동부(66')를 통하여 모터(40')를 구동하여 회전 거울(30')이 회전하도록 하여 프로젝터에서 투사되는 가상 이미지의 방향이 상하로 이동하도록 할 수 있다.
한편, 제어부(65')는 동작 인식부(63')에서 인식된 동작이 시계 방향 회전인 경우에 온도를 높이기 위하여 전열기등을 구동한다.
이와 반대로 제어부(65')는 동작 인식부(63')에서 인식된 동작이 반시계 방향 회전인 경우에 온도를 낮추기 위해 전열기등을 구동을 정지한다.
또한, 제어부(65')는 동작 인식부(63')에서 인식된 동작이 지그재그로 위로 향하는 동작인 경우에 조도를 높이기 위해 조명 기구를 제어한다.
이와 반대로 제어부(65')는 동작 인식부(63')에서 인식된 동작이 지그재그로 아래로 향하는 동작인 경우에 조도를 낮추기 위해 조명 기구를 제어한다.
그리고, 제어부(65')는 심박 확인부(64')를 통하여 사용자의 심박이 확인되어 정상 심박보다 높으면 활동량이 많이 증가된 것으로 운동등을 하고 있는 것으로 파악하여 에어컨등을 가동하여 온도를 낮추고, 조명기구를 제어하여 조도를 높인다.
이와 반대로 제어부(65')는 심박 확인부(64')를 통하여 사용자의 심박이 확인되어 정상 심박보다 낮으면 수면등을 취하고 있는 것으로 판단하여 에어컨등의 가동을 멈추고 전열기를 가동하여 온도를 높이며, 조명기구를 제어하여 조도를 낮춘다.
이와 같은 제어부(65')는 상기와 같은 제어의 수행을 가능하게 하는 제어프로그램과, 제어프로그램이 저장되는 플래시메모리, 하드디스크 등과 같은 비휘발성의 메모리와, 저장된 제어프로그램의 전부 또는 일부가 일시적으로 로딩되는 램과 같은 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 CPU와 같은 마이크로프로세서를 포함할 수 있다.
영상 처리부(62'), 동작 인식부(63') 그리고 심박 확인부(64')도 프로그램인 소프트웨어의 형태로 마련될 수 있으며, 이 경우, 제어부(65')의 하드웨어(비휘발성의 메모리, 휘발성의 메모리 및 마이크로프로세서)를 공유할 수 있다.
여기에서, 동작 영역은 물리적인 작업공간으로서 책상, 바닥, 벽, 침대 등의 평면의 공간을 포함하는 침실등을 말한다.
도 6은 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법의 흐름도이다.
도 6을 참조하면, 본 발명의 바람직한 다른 실시예에 따른 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법은 실내 제어 장치가 웨어러블 장치의 심박 센서로부터 심박 정보를 획득한다(S210).
그리고, 실내 제어 장치는 획득된 웨어러블 장치의 심박 정보로부터 사용자의 상태를 인식한다(S220).
즉, 실내 제어 장치는 획득된 웨어러블 장치의 심박 정보가 정상 심박보다 높게 나온다면, 사용자가 지속적으로 활동량을 늘리고 있다고 판단할 수 있으며, 이에 따라 운동 등을 진행한다고 볼 수 있다.
이와 달리 실내 제어 장치는 획득된 웨어러블 장치의 심박 정보가 정상 심박보다 낮게 나온다면, 사용자가 수면을 취하기 위해 활동량을 줄이고 있다고 판단할 수 있으며, 이에 따라 취침 준비등을 진행한다고 볼 수 있다.
이처럼 실내 제어 장치는 획득된 웨어러블 장치의 심박 정보로부터 사용자의 상태를 파악하고 파악된 상태에 적합한 추천 조명과 추천 온도를 결정하여(S230), 추천 조명 및 온도 정보를 가상 이미지를 생성하여 프로젝터를 사용하여 투사면(일예로, 벽이나, 침대위 등)에 투사하여 투영한다(S240).
그리고, 이때 실내 제어 장치는 투사면에 투사하여 투영하는 가상 이미지에는 조명이나 온도를 낮추거나 높이기 위해 필요한 동작 설명이 부가될 수 있다.
즉, 조도를 높이기를 원하면 웨어러블 장치가 착용된 손을 지그재그로 위로 향하는 것으로 하도록 하거나, 이와 반대로 조도를 낮추기를 원하면 웨어러블 장치가 착용된 손을 지그재그로 아래로 향하는 것으로 하도록 할 수 있다.
또한, 온도를 높이기를 원하면 웨어러블 장치가 착용된 손을 시계 방향으로 돌리도록 하거나 이와 반대로 온도를 낮추기를 원하면 웨어러블 장치가 착용된 손을 반시계 방향으로 회전하도록 할 수 있다.
이러한 가상 이미지의 안내 정보에 따라 사용자가 동작을 취하면, 실내 제어 장치는 웨어러블 장치의 동작 센서를 통하여 사용자의 동작을 인식한다(S250).
이후에, 실내 제어 장치는 인식된 동작에 따라 조명 기구나 전열기구, 냉열기구등을 제어하여 조도를 높이거나 낮추며, 온도를 높이거나 낮춘다(S260).
본 발명은 유사한 기존 방식에 비해 몇가지 특징을 갖는다. 예를 들어, 애플과 아마존의 특허는 키넥트와 같은 깊이 카메라로 자세를 인식하게 되는데, 실내의 조건에 따라서 거리, 가림, 방향성의 문제가 발생할 수 있다.
유사한 기술로 립모션은 근거리 제스처 센싱을 지원하므로 컴퓨터 근처에서만 활용이 가능하다.
반면에 본 발명은 사용자가 착용한 웨어러블 장치를 통해 인터렉티브하게 입력을 하게 되어 기존 기술의 한계를 극복할 수 있다.
즉, 깊이 카메라로 제스처 입력이 용이하지 않은 환경에서 사용자가 휴대하는 웨어러블이나 모바일 장치를 이용해서 제스처 또는 화면 터치의 방식으로 입력을 하게 된다.
복잡한 제어가 필요한 상황에서 시각 정보가 필요한 경우 본 발명은 웨어러블의 작은 디스플레이가 아닌 공간에 배치된 프로젝터를 통해 사용자가 지정하거나 시스템이 추천한 실세계 표면에 정보/인터페이스/콘텐츠를 출력하게 된다.
또한, 웨어러블을 착용한 사용자의 상태와 움직임을 프로젝터 기반의 공간 증강 현실로 실세계에 표현한다. 동적으로 투사면을 활용할 수 있도록 팬-틸트로 방향 전환이 되는 프로젝터-카메라쌍을 가정하며 이때 방향을 제어하기 위해 사용자의 입력을 자세 제어 신호로 매핑하게 된다.
본 발명은 정보와 인터페이스, 콘텐츠 출력이 많이 필요한 교실에 적용됨으로써 공간증강현실과 웨어러블 장치를 이용한 효율적인 학습공간을 구성할 수 있다.
별도의 터치 스크린이나 전자칠판을 설치해야 하는 비용과 관리의 부담 없이 교실 안에 존재하는 모든 객체와 벽면에 정보, 콘텐츠, 인터페이스를 출력하여 학습에 활용할 수 있으며, 프로젝션의 투사 방향을 마우스나 키보드로 제어하는 것이 아닌 웨어러블 장치로 원격 제어함으로써 강의자가 수업진행에 방해를 받지 않고 자유롭게 수업에 활용할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10, 10' : 카메라 20, 20' : 프로젝터
30, 30' : 회전 거울 40, 40' : 모터
50, 50' : 웨어러블 장치 60, 60' : 실내 제어 장치
61, 61' : 인터페이스부 62, 62' : 영상 처리부
63, 63' : 동작 인식부 64, 64' : 심박 확인부
65, 65' : 제어부 66, 66' : 모터 구동부

Claims (12)

  1. 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치;
    동작 영역에 대한 촬상 이미지를 획득하는 카메라;
    동작 영역에 가상 이미지를 투사하는 프로젝터; 및
    상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하고, 상기 카메라를 통하여 획득된 촬상 이미지로부터 가상 이미지를 형성하여 상기 프로젝터를 통하여 투사하도록 하는 실내 제어 장치를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  2. 청구항 1항에 있어서,
    상기 실내 제어 장치는
    상기 카메라, 프로젝터 및 웨어러블 장치와 인터페이스를 제공하는 인터페이스부;
    상기 카메라를 통하여 획득된 촬상 이미지에 대한 이미지 처리를 수행하고, 가상 이미지를 생성하는 영상 처리부;
    상기 웨어러블 장치에서 입력되는 사용자의 착용 부위의 동작을 인식하는 동작 인식부; 및
    상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하며, 상기 카메라를 통하여 획득된 촬상 이미지로부터 상기 영상 처리부를 통하여 가상 이미지를 형성하여 상기 프로젝터를 통하여 투사하도록 하는 제어부를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  3. 청구항 2항에 있어서,
    상기 프로젝터에서 투사되는 가상 이미지의 방향을 변화시키는 회전 거울; 및
    상기 회전 거울을 회전시키는 모터를 더 포함하며,
    상기 실내 제어 장치는 상기 모터를 구동하는 모터 구동부를 더 포함하며,
    상기 실내 제어 장치는 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 상기 모터 구동부를 제어하여 상기 모터를 구동시켜 상기 회전 거울의 반사 방향을 변화시키는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  4. 청구항 1항에 있어서,
    상기 웨어러블 장치는 동작 센서를 구비하여 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  5. 사용자의 착용 부위의 상태를 인식하여 전송하고, 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치;
    동작 영역에 대한 촬상 이미지를 획득하는 카메라;
    동작 영역에 가상 이미지를 투사하는 프로젝터; 및
    상기 카메라를 통하여 획득한 동작 영역의 촬상 이미지와 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 형성하여 상기 프로젝터를 통하여 동작 영역에 투사하고, 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 실내 제어 장치를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  6. 청구항 5항에 있어서,
    상기 웨어러블 장치는
    사용자의 착용 부위의 동작을 인식하여 전송하는 동작 센서; 및
    사용자의 착용 부위의 심박을 측정하여 전송하는 심박 센서를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  7. 청구항 6항에 있어서,
    상기 실내 제어 장치는
    상기 카메라, 프로젝터 및 웨어러블 장치와 인터페이스를 제공하는 인터페이스부;
    상기 카메라를 통하여 획득된 촬상 이미지에 대한 이미지 처리를 수행하고, 가상 이미지를 생성하는 영상 처리부;
    상기 웨어러블 장치의 동작 센서로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 동작 인식부;
    상기 웨어러블 장치의 심박 센서로부터 전송되는 사용자의 착용 부위의 심박을 인식하는 심박 확인부; 및
    상기 카메라를 통하여 획득한 동작 영역의 촬상 이미지와 상기 심박 확인부에서 인식된 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 상기 영상 처리부를 통하여 생성하여 상기 프로젝터를 통하여 동작 영역에 투사하고, 상기 동작 인식부로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 제어부를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템.
  8. (A) 웨어러블 장치가 사용자의 착용 부위의 동작을 인식하여 전송하는 단계;
    (B) 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 단계;
    (C) 상기 실내 제어 장치가 인식된 사용자의 착용 부위의 동작에 따라 프로젝터를 제어하여 방향을 전환하는 단계; 및
    (D) 카메라가 동작 영역에 대한 촬상 이미지를 획득하면, 상기 실내 제어 장치가 가상 이미지를 형성하고, 프로젝터가 동작 영역에 가상 이미지를 투사하는 단계를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법.
  9. 청구항 8항에 있어서,
    상기 (A) 단계는
    상기 웨어러블 장치가 동작 센서를 구비하여 사용자의 착용 부위의 동작을 인식하여 전송하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법.
  10. (A) 웨어러블 장치가 사용자의 착용 부위의 상태를 전송하면, 실내 제어 장치가 추천 조명과 온도를 포함한 가상 이미지를 생성하여 프로젝터를 통해 동작 영역에 투영하는 단계;
    (B) 상기 웨어러블 장치가 사용자의 착용 부위의 동작을 인식하여 전송하는 단계; 및
    (C) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하여 조명 기구, 전열기구 또는 냉열기구를 제어하는 단계를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법.
  11. 청구항 10항에 있어서
    상기 (A) 단계는
    (A-1) 상기 웨어러블 장치가 사용자의 착용 부위의 상태를 인식하여 전송하는 단계;
    (A-2) 상기 실내 제어 장치는 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 상태에 따라 추천 조명과 온도를 포함한 가상 이미지를 생성하는 단계; 및
    (A-3) 상기 프로젝터는 상기 실내 제어 장치가 생성한 가상 이미지를 동작 영역에 투사하는 단계를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법.
  12. 청구항 10항에 있어서
    상기 (C) 단계는
    (C-1) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작을 인식하는 단계; 및
    (C-2) 상기 실내 제어 장치가 상기 웨어러블 장치로부터 전송되는 사용자의 착용 부위의 동작에 따라 조명 기구, 전열기구 또는 냉열기구를 제어하는 단계를 포함하는 웨어러블 장치와 공간증강현실을 이용한 실내 제어 방법.
KR1020170000717A 2017-01-03 2017-01-03 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법 KR20180079943A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000717A KR20180079943A (ko) 2017-01-03 2017-01-03 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000717A KR20180079943A (ko) 2017-01-03 2017-01-03 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180079943A true KR20180079943A (ko) 2018-07-11

Family

ID=62917552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000717A KR20180079943A (ko) 2017-01-03 2017-01-03 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20180079943A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099368A (zh) * 2020-09-25 2020-12-18 歌尔科技有限公司 一种电器设备控制方法、系统及可穿戴设备
KR20220036399A (ko) 2020-09-14 2022-03-23 금오공과대학교 산학협력단 웨어러블 기기를 이용한 혼합현실 모니터링 시스템
CN115426454A (zh) * 2022-08-31 2022-12-02 歌尔科技有限公司 Ar设备及其摄像控制方法、智能手表及智能穿戴设备组件

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220036399A (ko) 2020-09-14 2022-03-23 금오공과대학교 산학협력단 웨어러블 기기를 이용한 혼합현실 모니터링 시스템
CN112099368A (zh) * 2020-09-25 2020-12-18 歌尔科技有限公司 一种电器设备控制方法、系统及可穿戴设备
CN115426454A (zh) * 2022-08-31 2022-12-02 歌尔科技有限公司 Ar设备及其摄像控制方法、智能手表及智能穿戴设备组件

Similar Documents

Publication Publication Date Title
US11599237B2 (en) User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2017191792A (ja) 光制御方法及び該光制御方法を使用する照明装置
US20130204408A1 (en) System for controlling home automation system using body movements
KR20200003391A (ko) 광-방출 사용자 입력 디바이스
US20190302714A1 (en) Systems and methods to operate controllable devices with gestures and/or noises
WO2014208168A1 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
JP5974189B2 (ja) 投写型映像表示装置及び投写型映像表示方法
EP4217838A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
TW201403380A (zh) 手勢辨識系統及可辨識手勢動作的眼鏡
TW201528048A (zh) 影像式虛擬互動裝置及其實施方法
JP7094280B2 (ja) 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
KR20180079943A (ko) 웨어러블 장치와 공간증강현실을 이용한 실내 제어 시스템 및 방법
TWI478007B (zh) 利用使用者姿態的設備和方法以及非暫時性電腦可讀儲存媒體
JP2023509291A (ja) ジョイント赤外および可視光視覚慣性オブジェクト追跡
KR101807516B1 (ko) 모션 인식을 통한 디지털 기기 제어 장치 및 방법
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
KR20180000109A (ko) 디스플레이 디바이스 및 그 제어 방법
CN109683729A (zh) 三维场景控制方法及装置
CN102253763B (zh) 无线交互系统和方法
JP4687820B2 (ja) 情報入力装置及び情報入力方法
JP2017068001A (ja) 表示装置及び表示装置の制御方法
US11604517B2 (en) Information processing device, information processing method for a gesture control user interface
US20240077935A1 (en) Virtual interfaces for controlling iot devices
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors