KR20240052586A - Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor - Google Patents

Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor Download PDF

Info

Publication number
KR20240052586A
KR20240052586A KR1020220160940A KR20220160940A KR20240052586A KR 20240052586 A KR20240052586 A KR 20240052586A KR 1020220160940 A KR1020220160940 A KR 1020220160940A KR 20220160940 A KR20220160940 A KR 20220160940A KR 20240052586 A KR20240052586 A KR 20240052586A
Authority
KR
South Korea
Prior art keywords
menus
analyzer
user
controlling
consumer
Prior art date
Application number
KR1020220160940A
Other languages
Korean (ko)
Inventor
김상균
Original Assignee
명지대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 명지대학교 산학협력단 filed Critical 명지대학교 산학협력단
Publication of KR20240052586A publication Critical patent/KR20240052586A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

소비자 장치를 제어하기 위한 방법은 스마트글라스가 사용자의 시선에 상응하는 영상을 촬영하는 단계와, 분석기가 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식하는 단계와, 상기 분석기가 상기 인식된 소비자 장치에 대응하는 복수의 메뉴를 검출하는 단계와, 상기 스마트글라스가 증강 현실 영상을 통해 상기 검출된 복수의 메뉴를 포함하는 가상 제어판을 표출하는 단계와, 상기 분석기가 사용자의 제스처에 따라 상기 복수의 메뉴 중 선택된 메뉴를 감지하는 단계와, 상기 분석기가 상기 선택된 메뉴에 따라 상기 인식된 소비자 장치를 제어하는 단계를 포함한다. A method for controlling a consumer device includes the steps of smart glasses capturing an image corresponding to the user's gaze, an analyzer recognizing the consumer device according to the user's gesture in the image corresponding to the gaze, and the analyzer Detecting a plurality of menus corresponding to a recognized consumer device, displaying, by the smart glasses, a virtual control panel including the detected plurality of menus through an augmented reality image, and performing the analysis according to a user's gesture. Detecting a selected menu among the plurality of menus, and allowing the analyzer to control the recognized consumer device according to the selected menu.

Description

스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치 및 이를 위한 방법{Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor}Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor}

본 발명은 전자 제품을 제어하기 위한 기술에 관한 것으로, 보다 상세하게는, 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to technology for controlling electronic products, and more specifically, to an apparatus and method for controlling consumer devices using an augmented reality interface in a smart home.

사물 인터넷(IoT)을 활용해 전자 제품을 제어하는 사례가 늘고 있다. 특히, 인공지능 스피커를 이용해 집안의 조명과 온도를 음성으로 제어하는 시스템의 보급이 대표적이다. AI 스피커는 장치를 켜고 끄거나 간단한 명령을 실행하는 데 적합한다. 그럼에도 불구하고 사용자는 여전히 복잡한 장치에 대한 제어를 위해 음성 제어 보다는 리모트컨트롤러를 이용한 직접 제어를 선택한다. 여전히, 사용자는 리모트컨트롤러 분실이나 사용 미숙으로 인한 불편을 겪는다. The number of cases of controlling electronic products using the Internet of Things (IoT) is increasing. In particular, a representative example is the spread of systems that use artificial intelligence speakers to control lighting and temperature in the house by voice. AI speakers are suitable for turning devices on and off or executing simple commands. Nevertheless, users still choose direct control using a remote controller rather than voice control to control complex devices. Still, users experience inconveniences due to loss of the remote controller or inexperience in using it.

한국공개특허 제2022-0111821호 (2022년08월10일 공개)Korean Patent Publication No. 2022-0111821 (published on August 10, 2022)

본 발명의 목적은 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치 및 이를 위한 방법을 제공함에 있다. The purpose of the present invention is to provide an apparatus and method for controlling consumer devices using an augmented reality interface in a smart home.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 소비자 장치를 제어하기 위한 방법은 스마트글라스가 사용자의 시선에 상응하는 영상을 촬영하는 단계와, 분석기가 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식하는 단계와, 상기 분석기가 상기 인식된 소비자 장치에 대응하는 복수의 메뉴를 검출하는 단계와, 상기 스마트글라스가 증강 현실 영상을 통해 상기 검출된 복수의 메뉴를 포함하는 가상 제어판을 표출하는 단계와, 상기 분석기가 사용자의 제스처에 따라 상기 복수의 메뉴 중 선택된 메뉴를 감지하는 단계와, 상기 분석기가 상기 선택된 메뉴에 따라 상기 인식된 소비자 장치를 제어하는 단계를 포함한다. In order to achieve the above-described object, a method for controlling a consumer device according to a preferred embodiment of the present invention includes the steps of smart glasses capturing an image corresponding to the user's gaze, and an analyzer capturing an image corresponding to the gaze. Recognizing a consumer device according to a user's gesture, the analyzer detecting a plurality of menus corresponding to the recognized consumer device, and the smart glasses including the plurality of menus detected through an augmented reality image. Displaying a virtual control panel, detecting a selected menu among the plurality of menus by the analyzer according to a user's gesture, and controlling the recognized consumer device according to the selected menu by the analyzer. .

상기 소비자 장치를 인식하는 단계는 상기 분석기가 상기 사용자의 시선이 기 설정된 시간 이상 고정되면, 해당 시선에 상응하는 영상을 추출하는 단계와, 상기 분석기가 인공신경망을 통해 상기 추출된 영상으로부터 상기 사용자의 제스처가 지시하는 소비자 장치를 인식하는 단계를 포함한다. The step of recognizing the consumer device includes the step of the analyzer extracting an image corresponding to the gaze when the user's gaze is fixed for more than a preset time, and the analyzer extracting the user's image from the extracted image through an artificial neural network. and recognizing the consumer device indicated by the gesture.

상기 복수의 메뉴를 검출하는 단계는 상기 분석기가 상기 인식된 소비자 장치에 대응하여 기 저장된 복수의 메뉴를 검출하는 것을 특징으로 한다. The step of detecting the plurality of menus is characterized in that the analyzer detects a plurality of menus pre-stored corresponding to the recognized consumer device.

상기 복수의 메뉴 중 선택된 메뉴를 감지하는 단계는 상기 분석기가 상기 스마트글라스의 자세에 따라 상기 복수의 메뉴의 위치를 특정하는 단계와, 상기 분석기가 인공신경망을 통해 상기 복수의 메뉴 중 상기 사용자의 제스처가 지시하는 메뉴를 감지하는 단계를 포함한다. The step of detecting the selected menu among the plurality of menus includes the analyzer specifying the location of the plurality of menus according to the posture of the smart glasses, and the analyzer performing the user's gesture among the plurality of menus through an artificial neural network. It includes the step of detecting the menu indicated by .

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 소비자 장치를 제어하기 위한 방법은 스마트글라스가 사용자의 시선에 상응하는 영상을 촬영하는 단계와, 분석기가 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 협업 미션을 수행하기 위한 복수의 소비자 장치를 인식하는 단계와, 상기 분석기가 상기 인식된 복수의 소비자 장치에 따라 상기 협업 미션을 수행하기 위한 복수의 확장 메뉴를 생성하는 단계와, 상기 스마트글라스가 증강 현실 영상을 통해 상기 검출된 복수의 확장 메뉴를 포함하는 가상 제어판을 표출하는 단계와, 상기 분석기가 사용자의 제스처에 따라 상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하는 단계와, 상기 분석기가 상기 선택된 확장 메뉴에 따라 상기 인식된 복수의 소비자 장치를 제어하는 단계를 포함한다. In order to achieve the above-described object, a method for controlling a consumer device according to a preferred embodiment of the present invention includes the steps of smart glasses capturing an image corresponding to the user's gaze, and an analyzer capturing an image corresponding to the gaze. Recognizing a plurality of consumer devices for performing a collaboration mission according to a user's gesture, and generating, by the analyzer, a plurality of expansion menus for performing the collaboration mission according to the recognized plurality of consumer devices; The smart glasses displaying a virtual control panel including the detected plurality of expanded menus through an augmented reality image, and the analyzer detecting a selected expanded menu among the plurality of expanded menus according to a user's gesture; and controlling, by the analyzer, the plurality of recognized consumer devices according to the selected expanded menu.

상기 복수의 소비자 장치를 인식하는 단계는 상기 분석기가 상기 사용자의 시선이 기 설정된 시간 이상 고정될 때마다 해당 시선에 상응하는 영상을 추출하는 단계와, 상기 분석기가 인공신경망을 통해 상기 추출된 영상으로부터 소비자 장치를 인식하고, 인식된 소비자 장치를 상기 협업 미션을 수행하기 위한 복수의 소비자 장치에 추가하는 단계를 포함한다. The step of recognizing the plurality of consumer devices includes the step of the analyzer extracting an image corresponding to the user's gaze whenever the user's gaze is fixed for more than a preset time, and the analyzer extracting an image corresponding to the gaze from the extracted image through an artificial neural network. Recognizing a consumer device and adding the recognized consumer device to a plurality of consumer devices for performing the collaboration mission.

상기 복수의 확장 메뉴를 생성하는 단계는 상기 분석기가 상기 인식된 복수의 소비자 장치 각각으로부터 복수의 메뉴를 검출하는 단계와, 상기 분석기가 상기 검출된 복수의 메뉴 중 상기 협업 미션에 상응하는 메뉴를 조합하여 상기 복수의 확장 메뉴를 구성하는 단계를 포함한다. The step of generating the plurality of expanded menus includes the analyzer detecting a plurality of menus from each of the plurality of recognized consumer devices, and the analyzer combining a menu corresponding to the collaboration mission among the plurality of detected menus. and configuring the plurality of extended menus.

상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하는 단계는 상기 분석기가 상기 스마트글라스의 자세에 따라 상기 복수의 확장 메뉴의 위치를 특정하는 단계와, 상기 분석기가 인공신경망을 통해 상기 복수의 확장 메뉴 중 상기 사용자의 제스처가 지시하는 확장 메뉴를 감지하는 단계를 포함한다. The step of detecting the selected expansion menu among the plurality of expansion menus includes the analyzer specifying the location of the plurality of expansion menus according to the posture of the smart glasses, and the analyzer selecting one of the plurality of expansion menus through an artificial neural network. It includes detecting an expanded menu indicated by the user's gesture.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 소비자 장치를 제어하기 위한 장치는 사용자의 시선에 상응하는 영상을 촬영하고, 증강 현실 영상을 통해 복수의 메뉴를 포함하는 가상 제어판을 표출하는 스마트글라스와, 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식하고, 인식된 소비자 장치에 대응하는 상기 복수의 메뉴를 검출하고, 사용자의 제스처에 따라 상기 복수의 메뉴 중 선택된 메뉴를 감지하고, 상기 선택된 메뉴에 따라 상기 인식된 소비자 장치를 제어하는 분석기를 포함한다. A device for controlling a consumer device according to a preferred embodiment of the present invention for achieving the above-described object captures an image corresponding to the user's gaze and creates a virtual control panel including a plurality of menus through an augmented reality image. Recognizes a consumer device according to a user's gesture in the displaying smart glasses and an image corresponding to the gaze, detects the plurality of menus corresponding to the recognized consumer device, and selects one of the plurality of menus according to the user's gesture. and an analyzer that detects a menu and controls the recognized consumer device according to the selected menu.

상기 분석기는 상기 사용자의 시선이 기 설정된 시간 이상 고정되면, 해당 시선에 상응하는 영상을 추출하고, 인공신경망을 통해 상기 추출된 영상으로부터 상기 사용자의 제스처가 지시하는 소비자 장치를 인식하는 것을 특징으로 한다. When the user's gaze is fixed for more than a preset time, the analyzer extracts an image corresponding to the gaze and recognizes the consumer device indicated by the user's gesture from the extracted image through an artificial neural network. .

상기 분석기는 상기 인식된 소비자 장치에 대응하여 기 저장된 복수의 메뉴를 검출하는 것을 특징으로 한다. The analyzer is characterized in that it detects a plurality of pre-stored menus corresponding to the recognized consumer device.

상기 분석기는 상기 스마트글라스의 자세에 따라 상기 복수의 메뉴의 위치를 특정하고, 인공신경망을 통해 상기 복수의 메뉴 중 상기 사용자의 제스처가 지시하는 메뉴를 감지하는 것을 특징으로 한다. The analyzer is characterized in that it specifies the location of the plurality of menus according to the posture of the smart glasses and detects the menu indicated by the user's gesture among the plurality of menus through an artificial neural network.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 소비자 장치를 제어하기 위한 장치는 사용자의 시선에 상응하는 영상을 촬영하고, 증강 현실 영상을 통해 복수의 확장 메뉴를 포함하는 가상 제어판을 표출하는 스마트글라스와, 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 협업 미션을 수행하기 위한 복수의 소비자 장치를 인식하고, 상기 인식된 복수의 소비자 장치에 따라 상기 협업 미션을 수행하기 위한 복수의 확장 메뉴를 생성하고, 사용자의 제스처에 따라 상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하고, 상기 선택된 확장 메뉴에 따라 상기 인식된 복수의 소비자 장치를 제어하는 분석기를 포함한다. A device for controlling a consumer device according to a preferred embodiment of the present invention for achieving the above-described object is a virtual control panel that captures an image corresponding to the user's gaze and includes a plurality of expanded menus through augmented reality images. Smart glasses that display, recognize a plurality of consumer devices for performing a collaboration mission according to a user's gesture in an image corresponding to the gaze, and a plurality of consumer devices for performing the collaboration mission according to the recognized plurality of consumer devices and an analyzer that generates an expanded menu, detects a selected expanded menu among the plurality of expanded menus according to a user's gesture, and controls the plurality of recognized consumer devices according to the selected expanded menu.

상기 분석기는 상기 사용자의 시선이 기 설정된 시간 이상 고정될 때마다 해당 시선에 상응하는 영상을 추출하고, 인공신경망을 통해 상기 추출된 영상으로부터 소비자 장치를 인식하고, 인식된 소비자 장치를 상기 협업 미션을 수행하기 위한 복수의 소비자 장치에 추가하는 것을 특징으로 한다. The analyzer extracts an image corresponding to the gaze whenever the user's gaze is fixed for more than a preset time, recognizes a consumer device from the extracted image through an artificial neural network, and performs the collaboration mission with the recognized consumer device. Characterized by adding to a plurality of consumer devices to perform.

상기 분석기는 상기 인식된 복수의 소비자 장치 각각으로부터 복수의 메뉴를 검출하고, 상기 검출된 복수의 메뉴 중 상기 협업 미션에 상응하는 메뉴를 조합하여 상기 복수의 확장 메뉴를 구성하는 것을 특징으로 한다. The analyzer is characterized in that it detects a plurality of menus from each of the plurality of recognized consumer devices, and configures the plurality of extended menus by combining menus corresponding to the collaboration mission among the plurality of detected menus.

상기 분석기는 상기 스마트글라스의 자세에 따라 상기 복수의 확장 메뉴의 위치를 특정하고, 인공신경망을 통해 상기 복수의 확장 메뉴 중 상기 사용자의 제스처가 지시하는 확장 메뉴를 감지하는 것을 특징으로 한다. The analyzer is characterized in that it determines the location of the plurality of expansion menus according to the posture of the smart glasses and detects the expansion menu indicated by the user's gesture among the plurality of expansion menus through an artificial neural network.

본 발명에 따르면, 증강 현실을 통해 하나 이상의 소비자 장치를 인식하고, 제어할 수 있다. 특히, 복수의 소비자 장치를 인식하여 복수의 소비자 장치가 하나의 미션을 수행하도록 제어할 수 있다. According to the present invention, one or more consumer devices can be recognized and controlled through augmented reality. In particular, it is possible to recognize a plurality of consumer devices and control them to perform one mission.

도 1은 본 발명의 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 스마트글라스의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 본 발명의 일 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 본 발명의 일 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 화면 예이다.
도 6은 본 발명의 본 발명의 다른 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 1 is a diagram illustrating the configuration of a device for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating the configuration of smart glasses for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating a method for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.
4 and 5 are screen examples for explaining a method for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.
Figure 6 is a flowchart illustrating a method for controlling a consumer device using an augmented reality interface in a smart home according to another embodiment of the present invention.
Figure 7 is a diagram showing a computing device according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be exemplified and explained in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the present invention.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as 'include' or 'have' are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

먼저, 본 발명의 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 스마트글라스의 구성을 설명하기 위한 도면이다. First, a device for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention will be described. 1 is a diagram illustrating the configuration of a device for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention. FIG. 2 is a diagram illustrating the configuration of smart glasses for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 증강 현실 인터페이스를 이용한 전자 제품을 제어하기 위한 장치(10, 이하, '제어장치'로 칭함)는 스마트글라스(100) 및 분석기(200)를 포함한다. 이러한 스마트글라스(100) 및 분석기(200)는 미디어사물이 될 수 있다. 스마트글라스(100) 및 분석기(200)는 하나 이상의 소비자 장치(consumer device, 20)를 제어하기 위한 것이다. 이러한 소비자 장치(20)는 스마트 홈 환경에서 동작하는 가전 제품이 될 수 있다. 또한, 다른 관점에서 소비자 장치(20)는 미디어사물이 될 수 있다. Referring to FIG. 1, a device 10 (hereinafter referred to as 'control device') for controlling electronic products using an augmented reality interface according to an embodiment of the present invention includes smart glasses 100 and an analyzer 200. do. These smart glasses 100 and analyzers 200 can be media objects. Smart glasses 100 and analyzer 200 are for controlling one or more consumer devices (consumer device, 20). These consumer devices 20 may be home appliances that operate in a smart home environment. Additionally, from another perspective, the consumer device 20 may be a media object.

스마트글라스(100) 및 분석기(200)는 하나 이상의 소비자 장치(20)를 인식하고, 인식된 소비자 장치(20)를 제어하기 위한 복수의 메뉴 혹은 확장 메뉴를 추출한 후, 추출된 복수의 메뉴 혹은 확장 메뉴를 증강 현실을 통해 제공한다. 그리고 스마트글라스(100) 및 분석기(200)는 사용자의 메뉴 혹은 확장 메뉴에 대한 선택에 따라 해당하는 소비자 장치(20)를 제어한다. The smart glasses 100 and the analyzer 200 recognize one or more consumer devices 20, extract a plurality of menus or expansion menus for controlling the recognized consumer devices 20, and then extract the plurality of menus or expansion menus. The menu is provided through augmented reality. And the smart glasses 100 and the analyzer 200 control the corresponding consumer device 20 according to the user's selection of the menu or extended menu.

도 2를 참조하면, 스마트글라스(100)는 글라스(110)와, 글라스(110)에 증강 현실 영상을 투영하기 위한 프로젝터(120)와, 사용자의 시선에 따라 글라스(110)의 전방을 촬영하는 카메라(130), 스마트글라스(100)의 위치(x, y, z) 및 자세(yaw, roll, pitch)를 감지하기 위한 센서모듈(140)과, 분석기(200)와의 통신을 위한 통신모듈(150) 및 전술한 구성 요소(120 내지 150)을 제어하기 위한 제어모듈(160)을 포함한다. Referring to FIG. 2, smart glasses 100 include glasses 110, a projector 120 for projecting an augmented reality image on the glasses 110, and a device for photographing the front of the glasses 110 according to the user's gaze. A sensor module 140 for detecting the position (x, y, z) and posture (yaw, roll, pitch) of the camera 130 and smart glasses 100, and a communication module for communication with the analyzer 200 ( 150) and a control module 160 for controlling the above-described components 120 to 150.

다시 도 1을 참조하면, 분석기(200)는 스마트글라스(100)와 통신모듈(150)을 통해 통신하면서 스마트글라스(100)의 카메라(130)가 촬영하는 영상 및 센서모듈(140)이 감지한 스마트글라스(100)의 위치(x, y, z) 및 자세(yaw, roll, pitch)에 대한 정보를 지속적으로 수신한다. 그리고 분석기(200)는 수신되는 정보를 기반으로 사용자의 시선 및 제스처를 인식하고, 사용자의 시선 및 제스처에 따라 하나 이상의 소비자 장치(20)을 인식할 수 있다. 이를 위하여, 분석기(200)는 사용자의 제스처를 인식하기 위한 인공신경망을 실행시킬 수 있다. 이러한 인공신경망은 CNN(Convolution Neural Network), YOLO(You Only Look Once) 등이 될 수 있다. 이러한 스마트글라스(100) 및 분석기(200)이 동작에 대해서는 아래에서 더 상세하게 설명될 것이다. Referring again to FIG. 1, the analyzer 200 communicates with the smart glasses 100 through the communication module 150 and records the images captured by the camera 130 of the smart glasses 100 and the images detected by the sensor module 140. Information about the location (x, y, z) and posture (yaw, roll, pitch) of the smart glasses 100 is continuously received. Additionally, the analyzer 200 may recognize the user's gaze and gestures based on the received information, and may recognize one or more consumer devices 20 according to the user's gaze and gestures. To this end, the analyzer 200 can run an artificial neural network to recognize the user's gestures. These artificial neural networks can be CNN (Convolution Neural Network), YOLO (You Only Look Once), etc. The operation of these smart glasses 100 and analyzer 200 will be described in more detail below.

다음으로, 본 발명의 일 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법에 대해서 설명하기로 한다. 도 3은 본 발명의 본 발명의 일 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다. 도 4 및 도 5는 본 발명의 본 발명의 일 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 화면 예이다. Next, a method for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention will be described. FIG. 3 is a flowchart illustrating a method for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention. 4 and 5 are screen examples for explaining a method for controlling a consumer device using an augmented reality interface in a smart home according to an embodiment of the present invention.

도 3을 참조하면, 스마트글라스(100)는 S110 단계에서 카메라(130)를 통해 사용자의 시선에 상응하는 영상을 지속적으로 촬영한다. 촬영된 영상은 지속적으로 분석기(200)에 제공된다. Referring to FIG. 3, the smart glasses 100 continuously capture images corresponding to the user's gaze through the camera 130 in step S110. The captured images are continuously provided to the analyzer 200.

분석기(200)는 S120 단계에서 사용자의 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식한다. 이때, 분석기(200)는 사용자의 시선이 기 설정된 시간 이상 고정되면, 해당 시선에 상응하는 영상을 추출하고, 추출된 영상으로부터 인공신경망을 통해 사용자의 제스처가 지시하는 소비자 장치를 인식할 수 있다. The analyzer 200 recognizes the consumer device according to the user's gesture in the image corresponding to the user's gaze in step S120. At this time, when the user's gaze is fixed for more than a preset time, the analyzer 200 can extract an image corresponding to the gaze and recognize the consumer device indicated by the user's gesture through an artificial neural network from the extracted image.

분석기(200)는 S130 단계에서 인식된 소비자 장치에 대응하는 복수의 메뉴를 검출한다. 분석기(200)는 소비자 장치 별로 대응하는 복수의 메뉴를 미리 저장할 수 있다. 이에 따라, 소비자 장치가 인식되면 해당하는 복수의 메뉴를 추출할 수 있다. 예컨대, 소비자 장치가 TV이면, 복수의 메뉴는 채널 선택, 볼륨 조절 등이 될 수 있다. 소비자 장치가 에어컨디셔너이면, 복수의 메뉴는 온도 조절, 바람 세기, 바람 방향 등이 될 수 있다. The analyzer 200 detects a plurality of menus corresponding to the recognized consumer device in step S130. The analyzer 200 may pre-store a plurality of menus corresponding to each consumer device. Accordingly, when the consumer device is recognized, a plurality of corresponding menus can be extracted. For example, if the consumer device is a TV, the plurality of menus may include channel selection, volume control, etc. If the consumer device is an air conditioner, the plurality of menus may include temperature control, wind speed, wind direction, etc.

다음으로, 스마트글라스(100)는 S140 단계에서 프로젝터(120)를 이용하여 글라스(110) 상에 증강 현실 영상을 통해 분석기(200)가 검출한 복수의 메뉴를 포함하는 가상 제어판(VCP)을 표출한다. 예컨대, 도 4에 도시된 바와 같이, 소비자 장치가 TV인 경우, 증강 현실 영상을 통해 채널 선택, 볼륨 조절 등의 복수의 메뉴를 포함하는 제어판(VCP)을 표출할 수 있다. 또한, 도 5에 도시된 바와 같이, 소비자 장치가 에어컨디셔너이면, 증강 현실 영상을 통해 온도 조절, 바람 세기 등의 복수의 메뉴를 포함하는 제어판(VCP)을 표출할 수 있다. Next, the smart glasses 100 display a virtual control panel (VCP) including a plurality of menus detected by the analyzer 200 through an augmented reality image on the glasses 110 using the projector 120 in step S140. do. For example, as shown in FIG. 4, when the consumer device is a TV, a control panel (VCP) including a plurality of menus such as channel selection and volume control can be displayed through an augmented reality image. Additionally, as shown in FIG. 5, if the consumer device is an air conditioner, a control panel (VCP) containing a plurality of menus such as temperature control and wind speed can be displayed through an augmented reality image.

다음으로, 분석기(200)는 S150 단계에서 사용자의 제스처에 따라 복수의 메뉴 중 선택된 메뉴를 감지한다. 이때, 분석기(200)는 스마트글라스(100)의 센서모듈(140)을 통해 감지된 스마트글라스의 자세(요, 롤, 피치)에 따라 제어판(VCP) 상에서 복수의 메뉴의 위치를 특정할 수 있다. 즉, 증강 현실 영상 상에서 복수의 메뉴를 포함하는 제어판(VCP)의 위치는 사용자의 시선, 즉, 스마트글라스의 자세에 따라 이동할 수 있다. 이와 같이, 복수의 메뉴의 위치를 특정한 상태에서, 분석기(200)는 스마트글라스(100)가 촬영한 영상을 인공신경망을 통해 분석하여 복수의 메뉴 중 사용자의 제스처가 지시하는 메뉴를 감지할 수 있다. Next, the analyzer 200 detects the selected menu among a plurality of menus according to the user's gesture in step S150. At this time, the analyzer 200 can specify the positions of a plurality of menus on the control panel (VCP) according to the posture (yaw, roll, pitch) of the smart glasses detected through the sensor module 140 of the smart glasses 100. . That is, the position of the control panel (VCP) including a plurality of menus on the augmented reality image may move depending on the user's gaze, that is, the posture of the smart glasses. In this way, in a state where the positions of the plurality of menus are specified, the analyzer 200 analyzes the image captured by the smart glasses 100 through an artificial neural network and can detect the menu indicated by the user's gesture among the plurality of menus. .

다음으로, 분석기(200)는 S160 단계에서 선택된 메뉴에 따라 인식된 소비자 장치를 제어한다. 이때, 분석기(200)는 미디어사물 표준에 따른 표준화된 데이터로 제어 명령을 생성하여 해당 소비자 장치로 전송한다. Next, the analyzer 200 controls the recognized consumer device according to the menu selected in step S160. At this time, the analyzer 200 generates a control command using standardized data according to the media object standard and transmits it to the corresponding consumer device.

다음으로, 본 발명의 다른 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 본 발명의 다른 실시예에 따른 스마트 홈에서 증강 현실 인터페이스를 이용한 소비자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다. Next, a method for controlling a consumer device using an augmented reality interface in a smart home according to another embodiment of the present invention will be described. Figure 6 is a flowchart illustrating a method for controlling a consumer device using an augmented reality interface in a smart home according to another embodiment of the present invention.

도 6을 참조하면, 스마트글라스(100)는 S210 단계에서 카메라(130)를 통해 사용자의 시선에 상응하는 영상을 지속적으로 촬영한다. 촬영된 영상은 지속적으로 분석기(200)에 제공된다. Referring to FIG. 6, the smart glasses 100 continuously capture images corresponding to the user's gaze through the camera 130 in step S210. The captured images are continuously provided to the analyzer 200.

분석기(200)는 S220 단계에서 사용자의 시선에 상응하는 영상에서 사용자의 제스처에 따라 협업 미션을 수행하기 위한 복수의 소비자 장치를 인식한다. 이때, 분석기(200)는 사용자의 시선이 기 설정된 시간 이상 고정될 때마다, 해당 시선에 상응하는 영상을 추출한다. 이어서, 인공신경망을 통해 추출된 영상으로부터 소비자 장치를 인식한다. 그런 다음, 분석기(200)는 인식된 소비자 장치를 협업 미션을 수행하기 위한 복수의 소비자 장치에 추가한다. The analyzer 200 recognizes a plurality of consumer devices for performing a collaboration mission according to the user's gesture in the image corresponding to the user's gaze in step S220. At this time, whenever the user's gaze is fixed for more than a preset time, the analyzer 200 extracts an image corresponding to the gaze. Next, the consumer device is recognized from the image extracted through an artificial neural network. Then, the analyzer 200 adds the recognized consumer device to the plurality of consumer devices to perform the collaboration mission.

다음으로, 분석기(200)는 S230 단계에서 인식된 복수의 소비자 장치에 따라 상기 협업 미션을 수행하기 위한 복수의 확장 메뉴를 생성한다. 분석기(200)는 소비자 장치 별로 대응하는 복수의 메뉴를 미리 저장할 수 있다. 이에 따라, 소비자 장치가 인식되면 해당하는 복수의 메뉴를 추출할 수 있다. 예컨대, 소비자 장치가 TV이면, 복수의 메뉴는 채널 선택, 볼륨 조절 등이 될 수 있다. 소비자 장치가 에어컨디셔너이면, 복수의 메뉴는 온도 조절, 바람 세기, 바람 방향 등이 될 수 있다. 복수의 소비자 장치 각각에 대응하는 복수의 메뉴가 추출되면, 분석기(200)는 검출된 복수의 메뉴 중 협업 미션에 상응하는 메뉴를 조합하여 상기 복수의 확장 메뉴를 구성한다. 예컨대, 협업 미션이 영화 감상이라고 가정한다. 또한, 인식된 복수의 소비자 장치는 TV, 커튼 장치, 조명, 에어컨디셔너, 히터 및 향기 장치(scent devices)를 포함한다고 가정한다. 그러면, 영화 모드에서 TV의 볼륨을 높이고, 커튼을 닫고, 조명을 어둡게 하고, 영화의 내용에 따라 주변의 에어컨, 히터, 조명, 냄새 장치를 자율적으로 제어하는 확장 메뉴를 구성할 수 있다. Next, the analyzer 200 creates a plurality of expansion menus for performing the collaboration mission according to the plurality of consumer devices recognized in step S230. The analyzer 200 may pre-store a plurality of menus corresponding to each consumer device. Accordingly, when the consumer device is recognized, a plurality of corresponding menus can be extracted. For example, if the consumer device is a TV, the plurality of menus may include channel selection, volume control, etc. If the consumer device is an air conditioner, the plurality of menus may include temperature control, wind speed, wind direction, etc. When a plurality of menus corresponding to each of the plurality of consumer devices are extracted, the analyzer 200 configures the plurality of extended menus by combining menus corresponding to the collaboration mission among the plurality of detected menus. For example, assume that the collaborative mission is watching a movie. Additionally, it is assumed that the recognized plurality of consumer devices includes TVs, curtain devices, lights, air conditioners, heaters, and scent devices. Then, in movie mode, you can configure an extended menu that increases the volume of the TV, closes the curtains, dims the lights, and autonomously controls surrounding air conditioners, heaters, lights, and scent devices according to the content of the movie.

다음으로, 스마트글라스(100)는 S240 단계에서 프로젝터(120)를 이용하여 글라스(110) 상에 증강 현실 영상을 통해 분석기(200)가 검출한 복수의 확장 메뉴를 포함하는 가상 제어판(VCP)을 표출한다. Next, the smart glasses 100 display a virtual control panel (VCP) including a plurality of extended menus detected by the analyzer 200 through an augmented reality image on the glasses 110 using the projector 120 in step S240. Express.

다음으로, 분석기(200)는 S250 단계에서 사용자의 제스처에 따라 복수의 확장 메뉴 중 선택된 메뉴를 감지한다. 이때, 분석기(200)는 스마트글라스(100)의 센서모듈(140)을 통해 감지된 스마트글라스의 자세(요, 롤, 피치)에 따라 제어판(VCP) 상에서 복수의 확장 메뉴의 위치를 특정할 수 있다. 즉, 증강 현실 영상 상에서 복수의 확장 메뉴를 포함하는 제어판(VCP)의 위치는 사용자의 시선, 즉, 스마트글라스의 자세에 따라 이동할 수 있다. 이와 같이, 복수의 확장 메뉴의 위치를 특정한 상태에서, 분석기(200)는 스마트글라스(100)가 촬영한 영상을 인공신경망을 통해 분석하여 복수의 확장 메뉴 중 사용자의 제스처가 지시하는 확장 메뉴를 감지할 수 있다. Next, the analyzer 200 detects the selected menu among a plurality of extended menus according to the user's gesture in step S250. At this time, the analyzer 200 can specify the positions of a plurality of expansion menus on the control panel (VCP) according to the posture (yaw, roll, pitch) of the smart glasses detected through the sensor module 140 of the smart glasses 100. there is. That is, the position of the control panel (VCP) including a plurality of expanded menus on the augmented reality image can be moved according to the user's gaze, that is, the posture of the smart glasses. In this way, with the positions of the plurality of expansion menus specified, the analyzer 200 analyzes the image captured by the smart glasses 100 through an artificial neural network to detect the expansion menu indicated by the user's gesture among the plurality of expansion menus. can do.

다음으로, 분석기(200)는 S260 단계에서 선택된 확장 메뉴에 따라 인식된 복수의 소비자 장치를 제어한다. 이때, 분석기(200)는 미디어사물 표준에 따른 표준화된 데이터로 복수의 소비자 장치 별로 제어 명령을 생성하고, 생성된 제어 명령을 해당하는 복수의 소비자 장치로 전송할 수 있다. Next, the analyzer 200 controls a plurality of consumer devices recognized according to the expanded menu selected in step S260. At this time, the analyzer 200 can generate control commands for each plurality of consumer devices using standardized data according to media object standards, and transmit the generated control commands to the plurality of corresponding consumer devices.

도 7은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 스마트글라스(100), 분석기(200), 제어장치(10), 소비자장치(20) 등이 될 수 있다. Figure 7 is a diagram showing a computing device according to an embodiment of the present invention. The computing device TN100 of FIG. 7 may be a device described herein, such as smart glasses 100, analyzer 200, control device 10, consumer device 20, etc.

도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 7, the computing device TN100 may include at least one processor TN110, a transceiver device TN120, and a memory TN130. Additionally, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, etc. Components included in the computing device TN100 may be connected by a bus TN170 and communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. Processor TN110 may be configured to implement procedures, functions, and methods described in connection with embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 can store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium. For example, the memory TN130 may be comprised of at least one of read only memory (ROM) and random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.The transceiving device TN120 can transmit or receive wired signals or wireless signals. The transmitting and receiving device (TN120) can be connected to a network and perform communication.

한편, 전술한 본 발명의 실시예에 따른 다양한 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, various methods according to the embodiments of the present invention described above can be implemented in the form of programs readable through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the recording medium may be those specifically designed and constructed for the present invention, or may be known and available to those skilled in the art of computer software. For example, recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. magneto-optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions may include machine language, such as that produced by a compiler, as well as high-level language wires that can be executed by a computer using an interpreter, etc. These hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다. Above, an embodiment of the present invention has been described, but those skilled in the art can add, change, delete or add components without departing from the spirit of the present invention as set forth in the patent claims. The present invention may be modified and changed in various ways, and this will also be included within the scope of rights of the present invention.

10: 제어장치 20: 소비자 장치
100: 스마트글라스 110: 글라스
120: 프로젝터 130: 카메라
140: 센서모듈 150: 통신모듈
160: 제어모듈 200: 분석기 10: Control device 20: Consumer device
100: smart glass 110: glass
120: Projector 130: Camera
140: sensor module 150: communication module
160: Control module 200: Analyzer

Claims (16)

소비자 장치를 제어하기 위한 방법에 있어서,
스마트글라스가 사용자의 시선에 상응하는 영상을 촬영하는 단계;
분석기가 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식하는 단계;
상기 분석기가 상기 인식된 소비자 장치에 대응하는 복수의 메뉴를 검출하는 단계;
상기 스마트글라스가 증강 현실 영상을 통해 상기 검출된 복수의 메뉴를 포함하는 가상 제어판을 표출하는 단계;
상기 분석기가 사용자의 제스처에 따라 상기 복수의 메뉴 중 선택된 메뉴를 감지하는 단계;
상기 분석기가 상기 선택된 메뉴에 따라 상기 인식된 소비자 장치를 제어하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. In a method for controlling a consumer device,
A step where smart glasses capture an image corresponding to the user's gaze;
an analyzer recognizing a consumer device according to a user's gesture in an image corresponding to the gaze;
the analyzer detecting a plurality of menus corresponding to the recognized consumer device;
Displaying, by the smart glasses, a virtual control panel including the plurality of detected menus through an augmented reality image;
detecting, by the analyzer, a selected menu among the plurality of menus according to a user's gesture;
the analyzer controlling the recognized consumer device according to the selected menu;
Characterized by including
Methods for controlling consumer devices. 제1항에 있어서,
상기 소비자 장치를 인식하는 단계는
상기 분석기가 상기 사용자의 시선이 기 설정된 시간 이상 고정되면, 해당 시선에 상응하는 영상을 추출하는 단계;
상기 분석기가 인공신경망을 통해 상기 추출된 영상으로부터 상기 사용자의 제스처가 지시하는 소비자 장치를 인식하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to paragraph 1,
The step of recognizing the consumer device is
When the user's gaze is fixed for more than a preset time, the analyzer extracts an image corresponding to the gaze;
Recognizing, by the analyzer, a consumer device indicated by the user's gesture from the extracted image through an artificial neural network;
Characterized by including
Methods for controlling consumer devices. 제1항에 있어서,
상기 복수의 메뉴를 검출하는 단계는
상기 분석기가 상기 인식된 소비자 장치에 대응하여 기 저장된 복수의 메뉴를 검출하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to paragraph 1,
The step of detecting the plurality of menus is
Characterized in that the analyzer detects a plurality of pre-stored menus corresponding to the recognized consumer device.
Methods for controlling consumer devices. 제1항에 있어서,
상기 복수의 메뉴 중 선택된 메뉴를 감지하는 단계는
상기 분석기가 상기 스마트글라스의 자세에 따라 상기 복수의 메뉴의 위치를 특정하는 단계;
상기 분석기가 인공신경망을 통해 상기 복수의 메뉴 중 상기 사용자의 제스처가 지시하는 메뉴를 감지하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to paragraph 1,
The step of detecting the selected menu among the plurality of menus is
The analyzer specifies the positions of the plurality of menus according to the posture of the smart glasses;
the analyzer detecting a menu indicated by the user's gesture among the plurality of menus through an artificial neural network;
Characterized by including
Methods for controlling consumer devices. 소비자 장치를 제어하기 위한 방법에 있어서,
스마트글라스가 사용자의 시선에 상응하는 영상을 촬영하는 단계;
분석기가 상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 협업 미션을 수행하기 위한 복수의 소비자 장치를 인식하는 단계;
상기 분석기가 상기 인식된 복수의 소비자 장치에 따라 상기 협업 미션을 수행하기 위한 복수의 확장 메뉴를 생성하는 단계;
상기 스마트글라스가 증강 현실 영상을 통해 상기 검출된 복수의 확장 메뉴를 포함하는 가상 제어판을 표출하는 단계;
상기 분석기가 사용자의 제스처에 따라 상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하는 단계; 및
상기 분석기가 상기 선택된 확장 메뉴에 따라 상기 인식된 복수의 소비자 장치를 제어하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. In a method for controlling a consumer device,
A step where smart glasses capture an image corresponding to the user's gaze;
An analyzer recognizing a plurality of consumer devices for performing a collaborative mission according to a user's gesture in an image corresponding to the gaze;
generating, by the analyzer, a plurality of extended menus for performing the collaboration mission according to the plurality of recognized consumer devices;
Displaying, by the smart glasses, a virtual control panel including the plurality of detected expanded menus through an augmented reality image;
detecting, by the analyzer, a selected extended menu among the plurality of extended menus according to a user's gesture; and
controlling the plurality of recognized consumer devices by the analyzer according to the selected expanded menu;
Characterized by including
Methods for controlling consumer devices. 제5항에 있어서,
상기 복수의 소비자 장치를 인식하는 단계는
상기 분석기가 상기 사용자의 시선이 기 설정된 시간 이상 고정될 때마다 해당 시선에 상응하는 영상을 추출하는 단계; 및
상기 분석기가 인공신경망을 통해 상기 추출된 영상으로부터 소비자 장치를 인식하고, 인식된 소비자 장치를 상기 협업 미션을 수행하기 위한 복수의 소비자 장치에 추가하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to clause 5,
The step of recognizing the plurality of consumer devices is
The analyzer extracting an image corresponding to the user's gaze whenever the user's gaze is fixed for more than a preset time; and
the analyzer recognizing a consumer device from the extracted image through an artificial neural network, and adding the recognized consumer device to a plurality of consumer devices for performing the collaboration mission;
Characterized by including
Methods for controlling consumer devices. 제5항에 있어서,
상기 복수의 확장 메뉴를 생성하는 단계는
상기 분석기가 상기 인식된 복수의 소비자 장치 각각으로부터 복수의 메뉴를 검출하는 단계; 및
상기 분석기가 상기 검출된 복수의 메뉴 중 상기 협업 미션에 상응하는 메뉴를 조합하여 상기 복수의 확장 메뉴를 구성하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to clause 5,
The step of creating the plurality of extended menus is
detecting, by the analyzer, a plurality of menus from each of the plurality of recognized consumer devices; and
Constructing the plurality of expanded menus by the analyzer combining menus corresponding to the collaboration mission among the plurality of detected menus;
Characterized by including
Methods for controlling consumer devices. 제5항에 있어서,
상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하는 단계는
상기 분석기가 상기 스마트글라스의 자세에 따라 상기 복수의 확장 메뉴의 위치를 특정하는 단계; 및
상기 분석기가 인공신경망을 통해 상기 복수의 확장 메뉴 중 상기 사용자의 제스처가 지시하는 확장 메뉴를 감지하는 단계;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 방법. According to clause 5,
The step of detecting the selected extended menu among the plurality of extended menus is
the analyzer specifying the positions of the plurality of expanded menus according to the posture of the smart glasses; and
detecting, by the analyzer, an expanded menu indicated by the user's gesture among the plurality of expanded menus through an artificial neural network;
Characterized by including
Methods for controlling consumer devices. 소비자 장치를 제어하기 위한 장치에 있어서,
사용자의 시선에 상응하는 영상을 촬영하고, 증강 현실 영상을 통해 복수의 메뉴를 포함하는 가상 제어판을 표출하는 스마트글라스; 및
상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 소비자 장치를 인식하고, 인식된 소비자 장치에 대응하는 상기 복수의 메뉴를 검출하고, 사용자의 제스처에 따라 상기 복수의 메뉴 중 선택된 메뉴를 감지하고, 상기 선택된 메뉴에 따라 상기 인식된 소비자 장치를 제어하는 분석기;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. In a device for controlling a consumer device,
Smart glasses that capture images corresponding to the user's gaze and display a virtual control panel including a plurality of menus through augmented reality images; and
Recognize a consumer device according to a user's gesture in the image corresponding to the gaze, detect the plurality of menus corresponding to the recognized consumer device, detect a selected menu among the plurality of menus according to the user's gesture, and an analyzer that controls the recognized consumer device according to a selected menu;
Characterized by including
A device for controlling consumer devices. 제9항에 있어서,
상기 분석기는
상기 사용자의 시선이 기 설정된 시간 이상 고정되면, 해당 시선에 상응하는 영상을 추출하고,
인공신경망을 통해 상기 추출된 영상으로부터 상기 사용자의 제스처가 지시하는 소비자 장치를 인식하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 9,
The analyzer
When the user's gaze is fixed for more than a preset time, an image corresponding to the gaze is extracted,
Characterized in recognizing the consumer device indicated by the user's gesture from the extracted image through an artificial neural network.
A device for controlling consumer devices. 제9항에 있어서,
상기 분석기는
상기 인식된 소비자 장치에 대응하여 기 저장된 복수의 메뉴를 검출하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 9,
The analyzer
Characterized in detecting a plurality of pre-stored menus corresponding to the recognized consumer device.
A device for controlling consumer devices. 제9항에 있어서,
상기 분석기는
상기 스마트글라스의 자세에 따라 상기 복수의 메뉴의 위치를 특정하고,
인공신경망을 통해 상기 복수의 메뉴 중 상기 사용자의 제스처가 지시하는 메뉴를 감지하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 9,
The analyzer
Specifying the positions of the plurality of menus according to the posture of the smart glasses,
Characterized in detecting the menu indicated by the user's gesture among the plurality of menus through an artificial neural network.
A device for controlling consumer devices. 소비자 장치를 제어하기 위한 장치에 있어서,
사용자의 시선에 상응하는 영상을 촬영하고, 증강 현실 영상을 통해 복수의 확장 메뉴를 포함하는 가상 제어판을 표출하는 스마트글라스; 및
상기 시선에 상응하는 영상에서 사용자의 제스처에 따라 협업 미션을 수행하기 위한 복수의 소비자 장치를 인식하고, 상기 인식된 복수의 소비자 장치에 따라 상기 협업 미션을 수행하기 위한 복수의 확장 메뉴를 생성하고, 사용자의 제스처에 따라 상기 복수의 확장 메뉴 중 선택된 확장 메뉴를 감지하고, 상기 선택된 확장 메뉴에 따라 상기 인식된 복수의 소비자 장치를 제어하는 분석기;
를 포함하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. In a device for controlling a consumer device,
Smart glasses that capture images corresponding to the user's gaze and display a virtual control panel including a plurality of expanded menus through augmented reality images; and
Recognizing a plurality of consumer devices for performing a collaboration mission according to a user's gesture in the image corresponding to the gaze, and generating a plurality of extended menus for performing the collaboration mission according to the recognized plurality of consumer devices, an analyzer that detects a selected expansion menu among the plurality of expansion menus according to a user's gesture and controls the plurality of recognized consumer devices according to the selected expansion menu;
Characterized by including
A device for controlling consumer devices. 제13항에 있어서,
상기 분석기는
상기 사용자의 시선이 기 설정된 시간 이상 고정될 때마다 해당 시선에 상응하는 영상을 추출하고,
인공신경망을 통해 상기 추출된 영상으로부터 소비자 장치를 인식하고, 인식된 소비자 장치를 상기 협업 미션을 수행하기 위한 복수의 소비자 장치에 추가하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 13,
The analyzer
Whenever the user's gaze is fixed for more than a preset time, an image corresponding to the gaze is extracted,
Characterized in recognizing a consumer device from the extracted image through an artificial neural network and adding the recognized consumer device to a plurality of consumer devices for performing the collaboration mission.
A device for controlling consumer devices. 제13항에 있어서,
상기 분석기는
상기 인식된 복수의 소비자 장치 각각으로부터 복수의 메뉴를 검출하고,
상기 검출된 복수의 메뉴 중 상기 협업 미션에 상응하는 메뉴를 조합하여 상기 복수의 확장 메뉴를 구성하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 13,
The analyzer
Detecting a plurality of menus from each of the recognized plurality of consumer devices,
Characterized in configuring the plurality of extended menus by combining menus corresponding to the collaboration mission among the plurality of detected menus.
A device for controlling consumer devices. 제13항에 있어서,
상기 분석기는
상기 스마트글라스의 자세에 따라 상기 복수의 확장 메뉴의 위치를 특정하고,
인공신경망을 통해 상기 복수의 확장 메뉴 중 상기 사용자의 제스처가 지시하는 확장 메뉴를 감지하는 것을 특징으로 하는
소비자 장치를 제어하기 위한 장치. According to clause 13,
The analyzer
Specifying the location of the plurality of expanded menus according to the posture of the smart glasses,
Characterized in detecting an expanded menu indicated by the user's gesture among the plurality of expanded menus through an artificial neural network.
A device for controlling consumer devices.
KR1020220160940A 2022-10-14 2022-11-25 Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor KR20240052586A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220132319 2022-10-14
KR20220132319 2022-10-14

Publications (1)

Publication Number Publication Date
KR20240052586A true KR20240052586A (en) 2024-04-23

Family

ID=90881293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220160940A KR20240052586A (en) 2022-10-14 2022-11-25 Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor

Country Status (1)

Country Link
KR (1) KR20240052586A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111821A (en) 2021-02-02 2022-08-10 한국부라스 주식회사 Control method of electronic device based on augmented reality display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220111821A (en) 2021-02-02 2022-08-10 한국부라스 주식회사 Control method of electronic device based on augmented reality display

Similar Documents

Publication Publication Date Title
US9043607B2 (en) Systems and methods for providing a spatial-input-based multi-user shared display experience
US8937664B2 (en) Method of controlling electronic device and portable terminal thereof
EP2453388A1 (en) Method for user gesture recognition in multimedia device and multimedia device thereof
US9971748B2 (en) Method and apparatus for outputting digital content
EP2453342A2 (en) Method for providing display image in multimedia device and device thereof
KR20220144890A (en) Method and system for controlling a device using hand gestures in a multi-user environment
US9367144B2 (en) Methods, systems, and media for providing a remote control interface for a media playback device
JPWO2014208168A1 (en) Information processing apparatus, control method, program, and storage medium
CN105204351A (en) Air-conditioning unit control method and device
CN109298806B (en) Remote quick interface interaction method and device based on object recognition
CN113645494B (en) Screen fusion method, display device, terminal device and server
US20230280837A1 (en) Interaction method, display device, and non-transitory storage medium
WO2023155529A1 (en) Display device, smart home system, and multi-screen control method for display device
CN109698853A (en) Long-range control method, device, equipment, system and computer readable storage medium
KR102204676B1 (en) Display apparatus, mobile apparatus, system and setting controlling method for connection thereof
KR20210083016A (en) Electronic apparatus and controlling method thereof
CN114115637A (en) Display device and electronic drawing board optimization method
CN111656767A (en) Electronic device and operation method thereof
KR20240052586A (en) Apparatus for controlling consumer device using augmented reality interface in smart home and method therefor
WO2023125393A1 (en) Method and device for controlling smart home appliance, and mobile terminal
CN114365504A (en) Electronic device and control method thereof
US20120288251A1 (en) Systems and methods for utilizing object detection to adaptively adjust controls
CN115243085A (en) Display device and device interconnection method
CN116490845A (en) Thinking guide adjustment method, storage medium and device
US20190141412A1 (en) Display apparatus, control system for the same, and method for controlling the same