KR102378908B1 - 인공지능 홈오토메이션 시스템 - Google Patents

인공지능 홈오토메이션 시스템 Download PDF

Info

Publication number
KR102378908B1
KR102378908B1 KR1020200051458A KR20200051458A KR102378908B1 KR 102378908 B1 KR102378908 B1 KR 102378908B1 KR 1020200051458 A KR1020200051458 A KR 1020200051458A KR 20200051458 A KR20200051458 A KR 20200051458A KR 102378908 B1 KR102378908 B1 KR 102378908B1
Authority
KR
South Korea
Prior art keywords
gesture
user
interface device
control target
control
Prior art date
Application number
KR1020200051458A
Other languages
English (en)
Other versions
KR20210132936A (ko
Inventor
배재환
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020200051458A priority Critical patent/KR102378908B1/ko
Publication of KR20210132936A publication Critical patent/KR20210132936A/ko
Application granted granted Critical
Publication of KR102378908B1 publication Critical patent/KR102378908B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인공지능 홈오토메이션 시스템에 관한 것으로, 사용자의 제스쳐를 인식하고, 자체 학습 또는 외부 학습 결과에 따라 사용자 제스쳐를 명령의 입력으로 인식하는 인터페이스 장치부와, 상기 인터페이스 장치부의 제어를 위한 어플리케이션이 설치된 사용자 단말과, 상기 인터페이스 장치부의 외부 통신을 지원하는 게이트웨이와, 상기 인터페이스 장치부의 제어명령을 수신하고, 제어명령에 따라 기기를 제어하는 복수의 제어대상기기를 포함한다.

Description

인공지능 홈오토메이션 시스템{Home automation system using artificial intelligence}
본 발명은 인공지능 홈오토메이션 시스템에 관한 것으로, 더 상세하게는 사용자의 음성뿐만 아니라 제스쳐 의도를 학습하여 다양한 제어 명령을 입력 및 수행할 수 있는 인공지능 홈오토메이션 시스템에 관한 것이다.
최근 일반 가정에서도 AI 비서를 사용한 스피커를 사용하고 있다. 보다 상세하게는 사람의 존재를 판단하고, 현재 시각과 주위 환경에 맞는 인사말을 건네고, 음악 재생 요청이 있으면 음악을 재생하는 등의 동작을 한다.
이러한 스피커는 한국공개특허 10-2015-0047803호(인공지능 오디오 장치 및 그 동작 방법, 2015년 5월 6일 공개)에 기재되어 있다.
그러나 종래의 인공지능 스피커 등은 사용자의 음성 명령의 입력을 학습하고, 음성 명령에 따라 IPTV 기반의 서비스를 제공하는 것으로, 음성 명령이 불가한 장소에서는 사용이 어려운 한계가 있으며, 다양한 서비스를 제공하는데 한계가 있다.
또한, 다문화 가정, 유학생 등 국내 거주 외국인들이 증가하고 있는 상태에서 언어와 발음의 차이에 의하여 정확한 음성 명령 입력이 어려운 문제점이 발생할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는, 음성뿐만 아니라 사용자의 제스쳐를 검출 및 학습하고, 제스쳐 명령에 따라 다양한 기기를 제어할 수 있는 인공지능 홈오토메이션 시스템을 제공함에 있다.
또한, 본 발명의 다른 과제는 홈 어플라이언스 등 제어대상 기기들의 상태정보를 사용자에게 인지시킬 수 있는 인공지능 홈오토메이션 시스템을 제공함에 있다.
본 발명 인공지능 홈오토메이션 시스템은, 사용자의 제스쳐를 인식하고, 자체 학습 또는 외부 학습 결과에 따라 사용자 제스쳐를 명령의 입력으로 인식하는 인터페이스 장치부와, 상기 인터페이스 장치부의 제어를 위한 어플리케이션이 설치된 사용자 단말과, 상기 인터페이스 장치부의 외부 통신을 지원하는 게이트웨이와, 상기 인터페이스 장치부의 제어명령을 수신하고, 제어명령에 따라 기기를 제어하는 복수의 제어대상기기를 포함한다.
본 발명의 실시예에서, 상기 게이트웨이를 통해 상기 인터페이스 장치부에서 요청한 제스쳐를 학습하고 학습결과를 외부 학습 결과로서 상기 인터페이스 장치부로 제공하는 인공지능 학습서버를 더 포함할 수 있다.
본 발명의 실시예에서, 인터페이스 장치부는, 사용자를 인식함과 아울러 사용자의 제스쳐를 입력받는 카메라모듈과, 사용자의 음성을 입력받는 마이크모듈과, 상기 카메라모듈 또는 마이크모듈을 통해 입력된 사용자의 제스쳐 또는 음성을 인식하고, 학습하여 제스쳐 또는 음성에 부합하는 제어명령을 발생시키는 제어부와, 상기 제어부의 제어명령을 상기 게이트웨이를 통해 제어대상기기로 송신하는 통신부와, 상기 제어대상기기의 음향을 출력하는 스피커 모듈거나, 상태정보를 음성으로 출력하는 스피커모듈을 포함할 수 있다.
본 발명의 실시예에서, 상기 제어대상기기는, 상기 제어명령에 따라 제어를 수행한 후, 동작상태를 나타내는 상태정보를 상기 인터페이스 장치부로 제공하며, 상기 인터페이스 장치부는 표시부를 더 포함하여 상기 제어대상기기의 상태정보를 표시하거나, 상기 스피커모듈을 통해 상태정보를 출력할 수 있다.
본 발명의 실시예에서, 상기 카메라모듈을 통해 인식되는 제스쳐는 다중 제스쳐이며, 상기 다중 제스쳐는 제어대상기기를 특정하는 제스쳐와 특정된 제어대상기기의 동작을 제어하는 제스쳐를 포함할 수 있다.
본 발명은 음성 및 제스쳐를 인식하여 다양한 기기를 제어할 수 있어, 주변 환경이나 언어 차이에 무관하게 사용할 수 있는 효과가 있다.
아울러 본 발명은 더 다양한 명령 입력체계를 사용하여 제어대상 기기를 확대할 수 있는 효과가 있다.
그리고 본 발명은 제어대상 기기의 상태 정보를 통합하여 사용자에게 인지시킬 수 있어, 편의성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 인공지능 홈오토메이션 시스템의 구성도이다.
도 2는 인터페이스 장치부의 구성도이다.
도 3은 사용자 단말의 어플리케이션 실행 화면 예시도이다.
도 4와 도 5는 다중 제스쳐 입력의 예시도이다.
도 6은 본 발명의 일실시 사용상태도이다.
이하, 본 발명 인공지능 홈오토메이션 시스템에 대하여 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 사용된 용어는 특정 실시 예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되지 않음은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.
이하, 본 발명의 실시 예들은 본 발명의 실시 예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시 예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 인공지능 홈오토메이션 시스템의 구성도이다.
도 1을 참조하면 본 발명의 바람직한 실시예에 따른 인공지능 홈오토메이션 시스템은, 사용자의 제스쳐를 인식하고, 자체 학습 또는 외부 학습 결과에 따라 사용자 제스쳐를 명령의 입력으로 인식하는 인터페이스 장치부(10)와, 상기 인터페이스 장치부(10)의 제어를 위한 어플리케이션이 설치된 사용자 단말(20)과, 상기 인터페이스 장치부(10)의 외부 통신을 지원하는 게이트웨이(30)와, 상기 게이트웨이(30)를 통해 상기 인터페이스 장치부(10)에서 요청한 제스쳐를 학습하고 학습결과를 외부 학습 결과로서 상기 인터페이스 장치부(10)로 제공하는 인공지능 학습서버(40)와, 상기 게이트웨이(30)를 통해 인터페이스 장치부(10)로부터 제어명령을 수신하여 동작하며, 동작 상태를 상기 인터페이스 장치부(10)로 제공하는 제어대상 기기(50)들을 포함한다.
이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 인공지능 홈오토메이션 시스템의 구성과 작용을 보다 상세히 설명한다.
먼저, 인터페이스 장치부(10)는 사용자의 음성 및 제스쳐를 인식하고, 음성 및 제스쳐에 부합하는 제어를 수행한다.
도 2는 인터페이스 장치부(10)의 블록 구성도이다.
도 2를 참조하면 인터페이스 장치부(10)는, 사용자를 인식함과 아울러 사용자의 제스쳐를 입력받는 카메라모듈(12)과, 사용자의 음성을 입력받는 마이크모듈(14)과, 상기 카메라모듈(12) 또는 마이크모듈(14)을 통해 입력된 사용자의 제스쳐 또는 음성을 인식하고, 학습하여 제스쳐 또는 음성에 부합하는 제어명령을 발생시키는 제어부(11)와, 상기 제어부(11)의 제어명령을 상기 게이트웨이(30)를 통해 제어대상기기(50)로 송신하고, 제어대상기기(50)의 상태정보를 수신하는 통신부(17)와, 상기 통신부(17)를 통해 수신된 상태정보를 표시하는 표시부(16)와, 상기 제어대상기기(50)의 음향을 출력하거나, 상태정보를 음성으로 출력하는 스피커모듈(13)을 포함한다.
미설명 부호 15는 메모리이며, 학습알고리즘, 학습결과 및 각종 설정정보를 저장할 수 있다.
상기 통신부(17)는 다양한 방식의 통신모듈이 결합된 것으로 한다. 예를 들어 WiFi 모듈, 블루투스 모듈 등을 포함하는 무선통신 모듈, 유선통신 모듈을 포함할 수 있다.
상기 통신부(17)는 사용자 단말(20)과 블루투스 또는 와이파이 방식으로 연결될 수 있다.
상기 사용자 단말(20)은 스마트폰, 스마트 패드 등 프로세서, 메모리, 통신모듈, 디스플레이 등을 포함하는 장치일 수 있다.
사용자 단말(20)에는 실행시 인터페이스 장치부(10)와 연결되어 인터페이스 장치부(10)를 제어할 수 있는 어플리케이션이 설치된 것일 수 있다. 적어도 사용자 단말(20)은 블루투스, 와이파이 방식으로 상기 인터페이스 장치부(10)에 연결되는 것으로 한다.
사용자 단말(20)의 어플리케이션은 사용자 제스쳐의 기본적인 설정을 수행할 수 있는 기능을 포함할 수 있다.
이러한 설정 기능에 대해서는 이후에 좀 더 상세히 설명하기로 한다.
제어대상기기(50)는 외부와 통신이 가능한 통신모듈이 설치된 전자기기일 수 있으며, 구체적으로 텔레비전, 컴퓨터, 냉장고, 세탁기, 전기밥솥, 에어컨, 전기 레인지, 전기 오븐, 보일러, 로봇 청소기 등이 될 수 있다. 나아가 도어락 장치, 조명장치, 커튼 구동기 등이 될 수 있다.
위의 제어대상기기(50)들의 예는 가정을 기준으로 한 것으로, 본 발명이 산업 현장에 적용된다면 그 제어대상기기(50)들의 종류는 더 확장될 수 있다.
제어대상기기(50)는 인터페이스 장치부(10)의 제어명령에 따라 설정된 동작을 수행하며, 그 동작상태를 인터페이스 장치부(10)로 송신하는 것으로 한다.
인공지능 학습서버(40)는 다수의 인터페이스 장치부(10)들의 학습결과 또는 학습할 데이터를 수집하여 대규모의 데이터로 학습을 수행하는 것으로, 사용자들의 개인적인 제스쳐 특징들을 일반화하여 표준화된 학습결과를 얻을 수 있다.
인공지능 학습서버(40)의 학습결과는 각 인터페이스 장치부(10)의 초기 설정으로 제공될 수 있다.
이와 같은 인공지능 홈오토메이션 시스템의 동작에 대하여 좀 더 구체적인 예를 들어 그 작용과 효과에 대하여 설명하면 다음과 같다.
먼저, 인터페이스 장치부(10)는 카메라모듈(12)을 이용하여 촬영 범위 내에 사용자가 있는지 확인한다. 즉, 제어부(11)는 카메라모듈(12)을 통해 촬영된 영상의 프레임에서 사람으로 추정되는 영역을 찾는다.
사람으로 추정되는 영역은 인체의 비율과 일치하는 영역일 수 있으며, 제어부(11)는 인체의 다양한 상태, 예를 들어 서있는 상태, 누운 상태, 앉은 상태, 구부린 상태 등에 대한 다양한 영역 정보를 이용하여 사용자가 있는지 확인할 수 있다.
사용자가 있는 것으로 확인되면, 카메라모듈(12)을 통해 촬영된 영상의 프레임을 비교하여 사용자의 움직임(제스쳐)을 확인한다.
사용자의 제스쳐는 매우 다양한 것일 수 있으며, 의미가 없는 제스쳐와 의미가 있는 제스쳐로 구분할 수 있다.
예를 들어 손끝을 얼굴을 향하게 한 상태에서 손끝이 상하 방향으로 수 회 움직이는 제스쳐가 검출된 경우, 이는 손으로 부채질을 하는 손부채 제스쳐가 되며, 현재 사용자가 더위를 느낀다는 뜻으로 해석될 수 있다.
이와 같은 제스쳐의 의미는 메모리(15)에 미리 저장된 것일 수 있으며, 이는 다른 사용자들의 제스쳐의 의미를 일반화한 인공지능 학습서버(40)의 학습결과로 이해될 수 있다.
또한, 사용자는 사용자 단말(20)을 이용하여 제스쳐와, 제스쳐에 따른 제어명령을 설정할 수 있다.
도 3은 사용자 단말(20)의 어플리케이션 실행 화면의 일예이다.
사용자는 사용자 단말(20)과 인터페이스 장치부(10)가 연동된 상태에서 어플리케이션을 실행하고, 어플리케이션에서 제시된 제스쳐 각각에 대하여 제어명령을 설정할 수 있다.
예를 들어 '손부채'라는 제스쳐에 대하여 제어대상기기인 에어컨을 켜거나, 선풍기를 켜거나, 환기를 시키라는 제어명령 중 하나를 선택하여 설정할 수 있다.
이와 동일하게 '손사래' 제스쳐는 제어대상기기인 텔레비전을 끄거나, 이전 제어명령을 취소하라는 제어명령일 수 있다.
'팔짱' 제스쳐는 무료함을 의미할 수 있으며, 제어대상기기인 텔레비전을 켜거나 오디오를 켜는 제어명령으로 설정할 수 있다.
이처럼 다양한 제스쳐에 대하여 제어대상기기(50)의 동작을 제어하는 제어명령을 사용자가 직접 설정할 수 있다.
상기 사용자 단말(20)의 어플리케이션에서 설정된 제어명령의 설정은 인터페이스 장치부(10)와 동기화되어 메모리(15)에 저장되는 것으로 한다.
또한, 상기 설정은 인터페이스 장치부(10)의 통신부(17)와 게이트웨이(30)를 통해 상기 인공지능 학습서버(40)로 제공되며, 인공지능 학습서버(40)는 다수의 사용자들의 제스쳐와 제어명령 설정의 관계를 학습하여 표준적인 제스쳐에 대한 제어명령을 설정할 수 있다.
이러한 표준적인 제스쳐에 대한 제어명령의 설정은 새로운 인터페이스 장치부(10)에 적용되거나, 기존 인터페이스 장치부(10)의 초기화 설정으로 사용될 수 있다.
상기 인터페이스 장치부(10)는 마이크모듈(14)을 통해 입력된 사용자의 음성을 학습하여 음성에 해당하는 제어명령을 해당 제어대상기기(50)로 제공하여, 제어를 수행할 수 있다.
예를 들어, '텔레비전 켜'라는 사용자의 음성이 마이크모듈(14)을 통해 입력되면, 제어부(11)는 통신부(17)를 통해 텔레비전을 켜는 제어명령을 출력하며, 제어대상기기(50)인 텔레비전은 제어명령에 따라 텔레비전을 켜고, 제어명령을 수행했음을 알리는 확인신호를 인터페이스 장치부(10)로 전송한다.
인터페이스 장치부(10)는 스피커모듈(13) 또는 표시부(16)를 사용하거나, 스피커모듈(13)과 표시부(16) 모두를 사용하여 사용자의 제어명령이 실행되었음을 사용자에게 알린다.
예를 들어 스피커모듈(13)을 통해 '텔레비전이 켜졌습니다'라는 음성신호를 출력하고, 표시부(16)에 '텔레비전 켜짐'을 문자 또는 정해진 아이콘 등 기호를 표시할 수 있다.
이와 같이 제어대상기기(50)의 동작상태를 사용자에게 알리는 처리는 앞서 설명한 제스쳐를 이용한 제어명령의 처리에서도 동일하게 적용될 수 있다.
사용자의 음성신호 학습 역시 인공지능 학습서버(40)에서도 수행되는 것으로 한다.
이처럼 본 발명은 사용자의 제스쳐와 음성을 학습하고, 그에 대응하는 제어명령을 각 제어대상기기(50)에 송신하여 제어를 수행함으로써, 다양한 주변환경 또는 언어적인 환경에서도 사용이 가능한 특징이 있다.
상기 제어대상기기(50)들은 그 수에는 제한이 없으며, 각각 네트워크를 형성할 때 아이디를 이용하여 상호 구분하거나, 제조사에서 제공하는 모델명을 상기 인터페이스 장치부(10)에 등록하여 구분할 수 있다.
제어대상기기(50)들은 설정된 주기마다 상태 정보를 인터페이스 장치부(10)로 제공할 수 있으며, 인터페이스 장치부(10)는 제어대상기기(50)들의 상태정보를 사용자 단말(20)에 제공하여 사용자가 쉽게 모든 제어대상기기(50)들의 상태를 확인할 수 있게 한다.
좀 더 구체적으로, 제어대상기기(50)인 세탁기 또는 건조기가 동작 중일 때, 주기적으로 세탁 또는 건조 완료까지 남은 시간 정보를 상기 인터페이스 장치부(10)로 전송할 수 있다.
전송된 세탁 또는 건조 완료까지 남은 시간 정보는 다시 사용자 단말(20)에 제공되며, 사용자 단말(20)의 어플리케이션에서 알림을 통해 사용자 단말(20)의 화면에 표시하여 사용자가 세탁 또는 건조 완료까지 남은 시간을 인지할 수 있게 한다.
또한, 제어대상기기(50)가 냉장고이고, 냉장고는 온도 정보, 도어 개폐 상태 등의 상태정보를 인터페이스 장치부(10)로 제공할 수 있다.
상기 냉장고가 저장된 식품의 바코드 인식 등을 통해 식품의 유통기한을 저장할 수 있는 것일 때에는 식품의 유통기한까지 남은 시간 정보를 상태정보로서 인터페이스 장치부(10)로 제공할 수 있으며, 이러한 냉장고의 상태정보는 사용자 단말(20)에 제공되어 사용자가 쉽게 확인 가능하다.
상기 인터페이스 장치부(10)는 사용자의 제스쳐 인식을 통해 좀 더 다양한 스마트 기기의 동작 제어가 가능하다.
예를 들어 제어대상기기(50)가 스마트 패드이고, 사용자가 스마트 패드를 이용하여 전자책을 읽고 있을 때, 사용자가 스마트 패드를 터치하지 않고도 페이지를 앞으로 넘기는 제어명령을 입력할 수 있다.
즉, 스마트 패드를 거치대에 거치한 상태에서 사용자가 스마트 패드를 이용하여 전자책을 읽고 있는 상태에서 오른손을 왼쪽으로 수평 이동시키는 제스쳐를 하면, 상기 인터페이스 장치부(10)는 오른손의 왼쪽 수평 이동을 카메라모듈(12)을 통해 검출하고 이 제스쳐가 페이지를 앞으로 넘기라는 제어명령으로 인식하고, 그 제어명령을 스마트 패드로 전송하여 페이지를 앞으로 넘기는 제어를 할 수 있다.
위의 예들에서는 하나의 제스쳐가 하나의 제어명령에 대응하는 것으로 설명하였으나, 다중의 제스쳐를 이용하여 제어대상기기(50)를 선택하고, 선택된 제어대상기기(50)의 제어에 대한 제어명령을 입력할 수 있다.
도 4는 다중 제스쳐 입력의 예시도이다.
도 4를 참조하면 사용자가 손으로 사각형을 그리면 인터페이스 장치부(10)는 카메라모듈(12)을 통해 이를 인식하고, 제어대상기기(50)로 텔레비전을 선택하는 것으로 인식할 수 있다.
사용자가 손으로 사각형을 그린 후, 손을 상향으로 올리는 제스쳐를 취하면 인터페이스 장치부(10)의 제어부(11)는 제어대상기기(50)인 텔레비전의 볼륨을 높이는 제어명령을 텔레비전에 송신할 수 있다.
상기 다중 제스쳐의 입력은 복수의 제스쳐의 연속된 입력이며, 복수 제스쳐의 연속된 입력이 설정된 시간 내에(예를 들어 2초) 이루어지지 않으면 해당 제스쳐 입력은 취소된 것으로 할 수 있다.
도 5는 다중 제스쳐 입력의 다른 예시도로서, 사용자가 손을 상하로 흔들면 제어대상기기(50)로 에어컨을 선택하고, 손을 아래로 내리면 에어콘의 설정 온도를 낮추라는 제어명령으로 인식할 수 있다.
위의 두 예에서, 사용자가 손을 상향으로 올리거나 하향으로 내리는 제스쳐는 하나의 제어명령이 아니며 제어대상기기(50)에 따라 다른 제어명령의 의미를 가지게 되며, 따라서 제한된 수의 제스쳐를 이용하여 보다 더 다양한 제어명령을 만들 수 있는 특징이 있다.
또한, 본 발명은 스마트폰 또는 스마트 패드에서 실행되는 게임을 제스쳐를 이용하여 수행할 수 있다. 상기 스마트폰 또는 스마트패드는 텔레비전과 미러링 된 상태일 수 있다.
따라서, 별도의 제스쳐 인식 게임기를 사용하지 않고도 일반 스마트폰 게임을 제스쳐로 조작할 수 있도록 한다.
도 6은 본 발명의 일실시 사용상태도이다.
도 6을 참조하면, 스마트폰(51)의 게임화면을 텔레비전(52)에 미러링하고, 인터페이스 장치부(10)를 이용하여 사용자의 제스쳐로 게임을 조작할 수 있다.
상기 인터페이스 장치부(10)는 연결된 스마트폰(51)에 사용자의 제스쳐에 따른 제어명령을 송신하여 게임을 조작할 수 있도록 한다.
이때의 제스쳐는 스마트폰(51)에서 실행되는 게임에서 요구하는 제어명령들의 수와 동수로 설정되어 각각 상이한 제어명령에 매칭되게 설정되는 것으로 한다.
이처럼 본 발명은 사용자의 다양한 제스쳐를 인식하고, 학습하여 다양한 제어대상기기(50)의 제어에 응용될 수 있다.
본 발명은 상기 실시예에 한정되지 않고 본 발명의 기술적 요지를 벗어나지 아니하는 범위 내에서 다양하게 수정, 변형되어 실시될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어서 자명한 것이다.
10:인터페이스 장치부 11:제어부
12:카메라모듈 13:스피커모듈
14:마이크모듈 20:사용자 단말
30:게이트웨이 40:인공지능 학습서버
50:제어대상기기

Claims (5)

  1. 사용자의 제스쳐를 인식하고, 자체 학습 또는 외부 학습 결과에 따라 사용자 제스쳐를 명령의 입력으로 인식하는 인터페이스 장치부;
    상기 인터페이스 장치부의 제어를 위한 어플리케이션이 설치된 사용자 단말;
    상기 인터페이스 장치부의 외부 통신을 지원하는 게이트웨이; 및
    상기 인터페이스 장치부의 제어명령을 수신하고, 제어명령에 따라 기기를 제어하는 복수의 제어대상기기를 포함하되,
    상기 사용자 단말은,
    사용자의 선택에 따라 상기 인터페이스 장치부와 연동된 상태에서, 상기 어플리케이션을 통해 제스쳐의 종류에 대하여 제어명령을 연관하여 설정하며,
    상기 인터페이스 장치부는,
    주기적으로 상기 제어대상기기의 상태 정보를 수신하고, 수신된 상태 정보를 상기 사용자 단말에 제공하여, 각 제어대상기기의 상태 정보를 상기 사용자 단말을 통해 확인할 수 있도록 하며,
    인터페이스 장치부는,
    사용자를 인식함과 아울러 사용자의 제스쳐를 입력받는 카메라모듈;
    사용자의 음성을 입력받는 마이크모듈;
    상기 카메라모듈 또는 마이크모듈을 통해 입력된 사용자의 제스쳐 또는 음성을 인식하고, 학습하여 제스쳐 또는 음성에 부합하는 제어명령을 발생시키는 제어부;
    상기 제어부의 제어명령을 상기 게이트웨이를 통해 제어대상기기로 송신하는 통신부; 및
    상기 제어대상기기의 음향을 출력하거나, 상태정보를 음성으로 출력하는 스피커모듈을 포함하고,
    상기 카메라모듈을 통해 인식되는 제스쳐는 다중 제스쳐이며,
    상기 다중 제스쳐는 제어대상기기를 특정하는 제스쳐와 특정된 제어대상기기의 동작을 제어하는 제스쳐를 포함하고,
    제어대상기기를 특정하는 제스쳐가 인식된 후, 설정 시간 내에 제어대상기기의 동작을 제어하는 제스쳐가 입력되지 않으면 제스쳐 입력 취소로 처리하는 것을 특징으로 하는 인공지능 홈오토메이션 시스템.
  2. 제1항에 있어서,
    상기 게이트웨이를 통해 상기 인터페이스 장치부에서 요청한 제스쳐를 학습하고 학습결과를 외부 학습 결과로서 상기 인터페이스 장치부로 제공하는 인공지능 학습서버를 더 포함하는 인공지능 홈오토메이션 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어대상기기는,
    상기 제어명령에 따라 제어를 수행한 후, 동작상태를 나타내는 상태정보를 상기 인터페이스 장치부로 제공하며,
    상기 인터페이스 장치부는 표시부를 더 포함하여 상기 제어대상기기의 상태정보를 표시하거나,
    상기 스피커모듈을 통해 상태정보를 출력하는 인공지능 홈오토메이션 시스템.
  5. 삭제
KR1020200051458A 2020-04-28 2020-04-28 인공지능 홈오토메이션 시스템 KR102378908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200051458A KR102378908B1 (ko) 2020-04-28 2020-04-28 인공지능 홈오토메이션 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200051458A KR102378908B1 (ko) 2020-04-28 2020-04-28 인공지능 홈오토메이션 시스템

Publications (2)

Publication Number Publication Date
KR20210132936A KR20210132936A (ko) 2021-11-05
KR102378908B1 true KR102378908B1 (ko) 2022-03-24

Family

ID=78507939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200051458A KR102378908B1 (ko) 2020-04-28 2020-04-28 인공지능 홈오토메이션 시스템

Country Status (1)

Country Link
KR (1) KR102378908B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534019B1 (ko) 2022-11-29 2023-05-18 예주산업(주) 모바일 인스턴트 메신저를 활용한 공동주택 스마트 리빙 제어시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090084212A (ko) * 2008-01-31 2009-08-05 포항공과대학교 산학협력단 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법
KR102102246B1 (ko) * 2012-12-18 2020-04-22 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 원격으로 제어하는 방법 및 장치
KR20190085890A (ko) * 2019-07-01 2019-07-19 엘지전자 주식회사 제스처 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534019B1 (ko) 2022-11-29 2023-05-18 예주산업(주) 모바일 인스턴트 메신저를 활용한 공동주택 스마트 리빙 제어시스템

Also Published As

Publication number Publication date
KR20210132936A (ko) 2021-11-05

Similar Documents

Publication Publication Date Title
US10992491B2 (en) Smart home automation systems and methods
KR102231105B1 (ko) 제어 장치 및 그 제어 방법
CN106383452B (zh) 智能控制模块和包括其的厨电设备
CN105446162B (zh) 一种智能家居系统以及机器人的智能家居控制方法
CN103032935B (zh) 空调控制终端和空调控制的设定操作方法
CN105706395B (zh) 控制设备及其控制方法
KR100606760B1 (ko) 사용자 예약에 따른 홈 네트워크 시스템 및 그 제어방법
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
US20140253483A1 (en) Wall-Mounted Multi-Touch Electronic Lighting- Control Device with Capability to Control Additional Networked Devices
US20140172123A1 (en) User terminal apparatus, network apparatus, and control method thereof
WO2014190886A1 (zh) 智能交互系统及其软件系统
WO2016179891A1 (zh) 通过第三方终端配置无线遥控终端的方法和装置
WO2014103307A1 (ja) 制御方法
CN107969150A (zh) 用于辅助家庭中用户的设备
JP2016070514A (ja) 操作端末、および、制御方法
JP5331269B1 (ja) 通信システム、通信装置及び通信方法
KR102378908B1 (ko) 인공지능 홈오토메이션 시스템
WO2018163022A1 (en) Cooker hood and household interconnection control method based on cooker hood
JP6625233B2 (ja) コントローラ、空気調和システムおよび空気調和機の制御方法
JP4468231B2 (ja) ユーザインタフェース装置、家電・住設機器およびユーザインタフェース提示方法
US20220123956A1 (en) Server, terminal device, and method for home appliance management thereby
JP2018170744A (ja) リモコン制御システム、リモコン制御方法及びプログラム
CN109801626A (zh) 家用电器的控制方法及家用电器
WO2023050547A1 (zh) 终端与家电的连接方法、终端、家电以及可读存储介质
CN110764429B (zh) 家电设备的交互方法、终端设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant