KR20230031562A - 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램 - Google Patents

가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램 Download PDF

Info

Publication number
KR20230031562A
KR20230031562A KR1020210113944A KR20210113944A KR20230031562A KR 20230031562 A KR20230031562 A KR 20230031562A KR 1020210113944 A KR1020210113944 A KR 1020210113944A KR 20210113944 A KR20210113944 A KR 20210113944A KR 20230031562 A KR20230031562 A KR 20230031562A
Authority
KR
South Korea
Prior art keywords
home appliance
information
image
application
processor
Prior art date
Application number
KR1020210113944A
Other languages
English (en)
Inventor
유현선
손대호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020210113944A priority Critical patent/KR20230031562A/ko
Publication of KR20230031562A publication Critical patent/KR20230031562A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 개시는 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램에 관한 것이다.
이를 위해, 본 개시는 가전 장치로부터 출력되는 다양한 정보를 감지하고, 상기 감지된 정보와 메모리에 기 저장된 정보를 비교하여 상기 가전 장치를 식별하고, 상기 식별된 가전 장치의 정보를 어플리케이션에 등록시킬 수 있다. 따라서, 본 개시는 가전 장치를 보다 쉽게 식별하는 편의성을 제공할 수 있고, 또한, 사용자는 원격에서 가전 장치를 제어할 수 있다.

Description

가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램{A MOBILE TERMINAL AND METHOD FOR REGISTERING A HOME APPLIANCE IN AN APPLICATION, AND A SYSTEM AND PROGRAM THEREFOR}
본 개시는 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램에 관한 것이다.
일반적으로 홈 내에는 복수의 가전 장치들이 존재할 수 있다. 예를 들면, 홈 내에는 TV, 냉장고, 세탁기, 공기 청정기, 인덕션, 로봇 청소기 등 생활의 편의를 제공하는 다양한 가전 장치들이 존재할 수 있다.
이러한 가전 장치들은 자체의 소프트웨어에 기반하여 동작하며, 종류 또는 모델에 따라 서로 다른 기능을 수행할 수 있다. 그리고, 기술이 발전함에 따라 가전 장치의 성능은 향상되고 있지만, 이에 역행하여 가전 장치의 집적화에 의한 가전 장치의 고장율도 높아지고 있다.
이와 같이, 가전 장치가 정상적으로 동작하지 않는 경우, 사용자는 해당 가전 장치의 서비스 센터에 수리를 의뢰하게 되는데, 이 경우, 사용자는 해당 가전 장치의 모델명 또는 식별자를 인식해야 하는 불편함이 있다.
종래 선행 기술(한국등록특허공보 제10-1239284)은 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어 단말기 및 서버에 관한 것으로서, 영상 장치로부터 획득한 영상에서 객체를 3차원 모델로 검출하고 트랙킹하며, 객체 위해 가상의 증강현실 컨텐츠를 합성하며, 증강 현실 컨텐츠를 통해 실제 객체를 제어하는 내용을 개시하고 있다.
그러나, 종래 선행 기술은 제어 단말기를 통해 단지 가전 장치의 외형을 촬영하여 가전 장치에 대한 모델을 판단하는 내용을 개시하고 있을 뿐, 가전 장치에서 출력되는 다양한 정보를 통해 가전 장치의 종류, 모델명을 효율적으로 판단하지 않는다.
또한, 종래에는 가전 장치에서 출력되는 다양한 정보를 분석하여 휴대 단말의 어플리케이션에 등록하지 않는다.
따라서, 홈 내의 다양한 가전 장치를 어플리케이션에 보다 쉽게 등록하고, 상기 어플리케이션을 통해 가전 장치를 원격에서 제어하여 사용자의 편의성을 향상시킬 필요성이 제기된다.
한국등록특허공보 제10-1239284
종래에는 사용자가 직접 육안으로 가전 장치의 모델명을 식별함에 따라 불편함이 있었다.
또한, 종래에는 단지 가전 장치의 외형에 대한 이미지를 획득하여 가전 장치를 식별하기 때문에, 가전 장치의 비슷한 외형으로 인해 가전 장치의 인식률이 현저하게 낮았다.
따라서, 본 개시는 가전 장치로부터 출력되는 다양한 정보를 통해 가전 장치를 식별하는 휴대 단말 및 방법을 제공하는 것이다.
또한, 본 개시는 휴대 단말에 설치되어 가전 장치의 등록을 자동으로 수행할 수 있는 어플리케이션을 제공하는 것이다.
또한, 본 개시는 가전 장치로부터 출력되는 다양한 정보를 통해 가전 장치의 종류, 모델명, 및/또는 식별자를 인식하는 어플리케이션을 포함하는 프로그램을 제공하는 것이다.
또한, 본 개시는 어플리케이션을 통해 등록된 가전 장치와 휴대 단말 간의 통신 채널을 설정하여 상기 휴대 단말을 통해 상기 가전 장치를 원격에서 제어하는 시스템 및 방법을 제공하는 것이다.
또한, 본 개시는 다양한 가전 장치들에 대한 정보를 저장하고 있는 서버를 통해 다양한 제조사들에서 생산되는 다양한 종류의 가전 장치들을 어플리케이션에 등록하여 사용자로 하여금 가전 장치를 보다 쉽게 사용하도록 하는 시스템 및 방법을 제공하는 것이다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위해 본 개시에 따른 가전 장치는 초기 동작 시에 기본 이미지, 음성 신호, 및 발광 패턴 중 적어도 하나를 출력할 수 있다.
또한, 본 개시에 따른 휴대 단말은 가전 장치에서 출력되는 기본 이미지, 음성 신호, 및 발광 패턴을 카메라 또는 마이크를 통해 획득할 수 있다.
또한, 본 개시에 따른 휴대 단말에 설치된 어플리케이션은 가전 장치로부터 획득된 기본 이미지, 음성 신호, 및 발광 패턴을 분석하여 가전 장치의 종류, 모델명 및/또는 식별자를 식별하고, 식별 결과를 상기 어플리케이션에 등록할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 가전 장치로부터 출력되는 다양한 정보를 감지하고, 상기 감지된 정보와 메모리에 기 저장된 정보를 비교하여 상기 가전 장치를 식별하고, 상기 식별된 가전 장치의 정보를 어플리케이션에 등록시킬 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 카메라를 통해 획득된 가전 장치의 제1 이미지와 메모리에 기 저장된 적어도 하나의 제2 이미지 비교하여, 상기 제1 이미지를 표시하는 가전 장치의 정보를 식별할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 상기 적어도 하나의 제2 이미지 중에서 상기 제1 이미지의 적어도 일부 영역의 RGB(Red Green Blue) 값과 동일한 RGB 값을 갖는 이미지가 상기 메모리에 존재하는지 식별할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 가전 장치로부터 발광되는 제1 발광 패턴에 대한 제3 이미지를 획득하고, 상기 획득된 제3 이미지를 분석하여 상기 제1 발광 패턴을 식별하고, 상기 식별된 제1 발광 패턴과 상기 메모리에 기 저장된 적어도 하나의 제2 발광 패턴을 비교하여, 상기 제1 발광 패턴을 발광하는 가전 장치의 정보를 식별할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 마이크를 통해 가전 장치로부터 출력되는 음성 신호의 제1 주파수 파형을 분석하고, 상기 분석된 제1 주파수 파형과 상기 메모리에 기 저장된 적어도 하나의 제2 주파수 파형을 비교하여, 상기 음성 신호를 출력하는 가전 장치의 정보를 식별할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 어플리케이션에 등록된 정보에 대응하는 가전 장치로 페어링을 요청하고, 상기 요청에 기반하여 상기 가전 장치와 통신 채널을 설정할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 가전 장치가 식별되지 않는 경우, 상기 가전 장치로부터 출력되는 정보를 서버로 전송하고, 상기 서버로부터 상기 가전 장치의 정보를 획득하여 상기 어플리케이션에 등록할 수 있다.
또한, 본 개시에 따른 휴대 단말의 프로세서는 서버로부터 가전 장치의 식별이 불가함을 나타내는 메시지가 수신되면, 상기 가전 장치의 정보를 입력 받는 화면을 어플리케이션 상에 표시할 수 있다.
또한, 본 개시는 상기 어플리케이션의 적어도 하나의 기능을 수행하는 명령어들을 포함하는 프로그램을 통해 적어도 하나의 가전 장치를 자동으로 상기 어플리케이션에 등록시킬 수 있다.
본 개시는 가전 장치에서 출력되는 기본 이미지, 음성 신호, 및 발광 패턴 중 적어도 하나를 카메라 또는 마이크를 통해 획득함으로써, 가전 장치를 보다 쉽게 식별하는 편의성을 제공할 수 있다.
또한, 본 개시는 가전 장치로부터 획득된 기본 이미지, 음성 신호, 및 발광 패턴 중 적어도 하나를 분석하여 가전 장치의 종류, 모델명 및/또는 식별자를 식별하고, 식별 결과를 어플리케이션에 등록함으로써, 사용자는 원격에서 가전 장치를 제어할 수 있다.
또한, 본 개시는 카메라를 통해 획득된 가전 장치의 제1 이미지와 메모리에 기 저장된 적어도 하나의 제2 이미지 비교하여, 상기 가전 장치의 정보를 식별함으로써, 사용자는 가전 장치를 어플리케이션에 쉽게 등록할 수 있다.
또한, 본 개시는 기 저장된 적어도 하나의 제2 이미지 중에서 가전 장치로부터 출력되는 제1 이미지의 적어도 일부 영역의 RGB(Red Green Blue) 값과 동일한 RGB 값을 갖는 이미지를 식별함으로써, 가전 장치의 인식률을 향상시킬 수 있다.
또한, 본 개시는 가전 장치로부터 출력되는 제1 발광 패턴과 기 저장된 적어도 하나의 제2 발광 패턴을 비교함으로써, 가전 장치의 인식률을 향상시킬 수 있다.
또한, 본 개시는 가전 장치로부터 출력되는 음성 신호의 제1 주파수 파형과 기 저장된 적어도 하나의 제2 주파수 파형을 비교함으로써, 가전 장치의 인식률을 향상시킬 수 있다.
또한, 본 개시는 어플리케이션에 등록된 정보에 대응하는 가전 장치로 페어링을 요청하고, 상기 요청에 기반하여 상기 가전 장치와 통신 채널을 설정함으로써, 사용자는 휴대 단말을 이용하여 원격에서 상기 가전 장치를 제어할 수 있다.
또한, 본 개시는 가전 장치의 식별이 불가능한 경우, 상기 가전 장치의 정보를 입력 받는 화면을 어플리케이션 상에 표시함으로써, 다른 제조사의 가전 장치 또는 구형의 가전 장치도 어플리케이션 상에 등록할 수 있다.
상술한 효과와 더불어 본 개시의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템을 나타낸 예시도이다.
도 2는 본 개시의 다른 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템을 나타낸 예시도이다.
도 3은 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템의 블록도를 나타낸 예시도이다.
도 4는 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템의 동작을 나타낸 순서도이다.
도 5는 본 개시의 일 실시 예에 따른 휴대 단말이 가전 장치를 어플리케이션에 등록하는 과정을 나타낸 순서도이다.
도 6은 본 개시의 일 실시 예에 따른 휴대 단말에서 감지된 가전 장치의 화면에 대한 예시도이다.
도 7은 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 음성 신호에 대한 주파수 파형을 나타낸 예시도이다.
도 8은 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 음성 신호에 대한 주파수 대역 나타낸 예시도이다.
도 9는 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 발광 패턴에 대한 예시도이다.
도 10은 본 개시의 일 실시 예에 따른 어플리케이션을 통해 가전 장치의 정보를 입력 받는 화면을 나타낸 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 개시를 설명함에 있어서 본 개시와 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 개시에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에서, 특별히 반대되는 기재가 없는 한, 각 구성요소는 단수일수도 있고 복수일 수도 있다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
명세서 전체에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다
이하에서는, 본 개시의 몇몇 실시 예에 따른 가전 장치를 등록하는 장치 및 방법과, 이를 위한 프로그램 및 시스템을 설명하도록 한다.
도 1은 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템을 나타낸 예시도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템(100)은 가전 장치(120)(예: TV)와 휴대 단말(110)을 포함할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)(예: TV)는 홈 내에 배치되어 영상과 음성을 출력할 수 있다. 또한, 상기 가전 장치(120)(예: TV)의 외관에는 적어도 하나의 발광 소자(예: LED(light emitting diode))가 배치되어 상기 가전 장치(120)(예: TV)의 동작에 따라 다양한 색 또는 다양한 온/오프 패턴으로 발광될 수 있다.
예를 들면, 상기 가전 장치(120)(예: TV)는 전원이 온(ON)되면, 상기 가전 장치(120)(예: TV)는 전원이 온(ON) 되었음을 나타내기 위해 기본 화면(121)을 표시부 상에 출력하거나, 또는 일정 패턴을 갖는 음성 신호(122)를 스피커를 통해 출력할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 카메라를 통해 상기 가전 장치(120)(예: TV)에 표시되는 기본 화면(121)을 촬영하거나, 또는 마이크를 통해 상기 가전 장치(120)(예: TV)로부터 출력되는 음성 신호(122)를 수신할 수 있다.
또는, 상기 가전 장치(120)(예: TV)는 상기 기본 화면(121) 또는 음성 신호(122) 이외에 다양한 정보(예: 초음파, 적외선 등)를 출력할 수 있고, 상기 휴대 단말(110)은 상기 가전 장치(120)(예: TV)로부터 출력되는 다양한 정보(예: 초음파, 적외선 등)를 수신할 수도 있다.
도 2는 본 개시의 다른 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템을 나타낸 예시도이다.
도 2를 참조하면, 본 개시의 다른 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템(200)은 가전 장치(120)(예: TV) 및 휴대 단말(110)를 포함할 수 있다. 그리고, 상기 가전 장치(120)(예: TV)의 외관에 배치된 적어도 하나의 발광 소자(210)(예: LED(light emitting diode))는 상기 가전 장치(120)(예: TV)의 동작에 따라 다양한 색 또는 다양한 온/오프 패턴으로 광을 출력할 수 있다.
예를 들면, 상기 가전 장치(120)(예: TV)는 전원이 온(ON)되면, 상기 가전 장치(120)(예: TV)는 전원이 온(ON) 되었음을 나타내기 위해 적어도 하나의 발광 소자(210)를 통해 광을 일정 간격으로 출력하거나, 또는 서로 다른 광을 출력할 수도 있다. 이와 같이, 상기 가전 장치(120)(예: TV)는 상기 가전 장치(120)(예: TV)의 종류, 모델명, 또는 식별자(예: 제품 번호) 등을 나타내는 광을 출력할 수 있다.
또는, 상기 가전 장치(120)(예: TV)에 복수의 발광 소자들(210)이 배치되는 경우, 상기 가전 장치(120)(예: TV)는 전원이 온(ON) 되었음을 나타내기 위해 복수의 발광 소자들(210)을 통해 일정 패턴으로 광을 출력할 수 있다. 상기 일정 패턴은 상기 가전 장치(120)(예: TV)의 종류, 모델명, 또는 식별자(예: 제품 번호) 등을 나타낼 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 카메라를 통해 상기 가전 장치(120)(예: TV)의 적어도 하나의 발광 소자(210)에서 발광되는 빛에 대한 이미지(122)(또는 동영상)를 카메라를 통해 촬영할 수 있다.
도 1 및 도 2에서는 상기 가전 장치(120)가 TV를 예시로 하였으나, 본 개시에 따른 가전 장치는 TV 이외에, 홈 내에 배치되어 사용자에게 편의성을 제공하는 다양한 가전 장치들(예: 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등)을 포함할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템의 블록도를 나타낸 예시도이다.
도 3을 참조하면, 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템(300)은 사용자가 소지하는 휴대 단말(110), 홈 내의 가전 장치(120), 서버(320), 및 상기 휴대 단말(110)과 상기 서버(320) 간 또는 상기 가전 장치(120)와 상기 서버(320) 간의 통신 환경을 제공하는 네트워크(330)를 포함할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)는 표시부(321), 메모리(322), 스피커(323), 발광부(324), 통신부(325), 및 프로세서(326)를 포함할 수 있다.
도 3에 도시된 상기 가전 장치(120)의 구성은 일 실시 예에 따른 것이고, 상기 가전 장치(120)의 구성 요소들이 도 3에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 표시부(321)는 상기 가전 장치(120)의 동작에 따른 정보를 표시할 수 있다. 상기 표시부(321)는 상기 가전 장치(300120의 외관에 배치될 수 있으며, 터치 또는 호버링에 의한 입력을 수신하고, 데이터를 표시하는 터치 스크린을 포함할 수 있다.
상기 표시부(321)는 가전 장치(120)의 동작(예: 완료된 동작, 현재 진행중인 동작, 진행될 동작, 동작이 종료되는 시각, 동작 상태, 기능 등)에 관한 다양한 정보를 표시할 수 있다. 상기 표시부(321)는 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 상기 표시부(321)는 사용자에게 정보를 시각적으로 제공하는 디스플레이를 제어하기 위한 제어 회로를 포함할 수 있다.
예를 들면, 상기 가전 장치(120)의 전원이 온(ON)되는 경우, 상기 프로세서(326)은 상기 표시부(321) 상에 기본 화면(예: 제조사의 로고 화면, 또는 모델명에 대한 화면 등)을 표시할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 메모리(322)는 상기 가전 장치(120)의 정보(예: 종류, 모델명 및/또는 식별자(예: 제품 번호))를 저장할 수 있다. 또한, 상기 가전 장치(120)의 동작에 필요한 정보, 데이터, 프로그램, 어플리케이션, 소프트웨어, 명령어 등이 저장될 수 있다. 이에 따라, 상기 프로세서(326)는 메모리(322)에 저장된 정보를 참조하여 후술하는 제어 동작을 수행할 수 있다.
일 실시 예에 따르면, 상기 메모리(322)는, 예를 들면, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 스피커(323)는 상기 가전 장치(120)의 동작에 따른 다양한 음성 신호를 출력할 수 있다. 예를 들면, 상기 스피커(323)는 상기 가전 장치(120)의 전원이 온(ON) 됨에 따라 기 설정된 음성 신호를 출력할 수 있다. 상기 음성 신호는 상기 프로세서(326)의 제어 하에, 상기 가전 장치(120)의 전원이 온(ON) 됨에 따라 매번 동일하게 출력될 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 발광부(324)는 상기 가전 장치(120)의 외관에 배치될 수 있다. 상기 발광부(324)는 적어도 하나의 발광 소자(예: LED)를 포함하며, 상기 가전 장치(120)의 동작에 따라 다양한 패턴으로 빛을 출력할 수 있다. 상기 발광부(324)는 상기 가전 장치(120)의 전원이 온(ON) 됨에 따라 기 설정된 패턴으로 빛을 출력할 수 있다. 상기 출력되는 빛의 패턴은 상기 가전 장치(120)의 전원이 온(ON) 됨에 따라 상기 프로세서(326)의 제어 하에, 매번 동일하게 출력될 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 통신부(325)는 상기 휴대 단말(110)의 통신부(314), 및 서버(320)와 적어도 하나의 신호 또는 정보를 네트워크(330)를 통해 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
또한, 상기 통신부(325)는 근거리 통신(예: 블루투스(Bluetooth), NFC(Near Field Communication), 또는 비콘(Beacon))에 기반하여 상기 휴대 단말(110)과 통신할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)의 프로세서(326)는 상기 가전 장치(120)의 동작을 전반적으로 제어할 수 있다. 예를 들면, 상기 프로세서(326)는 상기 가전 장치(120)가 초기 동작하는 경우, 초기 동작에 따른 음성 신호의 출력, 적어도 하나의 발광 소자의 발광, 및 기본 화면(예: 제조사의 로고 화면, 또는 모델명에 대한 화면 등)의 표시 중 적어도 하나가 수행되도록 상기 가전 장치(120)를 제어할 수 있다. 예를 들면, 상기 음성 신호의 출력, 적어도 하나의 발광 소자의 발광, 및 상기 기본 화면의 표시는 가전 장치(120)의 종류, 또는 모델명에 따라 상이할 수 있다.
도 3에서는 상기 가전 장치(120)가 TV인 경우에 대해 도시하고 있으나, 이는 단지 실시 예일 뿐, 본 개시에서의 가전 장치(120)는 TV 이외에 홈 내에 배치되어 사용자에게 편의성을 제공하는 다양한 가전 장치들(예: 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등)을 포함할 수 있다. 이러한 다양한 가전 장치들 각각은 종류, 또는 모델명에 따라 서로 다른 음성 신호를 출력하거나, 또는 서로 다른 발광 패턴으로 빛을 출력할 수 있다. 또한, 다양한 가전 장치들 각각은 종류, 또는 모델명에 따라 서로 다른 기본 화면을 표시할 수도 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 카메라(311), 표시부(312), 메모리(313), 통신부(314), 마이크(315), 센서(316), 및 프로세서(317)를 포함할 수 있다.
도 3에 도시된 상기 휴대 단말(110)의 구성은 일 실시 예에 따른 것이고, 상기 휴대 단말(110)의 구성 요소들이 도 3에 도시된 실시 예에 한정되는 것은 아니며, 필요에 따라 일부 구성 요소가 부가, 변경 또는 삭제될 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 카메라(311)는 가전 장치(120)에 대한 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 상기 가전 장치(120)의 전원 버튼이 입력되는 경우, 상기 가전 장치(120)의 종류에 기반 소리를 출력하거나, 이미지를 표시하거나, 발광 소자를 통해 빛을 출력할 수 있다.
상기 휴대 단말(110)의 카메라(311)는 이러한 가전 장치(120)로부터 출력되는 정보(예: 표시되는 이미지, 출력되는 빛, 소리 등)를 획득할 수 있다.
예를 들면, 상기 카메라(311)는 상기 가전 장치(120)에서 표시되는 이미지를 획득하거나, 또는 상기 가전 장치(120)의 외관에 배치된 적어도 하나의 발광 소자에서 발광되는 빛의 패턴에 대한 이미지(또는 동영상)를 획득할 수 있다. 또는, 상기 카메라(311)는 상기 가전 장치(120)의 종류, 모델명, 또는 식별자(예: 제품 번호)를 알 수 있도록 상기 가전 장치(120)의 적어도 일부에 대한 이미지를 획득할 수도 있다.
그리고, 상기 카메라(311)는 획득된 이미지 또는 동영상을 프로세서(317)로 전달할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 표시부(312)는 전자 장치(110)(예: 휴대 단말)가 수행하는 다양한 동작에 대한 정보를 표시할 수 있다. 상기 표시부(311)는 터치 또는 호버링에 의한 입력을 수신하고, 데이터를 표시하는 터치 스크린을 포함할 수 있다.
일 실시 예에 따르면, 상기 표시부(312)는 홈 내의 적어도 하나의 가전 장치를 등록하는 어플리케이션을 표시할 수 있으며, 이러한 등록 과정을 시각적으로 제공하는 제어 회로를 포함할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 메모리(313)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들면, 상기 메모리(313)는 적어도 하나의 가전 장치(120)를 등록시키는 어플리케이션과, 상기 어플리케이션에 적어도 하나의 가전 장치(120)를 등록시키기 위한 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 통신부(314)는 상기 가전 장치(120)의 통신부(325), 및 서버(320)와 적어도 하나의 신호 또는 정보를 네트워크(330)를 통해 송수신할 수 있는 적어도 하나의 회로를 포함할 수 있다.
또한, 상기 통신부(314)는 근거리 통신(예: 블루투스(Bluetooth), NFC(Near Field Communication), 또는 비콘(Beacon))에 기반하여 홈 내의 적어도 하나의 가전 장치와 통신할 수 있다.
또한, 상기 통신부(314)는 적어도 하나의 가전 장치를 등록시키는 어플리케이션을 상기 서버(320)로부터 수신할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 마이크(315)는 적어도 하나의 가전 장치(120)에서 출력되는 다양한 음성 신호를 획득하고, 획득된 음성 신호를 전기적인 신호로 변환하여 상기 프로세서(317)로 전달할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 센서(316)는 상기 가전 장치(120)로부터 출력되는 다양한 정보(예: 초음파, 적외선 등)를 감지하는 다양한 센서를 포함할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 인공지능 알고리즘(318)(예: ThinQ)이 내장될 수 있다. 또는, 상기 인공지능에 대한 알고리즘은 상기 프로세서(317)에 의해 구현될 수 있다. 상기 인공지능은 인간의 뇌 신경망을 모방한 프로그램으로서 다양한 데이터를 스스로 분석, 인지, 추론, 판단하는 딥러닝 알고리즘을 지원할 수 있다.
이를 통해, 상기 프로세서(317)는 가전 장치(120)를 인공지능으로 제어할 수 있을 뿐만 아니라, 인공지능을 통해서 카메라(311)를 통해 획득한 이미지, 마이크(315)로부터 획득된 음성 신호, 및 센서(316)로부터 획득된 가전 장치에 대한 다양한 정보를 식별할 수 있다. 또한, 상기 프로세서(317)는 서버(320)로부터 가전 장치를 등록하는 어플리케이션을 획득하고, 상기 획득된 어플리케이션에 기반하여 홈 내의 적어도 하나의 가전 장치(120)를 상기 어플리케이션에 등록시킬 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 홈 내의 적어도 하나의 가전 장치(예: TV, 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등)로부터 출력되는 정보를 해당 구성 요소(예: 카메라(311), 마이크(315), 센서(316)를 통해 획득할 수 있다.
예를 들면, 상기 정보는 가전 장치(120)가 온(ON)되는 경우, 상기 가전 장치(120)에서 출력되는 음성 신호, 이미지, 발광 패턴, 초음파, 및 적외선 중 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 감지된(또는 획득된) 정보와 메모리(313)에 기 저장된 정보를 비교하여 상기 가전 장치(120)의 종류, 모델명, 또는 식별자(예: 제품 번호) 중 적어도 하나를 식별할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)의 표시부(321)에서 표시되는 제1 이미지를 카메라(311)를 통해 획득하고, 상기 카메라(311)를 통해 획득된 제1 이미지와 상기 메모리(313)에 기 저장된 적어도 하나의 제2 이미지를 비교할 수 있다. 상기 프로세서(317)는 상기 제1 이미지의 분석에 기반하여 상기 가전 장치(120)의 종류(예: TV, 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등), 각 종류에 따른 모델명, 또는 식별자(예: 제품 번호)를 어플리케이션을 통해 식별할 수 있다.
예를 들면, 상기 가전 장치(120)가 온(ON)되어 초기 동작하는 경우, 기본 화면(예: 제조사의 로고 화면, 또는 모델명에 대한 화면 등)이 표시될 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)에서 출력되는 화면을 캡쳐한 이미지(예: 제1 이미지)의 적어도 일부 영역(예: 제조사의 로고 또는 모델명이 표시되는 영역)에 대한 RGB(Red Green Blue) 값을 분석할 수 있다. 그리고, 상기 프로세서(317)는 상기 분석된 제1 이미지에 대한 RGB 값과 상기 메모리(313)에 기 저장된 적어도 하나의 제2 이미지(예: 다양한 가전 장치들 각각의 종류 및/또는 모델에 대한 이미지)의 RGB 값을 분석할 수 있다.
상기 프로세서(317)는 상기 제1 이미지의 RGB 값과 상기 적어도 하나의 제2 이미지의 RGB 값의 분석을 통해 상기 제1 이미지를 표시하는 가전 장치의 정보(예: 종류, 모델명, 식별자 및/또는 제조일자)를 식별할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)로부터 발광되는 제1 발광 패턴에 대한 제3 이미지(또는 동영상)를 상기 카메라(311)를 통해 획득하고, 상기 획득된 제3 이미지(또는 동영상)를 분석하여 상기 제1 발광 패턴을 식별할 수 있다. 상기 프로세서(317)는 상기 제1 발광 패턴을 분석하여 상기 가전 장치(120)의 종류(예: TV, 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등), 각 종류에 따른 모델명, 또는 식별자(예: 제품 번호))를 어플리케이션을 통해 식별할 수 있다.
예를 들면, 상기 제1 발광 패턴은 상기 가전 장치(120)가 온(ON)되어 초기 동작하는 경우, 적어도 하나의 발광 소자를 통해 출력되는 빛이 발광하는 패턴이다.
상기 프로세서(317)는 상기 식별된 제1 발광 패턴과 상기 메모리(313)에 기 저장된 적어도 하나의 제2 발광 패턴(예: 다양한 가전 장치들 각각의 종류 및/또는 모델을 나타내는 발광 패턴)을 비교하여, 상기 제1 발광 패턴을 발광하는 가전 장치의 정보(예: 종류, 모델명, 또는 식별자(예: 제품 번호))를 식별할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)로부터 출력되는 음성 신호를 상기 마이크(315)를 통해 획득하고, 상기 획득된 음성 신호의 제1 주파수 파형을 분석할 수 있다. 상기 프로세서(317)는 상기 분석된 제1 주파수 파형과 상기 메모리(313)에 기 저장된 적어도 하나의 제2 주파수 파형을 비교하여, 상기 음성 신호를 출력하는 가전 장치(120)의 정보를 식별할 수 있다. 상기 프로세서(317)는 상기 제1 주파수 파형을 분석하여 상기 가전 장치(120)의 종류(예: TV, 냉장고, 세탁기, 공기 청정기, 의류 케어 장치, 로봇 청소기, 청소기, 인덕션, 광파 오븐, 정수기 등), 각 종류에 따른 모델명, 또는 식별자(예: 제품 번호)를 어플리케이션을 통해 식별할 수 있다.
예를 들면, 상기 음성 신호는 상기 가전 장치(120)가 온(ON)되어 초기 동작하는 경우, 상기 스피커(323)를 통해 출력된다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)로부터 출력되는 정보에 기반하여 상기 가전 장치(120)가 식별되면, 상기 프로세서(317)는 상기 식별된 가전 장치(120)의 정보를 어플리케이션에 등록시킬 수 있다. 상기 프로세서(317)는 상기 메모리(313)에 기 저장된 적어도 하나의 가전 장치의 정보 중에서 상기 가전 장치(120)로부터 출력되는 정보에 기반하여 상기 가전 장치(120)가 상기 어플리케이션에 등록되어 있는지(또는 존재하는지)를 판단할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)로부터 출력되는 정보와 상기 메모리(313)에 기 저장된 정보를 비교한 결과, 상기 가전 장치(120)가 식별되지 않는 경우(예: 상기 가전 장치(120)에 대한 정보가 상기 메모리(313)에 저장되어 있지 않는 경우), 상기 프로세서(317)는 상기 가전 장치(120)에 대한 식별을 상기 서버(320)에 요청할 수 있다. 예를 들면, 상기 프로세서(317)는 상기 감지된 정보를 상기 통신부(314)를 통해 상기 서버(320)로 전송하고, 상기 서버(320)로부터 상기 요청에 대한 응답 메시지(예: 식별 불가, 식별 가능, 또는 가전 장치(120)의 정보)를 획득할 수 있다.
예를 들면, 상기 서버(320)가 상기 휴대 단말(110)로부터 수신된 정보에 해당되는 가전 장치의 정보(예: 종류, 모델명, 또는 식별자(예: 제품 번호) 등)가 식별되면, 상기 식별된 가전 장치(120)의 정보를 네트워크(330)를 통해 상기 휴대 단말(110)로 전송할 수 있다. 상기 서버(320)는 상기 가전 장치(120)의 제조사에서 생산되는 다양한 가전 장치들에 대한 정보(예: 종류, 모델명, 또는 식별자(예: 제품 번호), 제조 일자 등)뿐만 아니라, 타 제조사에서도 생산되는 다양한 가전 장치들에 대한 정보를 저장하고 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 서버로부터 수신되는 응답 메시지(예: 식별 불가, 식별 가능, 또는 가전 장치(120)의 정보)를 분석할 수 있다. 분석 결과, 상기 가전 장치(120)에 대한 정보가 획득되면, 상기 획득된 정보에 기반하여 상기 가전 장치(120)를 상기 어플리케이션에 등록시킬 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)의 프로세서(317)는 상기 서버로부터 수신되는 응답 메시지가 상기 가전 장치(120)에 대한 식별 불가를 나타내는 경우, 사용자로부터 직접 가전 장치에 대한 정보를 입력 받기 위한 화면을 상기 어플리케이션 상에 표시할 수 있다. 그리고, 상기 프로세서(317)는 상기 화면을 통해 입력되는 가전 장치(120)의 정보(예: 종류, 모델명, 또는 식별자(예: 제품 번호) 등)에 기반하여 상기 가전 장치(120)를 상기 어플리케이션에 등록시킬 수 있다.
예를 들면, 상기 서버(320)로부터 상기 가전 장치의 식별이 불가함을 나타내는 메시지가 상기 통신부(314)를 통해 수신되면, 상기 프로세서(317)는 상기 가전 장치(120)의 정보를 입력 받는 화면을 상기 표시부(312)를 통해 상기 어플리케이션 상에 표시할 수 있다.
그리고, 상기 프로세서(317)는 상기 어플리케이션에 등록된 상기 가전 장치(120)로 페어링을 요청하고, 상기 요청에 기반하여 상기 가전 장치(120)로부터 응답이 수신되면, 상기 가전 장치(120)와 통신 채널을 설정할 수 있다.
이와 같이, 상기 휴대 단말(110)의 프로세서(317)는 상기 가전 장치(120)로부터 출력되는 정보를 감지하여 상기 가전 장치(120)를 상기 어플리케이션에 자동으로 등록시키고, 상기 가전 장치(120)와 상기 통신부(314)를 통해 통신 채널을 설정함으로써, 상기 어플리케이션을 통해 상기 가전 장치(120)의 동작을 원격에서 제어할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템의 동작을 나타낸 순서도이다.
이하, 도 4를 참조하여, 본 개시의 일 실시 예에 따른 가전 장치를 휴대 단말의 어플리케이션에 등록하는 시스템의 동작을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 상기 가전 장치(120)는 전원이 온(ON)되는 경우, 초기 동작을 수행할 수 있다(S410). 예를 들면, 상기 가전 장치(120)가 초기 동작을 수행하는 경우, 초기 동작에 따른 음성 신호의 출력, 화면 표시, 및 발광 소자의 발광 중 적어도 하나를 수행되도록 해당 구성 요소를 제어할 수 있다.
일 실시 예에 따르면, 상기 가전 장치(120)는 초기 동작에 따른 정보를 출력할 수 있다(S412). 상기 가전 장치(120)가 초기 동작을 수행하는 경우, 해당 구성 요소를 제어하여 음성 신호의 출력, 화면 표시, 및 발광 소자의 발광 중 적어도 하나를 수행할 수 있다. 이와 같이, 상기 가전 장치(120)에서 출력되는 정보는 가전 장치의 종류, 모델명, 제조일자에 따라 상이할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)로부터 출력되는 정보가 감지되는지 식별할 수 있다(S414). 예를 들면, 상기 휴대 단말(110)은 카메라(311)를 통해서 상기 가전 장치(120)에서 표시되는 화면 또는 상기 가전 장치(120)에서 출력되는 발광 패턴에 대한 이미지 또는 동영상을 획득할 수 있다. 또한, 상기 휴대 단말(110)은 마이크(315)를 통해서 상기 가전 장치(120)에서 출력되는 음성 신호를 획득할 수 있다. 또는, 상기 휴대 단말(110)은 센서(316)를 통해서 상기 가전 장치(120)에서 출력되는 초음파, 적외선 등의 정보를 획득할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 감지된 정보에 기반하여 상기 가전 장치(120)를 식별할 수 있다(S416). 상기 휴대 단말(110)은 상기 과정(S414)에서 감지된 정보를 분석하여 상기 가전 장치(120)의 종류, 모델명 및/또는 식별자(예: 제품 번호)를 식별할 수 있다.
예를 들면, 상기 휴대 단말(110)은 상기 가전 장치(120)로부터 획득된 정보가 상기 가전 장치(120)의 초기 동작에 따른 화면인 경우, 상기 화면의 적어도 일부 영역(또는 픽셀 그룹)에 대한 RGB 값을 식별할 수 있다. 그리고, 상기 휴대 단말(110)은 일부 영역(또는 픽셀 그룹)에 대한 RGB 값에 기반하여, 메모리(313)에 저장된 화면들 중에서 상기 RGB 값에 대응되는 화면을 식별할 수 있다. 그리고, 상기 휴대 단말(110)은 상기 식별된 화면에 기반하여 상기 가전 장치(120)의 종류, 모델명, 및/또는 식별자를 판단할 수 있다.
예를 들면, 상기 휴대 단말(110)은 상기 화면에 포함된 텍스트를 OCR(Optical Character Reader) 기능을 이용하여 식별하고, 상기 식별된 텍스트에 기반하여 메모리(313)에 저장된 화면들에 대한 텍스트들 중에서 상기 식별된 텍스트와 동일한 텍스트가 존재하는지 판단할 수 있다. 그리고, 상기 휴대 단말(110)은 상기 식별된 텍스트에 기반하여 상기 가전 장치(120)의 종류, 모델명, 및/또는 식별자를 판단할 수 있다.
예를 들면, 상기 휴대 단말(110)은 상기 가전 장치(120)로부터 획득된 정보가 상기 가전 장치(120)의 적어도 하나의 발광 소자에서 발광하는 빛에 의한 발광 패턴인 경우, 상기 발광 패턴의 발광 시간, 각 발광 소자의 온/오프 간격, 및 발광 소자들의 발광 순서 중 적어도 하나를 식별할 수 있다. 그리고, 상기 휴대 단말(110)은 이러한 식별에 기반하여, 메모리(313)에 저장된 발광 패턴들 중에서 상기 식별된 발광 패턴에 대응되는 발광 패턴을 결정할 수 있다. 그리고, 상기 휴대 단말(110)은 상기 결정된 발광 패턴에 기반하여 상기 가전 장치(120)의 종류, 모델명, 및/또는 식별자를 판단할 수 있다.
예를 들면, 상기 휴대 단말(110)은 상기 가전 장치(120)로부터 획득된 정보가 상기 가전 장치(120)의 스피커(323)에서 출력되는 음성 신호인 경우, 상기 음성 신호의 크기, 주파수에 따른 파형, 및/또는 음성 신호의 출력 시간 중 적어도 하나를 식별할 수 있다. 그리고, 상기 휴대 단말(110)은 이러한 식별에 기반하여, 메모리(313)에 저장된 음성 신호들 중에서 상기 식별된 음성 신호에 대응되는 음성 신호를 결정할 수 있다. 그리고, 상기 휴대 단말(110)은 상기 결정된 음성 신호에 기반하여 상기 가전 장치(120)의 종류, 모델명, 및/또는 식별자를 판단할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)에 대한 식별의 성공 여부를 판단할 수 있다(S418). 상기 휴대 단말(110)은 상기 과정(S416)에서의 식별에 기반하여 상기 가전 장치(120)의 식별이 성공하였는지, 또는 식별이 실패하였는지를 판단할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)에 대한 식별이 불가하면, 상기 감지된 정보를 상기 서버(320)로 전송할 수 있다(S420). 상기 휴대 단말(110)은 상기 가전 장치(120)에 대한 식별이 불가한 것으로 판단되면, 상기 감지된 정보를 상기 서버(320)로 전송하여 상기 가전 장치(120)에 대한 식별을 요청할 수 있다.
일 실시 예에 따르면, 상기 서버(320)는 상기 휴대 단말(110)로부터 수신된 감지된 정보를 분석하여 상기 가전 장치(120)에 대한 식별의 성공 여부를 판단할 수 있다(S422). 상기 서버(320)는 상기 휴대 단말(110)로부터 수신된 정보를 분석하여 상기 가전 장치(120)의 종류, 모델명, 식별자(예: 제품 번호), 및/또는 제조 일자 등을 판단할 수 있다.
일 실시 예에 따르면, 상기 서버(320)는 상기 가전 장치(120)에 대한 식별이 불가하면, 식별이 불가함을 나타내는 메시지를 상기 휴대 단말(110)로 전송할 수 있다(S424). 예를 들면, 상기 가전 장치(120)에 대한 식별이 불가한 경우, 상기 서버(320)는 상기 가전 장치(120)에 대한 식별이 불가함을 나타내는 메시지를 상기 휴대 단말(110)로 전송할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 과정(S424)에서 상기 서버(320)로부터 상기 가전 장치(120)에 대한 식별이 불가함을 나타내는 메시지가 수신되면, 상기 가전 장치(120)에 대한 정보를 입력 받는 화면을 표시할 수 있다(S426). 상기 휴대 단말(110)은 사용자로부터 상기 가전 장치(120)에 대한 정보를 입력 받기 위한 화면을 상기 어플리케이션 상에 표시할 수 있다. 사용자는 상기 화면을 통해 가전 장치의 종류, 모델명 등을 입력할 수 있다. 예를 들면, 사용자는 가전 장치(120)에 부착된(또는 표시부(321) 상에 표시된) QR(Quick Response) 코드(또는 바코드(barcode))를 상기 휴대 단말(110)의 카메라(311)를 통해 입력할 수 있다.
일 실시 예에 따르면, 상기 서버(320)는 상기 휴대 단말(110)로부터 수신된 정보의 분석에 기반하여 상기 가전 장치(120)에 대한 식별이 가능하면, 식별된 가전 장치의 정보를 상기 휴대 단말(110)로 전송할 수 있다(S428). 예를 들면, 상기 과정(S422)에서 상기 가전 장치(120)에 대한 식별이 성공하면, 상기 가전 장치(120)에 대한 정보를 상기 휴대 단말(110)로 전송할 수 있다. 상기 정보는 상기 식별된 가전 장치(120)에 대한 종류, 모델명, 식별자, 및/또는 제조 일자 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)에 대한 식별이 성공되면, 상기 감지된 정보를 어플리케이션에 등록시킬 수 있다(S430). 상기 휴대 단말(110)은 상기 과정(S418)에서 상기 가전 장치(120)에 대한 식별이 성공되거나, 또는 상기 과정(S426)에서 입력된 가전 장치의 정보가 입력되면, 상기 가전 장치(120)에 대한 정보를 상기 어플리케이션에 등록시킬 수 있다. 상기 어플리케이션은 홈 내의 적어도 하나의 가전 장치를 등록하고, 등록된 적어도 하나의 가전 장치를 원격에서 제어하는 기능을 수행할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)의 정보가 상기 어플리케이션에 등록되었음을 나타내는 등록 결과를 상기 서버(320)로 전송할 수 있다(S432). 예를 들면, 상기 가전 장치(120)의 정보가 상기 어플리케이션에 성공적으로 등록되는 경우, 상기 휴대 단말(110)은 등록이 성공하였음을 나타내는 등록 결과(예: 등록된 가전 장치의 종류, 모델명, 식별자, 등록 시간, 가전 장치의 우선 순위 등)를 상기 서버(320)로 전송할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)로 페어링을 요청할 수 있다(S434). 상기 가전 장치(120)의 정보가 상기 어플리케이션에 성공적으로 등록되는 경우, 상기 휴대 단말(110)은 상기 가전 장치(120)로 페어링을 요청할 수 있다. 상기 페어링은 상기 휴대 단말(110)의 어플리케이션을 통해 상기 가전 장치(120)를 실질적으로 제어하도록 하기 위한 선행 과정이다.
일 실시 예에 따르면, 상기 가전 장치(120)는 상기 휴대 단말(110)의 페어링 요청에 응답하여 페어링을 수락할 수 있다(S436). 예를 들면, 상기 가전 장치(120)는 상기 휴대 단말(110)과의 페어링이 수락되면, 상기 휴대 단말(110)과의 페어링 수락을 나타내는 신호를 상기 휴대 단말(110)로 전송할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)은 상기 가전 장치(120)와 통신 채널을 설정할 수 있다(S438). 상기 휴대 단말(110)과 상기 가전 장치(120)와의 페어링에 기반하여, 상기 휴대 단말(110)의 통신부(314)는 상기 가전 장치(120)의 통신부(325)와 통신 채널을 설정할 수 있다. 상기 통신 채널은 근거리 통신(예: 블루투스(Bluetooth), NFC(Near Field Communication), 또는 비콘(Beacon))에 기반한 프로토콜을 지원할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 휴대 단말이 가전 장치를 어플리케이션에 등록하는 과정을 나타낸 순서도이다. 도 6은 본 개시의 일 실시 예에 따른 휴대 단말에서 감지된 가전 장치의 화면에 대한 예시도이다. 도 7은 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 음성 신호에 대한 주파수 파형을 나타낸 예시도이다. 도 8은 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 음성 신호에 대한 주파수 대역 나타낸 예시도이다. 도 9는 본 개시의 일 실시 예에 따른 가전 장치에서 출력되는 발광 패턴에 대한 예시도이다. 도 10은 본 개시의 일 실시 예에 따른 어플리케이션을 통해 가전 장치의 정보를 입력 받는 화면을 나타낸 예시도이다.
이하, 도 5 내지 도 10을 참조하여, 본 개시의 일 실시 예에 따른 휴대 단말이 가전 장치를 어플리케이션에 등록하는 과정을 상세히 설명하면 다음과 같다.
일 실시 예에 따르면, 상기 휴대 단말(110)(예: 프로세서(317))은 가전 장치로부터 출력되는 정보를 감지할 수 있다(S510). 상기 정보는 가전 장치의 동작이 시작되는 경우, 상기 가전 장치에서 출력되는 화면, 음성 신호, 이미지, 발광 패턴, 초음파, 및 적외선 중 적어도 일부를 포함할 수 있다. 예를 들면, 상기 프로세서(317)는 상기 가전 장치에서 출력되는 화면, 또는 상기 가전 장치의 적어도 하나의 발광 소자에서 출력되는 발광 패턴에 대한 이미지 또는 동영상을 카메라(311)를 통해서 획득할 수 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)(예: 프로세서(317))은 상기 감지된 정보와 기 저장된 정보를 비교할 수 있다(S512). 상기 프로세서(317)는 상기 과정(S510)에서 감지된 정보(즉, 상기 가전 장치에서 출력되는 화면, 음성 신호, 이미지, 발광 패턴, 초음파, 및 적외선 중 적어도 일부)를 분석하고, 분석 결과에 대응되는 정보가 메모리(313)에 저장되어 있는지 판단한다.
일 실시 예에 따르면, 상기 휴대 단말(110)(예: 프로세서(317))은 상기 가전 장치를 식별할 수 있다(S514). 상기 분석 결과에 대응되는 정보가 메모리(313)에 저장되어 있는 경우, 상기 프로세서(317)는 상기 분석 결과에 대응되는 정보에 기반하여 상기 가전 장치에 대한 종류, 모델명, 또는 식별자(예: 제품 번호) 중 적어도 하나를 식별할 수 있다.
도 6을 참조하면, 상기 프로세서(317)는, 예를 들면, 상기 가전 장치에서 표시되는 이미지를 카메라(311)를 통해 획득하여 표시부(312) 상에 표시할 수 있다. 상기 프로세서(317)는 상기 획득된 이미지에 대해 OCR을 통한 텍스트 추출, 및 일부 영역에서의 RGB 값들의 추출 중 적어도 하나를 통해 메모리(313) 상에 저장된 복수의 이미지들(611, 612, 613, 614) 중 해당되는 하나 이상의 이미지를 식별할 수 있다. 그리고, 상기 프로세서(317)는 상기 식별된 이미지에 기반하여 종류, 모델명, 식별자, 또는 출시일에 대한 정보를 획득할 수 있다.
예를 들면, 상기 메모리(313)(또는 어플리케이션)에는 각각의 가전 장치에 대한 이미지, 각 이미지에 기반한 모델명, 식별자, 또는 출시일에 대한 정보(610)가 저장되어 있다.
예를 들면, 제1 이미지(611)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG Xcanvas LCD HD이며, 출시일은 2012년 00월 00일이다. 그리고, 제2 이미지(612)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG 47LE5500이며, 출시일은 2017년 00월 00일이다. 그리고, 제3 이미지(613)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG OLED TV 65B7K이며, 출시일은 2017년 00월 00일이다. 그리고, 제4 이미지(614)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 시그니처 올레드 R이며, 출시일은 2020년 00월 00일이다.
도 7을 참조하면, 상기 프로세서(317)는, 예를 들면, 상기 가전 장치의 스피커(323)에서 출력되는 음성 신호를 마이크(315)를 통해 획득할 수 있다. 상기 프로세서(317)는 상기 획득된 음성 신호를 분석하여 주파수 파형(710)을 획득할 수 있다. 그리고, 상기 프로세서(317)는 획득된 주파수 파형(710)에 기반하여 메모리(313) 상에 저장된 복수의 주파수 파형들(720, 730, 740) 중 해당되는 하나를 식별할 수 있다. 그리고, 상기 프로세서(317)는 상기 식별된 주파수 파형에 기반하여 가전 장치의 종류, 모델명, 식별자, 또는 출시일에 대한 정보를 획득할 수 있다.
예를 들면, 상기 메모리(313)(또는 어플리케이션)에는 각각의 가전 장치의 주파수 파형에 기반한 종류, 모델명, 식별자, 또는 출시일에 대한 정보(750)가 저장되어 있다.
예를 들면, 제1 주파수 파형(720)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG Xcanvas LCD HD이며, 출시일은 2012년 00월 00일이다. 그리고, 제2 주파수 파형(730)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG OLED TV 65B7K이며, 출시일은 2017년 00월 00일이다. 그리고, 제3 주파수 파형(740)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 시그니처 올레드 R이며, 출시일은 2020년 00월 00일이다.
도 7의 파형들(710, 720, 730, 740)은 일 실시 예이며, 본 개시에서는 가전 장치의 종류 및/또는 모델에 따라 서로 다른 파형을 포함할 수 있다.
도 8을 참조하면, 상기 프로세서(317)는 상기 획득된 음성 신호의 주파수 파형에 대한 주파수 대역을 획득할 수 있다. 그리고, 상기 프로세서(317)는 메모리(313) 상에 저장된 복수의 주파수 대역들(810, 820, 830) 중에서 상기 획득된 주파수 대역과 동일한 대역을 갖는(또는 일정 범위 내의 오차를 갖는) 하나의 주파수 대역을 식별할 수 있다. 그리고, 상기 프로세서(317)는 상기 식별된 주파수 대역에 기반하여 가전 장치의 종류, 모델명, 식별자, 또는 출시일에 대한 정보를 획득할 수 있다.
예를 들면, 상기 메모리(313)(또는 어플리케이션)에는 각각의 가전 장치의 주파수 대역에 기반한 종류, 모델명, 식별자, 또는 출시일에 대한 정보(840)가 저장되어 있다.
예를 들면, 제1 주파수 대역(810)(예: 300Hz-1KHz)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG Xcanvas LCD HD이며, 출시일은 2012년 00월 00일이다. 그리고, 제2 주파수 대역(820)(예: 500Hz-1.2KHz)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG OLED TV 65B7K이며, 출시일은 2017년 00월 00일이다. 그리고, 제3 주파수 대역(830)(예: 800Hz-1.5KHz)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 시그니처 올레드 R이며, 출시일은 2020년 00월 00일이다.
도 9를 참조하면, 상기 프로세서(317)는, 예를 들면, 상기 가전 장치에서 표시되는 이미지를 카메라(311)를 통해 획득하여 표시부(312) 상에 표시할 수 있다. 상기 이미지(220)는 상기 가전 장치의 적어도 하나의 발광 소자를 통해 발광되는 빛의 발광 패턴에 대한 동영상을 포함할 수 있다. 상기 프로세서(317)는 상기 획득된 이미지를 분석하여 발광 패턴을 식별하고, 식별 결과를 통해 메모리(313) 상에 저장된 복수의 발광 패턴들(920, 930, 940, 950) 중 해당되는 하나 이상의 발광 패턴을 식별할 수 있다. 그리고, 상기 프로세서(317)는 상기 식별된 이미지에 기반하여 종류, 모델명, 식별자, 또는 출시일에 대한 정보를 획득할 수 있다.
예를 들면, 상기 메모리(313)(또는 어플리케이션)에는 각각의 가전 장치의 발광 패턴에 기반한 종류, 모델명, 식별자, 또는 출시일에 대한 정보(910)가 저장되어 있다.
예를 들면, 제1 발광 패턴(920)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG 12****이며, 출시일은 2017년 00월 00일이다. 상기 제1 발광 패턴(920)은 제1 발광 소자(911), 제2 발광 소자(912), 제4 발광 소자(914), 제5 발광 소자(915), 제7 발광 소자(917), 및 제8 발광 소자(918)가 발광되고, 제3 발광 소자(913), 및 제5 발광 소자(915)가 발광되지 않는 패턴이다.
예를 들면, 제2 발광 패턴(930)에 해당되는 가전 장치의 종류는 TV이고, 모델명은 LG 34****이며, 출시일은 2018년 00월 00일이다. 상기 제2 발광 패턴(930)은 제2 발광 소자(912), 제3 발광 소자(913), 제4 발광 소자(914), 제5 발광 소자(915), 및 제8 발광 소자(918)가 발광되고, 제1 발광 소자(911), 제6 발광 소자(916), 제7 발광 소자(917)가 발광되지 않는 패턴이다.
마찬가지로, 상기 프로세서(317)는 제3 발광 패턴(940)과 제4 발광 패턴(950)를 통해서, 가전 장치의 종류, 모델명, 출시일 등을 식별할 수 있다.
상술한 바와 같이, 상기 프로세서(317)는 상기 가전 장치에서 출력되는 정보(예: 화면, 발광 패턴, 음성 신호)를 분석하여 상기 가전 장치의 종류, 모델명, 및/또는 출시일 등의 정보를 분석할 수 있다.
또는, 상기 프로세서(317)는 상기 가전 장치의 스피커(323)를 통해 출력되는 음성 신호를 마이크(315)를 통해서 획득할 수 있다. 또는, 상기 프로세서(317)는 상기 가전 장치에서 출력되는 초음파, 적외선 등을 센서(316)를 통해서 획득할 수 있다.
이와 같이, 상기 프로세서(317)는 상기 가전 장치에서 출력되는 정보(예: 화면, 발광 패턴, 음성 신호) 이외에 다양한 정보(예: 초음파, 적외선 등)를 통해 상기 가전 장치의 종류, 모델명, 및/또는 출시일 등의 정보를 분석할 수도 있다.
일 실시 예에 따르면, 상기 휴대 단말(110)(예: 프로세서(317))은 상기 가전 장치가 식별되지 않으면, 상기 가전 장치의 정보를 서버로 요청하고, 상기 서버로부터 상기 가전 장치에 대한 정보를 수신할 수 있다(S516). 상기 분석 결과에 대응되는 정보가 메모리(313)(예: 어플리케이션)에 저장되어 있지 않는 경우, 상기 프로세서(317)는 상기 가전 장치가 식별되지 않은 것으로 판단할 수 있다.
이후, 상기 프로세서(317)는 상기 가전 장치의 정보를 통신부(314)를 통해 서버로 전송하여, 상기 가전 장치의 정보를 요청할 수 있다. 그리고, 상기 프로세서(317)는 상기 정보의 요청에 응답하여 상기 서버로부터 상기 가전 장치의 정보를 통신부(314)를 통해 획득할 수 있다. 예를 들면, 상기 서버에 가전 장치의 정보가 존재하지 않는 경우, 상기 서버는 인터넷 검색을 통해 상기 가전 장치에 대한 정보를 획득할 수도 있다.
일 실시 예에 따르면, 상기 서버에서 가전 장치에 대한 식별이 불가한 경우, 상기 프로세서(317)는 상기 가전 장치에 대한 식별이 불가함을 나타내는 메시지를 상기 서버로부터 수신할 수 있다. 상기 서버로부터 가전 장치에 대한 식별이 불가함을 나타내는 메시지가 수신되면, 상기 프로세서(317)는 가전 장치에 대한 정보를 입력 받는 화면을 상기 어플리케이션 상에 표시할 수 있다.
도 10을 참조하면, 본 개시의 일 실시 예에 따른 휴대 단말(110)에 설치된 어플리케이션(예: ThinQ 앱)은 가전 장치의 정보를 사용자로부터 입력 받기 위한 화면(1010)을 표시할 수 있다.
상기 화면(1010)은 사용자로부터 선택 받기 위한 가전 장치의 종류(1020)(예: 냉장고(1021), TV(1022), 세탁기(1023), 공기 청정기(1024))를 포함할 수 있다. 예를 들면, 상기 화면(1010)은 스크롤 바(1030)의 하향 이동을 통해 더 많은 가전 장치들의 종류를 표시할 수 있다.
또한, 상기 화면(1010)은 사용자로부터 가전 장치의 모델명(1040)을 입력 받기 위한 입력 창(1050)과, 상기 가전 장치에 대한 QR 코드(1060)를 인식하기 위한 카메라(311)를 활성화시키는 메뉴(1070)를 포함할 수 있다. 또한, 상기 화면(1010)은 입력된 가전 장치의 정보를 등록시키기 위한 메뉴(1080)와 입력된 가전 장치의 정보의 등록을 취소하기 위한 메뉴(1090)를 포함할 수 있다.
예를 들면, 사용자가 가전 장치의 정보(예: 모델명, 또는 식별자(예: 제품 번호))를 직접 입력하고자 하여, 입력 창(1050)을 선택하는 경우, 커서(1051)는 상기 입력 창(1050) 상에 표시된다. 그리고, 상기 프로세서(317)는 키패드(미도시)를 상기 화면(1010) 상에 표시하고, 사용자는 키패드(미도시)를 통해 가전 장치의 정보를 직접 입력할 수 있다.
예를 들면, 사용자가 가전 장치의 정보(예: 모델명, 또는 식별자(예: 제품 번호))를 QR 코드를 통해 입력하고자 하여, 상기 메뉴(1070)을 선택하는 경우, 상기 프로세서(317)는 카메라(311)를 활성화시키고, 활성화된 카메라(311)를 통해 상기 가전 장치에 대한 QR 코드를 획득할 수 있다.
도 10에서의 상기 화면(1010)은 단지 실시 예이며, 본 개시에서는 가전 장치를 등록하는 화면을 도 10에 한정하지 않는다.
일 실시 예에 따르면, 상기 휴대 단말(110)(예: 프로세서(317))은 상기 가전 장치의 정보를 어플리케이션에 등록시킬 수 있다(S518). 상기 과정(S514)에서 상기 가전 장치가 식별되거나, 또는 상기 과정(S516)에서 서버로부터 가전 장치의 정보가 수신되는 경우, 상기 프로세서(317)는 상기 식별된 가전 장치의 정보 또는 상기 수신된 가전 장치의 정보에 포함된 상기 가전 장치의 종류, 모델명, 및 식별자(예: 제품 번호) 중 적어도 하나를 상기 어플리케이션에 등록할 수 있다.
일 실시 예에 따르면, 상기 프로세서(317)는 도 10의 화면 상에 입력된 가전 장치의 정보를 상기 어플리케이션에 등록할 수 있다.
본 개시에서는 가전 장치가 TV인 것을 예시하였으나, 이는 단지 실시 예일 뿐이며, TV 이외에 홈 내외에 배치 가능하며, 사용자에게 편의성을 제공하는 다양한 가전 장치들 또는 전자 장치들을 상기 어플리케이션에 등록할 수 있다. 또한, 본 개시에서는 다양한 가전 장치들 이외에 다양한 전자 장치들을 어플리케이션에 등록시킴으로써, 상기 어플리케이션을 통해 가전 장치들뿐만 아니라 전자 장치들도 원격에서 제어할 수 있다.
이상에서 상술한 각각의 순서도에서의 각 단계는 도시된 순서에 무관하게 동작될 수 있거나, 또는 동시에 수행될 수 있다. 또한, 본 개시의 적어도 하나의 구성 요소와, 상기 적어도 하나의 구성 요소에서 수행되는 적어도 하나의 동작은 하드웨어 및/또는 소프트웨어로 구현 가능할 수 있다.
이상과 같이 본 개시에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 개시가 한정되는 것은 아니며, 본 개시의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 개시의 실시 예를 설명하면서 본 개시의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.
100: 시스템 110: 휴대 단말
120: 가전 장치 311: 카메라
312: 표시부 313: 메모리
314: 통신부 315: 마이크
316: 센서 317: 프로세서
320: 서버 330: 네트워크

Claims (20)

  1. 장치에 있어서,
    적어도 하나의 가전 장치를 등록하는 어플리케이션을 저장하는 메모리; 및
    프로세서를 포함하며,
    상기 메모리는, 상기 프로세서가,
    상기 가전 장치로부터 출력되는 정보를 감지하고,
    상기 감지된 정보와 상기 메모리에 기 저장된 정보를 비교하여 상기 가전 장치를 식별하고,
    상기 식별된 가전 장치의 정보를 상기 어플리케이션에 등록하도록 하는 명령어들을 포함하는 장치.
  2. 제1 항에 있어서,
    상기 장치는,
    상기 가전 장치에서 표시되는 제1 이미지를 획득하는 카메라를 더 포함하며,
    상기 메모리는, 상기 프로세서가,
    상기 카메라를 통해 획득된 제1 이미지와 상기 메모리에 기 저장된 적어도 하나의 제2 이미지 비교하여, 상기 제1 이미지를 표시하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 장치.
  3. 제2 항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 적어도 하나의 제2 이미지 중에서 상기 제1 이미지의 적어도 일부 영역의 RGB(Red Green Blue) 값과 동일한 RGB 값을 갖는 이미지가 존재하는지 식별하도록 하는 명령어들을 포함하는 장치.
  4. 제2 항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 가전 장치로부터 발광되는 제1 발광 패턴에 대한 제3 이미지를 상기 카메라를 통해 획득하고,
    상기 획득된 제3 이미지를 분석하여 상기 제1 발광 패턴을 식별하고,
    상기 식별된 제1 발광 패턴과 상기 메모리에 기 저장된 적어도 하나의 제2 발광 패턴을 비교하여, 상기 제1 발광 패턴을 발광하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 장치.
  5. 제1 항에 있어서,
    상기 장치는,
    상기 가전 장치로부터 출력되는 음성 신호를 획득하는 마이크를 더 포함하며,
    상기 메모리는, 상기 프로세서가,
    상기 마이크를 통해 획득된 음성 신호의 제1 주파수 파형을 분석하고,
    상기 분석된 제1 주파수 파형과 상기 메모리에 기 저장된 적어도 하나의 제2 주파수 파형을 비교하여, 상기 음성 신호를 출력하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 장치.
  6. 제1 항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 어플리케이션에 등록된 정보에 대응하는 상기 가전 장치로 페어링을 요청하고,
    상기 요청에 기반하여 상기 가전 장치와 통신 채널을 설정하도록 하는 명령어들을 포함하는 장치.
  7. 제1 항에 있어서,
    상기 장치는 통신부를 더 포함하며,
    상기 메모리는, 상기 프로세서가,
    상기 가전 장치가 식별되지 않는 경우, 상기 감지된 정보를 상기 통신부를 통해 서버로 전송하고,
    상기 전송된 정보에 응답하여 상기 서버로부터 상기 식별된 가전 장치의 정보를 상기 통신부를 통해 획득하고,
    상기 획득된 가전 장치의 정보를 상기 어플리케이션에 등록하도록 하는 명령어들을 포함하는 장치.
  8. 제7 항에 있어서,
    상기 장치는 표시부를 더 포함하며,
    상기 메모리는, 상기 프로세서가,
    상기 서버로부터 상기 감지된 정보에 대한 가전 장치의 식별이 불가함을 나타내는 메시지가 상기 통신부를 통해 수신되면, 상기 식별된 가전 장치의 정보를 입력 받는 화면을 상기 표시부를 통해 상기 어플리케이션 상에 표시하도록 하는 명령어들을 포함하는 장치.
  9. 제1 항에 있어서,
    상기 가전 장치로부터 출력되는 정보는
    상기 가전 장치가 온(ON)되는 경우, 상기 가전 장치에서 출력되는 음성 신호, 이미지, 발광 패턴, 초음파, 및 적외선 중 적어도 일부를 포함하는 장치.
  10. 제1 항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 메모리에 기 저장된 적어도 하나의 가전 장치의 정보 중에서 상기 감지된 정보에 대응되는 가전 장치의 정보가 존재하는지 상기 어플리케이션을 통해 식별하도록 하는 명령어들을 포함하는 장치.
  11. 홈 내의 적어도 하나의 가전 장치를 어플리케이션에 등록하는 명령어들이 컴퓨팅 장치에서 실행되도록 구성되는 기록 매체에 저장된 프로그램에 있어서,
    상기 가전 장치로부터 출력되는 정보를 감지하고,
    상기 감지된 정보와 기 저장된 정보를 비교하여 상기 가전 장치를 식별하고,
    상기 식별된 가전 장치의 정보를 상기 어플리케이션에 등록하도록 하는 명령어들을 포함하는 프로그램.
  12. 제11 항에 있어서,
    상기 프로그램은,
    상기 가전 장치에서 표시되는 제1 이미지를 획득하고,
    상기 획득된 제1 이미지와 기 저장된 적어도 하나의 제2 이미지 비교하여, 상기 제1 이미지를 표시하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 프로그램.
  13. 제12 항에 있어서,
    상기 프로그램은,
    상기 적어도 하나의 제2 이미지 중에서 상기 제1 이미지의 적어도 일부 영역의 RGB(Red Green Blue) 값과 동일한 RGB 값을 갖는 이미지가 존재하는지 식별하도록 하는 명령어들을 포함하는 프로그램.
  14. 제12 항에 있어서,
    상기 프로그램은,
    상기 가전 장치로부터 발광되는 제1 발광 패턴에 대한 제3 이미지를 획득하고,
    상기 획득된 제3 이미지를 분석하여 상기 제1 발광 패턴을 식별하고,
    상기 식별된 제1 발광 패턴과 기 저장된 적어도 하나의 제2 발광 패턴을 비교하여, 상기 제1 발광 패턴을 발광하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 프로그램.
  15. 제11 항에 있어서,
    상기 프로그램은,
    상기 가전 장치로부터 출력되는 음성 신호를 획득하고,
    상기 획득된 음성 신호의 제1 주파수 파형을 분석하고,
    상기 분석된 제1 주파수 파형과 기 저장된 적어도 하나의 제2 주파수 파형을 비교하여, 상기 음성 신호를 출력하는 가전 장치의 정보를 식별하도록 하는 명령어들을 포함하는 프로그램.
  16. 제11 항에 있어서,
    상기 프로그램은,
    상기 어플리케이션에 등록된 정보에 대응하는 상기 가전 장치로 페어링을 요청하고,
    상기 요청에 기반하여 상기 가전 장치와 통신 채널을 설정하도록 하는 명령어들을 포함하는 프로그램.
  17. 제11 항에 있어서,
    상기 프로그램은,
    상기 가전 장치가 식별되지 않는 경우, 상기 감지된 정보를 서버로 전송하고,
    상기 전송된 정보에 응답하여 상기 서버로부터 상기 식별된 가전 장치의 정보를 획득하고,
    상기 획득된 가전 장치의 정보를 상기 어플리케이션에 등록하도록 하는 명령어들을 포함하는 프로그램.
  18. 제11 항에 있어서,
    상기 프로그램은,
    상기 서버로부터 상기 감지된 정보에 대한 가전 장치의 식별이 불가함을 나타내는 메시지가 수신되면, 상기 식별된 가전 장치의 정보를 입력 받는 화면을 상기 어플리케이션 상에 표시하도록 하는 명령어들을 포함하는 프로그램.
  19. 가전 장치를 등록하는 방법에 있어서,
    홈 내의 적어도 하나의 가전 장치로부터 출력되는 정보를 감지하는 과정;
    상기 감지된 정보와 기 저장된 정보를 비교하여 상기 가전 장치를 식별하는 과정; 및
    상기 식별된 가전 장치의 정보를 상기 어플리케이션에 등록하는 과정을 포함하는 방법.
  20. 가전 장치를 등록하는 시스템에 있어서,
    정보를 출력하는 적어도 하나의 가전 장치; 및
    상기 가전 장치로부터 출력되는 정보를 감지하고, 상기 감지된 정보와 기 저장된 정보를 비교하여 상기 가전 장치를 식별하고, 상기 식별된 가전 장치의 정보를 상기 어플리케이션에 등록하는 휴대 단말을 포함하는 시스템.
KR1020210113944A 2021-08-27 2021-08-27 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램 KR20230031562A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210113944A KR20230031562A (ko) 2021-08-27 2021-08-27 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113944A KR20230031562A (ko) 2021-08-27 2021-08-27 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램

Publications (1)

Publication Number Publication Date
KR20230031562A true KR20230031562A (ko) 2023-03-07

Family

ID=85513260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113944A KR20230031562A (ko) 2021-08-27 2021-08-27 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램

Country Status (1)

Country Link
KR (1) KR20230031562A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버

Similar Documents

Publication Publication Date Title
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
JP4243248B2 (ja) ポインティングデバイスに基づくユーザインターフェイスシステム
US9257035B2 (en) Remote control device, remote control system, and storage medium storing control program, and medium to be attached to electrical device
KR101287497B1 (ko) 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법
JP2009134718A5 (ko)
TWI691843B (zh) 電子裝置以及配對電子裝置的方法
JP2008529147A (ja) 装置の制御方法
KR20140137080A (ko) 무선 리모컨 기능을 갖는 ip 카메라를 이용한 전자기기의 제어 방법
KR20070051271A (ko) 디바이스를 제어하기 위한 방법
KR102144554B1 (ko) 사용자 맞춤형 서비스 장치 및 사용자 맞춤형 생활서비스를 제공하는 시스템
KR100946673B1 (ko) 디지털기기의 원격 제어 방법 및 시스템
KR20230031562A (ko) 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램
JP6668519B1 (ja) リモコン機能設定プログラム、リモコンサーバ、リモコン機能設定方法、携帯端末
KR102484779B1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치 및 그 동작방법
KR20230016415A (ko) 가전 장치 및 방법과 이를 위한 프로그램