KR102058972B1 - 홈 어플라이언스 제품 등록 방법 - Google Patents

홈 어플라이언스 제품 등록 방법 Download PDF

Info

Publication number
KR102058972B1
KR102058972B1 KR1020180079205A KR20180079205A KR102058972B1 KR 102058972 B1 KR102058972 B1 KR 102058972B1 KR 1020180079205 A KR1020180079205 A KR 1020180079205A KR 20180079205 A KR20180079205 A KR 20180079205A KR 102058972 B1 KR102058972 B1 KR 102058972B1
Authority
KR
South Korea
Prior art keywords
image
mobile terminal
server
home appliance
product
Prior art date
Application number
KR1020180079205A
Other languages
English (en)
Inventor
송유진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180079205A priority Critical patent/KR102058972B1/ko
Application granted granted Critical
Publication of KR102058972B1 publication Critical patent/KR102058972B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/36—
    • H04L67/38—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 일 측면에 따른 홈 어플라이언스의 제품 등록 방법은, 이동 단말기가, 카메라를 통하여 획득되는 제1 이미지를 서버로 전송하는 단계, 서버가, 이동 단말기로부터 수신된 제1 이미지를 인식하여 이미지에 포함된 홈 어플라이언스의 제품군을 판별하는 단계, 서버가 이동 단말기로 제1 이미지의 인식 결과를 응답하는 단계, 및, 제1 이미지의 인식 결과가 홈 어플라이언스의 제품군 정보를 포함하는 경우에, 이동 단말기가, 홈 어플라이언스를 제어할 수 있는 원격제어장치 인식을 안내하는 제1 유저 인터페이스 화면을 표시하는 단계를 포함할 수 있다.

Description

홈 어플라이언스 제품 등록 방법{Registration method of home appliance}
본 발명은 홈 어플라이언스의 제품 등록 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는, 이동 단말기를 이용하여 홈 어플라이언스에 대한 제품 등록을 간편히 수행할 수 있는 홈 어플라이언스의 제품 등록 방법 및 그 시스템에 관한 것이다.
최근 우리 주변의 사물들에 네트워크를 연결하고, 지능화함으로써 그 사물의 가치를 증대시키는 사물인터넷(Internet of Things: IoT)에 대한 관심이 커지고 있다.
또한, 사물인터넷(IoT)에 대한 관심 증가에 따라 사물인터넷 기능을 지원하는 센서, 전자기기들도 증가하고 있다.
사물인터넷(IoT)은 사물에 센서를 부착해 실시간으로 데이터를 인터넷으로 주고받는 기술이나 환경을 의미하고, 사물인터넷 환경에서는 사람, 사물, 공간 등 모든 것이 인터넷으로 서로 연결되어, 정보가 생성, 수집, 공유, 이용될 수 있다.
한편, 최근 건물 내에 배치되는 홈 어플라이언스(home appliance)에는 홈 어플라이언스 본래의 기능 외의 다양한 스마트 기능을 부여하기 위하여 통신 모듈이 구비되는 경우가 많다.
예를 들어, 홈 어플라이언스는, 와이파이(wi-fi) 통신 모듈을 구비하여 다른 기기와 통신함으로써, 다양한 추가 기능 및 서비스를 제공할 수 있다.
종래 기술(한국 공개특허공보 제10-2013-0013238호, 공개일자 2013년 02월06일)은, 가전제품과 별도로 구비되는 외부 단말을 통해 설정모드에 접속된 후, 외부 단말을 통해 접속을 원하는 액세스 포인트(Access Point, AP)의 정보 그리고 가전제품 등록을 위한 사용자 정보를 입력받아 사용모드로 전환되는 가전제품 및 이를 포함하는 온라인 시스템을 제공하고 있다.
종래 기술(한국 공개특허공보 제10-2013-0013238호)은, 특정 가전 제품을 대상으로 하거나, 사용자가 제품 정보를 사전에 잘 알고 있음으로 가정하여, 제품의 등록을 진행하고 있다.
하지만, 제품의 다양화 경향에 따라, 제품 및 원격제어장치 외관 디자인이 변경되고, 버튼 위치 등이 지속적으로 달라지고 있어, 사용자가 선택해야 하는 부분도 많아지고 제품을 구분하기 위해 필요로하는 정보가 많아지고 있다.
따라서, 간편하고 정확하게 정보를 서버로 전송하여 온라인 제품 등록할 수 있는 방법에 대한 다양한 방안들이 연구되고 있다.
본 발명의 목적은, 제품 등록을 간편하고 빠르게 수행할 수 있는 홈 어플라이언스의 제품 등록 방법 및 그 시스템을 제공함에 있다.
본 발명의 목적은, 제품 등록 과정에서 정보 오입력을 방지할 수 있는 홈 어플라이언스의 제품 등록 방법 및 그 시스템을 제공함에 있다.
본 발명의 목적은, 실패 이미지도 학습하여 인식률을 더 향상할 수 있는 홈 어플라이언스의 제품 등록 방법 및 그 시스템을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 홈 어플라이언스의 제품 등록 방법은, 이동 단말기가, 카메라를 통하여 획득되는 제1 이미지를 서버로 전송하는 단계, 서버가, 이동 단말기로부터 수신된 제1 이미지를 인식하여 이미지에 포함된 홈 어플라이언스의 제품군을 판별하는 단계, 서버가 이동 단말기로 제1 이미지의 인식 결과를 응답하는 단계, 및, 제1 이미지의 인식 결과가 홈 어플라이언스의 제품군 정보를 포함하는 경우에, 이동 단말기가, 홈 어플라이언스를 제어할 수 있는 원격제어장치 인식을 안내하는 제1 유저 인터페이스 화면을 표시하는 단계를 포함할 수 있다.
본 발명의 실시예들 중 적어도 하나에 의하면, 제품 등록을 간편하고 빠르게 수행할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 제품 등록 과정에서 정보 오입력을 방지할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 실패 이미지도 학습하여 인식률을 더 향상할 수 있다.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.
도 1a 내지 도 1d는 제품 등록 과정에서 제공되는 유저 인터페이스 화면들을 예시한 도이다.
도 2a와 도 2b는 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도이다.
도 4a 내지 도 4c는 제품 인식 과정을 예시한 도이다.
도 5는 제품 인식 실패를 안내하는 유저 인터페이스 화면을 예시한 도이다.
도 6은 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도이다.
도 7a, 도 7b, 도 8a, 도 8b는 제품 연결 설정 조작을 안내하는 유저 인터페이스 화면을 예시한 도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.
도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1a 내지 도 1d는 제품 등록 과정에서 제공되는 유저 인터페이스 화면들을 예시한 도면이다. 도 1a 내지 도 1d는 이동 단말기의 디스플레이부에 표시되는 유저 인터페이스 화면을 통한 홈 어플라이언스의 제품 등록 방법의 일예를 예시한 도시한 도면이다.
사용자에 의해, 이동 단말기 내에 화면 내에 홈 어플라이언스 관련 애플리케이션 항목이 선택되는 경우, 홈 어플라이언스 애플리케이션 화면이, 도 1a와 같이 표시될 수 있다.
도 1a의 유저 인터페이스 화면에 포함되는 다수의 홈 어플라이언스 제품 종류 중 어느 하나를 사용자가 선택하면, 도 1b와 같이, 선택된 홈 어플라이언스 제품의 제품 연결 설정을 위한 가이드 화면이 표시될 수 있다.
한편, 현재 로그인 상태가 아니라면, 로그인 항목, 아이디 입력창, 비밀 번호 입력창 등을 포함하는 로그인 화면(미도시)이 표시될 수 있다.
한편, 도 1b와 같이 제공된 가이드 화면에 따른 동작이 수행되면, 도 1c와 같이 제품 네트워크 설정 화면이 표시될 수 있다. 예를 들어, 제품 네트워크 설정 화면은, 와이파이(WiFi) 액세스 포인트(access point; AP) 장치에 대한 리스트가 표시될 수 있다.
제품 네트워크 설정 화면의 리스트 중 어느 하나의 항목이 선택되는 경우, 이동 단말기는 해당 액세스 포인트 장치에 접속하도록 설정된다.
특히, 홈 어플라이언스의 특정 키가 동작하여, 홈 어플라이언스가 AP 장치로서 동작하는 AP 모드인 경우, 이동 단말기는, 제품 등록 전의 홈 어플라이언스와 에 접속하게 된다. 사용자는 홈 어플라이언스에 접속된 이동 단말기를 조작하여 서버에 액세스 포인트 장치에 대응하는 정보를 입력하고 제품을 등록할 수 있다.
사용자가 어느 하나의 액세스 포인트 장치 항목을 선택하는 경우, 도 1d와 같이, 액세스 포인트 장치에 대한 암호 입력창을 포함하는 입력 화면이 표시될 수 있다.
암호가 입력되면, 선택된 액세스 포인트 장치 및 암호 정보가 홈 어플라이언스로 전달되어 홈 어플라이언스는, AP 모드에서 액세스 포인트 장치와 접속 가능한 스테이션 모드로 전환될 수 있다. 홈 어플라이언스는, 액세스 포인트 장치에 대한 네트워크 정보(SSID, 암호 정보 등)를 이용하여, 해당하는 액세스 포인트 장치에 접속하게 된다.
선택된 액세스 포인트 장치 및 암호 정보가 서버로 전달되어 홈 어플라이언스 제품이 서버에 등록될 수 있다.
또한, AP 모드에서 홈 어플라이언스는 제품 정보를 이동 단말기로 전송하고, 이동 단말기는, 홈 어플라이언스의 제품 정보를 서버로 전달하여 홈 어플라이언스 제품이 서버에 등록될 수 있다.
하지만, 사용자는 직접 도 1a의 유저 인터페이스 화면에 포함되는 다수의 홈 어플라이언스 제품 종류 중 어느 하나를 선택해야 한다.
또한, 사용자는 직접 도 1b와 같이, 선택된 홈 어플라이언스 제품의 제품 연결 설정을 위한 가이드 화면에 따른 조작을 수행해야 한다.
사용자는 일반적으로 제조사에서 구분한 제품군의 범위를 잘 알지 못하여, 잘못된 선택을 하는 경우가 있을 수 있다.
또한, 기존 이미지 가이드만으로는 잘못된 선택을 하거나, 설정을 어려워하는 경우가 많다.
따라서, 본 발명은 통신 모듈이 탑재된 홈 어플라이언스를 등록할 때 보다 간편하고 실패 없이 등록될 수 있는 방법 및 시스템을 제안한다.
도 2a와 도 2b는 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도로, 도 2a는 제품 인식 성공 케이스에 따른 순서도이고, 도 2b는 제품 인식 성공 케이스에 따른 순서도이다.
도 2a와 도 2b를 참조하면, 이동 단말기(200)에 구비되는 카메라를 이용하여 홈 어플라이언스에 대한 이미지를 획득할 수 있고(S210). 이동 단말기(200)는 카메라를 통하여 획득되는 이미지를 서버(300)로 전송할 수 있다(S220).
홈 어플라이언스에 대한 이미지는 사용자가 촬영하여 찍은 홈 어플라이언스의 사진 이미지일 수 있다.
또는, 사용자가 촬영 버튼 조작 또는 기타 사진 촬영 명령에 대응하는 조작을 하지 않더라도, 이동 단말기(200)에 구비되는 카메라를 구동하고 홈 어플라이언스를 향하도록 카메라를 갖다대면, 카메라 뷰 화면에 잡히는 홈 어플라이언스를 포함하는 이미지를 이동 단말기(200)가 서버(300)로 전송할 수 있다.
즉, 홈 어플라이언스에 대한 이미지는 이동 단말기(200)의 카메라가 촬영하거나 인식한 이미지일 수 있다.
한편, 상기 서버(300)는, 상기 이동 단말기(200)로부터 수신된 이미지를 인식하여 상기 이미지에 포함된 홈 어플라이언스의 제품군을 판별할 수 있고(S230), 상기 이동 단말기(200)로 상기 이미지의 인식 결과를 응답할 수 있다(S240).
서버(300)는 촬영/인식된 영상을 데이터베이스에 저장된 데이터와 비교하여 제품군을 판별할 수 있다, 또는, 서버(300)는 CNN (Convolutional neural network) 등 딥러닝 알고리즘으로 학습된 영상 인식기(미도시)를 구비하고, 영상 인식기는 입력되는 영상을 인식하여, 인식 결과를 출력할 수 있다.
서버(300)는 하나 이상의 서버로 구성되는 서버의 집합일 수 있다.
본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 시스템은, 영상 인식을 위한 영상인식 처리 서버(도 3의 310 참조)를 별도로 구비될 수 있다. 즉, 실시예에 따라서는 하나의 서버(300)가 이동 단말기(200)와 통신하고, 홈 어플라이언스 제품을 등록, 관리하며, 수신되는 영상을 인식할 수 있고, 다른 실시예에서는 서버(300)는, 이동 단말기(200)와 통신하고, 홈 어플라이언스 제품을 등록, 관리하는 메인 서버(300)와 상기 메인 서버(300)로부터 수신되는 이미지를 인식하여, 인식 결과를 상기 메인 서버(300)로 전송하는 영상인식 처리 서버(310)를 포함할 수 있다.
본 명세서에서, 서버(300)는, 시스템에 포함되는 서버들의 총칭일 수 있고, 영상인식 처리 서버(310)와 구분되어 사용되는 경우에는 메인 서버(300)를 의미할 수 있다.
한편, 이미지 인식 결과에 성공하면, 상기 이미지의 인식 결과는 상기 홈 어플라이언스의 제품군 정보를 포함할 수 있다.
이 경우에, 이동 단말기(200)는 수신한 홈 어플라이언스의 제품군 정보를 표시하고, 자동으로 해당 제품군을 선택할 수 있다(S250). 즉, 도 1a를 참조하여 설명한 홈 어플라이언스의 제품 선택을 자동으로 할 수 있다. 본 발명에 따르면, 제품 등록 시 사용자가 임의로 선택해야 하는 부분을, 이동 단말기(200)의 카메라를 활용하여, 영상 인식을 통해 자동으로 정보를 선택, 저장하도록 구현할 수 있다.
이에 따라 사용자의 임의 선택 과정을 배제하여 사용자의 잘못된 선택을 방지할 수 있다.
한편, 이미지 인식 결과에 성공하면, 상기 이미지의 인식 결과는 상기 홈 어플라이언스의 제품군 정보를 포함하지 않고, 인식 실패를 알리는 신호를 포함할 수 있다.
이 경우에, 이동 단말기(200)는 도 1a와 같은, 수동 입력을 위한 유저 인터페이스 화면을 표시할 수 있고(S260), 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 상기 이미지를 상기 서버(300)로 전송할 수 있다(S270).
즉, 이미지 인식 실패 시에는 종래와 같이 수동으로 사용자가 제품군을 선택할 수 있다.
또한, 이 경우에 사용자가 수동으로 선택한 제품군 정보와 이미지를 서버(300)가 수신하여, 사용자가 수동으로 선택한 제품군 정보와 이미지를 연계하여 저장할 수 있다. 또한, 사용자가 수동으로 선택한 제품군 정보와 이미지에 기초하여, 영상 인식 학습을 수행할 수 있다. 영상 인식에 실패했던 이미지를 사용자가 선택한 답과 함께 학습함으로써, 이후의 영상 인식 성공률을 높일 수 있다.
또한, 동일한 방식으로 원격제어장치의 인식 및 선택을 이동 단말기(200)를 통한 이미지 선택, 서버(300)에서의 인식에 따라 자동으로 수행할 수 있다.
한편, 영상인식 처리 서버(310)는, 수신되는 이미지로 홈 어플라이언스 제품 및 원격제어장치(Controller)를 학습할 수 있다.
이를 위해, 학습 과정 또는 이미지 인식 과정에서의 이미지의 전송 시, 분류 코드(예를 들어, 01: 제품 이미지, 02: Controller _무선리모컨, 03: Controller_유선리모컨, 04: Controller_Display)를 같이 전달하여 분류 정확도 확률을 높일 수 있다.
이후에는 도 1b와 같은, 선택된 홈 어플라이언스 제품의 제품 연결 설정을 위한 가이드 화면이 표시될 수 있다. 대표적으로 선택된 홈 어플라이언스 제품의 제품 연결 설정을 위한 가이드 화면은 해당 홈 어플라이언스의 원격제어장치를 조작하여 제품 연결 설정을 수행하는 방법을 안내할 수 있다.
본 발명의 일 실시예에 따르면, 기존 이미지로 제공하던 추가 설정 가이드를 증강현실(augmented reality)로 표시되는 증강현실 가이드(guide)로 제공할 수 있다. 증강현실을 활용하여, 실물에서 어떠한 위치에 버튼을 입력하면 되는지 보다 쉽게 파악할 수 있도록 함으로써, 설정 과정에서 실패가 없도록 가이드할 수 있다.
이후에는, 도 1c와 도 1d를 참조하여 설명한 과정을 거쳐, 홈 어플라이언스 제품을 등록하게 된다.
이하에서는, 도면들을 참조하여, 이동 단말기(200), 메인 서버(300), 영상인식 처리 서버(310)를 이용하여 자동으로 홈 어플라이언스의 제품군, 원격제어장치를 선택하고, 대응하는 가이드 정보를 제공하는 과정을 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도이다.
도 4a 내지 도 4c는 제품 인식 과정을 예시한 도이고, 도 5는 제품 인식 실패를 안내하는 유저 인터페이스 화면을 예시한 도이다.
도 3을 참조하면, 이동 단말기(200)에 구비되는 카메라를 이용하여 홈 어플라이언스에 대한 제1 이미지를 획득할 수 있고(S310). 이동 단말기(200)는 상기 제1 이미지를 메인 서버(300)로 전송할 수 있다(S320).
예를 들어, 도 4a와 같이, 사용자는, 이동 단말기(200)의 카메라를 동작시키고, 홈 어플라이언스(410)가 카메라 뷰 화면(400)에 잡히도록 이동 단말기(200)를 움직이는 동작만으로, 개인 지식에 의존하여 홈 어플라이언스의 제품군을 수동 선택하는 과정을 대체할 수 있다.
상기 메인 서버(300)는 상기 영상인식 처리 서버(310)로 제1 이미지를 전달할 수 있다(S330).
상기 영상인식 처리 서버(310)는, 제1 이미지를 인식하고(S340), 제1 이미지의 인식 결과를 상기 메인 서버(300)로 응답할 수 있다(S350a, S350b).
상기 영상인식 처리 서버(310)는, 데이터베이스(311)에 저장된 이미지를 기반으로 제1 이미지를 처리하고 인식할 수 있다(S340). 데이터베이스(311)는 제품군 별로 분류된 복수의 데이터베이스를 포함할 수 있다. 데이터베이스(311)는 제조사 또는 서비스 제공자에 의해 관리될 수 있다. 예를 들어, 제조사는 신제품을 출시하면서 신제품 관련 이미지를 포함하는 정보(315)를 데이터베이스(311)에 업데이트할 수 있다.
또한, 상기 영상인식 처리 서버(310)는 딥러닝 알고리즘에 따라 학습하고 영상 인식 처리를 수행할 수 있고, 데이터베이스(311)에 데이터가 쌓일수록 계속 학습하여 인식률을 향상할 수 있다.
데이터베이스(311)를 지속적으로 업데이트함에 따라, 제품군 판단 결과를 학습하는 로직(Logic)도 업데이트될 수 있다.
한편, 제1 이미지의 인식에 성공하면, 상기 영상인식 처리 서버(310)는, 제1 이미지에 포함되는 홈 어플라이언스의 제품군 정보를 포함하는 제1 이미지의 인식 결과를 상기 메인 서버(300)로 응답할 수 있고(S350a), 상기 메인 서버(300)는 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S360a).
실시예에 따라서는, 상기 메인 서버(300)는 상기 이동 단말기(200)로 각 제품군 별 등록시 필요한 정보를 상기 제품군 정보와 함께 전달할 수 있다.
상기 제1 이미지의 인식에 실패하면, 상기 영상인식 처리 서버(310)는, 인식 실패를 알리는 인식 결과를 상기 메인 서버(300)로 응답할 수 있고(S350b),상기 메인 서버(300)는 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S360b).
실시예에 따라서, 상기 서버(300)는, 직접, 상기 이동 단말기(200)로부터 수신된 제1 이미지를 인식하여, 상기 제1 이미지에 포함된 홈 어플라이언스의 제품군을 판별할 수 있고(S340), 상기 제1 이미지의 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S360a, S360b).
한편, 상기 제1 이미지의 인식 결과가 상기 홈 어플라이언스의 제품군 정보를 포함하는 경우에(S360a), 상기 이동 단말기(200)는, 상기 홈 어플라이언스를 제어할 수 있는 원격제어장치 인식을 안내하는 제1 유저 인터페이스 화면을 표시할 수 있다(S365).
홈 어플라이언스 제품은 제품군 별로 분류되고, 다시 사용하는 원격제어장치 별로 분류될 수 있다. 따라서, 먼저 홈 어플라이언스의 제품군을 판별하고, 해당 제품군이 사용할 수 있는 원격제어장치 중 어느 하나를 특정하면, 적어도 해당 홈 어플라이언스가 속하는 그룹의 기본 모델을 알 수 있고, 해당하는 원격제어장치 등을 조작하여 제품 연결 설정을 수행할 수 있는 방법을 안내할 수 있다.
따라서, 제품군 정보가 판별되면, 유사한 방식으로 원격제어장치를 인식하는 것을 유도하는 유저 인터페이스 화면을 이동 단말기(200)에 표시할 수 있다(S365).
경우에 따라서는, 이동 단말기(200)는 인식된 제품군을 먼저 표시한 후에, 원격제어장치를 인식하기 위한 화면으로 전환할 수 있다.
도 4b를 참조하면, 이동 단말기(200)는 기존 카메라 뷰 화면(400)에 "인식 성공 <스탠드 에어컨>" 등 홈 어플라이언스(410)의 인식 성공 결과(420)를 표시할 수 있다.
이후에, 원격제어장치를 인식하기 위해 이동 단말기(200)의 카메라를 한번 더 사용할 수 있으므로, 인식 성공 결과(420)는 기존 카메라 뷰 화면(400)에 표시되는 것이 더 바람직할 수 있다.
도 4c를 참조하면, 이후, 각 제품에 맞는 제품연결 설정 화면(510)이 표시될 수 있다. 예를 들어, 제품연결 설정 화면(510)은 원격제어장치를 인식하는 것을 유도하는 유저 인터페이스 화면일 수 있다.
이동 단말기(200)가 제공하는 화면은 제품군에 대응하는 자동 가이드를 포함할 수 있다. 각 가이드에 포함되는 이미지 중 확인이 필요한 부분은, 제품군 확인과 동일하게 촬영 영상 이미지를 활용하여 자동 분류할 수 있다.
본 발명의 일 실시예에 따르면, 홈 어플라이언스의 제품군을 자동으로 선택하여 가이드를 제공함으로써 사용자 입력 정보 실수를 방지할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제품등록 과정에서 사용자 입력이 줄어들고 자동으로 전환되는 화면이 늘어남으로써, 사용자는 등록 과정이 더 쉽게 느껴질 수 있다.
상기 제1 이미지의 인식 결과가 인식 실패인 경우에(S360b), 상기 이동 단말기(200)는, 제품 수동 선택을 위한 제2 유저 인터페이스 화면을 표시할 수 있다(S370).
도 5를 참조하면, 제품 수동 선택을 위한 제2 유저 인터페이스 화면(520)은, "제품 인식에 실패하였습니다. 에어컨 종류를 선택해주세요." 등과 같은 안내 메시지와 에어컨 등 홈 어플라이언스를 선택할 수 있는 기존의 수동 선택 메뉴들을 포함할 수 있다.
한편, 상기 제2 유저 인터페이스 화면(520)을 통한 수동 입력이 있으면, 상기 이동 단말기(200)는, 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 상기 제1 이미지를 상기 메인 서버(300)로 전송할 수 있다(S380).
이후, 이동 단말기(200)는 제품 등록을 위한 다음 단계로 진행할 수 있다. 예를 들어, 이동 단말기(200)의 디스플레이에는 원격제어장치 인식을 위한 유저 인터페이스 화면이 표시될 수 있다(S365).
한편, 메인 서버(300)는 영상인식 처리 서버(310)에 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 상기 제1 이미지를 전달할 수 있다(S390).
상기 영상인식 처리 서버(310)는, 상기 제1 이미지를 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 연계하여, 실패 영상 데이터베이스(312)에 저장할 수 있다.
또한, 상기 영상인식 처리 서버(310)는, 사용자가 선택한 제품군 정보에 맞춰 상기 제1 이미지를 데이터베이스(311)의 해당 부분에 업데이트할 수 있다.
실시예에 따라서는, 서버(300)는 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 상기 제1 이미지를 수신하여, 상기 제1 이미지를 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 연계하여, 실패 영상 데이터베이스(312)에 저장할 수 있다.
도 6은 본 발명의 일 실시예에 따른 홈 어플라이언스 제품 등록 방법을 도시한 순서도이다.
도 7a, 도 7b, 도 8a, 도 8b는 제품 연결 설정 조작을 안내하는 유저 인터페이스 화면을 예시한 도이다.
도 6을 참조하면, 홈 어플라이언스의 제품군 확정 후에, 이동 단말기(200)에 구비되는 카메라를 이용하여 홈 어플라이언스에 대한 제2 이미지를 획득할 수 있고(S610). 이동 단말기(200)는 상기 제2 이미지를 메인 서버(300)로 전송할 수 있다(S620).
상기 메인 서버(300)는 상기 영상인식 처리 서버(310)로 제2 이미지를 전달할 수 있다(S630). 실시예에 따라서, 상기 메인 서버(300)는 이미지 전달 시 사전 학습 때 사용된 분류코드에 매칭되는 코드를 제2 이미지와 같이 전달할 수 있다.
상기 영상인식 처리 서버(310)는, 제2 이미지를 인식하고(S640), 제2 이미지의 인식 결과를 상기 메인 서버(300)로 응답할 수 있다(S650a, S650b).
상기 영상인식 처리 서버(310)는, 원격제어장치 데이터베이스(313)에 저장된 이미지를 기반으로 제2 이미지를 처리하고 인식할 수 있다(S340). 원격제어장치 데이터베이스(313)는 제조사 등에 의해 관리될 수 있고, 제조사는 신제품을 출시하면서 신제품 관련 이미지를 포함하는 정보(316)를 원격제어장치 데이터베이스(313)에 업데이트할 수 있다.
또한, 상기 영상인식 처리 서버(310)는 딥러닝 알고리즘에 따라 학습하고 영상 인식 처리를 수행할 수 있고, 원격제어장치 데이터베이스(313)에 데이터가 쌓일수록 계속 학습하여 인식률을 향상할 수 있다.
원격제어장치 데이터베이스(313)를 지속적으로 업데이트함에 따라, 원격제어장치 판단을 학습하는 로직(Logic)도 업데이트될 수 있다.
한편, 제2 이미지의 인식에 성공하면, 상기 영상인식 처리 서버(310)는, 제2 이미지에 포함되는 원격제어장치 정보를 포함하는 제2 이미지의 인식 결과를 상기 메인 서버(300)로 응답할 수 있고(S650a), 상기 메인 서버(300)는 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S660a).
상기 제2 이미지의 인식에 실패하면, 상기 영상인식 처리 서버(310)는, 인식 실패를 알리는 인식 결과를 상기 메인 서버(300)로 응답할 수 있고(650b), 상기 메인 서버(300)는 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S660b).
실시예에 따라서, 상기 서버(300)는, 직접, 상기 이동 단말기(200)로부터 수신된 제2 이미지를 인식하여, 상기 제2 이미지에 포함된 원격제어장치를 판별할 수 있고(S640), 상기 제2 이미지의 인식 결과를 상기 이동 단말기(200)로 응답할 수 있다(S660a, S660b).
상기 제2 이미지의 인식 결과가 인식 실패인 경우에(S660b), 상기 이동 단말기(200)는, 원격제어장치 수동 선택을 위한 제3 유저 인터페이스 화면을 표시할 수 있다(S670).
상기 제3 유저 인터페이스 화면을 통한 수동 입력이 있으면, 상기 이동 단말기(200)는 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 상기 제2 이미지를 상기 메인 서버(300)로 전송할 수 있다(S680).
한편, 상기 메인 서버(300)는 상기 제2 이미지를 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 연계하여, 실패 영상 데이터베이스(314)에 저장할 수 있다.
또는, 메인 서버(300)는 영상인식 처리 서버(310)에 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 상기 제2 이미지를 전달할 수 있다(S690).
상기 영상인식 처리 서버(310)는, 상기 제2 이미지를 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 연계하여, 실패 영상 데이터베이스(314)에 저장할 수 있다.
상기 제2 이미지의 인식 결과가 상기 원격제어장치의 정보를 포함하는 경우에(S660a), 상기 원격제어장치의 인식 결과 등을 표시할 수 있다(S665).
도 7a는 '유선 리모컨 1'이 인식되는 경우에 표시되는 원격제어장치의 인식 결과 화면(810)을 예시한다.
도 8a는 '무선 리모컨'이 인식되는 경우에 표시되는 원격제어장치의 인식 결과 화면(820)을 예시한다.
도 7a 및 도 8a와 같이, 원격제어장치의 인식 결과 화면(810, 820)은 기존의 카메류 뷰 화면 상에 표시될 수 있다. 이에 따라, 자연스럽게 증강현실을 이용한 가이드 정보를 제공할 수 있다.
이후, 상기 이동 단말기(200)는, 상기 원격제어장치를 조작하는 방법을 안내하는 제4 유저 인터페이스 화면을 표시할 수 있다.
상기 원격제어장치의 인식 결과 표시 후에, 또는 같은 화면에서 상기 원격제어장치를 조작하는 방법을 안내하는 가이드 정보가 표시될 수 있다.
또한, 상기 제4 유저 인터페이스 화면은, 상기 카메라로 촬영되고 있는 원격제어장치 위에 증강현실(augmented reality)로 표시되는 증강현실 가이드(guide)를 포함할 수 있다.
증강현실 가이드(guide)는, 촬영 영상 이미지 위에 선택해야 하는 버튼등을 표시하는 등 증강현실 정보를 포함할 수 있다.
예를 들어, 도 7b는 '유선 리모컨 1'이 인식되는 경우에 표시되는 '유선 리모컨 1' 조작하는 방법을 안내하는 메시지(815) 및 상기 카메라로 촬영되고 있는 '유선 리모컨 1' 위에 증강현실(augmented reality)로 표시되는 증강현실 가이드(816)를 예시한다.
또한, 도 8b는 '무선 리모컨'이 인식되는 경우에 표시되는 '무선 리모컨'을 조작하는 방법을 안내하는 메시지(825) 및 상기 카메라로 촬영되고 있는 '무선 리모컨' 위에 증강현실(augmented reality)로 표시되는 증강현실 가이드(826)를 예시한다.
메시지(825)는 "표시된 위치의 버튼 2개를 동시에 3초간 눌러 주세요"와 같이 특정 동작을 문자로 표시하고, 증강현실 가이드(826)는 대응하는 영상을 표시할 수 있다.
이러한 가이드 정보는 가이드 데이터베이스(318)에 저장될 수 있고, 신규 원격제어장치가 출시되면 신규 원격제어장치에 맞는 설정 가이드 정보(317)가 가이드 데이터베이스(318)에 업데이트될 수 있다.
한편, 이동 단말기(200)는 상기 가이드 데이터베이스(318)로 자동 또는 수동으로 선택된 홈 어플라이언스의 제품군 정보와 원격제어장치 정보를 상기 가이드 데이터베이스(318)에 전달할 수 있다(S710).
이 경우에, 이동 단말기(200)는 상기 원격제어장치를 조작하는 방법을 안내하는 가이드 정보를 상기 가이드 데이터베이스(318)에로부터 수신할 수 있다(S720).
한편, 가이드 데이터베이스(318)는 메인 서버(300) 또는 영상인식 처리 서버(310)에 의해 관리될 수 있다.
실시예에 따라서, 이동 단말기(200)는 별도로 선택된 홈 어플라이언스의 제품군 정보와 원격제어장치 정보를 상기 가이드 데이터베이스(318)에 전달하지 않고, 메인 서버(300)가 판별 또는 입력된 정보에 기초하여 대응하는 가이드 정보를 상기 이동 단말기(200)로 전송할 수도 있다.
본 발명에 따르면, 홈 어플라이언스의 제품군, 원격제어장치(Controller) 종류 및 모델 종류/외관 디자인에 따라 다양한 조합의 가이드를 서버 데이터베이스에 저장하고, 맞춤 가이드를 제공할 수 있다.
이후에는, 도 1c와 도 1d를 참조하여 설명한 과정을 거쳐, 홈 어플라이언스 제품을 등록하게 된다.
본 발명의 실시예들 중 적어도 하나에 의하면, 제품 등록을 간편하고 빠르게 수행할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 제품 등록 과정에서 정보 오입력을 방지할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 실패 이미지도 학습하여 인식률을 더 향상할 수 있다.
본 발명에 따른 홈 어플라이언스, 서버, 이동 단말기 및 홈 어플라이언스의 제품 등록 시스템은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 홈 어플라이언스, 서버, 이동 단말기 및 홈 어플라이언스의 제품 등록 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
200: 이동 단말기
300, 310: 서버

Claims (10)

  1. 이동 단말기가, 카메라를 통하여 획득되는 제1 이미지를 서버로 전송하는 단계;
    상기 서버가, 상기 이동 단말기로부터 수신된 제1 이미지를 인식하여 상기 이미지에 포함된 홈 어플라이언스의 제품군을 판별하는 단계;
    상기 서버가 상기 제1 이미지의 인식 결과를 상기 이동 단말기로 응답하는 단계;
    상기 제1 이미지의 인식 결과가 상기 홈 어플라이언스의 제품군 정보를 포함하는 경우에, 상기 이동 단말기가, 상기 홈 어플라이언스를 제어할 수 있는 원격제어장치 인식을 안내하는 제1 유저 인터페이스 화면을 표시하는 단계;
    상기 이동 단말기가, 상기 카메라를 통하여 획득되는 제2 이미지를 상기 서버로 전송하는 단계;
    상기 서버가, 상기 이동 단말기로부터 수신된 제2 이미지를 인식하여 상기 이미지에 포함된 원격제어장치를 판별하는 단계;
    상기 서버가 상기 제2 이미지의 인식 결과를 상기 이동 단말기로 응답하는 단계;
    상기 제2 이미지의 인식 결과가 상기 원격제어장치의 정보를 포함하는 경우에, 상기 이동 단말기가, 상기 원격제어장치의 인식 결과를 표시하는 단계;
    상기 제2 이미지의 인식 결과가 인식 실패인 경우에, 상기 이동 단말기가, 원격제어장치 수동 선택을 위한 제3 유저 인터페이스 화면을 표시하는 단계; 및,
    상기 제3 유저 인터페이스 화면을 통한 수동 입력이 있으면, 상기 이동 단말기가 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 상기 제2 이미지를 상기 서버로 전송하는 단계;를 포함하고,
    상기 서버는 상기 제2 이미지를 상기 수동 입력으로 선택된 원격제어장치에 대한 정보와 연계하여, 실패 영상 데이터베이스에 저장하는 것을 특징으로 하는 홈 어플라이언스 제품 등록 방법.
  2. 제1항에 있어서,
    상기 제1 이미지의 인식 결과가 인식 실패인 경우에, 상기 이동 단말기가, 제품 수동 선택을 위한 제2 유저 인터페이스 화면을 표시하는 단계;를 더 포함하는 홈 어플라이언스 제품 등록 방법.
  3. 제2항에 있어서,
    상기 제2 유저 인터페이스 화면을 통한 수동 입력이 있으면, 상기 이동 단말기가 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 상기 제1 이미지를 상기 서버로 전송하는 단계;를 더 포함하는 홈 어플라이언스 제품 등록 방법.
  4. 제3항에 있어서,
    상기 서버는 상기 제1 이미지를 상기 수동 입력으로 선택된 홈 어플라이언스에 대한 정보와 연계하여, 실패 영상 데이터베이스에 저장하는 것을 특징으로 하는 홈 어플라이언스 제품 등록 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 이동 단말기가, 상기 원격제어장치를 조작하는 방법을 안내하는 제4 유저 인터페이스 화면을 표시하는 단계;를 더 포함하는 홈 어플라이언스 제품 등록 방법.
  9. 제8항에 있어서,
    상기 제4 유저 인터페이스 화면은, 상기 카메라로 촬영되고 있는 원격제어장치 위해 증강현실(augmented reality)로 표시되는 증강현실 가이드(guide)를 포함하는 것을 특징으로 하는 홈 어플라이언스 제품 등록 방법.
  10. 제1항에 있어서,
    상기 서버는, 상기 이동 단말기와 통신하는 메인 서버, 및, 상기 메인 서버로부터 수신되는 이미지를 인식하여, 인식 결과를 상기 메인 서버로 전송하는 영상인식 처리 서버를 포함하는 특징으로 하는 홈 어플라이언스 제품 등록 방법.

KR1020180079205A 2018-07-09 2018-07-09 홈 어플라이언스 제품 등록 방법 KR102058972B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079205A KR102058972B1 (ko) 2018-07-09 2018-07-09 홈 어플라이언스 제품 등록 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079205A KR102058972B1 (ko) 2018-07-09 2018-07-09 홈 어플라이언스 제품 등록 방법

Publications (1)

Publication Number Publication Date
KR102058972B1 true KR102058972B1 (ko) 2019-12-24

Family

ID=69006408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079205A KR102058972B1 (ko) 2018-07-09 2018-07-09 홈 어플라이언스 제품 등록 방법

Country Status (1)

Country Link
KR (1) KR102058972B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599148A (zh) * 2020-03-06 2020-08-28 维沃移动通信有限公司 一种电子设备的连接方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105341A (ko) * 2011-03-15 2012-09-25 엘지전자 주식회사 전자 기기 연결 제어 방법 및 그를 이용한 휴대용 단말기
KR20120133648A (ko) * 2011-05-31 2012-12-11 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
KR20140089878A (ko) * 2013-01-07 2014-07-16 엘지전자 주식회사 이동 단말기, 및 그 동작 방법
KR20150073827A (ko) * 2013-12-20 2015-07-01 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 서버에 등록하는 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105341A (ko) * 2011-03-15 2012-09-25 엘지전자 주식회사 전자 기기 연결 제어 방법 및 그를 이용한 휴대용 단말기
KR20120133648A (ko) * 2011-05-31 2012-12-11 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
KR20140089878A (ko) * 2013-01-07 2014-07-16 엘지전자 주식회사 이동 단말기, 및 그 동작 방법
KR20150073827A (ko) * 2013-12-20 2015-07-01 삼성전자주식회사 홈 네트워크 시스템에서 홈 디바이스를 서버에 등록하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111599148A (zh) * 2020-03-06 2020-08-28 维沃移动通信有限公司 一种电子设备的连接方法及电子设备

Similar Documents

Publication Publication Date Title
KR102134586B1 (ko) 이동식 비콘신호 발생 장치 및 이를 이용한 서비스 방법
US10764934B2 (en) Method, apparatus for terminal device to access wireless network
US11540245B2 (en) Home appliance and mobile terminal having application for registering the home appliance to server
US10987804B2 (en) Robot device and non-transitory computer readable medium
CN111095892B (zh) 电子装置及其控制方法
US20140193157A1 (en) Device and Method for Controlling Electronic Appliance
US10908568B2 (en) Electronic device for controlling IoT device to correspond to state of external electronic device and operation method thereof
US20220394348A1 (en) System and method for using a virtual agent to provide consumer electronic device related technical support
JP2016522609A (ja) スマート家電の制御方法、制御装置及び端末
US9894260B2 (en) Method and device for controlling intelligent equipment
US11609541B2 (en) System and method of IOT device control using augmented reality
EP3379805B1 (en) Method, apparatus for controlling a smart device and computer storage medium
US11678017B2 (en) Electronic device and method for controlling the same, and storage medium
KR102058972B1 (ko) 홈 어플라이언스 제품 등록 방법
JP2023027755A (ja) 環境センサをコミッショニングするための方法及びシステム
EP3614711A1 (en) Method for outputting networking authentication information, networking method, apparatus and storage medium
JP2014071614A (ja) 機器情報表示装置、機器情報表示システム、及び機器情報表示方法
CN112292868B (zh) 设备控制信号登记装置、设备控制信号登记系统、设备控制信号登记方法和设备控制信号登记存储介质
KR102026696B1 (ko) 홈 어플라이언스 시스템의 동작 방법
CN110827487A (zh) 物品图像数据的采集方法、装置、存储介质及电子设备
CN113286263A (zh) 网络连接方法、网络连接装置、电子设备和可读存储介质
US20220066223A1 (en) Head mounted display and control method thereof
EP3970817A1 (en) Head mounted display and control method thereof
KR102462937B1 (ko) 콘텐츠 열람이 가능한 가상 타임캡슐 제공 서버, 방법 및 프로그램
US20240179491A1 (en) Method and device for recommending activities to at least one user

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant