KR20220141655A - 딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법 - Google Patents

Abstract

딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법이 제시된다. 일 실시예에 따른 컴퓨터 장치를 통해 수행되는 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법은, 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 단계; 및 상기 서비스 제휴업체와 연결되어 요청 받은 상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계를 포함하여 이루어질 수 있다.

Description

딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법{SMART MIRROR-BASED CONCIERGE SERVICE PLATFORM DEVICE USING DEEP LEARNING-BASED FACE RECOGNITION AND VOICE RECOGNITION TECHNOLOGY AND ITS OPERATION METHOD}

아래의 실시예들은 딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러(Smart mirror) 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법에 관한 것이다.

최근 ICT 제품의 스마트화, 소형화, 가격하락 등으로 다른 제품들과의 결합이 용이해지면서, 가정 내의 환경정보 및 전자기기의 상태정보를 표출하기 위한 차세대 디스플레이 장치로서 스마트 미러가 보급되고 있으며, 스마트 미러를 통해 사용자가 원하는 생활밀착형 서비스를 제공받고자 하는 니즈가 증가하고 있다.

컨시어지 서비스 플랫폼은 스마트홈 시스템에 인간중심의 서비스 환경을 제공하는 플랫폼으로써 스마트 미러를 통한 생활밀착형 서비스를 제공하며, 얼굴 및 음성인식 기술을 적용해 사용 편의를 제공한 유저인터페이스로 현 시장의 킬러어플리케이션의 부재에 대한 해결책을 제시할 기술이다. 또한 컨시어지 서비스 플랫폼은 소비자와 편의서비스를 제공할 전문 업체의 니즈를 효과적으로 중개할 수 있는 클라우드 기반의 O2O(Online to Offline) 서비스 플랫폼을 통해서 거주자에게 맞춤형 서비스를 제공해 주거에 대한 만족도를 높인다.

기존 홈오토메이션, 홈네트워크에 의존하던 시장에서 사물 인터넷(IoT, Internet of Things)이 융합된 인간 중심의 스마트홈의 종합 서비스 환경으로 점차 바뀌고 있으며, 가정 내 보안, 가전, 헬스케어 등을 스마트 단말기와 연동하여 이용하려는 소비자 욕구 성향이 증가하고 있다. 스마트홈의 기본적인 홈 IoT 기기 연동 기능 외에 거주자 편의제공을 위한 서비스 플랫폼이 절실하게 요구되는 상황이며, 이러한 서비스 예약 및 주문이 점차 온라인 서비스 모델로 변화 중이다.

한국공개특허 10-2016-0116256호는 이러한 스마트 미러 및 이를 이용한 비상재난시스템에 관한 기술을 기재하고 있다.

한국공개특허 10-2016-0116256호

실시예들은 딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법에 관하여 기술하며, 보다 구체적으로 스마트 미러가 설치된 위치를 기반으로 원하는 서비스를 한 번의 터치로 제공받을 수 있는 기술을 제공한다.

실시예들은 거주자 주택 인근의 생활편의 제공업체와 연동한 딥러닝 기반의 사용자 친화형 얼굴인식 및 음성인식 기술을 이용한 생활밀착형 스마트홈 서비스를 제공할 O2O 플랫폼(컨시어지 서비스 플랫폼)을 제공함으로써 양질의 서비스를 제공할 수 있는 딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법을 제공하는데 있다.

일 실시예에 따른 컴퓨터 장치를 통해 수행되는 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법은, 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 단계; 및 상기 서비스 제휴업체와 연결되어 요청 받은 상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계를 포함하여 이루어질 수 있다.

상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계는, 상기 스마트 미러에서 제공받고자 하는 상기 컨시어지 서비스에 해당하는 서비스 제휴업체의 표시 정보를 한 번 선택하는 동작을 통해, 서비스 제휴업체 단말로 상기 컨시어지 서비스가 자동으로 요청 및 접수되도록 하는 단계; 및 상기 서비스 제휴업체 단말로부터 상기 컨시어지 서비스의 처리 상태 또는 처리 완료의 정보를 전달 받아 실시간으로 상기 스마트 미러에 전달하는 단계를 포함할 수 있다.

상기 컨시어지 서비스를 요청 받는 단계는, 상기 스마트 미러 기반 클라이언트 어플리케이션을 통해, 상기 스마트 미러가 설치된 위치를 기반으로 미리 등록된 서비스 제휴업체들의 상기 컨시어지 서비스의 요청을 위한 메뉴 화면을 제공하는 단계; 및 상기 메뉴 화면 상에 배치된 상기 서비스 제휴업체들 각각에 해당하는 표시정보 중 하나가 선택되면, 선택된 서비스 제휴업체 단말로 상기 스마트 미러의 사용자 정보, 스마트 미러의 식별정보와 함께 상기 컨시어지 서비스를 자동으로 요청하는 단계를 포함할 수 있다.

사용자의 단말의 카메라를 통해 얼굴인식 기능을 이용한 인증을 수행하여 사용자에 따른 맞춤형 정보를 제공하는 단계를 더 포함하고, DCNN(Deep Convolutional Neural Network) 기반 얼굴의 각도, 조명 및 품질의 영향에 강인한 얼굴인식 모델을 이용하여 실시간으로 카메라 영상에서 얼굴을 검출하여 보정하고 정규화함에 따라 상기 얼굴인식 기능을 이용한 인증을 수행할 수 있다.

다른 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치는, 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 컨시어지 서비스 접수부; 및 상기 서비스 제휴업체와 연결되어 요청 받은 상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 컨시어지 서비스 처리부를 포함하여 이루어질 수 있다.

실시예들에 따르면 거주자 주택 인근의 생활편의 제공업체와 연동한 딥러닝 기반의 사용자 친화형 얼굴인식 및 음성인식 기술을 이용한 생활밀착형 스마트홈 서비스를 제공할 O2O 플랫폼(컨시어지 서비스 플랫폼)을 제공함으로써 양질의 서비스를 제공할 수 있는 딥러닝 기반의 얼굴인식 및 음성인식 기술을 이용한 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치 및 그 동작 방법을 제공할 수 있다.

도 1은 일 실시예에 따른 컨시어지 서비스 플랫폼의 구성을 나타내는 도면이다.
도 2는 일 실시예에 따른 oneM2M의 규격의 스마트홈용 스마트 미러 플랫폼 개념도를 나타내는 도면이다.
도 3은 일 실시예에 따른 컨시어지 플랫폼 구성도를 나타내는 도면이다.
도 4는 일 실시예에 따른 스마트 미러 기능 및 UI 예시를 나타내는 도면이다.
도 5는 일 실시예에 따른 컨시어지 서비스 스마트 미러 UI 예시를 나타내는 도면이다.
도 6은 일 실시예에 따른 DCNN과 Tensor flow를 이용하여 경량화된 얼굴인식을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 인공지능 기반 얼굴인식 절차를 나타내는 도면이다.
도 8은 일 실시예에 따른 음성인식 호출 및 실행 경로를 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

대부분의 O2O 서비스는 LBS 기반의 모바일 서비스이나 본 실시예들을 통해 제공되는 컨시어지 플랫폼은 스마트 미러가 설치된 위치를 기반으로 원하는 서비스를 한 번의 터치로 제공받을 수 있도록 구현된다. 컨시어지 플랫폼은 거주 지역 인근의 전문 업체를 수용함으로써 양질의 서비스를 제공할 수 있도록 할 수 있다. 예컨대 가사 및 육아도우미 서비스, 홈클리닝 서비스, 세탁 서비스, 기타 수리 서비스 등을 제공할 수 있다. 컨시어지 서비스는 소비자의 정보를 수집하고 패턴을 분석할 뿐만 아니라, 이러한 데이터를 기반으로 소비자에게 독특하고, 편리하며 개개인에게 맞는 서비스를 만들어 내기 위한 역할을 할 것으로 기대된다. 또한 사용자의 패턴을 분석하여 자주 사용하는 메뉴나 기능을 우선 보여줌으로써 메뉴 찾는 시간을 절약해주는 등의 사용자 편의 기능이 제공된다.

도 1은 일 실시예에 따른 컨시어지 서비스 플랫폼의 구성을 나타내는 도면이다.

도 1을 참조하면, 스마트홈 서비스의 구성은 크게 홈 IoT 기기를 연동한 세대 내와 단지 내 서비스를 제공을 위한 홈 IoT 서버(120)와, 생활편의 서비스 제공을 위한 컨시어지 플랫폼(110)으로 구성될 수 있다. 여기서 컨시어지 플랫폼(110)은 컨시어지 서비스 플랫폼에 포함되거나 컨시어지 서비스 플랫폼을 포함할 수 있다.

컨시어지 플랫폼(110)은 음성 및 얼굴인식 기술을 이용한 스마트 미러(130)를 통한 사용자의 맞춤형 생활정보 및 건강, 엔터테이닝 정보를 제공하고 서비스 제휴업체(140)를 통한 생활편의 서비스를 제공하도록 할 수 있다.

해외의 원클릭 주문 서비스 중 아마존의 대시버튼은 반복구매가 많은 소비재 이외의 많은 품목 추가에 대한 한계가 있는 단점이 있으나, 스마트 미러는 기본적인 홈오토메이션의 기능뿐만 아니라 O2O 커머스를 백업하는 IoT 기기들과의 결합을 통해 소비재 주문 이외의 생활편의 컨시어지 서비스를 제공할 수 있다.

해외의 O2O 서비스로써 홈조이의 홈클리닝 서비스와 아마존의 대시버튼을 통한 상품구매 서비스가 있으나 서비스 퀄리티 및 다양한 품목추가 등의 한계로 인해 활성화에 실패하였다. 홈조이는 4000만 달러의 투자를 유치했었으나 객관적으로 서비스 만족도에 대한 평가하기 어렵다는 한계에 도달하였다. 아마존 대시버튼은 고객 구매 편의성을 제공하고 동시에 제품구매를 자연스럽게 유도할 수 있다는 장점이 있으나, 물리적 버튼의 한계로 인해 가상 대시버튼 등 다양한 형태로 변화 중이다.

컨시어지 서비스 플랫폼은 상품구매나 생활편의 서비스를 각 제휴된 전문사업자가 플랫폼을 통해 마케팅을 하고 소비자에게 편의 서비스를 제공할 수 있도록 스마트 미러 기반의 통합플랫폼을 제공하여 기존 제품/서비스와 차별화할 수 있다.

기존에는 여러 생활편의 서비스(상품구매, 음식주문 등)를 신청하기 위해서 각각의 앱을 설치하고 해당 앱을 통해 서비스를 신청하였으나, 컨시어지 서비스 플랫폼에서는 스마트 미러의 한 화면에서 모든 서비스가 가능하도록 고객에게 친숙한 UI(User Interface)로 제공할 수 있다. 스마트 미러 시스템은 서비스 제휴업체(제휴 서비스 사업자)로부터 제공받을 서비스에 대한 피드백(예, 세탁물 수거/세탁 중/세탁 완료/세탁물 배달 시간 등)을 신속하게 제공받을 수 있다. 이 때, 서비스 제휴업체가 상품 및 서비스의 추가, 변경, 업데이트가 용이하도록 플랫폼을 구현할 수 있다.

스마트홈용 스마트 미러에 인공지능 음성인식 및 얼굴인식 기술을 적용할 수 있다. 거울과 디스플레이를 접목한 차세대 디스플레이인 스마트 미러에 사용자 친화형 얼굴인식 기술을 융합하여 사용자 인증을 수행하고 개인에 해당하는 맞춤형 정보를 제공할 수 있다. 또한, 스마트 미러에서 음성인식 기술을 통해 보다 편리하게 홈 IoT 기기(조명, 도어락 제어 등)를 실행, 제어할 수 있다.

도 2는 일 실시예에 따른 oneM2M의 규격의 스마트홈용 스마트 미러 플랫폼 개념도를 나타내는 도면이다.

도 2를 참조하면, 스마트 미러(210) 기반의 생활밀착형 스마트홈 서비스(230)를 위한 컨시어지 서비스 플랫폼(220)을 제공할 수 있다.

이를 위해, 먼저 컨시어지 서비스 플랫폼 엔진을 개발할 수 있다. 서비스 로직, 사용자인증, 관리 기능 모듈을 제공하고, 홈 IoT 서버, 결제서버, 스마트 미러 기반 클라이언트 어플리케이션, 서비스 제휴업체 단말용 어플리케이션 연동 모듈을 제공할 수 있다.

또한, 스마트 미러 기반의 클라이언트 어플리케이션을 개발할 수 있다. 사용자 UI/UX를 제공하고, 근접 및 터치센서 연동 모듈을 제공할 수 있다.

그리고, 서비스 제휴업체 단말용 어플리케이션을 제공할 수 있다. 사용자 UI/UX를 제공하고, 서비스 제휴업체 단말용 서비스 어플리케이션 모듈을 개발할 수 있다.

또한, 얼굴인식 및 음성인식 기술을 적용한 어플리케이션 개발 사용자 인증 모듈을 개발할 수 있다. 얼굴인식을 통한 인증으로 사용자에 따른 맞춤형 정보를 제공할 수 있으며, 음성인식 모듈로 연동된 스마트홈 기기를 제어할 수 있다. 예컨대, 스마트홈 구축을 위해 스마트 미러 기반의 컨시어지 서비스 사업을 수행할 수 있는 기업군인 통신사업자와 음성인식 스피커를 적용할 수 있다.

여기서, 단말은 유선단말 및 무선단말을 포함하는 광범위한 단말을 의미하는바, PC(Personal Computer), IP 텔레비전(Internet Protocol Television), 노트형 퍼스컴(Notebook-sized personal computer), PDA(Personal Digital Assistant), 스마트폰, IMT-2000(International Mobile Telecommunication 2000)폰, GSM(Global System for Mobile Communication)폰, GPRS(General Packet Radio Service)폰, WCDMA(Wideband Code Division Multiple Access)폰, UMTS(Universal Mobile Telecommunication Service)폰, MBS(Mobile Broadband System)폰 등을 포함하며, 서로 다른 단말들, 서버 및 시스템과 음성 및 영상에 대한 데이터의 송수신을 수행하도록 하는 기능을 제공받을 수 있다.

아래에서 스마트 미러 기반의 생활밀착형 스마트홈 서비스를 위한 컨시어지 서비스 플랫폼을 보다 상세히 설명한다.

도 3은 일 실시예에 따른 컨시어지 플랫폼 구성도를 나타내는 도면이다.

도 3을 참조하면, 일 실시예에 따르면 컨시어지 서비스 플랫폼(320) 엔진을 개발할 수 있다.

본 시스템은 서비스(330)를 요청한 고객이 스마트 미러(310)를 통해 컨시어지 서비스 플랫폼(320)과 Real-time Interactive 환경을 제공해 댁내에서 손쉽게 원하는 서비스(330)에 대한 요청/변경/추가/취소 등의 기능을 할 수 있도록 환경을 제공할 수 있다.

컨시어지 서비스 플랫폼(320)의 시스템의 설정에 따라 특정 업무(생활정보 시스템과 연동될 수 있는 기능, B2B 서비스 시스템과 연동될 수 있는 기능)는 해당 컨시어지 플랫폼(320)에서 자동적으로 처리할 수 있게 하고, 그 외의 댁내 환경정보에 대한 디스플레이는 홈 IoT 서버와 통신해 홈네트워크 기기(보일러, 현관문 도어락, 에어컨, 전등, 냉장고, 세탁기, 공조기, 청소기 등)를 제어 및 모니터링 할 수 있다.

스마트 미러 시스템(310)에서 제공받고자 하는 컨시어지 서비스(330)에 해당하는 서비스 제휴업체의 표시 정보를 한 번 선택하는 동작만으로, 해당 서비스 제휴업체로 컨시어지 서비스(330)가 자동으로 요청 및 접수되도록 하고, 접수 이후에 처리 완료까지의 알림 메시지를 스마트 미러(310)에서 제공하도록 할 수 있다. 컨시어지 서비스 플랫폼(320)은 서비스 제휴업체 단말과 연동하여 고객이 요청 했던 서비스 진행 상황을 서비스 제휴업체에서 업데이트하는 즉시 실시간으로 스마트 미러에 전송할 수 있다.

도 4는 일 실시예에 따른 스마트 미러 기능 및 UI 예시를 나타내는 도면이다.

도 4를 참조하면, 스마트 미러(410) 기반 클라이언트 어플리케이션을 개발할 수 있다.

가정 내에 설치된 스마트 미러(410)는 근접센서를 미리 설정한 일정 거리 이내로 접근한 사용자를 감지하여 메인 메뉴 화면으로 전환되며, 사용자는 화면에서 컨시어지 서비스에 해당하는 정보를 선택할 수 있다.

가정이 속하는 공동주택 주변에 위치하는 미리 등록된 서비스 제휴업체들의 컨시어지 서비스 요청을 위한 메뉴 화면을 제공하고, 메뉴 화면 상에 배치된 복수의 가맹점들 각각에 해당하는 표시정보 중 하나가 선택되면 선택된 서비스 제휴업체의 정보에 기초하여 선택된 가맹점의 단말로 사용자 정보, 스마트 미러(410)의 식별정보와 함께 컨시어지 서비스를 자동으로 요청하고, 서비스 요청에 대한 응답을 전달 받을 수 있다.

가정 내에 설치된 스마트 미러(410)의 직관적이고 친숙한 UI로 생활정보를 제공하며, 모든 필요한 요구사항을 컨시어지 서비스 플랫폼에 요청하며 실시간으로 진행 상황을 수신하여 화면에 디스플레이할 수 있다.

기본적인 컨시어지 서비스(세탁, 홈네트워크 기기 수리/정비, 가사/청소 도우미, 음식배달 등)의 요청 외에도 댁내 외 환경정보(온, 습도, 날씨 등) 및 생활정보 조회, 엔터테이닝, 헬스케어 정보 기능을 제공할 수 있다.

도 5는 일 실시예에 따른 컨시어지 서비스 스마트 미러 UI 예시를 나타내는 도면이다.

도 5를 참조하면, 서비스 제휴업체 단말용 어플리케이션을 개발할 수 있다.

컨시어지 서비스를 위해 서비스 제휴업체(세탁소, 자동차 정비, 에어컨수리, 가사/청소 도우미, 반찬가게, 피자가게, 치킨가게 등)의 서비스를 등록시키고, 서비스 접수를 기반으로 수행되는 처리 진행 사항(세탁 중, 수리 중, 배달 중 등) 및 처리 완료에 따른 알림을 제공하도록 서비스 제휴업체 단말에 구현할 수 있다.

서비스 제휴업체가 변경되거나, 신규로 추가되는 경우 서비스 제휴업체의 식별자 정보를 기반으로 가정 내의 스마트 미러에서 정보를 업데이트할 수 있도록 구현할 수 있다.

컨시어지 플랫폼 데이터베이스에 스마트 미러의 식별정보와 사용자 별 개인정보(거주 아파트 명, 동/호수, 연락처, 이름 등)와 서비스 제휴업체의 정보(상호명, 주소, 연락처, 컨시어지 정보 등)가 서로 연관되도록 저장 및 유지될 수 있다.

스마트 미러에서 서비스를 선택하면 플랫폼에서 해당하는 서비스 정보를 해당 서비스 제휴업체 단말로 스마트 미러 시스템의 식별자 정보를 제공하면, 서비스 제휴업체 단말은 스마트 미러의 식별자 정보를 기반으로 연관하여 저장된 사용자의 컨시어지 정보, 사용자 정보를 이용하여 해당 사용자의 컨시어지 서비스 요청을 접수 완료할 수 있다.

서비스 제휴업체 단말은 스마트 미러의 식별자 정보에 기초하여 해당 스마트 미러로 서비스 제휴업체 단말에 설치된 어플리케이션을 통해서 접수 완료를 나타내는 메시지와 컨시어지 정보(예컨대, 에어컨 가스 주입 완료, 세탁 완료, 배달 출발 등)를 제공할 수 있다.

컨시어지 서비스 플랫폼으로부터 수신한 사용자 서비스 요청 및 서비스 제휴업체 알림 메시지는 스마트 미러나 서비스 제휴업체 단말 이외에 다양한 방법(문자, SNS 등)으로 통지할 수 있다.

또한, 인공지능 음성인식, 얼굴인식 기술을 적용한 스마트홈용 스마트 미러를 개발할 수 있다.

스마트 미러에 얼굴인식 기술을 융합하여 사용자의 인식을 통해 해당하는 맞춤형 정보를 제공하도록 할 수 있다.

ETRI의 관련 기술인 인공지능 공유 플랫폼 및 과기정통부에서 지원하는 AI 학습용 데이터 셋, AI 허브(aihub.or.kr)에서 제공하는 데이터, API 등을 검토해 적합한 알고리즘을 선택해 스마트홈용 스마트 미러 서비스를 개발할 수 있다.

또한 국내 각 기관에서 제공하는 기술뿐만 아니라 이미 시장에서 검증된 알고리즘 및 해외의 API 검토를 통해 실제 시장에서 고객이 요구하는 서비스를 반영한 최적의 솔루션을 구현하도록 할 수 있다.

그리고 스마트 미러에서 터치 기능이 제공되지만 음성인식을 통해 보다 편리하게 홈 IoT 기기를 실행, 제어하고 음성인식을 통한 검색 서비스를 제공할 수 있다.

도 6은 일 실시예에 따른 DCNN과 Tensor flow를 이용하여 경량화된 얼굴인식을 설명하기 위한 도면이다.

도 6을 참조하면, 스마트홈용 스마트 미러에 얼굴인식을 위한 별도의 서버를 두지 않은 경량화된 인공지능 모듈을 적용해 개발할 수 있다.

스마트 미러가 구축된 제한된 성능을 가진 시스템 환경에서 DCNN(Deep Convolutional Neural Network)을 활용하여 빠르고 정확한 성능을 가진 영상객체 검출기술과 GPU 부하가 적으며 고속연산이 가능한 Tensor Flow의 장점을 결합한 경량화된 모듈을 개발할 수 있다.

실시간 얼굴 이미지 데이터 수집을 위한 얼굴검출 모듈 개발할 수 있다. 실제 환경에 적합한 학습용 데이터의 수집과 실제 운영 환경에서 얼굴인식에 사용할 “모바일 단말용 사용자 친화형 얼굴인식 기술”에 대해 실시간으로 카메라 영상에서 얼굴을 검출하여 보정하고 정규화하는 알고리즘을 분석할 수 있다. 얼굴의 각도, 조명 등의 영향에 강인한 모델 개발을 위해 일반인 대상의 데이터 수집 및 분석을 수행할 수 있다.

수집된 얼굴 데이터를 기반으로 얼굴의 각도, 조명 등의 영향에 강인한 얼굴인식 모델을 제공할 수 있다. 실제 운영 환경에 적합한 학습용 데이터를 활용하여 얼굴의 각도, 조명, 품질 등에 강인한 얼굴인식 모델 제공할 수 있다.

도 7은 일 실시예에 따른 인공지능 기반 얼굴인식 절차를 나타내는 도면이다.

도 7을 참조하면, 사용자 등록/삭제/갱신/삭제 등을 위한 사용자 인터페이스 모듈을 개발할 수 있다.

신규 사용자 등록 시 또는 기존 사용자 등록 해제 시 즉시 적용 가능하도록 학습, 검증 모델 개발할 수 있다. 모바일 보드가 탑재된 스마트 미러에 얼굴인식 시스템 포팅(porting) 할 수 있다.

도 8은 일 실시예에 따른 음성인식 호출 및 실행 경로를 설명하기 위한 도면이다.

도 8을 참조하면, IoT 및 스마트홈 시장의 성장과 맞물려 급격하고 성장하고 있는 AI 기반의 음성인식 오픈 API를 이용해서 기능을 구현할 수 있다.

스마트홈 기능 및 컨시어지 서비스를 통합한 플랫폼의 개발기간 단축과 성공률을 높이기 위하여 음성인식 기능은 기존에 보급되어 있는 API를 도입, 적용하여 개발하는 방안으로 개발하되, 스마트홈 기기와의 연동을 위한 다양한 통신 프로토콜을 수용할 수 있도록 개발할 수 있다.

사용자가 음성으로 뉴스나 정보를 검색하면 관련 사진과 내용이 스마트 미러에 디스플레이되도록 기능을 제공하며 음성명령으로 연결된 IoT 기기 및 다양한 가전제품을 제어할 수 있도록 구현할 수 있다.

도 9는 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법을 나타내는 흐름도이다.

도 9를 참조하면, 일 실시예에 따른 컴퓨터 장치를 통해 수행되는 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법은, 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 단계(S120), 및 서비스 제휴업체와 연결되어 요청 받은 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계(S130)를 포함하여 이루어질 수 있다.

또한, 사용자의 단말의 카메라를 통해 얼굴인식 기능을 이용한 인증을 수행하여 사용자에 따른 맞춤형 정보를 제공하는 단계(S110)를 더 포함할 수 있다.

또한, 사용자의 단말의 마이크로폰을 통해 음성인식 기능을 이용하여 음성인식 모듈로 연동된 스마트홈 기기를 제어하는 단계를 더 포함할 수 있다.

아래에서 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법의 각 단계에 대해 설명한다.

일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법은 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치를 예를 들어 보다 상세히 설명할 수 있다. 한편, 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치는 도 1 내지 도 8을 참조하여 설명한 컨시어지 서비스 플랫폼을 포함하거나 컨시어지 서비스 플랫폼에 포함될 수 있다.

도 10은 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치를 나타내는 블록도이다.

도 10을 참조하면, 일 실시예에 따른 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치(1000)는 컨시어지 서비스 접수부(1020) 및 컨시어지 서비스 처리부(1030)를 포함할 수 있고, 실시예에 따라 얼굴인식부(1010) 및 음성인식부(1040)를 더 포함할 수 있다.

먼저, 단계(S110)에서, 얼굴인식부(1010)는 사용자의 단말의 카메라를 통해 얼굴인식 기능을 이용한 인증을 수행하여 사용자에 따른 맞춤형 정보를 제공할 수 있다. 여기서 얼굴인식부(1010)는 DCNN(Deep Convolutional Neural Network) 기반 얼굴의 각도, 조명 및 품질의 영향에 강인한 얼굴인식 모델을 이용하여 실시간으로 카메라 영상에서 얼굴을 검출하여 보정하고 정규화함에 따라 얼굴인식 기능을 이용한 인증을 수행할 수 있다.

단계(S120)에서, 컨시어지 서비스 접수부(1020)는 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받을 수 있다.

컨시어지 서비스 접수부(1020)는 스마트 미러 기반 클라이언트 어플리케이션을 통해, 스마트 미러가 설치된 위치를 기반으로 미리 등록된 서비스 제휴업체들의 컨시어지 서비스의 요청을 위한 메뉴 화면을 제공할 수 있다. 이후, 컨시어지 서비스 접수부(1020)는 메뉴 화면 상에 배치된 서비스 제휴업체들 각각에 해당하는 표시정보 중 하나가 선택되면, 선택된 서비스 제휴업체 단말로 스마트 미러의 사용자 정보, 스마트 미러의 식별정보와 함께 컨시어지 서비스를 자동으로 요청할 수 있다.

단계(S130)에서, 컨시어지 서비스 처리부(1030)는 서비스 제휴업체와 연결되어 요청 받은 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행할 수 있다.

컨시어지 서비스 처리부(1030)는 스마트 미러에서 제공받고자 하는 컨시어지 서비스에 해당하는 서비스 제휴업체의 표시 정보를 한 번 선택하는 동작을 통해, 서비스 제휴업체 단말로 컨시어지 서비스가 자동으로 요청 및 접수되도록 할 수 있다. 이후에, 컨시어지 서비스 처리부(1030)는 서비스 제휴업체 단말로부터 컨시어지 서비스의 처리 상태 또는 처리 완료의 정보를 전달 받아 실시간으로 스마트 미러에 전달할 수 있다.

한편, 음성인식부(1040)는 사용자의 단말의 마이크로폰을 통해 음성인식 기능을 이용하여 음성인식 모듈로 연동된 스마트홈 기기를 제어할 수 있다.

실시예들에 따르면 거주자 주택 인근의 생활편의 제공업체와 연동한 딥러닝 기반의 사용자 친화형 얼굴인식 및 음성인식 기술을 이용한 생활밀착형 스마트홈 서비스를 제공할 O2O 플랫폼(컨시어지 서비스 플랫폼)을 제공함으로써 양질의 서비스를 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

1. 컴퓨터 장치를 통해 수행되는 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법에 있어서,
   댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 단계; 및
   상기 서비스 제휴업체와 연결되어 요청 받은 상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계
   를 포함하는, 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법.
2. 제1항에 있어서,
   상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 단계는,
   상기 스마트 미러에서 제공받고자 하는 상기 컨시어지 서비스에 해당하는 서비스 제휴업체의 표시 정보를 한 번 선택하는 동작을 통해, 서비스 제휴업체 단말로 상기 컨시어지 서비스가 자동으로 요청 및 접수되도록 하는 단계; 및
   상기 서비스 제휴업체 단말로부터 상기 컨시어지 서비스의 처리 상태 또는 처리 완료의 정보를 전달 받아 실시간으로 상기 스마트 미러에 전달하는 단계
   를 포함하는, 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법.
3. 제1항에 있어서,
   상기 컨시어지 서비스를 요청 받는 단계는,
   상기 스마트 미러 기반 클라이언트 어플리케이션을 통해, 상기 스마트 미러가 설치된 위치를 기반으로 미리 등록된 서비스 제휴업체들의 상기 컨시어지 서비스의 요청을 위한 메뉴 화면을 제공하는 단계; 및
   상기 메뉴 화면 상에 배치된 상기 서비스 제휴업체들 각각에 해당하는 표시정보 중 하나가 선택되면, 선택된 서비스 제휴업체 단말로 상기 스마트 미러의 사용자 정보, 스마트 미러의 식별정보와 함께 상기 컨시어지 서비스를 자동으로 요청하는 단계
   를 포함하는, 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법.
4. 제1항에 있어서,
   사용자의 단말의 카메라를 통해 얼굴인식 기능을 이용한 인증을 수행하여 사용자에 따른 맞춤형 정보를 제공하는 단계
   를 더 포함하고,
   DCNN(Deep Convolutional Neural Network) 기반 얼굴의 각도, 조명 및 품질의 영향에 강인한 얼굴인식 모델을 이용하여 실시간으로 카메라 영상에서 얼굴을 검출하여 보정하고 정규화함에 따라 상기 얼굴인식 기능을 이용한 인증을 수행하는 것
   을 특징으로 하는, 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법.
5. 댁내의 스마트 미러를 통해 미리 등록된 서비스 제휴업체에 대한 컨시어지 서비스를 요청 받는 컨시어지 서비스 접수부; 및
   상기 서비스 제휴업체와 연결되어 요청 받은 상기 컨시어지 서비스에 대한 요청, 변경, 추가 및 취소 중 적어도 어느 하나 이상의 기능을 수행하는 컨시어지 서비스 처리부
   를 포함하는, 스마트 미러 기반의 컨시어지 서비스 플랫폼 장치의 동작 방법.

Images