KR102000161B1 - 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법 - Google Patents

사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법 Download PDF

Info

Publication number
KR102000161B1
KR102000161B1 KR1020160026598A KR20160026598A KR102000161B1 KR 102000161 B1 KR102000161 B1 KR 102000161B1 KR 1020160026598 A KR1020160026598 A KR 1020160026598A KR 20160026598 A KR20160026598 A KR 20160026598A KR 102000161 B1 KR102000161 B1 KR 102000161B1
Authority
KR
South Korea
Prior art keywords
user
intention
message
information
service
Prior art date
Application number
KR1020160026598A
Other languages
English (en)
Other versions
KR20170103548A (ko
Inventor
이윤경
김영호
정보흥
주홍일
김정녀
임재덕
전용성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160026598A priority Critical patent/KR102000161B1/ko
Publication of KR20170103548A publication Critical patent/KR20170103548A/ko
Application granted granted Critical
Publication of KR102000161B1 publication Critical patent/KR102000161B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L67/18—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles

Abstract

본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 장치는 통신이 가능한 사물기기와의 통신을 수행하는 사용자 의도 맞춤형 사물기기 협업 장치에 있어서, 사용자 요청을 수신하는 사용자 요청 수신부; 상기 사용자 요청에 따라 상기 사용자의 의도를 해석하는 사용자 의도 해석부; 상기 사용자 의도에 맞는 서비스를 제공하기 위한 사물기기의 기능을 분석하는 의도 맞춤 기능 분석부; 및 상기 사용자 의도에 맞는 서비스를 제공하기 위해 필요한 기능을 상기 사물기기로 요청하는 필요 기능 요청부를 포함할 수 있다.

Description

사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법{User intention specific things collaboration device for, system for having the same, and method thereof}
본 발명은 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 다른 기기들과의 통신 수단을 가지고 있는 기기들이 사용자가 원하는 서비스를 제공하기 위해서 자율적으로 협동할 수 있는 기술에 관한 것이다.
사물 웹(WoT) 기술은 실세계와 가상세계의 다양한 사물(센서 디바이스, 서비스)을 웹 기술(HTML, URI, HTTP등)을 이용하여 연결함으로써 사물 인터넷(IoT: Internet of Things)을 실현하기 위한 기술이다.
최근 모든 사물이 인터넷으로 연결되는 IoT 시대가 도래하고 있다. 최근에는 인터넷뿐만 아니라, 어떤 통신수단이든, 사물간 연결이 되는 환경 및 기기들을 IoT 환경, IoT 기기라고 한다. 현재의 IoT 기기들은 기기 자체가 하나의 서비스를 제공하는 형태로 되어 있지만, 기술이 발전할수록 기기들간 연결 및 협동 프로세싱을 통해서 하나의 서비스를 제공하는 상황으로 변할 가능성이 높다.
이러한 상황에서 기기들간 협동하여 서비스를 제공하는 방법에 관하여 고민할 필요가 있다. 또한 기기간 통신이 많아질수록 보안에 취약할 수 밖에 없기 때문에 메시지 인증, 기기인증 및 접근제어는 최소의 보안요구사항이다.
특허공개번호 KR 10-2015-0121126호
본 발명의 실시예는 사용자의 음성인식을 통해 사용자의 의도를 파악하여 통신이 가능한 사물기기의 협업을 자율적으로 제어할 수 있는 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법을 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 장치는 통신이 가능한 사물기기와의 통신을 수행하는 사용자 의도 맞춤형 사물기기 협업 장치에 있어서, 사용자 요청을 수신하는 사용자 요청 수신부; 상기 사용자 요청에 따라 상기 사용자의 의도를 해석하는 사용자 의도 해석부; 상기 사용자 의도에 맞는 서비스를 제공하기 위한 사물기기의 기능을 분석하는 의도 맞춤 기능 분석부; 및 상기 사용자 의도에 맞는 서비스를 제공하기 위해 필요한 기능을 상기 사물기기로 요청하는 필요 기능 요청부를 포함할 수 있다.
상기 사용자 요청 수신부는, 상기 사용자의 음성을 인식할 수 있다.
상기 사용자 의도 해석부는, 상기 사용자의 음성을 인식한 결과로부터 사용자의 의도를 해석할 수 있다.
상기 필요기능 요청부는, 상기 사용자 의도에 맞는 서비스 제공을 위해 필요한 기능을 포함하는 브로드캐스트 메시지를 생성하여 상기 사물기기로 전송할 수 있다.
상기 브로드캐스트 메시지는, 필요 기능 리스트, 자신의 위치정보, 자신의 인증정보, 사용자정보, 맥(MAC) 정보 중 적어도 하나 이상을 포함할 수 있다.
상기 사용자 요청 수신부가 상기 사용자 요청을 수신하면 사용자의 음성 을 이용하여 사용자 인증 및 상황을 인지하는 사용자 통합 인증부를 더 포함할 수 있다.
상기 사물기기로부터 필요한 기능요청에 대한 응답메시지를 수신하는 경우 상기 응답 메시지를 수신한 사물기기에 대한 인증을 수행하는 기기 인증부를 더 포함할 수 있다.
상기 기기 인증부는, 상기 사물기기로부터 미리 정한 시간 동안 응답메시지가 수신되지 않으면, 사용자에게 에러메시지를 통보할 수 있다.
상기 에러 메시지를 음성 출력하는 스피커; 또는 상기 에러 메시지를 화면에 표시하는 표시부를 더 포함할 수 있다.
상기 의도 맞춤 기능 분석부는, 동일한 기능을 수행하는 복수개의 사물기기로부터 응답메시지를 수신한 경우, 복수개의 사물기기 중 하나를 선정할 수 있다.
상기 사물 기기와 통신을 수행하는 통신부를 더 포함할 수 있다.
사용자 인증을 위한 정보, 사용자의 피드백 정보, 사물기기들의 인증을 위한 정보, 서비스별 필요 기능 정보 중적어도 하나 이상을 저장하는 저장부를 더 포함할 수 있다.
상기 사용자 요청 수신부는, 상기 사용자로부터 서비스 이용 후 만족도 결과를 피드백하여 수신할 수 있다.
본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 시스템은 사용자 의도를 해석하고, 상기 사용자의 의도에 맞는 기능을 가지는 사물기기로 서비스 제공 요청을 하는 사용자 의도 맞춤형 사물기기 협업장치; 및 상기 사용자 의도 맞춤형 사물기기와 통신을 수행하여 상기 사용자에게 사용자 의도 맞춤 서비스를 제공하는 사물기기를 포함할 수 있다.
상기 사물기기는, 상기 사물기기간, 상기 사용자 의도 맞춤형 사물기기 협업장치와 상기 사물기기간의 통신을 수행하는 통신부; 상기 사용자 의도 맞춤형 사물기기 협업장치로부터 수신한 메시지를 분석하는 사용자 메시지 분석부; 상기 사용자 의도 맞춤형 사물기기 협업장치로부터 수신한 메시지에 대응하는 필요 기능의 제공이 가능한 경우 응답메시지를 생성하는 응답메시지 생성부를 포함할 수 있다.
상기 사물 기기는, 상기 사물 기기의 인증 및 사물 기기의 상태정보를 인증하는 기기 통합 인증부를 더 포함할 수 있다.
상기 사물기기는, 자신의 기기에 자주 메시지를 보낸 사용자 의도 맞춤형 사물기기 협업 장치의 정보를 누적하여 악의적 사용자의 서비스 요청을 거절하도록 제어하는 상황 인지형 접근 제어부를 더 포함할 수 있다.
상기 사용자 메시지 분석부는, 상기 사용자 의도 맞춤형 사물기기 협업 장치로부터 수신한 메시지를 분석하여, 자신이 상기 사용자 의도 맞춤형 사물기기 협업 장치가 요청한 필요기능의 제공이 가능한지를 판단할 수 있다.
본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 방법은 사용자 의도 맞춤형 사물기기 협업 장치에 의해 통신이 가능한 사물기기간의 협업 방법에 있어서, 사용자로부터 서비스 요청이 수신되면 사용자의 의도를 해석하는 단계; 상기 사용자의 의도에 맞는 서비스 제공을 위한 필요 기능을 분석하는 단계; 상기 필요 기능 정보를 포함하는 브로드캐스트 메시지를 복수의 사물기기로 요청하는 단계: 및 상기 필요 기능의 제공이 가능한 사물 기기들 중 서비스가 가능한 사물기기들의 협업을 통해 서비스가 제공되는 단계를 포함할 수 있다.
상기 브로드캐스트 메시지에 대해 상기 복수의 사물기기로부터 필요한 기능을 제공하겠다는 응답메시지가 수신되지 않으면, 에러메시지를 출력하는 단계를 더 포함할 수 있다.
본 기술은 사용자가 원하는 서비스를 음성으로 요청하는 것만으로 사용자의 의도에 맞는 서비스 제공을 위한 사물기기 협업 제어를 자율적으로 수행하여 사용자 의도 맞춤 서비스를 사용자에게 제공함으로써 사용자의 편의성을 증대시킬 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 시스템에서 사물 기기로의 서비스 요청 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 시스템에서 사물 기기의 서비스 응답 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 장치의 세부 구성도이다.
도 4는 본 발명의 실시예에 따른 사물 기기의 세부 구성도이다.
도 5는 본 발명의 실시예에 따른 메시지 구조도이다.
도 6은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 기술을 적용한 컴퓨터 시스템의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 시스템에서 사물 기기로의 서비스 요청 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 시스템은 사용자 의도 맞춤형 사물기기 협업 장치(100)와 통신이 가능한 복수의 사물기기(200) 간의 협업 제어를 수행한다.
도 1을 참조하면 사용자가 원하는 서비스를 음성으로 말하면, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 사용자의 음성을 분석하여 등록된 사용자인지 여부를 확인하는 사용자 인증을 수행하고, 사용자 인증에 성공할 경우, 사용자의 의도를 파악하고 사용자의 의도에 맞는 서비스를 제공하기 위한 사물 기기들로 서비스 가능한지를 요청한다.
예를 들어, 사용자가 영화 <빅 히어로>를 보고 싶다고 말한 경우, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 음성인식 알고리즘을 통해 사용자의 의도를 인식한다. 이때 사용자 의도 맞춤형 사물기기 협업 장치(100)는
사용자 의도가 인식되면 사용자 의도 맞춤형 사물기기 협업 장치(100)는 영화 서비스를 제공하기 위한 기능을 가진 사물 기기를 분석 및 검색한다. 이때, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 해당 기능을 수행하는 사물기기를 검색하기 위해 브로드캐스트(broadcast)한다. 이에 영화 서비스를 제공하기 위한 사물기기로서 영화를 재생하기 위한 비디오 플레이어, 재생된 영화를 영상으로 보여주기 위한 디스플레이 장치, 재생된 영화의 소리를 재생하기 위한 스피커 등과 통신을 수행하고 서비스가 가능한지를 파악하여 해당 사물기기들의 서비스가 가능한 경우 영화 <빅히어로>가 재생되도록 각 사물기기를 제어한다.
도 2는 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 시스템에서 사물 기기의 서비스 응답 과정을 설명하기 위한 도면이다.
도 2를 참조하면 사물기기(200)는 사용자 의도 맞춤형 사물기기 협업 장치(100)로부터 브로드캐스트 되는 메시지를 수신하면, 수신된 메시지를 분석하여 자신이 제공 가능한 기능일 경우 이를 사용자 의도 맞춤형 사물기기 협업 장치(100)로 알린다. 이때, 브로드캐스트 메시지는 도 5에 도시된 바와 같이, 필요기능 리스트와 사용자 의도 맞춤형 사물기기 협업 장치(100)의 위치정보, 사용자 의도 맞춤형 사물기기 협업 장치(100)의 인증정보, 사용자 정보, 맥(MAC;Message Authentication Code) 정보를 포함할 수 있다.
사물기기들(200)은 사용자 의도 맞춤형 사물기기 협업 장치(100)로부터 수신한 브로드캐스트 메시지의 무결성을 검증하고 메시지의 무결성이 확인되면 메시지를 보낸 사용자 의도 맞춤형 사물기기 협업 장치(100)의 위치 정보와 인증정보를 이용하여 해당 메시지를 보낸 사람에 대한 인증을 수행한다. 이때, 사물기기들(200)은 사용자 의도 맞춤형 사물기기 협업 장치(100)의 사용자 인증 시 맥주소, 시리얼 넘버, ID 등의 인증정보 및 위치정보를 이용하여 인증을 수행함으로써, 보다 정확하고 안전한 인증이 가능하다. 즉, 사용자 의도 맞춤형 사물기기 협업 장치(100)의 인증정보만을 이용한 인증에 성공하더라도 사용자 의도 맞춤형 사물기기 협업 장치 (100)의 인증정보만을 이용한 인증에 성공하더라도 사용자 의도 맞춤형 사물기기 협업 장치(100)의 위치 정보가 이전의 위치정보와 비교했을 때 차이가 크다면 해당 사용자 의도 맞춤형 사물기기 협업 장치(100)의 최종 인증결과는 실패가 된다.
메시지 보낸 사람(사용자 의도 맞춤형 사물기기 협업 장치)에 대한 인증이 성공하고 메시지에 기록된 기능들 중 자신(사물 기기)이 제공할 수 있는 기능이 있다면 응답메시지를 사용자 의도 맞춤형 사물기기 협업 장치(100)로 전송한다. 응답메시지에는 해당 기기가 제공할 수 있는 기능에 대한 정보뿐만 아니라, 기기를 인증할 수 있는 정보, 기기의 위치정보, 해당 메시지에 대한 MAC(Message Authentication Code)값 등을 포함하여 사용자 의도 맞춤형 사물기기 협업 장치가 해당 기기 및 메시지를 인증할 수 있도록 하여야 한다.
이후, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 사물기기(200)로부터 메시지들을 받아서 메시지 및 해당 기기에 대한 인증을 하고, 사물기기(200)의 위치정보를 파악한 후 각 사물기기(200)들에 각 기능을 실행할 것을 명령한다.
이때, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 동일기능에 대해서 제공 가능하다는 메시지를 여러 기기로부터 동시에 받은 경우, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 사용자 만족도가 높았던 기기에 대해 가장 높은 우선순위를 부여하고, 기기위치나 기기상태 등을 반영하여 해당 기능을 실행할 기기를 선정한다.
기기간 협동으로 사용자가 요청한 서비스를 성공적으로 제공하고 나면, 사용자는 원하는 경우 사용자 의도 맞춤형 사물기기 협업 장치 (100)에 만족도에 대한 피드백을 줄 수 있다. 사용자 의도 맞춤형 사물기기 협업 장치(100)는 피드백정보를 누적 저장해 두었다가, 추후 동일한 서비스 요청 시 이를 반영하여 기기(200)를 선정하고, 해당 사용자에게 보다 만족도가 높은 서비스를 제공한다.
이때 단순히 특정 기능에 대해서 특정 기기에 대한 만족도만을 저장하는 것이 아니라, 사용자의 상황정보(서비스 이용시간, 사용자, 사용자의 위치, 주변소음상황 등)까지 함께 저장해 둠으로써 사용자가 요청한 서비스에 대한 만족도를 더욱 높일 수 있다. 예를 들어, 사용자가 잠자기 전 음악을 들을 때에는 안방의 스피커로 음악듣는 것을 선호하고, 낮 시간에 음악을 들을 때에는 거실 오른쪽에 위치한 B 스피커로 음악듣는 것을 선호하며, 낮 시간에 영화를 볼 때에는 거실 뒷편의 C 스피커를 선호한다는 등의 상황정보를 함께 저장해 둔다.
도 3은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물기기 협업 장치의 세부 구성도이다.
도 3을 참조하면 사용자 의도 맞춤형 사물기기 협업 장치(100)는 사용자 요청 수신부(110), 통신부(120), 사용자 통합 인증부(130), 기기 인증부(140), 사용자 의도 해석부(150), 의도 맞춤 기능 분석부(160), 필요기능 요청부(170), 저장부(180), 스피커(190), 표시부(191)를 포함한다.
사용자 요청 수신부(110)는 사용자의 서비스 요청을 수신한다. 이때, 사용자 요청 수신부(100)는 음성 인식 엔진 등을 구비하여 사용자의 음성을 인식할 수 있다.
통신부(120)는 사물기기(200)와의 통신을 수행한다.
사용자 통합 인증부(130)는 사용자로부터 서비스 요청을 받으면, 사용자 통합 인증을 수행한 후 사용자 음성을 해석하여 사용자의 상태를 인지한다. 이를 위해, 사용자 통합 인증부(130)는 사용자의 음성 등을 미리 저장하고 있다가 사용자 음성신호가 수신되면 미리 저장해둔 음성정보와 비교하여 사용자 인증을 수행한다.
기기 인증부(140)는 기기를 인증하고 기기의 상황을 인지한다.
사용자 의도 해석부(150)는 사용자 음성 인식 결과로부터 사용자의 의도를 해석한다.
의도 맞춤 기능 분석부(160)는 사용자 의도에 맞는 서비스를 제공하기 위한 사물기기의 기능을 분석한다. 또한, 의도 맞춤 기능 분석부(160)는 동일한 기능을 수행하는 복수개의 사물기기로부터 응답메시지를 수신한 경우, 복수개의 사물기기 중 하나를 선정한다.
필요기능 요청부(170)는 필요한 기능을 요청하기 위한 메시지를 생성하고 메시지를 전송한다. 이때, 브로드캐스트 메시지는 도 5에 도시된 바와 같이, 필요기능 리스트와 사용자 의도 맞춤형 사물기기 협업 장치(100)의 위치정보, 사용자 의도 맞춤형 사물기기 협업 장치(100)의 인증정보, 사용자 정보, 맥(MAC) 정보를 포함할 수 있다.
저장부(180)는 사용자 인증을 위한 정보, 사용자의 피드백 정보, 기기들의 인증을 위한 정보, 서비스별 필요기능들에 대한 매핑정보 등을 저장한다. 이때, 서비스별 필요기능들에 대한 매핑정보는 필요 시 서버 등에 연결하여 다운받을 수 있다.
도 3의 사용자 의도 맞춤형 사물기기 협업 장치의 구성은 본 발명의 특징을 구현하기 위한 기본적인 구성으로 개시되어 있으나 다양한 기능을 더욱 추가할 수 있다.
도 4는 본 발명의 실시예에 따른 사물 기기의 세부 구성도이다.
도 4를 참조하면, 사물 기기는 통신부(211), 기기통합 인증부(212), 메시지 분석부(213), 상황인지형 접근제어부(214), 응답메시지 생성부(215)를 포함한다.
통신부(211)는 사물기기(200) 간, 사용자 의도 맞춤형 사물기기 협업 장치(100)와의 통신을 수행한다.
기기통합 인증부(212)는 기기의 인증정보를 이용한 기기 인증뿐만 아니라 기기의 상태정보까지 통합하여 인증을 수행한다.
메시지 분석부(213)는 수신한 브로드캐스트 메시지를 디코딩(decoding)하고, 기기가 보내는 메시지를 인코딩하는 기능을 수행한다. 메시지 분석부(213)는 사용자 의도 맞춤형 사물기기 협업 장치(100)로부터 수신한 메시지를 분석하여, 자신이 사용자 의도 맞춤형 사물기기 협업 장치(100)가 요청한 필요기능의 제공이 가능한지를 판단한다.
상황인지형 접근제어부(214)는 자신의 기기에 주로 메시지를 보냈던 사용자 의도 맞춤형 사물기기 협업 장치의 정보를 누적하여 악의를 가진 기기가 프로세스의 실행을 요청하거나 메시지를 보내올 경우 해당 메시지를 폐기하고 요청 프로세스의 실행을 거부할 수 있도록 한다. 또한, 상황인지형 접근 제어부(214)는 사용자가 미리 설정한 정보에 따라 특정 기기로부터 수신되는 요청 및 메시지만을 허용하도록 설정할 수 있다.
응답메시지 생성부(215)는 인증정보 및 자신이 제공 가능한 기능정보를 포함하는 응답메시지를 생성한다. 이러한 응답 메시지는 통신부(211)를 통해 사용자 의도 맞춤형 사물기기 협업 장치(100)로 전송된다.
이하, 도 6을 참조하여 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 방법을 구체적으로 설명하기로 한다.
먼저, 사용자가 사용자 의도 맞춤형 사물기기 협업 장치(100)로 서비스를 요청한다(S101). 이때 사용자는 서비스 요청을 위해 음성으로 요청할 수 있다.
사용자 의도 맞춤형 사물기기 협업 장치(100)는 사용자 인증을 수행하고 사용자 의도를 해석한다(S102).
사용자 의도에 맞는 서비스를 제공하기 위해 필요한 기기들(201~204)에 대하여 사용자 요청 해결을 위해 필요한 기능들을 알리는 브로드캐스트(broadcast) 메시지를 전송한다(S103, S104, S105).
이 후, 각 기기들(201~204)은 요청 내용 인증 후 자신이 제공 가능한 기능, 인증결과, 기기 상황을 사용자 의도 맞춤형 사물기기 협업 장치(100)로 회신한다(S106~S108).
이에 사용자 의도 맞춤형 사물기기 협업 장치(100)는 각 기기들(201~204)로부터 수신한 기기 인증 결과 및 기기 상황을 고려하여 기기(201, 202)에게 해당 기능 실행 요청을 수행한다(S109).
이에 해당 기기(201, 202)는 기기간 협동으로 사용자가 요청한 서비스를 사용자에게 제공한다(S111, S112).
이 후, 사용자는 제공받은 서비스에 대해 사용자 만족도를 사용자 의도 맞춤형 사물기기 협업 장치(100)로 피드백한다(S113).
도 6에 개시되어 있지 않으나, 사용자 의도 맞춤형 사물기기 협업 장치(100)는 자신이 송신한 서비스 제공을 위해 필요한 기능들을 알리는 브로드캐스트 메시지에 대해 사물기기로부터 필요한 기능들을 제공하겠다는 응답 메시지가 일정시간내에 수신되지 않으면 사용자에게 에러 메시지를 음성 또는 디스플레이 화면을 통해 통보할 수 있다. 이때, 에러메시지는 특정 기능을 실행할 수 없어서 사용자가 요청한 서비스를 제공할 수 없음을 명확히 함으로써 사용자가 해당 기능을 제공하는 기기의 상태를 살펴볼 수 있도록 할 수 있다.
이와 같이, 본 발명은 사용자가 원하는 서비스를 음성으로 요청하면, 사용자 의도 맞춤형 사물기기 협업 장치(100)에 의해 사용자의 음성이 인식되고 사용자의 의도가 파악되어, 사용자의 의도에 맞는 기능을 수행할 수 있는 주변 사물기기들로 서비스 요청을 하고, 주변 사물기기로부터 응답이 있는 경우 주변 사물기기간의 협업을 통해 사용자가 요청한 서비스를 제공하도록 한다.
이처럼 본 발명은 사용자의 의도를 파악하여 사용자의 의도에 맞는 기능을 분석하고 해당 기능을 제공하는 기기들을 섭외하는 과정이 자율적으로 이루어짐으로써 사용자의 편리성을 증대시킬 수 있다.
또한, 본 발명은 사용자가 사물기기의 협업에 의한 서비스를 제공받은 후 서비스 만족도를 피드백하여 다음 서비스 요청에 반영되도록 함으로써 사용자가 서비스를 이용하는 횟수가 증가할수록 더욱 만족도가 높은 서비스를 제공받도록 할 수 있다.
또한, 본 발명은 기기간 통신이 많아질수록 보안 문제가 발생할 소지가 증가하는데 이러한 문제를 해결하기 위해 메시지 수신 시 메시지 인증은 물론 통신 기기간 인증 및 접근 제어를 통해 보안성을 확보하도록 한다.
도 7은 본 발명의 실시예에 따른 사용자 의도 맞춤형 사물간 자율 제어 기술을 적용한 컴퓨터 시스템의 구성도이다.
도 7을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 사용자 의도 맞춤형 사물기기 협업 장치
200 : 사물 기기
110 : 사용자 요청 수신부
120 : 통신부
130 : 사용자 통합 인증부
140 : 기기 인증부
150 : 사용자 요청 디코딩부
160 : 기기선정부
170 : 필요기능 요청부
180 : 저장부

Claims (20)

  1. 통신이 가능한 사물기기와의 통신을 수행하는 사용자 의도 맞춤형 사물기기 협업 장치에 있어서,
    사용자 요청을 수신하는 사용자 요청 수신부;
    상기 사용자 요청에 따라 상기 사용자의 의도를 해석하는 사용자 의도 해석부;
    상기 사용자 의도에 맞는 서비스를 제공하기 위한 사물기기의 기능을 분석하는 의도 맞춤 기능 분석부; 및
    상기 사용자 의도에 맞는 서비스를 제공하기 위해 필요한 기능을 상기 사물기기로 요청하는 필요 기능 요청부
    를 포함하고,
    상기 사용자 요청 수신부는,
    상기 사용자로부터 사물기기를 통해 제공받은 서비스에 대한 만족도 결과를 피드백하여 수신하고,
    상기 의도 맞춤 기능 분석부는,
    복수개의 사물기기로부터 응답메시지를 수신한 경우, 상기 만족도 결과를 이용하여 복수개의 사물기기 중 하나를 선정하고,
    상기 필요기능 요청부는,
    상기 사용자 의도에 맞는 서비스 제공을 위해 필요한 기능을 포함하는 브로드캐스트 메시지를 생성하여 상기 사물기기로 전송하고,
    상기 브로드캐스트 메시지는,
    필요 기능 리스트, 자신의 위치정보, 자신의 인증정보, 사용자정보, 맥(MAC) 정보 중 적어도 하나 이상을 포함하고,
    상기 사물기기는,
    상기 브로드캐스트 메시지에 포함된 위치 정보와 기수신한 브로드캐스트 메시지에 포함된 이전 위치 정보 사이의 사용자 의도 맞춤형 사물기기 협업 장치의 위치 차이 값이 기설정된 값 이상인 경우, 상기 사용자의 인증이 실패하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  2. 청구항 1에 있어서,
    상기 사용자 요청 수신부는,
    상기 사용자의 음성을 인식하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  3. 청구항 2에 있어서,
    상기 사용자 의도 해석부는,
    상기 사용자의 음성을 인식한 결과로부터 사용자의 의도를 해석하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 사용자 요청 수신부가 상기 사용자 요청을 수신하면 사용자의 음성 을 이용하여 사용자 인증 및 상황을 인지하는 사용자 통합 인증부;
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  7. 청구항 1에 있어서,
    상기 사물기기로부터 필요한 기능요청에 대한 응답메시지를 수신하는 경우 상기 응답 메시지를 수신한 사물기기에 대한 인증을 수행하는 기기 인증부;
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  8. 청구항 7에 있어서,
    상기 기기 인증부는,
    상기 사물기기로부터 미리 정한시간 동안 응답메시지가 수신되지 않으면, 사용자에게 에러메시지를 통보하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  9. 청구항 8에 있어서,
    상기 에러 메시지를 음성 출력하는 스피커; 또는
    상기 에러 메시지를 화면에 표시하는 표시부
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  10. 삭제
  11. 청구항 1에 있어서,
    상기 사물 기기와 통신을 수행하는 통신부
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  12. 청구항 1에 있어서,
    사용자 인증을 위한 정보, 사용자의 피드백 정보, 사물기기들의 인증을 위한 정보, 서비스별 필요 기능 정보 중적어도 하나 이상을 저장하는 저장부
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 장치.
  13. 삭제
  14. 사용자 의도를 해석하고, 상기 사용자의 의도에 맞는 기능을 가지는 사물기기로 서비스 제공 요청을 하는 사용자 의도 맞춤형 사물기기 협업장치; 및
    상기 사용자 의도 맞춤형 사물기기와 통신을 수행하여상기 사용자에게 사용자 의도 맞춤 서비스를 제공하는 사물기기
    를 포함하고,
    상기 사용자 의도 맞춤형 사물기기 협업장치는
    상기 사용자로부터 사물기기를 통해 제공받은 서비스에 대한 만족도 결과를 피드백하여 수신하고,
    복수개의 사물기기로부터 응답메시지를 수신한 경우, 상기 만족도 결과를 이용하여 복수개의 사물기기 중 하나를 선정하고,
    상기 사용자 의도에 맞는 서비스 제공을 위해 필요한 기능을 포함하는 브로드캐스트 메시지를 생성하여 상기 사물기기로 전송하고,
    상기 브로드캐스트 메시지는,
    필요 기능 리스트, 자신의 위치정보, 자신의 인증정보, 사용자정보, 맥(MAC) 정보 중 적어도 하나 이상을 포함하고,
    상기 사물기기는,
    상기 브로드캐스트 메시지에 포함된 위치 정보와 기수신한 브로드캐스트 메시지에 포함된 이전 위치 정보 사이의 사용자 의도 맞춤형 사물기기 협업 장치의 위치 차이 값이 기설정된 값 이상인 경우, 상기 사용자의 인증이 실패하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 시스템.
  15. 청구항 14 있어서,
    상기 사물기기는,
    상기 사물기기간, 상기 사용자 의도 맞춤형 사물기기 협업장치와 상기 사물기기간의 통신을 수행하는 통신부
    상기 사용자 의도 맞춤형 사물기기 협업장치로부터 수신한 메시지를 분석하는 사용자 메시지 분석부;
    상기 사용자 의도 맞춤형 사물기기 협업장치로부터 수신한 메시지에 대응하는 필요 기능의 제공이 가능한 경우 응답메시지를 생성하는 응답메시지 생성부
    를 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 시스템.
  16. 청구항 15 있어서,
    상기 사물 기기는,
    상기 사물 기기의 인증 및 사물 기기의 상태정보를 인증하는 기기 통합 인증부;
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 시스템.
  17. 청구항 15에 있어서,
    상기 사물기기는,
    자신의 기기에 자주 메시지를 보낸 사용자 의도 맞춤형 사물기기 협업 장치의 정보를 누적하여 악의적 사용자의 서비스 요청을 거절하도록 제어하는 상황 인지형 접근 제어부;
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 시스템
  18. 청구항 15에 있어서,
    상기 사용자 메시지 분석부는,
    상기 사용자 의도 맞춤형 사물기기 협업 장치로부터 수신한 메시지를 분석하여, 자신이 상기 사용자 의도 맞춤형 사물기기 협업 장치가 요청한 필요기능의 제공이 가능한지를 판단하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 시스템.
  19. 사용자 의도 맞춤형 사물기기 협업 장치에 의해 통신이 가능한 사물기기간의 협업 방법에 있어서,
    사용자의 음성에 의한 서비스 요청이 수신되면 사용자의 의도를 해석하는 단계;
    상기 사용자의 의도에 맞는 서비스 제공을 위한 필요 기능을 분석하는 단계;
    상기 필요 기능 정보를 포함하는 브로드캐스트 메시지를 복수의 사물기기로 요청하는 단계: 및
    상기 필요 기능의 제공이 가능한 사물 기기들 중 서비스가 가능한 사물기기들의 협업을 통해 서비스가 제공되는 단계
    를 포함하고,
    상기 해석하는 단계는,
    상기 사용자로부터 사물기기를 통해 제공받은 서비스에 대한 만족도 결과를 피드백하여 수신하고,
    상기 분석하는 단계는,
    복수개의 사물기기로부터 응답메시지를 수신한 경우, 상기 만족도 결과를 이용하여 복수개의 사물기기 중 하나를 선정하고,
    상기 요청하는 단계는,
    상기 사용자 의도에 맞는 서비스 제공을 위해 필요한 기능을 포함하는 브로드캐스트 메시지를 생성하여 상기 사물기기로 전송하고,
    상기 브로드캐스트 메시지는,
    필요 기능 리스트, 자신의 위치정보, 자신의 인증정보, 사용자정보, 맥(MAC) 정보 중 적어도 하나 이상을 포함하고,
    상기 사물기기는,
    상기 브로드캐스트 메시지에 포함된 위치 정보와 기수신한 브로드캐스트 메시지에 포함된 이전 위치 정보 사이의 사용자 의도 맞춤형 사물기기 협업 장치의 위치 차이 값이 기설정된 값 이상인 경우, 상기 사용자의 인증이 실패하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 방법.
  20. 청구항 19에 있어서,
    상기 브로드캐스트 메시지에 대해 상기 복수의 사물기기로부터 필요한 기능을 제공하겠다는 응답메시지가 수신되지 않으면, 에러메시지를 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 사용자 의도 맞춤형 사물기기 협업 방법.
KR1020160026598A 2016-03-04 2016-03-04 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법 KR102000161B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160026598A KR102000161B1 (ko) 2016-03-04 2016-03-04 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160026598A KR102000161B1 (ko) 2016-03-04 2016-03-04 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170103548A KR20170103548A (ko) 2017-09-13
KR102000161B1 true KR102000161B1 (ko) 2019-07-16

Family

ID=59967718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160026598A KR102000161B1 (ko) 2016-03-04 2016-03-04 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102000161B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110474973B (zh) 2019-08-08 2022-02-08 三星电子（中国）研发中心 一种多设备共享智能引擎的方法、系统和设备
US20220254345A1 (en) * 2019-08-16 2022-08-11 Lg Electronics Inc. Display device and artificial intelligence server capable of controlling home appliance through user's voice

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184813A (ja) * 2014-03-20 2015-10-22 富士通株式会社 連携機器選択装置、連携機器選択方法および連携機器選択プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9900171B2 (en) 2013-02-25 2018-02-20 Qualcomm Incorporated Methods to discover, configure, and leverage relationships in internet of things (IoT) networks
US9292832B2 (en) * 2013-02-25 2016-03-22 Qualcomm Incorporated Collaborative intelligence and decision-making in an IoT device group
KR101514417B1 (ko) * 2013-05-15 2015-04-24 주식회사 라온익스 커뮤니케이션 서비스를 이용한 홈 기기 제어, 방문자통화 및 보안 영상 전송에 대한 방법, 장치 및 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184813A (ja) * 2014-03-20 2015-10-22 富士通株式会社 連携機器選択装置、連携機器選択方法および連携機器選択プログラム

Also Published As

Publication number Publication date
KR20170103548A (ko) 2017-09-13

Similar Documents

Publication Publication Date Title
US11670297B2 (en) Device leadership negotiation among voice interface devices
US11869527B2 (en) Noise mitigation for a voice interface device
JP7225301B2 (ja) 音声インターフェイスデバイスにおけるマルチユーザパーソナライゼーション
US11855981B2 (en) Authenticating a user device via a monitoring device
CN109844856B (zh) 从单个设备访问多个虚拟个人助理(vpa)
US11880442B2 (en) Authentication of audio-based input signals
US20150243163A1 (en) Audio Based Remote Control Functionality
US20190378518A1 (en) Personalized voice recognition service providing method using artificial intelligence automatic speaker identification method, and service providing server used therein
KR20200091895A (ko) 네트워크 시스템의 분산 식별
KR102000161B1 (ko) 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법
US10893235B2 (en) Conferencing apparatus and method for switching access terminal thereof
CN104579665B (zh) 鉴权方法及装置
GB2602895A (en) A method and system for authenticating a device
GB2595836A (en) A method and system for authenticating a device
Shrestha et al. Chirp-Loc: Multi-factor authentication via acoustically-generated location signatures
Blue et al. Lux: Enabling ephemeral authorization for display-limited IoT devices
CN109190359A (zh) 单点操作方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant