KR20200094002A

KR20200094002A - IoT 서비스 플랫폼 장치

Info

Publication number: KR20200094002A
Application number: KR1020190011441A
Authority: KR
Inventors: 임선환; 박동환; 서영호; 우성필; 조준면
Original assignee: 한국전자통신연구원
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2020-08-06

Abstract

사물인터넷(Internet of Things, IoT) 장치로부터 획득된 데이터에 기반하여 상황에 맞는 액션을 실행하는 IoT 서비스 플랫폼 장치로서, IoT 센서로부터 획득된 센싱 데이터를 상황 정보로 변환하는 인지부, 상기 상황 정보에 대응하는 액션 규칙을 도출하는 추론부, 상기 액션 규칙에 대응하는 액션을 실행하는 액추에이터 장치를 제어하는 액션부, 그리고 상기 액션부로부터 상기 액추에이터 장치의 사용자 로그를 획득하고, 상기 사용자 로그를 바탕으로 상기 액션 규칙을 갱신하는 학습부를 포함하는 IoT 서비스 플랫폼 장치가 제공된다.

Description

IoT 서비스 플랫폼 장치{FLATFORM DEVICE FOR PROVIDING IoT SERVICE}

본 기재는 사물인터넷(Internet of Things, IoT) 장치로부터 획득된 데이터에 기반하여, 상황에 맞는 액션을 실행하는 IoT 서비스 플랫폼 장치에 관한 것이다.

종래의 규칙 기반 IoT 서비스 플랫폼은 추론 규칙 즉, 액션 규칙이 미리 정의되고, 이후 필요에 따라 사람에 의해 수작업으로 변경되었다. 서비스 플랫폼이 보다 능동적이고 지능적으로 IoT 서비스를 제공하기 위해서는 서비스 플랫폼 스스로 자신의 액션을 조정할 수 있어야 한다. 또한, 사용자 정보에 기반한 사용자의 선행 및 후행 연관 패턴 파악, 및 사용자의 상황 정보에 기반한 행동 패턴(예, 계절, 날씨, 조건 등의 주변 상황 의존 패턴) 학습을 통해 지능적인 시스템으로 진화할 수 있는 서비스 플랫폼이 요구된다.

한 실시예는 사물인터넷(Internet of Things, IoT) 장치로부터 획득된 데이터에 기반하여 상황에 맞는 액션을 실행하는 IoT 서비스 플랫폼 장치를 제공한다.

한 실시예에 따르면, 사물인터넷(Internet of Things, IoT) 장치로부터 획득된 데이터에 기반하여 상황에 맞는 액션을 실행하는 IoT 서비스 플랫폼 장치가 제공된다. 상기 IoT 서비스 플랫폼 장치는 IoT 센서로부터 획득된 센싱 데이터를 상황 정보로 변환하는 인지부, 상기 상황 정보에 대응하는 액션 규칙을 도출하는 추론부, 상기 액션 규칙에 대응하는 액션을 실행하는 액추에이터 장치를 제어하는 액션부, 그리고 상기 액션부로부터 상기 액추에이터 장치의 사용자 로그를 획득하고, 상기 사용자 로그를 바탕으로 상기 액션 규칙을 갱신하는 학습부를 포함한다.

사용자 정보에 기반한 사용자의 선행 및 후행 연관 패턴 파악, 및 사용자의 상황 정보에 기반한 행동 패턴 학습을 통해 능동적이고 지능적인 IoT 서비스를 제공할 수 있다.

도 1은 한 실시예에 따른 IoT 서비스 플랫폼 장치의 블록도이다.
도 2는 한 실시예에 따른 IoT 서비스 플랫폼 장치의 슬라이스 엔진의 구조도이다.
도 3은 한 실시예에 따른 IoT 서비스 플랫폼 장치의 사용자의 차량 내 환경을 자동 제어하는 방법의 흐름도이다.
도 4는 다른 실시예에 따른 IoT 서비스 플랫폼 장치의 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

규칙 기반 사물인터넷(Internet of Things, IoT) 서비스 플랫폼은 상황인식 및 액션실행이 사전에 정의된 생성규칙(production rule) 형태의 상황추론 규칙과 액션추론 규칙에 의해 이루어지는 IoT 서비스 플랫폼이다.

규칙 기반 IoT 서비스 플랫폼에는 센서 장치에 의해 획득된 외부환경 데이터가 정보로(예, fact)로서 저장된다. 정보를 저장/관리하는 모듈을 지식 베이스(Knowledge Base, KB)라 한다.

규칙 엔진(rule engine)은 획득된 외부환경 데이터에 기반하여 추론 및 상황을 인식하고, 인식된 상황에 대응하는 액션을 결정한다. 추론은 사전에 미리 정의된 다수 서비스 규칙을 통해 이루어진다. 규칙 추론은 다수 서비스 규칙 간의 전제와 결론의 다단계 연쇄(chanining)를 통해 암묵적인 상황 지식을 유도하거나 실행해야 하는 액션을 유도하는 과정이다. 유도된 새로운 암묵적인 상황 지식은 지식 베이스에 새로운 명시적 지식으로 저장되고, 유도된 액션은 액추에이터 장치를 통해 실행된다.

서비스 규칙은 상황 지식을 추론하는 상황 규칙과 액션 지식을 추론하는 액션 규칙으로 구분될 수 있다. 액션 규칙은 외부환경과 사용자 간의 상호작용을 담당하는 실행코드를 호출하는 명령이 서비스 규칙의 액션(예, THEN) 파트에 삽입되어 있는 서비스 규칙이다. 액션 규칙은 조건(예, IF) 파트에 정의된 상황이 만족되면 명령 호출에 의해 응용과 외부환경이 상호작용하도록 하는 서비스 규칙이다. 상황 규칙은 지식 베이스에 저장된 정보(예, fact) 자체를 유도, 변경, 및 생성하는 명령이 액션(예, THEN) 파트에 삽입된 서비스 규칙이다.

액션 실행에 의해 외부환경에 변화가 발생하면, 외부환경의 변화는 센서 장치를 통해 감지되고, 감지된 외부환경 변화에 대응하는 새로운 액션이 유도되고, 실행되기 때문에, 규칙 기반 IoT 서비스 플랫폼을 중심으로 순환고리가 형성된다.

도 1은 한 실시예에 따른 IoT 서비스 플랫폼 장치의 블록도이다.

도 1을 참조하면, 한 실시예에 따른 IoT 서비스 플랫폼 장치(100)는, 슬라이스(Self-Learnable IoT Common software Engine, SLICE) 엔진(110), 실행 모듈(130), 및 이벤트 브로커(150)을 포함한다.

실행 모듈(130)은 센싱부(131), 인지부(132), 추론부(133), 액션부(134), 및 학습부(135)를 포함할 수 있다.

센싱부(131)는 다양한 IoT 센서 장치를 포함하며, 센서 장치(20)를 통해 외부환경으로부터 데이터를 획득하고, 획득된 데이터를 정제한다. 예를 들어, 센싱부(131)는 온도 센서를 통해 실내 온도를 일정 주기로 획득한 후(또는 습도 센서를 통해 실내 습도를 일정 주기로 획득한 후), 획득된 데이터를 섭씨 온도로 변환하거나, 또는 획득된 데이터에서 오류 데이터 또는 잡음을 제거할 수 있다.

인지부(132)는 센싱부(131)를 통해 획득된 데이터가 단일 또는 다수의 IoT 서비스를 위해 미리 정의된 정보 모델에 적합해지도록, 센싱부(131)를 통해 획득된 데이터를 상황 정보로 가공한다. 예를 들어, 인지부(132)는 센싱부(131)를 통해 획득된 온도 데이터 29도를 '덥다'라는 상황 정보로 가공할 수 있다.

추론부(133)는 의사결정부로서, 인지부(132)를 통해 가공된 상황 정보에 대응하는 액션 규칙을 도출한다. 구체적으로, 추론부(133)는 인지부(132)를 통해 가공된 상황 정보를 저장하고, 상황 정보를 관리(예, 갱신 또는 검색)하며, 상황 정보의 변경에 따라 다수의 상황 및 액션 규칙을 추론한다. 추론부(133)는 암묵적 지식과 상황 변화에 대응하기 위해 필요한 액션을 유도할 수 있다. 예를 들어, 인지부(132)를 통해 가공된 상황 정보가 '덥다'이면 액추에이터 장치(예, 에어컨)을 작동시키는 액션을 추론 내지 유도할 수 있다.

추론부(133)는 생성되는 규칙에 인덱스(index)를 부여하고, 기 분류된 기준에 따라 인덱스를 분류할 수 있다. 한 실시예로서, 추론부(133)는 1000개의 기 생성된 규칙을 다양한 기준에 따라 분류할 수 있다. 분류 및 그룹화를 통해 입력된 센싱 값과 규칙들 간의 비교 시간이 단축됨으로써, 추론 시간이 단축될 수 있다. 예를 들어, 센싱 값이 value 1과 value 10 사이에 존재하는 경우, 규칙 분류 class 1 또는 class 2에 적용되는 것으로 결정하고, 전체 규칙 1000개 중 class 1에 속하는 규칙 100개만을 검색하여 센싱 값과 인지된 상황을 비교하거나, 또는 class 2에 속하는 규칙만을 검색하여 센싱 값과 인지된 상황을 비교할 수 있다. 이를 통해, 인지된 상황에 적합한 규칙을 추론하는 시간은 단축될 수 있다.

액션부(134)는 복수의 액추에이터 장치(40) 중 추론부(133)를 통해 도출된 액션 규칙에 대응하는 액션을 실행하는 액추에이터 장치를 제어한다. 구체적으로, 액션부(134)는 추론부(133)를 통해 유도된 액션을 다양한 액추에이터 장치를 통해 실행한다. 예를 들어, 추론부(133)를 통해 '에어컨을 켜라'라는 액션이 유도되었을 때, 액션부(134)는 액추에이터 장치(예, 에어컨)를 작동시켜 외부환경의 변화를 발생시킨다.

학습부(135)는 액션부(134)로부터 액추에이터 장치의 사용자 로그를 획득하고, 사용자 로그를 바탕으로 액션 규칙을 갱신한다. 구체적으로, 학습부(135)는 미리 설정된 주기로 액션부(134)의 액션로그 모듈에 저장된 사용자 로그를 획득하고, 학습 알고리즘을 사용하여 사용자 로그로부터 사용자의 선행 및 후행 연관 패턴 및 사용자의 상황 정보에 기반한 행동 패턴(예, 계절, 날씨, 조건 등 주변 상황 의존 패턴)을 추출하며, 사용자의 연관 패턴 또는 행동 패턴에 대응하는 신규 액션 규칙을 생성한다. 예를 들어, 학습부(135)는 학습 알고리즘을 사용하여 획득된 사용자 로그(예, 에어컨 가동)로부터 사용자의 연관 패턴 또는 행동 패턴(예, 실내온도가 28도일 때 사용자가 계속 에어켠을 켜는 것)을 추출하며, 사용자의 연관 패턴 또는 행동 패턴에 대응하는 신규 액션 규칙(예, '실내 온도가 28도 이상이면 에어컨을 켜라')을 생성할 수 있다. 미리 설정된 주기는 사용자의 설정에 따라 달라질 수 있는 값이다.

학습부(135)는 신규 액션 규칙 생성 후 기존 액션 규칙을 갱신할 수 있다.

도 2는 한 실시예에 따른 IoT 서비스 플랫폼 장치의 슬라이스 엔진의 구조도이다.

도 1 및 도 2를 참조하면, 한 실시예에 따른 IoT 서비스 플랫폼 장치의 슬라이스 엔진(110)은 자바 가상 머신(Java Virtual Machine, JVM) 상의 오픈 서비스 게이트웨이 이니셔티브(Open Services Gateway initiative, OSGi) 프레임워크를 기반으로 구현될 수 있고, JVM이 동작할 수 있는 다양한 지능형 사물에 탑재되어 동작할 수 있다. OSGi 프레임워크 상에서 지능형 사물이 동작하는데 필요한 슬라이스 엔진(110)의 다양한 소프트웨어 컴포넌트 및 학습 모델 컴포넌트들은 모듈화되어 동작할 수 있다. 슬라이스 엔진(110)은 사용자의 명시적 명령에 의해 실행되는 액션 또는 피드백에 따라 사용자에 맞는 행동 정보를 자율적으로 수정하고, 학습 모델을 업데이트할 수 있다.

슬라이스 엔진(110)의 동작은 인지(Perception), 추론(Reasoning), 학습(Learning), 및 행동(Action)으로 나뉠 수 있다.

인지는 센서 바인딩(binding)으로부터 획득한 컨텍스트 스트림, 이벤트 브로커(150)에게 전달하는 이벤트 스트림, 및 이벤트 브로커(150)로부터 전달받은 이벤트 스트림을 처리하는 스트림 어댑터로서의 기능을 수행한다.

행동은 액추에이터 바인딩과 연결된 서비스를 찾고, 타겟 서비스를 요청하는 제어 어댑터로서의 기능을 수행한다.

추론 및 학습은 규칙 및 도메인 모델 번들에 포함된 행위(behaviors)를 구동시키기 위한 목적으로서의 기능을 수행한다.

슬라이스 엔진(110)의 인지(Perception), 추론(Reasoning), 학습(Learning), 및 행동(Action)은 다음의 모듈들을 통해 수행된다.

한 실시예에 따른 슬라이스 엔진(110)은 디바이스 제공(Device Provision) 모듈(111), 디바이스 추상화(Device Abstraction) 모듈(112), 프레임워크(Framework) 모듈(113), 워킹 메모리(Working Memory) 모듈(115), 및 규칙 엔진(Rule Engine) 모듈(116)을 포함할 수 있다.

디바이스 제공(Device Provision) 모듈(111)은 상위 계층인 디바이스 추상화(Device Abstraction) 모듈에서 제공하는 표준 인터페이스와 장치 프레임워크를 이용하여 다양한 물리적 센서 및 액추에이터와 연동하는 계층이다. 디바이스 제공(Device Provision) 모듈(111)은 연동된 각 장치가 제공하는 고유 API 또는 라즈베리파이(Raspberry Pi) 수준의 Pi4J를 이용하여 각 장치와 저수준으로 연동할 수 있다. 또한, 디바이스 제공(Device Provision) 모듈(111)은 OneM2M과 같은 표준 IoT 플랫폼을 통해 각 장치와 추상화된 연동을 형성할 수 있다.

디바이스 추상화(Device Abstraction) 모듈(112)은 디바이스 제공(Device Provision) 모듈(111)이 다양한 IoT 장치들과 연동하여 동작할 수 있도록 데이터 모델, 표준 인터페이스, 연동 프레임워크를 제공한다. 센서 장치는 표준 이벤트 타입 및 표준 이벤트 토픽을 센서 SPI로 제공하고, 디바이스 추상화(Device Abstraction) 모듈(112)의 이벤트 발송 및 구독 프레임워크통해 디바이스 제공(Device Provision) 모듈(111)에 연동된다. 액추에이터 장치는 장치 제어 및 접근을 위한 표준 인터페이스를 센서 SPI로 제공하고, 디바이스 추상화(Device Abstraction) 모듈(112)의 서비스 등록, 검색, 및 호출 프레임워크를 통해 디바이스 제공(Device Provision) 모듈(111)에 연동된다.

프레임워크(Framework) 모듈(113)은 이벤트 프레임워크(Event Framework)(113a) 및 서비스 프레임워크(Service Framework)(113b)을 포함할 수 있다. 프레임워크(Framework) 모듈(113)은 디바이스 추상화(Device Abstraction) 모듈(112)을 통해 다양한 장치로부터 획득된 저수준의 장치 이벤트들이 워킹 메모리(Working Memory) 모듈(115)에서 활용될 수 있도록, 저수준의 장치 이벤트들을 고수준의 팩트 객체로 변환한다. 프레임워크(Framework) 모듈(113)은 저수준의 장치 이벤트들을 필터링, 조합, 및 해석하여 고수준의 팩트 객체로 변환한 후, 워킹 메모리(Working Memory) 모듈(115)에게 전달한다.

워킹 메모리(Working Memory) 모듈(115)은 저수준의 SPI를 통해 직접 액추에이터 장치를 제어할 수 없으므로, 서비스 프레임워크(Service Framework)(113b)를 통해 고수준의 서비스를 호출한다. 워킹 메모리(Working Memory) 모듈(115)은 고수준의 서비스를 필요로 하는 액추에이터 SPI에 바인딩됨으로써, 장치를 제어할 수 있고 정보에 접근할 수 있다.

워킹 메모리(Working Memory) 모듈(115)은 규칙 엔진(Rule Engine) 모듈(116)에서 정의된 규칙에 관련된 팩트들을 추가, 삭제, 및 갱신할 수 있는 인터페이스를 제공한다.

이벤트 프레임워크(Event Framework)(113a)는 워킹 메모리(Working Memory) 모듈(115)이 제공하는 인터페이스를 통해 워킹 메모리(Working Memory)의 상태를 갱신한다. 이벤트 프레임워크(Event Framework)(113a)는 규칙에서 정의된 장치 제어 서비스 호출을 위한 외부 연결 객체를 관리한다.

규칙 엔진(Rule Engine) 모듈(116)은 사용자가 정의한 사물지능 규칙들을 관리하고 실행한다. 규칙은 사물이 적용되는 도메인에 특수한 사물지능을 표현하기 위한 규칙, 복합 이벤트 처리(Complex Event Processing)를 통한 상황 인지를 위한 규칙을 포함할 수 있다. 규칙 엔진(Rule Engine) 모듈(116)은 규칙의 실행 이력을 로깅(logging)하거나 규칙 저장소로부터 필요한 규칙을 조회하여 기존 규칙을 신규 규칙으로 갱신할 수 있는 Admin/Logging 기능을 제공할 수 있다.

도 3은 한 실시예에 따른 IoT 서비스 플랫폼 장치의 사용자의 차량 내 환경을 자동 제어하는 방법의 흐름도이다.

도 1 및 도 3을 참조하면, 한 실시예에 따른 IoT 서비스 플랫폼 장치의 제어 방법은, 사용자를 감지하고, 사용자 데이터를 수집하는 단계(S100), 수집된 데이터를 분석하는 단계(S200), 분석된 데이터에 기반하여 상황 지식 또는 액션 지식을 유도하는 단계(S300), 액추에이터에게 액션 실행을 요청하는 단계(S500), 학습 알고리즘을 사용하여 신규 액션 규칙을 생성하고, 액션 규칙을 갱신하는 단계(S700)를 포함할 수 있다.

IoT 서비스 플랫폼 장치의 제어 방법의 각 단계의 구체적인 설명은 다음과 같다.

센싱부(131)는 임의의 사용자가 차량 안으로 들어올 경우 초음파 센서 및 카메라 등을 이용하여 사용자를 감지한다(S100). 이때, 센싱부(131)는 외부환경 데이터로서, 사용자의 일정 및 생체정보(예, 심박수, 체온, 혈압, 혈당) 등 관련된 모든 데이터를 수집할 수 있다.

인지부(132)는 도메인 모델별로 수집된 외부환경 데이터를 분석(즉, 해석 및 추출)한다(S200).

추론부(133)는 인지부(132)에 저장된 개인 데이터에 기반하여 상황 지식 또는 액션 지식을 유도한다(S300). 추론부(133)는 규칙 추론 내용을 액션부(134)에게 전달한다(S400).

액션부(134)는 액션로그 모듈에게 액션실행 로깅(logging)을 요청하고, 액추에이터에게 액션 실행을 요청한다(S500).

학습부(135)는 미리 설정된 주기로 액션부(134)의 액션로그 모듈에 저장된 로그를 획득한다(S600). 학습부(135)는 학습 알고리즘을 사용하여 로그에 포함된 사용자 정보로부터 사용자의 선행 및 후행 연관 패턴 및 사용자의 상황 정보에 기반한 행동 패턴(예, 계절, 날씨, 조건 등 주변 상황 의존 패턴)을 추출하고, 사용자의 연관 패턴 또는 행동 패턴에 대응하는 신규 규칙을 생성하며, 추론부(133)의 기존 규칙을 생성된 신규 규칙으로 갱신한다(S700).

추론부(133)는 학습부(135)를 통해 갱신된 신규 규칙에 기반한 규칙 추론 내용, 즉, 개인별 차량내 환경 자동 제어를 위한 신규 규칙 추론 내용(예, 의자 각도 조정, 조명, 음량 등)을 액션부(134)에게 전달한다(S800).

액션부(134)는 액션로그 모듈에게 액션실행 로깅을 요청하고, 액추에이터에게 액션 실행을 요청한다(S900).

도 4는 다른 실시예에 따른 IoT 서비스 플랫폼 장치의 블록도이다.

한 실시예에 따른 IoT 서비스 플랫폼 장치는, 컴퓨터 시스템, 예를 들어 컴퓨터 판독 가능 매체로 구현될 수 있다. 도 4를 참조하면, 컴퓨터 시스템(400)은, 버스(420)를 통해 통신하는 프로세서(410), 메모리(430), 사용자 인터페이스 입력 장치(460), 사용자 인터페이스 출력 장치(470), 및 저장 장치(480) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(400)은 또한 네트워크에 결합된 네트워크 인터페이스(490)를 포함할 수 있다. 프로세서(410)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(430) 또는 저장 장치(480)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(430) 및 저장 장치(480)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory)(431) 및 RAM(random access memory)(432)를 포함할 수 있다.

본 기재의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

사물인터넷(Internet of Things, IoT) 장치로부터 획득된 데이터에 기반하여 상황에 맞는 액션을 실행하는 IoT 서비스 플랫폼 장치로서,
IoT 센서로부터 획득된 센싱 데이터를 상황 정보로 변환하는 인지부,
상기 상황 정보에 대응하는 액션 규칙을 도출하는 추론부,
상기 액션 규칙에 대응하는 액션을 실행하는 액추에이터 장치를 제어하는 액션부, 그리고
상기 액션부로부터 상기 액추에이터 장치의 사용자 로그를 획득하고, 상기 사용자 로그를 바탕으로 상기 액션 규칙을 갱신하는 학습부
를 포함하는 IoT 서비스 플랫폼 장치.