KR102262984B1

KR102262984B1 - 블록체인을 이용한 사물인터넷 기반의 원격 제어 가능한 전자 칠판 시스템

Info

Publication number: KR102262984B1
Application number: KR1020200159290A
Authority: KR
Inventors: 구기도
Original assignee: 주식회사 아하정보통신
Priority date: 2020-11-24
Filing date: 2020-11-24
Publication date: 2021-06-09
Also published as: WO2022114438A1

Abstract

본 발명의 목적은 터치패널을 포함하는 전자 칠판에서 여러 가지 IoT 입력 정보(음성 인식 입력정보, 터치 입력정보, 무선 입력정보)에 따라 사물인터넷(IoT) 네트워크로 연결된 외부 기기를 유무선으로 제어하는 기능을 수행하는 것이다. 이를 위하여, 터치 인식이 가능한 패널부와 상기 패널부가 터치되는 경우에 터치 방식에 따른 터치인식을 수행하는 센서부를 포함하고 일정한 물리적 거리 이내에 IoT 기반으로 연결된 주변 기기와 상호 연동되도록 유무선으로 연결된 전자 칠판에 있어서, 터치 입력 신호에 의하여 상기 패널부 및 센서부에서 인식한 터치 신호에 해당하는 제어 기능을 수행하는 제 1 신호 처리부; 무선 입력 신호에 의하여 무선 통신망을 통한 무선 제어 신호에 해당하는 제어 기능을 수행하는 제 2 신호 처리부; 음성 입력 신호에 의하여 아날로그 음성 신호를 디지털 텍스트 신호로 변환하여 명령어를 해석하고 해석된 명령어에 대응하는 제어 기능을 수행하는 제 3 신호 처리부; 및 상기 제 1 내지 3 신호 처리부에서 수행하는 제어 기능이 상기 전자 칠판에 유무선으로 연결된 주변 기기에 대한 제어인 경우에 원격으로 상기 주변 기기를 제어하는 컨트롤러를 구비한 제어부를 포함하는 전자 칠판 시스템을 제공한다.

Description

블록체인을 이용한 사물인터넷 기반의 원격 제어 가능한 전자 칠판 시스템{Interactive flat panel display system performing IoT-based remote control using blockchain}

본 발명은 전자 칠판에 관한 것으로서, 보다 상세하게는 사물인터넷(IoT)으로 연동된 외부 디바이스의 제어가 가능한 전자 칠판 및 음성 인식을 통한 인공지능(AI) 기반의 내부 기능 제어 처리가 가능한 전자 칠판 시스템이며, IoT로 연동된 주변 디바이스는 블록체인을 이용하여 IoT 데이터를 효율적으로 저장하고 엣지 블록체인 방식을 응용하여 위변조를 방지하는 전자 칠판 시스템에 관한 것이다.

최근 들어 강의실 또는 회의실에서 디지털 환경으로의 변화에 따라 여러 가지 수업 또는 회의 도구들이 디지털 장비로 대체되고 그에 따라 의사소통 방식도 양방향 디지털 소통으로 변화하게 되었다. 예를 들어 디지털 교과서가 보급되고 여러 가지 멀티미디어 기기를 활용한 교육 환경이 보급화 되면서, 전자 칠판의 경우에 화면상에 강의 내용 또는 발표 내용의 문서를 띄우고 판서 및 글쓰기 기능을 제공하는 등 강의에 필요한 각종 기능을 수행할 수 있으며 이때 사람의 손으로 직접 터치하거나 전용 터치펜으로 터치를 감지하게 할 수 있게 되었다. 아울러 인공지능(AI)의 장비와 프로세스의 발달로 전통적인 입력 장치(예를 들어, 키보드 또는 마우스 등)이 아닌 사용자의 오디오 음성 인식이나 무선 인터넷을 이용한 입력(예를 들어 스마트폰, 태블릿)에 의해 해당 디바이스에 특정한 명령어를 전달하고 장치의 클라우드 검색 등의 업무 수행을 컨트롤하는 기술이 등장하였다.

아래의 선행기술1(KR 2015-0087687 A)은 대화형 시스템, 디스플레이 장치 및 그 제어 방법(interactive system, display apparatus and controlling method thereof)으로서, 개시된 디스플레이 장치는 사용자의 발화 음성을 입력받는 입력부, 발화 음성에 대한 음성 신호를 음성 인식 장치로 전송하는 통신부, 발화 음성에 대한 음성 인식을 수행하는 음성 인식부 및 음성 인식부를 통해 인식된 제1 음성 정보에 대한 신뢰도 값과 음성 인식 장치를 통해 인식된 제2 음성 정보에 대한 신뢰도 값 중 기설정된 임계값 이상의 신뢰도 값을 가지는 음성 정보를 상기 발화 음성에 대한 실행 명령으로 결정하는 제어부를 포함한다. 이에 따라, 디스플레이 장치는 디스플레이 장치 및 외부 장치에서 사용자의 발화 음성을 동시에 인식할 경우, 두 음성 인식 결과 중 사용자의 의도에 근접한 음성 인식 결과를 선택하는 것이 가능할 것이다. 그러나 음성 인식된 명령어를 이용하여 전자 칠판 이외에 다른 주변 기기들을 제어하는 기술은 개시되어 있지 않다.

한편, 아래의 다른 선행기술2(US 10198246 B2)은 인터랙티브 디스플레이에서 활성화된 음성 제어 방법 및 장치(Methods and apparatus for voice-activated control of an interactive display)으로서, 본 기술에서는 인터랙티브 디스플레이 장치에 통신이 가능하게 결합된 음성 입력 장치를 통해 사용자의 음성 데이터 수신이 가능하나, 터치센서를 구비한 터치패널 스크린을 포함하는 양방향 전자 칠판 제어시스템의 기술적인 요소는 개시하고 있지 않다.

따라서, 본 발명에서는 정전용량(PCAP), 전자기유도(EMR) 또는 적외선(IR) 방식을 이용한 터치 센서 전자 칠판에서 터치 입력 또는 무선 입력 또는 음성 인식 명령을 통하여 주변 디바이스와의 상호 통신을 통한 사물인터넷(IoT) 기반의 외부 제어기능을 수행하는 방법을 제안하고자 한다.

아울러, IoT 기반으로 연결된 디바이스가 많을수록 데이터를 저장 관리하는 중요성이 크므로 본 발명에서는 클라우드 서버에서 IoT 데이터를 저장한다. 다만, 클라우드 서버는 대용량의 센싱데이터, 상태데이터, 제어데이터, 출력데이터를 유연하게 저장할 수 있다는 장점이 크지만, 다양한 정보 저장시에 클라우드 서버에서 정보 조작, 변조 등 위험도 동시에 다양하게 존재할 수가 있다. 만약 특정 정보가 변경될 시에는 IoT 기반으로 연결된 많은 디바이스 내에서 등장하는 개인의 프라이버시 민감정보의 침해, 추적정보의 손실 등 다양한 보안상 문제가 발생할 수 있다. 따라서 본 발명에서는 블록체인을 이용하여 IoT 정보의 무결성을 보장하는 안전하고 효율적인 처리방안 또한 제안하고자 한다.

이와 관련하여 선행기술3(KR 2019-0083295 A)은 블록체인을 활용한 cctv영상의 디지털 증거 무결성 및 진본성 확보방법 및 시스템(method and system for certifying and authenticity of digital evidence)으로서, 블록체인 네트워크에 포함되는 제1노드의 관제에 있어서, 소정의 이벤트가 발생하는 경우 상기 제1노드가 상기 이벤트에 상응하는 제1관제영상의 확인 데이터를 포함하는 블록데이터를 생성하는 단계; 및 상기 제1노드가 생성한 블록데이터를 제1블록체인에 결합하여 저장하고 중앙서버 및 적어도 하나의 타노드에 상기 블록데이터를 공유하는 단계를 포함하며, 상기 확인 데이터는, 상기 이벤트에 상응하는 제1관제영상의 파일식별정보, 상기 관제영상이 저장되는 서버식별정보, 상기 관제영상에 상응하는 시간정보, 상기 관제영상에 대한 담당자 정보, 또는 상기 관제영상의 해시값을 포함한다.

한편, 다른 선행기술4(KR 1950507 B1)는 카메라 촬영 영상에 대한 블록체인 기반의 보안 처리 방법(blockchain-based method of providing secure processing of camera video)으로서, 본 기술에서는 카메라 촬영 영상을 블록체인 기반으로 보안 처리하는 기술로서 카메라에서 촬영한 영상을 네트워크를 통해 액세스할 수 있도록 구성된 시스템에서 해킹에 의해 카메라 촬영 영상이 무단으로 노출되거나 촬영 영상 데이터가 위변조 되는 것을 방지하기 위하여 블록체인 기법을 활용하는 보안 처리 기술에 관한 것이다. 해당 발명에 따르면 카메라 촬영 영상이 해킹에 의해 무단으로 노출되거나 위변조되는 것을 방지할 수 있는 장점이 있고 영상 스토리지에 저장되어 있는 카메라 촬영 영상이 해킹되는 것을 방지할 수 있을 뿐만 아니라 블록체인 업데이트 주기(예: 3분)를 충분히 짧게 함으로써 실시간 카메라 영상에 대해서도 보안 처리를 달성할 수 있으며 댁내에서 생성되는 사적인 영상이 유출되거나 위변조되는 것을 방지할 수 있다. 이와 같이 IoT 디바이스 데이터 특히 CCTV와 같은 영상데이터는 근본적으로 외부 해킹에 의한 조작 등 무결성 훼손 가능성이 있다. 만약 영상데이터를 블록체인에 탑재하면 외부 해킹에 의한 조작 방지가 가능하나, 블록체인의 특성상 수많은 노드의 집합으로 구성되므로 영상분야와 같이 높은 대역폭과 대용량 스토리지를 필요로 하는 요구사항과는 맞지 않는 측면이 있다. 또한 클라우드 서버에서 블록체인을 구상할 경우에는 CCTV와 클라우드 사이의 데이터 전송 과정에서 손실, 변경이 일어날 경우에는 데이터 무결성을 보장할 수 없다는 단점이 있다.

선행특허1: 대한민국 특허공개공보 제10-2015-0087687호 (대화형 시스템, 디스플레이 장치 및 그 제어 방법(interactive system, display apparatus and controlling method thereof)) 선행특허2: 미국 특허등록공보 제10198246호 (Methods and apparatus for voice-activated control of an interactive display) 선행기술3: 대한민국 특허공개공보 제10-2019-0083295호 (블록체인을 활용한 cctv영상의 디지털 증거 무결성 및 진본성 확보방법 및 시스템(method and system for certifying and authenticity of digital evidence)) 선행기술4: 대한민국 특허등록공보 제10-1950507호 (카메라 촬영 영상에 대한 블록체인 기반의 보안 처리 방법(blockchain-based method of providing secure processing of camera video)) 선행기술5: 대한민국 특허등록공보 제10-0919680호 (센서네트워크 기반의 데이터 전달장치 및 방법 (Apparatus and method for delivering data based sensor network))

본 발명의 목적은 대면적 터치패널을 포함하는 전자 칠판에서 사물인터넷(IoT) 네트워크로 연결된 외부 기기를 음성 인식 입력정보 또는 터치 입력정보에 따라 유무선으로 제어하는 기능을 수행하는 것이다.

본 발명의 또 다른 목적은 대면적 터치패널을 포함하는 전자 칠판에서 사용자의 음성 인식 정보를 처리하여 인공지능 기반의 클라우드 검색 또는 제어 기능을 수행하는 것이다.

본 발명의 또 다른 목적은 블록체인을 이용하여 IoT 정보의 무결성을 보장하는 안전하고 효율적인 처리방안 또한 제안하는 것이다.

본 발명의 또 다른 목적은 다양한 IoT 제어 모니터링 프로세스를 처리함에 있어서 연결된 수많은 디바이스를 모니터링함에 있어서 최적의 경로를 통해 효율적으로 모니터링 할 수 있는 기능을 수행하는 것이다.

본 발명은 터치 인식이 가능한 패널부와 상기 패널부가 터치되는 경우에 터치 방식에 따른 터치인식을 수행하는 센서부를 포함하고 일정한 물리적 거리 이내에 주변 기기와 상호 연동되도록 유무선으로 연결된 전자 칠판 시스템에 있어서, 터치 입력 신호에 의하여 상기 패널부 및 센서부에서 인식한 터치 신호에 해당하는 제어 기능을 수행하는 제 1 신호 처리부; 무선 입력 신호에 의하여 무선 통신망을 통한 무선 제어 신호에 해당하는 제어 기능을 수행하는 제 2 신호 처리부; 음성 입력 신호에 의하여 아날로그 음성 신호를 디지털 텍스트 신호로 변환하여 명령어를 해석하고 해석된 명령어에 대응하는 제어 기능을 수행하는 제 3 신호 처리부; 및 상기 제 1 신호 처리부, 제 2 신호 처리부 및 제 3 신호 처리부에서 수행하는 제어 기능이 상기 전자 칠판에 유무선으로 연결된 주변 기기에 대한 제어인 경우에 원격으로 상기 주변 기기를 제어하는 컨트롤러를 구비한 제어부;를 포함하는 전자 칠판 시스템을 제공한다.

본 발명의 상기 컨트롤러는 상기 전자 칠판에 유무선으로 연결된 주변 기기와의 연결상태에 따라 사물인터넷(IoT) 네트워크상의 노드를 제어할 수 있는 릴레이 스위치 또는 IR 컨트롤 유닛을 더 포함하는 것을 특징으로 한다.

본 발명의 상기 제 3 신호 처리부는 상기 음성 입력 신호를 받아 노이즈를 제거하는 마이크 어레이와 아날로그 신호인 음성 신호를 디지털 신호인 텍스트 데이터로 변환하는 음성 인식 엔진; 및 상기 음성인식 엔진으로부터 변환된 텍스트 데이터를 전달받아 데이터베이스를 이용하여 기계학습을 통해 명령어로 해석하는 명령어 해석부를 더 포함하며, 상기 제어부는 상기 해석된 명령어에 따라 상기 전자 칠판에 유무선으로 연결된 외부 주변 기기에 대한 제어 기능을 수행하는 것을 특징으로 한다.

본 발명의 상기 제어부는 상기 해석된 명령어에 따라 상기 전자 칠판의 기기 내부의 제어 기능을 수행하거나, 외부 클라우드 서버에 접속하여 SaaS 기반의 클라우드 데이터를 쿼리 검색해서 상기 전자 칠판에 획득된 컨텐츠를 표시한다.

본 발명의 상기 제어부는 TCP/IP 소켓 통신을 이용하여 상기 컨트롤러를 클라이언트로 설정하고, 인터넷으로 연결된 외부의 서버를 통해 상기 컨트롤러의 제어 기능을 수행하는 것을 특징으로 한다.

한편, 본 발명의 다른 실시예에 따르면 터치 인식이 가능한 패널부와 상기 패널부가 터치되는 경우에 터치 방식에 따른 터치인식을 수행하는 센서부를 포함하고 일정한 물리적 거리 이내에 IoT 기반의 주변 기기와 상호 연동되도록 유무선으로 연결된 전자 칠판 시스템에 있어서, IoT 입력 신호에 의하여 주변 기기의 센서부에서 인식한 상기 입력 신호에 해당하는 제어 기능을 수행하는 IoT 신호 처리부; 상기 IoT 신호 처리부에서 수행하는 제어 기능이 상기 전자 칠판에 유무선으로 연결된 주변 기기에 대한 제어인 경우에 원격으로 상기 주변 기기를 제어하는 컨트롤러를 구비한 제어부;를 포함하며 상기 시스템은 상기 주변 기기 위치를 기반으로 소정의 개수의 노드들을 포함하는 엣지 영역에 하나의 원장(ledger)으로서 엣지 블록체인을 사용하며, 상기 엣지 블록체인에 포함된 엣지 블록은 엣지 블록 헤더(block header) 및 엣지 블록 데이터(block data)로 구성되고, 상기 엣지 블록 헤더에는 상기 엣지 영역에 속한 주변 기기에서의 복수개의 IoT 데이터 청크(chunk)로 구성된 데이터 블록의 블록 ID가 추가로 포함되고, 상기 엣지 블록 데이터에는 상기 복수개의 청크의 청크 ID 리스트가 포함되는 것을 특징으로 한다.

본 발명의 상기 엣지 블록체인은 엣지 영역 내의 모든 노드의 블록 ID와 청크 ID 값을 기록하며 상기 모든 노드는 동일한 엣지 블록체인의 원본 정보를 서로 공유하며, 상기 모든 노드는 IoT 데이터를 블록 단위로 클라우드 서버에게 스트리밍 전송하고 상기 각 블록 단위의 헤더 정보에는 상기 블록에 해당하는 상기 엣지 블록의 정보가 포함되고, 바디 정보에는 실제 IoT 데이터가 포함되며, 상기 스트리밍 전송을 받은 클라우드 서버에서는 상기 엣지 블록에 포함된 블록 ID 및 청크 ID와 실제 IoT 데이터를 비교하여 무결성 검증을 수행하여 무결성 결함이 발생한 경우에는 상기 결함이 발생한 해당 부분에 대한 블록 ID 및 청크 ID를 상기 노드에 전달하여 결함에 해당되는 블록 내의 청크 데이터만을 다시 수신하여 무결성 검증을 완료하는 것을 특징으로 한다.

본 발명은 대면적 터치패널을 포함하는 전자 칠판에서 사용자의 음성 명령, 무선입력 또는 터치입력을 통해 사물인터넷(IoT) 네트워크로 연결된 외부 기기를 직접적으로 원격 제어할 수 있는 효과가 있으며, 이는 서버-클라이언트 설정을 통해 인터넷망을 이용해서 외부에서도 제어할 수 있다.

또한 본 발명은 전자 칠판에서 사용자의 음성 명령 정보를 학습, 해석, 처리하여 인공지능(AI) 기반의 클라우드 검색 기능 또는 주변 기기 제어 기능을 수행할 수 있는 효과가 있다.

아울러, 이러한 인공지능 기반의 입출력 처리 및 사물인터넷 제어 기능을 수행함에 있어서 제3의 인터넷 서비스 공급자(통신사)의 전용 서버에 종속되지 않고 자체의 독립적인 프로세싱 알고리즘을 통해 독립적인 설치 및 사용이 용이하다는 효과가 있다.

또한 본 발명에 따르면 IoT 데이터의 효율적인 저장을 위하여 엣지 블록체인 방식을 도입하였으며 이를 통해 블록체인 상에서 필요로 하는 노드 수가 많지 않고 초경량 사이즈에서도 작동이 가능하며 End-to-End 종단간 무결성 보장이 가능하다는 효과가 있다.

또한 데이터 전송 과정에서 무결성을 훼손할 시에는 해당 훼손된 부분의 블록 ID 및 청크 ID만을 다시 전송하고 블록 내의 청크 데이터만을 다시 수신하여 원본 데이터로서 복구되므로 대역폭 과정에서의 효율적이라는 장점이 있다.

도 1은 본 발명의 일 실시예로 터치스크린의 전자 칠판(300)에서 사용자의 터치 입력(100a), 무선 입력(100b) 또는 음성 명령(200) 정보를 처리하여 외부 기기의 제어 기능을 수행할 수 있는 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예로 전자 칠판의 UI 화면상에서 IoT 제어 기능 등의 메뉴 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예로 전자 칠판(300)과 주변 기기들(330)이 상호 연동되어 있는 사물인터넷(IoT) 기반의 업무 환경을 나타낸 도면이다.
도 4는 본 발명의 일 실시예로 전자 칠판에서 사용자의 직접입력(터치입력 또는 무선입력), 음성 입력(400, 410) 정보를 처리하여 인공지능(AI) 기반의 클라우드 검색(450) 또는 사물인터넷(IoT) 제어 기능(480, 490)을 수행하는 플로우 차트를 나타낸 도면이다.

본 발명의 이점 및 특징 그리고 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 보다 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 한정된 몇몇의 실시예로 제한되는 것이 아니라 목적, 효과가 실질적으로 동일한 범위내에서는 서로 다른 다양한 형태로 구현될 수 있으며 이러한 실시예 역시 본 발명의 기술적 사항에 포함된다고 볼 수 있을 것이다.

본 명세서에서 실시예는 본 발명의 개시가 보다 명확해지도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 이해 시켜주기 위해 제공되는 것이다.

그리고 본 발명의 권리범위는 후술되는 특허청구의 범위에 의해 정의될 것이다.

따라서 몇몇 실시예에서 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 세부기술들은 본 발명이 모호하게 해석되는 것을 피하기 위해 구체적으로 설명하지는 않는다.

또한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것일 뿐이며 본 발명을 한정시키고자 하는 것은 아니다.

본 명세서에서 단수형은 문구에서 특별히 언급하지 않는한 복수형도 포함하는 것으로 해석해야할 것이며, 포함(또는 구비)하는 것으로 언급된 구성 요소 또는 동작은 하나 이상의 다른 구성 요소 또는 동작의 존재 및 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어 포함)은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다.

또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 별도로 정의되어 있지 않는한 과도하게 또는 이상적으로 해석되지 않는 것으로 한다.

이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시예에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예로 터치스크린의 전자 칠판(300)에서 사용자의 터치 입력(100a), 무선 입력(100b) 또는 음성 명령(200) 정보를 처리하여 외부 기기에 제어 기능을 수행할 수 있는 구조를 나타낸 도면이다.

터치 인식이 가능한 패널부(미도시)와 터치 방식을 판별하여 터치 방식에 따른 터치 인식을 수행하는 센서부(미도시)를 포함하는 전자 칠판(300)은 외부의 입력 소스(100a, 100b, 200)로부터 터치 입력 신호(100a), 무선 입력 신호(100b) 또는 음성 명령 신호(200)를 입력받는다.

이때 입력된 터치 방식에 따라, 터치 센서(310a)에서 인식된 터치의 패턴으로 전자 칠판(300) 화면에 표시하고 기타 UI상의 입력에 따른 응답을 화면에 출력한다.

만약 음성 명령(200) 신호가 입력되는 경우에는 음원을 분리하고 노이즈를 제거하는 어레이 타입의 마이크 모듈(320)에 의해 입력된 아날로그 음성 시그널의 신호를 품질을 향상시킨다. 이때 마이크 어레이(320)는 복수의 마이크를 이용하여 이득(gain) 보상 또는 에코(echo) 제거 기능을 구현하고 왜곡된 상기 음성 신호를 보상하는 음향 모델 기계학습을 수행할 수 있다. 이를 통해 원거리에서도 음성 인식이 원활하게 처리될 수 있으며, 전자 칠판에서 다른 오디오 기능(예를 들어 음악재생)이 있는 경우라도 상기 음성 인식 기능이 동작되어야 한다.

그런 다음 마이크 어레이(320)로부터 노이즈가 제거된 아날로그 신호인 음성 신호를 전달받아 음성 인식 엔진(340)에서 텍스트 신호인 디지털 데이터로 변환(Speech to Text)하고, 음성 신호 및 변환된 텍스트 신호는 데이터베이스(360)에 반복하여 저장된다. 이렇게 저장된 데이터들은 자체 스피커를 이용한 음성 인식 엔진(340)과 명령어 해석부(350)를 포함하는 음성 인식 시스템에서 S/W의 지속적인 업그레이드를 위하여 인공지능 기반의 기계학습을 위한 학습 데이터로 활용된다.

한편 음성인식 엔진으로부터 변환된 텍스트 신호를 입력받아 상기 데이터베이스(360)를 이용하여 기계학습을 통해 명령어로 해석하는 명령어 해석부(350)에서는 알고리즘에는 음성 명령 패턴을 분석하는 알고리즘, 패턴에 따른 명령어 제어 프로토콜 매칭 알고리즘, 음성 패턴 어레이 매칭 알고리즘, 이종언어의 동일 의미부여 매칭 패턴 알고리즘 등이 함께 진행될 수 있다.

이렇게 해석된 명령어(command)에 따라 제어부(330)에서는 인터넷 검색과 같은 외부 클라우드 서비스로의 쿼리검색 기능을 수행하거나 또는 내부/외부의 제어기능을 수행할 수 있다.

이때 내부/외부 제어기능의 예를 들어보면, 먼저 내부 기능 제어로서 전자 칠판(300)의 전원을 온오프 시키거나 전자 칠판(300)의 볼륨을 조절하거나 화면상 제어 컨트롤(화면 크기조절, 페이지 이동 등) 또는 입력 소스(USB, HDMI 등)의 변환 등 전자 칠판(300) 내부적인 제어 기능을 수행하는 것을 생각해 볼 수 있다.

그리고 외부 기능 제어를 예로 들면, 전자 칠판(300)과 유무선으로 연결된 사물 인터넷(IoT) 망에 위치한 IoT 주변기기(예를 들어 램프, 도어락, 에어컨, 기타 다른 전자 칠판 등)를 제어하는 상황이 있을 수 있다.

즉, IoT 관련 릴레이(relay) 컨트롤러 및 IR 컨트롤러를 이용하여 일정한 물리적 거리 내에 회의실 공간에 있는 조명을 스위치하여 껐다 켰다 할 수 있는 것이다. 물론 이는 음성 명령(200)뿐만 아니라 터치 입력(100a), 무선 입력(100b)을 통해서도 외부 주변 기기를 원격으로 제어할 수 있는 것이며, 아울러 그러한 터치 입력이 외부 디바이스를 통해 무선 통신으로 전달되더라도 수신된 신호에 의해 위와 같은 원격 제어는 역시나 가능하다.

한편 명령어 해석부(350)에서 해석된 명령어는 내부의 명령어 리스트(370)와 비교하여 상기 음성 신호의 패턴을 검색하는 음성 패턴 매칭부(미도시)를 더 포함한다. 명령어 해석부(350)에서는 명령어 리스트(370)와의 비교 결과 기저장된 명령이 들어오면 해당 명령을 블루투스 또는 인터넷을 통해 컨트롤러로 전달 할 수 있다.

상기 음성 패턴 매칭부는 최초 슬립 모드(sleep mode)에서 소정의 음성 패턴에 의해 음성 인식 엔진(340)을 웨이크업 모드(wake-up)로 변화시키는 내부 제어 신호를 발생시킨다. 아울러, 웨이크업 모드에서 소정의 시간동안 추가적인 음성 명령 입력이 없을 시에는 다시 슬립 모드로 전환되어 전원과 기타 리소스 소비를 최소화 시킬 수 있다.

도 2는 본 발명의 일 실시예로 전자 칠판(200)의 UI 화면상에서 IoT 제어 기능 등의 메뉴 구성을 나타낸 도면이다.

전자 칠판(200)의 화면상에 도면과 같이 File(210), E-board(220), Internet(230) 등의 기본적인 메뉴와 보다 다양한 어플리케이션 메뉴(240)이 디스플레이 되어 있으며, 사용자는 이러한 UI를 통해 전자 칠판(200)의 내부적인 제어 동작 뿐만 아니라 주변에 연결된 다른 디바이스들(예를 들어 강의실 내에 있는 조명, 에어컨, 빔프로젝터, 커튼, 도어락 등)를 원격으로 제어할 수 있다. (IoT 컨트롤 인터페이스)

도 3은 본 발명의 일 실시예로 전자 칠판(300)과 IoT 주변 기기들(330)이 상호 연동되어 있는 사물인터넷(IoT) 기반의 업무 환경을 나타낸 도면이다.

사용자는 전자 칠판(IFPD: Interactive Flat Panel Display)를 직접 터치하거나 음성으로 호출하여 원하는 작업을 수행할 수 있다. 예를 들어 현재 업무 환경이 회의실(conference room)이라고 가정한다면, 회의 발표자가 대면적 전자 칠판(300)을 이용하여 업무 리포트를 하면서도 동시에 회의실 조명이 너무 밝다고 생각되면 컨트롤 스위칭 박스(320)을 통해 연결된 디바이스들(330) 중 램프의 밝기를 줄일 수 있는 것이다. 아울러 회의실 커튼을 치거나, 에어컨 온도를 조절하거나, 회의시간에 외부인 출입방지를 위해 도어락을 잠그거나 등의 주변 기기 제어를 원격으로 할 수 있다. 물론 이러한 설정 변경의 권한은 한정된 특정인에게만 있어야하므로, 이를 확인하기 위해 키오스크 터치센서(310a) 또는 태블릿 무선센서(310b) 같은 장비에서 ID카드 형태의 신분증을 RFID 방식으로 태그하여 권한을 확인 및 부여받을 수 있다.

아울러, 이러한 여러 미팅룸이 있는 경우에 외부 서버를 통해 각각의 미팅룸을 모니터링 할 수도 있으며, 이는 스마트폰이나 태블릿 PC 연결을 통해 건물 밖에 원격지에서도 모니터링 할 수 있다. (이는 기존의 미러링 기술과는 다른 것이다)

IoT 주변기기로부터 입력되는 각종 데이터(입력, 센싱, 모니터링, 출력, 제어 등)를 블록체인을 통해 관리 할 수 있다. 블록체인은 관리 대상 데이터를 블록이라고 하는 소규모 데이터들이 P2P 방식을 기반으로 생성된 체인 형태의 연결고리 기반 분산 데이터 저장환경에 저장되어 임의로 수정될 수 없고 향후 변경의 결과를 열람할 수 있는 분산 컴퓨팅 기술 기반의 데이터 위변조 방지 기술이며, 이는 근본적으로 분산 데이터 저장기술의 한 형태로서 지속적으로 변경되는 데이터를 모든 참여 노드에 기록한 변경 리스트로서 분산 노드의 운영자에 의한 임의 조작이 불가능하도록 고안된 기술이다. 이미 잘 알려진 블록체인의 응용 사례로는 암호화폐의 거래과정을 기록하는 탈중앙화된 전자장부로서 비트코인 등이 있으며, 대부분의 암호화폐들이 블록체인 기술 형태에 기반하고 있다. 즉, 블록체인은 데이터 분산 처리 기술이며, 네트워크에 참여하는 모든 노드가 모든 거래내역 등의 데이터를 분산하여 저장하는 기술이다. 이렇게 저장된 데이터를 블록이라 칭하며 여러 블록들을 시간의 순서대로 묶는 형태를 가져 블록체인이라 불린다. 이런 모든 사용자가 거래내역을 보유하고 있어 거래 내역을 확인할 때는 모든 사용자가 보유한 장부를 대조하고 확인해야 하므로 블록체인은 공공거래장부, 분산거래장부로 불리기도 한다.

만약 수많은 다수의 IoT 데이터(내부기기 제어용 및 외부기기 제어용)를 하나의 블록체인으로 관리한다는 것은 현실적으로 매우 어려울 수 있다. 기존 블록체인 시스템 하에서는 이러한 IoT 데이터를 모두 저장하고 전송하는 것은 비효율적이므로 본 발명에서는 엣지 블록체인을 이용하여 방대한 IoT 데이터를 관리하고 나아가 무결성을 검증하도록 한다. 엣지 블록체인에서는 IoT 주변기기의 위치를 기초로 여러 엣지 영역을 분할할 수 있다. 예를 들어 각 엣지 영역에는 3~5개 정도의 노드로 구성될 수 있다. IoT 기반으로 연결된 주변기기들은 각각 노드(node)가 되며, 엣지 블록체인(edge blockchain)은 각 엣지 영역간 하나의 원장(ledger)으로서 동일한 엣지 영역에서는 각 노드사이에 동일한 엣지 블록체인을 공유하게 된다. 이때 엣지 블록체인은 보안을 위해 개방형(Public)이 아닌 폐쇄형(Private) 블록체인으로 구성될 수 있다.

엣지 블록체인은 블록 ID(Block ID)가 추가되고, 엣지 블록의 블록데이터는 청크 ID(Chunk ID) 리스트를 갖는다. 먼저, 하나의 블록(예: 블록 A, 블록 B 등)은 하나의 엣지 블록에 저장되는 단위이다. 그리고 하나의 블록은 다수의 청크 데이터(chunk a, b, c...)를 가진다. 그리고 모든 블록과 청크는 각각의 ID를 가진다. 엣지 블록의 청크 ID는 블록체인의 블록데이터상에서 청크 ID 리스트로서 포함되어진다. 이러한 경우, 엣지 블록체인에서 실제로 관리되는 데이터는 블록 ID와 청크 ID 밖에 없게 된다.

(1) Edge Blockchain = Block01 + Block02 + Block03 ....

(2) Block01 = Block Header + Chunk ID List

(3) Block Header = Hash(n-1 block header) + timestamp + nonce+ Block ID + Hash(chunk ID List)

(4) Chunk ID List = Chunk ID(a) + Chunk ID(b) + Chunk ID(c)...

(5) Block A = Chunk a + Chunk b + Chunk c ...

즉, IoT 데이터 자체는 엣지 블록체인의 데이터 영역상에서 직접 저장하지는 않는다. 전체 IoT 데이터를 엣지 영역 내 모든 노드들에서 공유하고 저장할 경우에 처리해야할 용량이 너무 커지기 때문에 직접 실데이터를 블록체인에 포함시키는 대신 블록 ID와 청크 ID를 생성하여 저장하는 방식이다. 즉, 엣지 블록체인에서는 해쉬 리스트만 관리하게 되므로, 블록체인에서 관리하는 용량 및 모든 엣지 참여 노드에서 저장하고 처리해야 할 용량 자체는 많지 않게 된다. 한편, 청크 ID와 블록 ID는 저장하고 있으므로 추후 IoT 정보(실제 데이터)에 대한 무결성 확인이 가능해진다.

청크 ID의 생성 공식은 다음 식1과 같다.

[식 1]

CID =

(ctr_c : 현재 Chuck의 카운트 수, S : 사전 공유된 비밀값, Nonce : 블록체인상에서의 넌스값, HMAC(x)_K : K를 키로 하여 x를 HMAC(Hash Message Authentication Code) 처리한 값, +: XOR 연산자, H(x) : x를 해쉬한 값, CD : 실제 Chunk 데이터 값, CID : Chunk ID 값)

IoT 주변기기 노드와 클라우드 서버간 데이터 전송 중에 무결성 결함이 발생할 수 있는데, 이때 해커의 공격이 있을 수도 있고, 전송 과정에서의 단순 네트워크 불안으로 인한 데이터 손실일 수도 있다.

스트리밍의 경우, 엣지 블록(edge block A, B, C)를 실제 데이터들과 같이 전송하게 되므로, 클라우드 서버에서는 전송 과정에서의 IoT 정보 무결성 확인이 가능하다. 데이터 스토리지를 포함하는 클라우드 서버측은 엣지 블록(블록 헤더)과 실제 데이터의 비교를 통하여 데이터 무결성에 결함이 있음을 확인할 수 있다. 이 경우 무결성 결함이 발생한 부분에 대한 ID 정보를 기준으로 해당 노드인 주변기기에 무결성 결함 데이터의 재전송 요청을 하게 된다. 해당 노드는 전달받은 블록 ID 및 청크 ID를 기준으로 엣지 블록체인에서 해당 블록을 검색하고 블록이 검색되면, 청크 ID로서 매핑되는 실제 Chunk 데이터를 가져온다. 그런 다음 서버측에서 요청한 청크 데이터에 대한 부분(즉, 무결성 결함 부분만)을 다시 클라우드 서버측으로 전달한다. 이 경우, 전체 블록을 전달하지 않고 문제가 발생했었던 Chunk 데이터에 대해서만 재전달을 하게 되므로 전송 효율 및 전송 성능이 좋아진다. 무결성 결함 부분만을 전달받은 클라우드 서버는 전달받은 Chunk를 다시 엣지 블록체인으로부터 확인하여 무결성 여부를 재검증한다. 그리하여 무결성 검증이 완료되면, 클라우드 서버는 해당 노드에 무결성 검증이 완료되었음을 알리고, 해당 노드는 무결성 검증 완료 확인이 되었음을 인지하고 완료 확인 메시지를 응답할 수 있다.

도 4는 본 발명의 일 실시예로 전자 칠판에서 사용자의 IoT 입력(터치입력, 무선입력 음성 입력 등) 정보를 처리하여 인공지능(AI) 기반의 클라우드 검색(450) 또는 사물인터넷(IoT) 제어 기능(480, 490)을 수행하는 플로우 차트를 나타낸 도면이다.

도 4를 참조하면, 먼저 직접입력(터치 또는 무선) 또는 음성입력의 입력(400)이 있을 때 이를 판단하여(410) 만약 터치 입력(또는 인터넷 통신으로 전달된 터치/무선 입력 신호)인 경우에는 음식 인식 엔진을 거칠 필요가 없으므로 440 단계로 넘어가게 된다.

한편, 입력(400)이 음성 명령 신호일 때는 전자 칠판 내부에 구비된 음성 인식 엔진이 아날로그 신호인 음성 신호를 디지털 신호인 텍스트 신호로 변환(speech to text)하게 된다(420).

그런 다음 변환된 텍스트 데이터를 자동으로 해석하는데(430), 기계학습을 통해 기존의 해석했던 데이터와 기존의 분류했던 음성 신호 등을 내부의 데이터베이스에서 불러와 반복 비교함으로써 보다 향상된 결과를 도출하게 된다. 이는 시간이 지나고 처리하는 데이터양이 많아질수록 더욱 정교한 명령어 해석이 가능해진다.

이렇게 인공지능 기반의 학습 및 해석을 이용하여 음성 인식률을 90% 이상으로 높일 수 있으며, IoT 기기 제어 동작을 기능구현을 할 수 있다.

다음으로 해석된 명령어(command)에 따라, 인터넷 검색과 같이 클라우드 서비스를 이용하는 요청인지 아니면 다른 기기를 제어하는 요청인지를 판단하여(440), 인터넷 검색의 요청의 경우에는(450) 해당 검색작업으로 획득한 결과인 컨텐츠를 전자 칠판의 화면에 표시하게 된다(460). 즉, 클라우드 서비스를 이용할때 제어부는 명령어에 따라 외부 클라우드 서버로 통신을 연결하고, SaaS(Software as a Service) 기반의 클라우드 데이터를 쿼리(query) 검색하여 전자 칠판의 화면에 해당 컨텐츠를 표시해 줄 수 있다.

위 단계 440에서 만약 기기를 제어하는 요청인 경우에는(470) 내부 기능인지 외부 기능인지를 구분하여 서로 다른 작업을 수행한다(480, 490). 다시 말해서 전자 칠판의 장치 내부 기능(예: 전원, 볼륨, 화면, 소스 등)을 제어하는 명령인지 아니면 유무선으로 연결된 다른 외부 기기의 제어 기능(예: 램프, 커튼, 도어락, 에어컨, PC 등)을 수행하고자 하는 명령인지에 따라서, 해당하는 외부기기를 제어하거나(480) 아니면 전자 칠판의 내부적인 기능을 실행한다(490).

그리고 본 발명에서는 인터넷 서비스 공급자(통신사)의 전용 스피커(음성 인식 엔진)이 아닌 개별적으로 특성화되어 개발된 음성 인식 시스템을 사용하며, 인터넷 통신망도 통신사 전용 통신망도 아닌 특정 통신사에 구속되지 않는 인터넷 통신망을 이용하는 상황을 가정하고 있다. 그리하여 음성 인식 엔진이 구비된 개별 스피커를 이용해 직접적으로 클라우드 서비스를 이용할 수 있다. 즉, 특정 통신사에 가입하여 통신사 전용 AI 스피커를 사용할 필요가 없으며 통신사가 제공하는 AI 서버를 이용하지도 않는다, 이런 특화된 인공지능 서비스 역시 각각의 통신사에 의해 개발하지 않아도 되므로 기존의 통신사 위주의 AI 기술과는 차별화되고 개별 기업이 자신의 니즈에 따라 전용되는 맞춤형 AI(예: 시나리오 제작)를 개발하는 것이 가능하다. 따라서 본 기술 분야인 전자 칠판과 같은 특수 목적용으로 사용하기에 적합하다.

아울러 전자 칠판과 같이 특화된 AI 기능에서는 타 서비스 대비 빈번하고 많은 입출력 신호 요청이 있으므로 이를 처리하는 전용 S/W를 구비함으로써 보다 적은 리소스로 운영할 수 있다. 타 통신사 사용시 호환 적용이 불가하다는 한계점도 없으므로 통신사 여부를 신경쓰지 않아도 되며, 통신사의 AI 서버가 다운되거나 하는 예외 상황도 따로 고려할 필요가 없어지게 된다. 그리고 한국어가 아닌 외국어 기반의 해외 수출용으로 사용하기에도 용이하고 필요에 따라 수출 국가별 맞춤 서비스(AI 어플리케이션)를 개발할 수도 있다. 전자 칠판 전용의 AI 특화 기능으로 개발, 유지, 보수가 가능하여 타 국가의 AI 서버와 호환이 보다 쉬워진다.

본 발명은 상기한 특정의 바람직한 실시예에 한정되지 아니하며 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고 그와 같은 변경은 청구범위 기재의 범위 내에 있게 되는 것은 자명하다 할 것이다.

300 : 전자 칠판
310 : 입력 장치(키오스크, 태블릿)
320 : 컨트롤 스위칭 박스
330 : 사물인터넷(IoT) 연동 기기

Claims

삭제
삭제
삭제
삭제
삭제
터치 인식이 가능한 패널부와 상기 패널부가 터치되는 경우에 터치 방식에 따른 터치인식을 수행하는 센서부를 포함하고 일정한 물리적 거리 이내에 IoT 기반의 주변 기기와 상호 연동되도록 유무선으로 연결된 전자 칠판 시스템에 있어서,
IoT 입력 신호에 의하여 주변 기기의 센서부에서 인식한 상기 입력 신호에 해당하는 제어 기능을 수행하는 IoT 신호 처리부;
상기 IoT 신호 처리부에서 수행하는 제어 기능이 상기 전자 칠판에 유무선으로 연결된 주변 기기에 대한 제어인 경우에 원격으로 상기 주변 기기를 제어하는 컨트롤러를 구비한 제어부;를 포함하며
상기 시스템은 상기 주변 기기 위치를 기반으로 소정의 개수의 노드들을 포함하는 엣지 영역에 하나의 원장(ledger)으로서 엣지 블록체인을 사용하며, 상기 엣지 블록체인에 포함된 엣지 블록은 엣지 블록 헤더(block header) 및 엣지 블록 데이터(block data)로 구성되고,
상기 엣지 블록 헤더에는 상기 엣지 영역에 속한 주변 기기에서의 복수개의 IoT 데이터 청크(chunk)로 구성된 데이터 블록의 블록 ID가 추가로 포함되고, 상기 엣지 블록 데이터에는 상기 복수개의 청크의 청크 ID 리스트가 포함되는 것을 특징으로 하는 전자 칠판 시스템.
청구항 6에 있어서,
상기 엣지 블록체인은 엣지 영역 내의 모든 노드의 블록 ID와 청크 ID 값을 기록하며 상기 모든 노드는 동일한 엣지 블록체인의 원본 정보를 서로 공유하며,
상기 모든 노드는 IoT 데이터를 블록 단위로 클라우드 서버에게 스트리밍 전송하고 상기 각 블록 단위의 헤더 정보에는 상기 블록에 해당하는 상기 엣지 블록의 정보가 포함되고, 바디 정보에는 실제 IoT 데이터가 포함되며,
상기 스트리밍 전송을 받은 클라우드 서버에서는 상기 엣지 블록에 포함된 블록 ID 및 청크 ID와 실제 IoT 데이터를 비교하여 무결성 검증을 수행하여 무결성 결함이 발생한 경우에는 상기 결함이 발생한 해당 부분에 대한 블록 ID 및 청크 ID를 상기 노드에 전달하여 결함에 해당되는 블록 내의 청크 데이터만을 다시 수신하여 무결성 검증을 완료하는 것을 특징으로 하는 전자 칠판 시스템.