KR20180025118A - 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법 - Google Patents

Abstract

본 발명의 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법에 따르면, 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 하며, 상기 스마트 IoT 단말기는 요구사항에 따른 영상 및 상황을 실시간으로 첫째로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 상황을 변경 처리하여 영상, 목소리 등을 영상으로 못 알아보게 하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 제공하여 사생활을 보호할 수 있는 효과가 있다.

Description

실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법{Smart IoT System sharing Real Time Images and Situation and service Method thereof}

본 발명은 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법에 관한 것으로, 더욱 상세하게는 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 할 수 있도록 하는 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법에 관한 것이다.

일반적으로 인터넷을 통한 영상이나 화상공유 시스템으로써, 유투브(YouTube)는 저장된 영상(촬영한 것, movie, drama 등)을 공유하고, 인스타그램(Instagram)은 저장된 화상, 정지영상, 사진 등을 공유하는 시스템이다.

페이스북(Facebook)에서 스마트폰을 이용한 실시간 영상 공유를 일부 제한된 회원들에게 제공을 하고 있으나, 현실적으로는 여러 가지 모임(취미, 동창, 생일, 회갑, 기념일 등)이나 발표회(세미나, 포럼, 워크샵, 전시회 등)나 홍보(식당, 음식점, 상가, 전통시장 등)나 보호시설, 보호행위(노약자, 장애인, 요양원, 병원)에서나 온라인 관광(현재의 관광지, 유적지, 휴양지, 국가삼림지, 국가공원 등)에서 현장의 영상, 음성, 상태를 실시간으로 자연 배경으로 공급하거나 공유할 필요성이 많다.

이러한 실시간 영상 & 상황 공유의 가장 큰 문제점은 사생활의 노출(개인의 얼굴이나 목소리)이 그대로 된다는 것이며, 이에 따라, 실시간 IoT 단말기의 영상, 음성, 상태의 공유가 제한을 받게 되는 문제점이 있었다.

대한민국 등록특허공보 등록번호 제10-1068772호

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 하며, 상기 스마트 IoT 단말기는 요구사항에 따른 영상 및 상황을 실시간으로 첫째로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 상황을 변경 처리하여 영상, 목소리 등을 영상으로 못 알아보게 하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 제공하여 사생활을 보호할 수 있는 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템은 스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 기능을 가지며; 스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 기능을 제공하고; 스마트 사물인터넷용 단말기에 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어 기능이 제공되는 것을 특징으로 한다.

스마트 사물인터넷용 단말기는 영상센서 CPU, 알고리즘 CPU가 구비되며; 영상센서 CPU는 스마트 사물인터넷용 단말기의 기능 전체를 제어하는 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 기능을 제공하거나, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 기능을 제공하거나, 영상 또는 음성을 암호화시키는 기능을 제공하며; 알고리즘 CPU는 스마트 사물인터넷용 단말기의 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 기능을 제공할 수 있다.

스마트 사물인터넷용 단말기에 온도센서 및 가스센서를 더 구비하여 주변 환경 데이터를 실시간 제공할 수 있다.

그리고 상술한 목적을 달성하기 위한 본 발명의 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템을 이용한 서비스 방법은, 스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 단계와; 스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 단계와; 스마트 사물인터넷용 단말기에 장착된 보안기능 패키지를 이용하여 외부에서의 해킹에 대한 방어가 이루어지는 단계를 포함한다.

스마트 사물인터넷용 단말기의 영상센서 CPU의 제어에 의한 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 단계와, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 단계와, 영상 또는 음성을 암호화시키는 단계를 포함하며; 스마트 사물인터넷용 단말기의 영상센서 CPU알고리즘 CPU의 제어에 의한 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 단계를 포함할 수 있다.

스마트 사물인터넷용 단말기에 구비된 온도센서 및 가스센서를 통하여 주변 환경 데이터가 실시간 제공되는 단계를 포함할 수 있다.

이상에서 설명한 바와 같은 본 발명의 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템 및 이를 이용한 서비스 방법에 따르면, 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 하며, 상기 스마트 IoT 단말기는 요구사항에 따른 영상 및 상황을 실시간으로 첫째로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 상황을 변경 처리하여 영상, 목소리 등을 영상으로 못 알아보게 하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 제공하여 사생활을 보호할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템의 단말기를 나타낸 블록도이며,
도 2는 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템의 단말기의 기능을 나타낸 블록도이며,
도 3은 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템을 통한 행사장 영상의 공유를 설명하는 예시도이며,
도 4는 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템을 통한 노약자 사생활 보호를 설명하는 예시도이며,
도 5는 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템을 통한 행사장에서의 사생활 보호를 설명하는 예시도이며,
도 6은 본 발명의 일실시예에 따른 스마트 사물 인터넷 시스템을 통한 관광지에서의 사생활 보호를 설명하는 예시도이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

본 발명에 일실시예에 따른 스마트 사물 인터넷 시스템은 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 사물인터넷 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 한다.

배경기술에서 설명한 바와 같이, 여러 가지 경우의 행사에 실시간 영상, 실시간 음성, 실시간 환경 상황을 현장에 오지 못해 현장에 있지 않은 여러 관련자들(취미 모임, 가족/동창/기념 모임, 세미나, 전시회, 관광지, 전통시장 등)과 소셜 네트워크, 메신저, 블로그, 홈페이지 등을 이용하여서 나누고, 상호간 기념, 축하, 배우고, 즐기는 일들에 해결책을 제시한다.

아울러 이러한 실시간 영상, 실시간 음성, 실시간 환경 상황을 공유하는 것은 현장에 있는 참여자들의 개인 얼굴, 사생활을 보호해야 한다.

이것도 경우에 따라서 일부 변형, 전체 부호화, 전체 실시간 영상, 실시간 음성, 실시간 환경 상황을 그대로 전할 경우가 있다.

이때에 요구사항(개인 생활 노출, 얼굴 노출, 행위 노출)에 따라서 해당사항인 얼굴, 목소리 등을 영상으로 못 알아보게 실시간 변형하거나, 아예 전체를 부호/암호화하거나, 문제가 없을 때는 고화질 그대로 전송하는 방법을 해결 제시해야 한다.

이러한 문제를 해결하기 위해서 새로운 기능(영상처리, 음성처리, 센서 값 처리 & 전송할 수 있는)의 사물인터넷 단말기가 필요한데, 이를 실시간 온라인으로 연결하여 나눌 수 있는 시스템 및 서비스의 발명 개발이 필요하다.

따라서 보통의 수단으로서는 이러한 입력 소스 수준의 영상데이터, 음성데이터, 환경 상황 데이터를 입력하여 제어 관리센터에 여러 가지 방법, 알고리즘을 처리하는 고속 서버 시스템으로 가공하여 처리한다.

그러나 이러한 대형 서버시스템에서 영상 복합 센서가 구비된 수많은 사물인터넷 단말기에서 들어오는 실시간 상황을 다 처리하는 것은 현실적으로 불가하고, 실현한다고 하더라도 금전적으로 엄청난 고가의 시설을 하여야 한다.

이에 대한 해결책으로 본원 발명에서는 사물인터넷 단말기에 해당부분 영상 변형처리, 음성 변성처리의 기능, 전체 영상, 전체 음성, 센서 데이터를 부호/암호화 처리하는 기능, 가공없이 원래대로 그대로 전송하는 기능을 가지는 스마트 사물인터넷 단말기를 제공한다.

즉, 상기 스마트 사물인터넷 단말기는 요구사항에 따른 영상 및 상황을 첫째로 가공없이 실시간으로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 환경 상황을 변경 처리하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 가지고 있다.

그리고 상기 스마트 사물인터넷 단말기를 인터넷 상의 SNS, 메신저, 볼로그, 홈페이지 등과 접속하여 노약자 보호, 요양원, 파티, 모임, 세미나, 전시장 발표회 등에 현황을 실시간 공유하게 할 수 있다.

아울러, 영상, 음성, 현재 환경 상태(온도, 공기질 등)를 실시간으로 요구에 따라 처리할 수 있으며, 이러한 기능을 제공하는 스마트 사물인터넷 단말기를 도 1 및 도 2에 나타내었다.

상기 스마트 사물인터넷 단말기는 도 1 및 도 2에 나타낸 바와 같이, 영상부호화 기능을 가지는 영상센서 CPU와, 영상변형, 음성변성 알고리즘을 처리하는 알고리즘 CPU와, 영상센서, 온도센서, 가스센서, 마이크, 스피커, 통신부 등의 기능을 구비한다.

실시간 영상, 음성 공유에서 가장 중요한 사항인 개인적인 인상착의, 사생활의 노출에 대한 대비로 사물인터넷 단말기에 센서 소스 수준에서 영상과 음성을 암호화하는 기능이 제공된다.

실시간 상황은 사물인터넷 단말기에 온도센서(습도센서 포함), 가스센서(공기질 센서 포함)를 장착하여 영상 및 음성 이외의 현지의 환경 상태를 실시간 전달해 준다.

스마트 사물인터넷 단말기에는 스마트 기능을 수행하는 알고리즘 CPU가 있어서 사람 인식 및 얼굴 인식, 영상변조 또는 화소 정밀도 변경, 음성의 음색변조, 속도변경 등의 알고리즘을 수행한다.

스마트 사물인터넷 단말기에는 사물인터넷 보안이 중요해지는데, 적절한 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어를 한다.

영상센서 CPU는 사물인터넷 단말기 기능 전체를 제어하는데, 사용자의 스마트폰 어플(Smart phone APP)이나 서버 시스템(Server System)의 명령이나 요청에 따라서 부분적인 영상이나 음성변경, 전체 영상이나 음성의 암호화, 가공없는 원래의 고화질 영상과 원래 음성을 전송해준다.

상술한 사물인터넷 단말기를 이용한 사생활 보호 실시간 영상 및 상황 공유에 대한 사물인터넷 시스템을 도 3에 나타내었다.

도 3에 나타낸 바와 같이, 행사장은 실제적으로 식당, 상가, 온라인 쇼핑몰, 전시장, 상점/상가, 세미나장, 공원, 농장, 공장, 농장의 조림, 생산라인 등을 포함하는 개념이며, 행사장에서 공유할 내용은 행사 내용, 즉 모임(취미, 동창회, 생일, 회갑, 기념일 등), 발표회(세미나, 포럼, 워크샵, 전시회 등), 홍보/광고(호텔 등의 식당, 음식점 실내외, 도시상가, 전통시장 등), 보호시설 또는 보호행위(요양원, 병원, 독거노인, 독거여성, 노약자, 장애인 등), 온라인 관광 및 온라인 영상 서비스(관광지, 유적지, 휴양지, 국가삼림지/휴양지, 국가공원 등) 등에서 실시간 영상 및 환경 상황을 공유 시에 사생활 침해 부분인 개인 얼굴 및 행동 양식을 변형하거나 가리거나 완전히 암호화할 필요가 있는 것이다.

이를 구성하는 사물인터넷 시스템은 행사장, 행사장에서의 행사 내용을 실시간 공유하게 주변에 적절하게 배치하는 다수의 스마트 사물인터넷 단말기 및 참여자가 가지고 있는 스마트폰, 행사장의 내용(영상, 음성, 상황)을 저장, 관리, 중계해 주는 서버 시스템 및 이를 통해 서비스하는 SNS, 메신저, 블로그, 홈페이지, 서비스 등 원격지에서 참여하는 사람들의 스마트폰, 노트 패드 등으로 구성된다.

행사장의 중계는 필요한 위치에 한 개 내지 복수의 스마트 사물인터넷 단말기를 배치한다.

추가적으로 참여자가 자신의 스마트폰으로 일부 실시간 영상 공유를 할 수도 있다.

인터넷상의 서버 시스템은 실시간 영상 및 상황을 저장, 관리, 송출하는 기능을 가지고 자체 SNS나 메신저 기능을 가지고 서비스 할 수 있고, 추가 기능으로 기존의 SNS, 메신저, 블로그, 홈페이지 등을 통해서도 실시간 영상 및 상황을 공유하게 하는 역할을 수행한다.

기존의 SNS, 메신저는 카카오톡, 라인, 페이스북, 트위터 또는 Google, Apple 등의 기능 시스템이 될 수 있다.

원격지 참여자는 스마트폰, Note pad 등에 해당 실시간 영상 및 상황을 공유하는 APP을 다운 받아서 참여할 수 있다.

이 스마트폰 APP은 행사에 참여하게 미리 등록하거나 제한된 모임에 참여하는 제한된 실시간 영상, 상황 공유 서비스 시스템을 이용한다.

한편, 공개형 실시간 영상 및 상황 공유 시스템 및 서비스는 공개형 APP을 다운 받아서 공유 서비스, 행사 등에 참여할 수 있다.

이 경우는 광고, 홍보형 공개 서비스가 주로 되는데, 여러 다수에게 알리는 모임, 발표회, 안내, 영상서비스 등이 된다.

아울러, 도 4는 노약자 사생활 보호에 대한 예시로써, 노약자가 생활하는 실내 공간에 스마트 사물인터넷 단말기를 설치하여 해당 노약자를 촬영하면서, 해당 노약자의 모습 및 움직이는 부분을 모자이크 처리하여 사생활을 보호한다.

도 5는 행사장 등에서 개인 얼굴이 노출되는 것을 방지하는 것에 대한 예시로써, 식당 내외 모양, 전시장 내외 영상, 행사장, 시장통로 및 가게에 설치된 스마트 사물인터넷 단말기를 통해 촬영되는 영상에서 개인의 얼굴을 모자이크 처리하여 개인 얼굴이 노출되는 것을 방지함으로써 사생활을 보호할 수 있다.

도 6은 관광지, 유적지 등에서 개인 얼굴이 노출되는 것을 방지하는 것에 대한 예시로써, 관광지, 유적지 등에 설치된 스마트 사물인터넷 단말기를 통해 촬영되는 영상에서 개인의 얼굴을 모자이크 처리하여 개인 얼굴이 노출되는 것을 방지함으로써 사생활을 보호할 수 있다.

상술한 바와 같이, 본 발명에 따르면 스마트 사물인터넷 단말기에서 사생활 보호, 개인정보 보호기능을 구현하고, 이를 새로운 또는 기존의 SNS, 메신저를 통해서 공유하고 각종 블로그나 홈페이지를 통해서 실시간 영상 및 상황을 공유할 수 있다.

참고로, 2개의 CPU 처리기가 구비된 사물 인터넷용 시스템 온 칩 이중 프로세서 구조는 8비트 마이크로 컨트롤러부, 8비트 고속 데이터 버스부 및 32비트 마이크로 프로세서부를 포함하여 크게 3부분으로 나눌 수 있는데, 우선 8비트 마이크로 컨트롤러부는 8비트 마이크로 컨트롤러 유닛과 8비트 저속 데이터 버스, 그리고 여러 다양한 내부 기능 블럭들로 구성되어 있으며 낮은 데이터 처리 및 사물 인터넷용 시스템 온 칩의 전체 동작을 제어한다.

8비트 고속 데이터 버스부는 8비트 고속 데이터 버스와 영상 인코더부를 포함한 다양한 내부 기능 블럭들로 구성되어 있으며 8비트의 고속 데이터 처리 및 영상 데이터 압축, 외부 통신 모듈과의 고속 인터페이스를 수행한다.

8비트 고속 데이터 버스는 영상 데이터와 음성 데이터를 외부 통신모듈과 고속으로 송/수신하는 것에 적합하고, 8비트 저속 데이터 버스는 센서 데이터와 8비트 마이크로 컨트롤러에서 출력되는 명령을 외부 통신모듈이나 센서에 저속으로 송/수신하는 것에 적합하다.

32비트 마이크로 프로세서부는 32비트 마이크로 프로세서와 대용량 외부 메모리 인터페이스, 32비트 고속 데이터 버스와 32비트 저속 데이터 버스로 구성되어 있으며 복잡한 알고리즘 동작을 수행하고 고속 데이터 송/수신을 수행한다.

8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부 사이에는 서로 다른 동작 주파수를 가진 신호를 처리하기 위한 동기화 작업을 수행하는 제1브릿지부가 구비되고, 8비트 고속 데이터 버스부와 32비트 마이크로 프로세서부 사이에는 서로 다른 동작 주파수를 가진 신호를 처리하기 위한 동기화 작업을 수행하는 제2브릿지부가 구비된다.

32비트 마이크로 프로세서부의 32비트 마이크로 프로세서와 8비트 마이크로 컨트롤러부의 8비트 마이크로 컨트롤러 유닛 사이에는 간단한 명령을 저장하여 각각의 CPU의 명령을 송/수신해주는 역할을 수행하는 Mail Box부가 구비된다.

8비트 고속 데이터 버스부와 32비트 마이크로 프로세서부 사이에는 프로그래밍 부팅을 위한 부트로더부가 구비되고, 8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부 사이에는 8비트 마이크로 컨트롤러용 데이터 메모리부가 구비된다.

상기 데이터 메모리부는 8비트 마이크로 컨트롤러용 32KByte 저장 용량의 데이터 메모리로써, 듀얼 포트(Dual port)이므로 8비트 마이크로 컨트롤러뿐만 아니라 메모리 접근부(DMA)에서도 접근(access)할 수 있다.

8비트 마이크로 컨트롤러부는 사물 인터넷용 시스템 온 칩에 적합한 듀얼 CPU의 전체 동작을 제어하는 역할을 수행하며 8비트 처리용량의 8비트 마이크로 컨트롤러 유닛과 8비트 저속 데이터 버스와 내부 기능 블럭들로 구성되어 있다.

상기 8비트 마이크로 컨트롤러 유닛은 8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부의 모든 기능 블럭들을 직접 제어할 수 있다.

8비트 마이크로 컨트롤러부의 8비트 마이크로 컨트롤러 유닛은 8비트 처리용량의 마이크로 컨트롤러 유닛(MCU)으로써, Intel Standard 8051에 호환된다.

8비트 마이크로 컨트롤러 유닛부의 클럭 주파수는 7.384MHz이다.

8비트 마이크로 컨트롤러부의 8비트 저속 데이터 버스에 연결된 내부 기능 블럭으로는 임의의 타이밍을 만들어 이벤트를 만들어주거나 발생된 이벤트를 계수하는 기능을 수행하는 2개의 타이머부(Timer), 입력 신호의 Level 변화에 따라 Pulse의 Width에 변화를 주는 2개의 펄스폭 변조부(PWM), 8비트 마이크로 컨트롤러 유닛이 오작동을 하여 무한 루틴에 빠지는 것을 방지하는 것으로 정해진 시간에 스위치 reset을 하게 해주는 와치독 타이머부(WDT), RS-232 통신을 위한 것으로 최고 230400bps의 baud rate를 지원하는 2개의 UART부(UART), I2C 통신을 위한 I2C부(I2C), 최대 16개의 interrupt 중 하나를 muxing 처리하여 8비트 마이크로 컨트롤러 유닛이 갖고 있는 2개의 외부 인터럽트 중 어느 하나의 인터럽트를 사용할 수 있게 하는 기능을 수행하는 외부 인터럽트부(INTC), UART부 또는 직렬연결버스(SPI)와 같이 serial 통신을 위한 직렬 컴퓨터 버스 및 추가로 32비트를 사용할 수 있도록 지원하는 일반 입/출력부를 포함하여 구성될 수 있다.

8비트 고속 데이터 버스부는 8비트 마이크로 컨트롤부의 8비트 저속 데이터 버스에 비해 클럭 주파수가 높은 고속의 데이터 처리속도로 외부 주변장치들을 제어하고 영상 데이터를 처리되도록 하는 8비트 고속 데이터 버스와 내부 기능 블럭들로 구성되어 있다.

8비트 고속 데이터 버스에 연결된 내부 기능 블럭으로는, 상대적으로 클럭 주파수가 낮아 저속인 8비트 마이크로 컨트롤러 유닛의 제어 없이 직접 메모리 접근 동작을 수행하여 8비트 마이크로 컨트롤러 유닛의 데이터 메모리부에 접근하고 8비트 고속 데이터 버스에 연결된 외부 주변장치들을 제어하는 메모리접근부(DMA), 8비트 고속 데이터 버스에서 데이터 충돌이 생기는 것을 방지하는 우선중재부(Senbus Arbiter), 메모리접근부(DMA)를 통해 제어되는 메모리중재부(SMC), 8비트 고속 데이터 버스에 연결된 내부 기능 블럭들의 제어를 위한 레지스터 블럭(Sen_reg), 고속 대용량의 영상 데이터를 고속으로 전송할 수 있는 시큐어 디지털 입/출력부(SDIO), 대용량의 데이터를 고속으로 전송할 수 있는 직렬 연결 버스부(SPI), 8비트 고속 데이터 버스에 연결되어 사물 인터넷에서 데이터 및 영상 보안 기능으로 소스 수준에서 센서 데이터와 영상데이터를 암호화/복호화 처리를 하여 사물인터넷에 특화된 보안 기능을 지원하는 경량암호알고리즘부(LEA), 움직임 감지부(Motion Detection)에 의해 외부 영상센서(CIS)로부터 입력되는 영상 데이터의 영상처리 효율을 향상시키고자 QVGA 해상도부터 VGA(0.3P), SXGA(1MP), UXGA(2MP), QSXGA(5MP)로 최대 5백만 화소의 해상도까지 영상압축을 지원하고 외부 영상센서(CIS)로부터 입력된 영상데이터의 해상도를 조절하여 효과적으로 움직임 감지가 수행되도록 하는 스케일러부(Scaler), 외부 영상센서(CIS)로부터 입력되는 영상 데이터의 노이즈 성분을 최적화여 영상 인코더부(JPENC)에서 출력되는 영상 데이터의 크기가 줄어지도록 하는 노이즈감소부(Noise Reduction), 외부 영상센터(CIS)로부터 입력된 영상 데이터에 대해 이전 프레임과 현재 프레임과의 차이를 8비트 데이터 값으로 출력하여 영상 데이터 내 변화되는 데이터를 감지함으로써 움직임을 검출하는 움직임 감지부(Motion Detection), 외부 영상 센서로부터 입력된 영상 데이터를 압축하는 영상 인코더부(JPENC), 외부 오디오 코덱부로부터 입력된 오디오 데이터가 상기 메모리접근부(DMA)의 제어에 의해 외부 주변장치들에 전달되도록 하거나, 또는 외부 주변장치들로부터 전달된 오디오 데이터가 상기 메모리접근부(DMA)의 제어에 의해 외부 오디오코덱부로 전달되도록 하는 오디오처리부(ADPCM)를 포함하여 구성된다.

8비트 고속 데이터 버스의 클럭 주파수는 96MHz인데, 영상 인코더부에서 외부의 영상센서(CIS)로부터 입력된 영상 데이터를 압축하는데 필요한 인코딩 클럭 주파수는 48MHz ~ 96Mhz로 별도로 구분하여 사용함으로써, 여러 영상 센서(CIS)의 종류에 따른 클럭 주파수의 변경에 대응할 수 있도록 한다.

8비트 마이크로 컨트롤러 유닛이 8비트 고속 데이터 버스(SENbus)를 이용하려면 제1브릿지부와 우선중재부(Senbus Arbiter)를 통해 interface를 해야 하며 2개의 메모리접근부(DMA)를 통해 대용량의 8비트 데이터를 고속으로 송/수신할 수 있다.

상기 2개의 메모리접근부(DMA) 중 하나는 영상 인코딩되고 암호화된 영상 데이터의 고속 데이터 전송을 담당한다.

8비트 고속 데이터 버스부의 우선중재부(Senbus Arbiter)는 고속 데이터 버스(310; SENbus) 내에서 우선 순위에 따라 명령을 처리하여 데이터 충돌을 방지하는 것으로, 8비트 마이크로 컨트롤러 유닛과 메모리접근부(DMA) 중 8비트 마이크로 컨트롤러 유닛으로부터 입력된 명령을 더 높은 우선 순위로 처리할 수 있다.

8비트 고속 데이터 버스부의 영상 인코더부(JPENC)는 외부 영상센서(CIS)로부터 입력되는 데이터를 JPG type의 영상 데이터로 인코딩하며, JPEG 표준에 호환된다.

경량암호알고리즘부(LEA)는 수신 측에서 해당하는 암호키를 가지고 복호화 해서 원래 값을 재현시킨다.

8비트 고속 데이터 버스부에서의 영상처리는 외부의 영상 센서로부터 입력된 영상 데이터를 압축한 후, 메모리접근부의 제어에 의해 압축된 영상 데이터가 외부 주변장치들에 전달되도록 하는 것으로, 외부의 영상 센서로부터 입력된 영상 데이터는 영상 인코더부에서 압축되어 영상메모리(256Byte buffer)에 저장된 후, 메모리중재부를 거쳐서 고속 데이터 버스(SENbus)를 통해 외부메모리에 저장될 수 있다.

32비트 마이크로 프로세서부는 32비트 처리 용량의 32비트 마이크로 프로세서와 2개의 데이터 버스, 내부 기능 블럭과 32비트 대용량 메모리 인터페이스부로 구성되어 있는데, 32비트 고속 데이터 송/수신을 수행하고, 32비트 마이크로 프로세서를 이용하여 영상 인식 알고리즘 동작과 같은 복잡한 연산처리를 수행하며, 압축되지 않은 영상 데이터를 외부 대용량 메모리(DDR2)에 저장하는 동작을 수행한다.

32비트 마이크로 프로세서부는 32비트 고속 데이터 버스를 backbone 버스로 사용하여 32비트 마이크로 프로세서와 DMA 등이 연결되어 있고, 주변 장치 데이터 전송을 위해 32비트 저속 데이터 버스에는 내부 기능 블럭이 연결되어 있다.

32비트 마이크로 프로세서의 클럭 주파수는 33Mhz이다.

32비트 고속 데이터 버스는 32비트 대용량 메모리 인터페이스부가 한 번에 많은 양의 데이터를 전송하는 버스트 모드의 데이터 전송을 지원하도록 하고, 외부 영상센서(CIS)로부터 입력된 압축되지 않은 영상 데이터를 32비트 대용량 메모리 인터페이스부로 전송하는 AHB 용 메모리접근부(AHB_DMA)로 구성될 수 있다.

즉, 32비트 고속 데이터 버스는 32비트 고속 데이터 송수신을 수행하고, 32비트 마이크로 프로세서를 이용하여 영상 인식 알고리즘 동작과 같은 복잡하고 빠른 연산처리 가능하게 하며, 고속 DRAM DDR2를 제어하여서 쓰기/읽기 작업에 의한 빠른 영상처리를 가능하게 한다.

32비트 저속 데이터 버스는 low bandwidth인 주변 장치와 인터페이스를 위한 내부 기능 블럭을 제어하는데 적합하게 사용될 수 있다.

32비트 저속 데이터 버스는 pipelined 버스 인터페이스의 고성능이 필요하지 않고 low bandwidth인 주변 장치와 인터페이스를 위한 내부 기능 블럭들을 위해 사용되며, 임의의 타이밍을 만들어 이벤트를 만들어주거나 발생된 이벤트를 계수하는 기능을 수행하는 타이머부(TIMER), RS-232 통신을 위한 UART부(UART), 영상 인코더부를 제어하는 영상 제어부를 포함하여 구성될 수 있다.

32비트 마이크로 프로세서부는 32비트 고속 데이터 버스와 32비트 저속 데이터 버스로 버스를 분리하여, 소비 전력과 전송 속도에서 경제적이다.

32비트 마이크로 프로세서부에서 IMG2DMA는 움직임 감지부(Motion Detection)로부터 오는 영상 데이터를 AHB용 메모리접근부(AHB_DMA)에 전달하기 위한 FIFO 블럭이다.

sys_reg는 32비트 마이크로 프로세서로부터 명령어를 받아 전체 동작을 위한 시스템 레지스터를 저장한다.

video_con은 영상인식 알고리즘을 처리하는 동작을 위한 제어 레지스터를 저장하고 있다.

SYS_DMA는 32비트 저속 데이터 버스용 메모리접근부이며, 32비트 저속 데이터 버스에 연결된 기능 블럭들을 제어하고 데이터 송/수신동작을 수행한다.

표 1은 사물 인터넷용 시스템 온 칩 이중 프로세서 구조의 스펙 테이블로써, 32비트 마이크로 프로세서를 위한 AMBA(Adv anced Microcontroller Bus Architecture) 버스가 구비되고, 33Mhz 클럭 동작의 AHB bus는 DDR2 인터페이스 , 영상 인지 알고리즘 처리를 위한 대용량 데이터를 송/수신하며, 33Mhz 클럭 동작의 APB bus는 외부 타이머 , UART, GPIO 등을 연결한다.

AMBA 버스와 유사한 2개의 분리된 8비트 버스 구조를 가지며, 78MHz 클럭 동작의 고속 데이터 버스(SenBus)는 DMA controller, SPI 등을 연결한다.

7.384MHz 클럭 동작의 MCU Bu s는 외부 타이머, UART, GPIO 등을 연결한다.

6개의 개별 PLL을 이용하여 6개의 클럭을 독립적으로 사용하며, 영상 데이터의 크기(resolution)가 향상되는데, 영상 데이터는 최대(Max) 2592 x 1944 resolutio n의 QSXGA(Quad Super Extended Graphics Array)부터 5M pixels까지의 영상을 처리한다.

영상신호 처리 속도(frame rate)가 향상되는데, 최대(Max) 5fps @ QSXGA의 영상을 처리한다.

32kB 용량의 데이터 메모 리 내장으로 동작 속도 및 소비전력 저감한 Dual-port RAM으로 8비트 마이크로 컨트롤러와 메모리접근부에서 모두 access 가능하다.

최대 8Mb 용량의 외부 데이터 메모리를 확장하여 access 가능하고, 주변회로(pe ripheral)를 지원하는데, 내부 GPIO 16개, 외부 32비트 GPIO, 내부 INT 5개 (10개), 외부 16개 확장 INT, I2C, SPI 4개, I2S, SDIO, UART 3개, PWM 2개, WDT이 구비되고, 외부 SRAM 접속을 하는데, 4개(SMC, SRAM M emory Controller 이용)까지 가능하다.

상술한 바와 같이 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에서, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 적합한 듀얼 CPU 구조는 6개의 개별 PLL을 이용하여 5개의 클럭이 독립적으로 동작하게 함으로써 전력 소모를 줄일 수 있고, 4개의 개별 데이터 버스를 이용할 수 있으며 다양한 상황에 맞게 효율적으로 동작할 수 있다.

그리고 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 적합한 듀얼 CPU구조에서 32비트 마이크로 프로세서부는 32비트 마이크로 프로세서를 기반으로 하여 AMBA 버스(AHB bus, APB bus) 및 다양한 IP를 추가할 수 있다.

32비트 마이크로 프로세서는 32비트 기반의 RISC타입 프로세서가 될 수 있으며, AMBA 버스 사용을 통해 고속 및 저전력으로 동작이 가능하고 디버깅을 위해 OCD(On Chip Debugger)를 함께 내장하여 프로세서 동작 시 내부 레스터에 대한 정보를 얻을 수 있다.

또한, cache를 함께 내장하도록 설계하여, 빠른 처리 속도를 구현할 수 있으며, 다양한 인터페이스를 통해 다양한 저장 장치 사용과 여러 가지 형태의 입/출력 장치를 사용 가능하다.

그리고 PIC 모듈을 통해 효율적인 멀티태스킹 인터럽트 관리를 지원한다.

인터럽트 지원은 멀티태스킹 구현을 위해 필수적인 것이다.

아울러, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에서 영상 감지 및 영상 인지 기능을 수행하는 과정으로써, 먼저, 외부 센서로부터 감지 신호 혹은 이벤트 신호가 발생하면, power down mode로 있던 8비트 마이크로 컨트롤러가 활성화된다.

이어서, 외부 영상 센서를 동작시키기 위한 셋팅 값을 I2C 모듈을 통해 보내어 이미지센서를 활성화하고, 영상 데이터를 입력받아 영상 인코더부를 통해 영상 데이터 압축, SMC 블럭을 통해 외부 SRAM에 저장한다.

영상 인지 기능을 수행한다면, 우선 8비트 마이크로 컨트롤러가 Mail Box를 통해 32비트 마이크로 프로세서에게 영상인지 기능을 수행하라는 명령어를 전송하고, 32비트 마이크로 프로세서는 영상인지 알고리즘을 수행하기 위한 영상 데이터를 외부 영상센서(CIS)에서 IMG2DMA블럭을 통해 받아서 AHB_DMA를 사용하여 DDR2 controller를 거쳐서 DDR2에 저장시킨다.

영상 인지 기능의 수행이 완료되면 32비트 마이크로 프로세서는 완료되었다는 신호를 Mail Box를 통해 명령어를 전달하고, Mail Box로부터 영상인지 기능이 완료되었음을 확인받은 8비트 마이크로 컨트롤러는 동작중인 기능을 종료하고 power down mode로 돌입한다.

상술한 바와 같이, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 의하여, 국산 CPU인 32비트 Core-A 프로세서를 적용하여 사물 인터넷용 시스템 온 칩에 적합한 듀얼 CPU를 개발함으로 사물인터넷 시스템 온 칩을 일반 8비트 프로세서와 컨트롤러에 비해서 성능 향상을 할 수 있고, Smart 기능, 저전력 기능, 보안 기능을 구현할 수 있다.

32비트 Core-A 프로세서와 3M~5M 픽셀 영상처리기능을 집적하여 생체특징 인식, 영상ㅇ얼굴 인식 등 고화질 수요에 대응할 수 있고, 32비트 마이크로 프로세서와 지그비 네트워크 기능을 하나의 시스템 온 칩으로 구현하여 고기능 저가형 사물인터넷용 시스템 온 칩을 구현할 수 있다.

즉, 사물 인터넷 알고리즘 처리 전용으로 고속 버스와 고속 메모리를 이용하여, 현재 화자인식을 위한 음성처리, 영상처리, 센서값 (예: 온도, 조도, 거리, 움직임, 가스, 분진 등)들과, 영상처리, 음성처리를 고려하여 복합적인 상황에 대한 판단을 하게 해서 특히 영상 처리에 유용하게 처리 속도를 빠르게 하는 기능을 수행하도록 할 수 있다.

그리고 영상 데이터의 화질 개선을 위하여 영상 잡음 제거 필터를 구현하며, 영상 데이터를 암호화하는 기능 즉 Key로 잠그고 푸는 하드웨어 기능을 부여할 수 있도록, 보안 기능의 경량 블록 암호 프로세서를 하드웨어로 구현하여 필수적인 사물인터넷 보안 기능을 포함하였다.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.

Claims (6)

1. 스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 기능을 가지며; 스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 기능을 제공하고; 스마트 사물인터넷용 단말기에 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어 기능이 제공되는 것을 특징으로 한 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템.
2. 청구항 1에 있어서, 스마트 사물인터넷용 단말기는 영상센서 CPU, 알고리즘 CPU가 구비되며; 영상센서 CPU는 스마트 사물인터넷용 단말기의 기능 전체를 제어하는 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 기능을 제공하거나, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 기능을 제공하거나, 영상 또는 음성을 암호화시키는 기능을 제공하며; 알고리즘 CPU는 스마트 사물인터넷용 단말기의 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 기능을 제공하는 것을 특징으로 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템.
3. 청구항 1에 있어서, 스마트 사물인터넷용 단말기에 온도센서 및 가스센서를 더 구비하여 주변 환경 데이터를 실시간 제공하는 것을 특징으로 한 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템.
4. (a) 스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 단계와; 스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 단계와; 스마트 사물인터넷용 단말기에 장착된 보안기능 패키지를 이용하여 외부에서의 해킹에 대한 방어가 이루어지는 단계를 포함하는 것을 특징으로 하는 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템을 이용한 서비스 방법.
5. 청구항 4에 있어서, 스마트 사물인터넷용 단말기의 영상센서 CPU의 제어에 의한 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 단계와, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 단계와, 영상 또는 음성을 암호화시키는 단계를 포함하며; 스마트 사물인터넷용 단말기의 영상센서 CPU알고리즘 CPU의 제어에 의한 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 단계를 포함하는 것을 특징으로 하는 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템을 이용한 서비스 방법.
6. 청구항 4에 있어서, 스마트 사물인터넷용 단말기에 구비된 온도센서 및 가스센서를 통하여 주변 환경 데이터가 실시간 제공되는 단계를 포함하는 것을 특징으로 하는 실시간 영상 및 상황을 공유하는 스마트 사물인터넷 시스템을 이용한 서비스 방법.

Images