KR20190078689A - IoT System on Chip and IoT Module using thereof - Google Patents

IoT System on Chip and IoT Module using thereof Download PDF

Info

Publication number
KR20190078689A
KR20190078689A KR1020170171339A KR20170171339A KR20190078689A KR 20190078689 A KR20190078689 A KR 20190078689A KR 1020170171339 A KR1020170171339 A KR 1020170171339A KR 20170171339 A KR20170171339 A KR 20170171339A KR 20190078689 A KR20190078689 A KR 20190078689A
Authority
KR
South Korea
Prior art keywords
image
voice
smart
function
internet terminal
Prior art date
Application number
KR1020170171339A
Other languages
Korean (ko)
Other versions
KR102278566B1 (en
Inventor
유영욱
장성호
Original Assignee
셀로코주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 셀로코주식회사 filed Critical 셀로코주식회사
Priority to KR1020170171339A priority Critical patent/KR102278566B1/en
Publication of KR20190078689A publication Critical patent/KR20190078689A/en
Application granted granted Critical
Publication of KR102278566B1 publication Critical patent/KR102278566B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0877Generation of secret information including derivation or calculation of cryptographic keys or passwords using additional device, e.g. trusted platform module [TPM], smartcard, USB or hardware security module [HSM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client

Abstract

The present invention relates to a smart Internet of Things (IoT) system sharing a real-time video and situation, and a service method using the same. According to the present invention, a sharing service is performed depending on a smart IoT terminal providing real-time image, voice, and situation to meet the requirements, and conditions (detailed image, some blurred image, and full code/encrypted image and situation) requiring the image and the situation in meetings, presentations, exhibitions, events, etc. to social networks, messengers, blogs, homepages, etc. The smart IoT terminal firstly sends the image and the situation according to the requirements in real time, secondly, sends the image and voice not to be recognized in the image by partially blurring and changing the detailed image and voice, and situation, or thirdly, provides a function to encode and send the entire image, voice, and status (sensor), thereby protecting the privacy.

Description

사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈{IoT System on Chip and IoT Module using thereof}[0001] The present invention relates to an Internet system-on-chip (ITS)

본 발명은 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈에 관한 것으로, 더욱 상세하게는 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 할 수 있도록 하며, 영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 하는 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈에 관한 것이다.More particularly, the present invention relates to an IoT terminal that provides real-time video, voice, and situation according to requirements, and various meetings, presentations, exhibitions, events based thereon Etc.), and to share the video and its situation according to the conditions (detailed image, some blurred image, whole code / encrypted image and situation) required by social network, messenger, blog, The IoT sensor value is encrypted and stored, the encrypted storage data is decrypted using a cryptographic key, the IoT security function of video and audio is processed by the semiconductor chip, and the Internet module .

일반적으로 인터넷을 통한 영상이나 화상공유 시스템으로써, 유투브(YouTube)는 저장된 영상(촬영한 것, movie, drama 등)을 공유하고, 인스타그램(Instagram)은 저장된 화상, 정지영상, 사진 등을 공유하는 시스템이다.In general, as a video or image sharing system over the Internet, YouTube shares recorded images (movies, movies, drama, etc.) and Instagram shares recorded images, still images, .

페이스북(Facebook)에서 스마트폰을 이용한 실시간 영상 공유를 일부 제한된 회원들에게 제공을 하고 있으나, 현실적으로는 여러 가지 모임(취미, 동창, 생일, 회갑, 기념일 등)이나 발표회(세미나, 포럼, 워크샵, 전시회 등)나 홍보(식당, 음식점, 상가, 전통시장 등)나 보호시설, 보호행위(노약자, 장애인, 요양원, 병원)에서나 온라인 관광(현재의 관광지, 유적지, 휴양지, 국가삼림지, 국가공원 등)에서 현장의 영상, 음성, 상태를 실시간으로 자연 배경으로 공급하거나 공유할 필요성이 많다.In reality, there are various kinds of meetings (hobbies, alumni, birthday, sixtieth birthday, etc.) and presentations (seminars, forums, workshops, (Current tourist attractions, historical sites, resorts, national forests, national parks, etc.) in public places (restaurants, restaurants, It is necessary to supply or share the video, audio, and status of the scene in a natural background in real time.

이러한 실시간 영상 & 상황 공유의 가장 큰 문제점은 사생활의 노출(개인의 얼굴이나 목소리)이 그대로 된다는 것이며, 이에 따라, 실시간 IoT 단말기의 영상, 음성, 상태의 공유가 제한을 받게 되는 문제점이 있었다.The biggest problem of real-time image & situation sharing is that the privacy exposure (personal face or voice) is maintained, and the sharing of video, voice, and status of the real-time IoT terminal is restricted.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 하며, 상기 스마트 IoT 단말기는 요구사항에 따른 영상 및 상황을 실시간으로 첫째로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 상황을 변경 처리하여 영상, 목소리 등을 영상으로 못 알아보게 하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 제공하여 사생활을 보호할 수 있으며, 영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 하는 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈을 제공하는 것이다.It is an object of the present invention to provide a smart IoT terminal that provides real-time video, voice, and situation according to requirements, and to provide a social < RTI ID = 0.0 > The smart IoT terminal performs a sharing service according to the conditions (detailed image, some blurred image, whole code / encrypted image and situation) required for a network, a messenger, a blog, Or the second, some blurring to process the detailed video, voice, and situation so that the video, voice, and the like can not be recognized by the video, and thirdly, the entire video, audio, It protects the private life by providing the function of sending and storing video, voice and IoT sensor values. , To store the encrypted data decrypted using the encryption key and to provide a system-on-chip and Internet of Things things Internet module using the same video and security features of the speech of the IoT to be processed in the semiconductor chip.

상술한 목적을 달성하기 위한 본 발명의 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈은 스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 기능을 가지며; 스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 기능을 제공하고; 스마트 사물인터넷용 단말기에 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어 기능이 제공되는 것을 특징으로 한다.In order to achieve the above object, an Internet system-on-chip of the present invention and an object Internet module using the Internet system-on-chip of the present invention are used for a deformation processing function and an audio deformation processing function acquired in a smart object Internet terminal, Has a function of sign / encrypt the sensor data; Providing a function of encrypting video and audio in order to share images and voice acquired in a Smart Objects Internet terminal, in preparation for private exposure; And a security function package is installed in a Smart Objects Internet terminal to provide a defense function against hacking from the outside.

스마트 사물인터넷용 단말기는 영상센서 CPU, 알고리즘 CPU가 구비되며; 영상센서 CPU는 스마트 사물인터넷용 단말기의 기능 전체를 제어하는 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 기능을 제공하거나, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 기능을 제공하거나, 영상 또는 음성을 암호화시키는 기능을 제공하며; 알고리즘 CPU는 스마트 사물인터넷용 단말기의 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 기능을 제공할 수 있다.The Smart Objects Internet terminal includes an image sensor CPU and an algorithm CPU; The image sensor CPU controls all the functions of the Smart Objects Internet terminal and provides a function of transmitting the original image obtained in accordance with the request of the user's smartphone or the server system or the acquired original state voice, A function of changing a partial image or a partial voice in the original state image or the obtained original state voice is provided or a function of encrypting the image or voice is provided; Algorithm The CPU performs smart functions of Smart Objects Internet terminal and can provide functions to perform algorithms including human recognition, image modulation, pixel precision change, tone color modulation of voice, and transmission rate change.

스마트 사물인터넷용 단말기에 온도센서 및 가스센서를 더 구비하여 주변 환경 데이터를 실시간 제공할 수 있다.The Smart Objects Internet terminal is further provided with a temperature sensor and a gas sensor to provide surrounding environment data in real time.

영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 할 수 있다. The video, audio, and IoT sensor values may be encrypted and stored, the encrypted storage data may be decrypted using the encryption key, and the security functions of video and audio of the IoT may be processed in the semiconductor chip.

이상에서 설명한 바와 같은 본 발명의 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈에 따르면, 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 IoT 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 하며, 상기 스마트 IoT 단말기는 요구사항에 따른 영상 및 상황을 실시간으로 첫째로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 상황을 변경 처리하여 영상, 목소리 등을 영상으로 못 알아보게 하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 제공하여 사생활을 보호할 수 있으며, 영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 하는 효과가 있다.According to the Internet system-on-chip of the present invention and the object Internet module using the same as described above, it is possible to provide a smart IoT terminal that provides real-time video, voice, and situation according to requirements and various meetings, presentations, (A detailed image, a partially blurred image, a whole code / encrypted image, and a situation) required by a social network, a messenger, a blog, a homepage, Secondly, some blurring processing is performed to change the detailed video, voice, and situation so that the video, voice, etc. can not be recognized as the video, and the third video, Voice, and status (sensor) are coded and sent to protect privacy, The video, audio and IoT sensor values are encrypted and stored, the encrypted storage data is decrypted using the encryption key, and the security function of video and audio of IoT is processed in the semiconductor chip.

도 1은 본 발명의 일실시예에 따른 사물인터넷 시스템 온 칩의 기능을 나타낸 블록도이며,
도 2는 본 발명의 일실시예에 따른 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈을 통한 행사장 영상의 공유를 설명하는 예시도이며,
도 3은 본 발명의 일실시예에 따른 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈을 통한 노약자 사생활 보호를 설명하는 예시도이며,
도 4는 본 발명의 일실시예에 따른 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈을 통한 행사장에서의 사생활 보호를 설명하는 예시도이며,
도 5는 본 발명의 일실시예에 따른 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈을 통한 관광지에서의 사생활 보호를 설명하는 예시도이다.
FIG. 1 is a block diagram illustrating the functions of an Internet system-on-chip according to an embodiment of the present invention,
2 is a diagram for explaining sharing of a venue image through an object Internet system on chip according to an embodiment of the present invention and an object Internet module using the same,
FIG. 3 is a diagram illustrating an example of privacy protection for a senior citizen through the Internet of Things System chip and the Internet module of objects using the same according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining privacy protection in a venue through an object Internet system on chip according to an embodiment of the present invention and an object Internet module using the same.
FIG. 5 is a diagram illustrating an example of privacy protection in a tourist place through the object Internet system-on-chip and the object Internet module using the object Internet system-on-chip according to an embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the present invention.

본 발명에 일실시예에 따른 사물인터넷 시스템 온 칩 및 이를 이용한 사물 인터넷 모듈은 실시간 영상, 목소리 및 상황을 요구사항에 맞게 제공하는 스마트 사물인터넷 단말기와 이를 근거로 하는 각종 모임, 발표회, 전시회, 행사 등에서 영상 및 그 상황을 소셜 네트워크, 메신저, 블로그, 홈페이지 등에 그 요구하는 조건들(상세영상, 일부 흐린 영상, 전체 부호/암호화 영상 및 상황)에 따른 공유 서비스를 한다.The object Internet system-on-chip according to an embodiment of the present invention and the object Internet module using the same provide a smart object Internet terminal that provides real-time images, voices and situations according to requirements, and various gatherings, presentations, Etc., sharing service according to the conditions (detailed image, some blurred image, whole code / encrypted image and situation) required for a social network, a messenger, a blog, and a homepage.

배경기술에서 설명한 바와 같이, 여러 가지 경우의 행사에 실시간 영상, 실시간 음성, 실시간 환경 상황을 현장에 오지 못해 현장에 있지 않은 여러 관련자들(취미 모임, 가족/동창/기념 모임, 세미나, 전시회, 관광지, 전통시장 등)과 소셜 네트워크, 메신저, 블로그, 홈페이지 등을 이용하여서 나누고, 상호간 기념, 축하, 배우고, 즐기는 일들에 해결책을 제시한다.As described in the Background Art, there are many people who are not in the field (hobbies, family / alumni / memorial gatherings, seminars, exhibitions, sightseeing spots) , Traditional markets, etc.), social networks, messengers, blogs, and homepages, and presents solutions to memories, celebrations, learning, and enjoying each other.

아울러 이러한 실시간 영상, 실시간 음성, 실시간 환경 상황을 공유하는 것은 현장에 있는 참여자들의 개인 얼굴, 사생활을 보호해야 한다.In addition, sharing these real-time video, real-time voice, and real-time environmental conditions should protect the personal faces and privacy of participants in the field.

이것도 경우에 따라서 일부 변형, 전체 부호화, 전체 실시간 영상, 실시간 음성, 실시간 환경 상황을 그대로 전할 경우가 있다.In some cases, some of the transformations, full encoding, full real-time video, real-time audio, and real-time environment conditions are transmitted.

이때에 요구사항(개인 생활 노출, 얼굴 노출, 행위 노출)에 따라서 해당사항인 얼굴, 목소리 등을 영상으로 못 알아보게 실시간 변형하거나, 아예 전체를 부호/암호화하거나, 문제가 없을 때는 고화질 그대로 전송하는 방법을 해결 제시해야 한다.At this time, according to the requirements (personal life exposure, face exposure, act exposure), it is possible to change the real face, voice or the like in real time so that it can not recognize the image, or to encode / encrypt the whole, The solution should be presented.

이러한 문제를 해결하기 위해서 새로운 기능(영상처리, 음성처리, 센서 값 처리 & 전송할 수 있는)의 사물인터넷 단말기가 필요한데, 이를 실시간 온라인으로 연결하여 나눌 수 있는 시스템 및 서비스의 발명 개발이 필요하다.In order to solve this problem, it is necessary to develop a system and a service that can connect and divide it in real-time online, because a new function (image processing, speech processing, sensor value processing and transmission)

따라서 보통의 수단으로서는 이러한 입력 소스 수준의 영상데이터, 음성데이터, 환경 상황 데이터를 입력하여 제어 관리센터에 여러 가지 방법, 알고리즘을 처리하는 고속 서버 시스템으로 가공하여 처리한다.Therefore, as a normal means, input data such as input source level video data, audio data, and environmental situation data are processed and processed into a high-speed server system that processes various methods and algorithms in the control management center.

그러나 이러한 대형 서버시스템에서 영상 복합 센서가 구비된 수많은 사물인터넷 단말기에서 들어오는 실시간 상황을 다 처리하는 것은 현실적으로 불가하고, 실현한다고 하더라도 금전적으로 엄청난 고가의 시설을 하여야 한다.However, in such a large server system, it is practically impossible to handle real-time situations coming in from a number of object internet terminals equipped with a video composite sensor, and even if the realization is realized, a very expensive facility must be financially provided.

이에 대한 해결책으로 본원 발명에서는 사물인터넷 단말기에 해당부분 영상 변형처리, 음성 변성처리의 기능, 전체 영상, 전체 음성, 센서 데이터를 부호/암호화 처리하는 기능, 가공없이 원래대로 그대로 전송하는 기능을 가지는 스마트 사물인터넷 단말기를 제공한다.As a solution to this problem, the present invention provides a smart Internet service having a function of performing a partial image transformation process, a function of a voice modification process, a function of signing / encrypting a whole image, a whole voice, sensor data, Object Internet terminal.

따라서 영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 한다.Accordingly, the image, voice, and IoT sensor values are encrypted and stored, the encrypted storage data is decrypted using the encryption key, and the security functions of video and audio of the IoT are processed in the semiconductor chip.

암호화는 LEA 알고리즘을 방식을 사용한다.Encryption uses the LEA algorithm.

즉, 상기 스마트 사물인터넷 단말기는 요구사항에 따른 영상 및 상황을 첫째로 가공없이 실시간으로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 환경 상황을 변경 처리하여 보내거나, 셋째로 전체 영상, 음성, 상태(센서)를 부호화하여 보내는 기능을 가지고 있다.That is, the smart thing Internet terminal sends the video and the situation according to the requirements as it is in real time without processing first, or secondly, it makes some blurring and sends the detailed video, voice, , Voice, and status (sensor).

그리고 상기 스마트 사물인터넷 단말기를 인터넷 상의 SNS, 메신저, 볼로그, 홈페이지 등과 접속하여 노약자 보호, 요양원, 파티, 모임, 세미나, 전시장 발표회 등에 현황을 실시간 공유하게 할 수 있다.The smart thing internet terminal can be connected to SNS, instant messenger, vol log, homepage, etc. on the Internet, thereby enabling the current status to be shared with the elderly, nursing home, party, meeting, seminar,

아울러, 영상, 음성, 현재 환경 상태(온도, 공기질 등)를 실시간으로 요구에 따라 처리할 수 있으며, 이러한 기능을 제공하는 스마트 사물인터넷 단말기를 도 1에 나타내었다.In addition, FIG. 1 shows a smart object Internet terminal that can process video, audio, and current environmental conditions (temperature, air quality, etc.) in real time according to demands.

상기 스마트 사물인터넷 단말기는 도 1에 나타낸 바와 같이, 영상부호화 기능을 가지는 영상센서 CPU와, 영상변형, 음성변성 알고리즘을 처리하는 알고리즘 CPU와, 영상센서, 온도센서, 가스센서, 마이크, 스피커, 통신부 등의 기능을 구비한다.As shown in FIG. 1, the smart object Internet terminal includes an image sensor CPU having an image encoding function, an algorithm CPU for processing an image transformation and a voice transformation algorithm, an image sensor, a temperature sensor, a gas sensor, a microphone, And the like.

실시간 영상, 음성 공유에서 가장 중요한 사항인 개인적인 인상착의, 사생활의 노출에 대한 대비로 사물인터넷 단말기에 센서 소스 수준에서 영상과 음성을 암호화하는 기능이 제공된다.Encryption of video and audio at the sensor source level is provided to the object Internet terminal, in preparation for personal impressions and private exposure, which are the most important issues in real-time video and voice sharing.

실시간 상황은 사물인터넷 단말기에 온도센서(습도센서 포함), 가스센서(공기질 센서 포함)를 장착하여 영상 및 음성 이외의 현지의 환경 상태를 실시간 전달해 준다.The real-time situation is equipped with a temperature sensor (including a humidity sensor) and a gas sensor (including an air quality sensor) on the Internet terminal, and real-time transmission of local environmental conditions other than video and audio is provided.

스마트 사물인터넷 단말기에는 스마트 기능을 수행하는 알고리즘 CPU가 있어서 사람 인식 및 얼굴 인식, 영상변조 또는 화소 정밀도 변경, 음성의 음색변조, 속도변경 등의 알고리즘을 수행한다.The smart object internet terminal has an algorithm CPU that performs a smart function to perform algorithms such as human recognition and face recognition, image modulation or pixel precision change, tone color modulation of voice, and speed change.

즉, 통상 움직임을 감지하기 위해서 PIR 센서, 도플러 센서, 거리감지 센서 등을 사용하며, 영상 자체에서 픽셀 변화에 따른 움직짐을 감지하여 사람의 움직임을 감지하지만, 본원 발명에 따른 스마트 사물인터넷 단말기에서 움직임을 감지하기 위해서는 별도의 센서 없이 움직임을 감지할 수가 있는 것이다.That is, a PIR sensor, a Doppler sensor, a distance sensor, or the like is used to detect a normal motion, and a motion of a person is sensed by detecting a motion of the image itself according to a pixel change. In the smart object Internet terminal according to the present invention, It is possible to detect motion without a separate sensor.

그리고 필요에 따라 영상의 크기를 조절할 수 있는 것으로, QVGA, VGA, 1M 픽셀, 2M 픽셀, 5M 픽셀 등으로 변경하여 영상 입력 및 영상 출력이 되도록 할 수 있다.In addition, the size of the image can be adjusted according to need, and it can be changed to QVGA, VGA, 1M pixel, 2M pixel, 5M pixel, etc., so that the image input and image output can be performed.

스마트 사물인터넷 단말기에는 사물인터넷 보안이 중요해지는데, 적절한 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어를 한다.Smart objects Internet security is important for internet terminals, and it is equipped with an appropriate security function package to protect against external hacking.

영상센서 CPU는 사물인터넷 단말기 기능 전체를 제어하는데, 사용자의 스마트폰 어플(Smart phone APP)이나 서버 시스템(Server System)의 명령이나 요청에 따라서 부분적인 영상이나 음성변경, 전체 영상이나 음성의 암호화, 가공없는 원래의 고화질 영상과 원래 음성을 전송해준다.The image sensor CPU controls all the functions of the Internet terminal. It can change partial image or voice, encrypt the entire image or voice according to the command or request of Smart phone APP or Server System of the user, It delivers original high definition video without processing and original voice.

상술한 사물인터넷 단말기를 이용한 사생활 보호 실시간 영상 및 상황 공유에 대한 사물인터넷 시스템을 도 2에 나타내었다.FIG. 2 shows the object Internet system for privacy protection real-time video and situation sharing using the above-described object Internet terminal.

도 2에 나타낸 바와 같이, 행사장은 실제적으로 식당, 상가, 온라인 쇼핑몰, 전시장, 상점/상가, 세미나장, 공원, 농장, 공장, 농장의 조림, 생산라인 등을 포함하는 개념이며, 행사장에서 공유할 내용은 행사 내용, 즉 모임(취미, 동창회, 생일, 회갑, 기념일 등), 발표회(세미나, 포럼, 워크샵, 전시회 등), 홍보/광고(호텔 등의 식당, 음식점 실내외, 도시상가, 전통시장 등), 보호시설 또는 보호행위(요양원, 병원, 독거노인, 독거여성, 노약자, 장애인 등), 온라인 관광 및 온라인 영상 서비스(관광지, 유적지, 휴양지, 국가삼림지/휴양지, 국가공원 등) 등에서 실시간 영상 및 환경 상황을 공유 시에 사생활 침해 부분인 개인 얼굴 및 행동 양식을 변형하거나 가리거나 완전히 암호화할 필요가 있는 것이다.As shown in FIG. 2, the concept includes a restaurant, a shopping mall, an online shopping mall, an exhibition hall, a store / shopping center, a seminar hall, a park, a farm, a plant, The contents include contents of the event, such as meeting (hobby, reunion, birthday, sixtieth birthday, etc.), presentation (seminar, forum, workshop, exhibition), publicity / advertisement (restaurant, restaurant indoor and outdoor, ), Real-time video and video surveillance in a protected facility or a protective activity (nursing home, hospital, elderly person living alone, elderly woman, elderly person, disabled person, etc.), online sightseeing and online video service (sightseeing spot, historical site, resort, national forest / When sharing environmental situations, it is necessary to modify, hide, or completely encrypt personal privacy and behavior patterns that are part of privacy.

이를 구성하는 사물인터넷 시스템은 행사장, 행사장에서의 행사 내용을 실시간 공유하게 주변에 적절하게 배치하는 다수의 스마트 사물인터넷 단말기 및 참여자가 가지고 있는 스마트폰, 행사장의 내용(영상, 음성, 상황)을 저장, 관리, 중계해 주는 서버 시스템 및 이를 통해 서비스하는 SNS, 메신저, 블로그, 홈페이지, 서비스 등 원격지에서 참여하는 사람들의 스마트폰, 노트 패드 등으로 구성된다.The Internet system of objects consists of a large number of smart object internet terminals that properly share event contents at event sites and events, and smart phone devices and participants' contents (video, audio, and situation) , A server system that manages and relays, and a smartphone and a note pad for people participating in remote sites such as SNS, instant messenger, blog, homepage, and service.

행사장의 중계는 필요한 위치에 한 개 내지 복수의 스마트 사물인터넷 단말기를 배치한다. The relay of the venue arranges one or more Smart Objects Internet terminals at necessary positions.

추가적으로 참여자가 자신의 스마트폰으로 일부 실시간 영상 공유를 할 수도 있다.In addition, participants can share some real-time video with their smartphone.

인터넷상의 서버 시스템은 실시간 영상 및 상황을 저장, 관리, 송출하는 기능을 가지고 자체 SNS나 메신저 기능을 가지고 서비스 할 수 있고, 추가 기능으로 기존의 SNS, 메신저, 블로그, 홈페이지 등을 통해서도 실시간 영상 및 상황을 공유하게 하는 역할을 수행한다.The server system on the Internet has the function of storing, managing, and transmitting real-time video and situation, and can be provided with its own SNS or messenger function. Also, it can add real-time image and situation through existing SNS, instant messenger, blog, And the like.

기존의 SNS, 메신저는 카카오톡, 라인, 페이스북, 트위터 또는 Google, Apple 등의 기능 시스템이 될 수 있다.Existing SNS, Messenger can be KakaoTalk, Line, Facebook, Twitter or a functional system of Google, Apple and others.

원격지 참여자는 스마트폰, Note pad 등에 해당 실시간 영상 및 상황을 공유하는 APP을 다운 받아서 참여할 수 있다.The remote participant can participate by downloading the APP that shares the real-time image and situation of the smartphone, the note pad and so on.

이 스마트폰 APP은 행사에 참여하게 미리 등록하거나 제한된 모임에 참여하는 제한된 실시간 영상, 상황 공유 서비스 시스템을 이용한다.This smartphone APP uses a limited real-time video and situational sharing service system to register in advance or participate in limited meetings to participate in the event.

한편, 공개형 실시간 영상 및 상황 공유 시스템 및 서비스는 공개형 APP을 다운 받아서 공유 서비스, 행사 등에 참여할 수 있다. On the other hand, the open-type real-time video and situation sharing system and service can download the open-type APP and participate in sharing services, events and the like.

이 경우는 광고, 홍보형 공개 서비스가 주로 되는데, 여러 다수에게 알리는 모임, 발표회, 안내, 영상서비스 등이 된다.In this case, advertisements and publicity-type public services are mainly used, and they are a meeting, a presentation, a guide, a video service, etc.

아울러, 도 3은 노약자 사생활 보호에 대한 예시로써, 노약자가 생활하는 실내 공간에 스마트 사물인터넷 단말기를 설치하여 해당 노약자를 촬영하면서, 해당 노약자의 모습 및 움직이는 부분을 모자이크 처리하여 사생활을 보호한다.In addition, FIG. 3 is an example of privacy protection for the elderly, in which a smart object internet terminal is installed in an indoor space where the elderly person lives, and the privacy of the elderly person is protected by mosaicing the shape and moving part of the elderly person.

도 4는 행사장 등에서 개인 얼굴이 노출되는 것을 방지하는 것에 대한 예시로써, 식당 내외 모양, 전시장 내외 영상, 행사장, 시장통로 및 가게에 설치된 스마트 사물인터넷 단말기를 통해 촬영되는 영상에서 개인의 얼굴을 모자이크 처리하여 개인 얼굴이 노출되는 것을 방지함으로써 사생활을 보호할 수 있다.FIG. 4 is an example of preventing personal faces from being exposed at a venue, etc., and mosaic processing of an individual's face is performed on images taken through a smart object Internet terminal installed in the inside and outside of the restaurant, inside and outside the exhibition hall, Thereby protecting the privacy of the user by preventing exposure of the personal face.

도 5는 관광지, 유적지 등에서 개인 얼굴이 노출되는 것을 방지하는 것에 대한 예시로써, 관광지, 유적지 등에 설치된 스마트 사물인터넷 단말기를 통해 촬영되는 영상에서 개인의 얼굴을 모자이크 처리하여 개인 얼굴이 노출되는 것을 방지함으로써 사생활을 보호할 수 있다.FIG. 5 illustrates an example of preventing personal faces from being exposed at sightseeing spots, historical sites, etc., and mosaic processing of individual faces is prevented from being exposed in a video shot through a smart object Internet terminal installed at a sightseeing spot, Privacy can be protected.

상술한 바와 같이, 본 발명에 따르면 스마트 사물인터넷 단말기에서 사생활 보호, 개인정보 보호기능을 구현하고, 이를 새로운 또는 기존의 SNS, 메신저를 통해서 공유하고 각종 블로그나 홈페이지를 통해서 실시간 영상 및 상황을 공유할 수 있다.As described above, according to the present invention, it is possible to implement privacy protection and privacy protection functions in a smart object internet terminal, share it through a new or existing SNS, instant messenger, and share real time images and situations through various blogs and homepages .

참고로, 2개의 CPU 처리기가 구비된 사물 인터넷용 시스템 온 칩 이중 프로세서 구조는 8비트 마이크로 컨트롤러부, 8비트 고속 데이터 버스부 및 32비트 마이크로 프로세서부를 포함하여 크게 3부분으로 나눌 수 있는데, 우선 8비트 마이크로 컨트롤러부는 8비트 마이크로 컨트롤러 유닛과 8비트 저속 데이터 버스, 그리고 여러 다양한 내부 기능 블럭들로 구성되어 있으며 낮은 데이터 처리 및 사물 인터넷용 시스템 온 칩의 전체 동작을 제어한다.For reference, a system-on-chip dual processor architecture for the Internet with two CPU processors includes an 8-bit microcontroller, an 8-bit high-speed data bus, and a 32-bit microprocessor. The bit microcontroller unit consists of an 8-bit microcontroller unit, an 8-bit low-speed data bus, and various internal function blocks to control the overall operation of the system-on-a-chip for low data processing and object internet.

8비트 마이크로 컨트롤로부를 사용함으로써 IoT 시스템 온 칩의 제조 비용이 절감된다.By using parts with 8-bit microcontroller, manufacturing cost of IoT system-on-chip is reduced.

8비트 고속 데이터 버스부는 8비트 고속 데이터 버스와 영상 인코더부를 포함한 다양한 내부 기능 블럭들로 구성되어 있으며 8비트의 고속 데이터 처리 및 영상 데이터 압축, 외부 통신 모듈과의 고속 인터페이스를 수행한다.The 8-bit high-speed data bus is composed of various internal functional blocks including an 8-bit high-speed data bus and a video encoder, and performs 8-bit high-speed data processing, image data compression and high-speed interface with an external communication module.

8비트 고속 데이터 버스는 영상 데이터와 음성 데이터를 외부 통신모듈과 고속으로 송/수신하는 것에 적합하고, 8비트 저속 데이터 버스는 센서 데이터와 8비트 마이크로 컨트롤러에서 출력되는 명령을 외부 통신모듈이나 센서에 저속으로 송/수신하는 것에 적합하다.The 8-bit high-speed data bus is suitable for transmitting / receiving image data and voice data at high speed with the external communication module. The 8-bit low-speed data bus is used to transmit the sensor data and commands output from the 8- It is suitable for transmitting / receiving at low speed.

32비트 마이크로 프로세서부는 32비트 마이크로 프로세서와 대용량 외부 메모리 인터페이스, 32비트 고속 데이터 버스와 32비트 저속 데이터 버스로 구성되어 있으며 복잡한 알고리즘 동작을 수행하고 고속 데이터 송/수신을 수행한다.The 32-bit microprocessor consists of a 32-bit microprocessor, a large-capacity external memory interface, a 32-bit high-speed data bus, and a 32-bit low-speed data bus. The 32-bit microprocessor performs complex algorithm operations and performs high-speed data transmission and reception.

8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부 사이에는 서로 다른 동작 주파수를 가진 신호를 처리하기 위한 동기화 작업을 수행하는 제1브릿지부가 구비되고, 8비트 고속 데이터 버스부와 32비트 마이크로 프로세서부 사이에는 서로 다른 동작 주파수를 가진 신호를 처리하기 위한 동기화 작업을 수행하는 제2브릿지부가 구비된다.A first bridge unit for performing a synchronization operation for processing signals having different operating frequencies is provided between the 8-bit microcontroller unit and the 8-bit high-speed data bus unit, A second bridge unit for performing a synchronization operation for processing signals having different operating frequencies is provided.

32비트 마이크로 프로세서부의 32비트 마이크로 프로세서와 8비트 마이크로 컨트롤러부의 8비트 마이크로 컨트롤러 유닛 사이에는 간단한 명령을 저장하여 각각의 CPU의 명령을 송/수신해주는 역할을 수행하는 Mail Box부가 구비된다.Between the 32-bit microprocessor of the 32-bit microprocessor unit and the 8-bit microcontroller unit of the 8-bit microcontroller unit, there is provided a Mail Box unit which stores simple commands and transmits / receives commands of respective CPUs.

8비트 고속 데이터 버스부와 32비트 마이크로 프로세서부 사이에는 프로그래밍 부팅을 위한 부트로더부가 구비되고, 8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부 사이에는 8비트 마이크로 컨트롤러용 데이터 메모리부가 구비된다.A boot loader portion for programming boot is provided between the 8-bit high-speed data bus portion and the 32-bit microprocessor portion, and an 8-bit microcontroller data memory portion is provided between the 8-bit microcontroller portion and the 8-bit high speed data bus portion.

상기 데이터 메모리부는 8비트 마이크로 컨트롤러용 32KByte 저장 용량의 데이터 메모리로써, 듀얼 포트(Dual port)이므로 8비트 마이크로 컨트롤러뿐만 아니라 메모리 접근부(DMA)에서도 접근(access)할 수 있다.The data memory unit is a data memory having a storage capacity of 32 Kbytes for an 8-bit microcontroller, and is a dual port. Therefore, the data memory unit can access not only an 8-bit microcontroller but also a memory access unit (DMA).

8비트 마이크로 컨트롤러부는 사물 인터넷용 시스템 온 칩에 적합한 듀얼 CPU의 전체 동작을 제어하는 역할을 수행하며 8비트 처리용량의 8비트 마이크로 컨트롤러 유닛0과 8비트 저속 데이터 버스와 내부 기능 블럭들로 구성되어 있다.The 8-bit microcontroller is responsible for controlling the overall operation of dual CPUs suitable for the system-on-chip for things Internet. It consists of an 8-bit microcontroller unit 0 with 8-bit processing capacity and an 8-bit low-speed data bus and internal function blocks have.

상기 8비트 마이크로 컨트롤러 유닛은 8비트 마이크로 컨트롤러부와 8비트 고속 데이터 버스부의 모든 기능 블럭들을 직접 제어할 수 있다.The 8-bit microcontroller unit can directly control all functional blocks of the 8-bit microcontroller and the 8-bit high-speed data bus.

8비트 마이크로 컨트롤러부의 8비트 마이크로 컨트롤러 유닛은 8비트 처리용량의 마이크로 컨트롤러 유닛(MCU)으로써, Intel Standard 8051에 호환된다.The 8-bit microcontroller unit of the 8-bit microcontroller is an 8-bit processing microcontroller unit (MCU) and is Intel Standard 8051 compliant.

8비트 마이크로 컨트롤러 유닛부의 클럭 주파수는 7.384MHz이다.The clock frequency of the 8-bit microcontroller unit is 7.384 MHz.

8비트 마이크로 컨트롤러부의 8비트 저속 데이터 버스에 연결된 내부 기능 블럭으로는 임의의 타이밍을 만들어 이벤트를 만들어주거나 발생된 이벤트를 계수하는 기능을 수행하는 2개의 타이머부(Timer), 입력 신호의 Level 변화에 따라 Pulse의 Width에 변화를 주는 2개의 펄스폭 변조부(PWM), 8비트 마이크로 컨트롤러 유닛이 오작동을 하여 무한 루틴에 빠지는 것을 방지하는 것으로 정해진 시간에 스위치 reset을 하게 해주는 와치독 타이머부(WDT), RS-232 통신을 위한 것으로 최고 230400bps의 baud rate를 지원하는 2개의 UART부(UART), I2C 통신을 위한 I2C부(I2C), 최대 16개의 interrupt 중 하나를 muxing 처리하여 8비트 마이크로 컨트롤러 유닛이 갖고 있는 2개의 외부 인터럽트 중 어느 하나의 인터럽트를 사용할 수 있게 하는 기능을 수행하는 외부 인터럽트부(INTC), UART부 또는 직렬연결버스(SPI)와 같이 serial 통신을 위한 직렬 컴퓨터 버스 및 추가로 32비트를 사용할 수 있도록 지원하는 일반 입/출력부를 포함하여 구성될 수 있다.The internal function block connected to the 8-bit low-speed data bus of the 8-bit microcontroller includes two timer units (Timer) for generating an arbitrary timing and counting generated events, There are two pulse width modulators (PWM) that change the width of the pulse, a watchdog timer unit (WDT) that prevents the 8 bit microcontroller unit from malfunctioning and goes into an infinite routine, , 2 UARTs (UART) for RS-232 communication with maximum baud rate of 230400 bps, I2C part for I2C communication (I2C), 8 bit microcontroller unit by muxing one of up to 16 interrupts An external interrupt unit (INTC), a UART unit, or the like which performs a function of making use of any one of two external interrupts A serial computer bus and further for serial communication, such as a column bus connection (SPI) can be configured to include a general input / output, which supports the use of 32 bits.

8비트 고속 데이터 버스부는 8비트 마이크로 컨트롤부의 8비트 저속 데이터 버스에 비해 클럭 주파수가 높은 고속의 데이터 처리속도로 외부 주변장치들을 제어하고 영상 데이터를 처리되도록 하는 8비트 고속 데이터 버스와 내부 기능 블럭들로 구성되어 있다.The 8-bit high-speed data bus section has an 8-bit high-speed data bus for controlling external peripheral devices and processing image data at a high data processing speed with a high clock frequency as compared with the 8-bit low-speed data bus of the 8- .

8비트 고속 데이터 버스에 연결된 내부 기능 블럭으로는, 상대적으로 클럭 주파수가 낮아 저속인 8비트 마이크로 컨트롤러 유닛의 제어 없이 직접 메모리 접근 동작을 수행하여 8비트 마이크로 컨트롤러 유닛의 데이터 메모리부에 접근하고 8비트 고속 데이터 버스에 연결된 외부 주변장치들을 제어하는 메모리접근부(DMA), 8비트 고속 데이터 버스에서 데이터 충돌이 생기는 것을 방지하는 우선중재부(Senbus Arbiter), 메모리접근부(DMA)를 통해 제어되는 메모리중재부(SMC), 8비트 고속 데이터 버스에 연결된 내부 기능 블럭들의 제어를 위한 레지스터 블럭(Sen_reg), 고속 대용량의 영상 데이터를 고속으로 전송할 수 있는 시큐어 디지털 입/출력부(SDIO), 대용량의 데이터를 고속으로 전송할 수 있는 직렬 연결 버스부(SPI), 8비트 고속 데이터 버스에 연결되어 사물 인터넷에서 데이터 및 영상 보안 기능으로 소스 수준에서 센서 데이터와 영상데이터를 암호화/복호화 처리를 하여 사물인터넷에 특화된 보안 기능을 지원하는 경량암호알고리즘부(LEA), 움직임 감지부(Motion Detection)에 의해 외부 영상센서(CIS)로부터 입력되는 영상 데이터의 영상처리 효율을 향상시키고자 QVGA 해상도부터 VGA(0.3P), SXGA(1MP), UXGA(2MP), QSXGA(5MP)로 최대 5백만 화소의 해상도까지 영상압축을 지원하고 외부 영상센서(CIS)로부터 입력된 영상데이터의 해상도를 조절하여 효과적으로 움직임 감지가 수행되도록 하는 스케일러부(Scaler), 외부 영상센서(CIS)로부터 입력되는 영상 데이터의 노이즈 성분을 최적화여 영상 인코더부(JPENC)에서 출력되는 영상 데이터의 크기가 줄어지도록 하는 노이즈감소부(Noise Reduction), 외부 영상센터(CIS)로부터 입력된 영상 데이터에 대해 이전 프레임과 현재 프레임과의 차이를 8비트 데이터 값으로 출력하여 영상 데이터 내 변화되는 데이터를 감지함으로써 움직임을 검출하는 움직임 감지부(Motion Detection), 외부 영상 센서로부터 입력된 영상 데이터를 압축하는 영상 인코더부(JPENC), 외부 오디오 코덱부로부터 입력된 오디오 데이터가 상기 메모리접근부(DMA)의 제어에 의해 외부 주변장치들에 전달되도록 하거나, 또는 외부 주변장치들로부터 전달된 오디오 데이터가 상기 메모리접근부(DMA)의 제어에 의해 외부 오디오코덱부로 전달되도록 하는 오디오처리부(ADPCM)를 포함하여 구성된다.The internal functional blocks connected to the 8-bit high-speed data bus include a direct memory access operation without the control of a low-speed 8-bit microcontroller unit due to the relatively low clock frequency to access the data memory of the 8-bit microcontroller unit, A memory access unit (DMA) for controlling external peripheral devices connected to the high-speed data bus, a Senbus Arbiter for preventing data collision on the 8-bit high-speed data bus, a memory controlled by a memory access unit (DMA) A register block (Sen_reg) for controlling internal function blocks connected to the 8-bit high-speed data bus, a secure digital input / output section (SDIO) for transferring high-speed large-capacity image data at a high speed, (SPI), which can be connected to an 8-bit high-speed data bus, The Lightweight Cryptographic Algorithm (LEA), which encrypts / decrypts sensor data and image data at the source level with the data and image security functions in the Internet to support security functions specific to the Internet, In order to improve the image processing efficiency of image data input from the image sensor (CIS), video from QVGA resolution to VGA (0.3P), SXGA (1MP), UXGA (2MP), QSXGA A scaler that supports compression and adjusts the resolution of image data input from an external image sensor CIS so as to perform motion detection effectively, and a noise component of image data input from an external image sensor (CIS) A noise reduction unit for reducing the size of the image data output from the image encoder unit JPENC, a noise reduction unit for reducing the size of the image input from the external image center CIS, A motion detection unit (Motion Detection) for detecting a motion by outputting a difference between a previous frame and a current frame as an 8-bit data value to detect data in the image data, (EN), audio data input from an external audio codec unit is transferred to external peripheral devices under the control of the memory access unit (DMA), or audio data transferred from external peripheral devices And an audio processor (ADPCM) for transferring the audio signal to an external audio codec unit under the control of a memory access unit (DMA).

8비트 고속 데이터 버스의 클럭 주파수는 96MHz인데, 영상 인코더부에서 외부의 영상센서(CIS)로부터 입력된 영상 데이터를 압축하는데 필요한 인코딩 클럭 주파수는 48MHz ~ 96Mhz로 별도로 구분하여 사용함으로써, 여러 영상 센서(CIS)의 종류에 따른 클럭 주파수의 변경에 대응할 수 있도록 한다.The clock frequency of the 8-bit high-speed data bus is 96 MHz. The encoding clock frequency required for compressing the image data input from the external image sensor (CIS) in the image encoder section is separately classified into 48 MHz to 96 MHz, CIS) according to the kind of the clock frequency.

8비트 마이크로 컨트롤러 유닛이 8비트 고속 데이터 버스(SENbus)를 이용하려면 제1브릿지부와 우선중재부(Senbus Arbiter)를 통해 interface를 해야 하며 2개의 메모리접근부(DMA)를 통해 대용량의 8비트 데이터를 고속으로 송/수신할 수 있다.In order to use the 8-bit high-speed data bus (SENbus), the 8-bit microcontroller unit must interface through the first bridge unit and the Senbus Arbiter, and through the two memory access units (DMA) Can be transmitted / received at high speed.

상기 2개의 메모리접근부(DMA) 중 하나는 영상 인코딩되고 암호화된 영상 데이터의 고속 데이터 전송을 담당한다.One of the two memory access units (DMAs) is responsible for high-speed data transfer of image-encoded and encrypted image data.

8비트 고속 데이터 버스부의 우선중재부(Senbus Arbiter)는 고속 데이터 버스(310; SENbus) 내에서 우선 순위에 따라 명령을 처리하여 데이터 충돌을 방지하는 것으로, 8비트 마이크로 컨트롤러 유닛과 메모리접근부(DMA) 중 8비트 마이크로 컨트롤러 유닛으로부터 입력된 명령을 더 높은 우선 순위로 처리할 수 있다.The Senbus Arbiter of the 8-bit high-speed data bus unit processes instructions in a priority order in the high-speed data bus 310 (SENbus) to prevent data collision. The 8-bit microcontroller unit and the memory access unit ) Can process a command input from an 8-bit microcontroller unit at a higher priority.

8비트 고속 데이터 버스부의 영상 인코더부(JPENC)는 외부 영상센서(CIS)로부터 입력되는 데이터를 JPG type의 영상 데이터로 인코딩하며, JPEG 표준에 호환된다.The image encoder unit (JPENC) of the 8-bit high-speed data bus unit encodes data input from an external image sensor (CIS) into image data of JPG type, and is compatible with the JPEG standard.

경량암호알고리즘부(LEA)는 수신 측에서 해당하는 암호키를 가지고 복호화 해서 원래 값을 재현시킨다.The lightweight encryption algorithm unit (LEA) decrypts the encryption key with the corresponding encryption key on the receiving side and reproduces the original value.

8비트 고속 데이터 버스부에서의 영상처리는 외부의 영상 센서로부터 입력된 영상 데이터를 압축한 후, 메모리접근부의 제어에 의해 압축된 영상 데이터가 외부 주변장치들에 전달되도록 하는 것으로, 외부의 영상 센서로부터 입력된 영상 데이터는 영상 인코더부에서 압축되어 영상메모리(256Byte buffer)에 저장된 후, 메모리중재부를 거쳐서 고속 데이터 버스(SENbus)를 통해 외부메모리에 저장될 수 있다.The image processing in the 8-bit high-speed data bus unit compresses the image data inputted from the external image sensor, and then the compressed image data is transferred to the external peripheral devices under the control of the memory access unit. The image data input from the image encoder unit may be compressed and stored in an image memory (256 byte buffer), and then stored in an external memory through a high-speed data bus (SENbus) through a memory arbitration unit.

32비트 마이크로 프로세서부는 32비트 처리 용량의 32비트 마이크로 프로세서와 2개의 데이터 버스, 내부 기능 블럭과 32비트 대용량 메모리 인터페이스부로 구성되어 있는데, 32비트 고속 데이터 송/수신을 수행하고, 32비트 마이크로 프로세서를 이용하여 영상 인식 알고리즘 동작과 같은 복잡한 연산처리를 수행하며, 압축되지 않은 영상 데이터를 외부 대용량 메모리(DDR2)에 저장하는 동작을 수행한다.The 32-bit microprocessor consists of a 32-bit microprocessor with 32-bit processing capability, two data buses, an internal functional block and a 32-bit large memory interface to perform 32-bit high-speed data transmission and reception, And performs operations such as the operation of the image recognition algorithm and the operation of storing the uncompressed image data in the external large capacity memory (DDR2).

32비트 마이크로 프로세서부는 32비트 고속 데이터 버스를 backbone 버스로 사용하여 32비트 마이크로 프로세서와 DMA 등이 연결되어 있고, 주변 장치 데이터 전송을 위해 32비트 저속 데이터 버스에는 내부 기능 블럭이 연결되어 있다.The 32-bit microprocessor uses a 32-bit high-speed data bus as a backbone bus, and a 32-bit microprocessor and DMA are connected. An internal function block is connected to the 32-bit low-speed data bus for peripheral device data transfer.

32비트 마이크로 프로세서의 클럭 주파수는 33Mhz이다.The 32-bit microprocessor has a clock frequency of 33 MHz.

32비트 고속 데이터 버스는 32비트 대용량 메모리 인터페이스부가 한 번에 많은 양의 데이터를 전송하는 버스트 모드의 데이터 전송을 지원하도록 하고, 외부 영상센서(CIS)로부터 입력된 압축되지 않은 영상 데이터를 32비트 대용량 메모리 인터페이스부로 전송하는 AHB 용 메모리접근부(AHB_DMA)로 구성될 수 있다.The 32-bit high-speed data bus enables the 32-bit large memory interface to support burst mode data transfer, which transfers a large amount of data at a time, and the uncompressed image data input from the external image sensor (CIS) And an AHB memory access unit (AHB_DMA) for transferring the data to the memory interface unit.

즉, 32비트 고속 데이터 버스는 32비트 고속 데이터 송수신을 수행하고, 32비트 마이크로 프로세서를 이용하여 영상 인식 알고리즘 동작과 같은 복잡하고 빠른 연산처리 가능하게 하며, 고속 DRAM DDR2를 제어하여서 쓰기/읽기 작업에 의한 빠른 영상처리를 가능하게 한다.That is, the 32-bit high-speed data bus performs 32-bit high-speed data transmission and reception, enables a complicated and fast operation process such as the operation of image recognition algorithm using a 32-bit microprocessor, and controls high speed DRAM DDR2 for writing / Thereby enabling fast image processing.

32비트 저속 데이터 버스는 low bandwidth인 주변 장치와 인터페이스를 위한 내부 기능 블럭을 제어하는데 적합하게 사용될 수 있다.The 32-bit low-speed data bus can be used to control internal function blocks for interfacing with peripheral devices of low bandwidth.

32비트 저속 데이터 버스는 pipelined 버스 인터페이스의 고성능이 필요하지 않고 low bandwidth인 주변 장치와 인터페이스를 위한 내부 기능 블럭들을 위해 사용되며, 임의의 타이밍을 만들어 이벤트를 만들어주거나 발생된 이벤트를 계수하는 기능을 수행하는 타이머부(TIMER), RS-232 통신을 위한 UART부(UART), 영상 인코더부를 제어하는 영상 제어부를 포함하여 구성될 수 있다.The 32-bit low-speed data bus is used for internal function blocks for interfacing with peripherals that do not require the high performance of the pipelined bus interface and for low bandwidth. They create arbitrary timing and perform functions to count events A UART unit for RS-232 communication, and a video controller for controlling the video encoder unit.

32비트 마이크로 프로세서부는 32비트 고속 데이터 버스와 32비트 저속 데이터 버스로 버스를 분리하여, 소비 전력과 전송 속도에서 경제적이다.The 32-bit microprocessor divides the bus into a 32-bit high-speed data bus and a 32-bit low-speed data bus, which is economical at power consumption and transmission speed.

32비트 마이크로 프로세서부에서 IMG2DMA는 움직임 감지부(Motion Detection)로부터 오는 영상 데이터를 AHB용 메모리접근부(AHB_DMA)에 전달하기 위한 FIFO 블럭이다.In the 32-bit microprocessor, the IMG2DMA is a FIFO block for transferring image data coming from a motion detection unit to the AHB memory access unit (AHB_DMA).

sys_reg는 32비트 마이크로 프로세서로부터 명령어를 받아 전체 동작을 위한 시스템 레지스터를 저장한다.sys_reg receives instructions from the 32-bit microprocessor and stores system registers for the entire operation.

video_con은 영상인식 알고리즘을 처리하는 동작을 위한 제어 레지스터를 저장하고 있다.video_con stores a control register for an operation for processing an image recognition algorithm.

SYS_DMA는 32비트 저속 데이터 버스용 메모리접근부이며, 32비트 저속 데이터 버스에 연결된 기능 블럭들을 제어하고 데이터 송/수신동작을 수행한다.SYS_DMA is a memory access unit for a 32-bit low-speed data bus. It controls the function blocks connected to the 32-bit low-speed data bus and performs data transmission / reception operations.

Figure pat00001
Figure pat00001

표 1은 사물 인터넷용 시스템 온 칩 이중 프로세서 구조의 스펙 테이블로써, 32비트 마이크로 프로세서를 위한 AMBA(Adv anced Microcontroller Bus Architecture) 버스가 구비되고, 33Mhz 클럭 동작의 AHB bus는 DDR2 인터페이스 , 영상 인지 알고리즘 처리를 위한 대용량 데이터를 송/수신하며, 33Mhz 클럭 동작의 APB bus는 외부 타이머 , UART, GPIO 등을 연결한다.Table 1 shows the spec table of system-on-chip dual-processor architecture for the Internet. The AMBA (Advanced Microcontroller Bus Architecture) bus for 32-bit microprocessor is equipped with AHB bus with 33Mhz clock, DDR2 interface, , And the APB bus of 33Mhz clock operation connects external timer, UART, GPIO and so on.

AMBA 버스와 유사한 2개의 분리된 8비트 버스 구조를 가지며, 78MHz 클럭 동작의 고속 데이터 버스(SenBus)는 DMA controller, SPI 등을 연결한다.It has two separate 8-bit bus structures similar to the AMBA bus. A high-speed data bus (SenBus) with a clock speed of 78 MHz connects the DMA controller, SPI, and so on.

7.384MHz 클럭 동작의 MCU Bu s는 외부 타이머, UART, GPIO 등을 연결한다.The MCU of 7.384MHz clock operation Bu connects s external timer, UART, GPIO.

6개의 개별 PLL을 이용하여 6개의 클럭을 독립적으로 사용하며, 영상 데이터의 크기(resolution)가 향상되는데, 영상 데이터는 최대(Max) 2592 x 1944 resolutio n의 QSXGA(Quad Super Extended Graphics Array)부터 5M pixels까지의 영상을 처리한다.Six independent clocks are used independently of six individual PLLs to improve the resolution of the image data. The image data is converted from QSXGA (Quad Super Extended Graphics Array) with maximum 2592 x 1944 resolution to 5M pixels.

영상신호 처리 속도(frame rate)가 향상되는데, 최대(Max) 5fps @ QSXGA의 영상을 처리한다.The video signal processing rate (frame rate) is improved, and the maximum 5fps @ QSXGA image is processed.

32kB 용량의 데이터 메모 리 내장으로 동작 속도 및 소비전력 저감한 Dual-port RAM으로 8비트 마이크로 컨트롤러와 메모리접근부에서 모두 access 가능하다.Dual-port RAM with built-in 32kB data memory and reduced operating speed and power consumption. Access to both 8-bit microcontroller and memory access is possible.

최대 8Mb 용량의 외부 데이터 메모리를 확장하여 access 가능하고, 주변회로(pe ripheral)를 지원하는데, 내부 GPIO 16개, 외부 32비트 GPIO, 내부 INT 5개 (10개), 외부 16개 확장 INT, I2C, SPI 4개, I2S, SDIO, UART 3개, PWM 2개, WDT이 구비되고, 외부 SRAM 접속을 하는데, 4개(SMC, SRAM M emory Controller 이용)까지 가능하다.16 internal GPIOs, external 32-bit GPIOs, 5 internal INTs (10), external 16 expansion INTs, I2Cs , Four SPIs, I2S, SDIO, three UARTs, two PWMs, WDTs, and four external SRAM memories (using SMC and SRAM memory controllers).

상술한 바와 같이 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에서, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 적합한 듀얼 CPU 구조는 6개의 개별 PLL을 이용하여 5개의 클럭이 독립적으로 동작하게 함으로써 전력 소모를 줄일 수 있고, 4개의 개별 데이터 버스를 이용할 수 있으며 다양한 상황에 맞게 효율적으로 동작할 수 있다.As described above, in the system-on-chip dual processor architecture for the Internet, a dual CPU structure suitable for a system-on-chip dual processor architecture for the Internet uses five individual PLLs to operate independently, thereby reducing power consumption Four separate data buses are available, and can operate efficiently for a variety of situations.

그리고 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 적합한 듀얼 CPU구조에서 32비트 마이크로 프로세서부는 32비트 마이크로 프로세서를 기반으로 하여 AMBA 버스(AHB bus, APB bus) 및 다양한 IP를 추가할 수 있다.In a dual-CPU architecture suitable for system-on-chip dual processor architecture for Internet use, the 32-bit microprocessor is based on a 32-bit microprocessor and can add AMBA bus (AHB bus, APB bus) and various IPs.

32비트 마이크로 프로세서는 32비트 기반의 RISC타입 프로세서가 될 수 있으며, AMBA 버스 사용을 통해 고속 및 저전력으로 동작이 가능하고 디버깅을 위해 OCD(On Chip Debugger)를 함께 내장하여 프로세서 동작 시 내부 레스터에 대한 정보를 얻을 수 있다.The 32-bit microprocessor can be a 32-bit RISC type processor. It can operate at high speed and low power through the use of AMBA bus, and it also includes OCD (On Chip Debugger) for debugging. Information can be obtained.

또한, cache를 함께 내장하도록 설계하여, 빠른 처리 속도를 구현할 수 있으며, 다양한 인터페이스를 통해 다양한 저장 장치 사용과 여러 가지 형태의 입/출력 장치를 사용 가능하다.In addition, it is designed to embed cache together to realize fast processing speed, and it is possible to use various storage devices and various types of input / output devices through various interfaces.

그리고 PIC 모듈을 통해 효율적인 멀티태스킹 인터럽트 관리를 지원한다.It also supports efficient multitasking interrupt management through the PIC module.

인터럽트 지원은 멀티태스킹 구현을 위해 필수적인 것이다.Interrupt support is essential for multitasking implementations.

아울러, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에서 영상 감지 및 영상 인지 기능을 수행하는 과정으로써, 먼저, 외부 센서로부터 감지 신호 혹은 이벤트 신호가 발생하면, power down mode로 있던 8비트 마이크로 컨트롤러가 활성화된다.In addition, when a sensing signal or an event signal is generated from an external sensor, the 8-bit microcontroller in the power down mode is activated. .

이어서, 외부 영상 센서를 동작시키기 위한 셋팅 값을 I2C 모듈을 통해 보내어 이미지센서를 활성화하고, 영상 데이터를 입력받아 영상 인코더부를 통해 영상 데이터 압축, SMC 블럭을 통해 외부 SRAM에 저장한다.Then, the setting value for operating the external image sensor is sent through the I2C module to activate the image sensor, and the image data is received and stored in the external SRAM through the image data compression unit and the SMC block through the image encoder unit.

영상 인지 기능을 수행한다면, 우선 8비트 마이크로 컨트롤러가 Mail Box를 통해 32비트 마이크로 프로세서에게 영상인지 기능을 수행하라는 명령어를 전송하고, 32비트 마이크로 프로세서는 영상인지 알고리즘을 수행하기 위한 영상 데이터를 외부 영상센서(CIS)에서 IMG2DMA블럭을 통해 받아서 AHB_DMA를 사용하여 DDR2 controller를 거쳐서 DDR2에 저장시킨다.If an 8-bit microcontroller performs an image recognition function, the 8-bit microcontroller transmits an instruction to the 32-bit microprocessor through the Mail Box to perform the image recognition function. The 32-bit microprocessor transmits the image data for performing the image recognition algorithm to the external image Sensor (CIS) receives through IMG2DMA block and AHB_DMA is stored in DDR2 through DDR2 controller.

영상 인지 기능의 수행이 완료되면 32비트 마이크로 프로세서는 완료되었다는 신호를 Mail Box를 통해 명령어를 전달하고, Mail Box로부터 영상인지 기능이 완료되었음을 확인받은 8비트 마이크로 컨트롤러는 동작중인 기능을 종료하고 power down mode로 돌입한다. When the image recognition function is completed, the 32-bit microprocessor transmits the command through the Mail Box and the 8-bit microcontroller confirmed that the image recognition function is completed from the Mail Box. mode.

상술한 바와 같이, 사물 인터넷용 시스템 온 칩 이중 프로세서 구조에 의하여, 국산 CPU인 32비트 Core-A 프로세서를 적용하여 사물 인터넷용 시스템 온 칩에 적합한 듀얼 CPU를 개발함으로 사물인터넷 시스템 온 칩을 일반 8비트 프로세서와 컨트롤러에 비해서 성능 향상을 할 수 있고, Smart 기능, 저전력 기능, 보안 기능을 구현할 수 있다.As described above, the dual-CPU system for on-chip internet has been applied to develop a dual CPU suitable for a system-on-chip for the Internet by applying a 32-bit Core-A processor, which is a domestic CPU, It can improve performance compared to bit processors and controllers, and can implement Smart functions, low power functions and security functions.

32비트 Core-A 프로세서와 3M~5M 픽셀 영상처리기능을 집적하여 생체특징 인식, 영상ㅇ얼굴 인식 등 고화질 수요에 대응할 수 있고, 32비트 마이크로 프로세서와 지그비 네트워크 기능을 하나의 시스템 온 칩으로 구현하여 고기능 저가형 사물인터넷용 시스템 온 칩을 구현할 수 있다.It integrates 32-bit Core-A processor and 3M ~ 5M pixel image processing functions to cope with high quality demand such as biometric feature recognition, image recognition and face recognition, and realizes 32 bit microprocessor and ZigBee network function as one system-on-chip High-performance low-cost objects System-on-chip for the Internet can be realized.

즉, 사물 인터넷 알고리즘 처리 전용으로 고속 버스와 고속 메모리를 이용하여, 현재 화자인식을 위한 음성처리, 영상처리, 센서값 (예: 온도, 조도, 거리, 움직임, 가스, 분진 등)들과, 영상처리, 음성처리를 고려하여 복합적인 상황에 대한 판단을 하게 해서 특히 영상 처리에 유용하게 처리 속도를 빠르게 하는 기능을 수행하도록 할 수 있다.In other words, speech processing, image processing, sensor values (eg, temperature, illuminance, distance, motion, gas, dust, etc.) for current speaker recognition, and image It is possible to make a decision on a complex situation in consideration of processing, voice processing, and particularly to perform a function of speeding up the processing speed particularly useful for image processing.

그리고 영상 데이터의 화질 개선을 위하여 영상 잡음 제거 필터를 구현하며, 영상 데이터를 암호화하는 기능 즉 Key로 잠그고 푸는 하드웨어 기능을 부여할 수 있도록, 보안 기능의 경량 블록 암호 프로세서를 하드웨어로 구현하여 필수적인 사물인터넷 보안 기능을 포함하였다.In order to improve the image quality of the image data, the image noise cancellation filter is implemented and the light block cryptographic processor of security function is implemented in hardware so that the function of encrypting the image data, that is, the hardware function of locking and unlocking by the key, Security features.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of illustration, It will be readily apparent that various substitutions, modifications, and alterations can be made herein.

Claims (5)

스마트 사물인터넷용 단말기에서 획득된 영상의 변형 처리 기능과 음성의 변성 처리 기능을 위하여, 획득된 영상, 음성 및 센서 데이터를 부호/암호 처리하는 기능을 가지며;
스마트 사물인터넷용 단말기에서 획득된 영상 및 음성을 공유하기 위하여, 사생활 노출에 대한 대비로 영상과 음성을 암호화하는 기능을 제공하고;
스마트 사물인터넷용 단말기에 보안기능 패키지를 장착하여 외부에서의 해킹에 대한 방어 기능이 제공되는 것을 특징으로 한 사물인터넷 시스템 온 칩을 이용한 사물 인터넷 모듈.
Has a function of encoding / encrypting acquired image, voice, and sensor data for a deformation processing function and a degeneration processing function of an image obtained in a Smart Objects Internet terminal;
Providing a function of encrypting video and audio in order to share images and voice acquired in a Smart Objects Internet terminal, in preparation for private exposure;
And a security function package is installed in a Smart Objects Internet terminal to provide a defense function against hacking from the outside.
청구항 1에 있어서, 스마트 사물인터넷용 단말기는 영상센서 CPU, 알고리즘 CPU가 구비되며; 영상센서 CPU는 스마트 사물인터넷용 단말기의 기능 전체를 제어하는 것으로, 사용자의 스마트폰이나 서버 시스템의 요청에 따라서 획득된 원 상태의 영상 또는 획득된 원 상태의 음성을 전송하는 기능을 제공하고, 획득된 원 상태의 영상 또는 획득된 원 상태의 음성에서 부분적인 영상 또는 부분적인 음성의 변경이 이루어지도록 하는 기능을 제공하고, 영상 또는 음성을 암호화시키는 기능을 제공하며; 알고리즘 CPU는 스마트 사물인터넷용 단말기의 스마트 기능을 수행하는 것으로, 사람 인식, 영상 변조, 화소 정밀도 변경, 음성의 음색 변조, 전송 속도 변경을 포함한 알고리즘을 수행하는 기능을 제공하는 것을 특징으로 한 사물인터넷 시스템 온 칩을 이용한 사물 인터넷 모듈.The smart thing Internet terminal according to claim 1, wherein the smart object Internet terminal comprises an image sensor CPU and an algorithm CPU; The image sensor CPU controls all the functions of the Smart Object Internet terminal and provides a function of transmitting the original image obtained in response to the request of the user's smartphone or the server system or the acquired original state voice, Providing a function of changing a partial image or a partial voice in an original image or an acquired original state voice and providing a function of encrypting an image or a voice; The algorithm CPU performs a smart function of a Smart Object Internet terminal and provides a function of performing algorithms including human recognition, image modulation, pixel precision change, tone color modulation of voice, and transmission rate change. Object - based Internet Module using System - on - Chip. 청구항 2에 있어서, 스마트 사물인터넷용 단말기에 온도센서 및 가스센서를 더 구비하여 주변 환경 데이터를 실시간 제공하고, 영상, 음성 및 IoT 센서 값을 암호화하여 저장하고, 암호화된 저장 데이터를 암호키를 이용하여 복호화하고, IoT의 영상 및 음성의 보안 기능을 반도체 칩에서 처리가 되도록 하는 것을 특징으로 한 사물인터넷 시스템 온 칩을 이용한 사물 인터넷 모듈.The Smart Objects Internet terminal as claimed in claim 2, further comprising: a temperature sensor and a gas sensor provided in the smart object Internet terminal, realizing surrounding environment data in real time, encrypting and storing image, voice and IoT sensor values, And the security functions of video and audio of IoT are processed by the semiconductor chip. 청구항 2에 있어서, 스마트 사물인터넷 단말기는 요구사항에 따른 영상 및 상황을 첫째로 가공없이 실시간으로 그대로 보내거나, 둘째로 일부 흐리게 처리하여 상세 영상 및 목소리, 환경 상황을 변경 처리하여 보내거나, 셋째로 전체 영상, 음성, 환경 상태(센서)를 부호화하여 보내는 기능이 구비된 것을 특징으로 한 사물인터넷 시스템 온 칩을 이용한 사물 인터넷 모듈.The smart thing Internet terminal according to claim 2, wherein the smart thing Internet terminal sends the video and the situation according to the requirements as it is in real time without processing first, or the blurring process is performed secondly to change the detailed video, voice, And a function of encoding and transmitting the entire image, voice, and environmental condition (sensor) is provided. 청구항 2에 있어서, 스마트 사물인터넷 단말기를 인터넷 상의 SNS, 메신저, 볼로그, 홈페이지 등과 접속하여 노약자 보호, 요양원, 파티, 모임, 세미나 또는 전시장 발표회에 현황을 실시간 공유하게 할 수 있는 것을 특징으로 한 사물인터넷 시스템 온 칩을 이용한 사물 인터넷 모듈.The smart thing internet terminal according to claim 2, wherein the smart thing internet terminal is connected to a SNS, an instant messenger, a bulletin, or a homepage on the Internet to allow the current status to be shared in real time in a protection for the elderly, a nursing home, a party, a meeting, a seminar, Internet System On - chip Internet Module.
KR1020170171339A 2017-12-13 2017-12-13 IoT System on Chip and IoT Module using thereof KR102278566B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171339A KR102278566B1 (en) 2017-12-13 2017-12-13 IoT System on Chip and IoT Module using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171339A KR102278566B1 (en) 2017-12-13 2017-12-13 IoT System on Chip and IoT Module using thereof

Publications (2)

Publication Number Publication Date
KR20190078689A true KR20190078689A (en) 2019-07-05
KR102278566B1 KR102278566B1 (en) 2021-07-16

Family

ID=67225407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171339A KR102278566B1 (en) 2017-12-13 2017-12-13 IoT System on Chip and IoT Module using thereof

Country Status (1)

Country Link
KR (1) KR102278566B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338664B1 (en) * 2021-05-11 2021-12-10 정명호 Management system of sound data using sound level meter of ceiling-attached type

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098097A (en) * 2014-02-19 2015-08-27 삼성전자주식회사 Apparatus and Method for processing biometric information in a electronic device
KR20160063793A (en) * 2014-11-27 2016-06-07 삼성전자주식회사 Electronic device and method for transmitting and receiving information in the electronic device
KR101628975B1 (en) * 2015-08-28 2016-06-09 셀로코주식회사 Real Time Live Image Sharing IoT System and Service Providing Method thereof
KR20160140347A (en) * 2015-05-27 2016-12-07 (주)원퍼스트 Method for providing control service based on internet of things and smart control device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150098097A (en) * 2014-02-19 2015-08-27 삼성전자주식회사 Apparatus and Method for processing biometric information in a electronic device
KR20160063793A (en) * 2014-11-27 2016-06-07 삼성전자주식회사 Electronic device and method for transmitting and receiving information in the electronic device
KR20160140347A (en) * 2015-05-27 2016-12-07 (주)원퍼스트 Method for providing control service based on internet of things and smart control device
KR101628975B1 (en) * 2015-08-28 2016-06-09 셀로코주식회사 Real Time Live Image Sharing IoT System and Service Providing Method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338664B1 (en) * 2021-05-11 2021-12-10 정명호 Management system of sound data using sound level meter of ceiling-attached type

Also Published As

Publication number Publication date
KR102278566B1 (en) 2021-07-16

Similar Documents

Publication Publication Date Title
TW436710B (en) Methods and apparatus for processing video data
US20190319804A1 (en) Unified accelerator for classical and post-quantum digital signature schemes in computing environments
KR102122476B1 (en) Apparatas and method for controlling a rotation of screen in an electronic device
CN102254297B (en) Multiple shader system and processing method thereof
KR101933162B1 (en) Smart IoT System sharing Real Time Images and Situation and service Method thereof
CN103797805B (en) Use the media coding in change region
US11756153B2 (en) Hemisphere cube map projection format in imaging environments
CN105025349B (en) The throwing screen of encryption
CN104012059A (en) Direct link synchronization cummuication between co-processors
JP7389236B2 (en) Facial image transmission method, value transfer method, device, electronic device
WO2022161227A1 (en) Image processing method and apparatus, and image processing chip and electronic device
CN106303569A (en) The transmission method of a kind of live video stream, main broadcaster's end equipment
JP2017068255A (en) Device and method for processing image
CN107077186A (en) Low-power is calculated as picture
US20130120406A1 (en) Graphics processing
KR101983247B1 (en) Car Parking Recognition Apparatus for Internet of Things using Image Complex Sensor
KR101873022B1 (en) SoC Dual Processor Architecture for Internet of Things
KR102278566B1 (en) IoT System on Chip and IoT Module using thereof
EP2791882A1 (en) Systems, methods, and computer program products for capturing natural responses to advertisements
CN112351133B (en) Media data sharing method and terminal
TW201135467A (en) Recording contents of display screens
US20160085348A1 (en) Application host with distributed remote input and output interfaces
CN109286828A (en) A kind of holography fan screen ad delivery systems
US7861007B2 (en) Method and apparatus for multimedia display in a mobile device
US20140023346A1 (en) Shuffling Video for Privacy Protection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant