KR20190081297A - Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same - Google Patents

Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same Download PDF

Info

Publication number
KR20190081297A
KR20190081297A KR1020170183717A KR20170183717A KR20190081297A KR 20190081297 A KR20190081297 A KR 20190081297A KR 1020170183717 A KR1020170183717 A KR 1020170183717A KR 20170183717 A KR20170183717 A KR 20170183717A KR 20190081297 A KR20190081297 A KR 20190081297A
Authority
KR
South Korea
Prior art keywords
image
security
module
registered
video
Prior art date
Application number
KR1020170183717A
Other languages
Korean (ko)
Other versions
KR102066778B1 (en
Inventor
윤은준
박윤하
Original Assignee
경일대학교산학협력단
주식회사우경정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단, 주식회사우경정보기술 filed Critical 경일대학교산학협력단
Priority to KR1020170183717A priority Critical patent/KR102066778B1/en
Publication of KR20190081297A publication Critical patent/KR20190081297A/en
Application granted granted Critical
Publication of KR102066778B1 publication Critical patent/KR102066778B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2351—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving encryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

The present invention relates to an image processing system including Internet of things (IoT)-based image transmission and reception devices. According to the present invention, the image transmission device comprises: a communication unit communicating with the image reception device; an object security module recognizing an object from a photographed image, determining whether the recognized object is a preset registered object, and performing an object security process for the registered object when the recognized object is determined as the registered object based on a determination result; and an image encoding module using a lightweight encoding technique to encode the photographed image, and performing a security authentication process. The image reception device comprises: a communication unit communicating with the image transmission device; an object security cancelation module canceling object security for the registered object; and an image decoding module decoding the encoded image. Accordingly, the image is encoded based on a lightweight encoding technique, thereby performing low-computation and low-power encoding and decoding.

Description

사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법{IMAGE PROCESSING SYSTEM COMPRISING IMAGE TRANSMITTER AND IMAGE RECEIVER BASED ON INTERNET OF THINGS, AND IMAGE PROCESSING METHOD USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing system including an object-based image transmitting apparatus and an image receiving apparatus, and an image processing method using the same. 2. Description of the Related Art [0002]

본 발명은 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법에 관한 것으로, 보다 구체적으로 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.The present invention relates to an image processing system including an image transmitting apparatus and an image receiving apparatus, and to an image processing method using the same. More particularly, the present invention relates to an image processing system including an object- And a method of processing the same.

최근 활발히 개발되고 있는 사물 인터넷(IoT: Internet of Things)은 지능형 무인 경비 시스템에서 사용되는 CCTV, 스마트폰으로 가정의 상황을 모니터링 하는 홈 CCTV, 원격 환자 모니터링 시스템 및 원격 진료 환경 등과 같은 다양한 영상 매체를 이용하는 분야에 응용되고 있다. Recently, the Internet of Things (IoT) has been actively developed. It has various video media such as home CCTV, remote patient monitoring system, and telemedicine environment, which monitor CCTV and smart phone used in intelligent unmanned security system. And has been applied to the field of use.

하지만, 현재 상용화 되어있는 사물 인터넷 환경 기반 영상 제공 서비스는 별도의 암호 기법 없이 단순 아이디 및 패스워드 기반의 인증에 의존하고 있다. 또한, 이러한 서비스를 제공하는 대부분의 기업은 제품 및 기업 내부의 연결된 기기들을 보호하기 위한 보안 기술력에만 집중하고 있어 영상의 보안에는 취약하다. However, the present commercial Internet based image providing service relies on simple ID and password based authentication without a separate encryption method. In addition, most companies providing such services are vulnerable to image security because they concentrate only on security technologies to protect the products and connected devices inside the company.

또한, 영상 제공 서비스는 대부분 실시간으로 영상을 제공하기 때문에 널리 알려져 있는 기존의 암호기법으로는 고화질의 실시간 영상 제공 서비스를 원활히 할 수 없다는 문제점이 있고, 기존의 패스워드 방식은 패스워드의 유출이 쉬워 사용자도 알지 못하는 사이에 개인 프라이버시 영상이 노출될 수 있다는 문제점이 있다.In addition, since most of the image providing services provide images in real time, there is a problem in that a conventional high-quality real-time image providing service can not be smoothly performed by a well-known conventional cryptography. In the existing password method, There is a problem that the personal privacy image can be exposed without knowing it.

본 발명이 해결하고자 하는 과제는, 경량화 암호 기법 기반으로 영상을 암호화하여 저연산, 저전력의 암호화, 복호화가 가능한 영상 처리 시스템 및 이를 이용한 영상 처리 방법을 제공하는 것이다. An object of the present invention is to provide an image processing system capable of encrypting an image based on a lightweight encryption scheme and performing a low operation, encryption and decryption of low power, and an image processing method using the same.

본 발명이 해결하고자 하는 과제는, 사용자 맞춤형 프라이버시 보호 기능이 적용된 고화질 실시간 영상을 제공할 수 있는 영상 처리 시스템 및 이를 이용한 영상 처리 방법을 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing system capable of providing a high-quality real-time image using a user-customized privacy protection function and an image processing method using the same.

본 발명의 일 실시예인, 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템에서, 상기 영상 송신 장치는, 상기 영상 수신 장치와 통신하는 통신부와; 촬상된 영상에서 객체를 인식하고, 인식된 객체가 기설정된 등록 객체인지 여부를 판단하고, 판단 결과 상기 인식된 객체가 상기 등록 객체이면 상기 등록 객체에 대한 객체 보안 처리를 수행하는 객체 보안 모듈과; 그리고, 경량화 암호화 기법을 이용하여 상기 촬상된 영상을 암호화하고, 보안 인증 처리를 수행하는 영상 암호화 모듈을 포함하고, 상기 영상 수신 장치는, 상기 영상 송신 장치와 통신하는 통신부와; 상기 등록 객체에 대한 객체 보안을 해제하는 객체 보안 해제 모듈과; 그리고, 상기 암호화된 영상을 복호화 하는 영상 복호화 모듈을 포함할 수 있다.In the image processing system including the object Internet-based image transmitting apparatus and the image receiving apparatus, which is one embodiment of the present invention, the image transmitting apparatus includes: a communication unit for communicating with the image receiving apparatus; An object security module for recognizing an object in the captured image, determining whether the recognized object is a preset registered object, and performing object security processing on the registered object if the recognized object is the registered object; And a video encrypting module for encrypting the captured image using a lightweight encryption technique and performing a security authentication process, the video receiving device including: a communication unit for communicating with the video transmitting device; An object security release module for releasing object security for the registered object; And an image decryption module for decrypting the encrypted image.

상기 영상 송신 장치는 영상을 촬상하는 카메라를 더 포함할 수 있다. The image transmitting apparatus may further include a camera for capturing an image.

상기 객체 보안 모듈은 빅데이터 분석을 기반으로 하는 딥러닝 방식으로 객체를 인식하고, 상기 등록 객체를 블러, 모자이크 처리 및 카오스 기반의 스크램블 기법 중 적어도 하나를 이용하여 마스킹할 수 있다. The object security module may recognize an object using a deep learning method based on a big data analysis, and may mask the registered object using at least one of a blur, a mosaic process, and a chaos-based scrambling technique.

상기 영상 암호화 모듈은 영상이 촬상된 시각을 수치화한 시간 정보인 타임 스탬프 t와 메세지 인증 코드 역할을 하는 일방향 해쉬 알고리즘을 이용하여 세션키를 생성하는 것을 생성할 수 있다. The image encryption module may generate a session key using a time stamp t, which is time information obtained by digitizing the time at which the image is captured, and a one-way hash algorithm serving as a message authentication code.

본 발명의 다른 실시예인, 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템의 영상 처리 방법은, 상기 영상 송신 장치에서 영상을 촬상하는 단계와; 상기 촬상된 영상에서 객체를 인식하는 단계와; 상기 인식된 객체가 기설정된 등록 객체인지 여부를 판단하고, 판단 결과 상기 인식된 객체가 상기 등록 객체이면 상기 등록 객체에 대한 객체 보안 처리를 수행하는 단계와; 상기 객체 보안 처리가 수행된 영상을 경량화 암호화 기법을 이용하여 암호화하고, 보안 인증을 수행하는 단계와; 상기 암호화된 영상을 상기 영상 수신 장치로 전송하는 단계와; 상기 암호화된 영상을 복호화 하여 재생하는 단계를 포함할 수 있다.According to another embodiment of the present invention, an image processing method of an image processing system including a video transmitting apparatus and a video receiving apparatus includes the steps of: capturing an image in the video transmitting apparatus; Recognizing an object in the captured image; Determining whether the recognized object is a preset registered object, and performing object security processing on the registered object if the recognized object is the registered object; Encrypting the image subjected to the object security processing using a lightweight encryption technique, and performing security authentication; Transmitting the encrypted image to the image receiving apparatus; And decrypting and reproducing the encrypted image.

본 발명의 실시예에 따르면, 경량화 암호 기법 기반으로 영상을 암호화하여 저연산, 저전력의 암호화, 복호화가 가능한 영상 처리 시스템 및 이를 이용한 영상 처리 방법이 제공될 수 있다. According to an embodiment of the present invention, an image processing system capable of encrypting an image based on a lightweight encryption scheme and performing a low operation, encryption and decryption of low power, and an image processing method using the same can be provided.

또한, 본 발명의 실시예에 따르면, 사용자 맞춤형 프라이버시 보호 기능이 적용된 고화질 실시간 영상을 제공할 수 있는 영상 처리 시스템 및 이를 이용한 영상 처리 방법이 제공될 수 있다.In addition, according to an embodiment of the present invention, an image processing system capable of providing a high-quality real-time image with a user-customized privacy protection function and an image processing method using the same can be provided.

도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 제어 블럭도이고,
도 2는 본 발명의 실시예에 따른 객체 보안 처리를 설명하기 위한 도면이고,
도 3은 본 발명의 실시예에 따른 등록 객체의 마스킹을 설명하기 위한 도면이고,
도 4는 본 발명의 실시예에 따른 경량화 암호 알고리즘의 구성도이고,
도 5는 본 발명의 실시예에 따른 영상 암호,복호화 및 보안 인증 프로토콜을 나타낸 도면이고,
도 6은 본 발명의 실시예에 따른 암호화된 영상을 도시한 도면이고,
도 7은 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이고,
도 8은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 제어 블럭도이고,
도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.1 is a control block diagram of an image processing system according to an embodiment of the present invention,
2 is a diagram for explaining object security processing according to an embodiment of the present invention,
3 is a view for explaining masking of a registered object according to an embodiment of the present invention,
4 is a configuration diagram of a lightweight encryption algorithm according to an embodiment of the present invention,
FIG. 5 is a diagram illustrating a video encryption, decryption, and security authentication protocol according to an embodiment of the present invention,
FIG. 6 is a diagram illustrating an encrypted image according to an embodiment of the present invention,
7 is a control flowchart for explaining an image processing method according to an embodiment of the present invention,
8 is a control block diagram of an image processing system according to another embodiment of the present invention,
9 is a diagram of a computing device, in accordance with an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.In the present specification, duplicate descriptions are omitted for the same constituent elements.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, May be present. On the other hand, in the present specification, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that no other element exists in between.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다. Furthermore, terms used herein are used only to describe specific embodiments and are not intended to be limiting of the present invention.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. Also, in this specification, the singular forms "a," "an," and "the" include plural referents unless the context clearly dictates otherwise.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.Also, in this specification, the terms " comprise ", or " have ", and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.Also, in this specification, the term 'and / or' includes any combination of the listed items or any of the plurality of listed items. In this specification, 'A or B' may include 'A', 'B', or 'both A and B'.

도 1은 본 발명의 실시예에 따른 영상 처리 시스템의 제어 블럭도이다.1 is a control block diagram of an image processing system according to an embodiment of the present invention.

도시된 바와 같이, 본 실시예에 따른 영상 처리 시스템은 영상 송신 장치(100)와 영상 수신 장치(200)를 포함할 수 있다. As shown in the figure, the image processing system according to the present embodiment may include the image transmitting apparatus 100 and the image receiving apparatus 200.

영상 송신 장치(100)는 사물 인터넷 기반의 영상 기기를 포함할 수 있으며, 영상을 촬상하고 유무선 통신을 통하여 외부와 각종 신호 및 영상을 주고 받을 수 있는 전자 디바이스로 구현될 수 있다. 예를 들어, 영상 송신 장치(100)는 무인 경비 시스템에서 사용되는 CCTV, 스마트폰으로 가정의 상황을 모니터링 하는 홈 CCTV, 자동차 블랙 박스, 드론 또는 의료용 촬상 기기와 같은 경량의 소형 전자 기기로 구현될 수 있다. The video transmitting apparatus 100 may include an object-based video device, and may be implemented as an electronic device capable of capturing an image and transmitting / receiving various signals and images to / from the outside through wire / wireless communication. For example, the image transmitting apparatus 100 may be implemented as a CCTV used in an unmanned security system, a lightweight small electronic apparatus such as a home CCTV, a car black box, a drone, or a medical imaging apparatus, .

영상 수신 장치(200)는 영상 송신 장치(100)로부터 영상을 수신하여 영상을 처리, 저장 및 활용할 수 있는 영상 처리 기기일 수 있으며, 영상 송신 장치(100)와 같은 개인 단말일 수도 있고, 영상 처리를 위한 서버일 수도 있다. 영상 송신 장치(100)가 서버일 경우 촬상된 영상을 저장하고 다양한 영상 처리를 통하여 사용자에게 제공하는 역할을 수행할 수 있다. The image receiving apparatus 200 may be an image processing apparatus capable of receiving an image from the image transmitting apparatus 100 and processing, storing, and utilizing the image, or may be a personal terminal such as the image transmitting apparatus 100, Lt; / RTI > When the image transmitting apparatus 100 is a server, it can perform a role of storing a captured image and providing it to a user through various image processing.

영상 송신 장치(100)는 카메라(110), 객체 보안 모듈(120), 영상 암호화 모듈(130) 및 통신부(140)를 포함할 수 있고, 영상 수신 장치(200)는 통신부(210), 영상 복호화 모듈(220), 객체 보안 해제 모듈(230), 디스플레이부(240) 및 사용자 인터페이스부(250)를 포함할 수 있다. The video transmission apparatus 100 may include a camera 110, an object security module 120, a video encryption module 130 and a communication unit 140. The video reception apparatus 200 may include a communication unit 210, A module 220, an object security release module 230, a display unit 240, and a user interface unit 250.

영상 송신 장치(100)와 영상 수신 장치(200)는 통신부(140, 210)의 유, 무선 통신을 통하여 촬상된 영상을 주고 받을 수 있다. 본 발명에 따른 영상 처리 시스템의 경우, 사물 인터넷 기반으로 영상을 송수신할 수 있는 영상 기기간 통신을 지원하며, 통신부(140, 210)는 공지된 다양한 통신 프로토콜에 따라 영상을 송수신할 수 있다.The image transmitting apparatus 100 and the image receiving apparatus 200 can send and receive images captured through the wired and wireless communication of the communication units 140 and 210. In the case of the image processing system according to the present invention, the communication units 140 and 210 support communication between video devices capable of transmitting and receiving video based on the object Internet, and the communication units 140 and 210 can transmit and receive video according to various known communication protocols.

카메라(110)는 사용자가 원하는 영상을 촬상하며, 촬상된 영상은 영상 송신 장치(100)에서 암호화 될 수 있다. The camera 110 picks up an image desired by the user, and the picked-up image can be encrypted in the image transmitting apparatus 100.

객체 보안 모듈(120)은 촬상된 영상에서 객체를 인식하고, 인식된 객체가 기설정된 등록 객체인지 여부를 판단하고, 판단 결과 인식된 객체가 등록 객체이면 등록 객체에 대한 객체 보안 처리를 수행할 수 있다. 사물 인터넷 환경에서 개인 영상 정보는 유출되었을 때 민감한 내용을 많이 담고 있다. 이를 방지하기 위하여, 객체 보안 모듈(120)은 개인 영상 정보 보호를 위해 프라이버시 객체를 검출하고, 검출된 객체가 등록된 사용자의 경우 객체를 마스킹하여 다른 사람이 알아보지 못하도록 하는 사용자 맞춤 프라이버시 보호 기법을 영상에 적용한다. The object security module 120 recognizes the object in the captured image, determines whether the recognized object is a preset registered object, and performs object security processing on the registered object if the recognized object is a registered object have. In the Internet environment of objects, personal image information contains a lot of sensitive contents when leaked. In order to prevent this, the object security module 120 detects a privacy object for protecting personal image information, and if the detected object is a registered user, a user-customized privacy protection technique that prevents an object from being recognized by masking the object, .

도 2는 본 발명의 실시예에 따른 객체 보안 처리를 설명하기 위한 도면이다. 도시된 바와 같이, 우선, 객체 보안 모듈(120)은 빅데이터 분석을 기반으로 하는 딥러닝(deep learning) 방식으로 동적 객체를 인식할 수 있다(Ⅰ).2 is a diagram for explaining object security processing according to an embodiment of the present invention. As shown, the object security module 120 can recognize a dynamic object in a deep learning method based on a big data analysis (I).

딥러닝은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 예를 들어, 컴퓨터는 사진만으로 개와 고양이를 구분하지 못한다. 하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 ‘기계 학습(Machine Learning)’이라는 방법이 고안되었으며, 많은 데이터, 즉 빅데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다. 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다. 데이터를 어떻게 분류할 것인가를 놓고 현재 많은 기계 학습 알고리즘이 등장하고 있으며, ‘의사결정나무’나 ‘베이지안망’, ‘서포트벡터머신(SVM)’, ‘인공신경망’ 등이 대표적이다. 이 중 딥러닝은 인공신경망이 개발된 것이다.Deep learning is a technique used to cluster or classify objects or data. For example, computers can not distinguish dogs and cats from photographs alone. But people can be easily distinguished. For this purpose, 'Machine Learning' has been devised and it is a technique to input a lot of data, big data, into a computer and classify similar things. When a photo similar to a saved dog photo is entered, the computer will classify it as an open photo. There are a lot of machine learning algorithms currently available on how to classify data. Decision trees, beige aisles, support vector machines (SVM), and artificial neural networks are typical examples. Deep learning is the artificial neural network developed.

이러한 딥러닝을 이용하여 객체를 인식할 경우, 사람의 개입 없이 자동차를 트럭, 버스, 승용차 등으로 분류하는 것이 가능하고, 사람의 인상 및 행동 패턴을 학습하여 객체를 분류하는 데 뛰어난 효과가 있다. When such an object is recognized by using the deep learning, it is possible to classify the vehicle into a truck, a bus, a car, etc. without human intervention, and has an excellent effect in classifying objects by learning human impression and behavior pattern.

또는, 본 발명의 다른 실시예에 따르면, 객체 보안 모듈(120)은 기존의 공지된 동적 객체 탐지 방법, 객체 인식 방법 및 얼굴 인식 모듈과 같은 영상 처리를 적용하여 객체를 인식하고 얼굴을 인증할 수도 있다. 또는, 객체 보안 모듈(120)은 공지된 객체 인식 및 얼굴 인식 모듈과 딥러링 방식을 모두 적용하여 동적 객체를 인식할 수도 있다. Alternatively, according to another embodiment of the present invention, the object security module 120 can recognize an object and authenticate a face by applying image processing such as a known dynamic object detection method, an object recognition method and a face recognition module have. Alternatively, the object security module 120 may recognize the dynamic object by applying both the known object recognition and face recognition module and the dipping method.

동적 객체가 탐지되면, 객체 보안 모듈(120)은 탐지된 객체가 기설정된 등록 객체인지 여부를 판단할 수 있다(Ⅱ). 등록 객체는 사용자의 설정에 따라 또는 오랜 데이터의 축적에 따라 자동으로 설정될 수 있다. 예를 들어 자주 촬상되는 반려 동물이나 자동차, 또는 특정 사람은 등록 객체로 설정되어 촬상된 화면에 노출되지 않을 수 있다. 등록 객체가 사람인 경우 얼굴 정보가 미리 저장될 수 있고, 객체 보안 모듈(120)은 검출된 객체 내에서 얼굴을 검출한 뒤 검출된 얼굴 정보와 등록된 정보의 인증 과정을 거쳐 보호할 객체인지 여부를 판단할 수 있다. When a dynamic object is detected, the object security module 120 can determine whether the detected object is a predetermined registered object (II). The registration object can be set automatically according to the setting of the user or according to the accumulation of long data. For example, a companion animal, a car, or a specific person who is frequently picked up may not be exposed on a screen shot as a registered object. If the registered object is a person, the face information can be stored in advance, and the object security module 120 detects the face in the detected object, and determines whether the object is to be protected through authentication of the detected face information and registered information It can be judged.

즉, 특정 객체에 대해서 "개인영상정보"로 설정되어 보호될 수 있는데 "개인영상정보"는 촬영 처리되는 영상 정보 중 개인의 초상, 행동 등 사생활과 관련된 영상으로서 해당 개인의 동일성 여부를 식별할 수 있는 정보를 의미한다. 따라서 사람의 얼굴, 몸짓, 옷, 머리모양, 소지품 등이 개인 프라이버시 객체로 보호될 수 있다.In other words, it can be protected by setting "personal image information" for a specific object. "Personal image information" is an image related to privacy such as personal portrait and action among the image information to be photographed, Means information. Thus, a person's face, gesture, clothes, hair shape, personal belongings, etc. can be protected by a personal privacy object.

객체 보안 모듈(120)은 인식된 객체가 등록 객체이면 등록 객체를 블러, 모자이크 처리 및 카오스 기반의 스크램블 기법 중 적어도 하나를 이용하여 마스킹할 수 있다(Ⅲ). 등록되지 않은 객체이면 개인영상정보가 아니기 때문에 마스킹 처리가 필요하지 않다.If the recognized object is a registered object, the object security module 120 may mask the registered object using at least one of blur, mosaic processing, and chaos-based scrambling techniques (III). If the object is not registered, masking processing is not necessary since it is not personal image information.

도 3은 본 발명의 실시예에 따른 등록 객체의 마스킹을 설명하기 위한 도면이다. 도시된 바와 같이 마스킹은 개인 프라이버시 정보를 다른 사람이 알아볼 수 없도록 하는 것으로 마스킹 방법에는 이미지 처리를 통한 방법과 키를 이용한 블록화된 객체를 키 기반으로 치환(permutation)하는 방법이 있다. 3 is a view for explaining masking of a registered object according to an embodiment of the present invention. As shown in the figure, the masking prevents personal privacy information from being recognized by another person. The masking method includes a method through image processing and a method in which a blocked object is permutated with a key based on a key.

원본 이미지(A)를 이미지 처리를 통하여 마스킹하면, B와 같이 블러(Blur) 이미지가 되거나, C와 같이 모자이크 처리(Mosaic, C) 영상이 될 수 있고, 치환 방법의 하나인 카오스 기반의 스크램블 기법을 사용하여 D와 같이 마스킹 영상을 얻을 수도 있다. If the original image A is masked through image processing, it can be a blur image as in B or a Mosaic (C) image as in C, and a chaos-based scrambling technique Can be used to obtain a masking image as in D.

정리하면, 본 실시예에 따른 객체 보안 모듈(120)은 실시간 영상 분석을 위하여 딥러닝과 빅데이터 분석 기술 기반의 객체 인식을 수행하고, 개인 정보가 유출되기 쉬운 사물 인터넷 환경에서 객체의 사용자 맞춤형 프라이버시 보호를 통해 제한적인 개인영상정보를 제공할 수 있는 객체 보안 처리를 수행한다. In summary, the object security module 120 according to the present embodiment performs object recognition based on deep learning and big data analysis technology for real-time image analysis and performs object recognition based on user-customized privacy of an object in an object- And performs object security processing that can provide limited personal image information through protection.

영상 암호화 모듈(130)은 경량화 암호화 기법을 이용하여 상기 촬상된 영상을 암호화하고, 보안 인증 처리를 수행할 수 있다.The image encryption module 130 may encrypt the captured image using a lightweight encryption technique and perform a security authentication process.

본 실시예에 따를 경우, 사물 인터넷 환경에서 영상 송신 장치(100)와 영상 수신 장치(200) 사이의 안전한 전송 환경을 구축하기 위해 영상 송신 장치(100)가 제공하는 영상에 저연산/저전력 경량화 국내암호 표준인 LEA(Lightweight Encryption Algorithm)를 기반으로 경량 상호 인증 및 키동의 프로토콜을 적용한 안전한 영상 암복호화 및 인증이 수행될 수 있다. According to the present embodiment, in order to establish a safe transmission environment between the image transmitting apparatus 100 and the image receiving apparatus 200 in the Internet environment of objects, a low-computation / low- Based on the encryption standard LEA (Lightweight Encryption Algorithm), secure image encryption and authentication using lightweight mutual authentication and key agreement protocol can be performed.

국가보안기술연구소에서 개발한 128 비트의 블록 암호화 알고리즘인 LEA는 국제표준알고리즘인 AES(Advanced Encryption Standard) 대비 1.5~2배의 속도 향상이 있으면서 AES를 개발한 벨기에 루벤 대학 COSIC 연구소로부터 안전성검증을 받은 암호 알고리즘이다. LEA는 기존 암호 알고리즘 대비 동일 레벨의 보안을 제공하면서 알고리즘을 단순화 함으로써 화질의 실시간 영상을 제공하는 사물 인터넷 환경에서 영상 보안을 제공하기에 적합한 암호 방법에 해당한다. The LEA, a 128-bit block encryption algorithm developed by the National Institute of Security Technology, was 1.5 to 2 times faster than the AES (Advanced Encryption Standard), which is an international standard algorithm, and received safety verification from the Belgian Reuben COSIC Institute Encryption algorithm. LEA is a cryptographic method suitable for providing image security in object internet environment that provides real-time image of image quality by simplifying algorithm while providing same level of security compared to existing encryption algorithm.

도 4는 본 발명의 실시예에 따른 경량화 암호 알고리즘의 구성도이다.4 is a configuration diagram of a lightweight encryption algorithm according to an embodiment of the present invention.

도 4를 참조하면, LEA의 암호화 과정은 k비트 키 K로부터 Nr개의 192 비트 암호화용 라운드키 RKnc(0 ≤ i ≤Nr-1)를 생성하는 키 스케줄 함수 KeySchedulenc와, 라운드키 RKnc 및 라운드 함수 Roundenc를 이용하여 128비트 평문 P를 128 비트 암호문 C로 변환하는 암호화 함수 Encrypt로 구성된다.Referring to Figure 4 if, encryption of LEA is k-bit key K as from Nr of 192-bit encryption round key RK nc key schedule function for generating a (0 ≤ i ≤Nr-1) for KeySchedule nc, nc round key RK and And a cryptographic function Encrypt that converts the 128-bit plaintext P into a 128-bit cipher text C using the round function Round enc .

LEA의 암호화 함수 Encrypt는 k비트 키 K에 대해 키 스케줄 함수 KeySchedulenc을 수행하여 생성된 Nr개의 192 비트 라운드키 RKnc= (RKnc[0], RKnc[1], ..., RKnc[5]) (0 ≤ i ≤ Nr-1)와 128 비트 평문 P = (P[0],P[1],…,P[15]) 를 입력받아 암호화 알고리즘을 수행하여 128비트 암호문 C = (C[0],C[1],…,C[15])를 출력한다.The encryption function Encrypt of the LEA encrypts the Nr 192-bit round keys RK nc = (RK nc [0], RK nc [1], ..., RK nc) generated by performing the key schedule function KeySchedule nc on the k- ..., P [15]) and a 128-bit plain text P = (P [0], P [1], ..., P [ (C [0], C [1], ..., C [15]).

영상 복호화 모듈(220)에서 수행될 복호화 과정은 k비트 키 K로부터 Nr개의 192 비트 복호화용 라운드키 RKec(0 ≤ i ≤Nr-1)를 생성하는 키 스케줄 함수 KeyScheduleec와, 라운드키 RKec 및 라운드 함수 Rounddec를 이용하여 128 비트 암호문 C를 128 비트 평문 P로 변환하는 복호화 함수 Decrypt로 구성된다.The decoding process to be performed in the video decoding module 220 includes a key schedule function KeySchedule ec for generating Nr 192 round-robin round keys RK ec (0? I? Nr-1) from the k-bit key K and a round key RK ec And decryption function Decrypt, which converts the 128-bit cipher text C into a 128-bit plain text P using the round function Round dec .

LEA의 복호화 함수 Decrypt는 k비트 키 K에 대해 키 스케줄 함수 KeyScheduledec을 수행하여 생성된 Nr개의 192 비트 라운드키와 128 비트 암호문 C=(C[0], C[1], … , C[15])를 입력 받아 복호화 알고리즘을 수행하여 128 비트 평문 P=(P[0], P[1], … , P[15])를 출력한다.The decryption function Decrypt of the LEA decrypts Nr 192-bit round keys and 128-bit cipher text C = (C [0], C [1], ..., C [15] generated by performing the key schedule function KeySchedule dec on the k- ]) And outputs a 128-bit plain text P = (P [0], P [1], ..., P [15]).

도 5는 본 발명의 실시예에 따른 영상 암호,복호화 및 보안 인증 프로토콜을 나타낸 도면이다.5 is a diagram illustrating a video encryption, decryption, and security authentication protocol according to an embodiment of the present invention.

영상 암호화 모듈(130)과 영상 복호화 모듈(220)은 LEA 암호 및 복호화 알고리즘인 E(·), D(·)과 안전한 일방향 해쉬 알고리즘(h)을 공유 파라미터로 하여 영상을 암복호화 및 인증할 수 있다. The video encryption module 130 and the video decryption module 220 can decrypt and authenticate the video using the LEA encryption and decryption algorithms E () and D () and the secure one-way hash algorithm h have.

영상 암호화 모듈(130)은 영상이 촬상된 시각을 수치화한 시간 정보인 타임 스탬프 t와 메세지 인증 코드 역할을 하는 일방향 해쉬 알고리즘을 이용하여 촬상된 영상(컨텐츠)에 대한 보안 인증 처리를 수행할 수 있다. The image encryption module 130 can perform the security authentication processing on the captured image (contents) using the time stamp t, which is time information obtained by digitizing the time at which the image is captured, and the one-way hash algorithm serving as the message authentication code .

촬상된 영상(G)이 암호화되어 해쉬 알로리즘을 거치면 특정 세션 동안에만 컨텐츠의 유효성을 인증할 수 있는 난수, 즉 세션키(sk)가 생성될 수 있다. 암호화된 컨텐츠(C←E(G))와, M←h(sk│G)는 시간 정보와 함께 영상 복호화 모듈(220)로 전송될 수 있다. When the captured image G is encrypted and passes through a hash algorithm, a random number, that is, a session key sk, which can authenticate the validity of the content only during a specific session can be generated. The encrypted content C? E (G) and M? H (sk? G) may be transmitted to the video decoding module 220 together with the time information.

영상 복호화 모듈(220)은 시간 동기화를 통하여 타임 스탬프를 체크하고, 암호화된 컨텐츠를 복호화할 수 있다(G←D(C)). 또한, M?=h(sk│G)를 통해 컨텐츠를 검증할 수 있다.The video decryption module 220 can check the time stamp through time synchronization and decrypt the encrypted content (G? D (C)). Further, the content can be verified through M? = H (sk | G).

이와 같이, 본 실시예에 따른 인증 프로토콜에 따르면 타임 스탬프 검증을 통하여 영상의 위조 및 변조가 방지될 수 있고, 세션키를 이용하여 컨텐츠의 유효성이 검증될 수 있다. As described above, according to the authentication protocol according to the present embodiment, image tampering and tampering can be prevented through time stamp verification, and the validity of the content can be verified using the session key.

기존의 고연산의 암호 기법(Cryptography)은 저연산, 저전력, 경량화된 사물 인터넷 환경에 적합하지 않는 문제점이 존재한다. 하지만, 본 실시예에 따를 경우, 저연산, 저전력의 효율적인 통신과 저전력의 경량화된 단말/센서에 적합한 경량화 암호 기법(Lightweight Cryptography)을 사용함으로써 고화질의 실시간 영상을 안전하게 송수신하는 것이 가능하다. The existing cryptography algorithm has a problem that it is not suitable for low computation, low power, lightweight internet environment. However, according to the present embodiment, it is possible to securely transmit and receive high-quality real-time video images by using low-cost, low-power efficient communication and lightweight cryptography suitable for light-weighted terminals / sensors.

도 6은 본 발명의 실시예에 따른 암호화된 영상을 도시한 도면이다. 도시된 바와 같이, 영상 암호화 모듈(130)에서 LEA로 암호화된 영상은 특정 권한이 있는 사용자가 아니면 이를 해제할 수 없도록 되어 있다. 도 6와 같이 암호화된 영상이 영상 수신 장치(200)로 전송될 수 있고, 영상 수신 장치(200)는 암호화된 영상을 LEA를 이용하여 복호화하고 검증하여 촬상된 영상을 디스플레이부(240)에 표시할 수 있다. 6 is a diagram illustrating an encrypted image according to an embodiment of the present invention. As shown in the figure, the image encrypted by the LEA in the image encryption module 130 can not be released unless the user has a specific authority. As shown in FIG. 6, the encrypted image can be transmitted to the image receiving apparatus 200, and the image receiving apparatus 200 decrypts and verifies the encrypted image using the LEA and displays the captured image on the display unit 240 can do.

본 실시예에 따르면, 영상은 객체 보안 처리 및 영상 암호화가 모두 이루어지지만, 다른 실시예에 따를 경우, 사용자의 설정에 따라 객체 보안 처리만 되거나 영상 암호화만이 수행될 수도 있다. 이는 사용자가 실시간으로 보기를 원하는 영상에 옵션을 부여할 수 있는 것으로, 영상 송신 장치(100)는 이러한 설정을 위한 도시하지 않은 사용자 인터페이스부를 더 포함할 수도 있다. According to the present embodiment, both the object security processing and the image encryption are performed on the image, but according to another embodiment, only the object security processing or only the image encryption may be performed according to the setting of the user. The video transmission apparatus 100 may further include a user interface unit (not shown) for setting such an option.

영상 수신 장치(200)의 영상 복호화 모듈(220)은 암호화된 영상을 복호화 하고, 기설정된 프로토콜에 따라 컨텐츠, 즉 영상을 검증할 수 있다. 영상 복호화 모듈(220)은 도 4 및 도 5에서 설명된 복호화 및 보안 인증 프로토콜에 따라 영상을 복호화할 수 있고, 복호화된 영상은 디스플레이부(240)에 표시될 수 있다.The video decoding module 220 of the video receiving apparatus 200 can decode the encrypted video and verify the content, i.e., video, according to a predetermined protocol. The video decryption module 220 can decrypt an image according to the decryption and security authentication protocol described with reference to FIGS. 4 and 5, and the decrypted image can be displayed on the display unit 240. FIG.

영상에 객체 보안 처리가 수행되지 않는 경우, 영상 복호화 모듈(220)에서 복호화된 영상은 촬상된 도 2의 (Ⅰ) 영상이 되고, 객체 보안 처리가 수행된 영상이 복호화되면 도 2의 (Ⅲ)와 같은 영상이 된다. When the object security processing is not performed on the image, the image decrypted by the image decryption module 220 becomes the (I) image of FIG. 2, and when the object security decrypted image is decrypted, .

객체 보안 해제 모듈(230)은 등록 객체에 대한 객체 보안을 해제할 수 있다. 객체 보안 해제 모듈(230)은 객체 보안 모듈(120)이 수행한 객체 마스킹을 해제하는 방식으로 원본 영상을 복원할 수 있다. 물론, 사용자의 선택에 따라 객체 보안이 이루어진 상태에서 영상이 표시될 수도 있다. The object unsecure module 230 may release the object security for the registered object. The object security release module 230 can restore the original image by releasing object masking performed by the object security module 120. [ Of course, the image may be displayed with the object security selected according to the user's selection.

사용자 인터페이스부(250)는 수신된 영상을 표시하거나 저장할 때의 사용자 선택을 수신할 수 있다. 사용자는 사용자 인터페이스부(250)를 통하여 객체의 보안을 해제하거나 보안을 유지할 수도 있고, 암호화된 영상의 복호화를 수행할 수 있다. 즉, 영상의 복호화는 특정 권한이 있는 사용자 또는 관리자 만이 선택할 수 있다. The user interface unit 250 may receive a user selection when displaying or storing the received image. The user can unlock the security of the object through the user interface unit 250, maintain security, and decrypt the encrypted image. That is, the decryption of the image can be selected only by a user or a manager having a specific authority.

영상 수신 장치(200)와 영상 송신 장치(100)는 각각 도시하지 않은 전원 제어 모듈과, 메모리, 상술한 구성 요소 간의 통신을 제어하는 제어 모듈(미도시)를 포함할 수 있다. 특히, 영상 수신 장치(200)가 서버로 구현될 경우, 촬상된 영상을 저장하기 위한 대용량 저장 모듈을 포함할 수 있다. 촬상된 영상은 사용자의 설정에 따라 원본, 암호화된 영상, 객체 보안 처리된 영상 또는 객체 보안이 해제된 영상이 선택적으로 저장될 수 있다.The image receiving apparatus 200 and the image transmitting apparatus 100 may each include a power control module (not shown), a memory, and a control module (not shown) for controlling communication between the above-described components. In particular, when the image receiving apparatus 200 is implemented as a server, the image receiving apparatus 200 may include a mass storage module for storing the sensed image. The captured image may be selectively stored with the original, the encrypted image, the object-secured image, or the object-unlocked image according to the user's setting.

도 7은 본 발명의 실시예에 따른 영상 처리 방법을 설명하기 위한 제어 흐름도이다. 도 7을 참조하여 본 실시예에 따른 영상 처리 방법을 정리하면 다음과 같다. 7 is a control flowchart for explaining an image processing method according to an embodiment of the present invention. Referring to FIG. 7, the image processing method according to the present embodiment is summarized as follows.

우선, 영상 송신 장치(100)의 카메라(110)에서 영상을 촬상할 수 있다(S710).First, the camera 110 of the video transmission apparatus 100 can capture an image (S710).

객체 보안 모듈(120)은 촬상된 영상에서 객체, 특히 움직이는 동적 객체를 인식할 수 있다(S720). 이때, 객체 보안 모듈(120)은 빅데이터 분석을 기반으로 하는 딥러닝 방식으로 객체를 인식할 수 있다. The object security module 120 may recognize an object, particularly a moving dynamic object, in the captured image (S720). At this time, the object security module 120 can recognize the object by the deep learning method based on the big data analysis.

그런 후, 객체 보안 모듈(120)은 인식된 객체가 기설정된 등록 객체인지 여부를 판단할 수 있다(S730).Then, the object security module 120 may determine whether the recognized object is a predetermined registered object (S730).

판단 결과, 인식된 객체가 등록 객체이면 등록 객체에 대한 객체 보안 처리를 수행할 수 있다(S740). 객체 보안 처리는 등록 객체를 블러, 모자이크 처리 및 카오스 기반의 스크램블 기법 중 적어도 하나를 이용하여 마스킹함으로써 수행될 수 있다. As a result of the determination, if the recognized object is a registered object, object security processing for the registered object can be performed (S740). Object security processing may be performed by masking the registered object with at least one of blur, mosaic processing, and chaos-based scrambling techniques.

한편, 인식된 객체가 등록 객체가 아니면 등록되지 않은 객체에 대해서는 객체 보안을 위한 마스킹이 수행되지 않는다.On the other hand, if the recognized object is not a registered object, masking for object security is not performed for an unregistered object.

영상 암호화 모듈(130)은 객체 보안 처리가 수행된 영상을 경량화 암호화 기법을 이용하여 암호화하고, 보안 인증 처리를 수행한다(S750).The image encryption module 130 encrypts the image subjected to the object security process using the lightweight encryption technique, and performs the security authentication process (S750).

영상 암호화 모듈(130)은 영상이 촬상된 시각을 수치화한 시간 정보인 타임 스탬프 t와 메세지 인증 코드 역할을 하는 일방향 해쉬 알고리즘을 이용하여 촬상된 영상(컨텐츠)에 대한 보안 인증 처리를 수행할 수 있다. The image encryption module 130 can perform the security authentication processing on the captured image (contents) using the time stamp t, which is time information obtained by digitizing the time at which the image is captured, and the one-way hash algorithm serving as the message authentication code .

암호화된 영상은 영상 수신 장치(200)로 전송되고(S760), 영상 수신 장치(200)의 영상 복호화 모듈(220)은 암호화된 영상을 복호화 하고, 객체보안 해제 모듈(230)은 객체 보안을 해제할 수 있다. 복호화되고 객체 보안이 해제된 영상은 사용자의 선택에 따라 재생될 수 있다(S770).The encrypted image is transmitted to the image receiving apparatus 200 in operation S760 and the image decryption module 220 of the image receiving apparatus 200 decrypts the encrypted image and the object decryption module 230 releases the object security can do. The decrypted and unsecured video can be played according to the user's selection (S770).

도 8은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 제어 블럭도이다.8 is a control block diagram of an image processing system according to another embodiment of the present invention.

도시된 바와 같이, 본 실시예에 따른 영상 처리 시스템은 카메라(300)와, 서버(400) 및 영상 재생 장치(500)를 포함할 수 있다. 영상을 암호화하고 객체 보안 처리를 수행하는 모듈은 카메라(300)를 포함하는 개인 단말이 아닌 대용량 연산이 가능한 서버(400)에 설치될 수도 있다.As shown in the figure, the image processing system according to the present embodiment may include a camera 300, a server 400, and an image reproducing apparatus 500. A module for encrypting an image and performing an object security process may be installed in a server 400 capable of large-capacity operation rather than a personal terminal including the camera 300. [

서버(400)는 도 1의 설명되었던 통신부(410), 객체 보안 모듈(420) 및 영상 암호화 모듈(430)을 포함할 수 있다. 구성 요소에 대한 중복된 설명은 생략된다. 본 실시예에와 같이 카메라(300)로부터 영상이 전송될 때는 암호화 되지 않는 영상이지만 서버(400)의 객체 보안 모듈(420)와 영상 암호화 모듈(430)에서 영상이 암호화되고 보안 처리될 수 있다. 이는 경량의 카메라(300)에서는 영상을 촬상하여 단순히 전송하고, 사용자가 원하는 영상에 대한 보호는 서버(400)에서 수행되는 것을 의미한다. The server 400 may include the communication unit 410, the object security module 420, and the image encryption module 430 described in FIG. Redundant description of the components is omitted. When the image is transmitted from the camera 300 as in the present embodiment, the image is not encrypted. However, the image can be encrypted and secured in the object security module 420 and the image encryption module 430 of the server 400. This means that the lightweight camera 300 captures an image and simply transmits the image, and protection of the image desired by the user is performed in the server 400. [

서버(400)에서 암호화 또는 보안 처리된 영상은 사용자의 영상 재생 장치(500)로 전송되고, 영상 재생 장치(500)에서 복호화 및 재생될 수 있다. 영상 재생 장치(500)에 포함되어 있는 통신부(510), 영상 복호화 모듈(520), 객체 보안 해제 모듈(530), 디스플레이부(540), 사용자 인터페이스부(550)는 도 1을 참조하여 설명된 구성 요소들과 대동 소이하므로 중복된 설명은 생략된다. An image encrypted or secured in the server 400 may be transmitted to the user's image reproducing apparatus 500 and decoded and reproduced in the image reproducing apparatus 500. The communication unit 510, the image decryption module 520, the object security release module 530, the display unit 540, and the user interface unit 550 included in the image playback apparatus 500 are described with reference to FIG. The description is omitted since it is very similar to the components.

영상 재생 장치(500)는 컴퓨터, 태블랫 PC 또는 휴대용 전화기와 같은 개인 단말기일 수 있으며, 촬상된 영상을 실시간으로 시청하기 원하는 최종 단말을 포함할 수 있다. The image reproducing apparatus 500 may be a personal terminal such as a computer, a tablet PC, or a portable telephone, and may include an end terminal that wants to watch a captured image in real time.

이와 같이, 본 발명에 따르면, 경량화 암호기법 기반의 영상에 대한 저연산, 저전력의 암복호화와 사용자 맞춤형 프라이버시 보호 기능을 사용하여 사물 인터넷 환경에 적합한 고화질 실시간 영상에 대한 개인 영상 정보 보호 시스템이 제공될 수 있다. 또한, 사회적인 프라이버시에 대한 문제 해결을 통한 경제적 손실을 최소화 할 수 있고, 특히 영상의 중요도가 높은 사물 인터넷 환경 기반의 지능형 무인경비 시스템과 원격 진료환경 등의 분야에서 다양하게 적용할 수 있는 이점이 있다. As described above, according to the present invention, a personal image information protection system for a high-quality real-time image suitable for an object internet environment is provided by using a low-computation for a video based on a lightweight encryption technique, low-power encryption and decryption, and a user- . In addition, it can minimize the economic loss through solving the problem of social privacy, and can be variously applied in fields such as intelligent unmanned security system based on the Internet environment, which has high image importance, and remote medical treatment environment .

도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 9의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 영상 송신 장치, 영상 수신 장치, 서버 등) 일 수 있다. 9 is a diagram of a computing device, in accordance with an embodiment of the present invention. The computing device TN100 of FIG. 9 may be the device described herein (e.g., a video transmitting device, a video receiving device, a server, etc.).

도 9의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 9, the computing device TN100 may include at least one processor (TN 110), a transceiver (TN 120), and a memory (TN 130). Further, the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, and the like. The components included in the computing device TN100 may be connected by a bus (TN170) and communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. The processor TN110 may be configured to implement the procedures, functions, methods, and the like described in connection with the embodiments of the present invention. The processor TN110 may control each component of the computing device TN100.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110. Each of the memory TN130 and the storage device TN140 may be constituted of at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory TN130 may be configured with at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transceiver apparatus TN120 can transmit or receive a wired signal or a wireless signal. The transceiver apparatus TN120 can be connected to a network to perform communication.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. On the other hand, the embodiments of the present invention are not only implemented by the apparatuses and / or methods described so far, but may also be realized through a program realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, And falls within the scope of the invention.

Claims (7)

사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템에 있어서,
상기 영상 송신 장치는,
상기 영상 수신 장치와 통신하는 통신부와;
촬상된 영상에서 객체를 인식하고, 인식된 객체가 기설정된 등록 객체인지 여부를 판단하고, 판단 결과 상기 인식된 객체가 상기 등록 객체이면 상기 등록 객체에 대한 객체 보안 처리를 수행하는 객체 보안 모듈과; 그리고,
경량화 암호화 기법을 이용하여 상기 촬상된 영상을 암호화하고, 보안 인증 처리를 수행하는 영상 암호화 모듈을 포함하고,
상기 영상 수신 장치는,
상기 영상 송신 장치와 통신하는 통신부와;
상기 등록 객체에 대한 객체 보안을 해제하는 객체 보안 해제 모듈과; 그리고,
상기 암호화된 영상을 복호화 하는 영상 복호화 모듈을 포함하는 것을 특징으로 하는 영상 처리 시스템.1. An image processing system including an object-based Internet image transmission apparatus and an image reception apparatus,
The video transmission apparatus includes:
A communication unit for communicating with the image receiving apparatus;
An object security module for recognizing an object in the captured image, determining whether the recognized object is a preset registered object, and performing object security processing on the registered object if the recognized object is the registered object; And,
And a video encryption module for encrypting the captured image using a lightweight encryption technique and performing a security authentication process,
The video receiving apparatus includes:
A communication unit for communicating with the video transmission device;
An object security release module for releasing object security for the registered object; And,
And an image decryption module for decrypting the encrypted image. 제1항에 있어서,
상기 영상 송신 장치는 영상을 촬상하는 카메라를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.The method according to claim 1,
Wherein the image transmitting apparatus further comprises a camera for capturing an image. 제1항에 있어서,
상기 객체 보안 모듈은 빅데이터 분석을 기반으로 하는 딥러닝 방식으로 객체를 인식하고,
상기 등록 객체를 블러, 모자이크 처리 및 카오스 기반의 스크램블 기법 중 적어도 하나를 이용하여 마스킹하는 것을 특징으로 하는 영상 처리 시스템.The method according to claim 1,
The object security module recognizes an object by a deep learning method based on a big data analysis,
And masking the registered object using at least one of blur, mosaic processing, and chaos-based scrambling techniques. 제1항에 있어서,
상기 영상 암호화 모듈은 영상이 촬상된 시각을 수치화한 시간 정보인 타임 스탬프 t와 메세지 인증 코드 역할을 하는 일방향 해쉬 알고리즘을 이용하여 세션키를 생성하는 것을 생성하는 것을 특징으로 하는 영상 처리 시스템.The method according to claim 1,
Wherein the image encryption module generates a session key using a one-way hash algorithm serving as a time stamp t and a message authentication code, which are time information obtained by digitizing the time at which the image is captured. 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템의 영상 처리 방법에 있어서,
상기 영상 송신 장치에서 영상을 촬상하는 단계와;
상기 촬상된 영상에서 객체를 인식하는 단계와;
상기 인식된 객체가 기설정된 등록 객체인지 여부를 판단하고, 판단 결과 상기 인식된 객체가 상기 등록 객체이면 상기 등록 객체에 대한 객체 보안 처리를 수행하는 단계와;
상기 객체 보안 처리가 수행된 영상을 경량화 암호화 기법을 이용하여 암호화하고, 보안 인증을 수행하는 단계와;
상기 암호화된 영상을 상기 영상 수신 장치로 전송하는 단계와;
상기 암호화된 영상을 복호화 하여 재생하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.A video processing method of an image processing system including a video transmitting apparatus and a video receiving apparatus,
Capturing an image in the image transmitting apparatus;
Recognizing an object in the captured image;
Determining whether the recognized object is a preset registered object, and performing object security processing on the registered object if the recognized object is the registered object;
Encrypting the image subjected to the object security processing using a lightweight encryption technique, and performing security authentication;
Transmitting the encrypted image to the image receiving apparatus;
And decrypting and reproducing the encrypted image. 제5항에 있어서,
상기 객체를 인식하는 단계는 빅데이터 분석을 기반으로 하는 딥러닝 방식으로 객체를 인식하고,
상기 객체 보안 처리를 수행하는 단계는 상기 등록 객체를 블러, 모자이크 처리 및 카오스 기반의 스크램블 기법 중 적어도 하나를 이용하여 마스킹하는 것을 특징으로 하는 영상 처리 방법.6. The method of claim 5,
The step of recognizing the object includes recognizing the object using a deep learning method based on a big data analysis,
Wherein performing the object security processing comprises masking the registered object using at least one of blur, mosaic processing, and chaos-based scrambling techniques. 제5항에 있어서,
상기 영상의 보안 인증을 수행하는 단계는, 영상이 촬상된 시각을 수치화한 시간 정보인 타임 스탬프 t와 메세지 인증 코드 역할을 하는 일방향 해쉬 알고리즘을 이용하여 세션키를 생성하는 것을 생성하는 것을 특징으로 영상 처리 방법.
6. The method of claim 5,
The step of performing security authentication of the image may include generating a session key using a one-way hash algorithm serving as a time stamp t, which is time information obtained by digitizing the time at which the image is captured, and a message authentication code, Processing method.
KR1020170183717A 2017-12-29 2017-12-29 Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same KR102066778B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183717A KR102066778B1 (en) 2017-12-29 2017-12-29 Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183717A KR102066778B1 (en) 2017-12-29 2017-12-29 Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same

Publications (2)

Publication Number Publication Date
KR20190081297A true KR20190081297A (en) 2019-07-09
KR102066778B1 KR102066778B1 (en) 2020-01-15

Family

ID=67261282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183717A KR102066778B1 (en) 2017-12-29 2017-12-29 Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same

Country Status (1)

Country Link
KR (1) KR102066778B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165087B1 (en) * 2019-09-04 2020-10-13 (주)데이터허브 Video Data Control of Vehicle Black Box using for SAT
KR102181578B1 (en) * 2020-07-31 2020-11-23 (주)데이터허브 Vehicle black box to which SAT variable block method is applied
KR20210129360A (en) * 2020-04-20 2021-10-28 주식회사 스쿱 System for providing 3D model augmented reality service using AI and method thereof
KR102372350B1 (en) * 2020-11-23 2022-03-10 뉴코리아전자통신(주) IP broadcasting terminal of always storage type
KR102414773B1 (en) * 2021-12-24 2022-06-29 쿨사인 주식회사 System for Supplementing or Adding Metadata Generated by Edge Device After Reanalysis on Server
KR20220107400A (en) * 2021-01-25 2022-08-02 주식회사 노타 Encryption key-based video personal information de-identification and restoration technology
KR20230086094A (en) * 2021-12-08 2023-06-15 주식회사 에즈웰테크 Big data access management system server that manages access to data stored on big data storage server

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035299A (en) * 2010-10-05 2012-04-16 한국인터넷진흥원 Image protection processing apparatus for privacy protection, and image security system and method using the same
KR101338341B1 (en) * 2012-08-21 2013-12-06 경북대학교 산학협력단 Cctv media secure transmission system and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120035299A (en) * 2010-10-05 2012-04-16 한국인터넷진흥원 Image protection processing apparatus for privacy protection, and image security system and method using the same
KR101338341B1 (en) * 2012-08-21 2013-12-06 경북대학교 산학협력단 Cctv media secure transmission system and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IoT 보안 응용을 위한 경량 블록암호 LEA-128/192/256의 효율적인 하드웨어 구현, 한국정보통신학회논문지 제19권 제7호, 1608-1616(2015.7.) 1부.* *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102165087B1 (en) * 2019-09-04 2020-10-13 (주)데이터허브 Video Data Control of Vehicle Black Box using for SAT
KR20210129360A (en) * 2020-04-20 2021-10-28 주식회사 스쿱 System for providing 3D model augmented reality service using AI and method thereof
KR102181578B1 (en) * 2020-07-31 2020-11-23 (주)데이터허브 Vehicle black box to which SAT variable block method is applied
KR102372350B1 (en) * 2020-11-23 2022-03-10 뉴코리아전자통신(주) IP broadcasting terminal of always storage type
KR20220107400A (en) * 2021-01-25 2022-08-02 주식회사 노타 Encryption key-based video personal information de-identification and restoration technology
KR20230086094A (en) * 2021-12-08 2023-06-15 주식회사 에즈웰테크 Big data access management system server that manages access to data stored on big data storage server
KR102414773B1 (en) * 2021-12-24 2022-06-29 쿨사인 주식회사 System for Supplementing or Adding Metadata Generated by Edge Device After Reanalysis on Server

Also Published As

Publication number Publication date
KR102066778B1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
KR102066778B1 (en) Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same
KR101320350B1 (en) Secure management server and video data managing method of secure management server
US7879111B2 (en) System and method for RFID transfer of MAC, keys
US9330272B2 (en) Head-mounted display apparatus with enhanced security and method for accessing encrypted information by the apparatus
US20150040212A1 (en) Locking apparatus with enhanced security using iris image
CN107277456A (en) A kind of video security monitoring system based on Android device
CN104349135B (en) Monitoring server, method for processing data of monitoring server and monitoring system
KR20120035299A (en) Image protection processing apparatus for privacy protection, and image security system and method using the same
CN103634477A (en) Method and system for preventing thievery of mobile phone with fingerprint device
US10311215B2 (en) Secure recording and rendering of encrypted multimedia content
US20150304321A1 (en) An image management system and an image management method based on fingerprint authentication
KR102009863B1 (en) System for entrance security and method using the same
US7840817B2 (en) Data processing apparatus and method
US11888832B2 (en) System and method to improve user authentication for enhanced security of cryptographically protected communication sessions
KR101677249B1 (en) Security Apparatus and Method for Controlling Internet of Things Device Using User Token
KR101331201B1 (en) Cctv media secure transmission system and method thereof
JP2006048651A (en) Network print system and facsimile communication system
JP2008028575A (en) Receiver
CN106980807B (en) Identity card safety application system
CN113038089B (en) Intelligent identification dynamic self-decoding processing method and device, electronic equipment and storage medium
KR102236897B1 (en) Video data protection system and method
JP5718757B2 (en) Image management apparatus, image management program, and image management method
KR20200090397A (en) System and method for decrypting and providing real time encrypted image information
KR102530463B1 (en) Image security device and method using pedestrian face detection information
CN116233841B (en) Interactive authentication method and corresponding device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant