KR101973766B1 - Watermarking method and device for mobile - Google Patents
Watermarking method and device for mobile Download PDFInfo
- Publication number
- KR101973766B1 KR101973766B1 KR1020170170135A KR20170170135A KR101973766B1 KR 101973766 B1 KR101973766 B1 KR 101973766B1 KR 1020170170135 A KR1020170170135 A KR 1020170170135A KR 20170170135 A KR20170170135 A KR 20170170135A KR 101973766 B1 KR101973766 B1 KR 101973766B1
- Authority
- KR
- South Korea
- Prior art keywords
- watermark
- watermarking
- relay server
- image data
- sound source
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
- H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
Abstract
Description
본 발명은 워터마킹에 관한 것으로서, 좀 더 상세하게는 모바일을 위한 효율적 워터마킹 방법 및 장치에 관한 것이다.The present invention relates to watermarking, and more particularly, to an efficient watermarking method and apparatus for mobile.
국내 영상관제시스템 시장은 지하주차장 및 어린이집 등 CCTV설치 의무화 법안이 통과되면서 그 수요가 급증하고 있다. 그러나 이러한 영상감시장치의 급격한 수요증가를 뒷받침할만한 관련법령이나 인증 등의 규제가 미흡한 상황이다. 이로 인한 기준 이하의 관련제품들이 범람하고 있어, 이를 통한 사생활 침해라는 부작용으로 연결되어 사회적 문제로 인식되고 있다.In the domestic video control system market, the demand for CCTV has increased due to passage of mandatory bill for CCTV installation such as underground parking lot and daycare center. However, regulations such as related laws and certifications are insufficient to support the rapid increase in demand for such video surveillance devices. The related products below the standard are flooded, and it is recognized as a social problem connected with the side effect of invasion of privacy through it.
전 세계적으로 각종 강력 범죄와 사건사고 발생 건수가 급증함에 따라 사회안전을 위한 해결책으로 지능형 영상감시 솔루션에 대한 시장수요가 점차 증가하고 있다. 이에 따라 관련 차세대 영상 솔루션 기술들에 대한 기술개발도 진행되고 있으며, 수집된 영상이 법적인 증거자료로 활용되는 사례가 증가하고 있으므로, 테러 및 강력범죄 예방 및 대응을 위해서는 영상보안기술을 기반으로 한 Forensic 기술에 대한 수요가 증가할 것으로 예상된다. 그러나 사생활 침해와 같은 역기능 문제가 대두되고 있어 이를 해결하기 위한 영상 보안 기술 개발이 요구되고 있다.The demand for intelligent video surveillance solutions is gradually increasing as a solution for social safety as the number of violent crimes and incidents has rapidly increased worldwide. Therefore, the technology development for the related next generation video solution technologies is under way, and the cases where the collected images are used as legal evidence are increasing. For the prevention and countermeasures against terrorism and violent crime, Forensic Demand for technology is expected to increase. However, since the problem of dysfunction such as privacy invasion is emerging, it is required to develop a video security technology to solve this problem.
PC기반의 경우, 온라인 콘텐츠 서비스 사업자의 저작권 보호를 위해 제공하는 클라이언트 프로그램 내에 워터마킹 삽입을 위한 기반기술들이 개발되어 있다. 그러나, 모바일 장치에 탑재되어 스트리밍, 다운로드되는 영상콘텐츠에 워터마킹을 삽입할 수 있는 연구가 활발하게 이루어 지지 않고 있다. 동영상 콘텐츠의 경우 다양한 압축기술 및 코덱 등에 의해 PC기반의 기술만으로는 저전력 기반의 모바일 장치에서의 실시간 워터마킹은 어려운 실정이다.In the case of PC-based, infrastructure technologies for inserting watermarking in a client program for copyright protection of an online contents service provider have been developed. However, there has been no active research into embedding watermarking in video contents that are loaded on a mobile device and streamed and downloaded. In the case of video contents, real-time watermarking in a low-power-based mobile device is difficult with PC-based technology due to various compression techniques and codecs.
현재 영상관제 업체들이 대부분 CCTV관제와 관련한 솔루션 제공업체이므로, 모바일 디바이스에 대한 경험이 부족하고, 모바일 디바이스의 하드웨어, 소프트웨어 이해 부족에 따른 개발의 어려움이 있고, 모바일 장치의 특성상 보안측면에서 제조업체의 협력이 어려운 실정이며, 이에 따라 Low Level 개발을 위한 제조사 협조가 필요하다.Since most video control companies are providers of solutions related to CCTV control, they have difficulties in developing due to lack of experience of mobile devices, lack of understanding of hardware and software of mobile devices, This is a difficult situation and it is necessary to cooperate with manufacturers to develop Low Level.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 저전력 기반의 모바일을 위한 효율적인 워터마킹 방법 및 장치를 제공하기 위한 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an efficient watermarking method and apparatus for a low-power-based mobile.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become more apparent through the following preferred embodiments.
본 발명의 일 측면에 따르면, 모바일 장치에서 수행되는 동영상의 워터마킹 방법에 있어서, 동영상 촬영이 수행되면, 현재의 CPU 처리 부하를 확인하는 단계; 상기 CPU 처리 부하에 따라, 촬영 동영상을 구성하는 이미지데이터 및 음원데이터 중 어느 하나에 워터마크를 삽입하는 단계; 및 상기 워터마크가 삽입된 동영상 데이터를 중계 서버로 스트리밍 전송하는 단계를 포함하는 모바일을 위한 워터마킹 방법이 제공된다.According to an aspect of the present invention, there is provided a watermarking method of moving pictures performed in a mobile device, the method comprising: checking a current CPU processing load when moving picture shooting is performed; Inserting a watermark into any one of image data and sound source data constituting a photographed moving picture according to the CPU processing load; And streaming the moving picture data in which the watermark is inserted to a relay server.
여기서, 상기 CPU 처리 부하에 대한 정보를 상기 중계 서버로 전송하고, 상기 중계 서버로부터의 명령에 따라 상기 워터마크의 삽입 위치를 결정할 수 있다.Here, information on the CPU processing load may be transmitted to the relay server, and the insertion position of the watermark may be determined according to an instruction from the relay server.
또한, 상기 중계 서버는 복수의 모바일 장치로부터 수신되는 CPU 처리 부하에 대한 정보를 기반으로, 음원데이터에 워터마크를 삽입할 모바일 장치를 선별할 수 있다.In addition, the relay server may select a mobile device to insert a watermark into sound source data based on information on a CPU processing load received from a plurality of mobile devices.
또한, 상기 중계 서버는 상기 동영상 데이터를 이미지와 음원으로 분류하고, 음원에 삽입된 상기 워터마크를 추출하여 이미지에 삽입하는 워터마킹 변경을 수행할 수 있다.In addition, the relay server may classify the moving image data into images and sound sources, and may perform watermarking to extract the watermark embedded in the sound source and insert the extracted watermark into the image.
또한, 상기 중계 서버가 상기 워터마킹 변경을 수행한 경우, 관련 동영상 데이터를 수신하여 상기 동영상 데이터와 대체하여 저장할 수 있다.In addition, when the relay server performs the watermarking change, it can receive and store the related moving image data in place of the moving image data.
본 발명의 다른 측면에 따르면, 동영상 촬영을 위한 촬영부; 촬영 동영상을 구성하는 이미지데이터 및 음원데이터 중 어느 하나에 워터마크를 삽입하는 워터마킹부; 주기적으로 확인되는 CPU 처리 부하를 이용하여 상기 워터마크의 삽입 위치를 결정하는 제어부; 및 상기 워터마크가 삽입된 동영상 데이터를 중계 서버로 스트리밍하기 위한 통신부를 포함하는 모바일 장치가 제공된다.According to another aspect of the present invention, A watermarking unit for inserting a watermark into any one of image data and sound source data constituting a photographed moving picture; A control unit for determining an insertion position of the watermark using a CPU processing load periodically checked; And a communication unit for streaming the watermarked moving image data to a relay server.
여기서, 상기 제어부는 상기 중계 서버로 상기 CPU 처리 부하에 대한 정보를 제공하고, 상기 중계 서버로부터의 명령에 따라 상기 워터마크의 삽입 위치를 결정할 수 있다.Here, the controller may provide information on the CPU processing load to the relay server, and may determine the insertion position of the watermark in response to an instruction from the relay server.
그리고, 모바일 장치로부터 동영상 데이터를 스트리밍 방식으로 수신하기 위한 통신모듈; 상기 동영상 데이터를 이미지데이터와 음원데이터로 분류하고, 음원데이터에 워터마크가 삽입된 경우 대응된 이미지데이터에 워터마크가 삽입되도록 하는 워터마킹 변경을 수행하는 워터마킹 변경모듈; 및 스트리밍을 수행하는 복수의 모바일 장치로부터 수신되는 CPU 처리 부하에 대한 정보를 기반으로, 각 모바일 장치의 워터마킹 삽입 방식을 결정하여 안내하기 위한 제어모듈을 포함하는 중계 서버가 제공된다.A communication module for receiving moving picture data from the mobile device in a streaming manner; A watermarking modifying module that classifies the moving image data into image data and sound source data, and performs watermarking modification to insert a watermark into the corresponding image data when the watermark is inserted into the sound source data; And a control module for determining and guiding the watermarking insertion method of each mobile device based on information on a CPU processing load received from a plurality of mobile devices performing streaming.
여기서, 상기 제어모듈은 상기 워터마킹 변경에 의한 자신의 CPU 처리 부하를 더 고려하여 음원데이터에 워터마크를 삽입할 모바일 장치를 선별할 수 있다.Here, the control module may select a mobile device to insert a watermark into the sound source data, considering the CPU processing load due to the watermarking change.
본 발명에 따르면, 모바일의 CPU처리 부하에 따라 워터마킹 방식을 달리하도록 하고, 중계 서버에서 보완하는 방식으로 하여 보다 효율적인 워터마킹을 수행할 수 있도록 한다. According to the present invention, the watermarking method is changed according to the CPU processing load of the mobile, and the watermarking method is complemented by the relay server, so that more efficient watermarking can be performed.
도 1은 본 발명의 일 실시예에 따른 모바일 장치를 이용한 영상관제 시스템을 개략적으로 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 워터마킹을 삽입하는 모바일 장치의 구성을 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 모바일 장치에서의 워터마크 삽입 과정을 도시한 흐름도.
도 4 내지 도 6은 본 발명의 실시예에 따른 동영상에 워터마크가 삽입되는 과정을 도시한 예시도들.
도 7 및 도 8은 본 발명의 각 실시예에 따른 CPU 처리 부하를 고려한 워터마킹 과정을 도시한 흐름도들.
도 9는 본 발명의 일 실시예에 따른 워터마킹 시스템에서의 워터마킹 과정을 도시한 흐름도.
도 10은 본 발명의 일 실시예에 따른 모바일 장치 및 중계 서버에서 워터마킹을 처리하는 방식을 도시한 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram schematically showing a video control system using a mobile device according to an embodiment of the present invention; FIG.
2 is a block diagram illustrating a configuration of a mobile device for inserting watermarking according to an embodiment of the present invention;
3 is a flowchart illustrating a watermark embedding process in a mobile device according to an exemplary embodiment of the present invention.
FIGS. 4 to 6 are views illustrating a process of inserting a watermark into a moving image according to an embodiment of the present invention. FIG.
7 and 8 are flowcharts illustrating a watermarking process in consideration of a CPU processing load according to each embodiment of the present invention.
FIG. 9 is a flowchart illustrating a watermarking process in the watermarking system according to an embodiment of the present invention; FIG.
10 is an exemplary view showing a method of processing watermarking in a mobile device and a relay server according to an embodiment of the present invention;
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, terms such as a first threshold value, a second threshold value, and the like which will be described later may be previously designated with threshold values that are substantially different from each other or some of which are the same value, Because there is room, the terms such as the first and the second are to be mentioned for convenience of division.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.It is to be understood that the components of the embodiments described with reference to the drawings are not limited to the embodiments and may be embodied in other embodiments without departing from the spirit of the invention. It is to be understood that although the description is omitted, multiple embodiments may be implemented again in one integrated embodiment.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 1은 본 발명의 일 실시예에 따른 모바일 장치를 이용한 영상관제 시스템을 개략적으로 도시한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 워터마킹을 삽입하는 모바일 장치의 구성을 도시한 블록도이다.FIG. 1 is a block diagram schematically showing a video control system using a mobile device according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a configuration of a mobile device for inserting watermarking according to an embodiment of the present invention Block diagram.
도 1 및 도 2를 참조하면, 모바일 장치(10-1, 10-2, ..., 10-n, 이하 10으로 통칭)는 구비된 카메라와 같은 촬영부(11)에 의해 촬영된 동영상을 통신망을 통해 연결된 중계 서버(30)로 전송한다. 이 때, 모바일 장치(10)는 촬영 동영상에 대해 워터마크를 삽입하여 제공한다. 본 시스템이 CCTV 관제 서비스로 이용되는 경우를 예를 들면, 일반 사용자들은 자신의 모바일 장치(10)를 이용하여 영상을 촬영하면, 해당 영상이 관제정보로서 중계 서버(30)로 전송되는 것이다. 따라서, 개인들의 모바일 장치(10)를 이용한 이동성을 갖는 CCTV 시스템을 제공할 수 있으며, 더욱이 워터마크가 삽입된 동영상에 의해 보안(예를 들어 무분별한 유출 또는 개인정보의 유출 등을 차단/방어/추적)을 강화할 수 있게 된다.1 and 2, a mobile device 10-1, 10-2, ..., 10-n (collectively referred to as 10 hereinafter) is provided with a moving image photographed by a photographing
그리고, 모바일 장치(10)는 다수의 이미지와 음원으로 구분되는 동영상에 대해, 음원 데이터에 워터마크를 삽입한다. 이미지의 경우 고도화된 이미지 압축 기술에 의해 삽입된 워터마크에 손실이 가해질 수 있는데, PC의 경우 이에 대한 대응 기술이 존재하나 저전력 기반의 모바일 장치(10)의 경우 처리 부하가 높아 질 수 있는 문제가 발생할 수 있다. 따라서 본 실시예에서는 이미지 처리에 비해 처리 부하가 적은 음원에 워터마크를 삽입하는 방안을 제안한다. 다만 일례에 따르면 항상 음원에만 워터마크를 삽입하는 것이 아니라, CPU의 처리 부하에 따라 이미지에도 워터마킹을 수행할 수 있다. Then, the
도 2를 참조하면, 본 실시예에 따른 모바일 장치(10)는 워터마킹부(13), 통신부(15) 및 제어부(17)를 더 포함한다. Referring to FIG. 2, the
워터마킹부(13)는 촬영된 동영상을 구성하는 이미지데이터 또는 음원데이터 중 어느 하나에 워터마크를 삽입한다. 제어부(17)는 CPU 처리 부하를 확인하고, 그에 따라 워터마크의 삽입 방식을 결정한다. 예를 들어, CPU 처리 부하가 미리 설정된 임계값 이하인 경우에만 이미지데이터에 워터마크를 삽입하는 방식이 이용될 수 있다. 워터마크의 삽입 방식을 결정하는 것에 대한 설명은 관련 도면을 참조하여 설명하기로 하며, 우선 음원데이터에 워터마킹을 수행하는 방식을 위주로 설명하기로 한다.The
모바일 장치(10)는 촬영 동영상을 이미지와 음원으로 분리하고, 분리된 음원에 워터마크를 삽입하며, 워터마킹된 음원과 이미지를 병합하여 보안 동영상을 생성한다. 즉, 촬영부(11)에 의해 촬영되어 지속적으로 생성되는 동영상 데이터에 워터마크가 삽입되는 것이며, 워터마크가 삽입된 동영상 데이터를 이하에서는 보안 동영상이라 칭하기로 한다.The
보안 동영상은 통신부(15)에 의해 스트리밍 방식으로 중계 서버(30)로 전송된다. 모바일 장치(10)의 각 구성부의 보다 상세한 기능에 대해서는 후술하는 모바일 장치(10)의 워터마킹 과정의 설명으로 대체하기로 한다.The security video is transmitted by the
그리고, 일례에 따르면 음원에 워터마크가 삽입된 상태로 모바일 장치(10)로부터 동영상을 수신한 중계 서버(30)가 해당 워터마크가 이미지에 삽입되도록 변경할 수 있다. 따라서, 중계 서버(30)를 거친 동영상은 이미지에 워터마크가 삽입된 상태로 유통된다. 다시 말하자면, 저전력 기반의 모바일 장치(10)에서는 음원에 워터마크를 삽입하고, 보다 처리 성능이 높은 중계 서버(30)에서 워터마크의 삽입 위치를 변경하는 방식이다. According to an example, the
도면에는 도시되지 않았으나, 중계 서버(30)는 모바일 장치(10)로부터 동영상 데이터를 스트리밍 방식으로 수신하기 위한 통신모듈, 동영상 데이터를 이미지데이터와 음원데이터로 분류하고, 음원데이터에 워터마크가 삽입된 경우 대응된 이미지데이터에 워터마크가 삽입되도록 하는 워터마킹 변경을 수행하는 워터마킹 변경모듈, 및 스트리밍을 수행하는 복수의 모바일 장치(10)로부터 수신되는 CPU 처리 부하에 대한 정보를 기반으로, 각 모바일 장치(10)의 워터마킹 삽입 방식을 결정하여 안내하기 위한 제어모듈을 포함할 수 있다. 중계 서버(30)의 각 구성부의 기능에 의한 워터마킹 처리 방식은 추후 관련 도면(도 9)을 참조하여 상세히 후술하기로 한다.Although not shown in the figure, the
도 3은 본 발명의 일 실시예에 따른 모바일 장치(10)에서의 워터마크 삽입 과정을 도시한 흐름도이다.3 is a flowchart illustrating a watermark embedding process in the
도 3을 참조하면, 모바일 장치(10)는 촬영 동영상을 이미지와 음원으로 분리한다(S310). 즉, 동영상은 초당 프레임수에 따른 이미지(예를 들어, 초당 16프레임인 경우, 1초에 16장의 이미지를 촬영)와 외부 소리를 입력한 오디오데이터인 음원으로 구분될 수 있으며, 모바일 장치(10)는 촬영 동영상을 이미지와 음원으로 분리하는 것이다.Referring to FIG. 3, the
그리고, 모바일 장치(10)는 분리된 음원에 따른 오디오데이터에 워터마킹을 삽입한다(S320). 워터마크가 삽입되는 시간단위는 이미지의 초당 프레임수에 대응되도록 설정될 수 있다. 이해의 편의를 위해 예를 들자면, 초당 10프레임의 동영상이 촬영된 상태라면 오디오데이터는 0.1초 간격으로 구분되어 각각 워터마크가 삽입된다. 이에 대해 도면을 참조하여 보다 구체적으로 설명하기로 한다.Then, the
도 4 내지 도 6은 본 발명의 실시예에 따른 동영상에 워터마크가 삽입되는 과정을 도시한 예시도들이다.FIGS. 4 to 6 are illustrations showing a process of inserting a watermark into a moving image according to an embodiment of the present invention.
도 4에 도시된 바와 같은 촬영 동영상(100)에 대해 이미지(110-1, 110-2, 110-3, ..., 이하 110으로 통칭)와 그에 대응되는 개수를 갖도록 시간순으로 구분되는 음원(130-1, 130-2, 130-3, ..., 이하 130으로 통칭)으로 분리한 상태에서, 도 5에 도시된 바와 같이 각 음원(130)에 워터마크(150)가 삽입되는 것이다.(110-1, 110-2, 110-3,..., Hereinafter collectively referred to as 110) with respect to the photographed moving
다시 도 3을 참조하면, 음원(130)에 워터마크(150)를 삽입한 이후, 모바일 장치(10)는 워터마크(150)가 삽입된 음원(130)과 이미지(110)를 병합함으로써 도 6에 도시된 바와 같은 보안 동영상(170-1, 170-2, 170-3, ..., 이하 170으로 통칭)을 생성한다. 3, after inserting the
물론 이는 하나의 실시예일뿐이며, 다른 예에 따르면 이미지의 개수와 상관없이 미리 설정된 시간단위(예를 들어, 0.5초 등)로 음원을 구분하고, 구분된 각 음원에 워터마크를 삽입할 수도 있다. Of course, this is only an embodiment, and according to another example, it is possible to divide a sound source into a predetermined time unit (for example, 0.5 seconds, etc.) irrespective of the number of images, and insert a watermark into each divided sound source.
그리고, 일례에 따르면, 모바일 장치(10)는 네트워크를 통해 외부로 실시간 스트리밍 방식으로 촬영 동영상을 전송하는 경우라 인식될 때에만, 워터마크가 삽입되는 보안 동영상을 생성하여 전송할 수도 있다. 또한, 촬영이 완료된 동영상이 아닌, 실시간으로 촬영되는 동영상을 스트리밍으로 중계 서버(30)로 전송하는 경우에만 워터마킹을 수행하여 보안 동영상을 생성 및 전송할 수도 있다. 즉, 실시간으로 빠른 처리가 필요한 경우에만 본 실시예에 따른 음원에 워터마크를 삽입하는 워터마킹을 수행하는 것이다. 예를 들어, 다른 경우(촬영이 완료된 동영상에 대한 워터마크 등)에는 동영상 자체(예를 들어, 각각의 이미지)에 워터마크를 삽입하는 방식을 이용할 수도 있다.According to an example, the
정리하자면, 본 발명에 따른 모바일 장치(10)는 이미지에 비해 처리가 용이한 오디오데이터에 워터마크를 삽입함으로써, 보다 적은 자원으로 빠른 워터마킹을 수행할 수 있다.In summary, the
도 7 및 도 8은 본 발명의 각 실시예에 따른 CPU 처리 부하를 고려한 워터마킹 과정을 도시한 흐름도들이다.7 and 8 are flowcharts illustrating a watermarking process in consideration of a CPU processing load according to each embodiment of the present invention.
먼저 도 7을 참조하면, 모바일 장치(10)는 주기적으로 CPU 처리 부하를 확인하고(S710), 이에 대한 관련 정보(즉 CPU 처리 부하에 대한 정보)를 중계 서버(30)로 전송한다(S720). 예를 들어, 모바일 장치(10)는 워터마크를 삽입할 때마다 CPU 처리 부하를 확인하는데, 최초에는 기본 설정으로서 이미지데이터 또는 음원데이터 중 어느 하나에 워터마크를 삽입한다. Referring to FIG. 7, the
중계 서버(30)는 모바일 장치(10)로부터 수신된 CPU 처리 부하에 대한 정보를 기반으로 워터마킹 방식을 결정하고 이를 모바일 장치(10)로 안내한다. 예를 들어, 모바일 장치(10)의 CPU 처리 부하를 미리 설정된 임계값과 비교함으로써 워터마킹 방식을 결정할 수 있을 것이다. 그리고, 일례에 따르면, 중계 서버(30)로는 복수개의 모바일 장치(10)로부터 동영상이 수신될 수 있는데, 이 경우 중계 서버(30)는 각 모바일 장치(10)의 CPU 처리 부하와 자신의 CPU 처리 부하를 함께 고려하여 각 모바일 장치(10)에서의 워터마킹 방식을 결정할 수도 있다. 상술한 바와 같이 중계 서버(30)가 음원데이터에 삽입된 워터마크를 이미지데이터에 삽입되도록 변경 처리할 수 있는데, 많은 수의 변경 처리를 수행하는 경우 자신의 CPU 처리 부하가 높아질 수 있기 때문이다. 따라서, 각 모바일 장치(10) 뿐 아니라 자신의 CPU 처리 부하까지도 고려하여, 각 모바일 장치(10)에서의 워터마킹 방식을 결정하는 것이다 .The
따라서, 모바일 장치(10)는 중계 서버(30)로부터의 삽입 방식 명령에 따라 워터마킹 방식을 결정하여 처리한다(S730). Accordingly, the
여기서, 일례에 따르면 중계 서버(30)는 이미지데이터 또는 음원데이터 중 어느 하나에 워터마킹을 수행하라는 명령을 모바일 장치(10)로 제공할 수 있다. Here, according to an example, the
이와는 다른 일례에 따르면, 직접적인 수행 방식에 대한 명령이 아닌 비교임계값에 대한 정보를 제공하고, 모바일 장치(10)가 비교임계값과 현재의 CPU 처리 부하를 비교하여 자체적으로 워터마킹 방식을 결정하도록 할 수도 있다. 이에 대한 실시예를 도시한 도 8을 참조하면, 모바일 장치(10)는 처리 부하(이전 워터마킹의 수행 시점 또는 현재 시점)를 확인하고(S810), 비교임계값과 비교한다(S820).According to another example, the
비교 결과 비교임계값을 초과하는 경우에는 음원 삽입 프로세스를 진행(즉, 음원데이터에 워터마크 삽입)하고(S830), 비교임계값 이하인 경우에는 이미지 삽입 프로세스를 진행한다(S840). 즉, CPU 처리 부하가 비교임계값 보다 높지 않은 경우에는 보다 많은 처리가 필요한 이미지데이터에 워터마킹을 수행하는 것이며, 반대로 CPU 처리 부하가 높은 경우에는 보다 처리 부하가 작은 음원데이터에 워터마킹을 수행하는 것이다.If the comparison threshold value is exceeded, the sound source inserting process proceeds (step S830). In step S830, the image inserting process is performed in step S840. That is, when the CPU processing load is not higher than the comparison threshold, watermarking is performed on the image data requiring more processing. On the other hand, when the CPU processing load is high, watermarking is performed on the sound source data with a smaller processing load will be.
지금까지는 모바일 장치(10)에서의 워터마크 삽입 방식을 위주로 설명하였다. 이하에서는 중계 서버(30)에서 모바일 장치(10)가 삽입한 워터마크를 삽입 위치를 변경하는 방식에 대해 설명하기로 한다.Up to now, the watermark embedding method in the
도 9는 본 발명의 일 실시예에 따른 워터마킹 시스템에서의 워터마킹 과정을 도시한 흐름도이고, 도 10은 본 발명의 일 실시예에 따른 모바일 장치(10) 및 중계 서버(30)에서 워터마킹을 처리하는 방식을 도시한 예시도이다.FIG. 9 is a flowchart illustrating a watermarking process in the watermarking system according to an embodiment of the present invention. FIG. 10 is a flowchart illustrating a watermarking process in the
도 9를 참조하면, 모바일 장치(10)는 촬영 동영상에 워터마크가 삽입된 보안 동영상을 생성하고(S910), 이를 중계 서버(30)로 전송한다(S920). 보안 동영상의 생성 방식은 상술하였으므로 중복되는 설명은 생략한다.Referring to FIG. 9, the
중계 서버(30)는 수신된 보안 동영상을 확인하여 워터마크가 삽입된 위치가 음원데이터인 경우, 워터마크를 추출한다(S 930). 그리고, 중계 서버(30)는 추출된 워터마크를 대응된 이미지에 삽입함으로써, 이미지에 워터마크가 삽입된 형태의 워터마킹 동영상을 생성한다(S940). 이에 대한 예시를 도시한 도 10을 참조하면, 모바일 장치(10)에서 생성된 동영상에 따른 동영상 데이터(170-1, 170-2, 170-3, 패킷(packet) 단위라 가정함) 중 음원에 워터마크(150)가 삽입된 패킷(170-2, 170-3)에 대해 중계 서버(30)는 이를 이미지에 해당 워터마크가 삽입되도록 변경하여 190-2, 190-2와 같은 워터마킹 동영상을 생성하는 것이다. The
다시 말해, 중계 서버(30)는 보안 동영상의 이미지와 음원은 그대로 이용하되, 음원에 삽입된 워터마크를 추출하여 해당 음원에 대응된 이미지에 삽입함으로써, 워터마크의 위치를 변경처리하는 것이다. 본 실시예에 따르면 워터마크의 삽입 처리는 모바일 장치(10)에서 수행하되, 처리 부하가 높은 이미지에 워터마크를 삽입하는 프로세스를 중계 서버(30)에서 수행함으로써, 모바일 장치(10)에서의 처리 부하를 줄일 수 있다. In other words, the
따라서, 중계 서버(30)는 통상적으로 워터마크를 삽입하는 형태인 동영상의 이미지 데이터에 워터마크가 삽입된 동영상을 중계할 수 있다. Therefore, the
그리고, 추가적으로 중계 서버(30)는 도면에 도시된 바와 같이 이미지에 워터마크가 삽입된 워터마킹 동영상을 다시 모바일 장치(10)로 제공할 수 있으며(S950), 모바일 장치(10)는 자체 생성한 보안 동영상을 워터마킹 동영상으로 대체하여 저장할 수 있다(S960). 따라서, 모바일 장치(10) 입장에서도 자산이 촬영하고 자신이 생성한 워터마킹이 이미지데이터에 삽입된 형태의 동영상을 보유하게 되는 것이다. In addition, the
상술한 본 발명에 따른 모바일을 위한 효율적 워터마킹 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The above-described efficient watermarking method for a mobile device according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, it may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, or the like. In addition, the computer-readable recording medium may be distributed and executed in a computer system connected to a computer network, and may be stored and executed as a code readable in a distributed manner.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that various modifications and changes may be made.
10 : 모바일 장치 30 : 중계 서버
100 : 촬영 동영상 110 : 이미지
130 : 음원 150 : 워터마크
170 : 보안 동영상 190 : 워터마킹 동영상10: mobile device 30: relay server
100: Movie 110: Image
130: Sound source 150: Water mark
170: Security video 190: Watermarking video
Claims (9)
동영상 촬영이 수행되면, 현재의 CPU 처리 부하를 확인하는 단계;
상기 CPU 처리 부하에 따라, 촬영 동영상을 구성하는 이미지데이터 및 음원데이터 중 어느 하나에 워터마크를 삽입하는 단계; 및
상기 워터마크가 삽입된 동영상 데이터를 중계 서버로 스트리밍 전송하는 단계를 포함하되,
상기 CPU 처리 부하에 대한 정보를 상기 중계 서버로 전송하고, 상기 중계 서버로부터의 명령에 따라 상기 워터마크의 삽입 위치를 결정하는, 모바일을 위한 워터마킹 방법.
A watermarking method of a moving picture performed on a mobile device,
Confirming a current CPU processing load when the moving image shooting is performed;
Inserting a watermark into any one of image data and sound source data constituting a photographed moving picture according to the CPU processing load; And
And streaming the watermarked moving image data to a relay server,
Transmitting information about the CPU processing load to the relay server and determining an insertion position of the watermark in accordance with an instruction from the relay server.
상기 중계 서버는 복수의 모바일 장치로부터 수신되는 CPU 처리 부하에 대한 정보를 기반으로, 음원데이터에 워터마크를 삽입할 모바일 장치를 선별하는, 모바일을 위한 워터마킹 방법.
The method according to claim 1,
Wherein the relay server selects a mobile device to insert a watermark into sound source data based on information on a CPU processing load received from a plurality of mobile devices.
상기 중계 서버는 상기 동영상 데이터를 이미지와 음원으로 분류하고, 음원에 삽입된 상기 워터마크를 추출하여 이미지에 삽입하는 워터마킹 변경을 수행하는, 모바일을 위한 워터마킹 방법.
The method according to claim 1,
Wherein the relay server classifies the moving image data into images and sound sources, and extracts the watermark embedded in the sound source and inserts the extracted watermark into the image.
상기 중계 서버가 상기 워터마킹 변경을 수행한 경우, 관련 동영상 데이터를 수신하여 상기 동영상 데이터와 대체하여 저장하는, 모바일을 위한 워터마킹 방법.
The method of claim 4,
And when the relay server performs the watermarking change, receiving the related moving image data and storing the moving image data in place of the moving image data.
촬영 동영상을 구성하는 이미지데이터 및 음원데이터 중 어느 하나에 워터마크를 삽입하는 워터마킹부;
주기적으로 확인되는 CPU 처리 부하를 이용하여 상기 워터마크의 삽입 위치를 결정하되, 중계 서버로 상기 CPU 처리 부하에 대한 정보를 제공하고 상기 중계 서버로부터의 명령에 따라 상기 워터마크의 삽입 위치를 결정하는 제어부; 및
상기 워터마크가 삽입된 동영상 데이터를 상기 중계 서버로 스트리밍하기 위한 통신부를 포함하는 모바일 장치.
A photographing unit for photographing a moving picture;
A watermarking unit for inserting a watermark into any one of image data and sound source data constituting a photographed moving picture;
Determining an insertion position of the watermark by using a CPU processing load periodically checked, providing information on the CPU processing load to the relay server, and determining an insertion position of the watermark in response to an instruction from the relay server A control unit; And
And a communication unit for streaming the watermarked moving image data to the relay server.
상기 동영상 데이터를 이미지데이터와 음원데이터로 분류하고, 음원데이터에 워터마크가 삽입된 경우 대응된 이미지데이터에 워터마크가 삽입되도록 하는 워터마킹 변경을 수행하는 워터마킹 변경모듈; 및
스트리밍을 수행하는 복수의 모바일 장치로부터 수신되는 CPU 처리 부하에 대한 정보를 기반으로, 각 모바일 장치의 워터마킹 삽입 방식을 결정하여 안내하기 위한 제어모듈을 포함하되,
상기 제어모듈은 상기 워터마킹 변경에 의한 자신의 CPU 처리 부하를 더 고려하여 음원데이터에 워터마크를 삽입할 모바일 장치를 선별하는, 중계 서버.A communication module for receiving moving picture data from the mobile device in a streaming manner;
A watermarking modifying module that classifies the moving image data into image data and sound source data, and performs watermarking modification to insert a watermark into the corresponding image data when the watermark is inserted into the sound source data; And
And a control module for determining and guiding a watermarking insertion method of each mobile device based on information on a CPU processing load received from a plurality of mobile devices performing streaming,
Wherein the control module selects a mobile device to insert a watermark into the sound source data, further considering its own CPU processing load due to the watermarking change.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170170135A KR101973766B1 (en) | 2017-12-12 | 2017-12-12 | Watermarking method and device for mobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170170135A KR101973766B1 (en) | 2017-12-12 | 2017-12-12 | Watermarking method and device for mobile |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101973766B1 true KR101973766B1 (en) | 2019-05-07 |
Family
ID=66656298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170170135A KR101973766B1 (en) | 2017-12-12 | 2017-12-12 | Watermarking method and device for mobile |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101973766B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257823A (en) * | 2021-11-11 | 2022-03-29 | 广州方硅信息技术有限公司 | User-defined video watermark processing method and device, storage medium and computer equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033811A (en) * | 2004-06-16 | 2006-02-02 | Hitachi Ltd | Electronic watermarking method and storage medium for storing electronic watermarking program |
KR20090121024A (en) | 2008-05-21 | 2009-11-25 | 부산외국어대학교 산학협력단 | A watermarking method of the mobile terminal for multimedia forensic |
KR20120084491A (en) * | 2011-01-20 | 2012-07-30 | (주)아테크 | On-line watermark service system |
-
2017
- 2017-12-12 KR KR1020170170135A patent/KR101973766B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033811A (en) * | 2004-06-16 | 2006-02-02 | Hitachi Ltd | Electronic watermarking method and storage medium for storing electronic watermarking program |
KR20090121024A (en) | 2008-05-21 | 2009-11-25 | 부산외국어대학교 산학협력단 | A watermarking method of the mobile terminal for multimedia forensic |
KR20120084491A (en) * | 2011-01-20 | 2012-07-30 | (주)아테크 | On-line watermark service system |
Non-Patent Citations (1)
Title |
---|
김현득 외2, "워터마크 작업으로 인한 웹서버의 과부하 방지를 위한 알고리즘 제안", 한국통신학회 종합 학술 발표회 논문집 (하계) 2009, 2009.6, 2083-2084.* * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257823A (en) * | 2021-11-11 | 2022-03-29 | 广州方硅信息技术有限公司 | User-defined video watermark processing method and device, storage medium and computer equipment |
CN114257823B (en) * | 2021-11-11 | 2024-02-23 | 广州方硅信息技术有限公司 | Custom video watermark processing method, device, storage medium and computer equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10915660B2 (en) | Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras | |
KR101747221B1 (en) | Image data transmitting and receiving method and camara terminal and server for image forgery detection in security camera system | |
US20180027260A1 (en) | Video analytics with pre-processing at the source end | |
KR101458136B1 (en) | Video processing method, video processing server performing the same, monitoring server performing the same, system performing the same and storage medium storing the same | |
US10062406B2 (en) | Video masking processing method and apparatus | |
JP6421422B2 (en) | Video analysis device, monitoring device, monitoring system, and video analysis method | |
EP2724343B1 (en) | Video remixing system | |
US10999577B2 (en) | Quantization parameter determination method and image capture apparatus | |
JP4912184B2 (en) | Video surveillance system and video surveillance method | |
CN111147808B (en) | Network device, image processing method and computer readable medium | |
JP4622301B2 (en) | Surveillance system and surveillance camera | |
KR102264275B1 (en) | Violent behavior management system and method | |
KR101973766B1 (en) | Watermarking method and device for mobile | |
JP6809114B2 (en) | Information processing equipment, image processing system, program | |
JP7377361B2 (en) | Content authentication based on unique attributes | |
KR102263071B1 (en) | Method for video monitoring, Apparatus for video monitoring and Computer program for the same | |
KR101928340B1 (en) | Watermarking method for mobile, and mobile device | |
KR101928339B1 (en) | Watermarking method for mobile, and mobile device | |
CN109698932B (en) | Data transmission method, camera and electronic equipment | |
EP3361747B1 (en) | Watermark embedding apparatus and method through image structure conversion | |
US11863908B2 (en) | Surveillance camera system | |
KR20170024866A (en) | System for creating a event image | |
KR102183689B1 (en) | Real-time image object masking processing system and masking processing method using the same | |
KR20190142304A (en) | Event detection system and apparatus for detecting event | |
KR102092074B1 (en) | Apparatus of Providing Smart Monitoring Service for Effective Monitoring and Driving Method Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |