KR102129031B1 - 동영상 내의 보안정보 비식별화 방법 및 장치 - Google Patents

동영상 내의 보안정보 비식별화 방법 및 장치 Download PDF

Info

Publication number
KR102129031B1
KR102129031B1 KR1020200024086A KR20200024086A KR102129031B1 KR 102129031 B1 KR102129031 B1 KR 102129031B1 KR 1020200024086 A KR1020200024086 A KR 1020200024086A KR 20200024086 A KR20200024086 A KR 20200024086A KR 102129031 B1 KR102129031 B1 KR 102129031B1
Authority
KR
South Korea
Prior art keywords
security information
information
audio
video
security
Prior art date
Application number
KR1020200024086A
Other languages
English (en)
Inventor
이기복
Original Assignee
주식회사 지란지교데이터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지란지교데이터 filed Critical 주식회사 지란지교데이터
Priority to KR1020200024086A priority Critical patent/KR102129031B1/ko
Application granted granted Critical
Publication of KR102129031B1 publication Critical patent/KR102129031B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

동영상 내의 보안정보 비식별화 방법 및 장치가 개시된다. 본 발명의 일측면에 따른 동영상의 보안정보 비식별화 방법은 대상 동영상파일을 분석하여 영상 내의 보안정보를 식별하는 단계; 식별된 영상 내의 보안정보를 비식별정보로 대체하는 단계; 및 대상 동영상파일의 원본에 대한 정보를 암호화하여 저장하는 단계를 포함한다.

Description

동영상 내의 보안정보 비식별화 방법 및 장치{Method and device for de-identifying security information in video}
본 발명은 동영상 내의 보안정보 비식별화 방법 및 장치에 관한 것이다.
근래에는 통신 및 인터넷 기술의 발달로 언제 어디서나 단말기를 이용하여 인터넷을 이용하게 되었다. 하지만 최근에는 인터넷을 통해 누구에게나 오픈되는 정보에 이름, 주민번호, 주소 등의 개인 신상 정보뿐 아니라 상호명, 임원명 등의 기업정보가 포함되는 경우가 종종 발생하게 되어, 개인정보 노출에 따른 위험이 심각한 문제가 되고 있다.
최근에는 유투브 등 다양한 콘텐츠 매체를 통해 동영상 정보가 공유되고 있으며, 또한 각종 CCTV, 교통통제를 위한 카메라 등에 의해 많은 양의 동영상이 저장 및 관리되고 있다.
더욱이 최근에는 이러한 빅데이터에 대한 관심이 높아짐에 따라 공용뿐 아니라 사설 서버 등에 저장된 데이터 활용에 대한 요구가 커지고 있어, 더욱 개인정보의 노출에 보안이 필요한 실정이다.
더욱이 동영상의 경우, 텍스트와는 달리 영상 및 음성 내에 개인정보와 같은 보안정보가 존재하기 때문에 효율적인 비식별화 방식이 필요하다.
대한민국 등록특허 제10-2067926 (등록일자 2020년01월17일) 전자문서에 포함된 개인정보 비식별화 장치 및 방법
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 동영상 내의 개인정보와 같은 보안정보가 노출되지 않도록 비식별화하는 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 처리 부하를 줄이기 위해 영상 내의 보안정보를 효율적으로 인식하는 비식별화 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 원본 동영상 데이터에 대한 보관 처리의 효율성을 높일 수 있는 동영상 내의 보안정보 비식별화 방법 및 장치를 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 동영상의 보안정보 비식별화 방법에 있어서, 대상 동영상파일을 분석하여 영상 내의 보안정보를 식별하는 단계; 식별된 영상 내의 보안정보를 비식별정보로 대체하는 단계; 및 상기 대상 동영상파일의 원본에 대한 정보를 암호화하여 저장하는 단계를 포함하는, 동영상 내의 보안정보 비식별화 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.
여기서, 보안정보를 식별하는 단계는, 대상 동영상파일을 구성하는 각 프레임이미지를 설정된 시간간격으로 하나씩 추출하여 설정된 시간단위로 병합하는 단계; 상기 시간단위로 생성되는 병합이미지 각각에 대해 보안정보가 존재하는지를 확인하는 단계; 및 보안정보가 존재하는 병합이미지를 구성하는 각 프레임이미지를 분석하여 보안정보 및 그 재생구간을 확인하는 단계를 포함할 수 있다.
또한, 상기 프레임이미지를 시간순으로 확인하여 텍스트가 표시되는 자막표시영역을 확인하고, 상기 병합이미지의 분석시에는 상기 표시영역을 위주로 상기 보안정보의 존재 여부를 확인할 수 있다.
또한, 상기 동영상의 오디오를 분석하여 오디오보안정보를 식별하고, 상기 오디오보안정보에 상응하는 오디오의 음색을 포함하는 목소리정보를 오디오 분석을 통해 취득하고, 상기 목소리정보에 상응하는 오디오로 상기 오디오보안정보를 대체할 수 있다.
상기 보안정보를 비식별정보로 대체하는 단계는, 상기 보안정보의 등급을 확인하고, 보안정보에 대응된 이미지영역에 대한 전체 삭제, 비식별정보로의 대체, 보안정보 범주화 중 상기 등급에 상응하는 어느 하나의 방식을 이용한 비식별화를 수행할 수 있다.
또한, 상기 대상 비디오파일의 원본을 저장하는 단계는, 상기 보안정보에 대응된 이미지영역에 대한 부분영상만을 추출하여 저장하여 수행할 수 있다.
또한, 상기 대상 비디오파일에 보안정보가 임계개수 이상 존재하는 경우에는, 비디오파일 원본 전체를 암호화하여 저장할 수 있다.
본 발명의 다른 측면에 따르면, 대상 비디오파일을 분석하여 영상 내의 보안정보에 식별하는 보안정보인식부; 식별된 영상 내의 보안정보를 비식별정보로 대체하는 비식별화부; 및 상기 대상 동영상파일의 원본에 대한 정보를 암호화하는 원본정보처리부 포함하는, 동영상 내의 보안정보 비식별화 장치가 제공된다.
여기서, 보안정보인식부는, 대상 동영상파일을 구성하는 각 프레임이미지를 설정된 시간간격으로 하나씩 추출하여 설정된 시간단위로 병합하고, 상기 시간단위로 생성되는 병합이미지 각각에 대해 보안정보가 존재하는지를 확인하고, 보안정보가 존재하는 병합이미지를 구성하는 각 프레임이미지를 분석하여 보안정보 및 그 재생구간을 확인할 수 있다.
또한, 상기 보안정보인식부는, 상기 프레임이미지를 시간순으로 확인하여 텍스트가 표시되는 자막표시영역을 확인하고, 상기 병합이미지의 분석시에는 상기 표시영역을 위주로 상기 보안정보의 존재 여부를 확인할 수 있다.
또한, 상기 보안정보인식부는 상기 동영상의 오디오를 분석하여 오디오보안정보를 더 식별하고, 상기 비식별화부는 상기 오디오보안정보에 상응하는 오디오의 음색을 포함하는 목소리정보를 오디오 분석을 통해 취득하고, 상기 목소리정보에 상응하는 오디오로 상기 오디오보안정보를 대체할 수 있다.
본 발명에 따르면, 동영상 내의 개인정보와 같은 보안정보가 노출되지 않도록 비식별화하는 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 동영상을 이루는 이미지들 중 일부만을 확인하는 효율적인 처리방안을 제안함으로써, 다수의 동영상 처리 시 처리 부하를 줄일 수 있다.
또한, 본 발명에 따르면 원본 동영상 내에서 보안정보에 해당하는 부분만을 저장함으로 인해 저장 및 관리의 효율을 높일 수 있다.
또한, 본 발명에 따르면, 보안정보를 대체하는영상을 삽입할 때 원본영상에 상응하는 정보로 대체함으로써, 이질감을 낮추어 청취자의 거부감을 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 내의 보안정보 비식별화를 위한 전체 시스템을 개략적으로 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 동영상 내의 보안정보 비식별화를 수행하는 서비스 서버의 구성을 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 동영상 내의 보안정보 비식별화 과정을 개략적으로 도시한 흐름도.
도 4는 본 발명의 일 실시예에 따른 효율적 동영상 내 보안정보 식별과정을 도시한 흐름도.
도 5는 본 발명의 일 실시예에 따른 동영상을 구성하는 프레임의 일부 병합을 이용한 보안정보 식별 방식을 도시한 예시도.
도 6은 본 발명의 일 실시예에 따른 영상 내의 보안정보 비식별 방식을 도시한 예시도.
도 7은 본 발명의 일 실시예에 따른 보안정보의 개수에 따른 원본 동영상 저장 방식을 결정하는 과정을 도시한 흐름도.
도 8은 본 발명의 일 실시예에 따른 보안정보의 등급을 이용한 비식별방식을 결정하는 과정을 도시한 흐름도.
도 9는 본 발명의 일 실시예에 따른 오디오 내의 보안정보 비식별화 방식을 도시한 예시도.
도 10은 본 발명의 일 실시예에 따른 오디오에 상응하는 보안정보 비식별화 과정을 도시한 흐름도.
도 11 및 도 12는 본 발명의 일 실시예에 따른 원본 오디오파일의 보안정보를 통합한 통합오디오파일 및 관리를 위한 원본관리정보를 도시한 예시도 및 테이블.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 오디오 내의 보안정보 비식별화를 위한 전체 시스템을 개략적으로 도시한 구성도이다.
도 1을 참조하면, 본 실시예에 따른 전체 시스템은 동영상저장서버(10) 및 서비스 서버(20)를 포함하되, 서비스 서버(20)는 원본 동영상파일에 대한 정보를 저장하는 원본정보DB(30) 및 보안정보가 비식별처리된 대체 동영상이 저장되는 대체동영상DB(32)를 운영한다.
서비스 서버(20)는 보안정보 비식별화 서비스를 요청한 동영상저장서버(10)로부터 동영상파일을 수신하고, 비식별화를 진행하여 대체동영상파일은 대체동영상DB(32)에, 동영상파일 원본 그 자체 또는 관련 정보를 원본정보DB(30)에 암호화하여 저장한다.
여기서, 동영상파일은 영상데이터와 오디오데이터로 구분될 수 있는데, 우선 영상데이터 내의 보안정보에 대한 비식별을 위주로 설명하되, 차후 오디오데이터에 포함된 보안정보에 대한 비식별 방식에 대해서도 후술하기로 한다.
서비스 서버(20)는 보안정보가 비식별화된 대체 동영상파일를 동영상저장서버(10)로 제공함으로써, 동영상저장서버(10)에는 보안정보가 비식별화된 동영상파일들만이 저장되도록 할 수 있으며, 필요시 원본정보DB(30)를 활용하여 동영상파일 원본을 인가된 사용자(예를 들어 암호화의 복호화를 위한 복호키를 입력한 회원)에게만 제공할 수 있다.
상술한 보안정보로는, 일반 개인의 주민번호, 이름, 주소, 전화번호 등의 개인신상정보뿐 아니라, 기업의 주주명부 등과 같이 개인뿐 아니라 단체의 보안상 필요하다 판단되는 모든 정보일 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 내의 보안정보 비식별화를 수행하는 서비스 서버의 구성을 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 동영상 내의 보안정보 비식별화 과정을 개략적으로 도시한 흐름도이고, 고, 도 4는 본 발명의 일 실시예에 따른 효율적 동영상 내 보안정보 식별과정을 도시한 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 동영상을 구성하는 프레임의 일부 병합을 이용한 보안정보 식별 방식을 도시한 예시도이다.
서비스 서버(20)에서의 처리과정을 도시한 도 3을 먼저 참조하면, 서비스 서버(20)는 비식별화를 요청받은 대상 동영상파일 내의 보안정보를 인식한다(S310). 그리고, 서비스 서버(20)는 인식된 보안정보를 비식별화처리하고(S320), 원본 동영상파일에 대한 정보를 암호화하여 저장한다(S330).
우선, 보안정보를 인식하는 방식에 대한 일례를 도시한 도 4를 참조하면, 서비스 서버(20)는 대상 동영상파일을 구성하는 각 프레임이미지를 설정된 시간간격으로 하나씩 추출하여 설정된 시간단위로 병합하여 각각의 병합이미지를 생성한다(S410).
이에 대한 일례를 도시한 도 5를 함께 참조하면, 대상 동영상파일이 54초의 재생시간을 갖고 초당 16개의 프레임이미지(510)를 갖는다 가정하면 약 864개의 프레임이미지(510)가 존재한다. 이 때, 3초 단위의 첫 프레임이미지를 3개씩 합성하는 병합이미지를 생성하면, 약 96개(864/9)의 병합이미지가 생성된다.
다시 도 4를 참조하면, 병합이미지들 중 보안정보가 존재하는 것을 식별한다(S420). 예를 들어, 병합이미지 내에 텍스트가 존재함을 인식하면, 해당 텍스트를 식별하여 보안정보인지 여부를 확인한다. 이때 병합전 복수의 프레임이미지에 서로 다른 텍스트가 존재하여 서로 겹치게 되는 경우가 발생할 수도 있으므로, 정확한 인식을 위해 병합이미지에 텍스트가 존재함을 인식하면, 병합전의 각 프레임이미지를 분석하여 보안정보를 식별한다.
식별된 보안정보의 내용 및 해당 보안정보가 표시되는 재생구간을 확인한다(S430). 예를 들어, 인식된 보안정보가 표시되는 최초 프레임이미지와 마지막 프레임이미지를 확인함으로써, 그 구간을 식별할 수 있다.
그리고 일례에 따르면, 프레임이미지를 시간순으로 확인하여 텍스트가 표시되는 자막표시영역을 확인하고, 병합이미지의 분석시에는 자막표시영역을 위주로 보안정보의 존재 여부를 확인할 수 있다. 영상 내에는 대부분 자막형태로 보안정보가 노출되는 형태이며, 일반적으로 자막은 동일한 영역(예를 들어, 하단부)에 표시되므로, 처리 효율을 높이기 위해 자막표시영역을 위주로 보안정보의 존재여부를 확인 및 분석한다.
도면에는 도시되지 않았으나, 동영상 내의 오디오의 경우, 오디오를 STT(speech-to-text)기술을 이용하여 텍스트로 변환하고, 변환된 텍스트를 분석하여 보안정보를 식별한다. 예를 들어, XXXXXX-XXXXXXX의 패턴을 갖는 텍스트가 존재하는 경우 이를 주민번호로 인식하여 보안정보로서 식별한다. 이외에도, 주소, 전화번호 등의 보안정보를 인식하는 모든 방식이 적용될 수 있다.
그리고, 인식된 보안정보가 출력되는 오디오 재생 구간을 식별한다. 예를 들어, 오디오 재생구간 12분00초에서 3초간의 오디오에서 주민번호가 식별되면, 보안정보에 대응된 재생구간은 [00:12:00~00:12:03]로 식별된다.
서비스 서버(20)의 구성을 도시한 도 2를 참조하여 상세히 설명하자면, 서비스 서버(20)는 통신부(210), 저장부(220) 및 제어부(230)를 포함하되, 제어부(230)는 그 기능에 따라 보안정보인식부(231), 비식별화부(232), 원본정보처리부(233) 및 원본생성부(234)를 포함할 수 있다. 제어부(230)의 각 기능부는 반드시 하드웨어적으로 구현될 필요는 없으며, 응용프로그램과 같이 프로세서에 의해 수행되는 소프트웨어적으로 구현될 수도 있음은 당업자에게는 자명할 것이다.
통신부(210)는 통신망을 통해 동영상저장서버(10)와 통신하기 위한 것이며, 저장부(220)에는 제어부(230)의 각 구성부가 각각의 기능을 수행하기 위해 필요한 정보가 저장된다.
제어부(230)의 보안정보인식부(231)는 대상 동영상파일의 영상 내 텍스트를 분석하여 보안정보를 인식한다. 상술한 예시와 같이 주민번호, 주소 등의 개인정보를 그 패턴을 이용하여 인식할 수 있다.
비식별화부(232)는 식별된 보안정보를 비식별정보로 대체한 대체 동영상파일을 생성하여 원본 동영상파일과 대체시킨다. 예를 들어, 주민번호의 경우 숫자가 아닌 대체이미지로서 [주민번호]라는 문구가 표시되는 이미지로 대체되는 방식이 이용될 수 있으며, 또는 보안정보 자체를 가리는 형태로 대체이미지로 대체하는 방식이 이용될 수도 있다. 차후 설명하겠으나, 보안정보를 범주화시킬 수도 있는데, 예를 들어 주민번호가 740101-1XXXXXX인 경우 범주화하여 [40대]로 대체시킬 수 있다.
대체 동영상파일은 바로 동영상저장서버(10)로 제공될 수 있으며, 일례에 따르면 도 1과 같은 대체동영상DB(32)에도 저장될 수 있다.
원본정보처리부(233)는 대상 동영상파일의 원본에 대한 정보를 암호화하여 원본정보DB(30)에 저장한다. 예를 들어, 보안정보가 그대로 노출되는 동영상파일 원본 자체를 암호화하여 저장할 수 있으며, 다른 일례에 따르면 원본 그대로 저장하게 되는 경우 많은 용량을 차지할 수도 있으므로 보안정보만을 추출(해당 프레임이미지를 추출하거나, 보안정보가 표시되는 영역에 대한 부분이미지를 추출)하여 저장하는 방식을 이용할 수도 있다. 이에 대해서는 차후 관련 도면을 참조하여 상세히 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 영상 내의 보안정보 비식별 방식을 도시한 예시도이다.
일례에 따른 도 6을 함께 참조하면, 원본 동영상 내의 보안정보(610)에 해당하는 프레임이미지들은 추출되어 원본정보DB(30)에 저장되며, 해당 재생구간에는 보안정보(610)가 비식별이미지(620)로 대체된 대체이미지들이 삽입된다. 여기서, 원본정보DB(30)에 저장되는 원본동영상에 대한 정보는, 보안정보(610)에 해당하는 부분이미지가 저장되는 형태일 수 있으며, 또는 해당 프레임이미지 전체가 저장될 수도 있다.
원본생성부(234)는 암호화 해제를 위한 복호키가 입력되면, 동영상파일 원본을 생성한다. 원본 자체가 암호화되어 저장된 경우에는 복호화만을 진행하면 될 것이다. 이와 달리, 보안정보에 해당하는 동영상데이터만을 추출하여 암호화 및 저장한 경우라면, 원본생성부(234)는 해당 동영상데이터만을 복호화한 이후 대응된 대체동영상파일(대체동영상DB(32)에서 탐색)에 적용함으로써 원본과 동일한 동영상파일을 생성한다.
도 7은 본 발명의 일 실시예에 따른 보안정보의 개수에 따른 원본 동영상 저장 방식을 결정하는 과정을 도시한 흐름도이다.
도 7을 참조하면, 서비스 서버(20)는 비식별화를 요청받은 동영상파일을 분석하여(S710), 식별된 보안정보의 개수를 확인한다(S720).
그리고, 보안정보의 개수가 임계개수 이상인지 여부를 확인한다(S730). 임계개수는 원본 동영상파일의 총 재생시간에 따라 달라질 수 있다. 예를 들어 재생시간이 5분 이하인 경우 임계개수는 5, 5분이상 10분 이하에서는 임계개수가 8, 10분이상 20분 이하에서는 임계개수는 10과 같은 방식으로 가변하게 설정된다.
보안정보가 임계개수 이상인 경우, 보안정보에 대응된 보안동영상만을 저장 및 관리하기보다는 동영상파일 원본 자체를 저장하는 것이 보다 처리 효율이 높을 수 있으므로 원본 동영상파일을 암호화하여 저장한다(S740).
이와 달리, 보안정보가 임계개수 미만인 경우 보안정보에 대응된 동영상데이터만을 저장한다(S750).
도 8은 본 발명의 일 실시예에 따른 보안정보의 등급을 이용한 비식별방식을 결정하는 과정을 도시한 흐름도이다.
일례에 따르면 보안정보는 미리 설정된 기준에 따라 보안등급이 정해질 수 있으며, 보안등급은 보안정보의 유형과 동영상파일 자체에 설정된 보안등급에 따라 달라질 수 있다. 상술한 보안등급을 설정하는 방식은 한정되지 않고 상황에 따라 다양하게 설정될 수 있다.
도 8을 참조하면, 보안정보를 분석하여 보안등급을 확인하고(S810), 보안정보 종류 및 확인된 등급에 따른 비식별방식을 선택하고(S820), 선택된 방식으로 보안정보에 대한 비식별을 처리한다(S830).
보안등급에 따라 비식별화 방식이 달라질 수 있는데, 예를 들어 1등급은 보안정보 자체 적출(완전 삭제 또는, 내용과 상관없는 이미지로 대체), 2등급은 보안정보 전체 비식별(예를 들어, 유형에 대한 것으로 주민번호, 주소라는 단어로 대체), 3등급은 범주화하여 표시 방식으로 처리된다.
범주화에 대한 처리 예를 들면, 다음과 같다.
[연봉 5500만원 -> 연봉 1억 이하],
[매출 156억 -> 매출 100억 이상],
[나이 35살 -> 나이 30대]
도 9는 본 발명의 일 실시예에 따른 동영상의 오디오 내의 보안정보 비식별화 방식을 도시한 예시도이고, 도 10은 본 발명의 일 실시예에 따른 오디오에 상응하는 보안정보 비식별화 과정을 도시한 흐름도이다.
일례에 따른 도 9를 참조하면, 원본 동영상파일의 오디오 내의 보안정보에 해당하는 오디오데이터는 추출되어 원본본정보DB(30)에 저장되며, 해당 재생구간에는 비식별오디오가 삽입된다.
이에 대한 처리 과정의 일례를 도시한 도 10을 참조하면, 서비스 서버(20)는 동영상파일을 구성하는 오디오에서 식별된 보안정보에 상응하는 오디오의 음색을 포함하는 목소리정보를 취득한다(S1010). 예를 들어, 주민번호와 같은 보안정보를 말하는 목소리의 파형, 주파수 등의 분석을 통해 음색, 톤(tone) 등에 대한 목소리정보를 생성하는 것이다. 보안정보에 해당하는 재생구간의 오디오데이터뿐 아니라, 다른 재생구간(예를 들어, 오디오파일 전체를 활용)의 목소리도 더 분석하여 목소리정보를 생성할 수도 있다.
보안정보에 대응된 오디오(보안오디오라 칭함)를 대체할 비식별오디오를 생성함에 있어, 목소리정보를 활용한다(S1020). 다시 말해, 보안정보를 말하는 목소리와 유사한 목소리로 비식별오디오를 생성하는 것이다. 이해의 편의를 위해 보안오디오가 목소리A로 [770101-1XXXXXX]를 말하는 것이라 가정하면, 비식별오디오로서 목소리A로 [주민번호]라는 소리가 출력되는 오디오데이터가 생성되는 것이다.
그리고, 상술한 예시와 같이, 비식별오디오의 생성에 있어 보안정보에 상응하는 것이 이용될 수 있는데, 예를 들어 보안정보가 주민번호라면 [주민번호], 주소라면 [주소]와 같이 보안정보의 유형에 대한 단어가 선택될 수 있으며, 다른 예를 들면 주민번호이면 번호를 분석하여 [30대 남자], 주소라면 주소를 분석하여 [서울시]와 같이 범주화한 단어가 선택될 수 있다.
이렇게 생성한 비식별오디오를 보안정보에 대응되는 재생구간에 원본 오디오데이터를 대체하여 삽입한다(S1030). 그리고, 비식별오디오의 재생시간은 보안오디오와 최대한 동일한 시간을 갖도록 하는 것이 바람직하다.
본 실시예에 따르면, 보안정보를 대체하는 오디오를 삽입할 때 원본오디오에 상응하는 정보로 대체함으로써, 이질감을 낮추어 청취자의 거부감을 최소화할 수 있다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 원본 오디오파일의 보안정보를 통합한 통합오디오파일 및 관리를 위한 원본관리정보를 도시한 예시도 및 테이블이다.
도 11을 참조하면, 통합오디오파일은 복수개의 오디오파일에서 추출된 보안오디오가 병합된 오디오파일이다.
이에 대한 관리(차후 원본 오디오파일을 생성하기 위해 필요함)를 위한 원본관리정보가 도 12와 같이 함께 관리된다.
따라서, 원본관리정보를 이용하여, 통합오디오파일의 각 재생구간에 해당하는 오디오파일의 보안정보를 추출할 수 있어, 차후 원본 오디오파일의 생성에 해당 구간의 오디오데이터를 추출하여 이용할 수 있다.
본 실시예에서는 동영상 내의 오디오데이터를 위주로 설명하였으나, 동일한 방식으로 보안정보가 표시되는 영상데이터도 하나의 통합동영상파일로서 저장 및 관리될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 동영상저장서버
20 : 서비스 서버
30 : 원본정보DB
32 : 대체동영상DB

Claims (12)

  1. 동영상의 보안정보 비식별화 방법에 있어서,
    대상 동영상파일을 구성하는 각 프레임이미지를 설정된 시간간격으로 하나씩 추출하여 설정된 시간단위로 병합하는 단계;
    상기 시간단위로 생성되는 병합이미지 각각에 대해 보안정보가 존재하는지를 확인하되, 상기 프레임이미지를 시간순으로 확인하여 텍스트가 표시되는 자막표시영역을 확인하고, 상기 자막표시영역을 위주로 상기 병합이미지 내 보안정보의 존재 여부를 확인하는 단계;
    보안정보가 존재하는 병합이미지를 구성하는 각 프레임이미지를 분석하여 보안정보 및 보안정보재생구간을 확인하는 단계;
    상기 보안정보재생구간 내의 확인된 보안정보를 비식별정보로 대체하는 단계; 및
    상기 대상 동영상파일의 원본에 대한 정보를 암호화하여 저장하는 단계를 포함하되,
    상기 동영상의 오디오를 분석하여 오디오보안정보를 식별하고, 상기 오디오보안정보에 상응하는 오디오의 음색을 포함하는 목소리정보를 오디오 분석을 통해 취득하고, 상기 목소리정보에 상응하는 오디오로 상기 오디오보안정보를 대체하는, 동영상 내의 보안정보 비식별화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 보안정보를 비식별정보로 대체하는 단계는,
    상기 보안정보의 등급을 확인하고, 보안정보에 대응된 이미지영역에 대한 전체 삭제, 비식별정보로의 대체, 보안정보 범주화 중 상기 등급에 상응하는 어느 하나의 방식을 이용한 비식별화를 수행하는, 동영상 내의 보안정보 비식별화 방법.
  6. 청구항 1에 있어서,
    상기 대상 동영상파일의 원본을 저장하는 단계는,
    상기 보안정보에 대응된 이미지영역에 대한 부분영상만을 추출하여 저장하여 수행하는, 동영상 내의 보안정보 비식별화 방법.
  7. 청구항 6에 있어서,
    상기 대상 동영상파일에 보안정보가 임계개수 이상 존재하는 경우에는, 동영상파일 원본 전체를 암호화하여 저장하는, 동영상 내의 보안정보 비식별화 방법.
  8. 제 1항, 제 5항 내지 제 7항 중 어느 한 항의 방법을 수행하기 위한 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체.
  9. 대상 동영상파일을 구성하는 각 프레임이미지를 설정된 시간간격으로 하나씩 추출하여 설정된 시간단위로 병합하고, 상기 시간단위로 생성되는 병합이미지 각각에 대해 보안정보가 존재하는지를 확인하고, 보안정보가 존재하는 병합이미지를 구성하는 각 프레임이미지를 분석하여 보안정보 및 보안정보재생구간을 확인하되,
    상기 프레임이미지를 시간순으로 확인하여 텍스트가 표시되는 자막표시영역을 확인하고, 상기 자막표시영역을 위주로 상기 병합이미지 내 보안정보의 존재 여부를 확인하며,
    상기 동영상의 오디오를 분석하여 오디오보안정보를 식별하는 보안정보인식부;
    상기 보안정보재생구간 내의 확인된 보안정보를 비식별정보로 대체하며, 상기 오디오보안정보에 상응하는 오디오의 음색을 포함하는 목소리정보를 오디오 분석을 통해 취득하고, 상기 목소리정보에 상응하는 오디오로 상기 오디오보안정보를 대체하는 비식별화부; 및
    상기 대상 동영상파일의 원본에 대한 정보를 암호화하는 원본정보처리부 포함하는, 동영상 내의 보안정보 비식별화 장치.
  10. 삭제
  11. 삭제
  12. 삭제
KR1020200024086A 2020-02-27 2020-02-27 동영상 내의 보안정보 비식별화 방법 및 장치 KR102129031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200024086A KR102129031B1 (ko) 2020-02-27 2020-02-27 동영상 내의 보안정보 비식별화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200024086A KR102129031B1 (ko) 2020-02-27 2020-02-27 동영상 내의 보안정보 비식별화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102129031B1 true KR102129031B1 (ko) 2020-07-02

Family

ID=71599577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200024086A KR102129031B1 (ko) 2020-02-27 2020-02-27 동영상 내의 보안정보 비식별화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102129031B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420890B1 (ko) 2022-01-11 2022-07-14 장경애 영상에 포함된 객체의 비식별화를 위한 서비스 제공 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100124983A (ko) * 2009-05-20 2010-11-30 인포뱅크 주식회사 유해물 차단 서비스 시스템 및 방법
KR20120035299A (ko) * 2010-10-05 2012-04-16 한국인터넷진흥원 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
KR20130067530A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 영상 보안 전송 장치 및 방법과 그 수신 장치 및 방법
KR20180060390A (ko) * 2016-11-29 2018-06-07 주식회사 파수닷컴 목적에 따라 비식별화된 데이터를 최적화하는 방법 및 장치
KR102067926B1 (ko) 2019-04-10 2020-01-17 주식회사 데이타솔루션 전자문서에 포함된 개인정보 비식별화 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100124983A (ko) * 2009-05-20 2010-11-30 인포뱅크 주식회사 유해물 차단 서비스 시스템 및 방법
KR20120035299A (ko) * 2010-10-05 2012-04-16 한국인터넷진흥원 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
KR20130067530A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 영상 보안 전송 장치 및 방법과 그 수신 장치 및 방법
KR20180060390A (ko) * 2016-11-29 2018-06-07 주식회사 파수닷컴 목적에 따라 비식별화된 데이터를 최적화하는 방법 및 장치
KR102067926B1 (ko) 2019-04-10 2020-01-17 주식회사 데이타솔루션 전자문서에 포함된 개인정보 비식별화 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420890B1 (ko) 2022-01-11 2022-07-14 장경애 영상에 포함된 객체의 비식별화를 위한 서비스 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
EP3803668B1 (en) Obfuscating information related to personally identifiable information (pii)
Haitsma et al. A highly robust audio fingerprinting system with an efficient search strategy
US20190320213A1 (en) Media management based on derived quantitative data of quality
US7974411B2 (en) Method for protecting audio content
US11916913B2 (en) Secure audio transcription
CN105659324A (zh) 协作音频对话证明
KR102129031B1 (ko) 동영상 내의 보안정보 비식별화 방법 및 장치
KR102129030B1 (ko) 전자문서의 보안정보 비식별화 방법 및 장치
EP3881318B1 (en) Contents based on policy permissions
Leonzio et al. Audio splicing detection and localization based on acquisition device traces
US20230350944A1 (en) Digital media authentication
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
KR102198424B1 (ko) 통화 녹음 정보 관리방법, 이를 위한 컴퓨터 프로그램
KR102135022B1 (ko) 오디오 내의 보안정보 비식별화 방법 및 장치
CN107369450A (zh) 收录方法和收录装置
Bailer et al. Challenges for Automatic Detection of Fake News Related to Migration
US7978853B2 (en) System and computer program product for protecting audio content
CN112837690B (zh) 一种音频数据生成方法、音频数据转写方法及其装置
KR102561690B1 (ko) 웹 컨퍼런스 감사 장치 및 방법
US11966500B2 (en) Systems and methods for isolating private information in streamed data
KR102269123B1 (ko) 비대면 녹취록 자동 생성 시스템
US20240054235A1 (en) Systems and methods for encrypting dialogue based data in a data storage system
KR102382956B1 (ko) n-gram을 이용한 공유 콘텐츠 불법 유출 방지 시스템 및 그 방법
US20230222235A1 (en) Method and system for redacting and retrieving data in a video
KR102486563B1 (ko) Nft 기술이 적용된 목소리데이터 관리플랫폼 제공 시스템 및 제공 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant