KR101972918B1 - 영상 마스킹 장치 및 영상 마스킹 방법 - Google Patents
영상 마스킹 장치 및 영상 마스킹 방법 Download PDFInfo
- Publication number
- KR101972918B1 KR101972918B1 KR1020180165833A KR20180165833A KR101972918B1 KR 101972918 B1 KR101972918 B1 KR 101972918B1 KR 1020180165833 A KR1020180165833 A KR 1020180165833A KR 20180165833 A KR20180165833 A KR 20180165833A KR 101972918 B1 KR101972918 B1 KR 101972918B1
- Authority
- KR
- South Korea
- Prior art keywords
- identification information
- masking
- candidate
- feature vector
- candidate object
- Prior art date
Links
- 230000000873 masking effect Effects 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 175
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 출원은 영상 마스킹 장치 및 영상 마스킹 방법에 관한 것으로서, 본 발명의 일 실시예에 의한 영상 마스킹 방법은, 입력받은 대상 동영상을 디코딩(decoding)하여 프레임 단위의 프레임 이미지를 생성하는 단계; 상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하는 단계; 상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출하는 단계; 상기 객체 특징벡터를 이용하여 상기 후보객체들에 대한 식별정보를 설정하는 단계; 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하는 단계; 및 마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는 단계를 포함할 수 있다.
Description
본 출원은 영상 마스킹 장치 및 영상 마스킹 방법에 관한 것으로서, 개인의 사생활 보호를 위해 동영상을 마스킹할 수 있는 영상 마스킹 장치 및 영상 마스킹 방법에 관한 것이다.
최근 인터넷 등 네트워크의 보급과, 일반 사용자들의 사용하는 각종 기기(퍼스널 컴퓨터, 스마트폰, 카메라 등)의 고기능화에 의하여, 개인이 촬영한 동영상 등을 온라인 상에서 공개하거나, 타인과 공유하는 것을 용이하게 수행할 수 있게 되었다. 다만, 네트워크 상에 공유되는 동영상에 많아짐에 따라, 임의의 인물의 얼굴이 촬영된 동영상 등이 무단으로 네트워크 상에서 공개되는 등 개인정보 노출이나 사생활 침해의 문제가 심각해지고 있다. 이러한 문제점을 해결하기 위하여, 종래에는 동영상 내 포함된 인물의 얼굴을 모자이크화 처리하여 개인정보 노출을 방지하는 비식별화 기술 등이 제안된 바 있다.
그러나, 종래의 비식별화 기술은 사용자가 직접 해당 동영상에 대한 비식별화 처리를 수행해야하는 점에서 어려움이 존재하였으며, 특히, 동영상에 포함된 다양한 인물들 중에서 특정 인물만을 비식별화하는 등의 경우에는, 수동으로 전체 동영상에 포함된 모든 인물들에 대하여 확인해야하는 등 어려움이 존재하였다.
한편, 특정 인물에 대한 마스킹을 예외적으로 처리하기 위한 방법으로, 등록번호 10-1215948호의 "신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법"이 제시된 바 있다. 즉, 영상정보로부터 인물의 얼굴 인식이 가능한 경우 얼굴의 미간 및 인중 간의 거리를 검출하고, 이에 기반하여 데이터베이스에 저장된 특정 인물의 얼굴을 식별하여, 해당 인물의 마스킹 처리를 별도로 처리하는 등의 내용이 제시되고 있다.
하지만, 해당 기술의 경우 영상에서 사람을 검출하고, 얼굴을 인식하며, 추적하는데 사용되는 각개의 기술이 모두 독립적으로 이루어지므로, 각 과정을 수행하는데 매우 많은 연산량이 필요하게 된다. 또한, 전체 시스템의 성능이 특정 기술의 성능 하한에 의해 결정되므로, 인물의 검출률 및 인식률이 낮아지는 문제점이 발생하게 된다. 이외에도, 얼굴인식을 위해 사용되는 특징점으로 양미간과 인중 간의 거리를 사용하므로, 실제 시스템에서 얼굴 인식률이 현저하게 떨어지는 등 문제점이 존재한다.
본 출원은, 개인의 사생활 보호 등을 위하여 동영상을 마스킹할 수 있는 영상 마스킹 장치 및 영상 마스킹 방법을 제공하고자 한다.
본 출원은, 동영상에 포함된 객체들을 구별하여 선택적으로 마스킹할 수 있는 할 수 있는 영상 마스킹 장치 및 영상 마스킹 방법을 제공하고자 한다.
본 출원은, 동영상에 포함된 객체들을 추적하여 효율적으로 마스킹할 수 있는영상 마스킹 장치 및 영상 마스킹 방법을 제공하고자 한다.
본 출원은, 동영상에 포함된 객체를 검출, 추적, 인식하는데 있어 검출률 및 인식률이 기존 기술 대비 뛰어난 영상 마스킹 장치 및 영상 마스킹 방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 영상 마스킹 방법은, 입력받은 대상 동영상을 디코딩(decoding)하여 프레임 단위의 프레임 이미지를 생성하는 단계; 상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하는 단계; 상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출하는 단계; 상기 객체 특징벡터를 이용하여 상기 후보객체들에 대한 식별정보를 설정하는 단계; 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하는 단계; 및 마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는 단계를 포함할 수 있다.
여기서 상기 식별정보를 설정하는 단계는, 상기 객체 특징벡터에 대응하는 등록특징벡터를 식별정보 데이터베이스에서 검색하는 단계; 상기 객체 특징벡터에 대응하는 등록특징벡터가 검색되면, 상기 식별정보 데이터베이스에서 상기 등록특징벡터와 매칭된 식별정보를 추출하여, 상기 후보 객체의 식별정보로 설정하는 단계; 및 상기 객체 특징벡터에 대응하는 등록특징벡터가 검색되지 않으면, 상기 후보 객체의 식별정보를 신규생성하고, 상기 객체 특징벡터와 상기 식별정보를 상기 식별정보 데이터베이스에 신규 등록하는 단계를 포함할 수 있다.
여기서 상기 식별정보 데이터베이스에서 검색하는 단계는, 상기 객체 특징벡터가 상기 등록특징벡터와 기 설정된 오차범위 내에서 일치하면, 상기 객체 특징벡터가 상기 등록특징벡터에 대응하는 것으로 판별할 수 있다.
여기서 상기 추적정보를 생성하는 단계는, 상기 연속된 프레임 이미지 내에 포함된 각각의 후보 객체들의 객체 특징벡터의 차이값과, 상기 후보객체들의 위치 및 크기 변화를 이용하여, 동일한 후보 객체를 추적할 수 있다.
여기서 상기 추적정보를 생성하는 단계는, Error = (V1 - V2) + a × (d1-d2) + b × (s1-s2) 여기서, Error는 추적오차값, V1은 제1 프레임 이미지에 포함된 제1 후보객체의 객체 특징 백터, V2는 제2 프레임 이미지에 포함된 제2 후보객체의 객체 특징 백터, d1은 기준점으로부터 제1 후보객체의 중심점까지의 거리, d2는 기준점으로부터 제2 후보객체의 중심점까지의 거리, s1은 제1 후보객체의 면적, s2는 제2 후보객체의 면적, a, b는 가중치이고, 상기 추적오차값이 최소값인 제2 후보객체를 상기 제1 후보객체와 동일한 식별정보를 가지는 후보 객체로 판별할 수 있다.
여기서, 본 발명의 일 실시예에 의한 영상 마스킹 방법은, 동일한 식별정보를 가지는 후보 객체가, 연속하는 프레임 이미지 내에서 일부 누락되면, 상기 후보 객체에 대한 식별정보 설정에 오류가 발생한 것으로 판별하는 오류감지단계를 더 포함할 수 있다.
여기서 상기 추적정보는, 상기 후보 객체의 식별정보, 상기 후보 객체가 등장하는 프레임 정보, 상기 프레임 이미지 내에 포함된 상기 후보 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함할 수 있다.
여기서, 본 발명의 일 실시예에 의한 영상 마스킹 방법은, 상기 추적정보를 이용하여, 상기 후보 객체와 상기 후보 객체별 식별정보를 상기 대상 동영상에 오버레이(overlay)한 객체 추적 영상을 생성하는 단계를 더 포함할 수 있다.
여기서, 본 발명의 일 실시예에 의한 영상 마스킹 방법은, 상기 대상 동영상 내에 포함된 후보 객체들에 대응하는 식별정보를 정렬한 식별정보 리스트, 동일한 식별정보를 가지는 후보 객체들이 상기 대상 동영상 내에 등장하는 등장구간정보 및 상기 후보 객체가 나타난 프레임 이미지를 포함하는 마스킹 선택 인터페이스를 표시하는 단계를 더 포함할 수 있다.
여기서 상기 마스킹 입력은, 사용자로부터 입력받은 식별정보를 이용하여 생성하거나, 기 설정된 선택 알고리즘에 따라 상기 식별정보를 추출하여 생성하는 것 일 수 있다.
여기서 상기 마스킹을 수행하는 단계는, 상기 추적정보를 이용하여 상기 식별정보에 대응하는 후보객체가 등장하는 프레임 이미지들을 추출하고, 상기 추출된 프레임 이미지에서 상기 후보객체의 위치에 대응하는 마스킹 영역을 설정할 수 있다.
여기서 상기 마스킹을 수행하는 단계는, 블러링(blurring), 모자이크 처리 또는 이미지 치환을 이용하여, 상기 마스킹 영역을 마스킹할 수 있다.
여기서 상기 마스킹을 수행하는 단계는, 상기 대상 동영상에 설정된 마스킹 영역에 대한 마스킹 정보와, 상기 대상 동영상을 각각 저장하고, 상기 대상 동영상의 재생시 상기 마스킹 정보를 이용하여 상기 대상 동영상을 마스킹하여 재생할 수 있다.
여기서 상기 마스킹을 수행하는 단계는, 상기 대상 동영상의 재생시 접근권한을 요구하고, 상기 접근권한이 없는 경우에는 상기 대상 동영상을 마스킹하여 재생할 수 있다.
본 발명의 일 실시예에 의하면, 하드웨어와 결합되어 상술한 영상 마스킹 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.
본 발명의 일 실시예에 의한 영상 마스킹 장치는, 입력받은 대상 동영상을 디코딩(decoding)하여 복수의 프레임 단위의 프레임 이미지를 생성하는 프레임 입력부; 상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하며, 상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출하는 특징벡터 추출부; 상기 객체 특징벡터를 이용하여 상기 후보 객체들에 대한 식별정보를 설정하는 식별정보 설정부; 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하는 추적정보 생성부; 및 마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는 마스킹부를 포함할 수 있다.
본 발명의 일 실시예에 의한 영상 마스킹 장치는, 프로세서; 및 상기 프로세서에 커플링된 메모리를 포함하는 것으로서, 상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고, 상기 하나 이상의 모듈은, 입력받은 대상 동영상을 디코딩(decoding)하여 프레임 단위의 프레임 이미지를 생성하고, 상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하며, 상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출한 후, 상기 객체 특징벡터를 이용하여 상기 후보객체들에 대한 식별정보를 설정하고, 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하며, 마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는, 명령어를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 영상 마스킹 장치 및 영상 마스킹 방법에 의하면, 동영상에 포함된 각각의 객체들을 구별할 수 있으므로, 사용자가 선택한 객체를 선택적으로 마스킹하여 비식별화할 수 있다. 즉, 동영상에 포함된 객체들을 일괄적으로 비식별화하는 것이 아니라, 선택된 특정 객체에 대하여 선별적으로 비식별화할 수 있으므로, 사용자 편의성을 높일 수 있다.
본 발명의 일 실시예에 의한 영상 마스킹 장치 및 영상 마스킹 방법에 의하면, 동영상 내 포함된 각각의 객체들의 위치를 추적할 수 있으므로, 사용자에 의해 선택된 특정 객체를 동영상 전체에 용이하게 추출하여 마스킹할 수 있다.
본 발명의 일 실시예에 의한 영상 마스킹 장치 및 영상 마스킹 방법에 의하면, 하나의 프레임 특징벡터로부터 후보 객체의 검출, 추적 및 인식을 수행할 수 있으므로 효율적이며, 각각의 검출, 추적 및 인식을 기계학습 알고리즘 등을 이용하여 동시에 수행하도록 학습시킬 수 있으므로 성능 및 연산속도를 현저히 향상시킬 수 있다.
본 발명의 일 실시예에 의한 영상 마스킹 장치 및 영상 마스킹 방법에 의하면, 접근권한이 없는 불특정 인물이 동영상을 열람할 때에는 마스킹된 동영상을 제공함으로써, 개인정보 노출 및 사생활 침해 등을 방지할 수 있다.
다만, 본 발명의 실시예들에 따른 영상 마스킹 장치 및 영상 마스킹 방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 영상 마스킹 시스템을 나타내는 개략도이다.
도2 및 도3은 본 발명의 일 실시예에 의한 영상 마스킹 장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 후보 객체 추출 및 식별정보 설정을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 마스킹 선택 인터페이스를 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 영상 마스킹 방법을 나타내는 순서도이다.
도2 및 도3은 본 발명의 일 실시예에 의한 영상 마스킹 장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 후보 객체 추출 및 식별정보 설정을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 마스킹 선택 인터페이스를 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 영상 마스킹 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도1은 본 발명의 일 실시예에 의한 영상 마스킹 시스템을 나타내는 개략도이다.
도1을 참조하면, 본 발명의 일 실시예에 의한 영상 마스킹 시스템은 영상촬영장치(1) 및 영상마스킹장치(100)를 포함할 수 있다.
이하 도1을 참조하여, 본 발명의 일 실시예에 의한 영상 마스킹 시스템을 설명한다.
영상촬영장치(1)는 주변 환경을 촬영하여 동영상을 생성할 수 있다. 여기서, 영상촬영장치(1)는 비디오 카메라, 캠코더 등 동영상을 촬영할 수 있는 장치이면 어떠한 것도 해당할 수 있다. 영상촬영장치(1)는 촬영한 동영상을 실시간으로 스트리밍하거나 파일로 저장할 수 있으며, 영상촬영장치(1)는 촬영한 동영상을 전송하기 위하여 유선 또는 무선 통신을 제공할 수 있다.
영상마스킹장치(100)는 마스킹(masking)을 수행할 대상 동영상을 수신할 수 있으며, 수신한 대상 동영상 내에 포함된 객체들에 대한 마스킹을 수행할 수 있다. 여기서, 영상마스킹장치(100)는 영상촬영장치(1)가 촬영한 대상 동영상을 파일이나 데이터 형식으로 입력받을 수 있으며, 실시예에 따라서는 영상촬영장치(1)로부터 실시간으로 대상 동영상을 스트리밍받는 것도 가능하다.
도1에서는 영상 마스킹 장치(100)가 영상 촬영 장치(1)와 별도로 구비된 것으로 도시하였으나, 실시예에 따라서는, 영상 마스킹 장치(100)가 CCTV나 차량용 블랙박스, 카메라 등 영상처리장치(1) 내에 내장되거나, 별도의 컴퓨터나 스마트폰 등에 구비되는 것도 가능하다.
한편, 영상마스킹 장치(100)는 대상 동영상 내에 포함된 객체들을 구별할 수 있으며, 구별된 객체들에 대한 마스킹(masking)을 수행할 수 있다. 즉, 개인정보 노출이나 사생활 침해 등의 방지를 위하여, 동영상 내 포함된 일부 객체들을 마스킹하여 비식별화처리할 수 있다. 예를들어, CCTV나 차량용 블랙박스 등의 영상촬영장치(1)의 경우, 설정된 촬영영역을 무작위로 녹화하므로, 타인의 얼굴이나 신체부위, 차량번호판 등이 촬영될 수 있다. 여기서, 동영상이 인터넷 등을 통하여 공개되는 경우, 타인의 얼굴 등 개인정보가 노출되어 사생활 침해 등의 문제가 발생할 수 있다. 따라서, 이러한 문제점 등을 방지하기 위하여, 대상 동영상 내 포함된 타인의 얼굴이나 차량 번호판 등을 마스킹하여 식별할 수 없도록 처리할 필요가 있다.
종래에는 대상 동영상에 대해 사용자가 직접 마스킹을 수행해야하는 점에서 어려움이 존재하였으며, 자동 마스킹을 제공하는 경우에도, 동영상에 포함된 전체 객체들에 대하여 일괄적으로 마스킹을 수행하는 것이 일반적이었다. 따라서, 동영상에 포함된 다양한 인물들 중에서 특정 인물만을 마스킹하거나, 특정인물만을 제외하고 마스킹해야하는 등의 경우에는, 수동으로 전체 동영상에 포함된 모든 인물들에 대하여 특정 인물에 해당하는지를 확인하고, 마스킹을 수행해야하는 등 어려움이 존재하였다.
반면에, 본 발명의 일 실시예에 의한 영상 마스킹 장치(100)에 의하면, 동영상에 나타난 각각의 객체들을 식별할 수 있으며, 동영상 내 포함된 객체들 중에서 선택된 객체들만을 추적하여 자동으로 마스킹을 수행하는 것이 가능하다.
이하 본 발명의 일 실시예에 의한 영상 마스킹 장치에 대하여 설명한다.
도2는 본 발명의 일 실시예에 의한 영상 마스킹 장치를 나타내는 블록도이다.
도2를 참조하면, 본 발명의 일 실시예에 의한 영상 마스킹 장치(100)는 프레임 입력부(110), 특징벡터 추출부(120), 식별정보 설정부(130), 추적정보 생성부(140), 오류감지부(150), 마스킹부(160), 객체추적 영상생성부(170) 및 마스킹 선택 인터페이스 표시부(180)를 포함할 수 있다.
프레임 입력부(110)는 입력받은 대상 동영상을 디코딩(decoding)하여 프레임 단위의 이미지를 생성할 수 있다. 구체적으로, 프레임 입력부(110)는 영상촬영장치(1)로부터 MPEC(Moving Picture Experts Group) 방식으로 인코딩된 대상 동영상을 입력받을 수 있으며, 이후 압축된 MPEC 파일 형태의 대상 동영상을 디코딩하고, 대상 동영상의 프레임을 각각 캡쳐하여 프레임 이미지를 생성할 수 있다. 여기서, 대상 동영상은 N개의 프레임 이미지를 포함할 수 있으며, 각각의 프레임 이미지에 대하여 1부터 N까지 프레임 번호를 부여할 수 있다. 여기서, N은 자연수에 해당한다.
특징벡터 추출부(120)는 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출할 수 있다. 특징벡터 추출부(120)에서 생성한 프레임 특징벡터는, 이후 프레임 이미지 내에 포함된 후보 객체들을 검출하거나, 각각의 후보 객체를 구별하여 인식하는데 활용될 수 있으며, 연속되는 프레임 이미지 내에서 포함된 후보 객체를 추적하는 데에도 활용될 수 있다.
먼저, 특징벡터 추출부(120)는 프레임 이미지에 포함된 각각의 픽셀(pixel)들의 위치정보, 픽셀값 정보 등 프레임 이미지의 픽셀정보를 이용하여, 프레임 특징벡터를 생성할 수 있다. 여기서, 각각의 프레임 이미지에 대응하는 픽셀정보를 이용하여 프레임 특징벡터를 추출하기 위하여, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등 기계학습 알고리즘을 이용하거나, HOG(Histogram of Oriented Gradient), LBP(Local Binary Pattern) 등의 영상의 통계적 특성을 추출하는 방법 등을 활용할 수 있다. 이외에도 다양한 방식으로 프레임 특징벡터를 생성할 수 있으며, 본 발명의 내용이 상술한 방법 등에 의하여 제한되는 것은 아니다.
이후, 특징벡터 추출부(120)는 생성한 프레임 특징벡터를 이용하여, 각각의 프레임 이미지에 포함된 후보 객체들을 검출할 수 있다. 여기서, 후보 객체는 마스킹의 대상이 될 수 있는 객체로, 후보객체는 실시예에 따라 상이하게 설정할 수 있다. 예를들어, CCTV(Closed Circuit Television)는 촬영영역을 지나가는 사람이나 동물, 차량을 비롯하여 공원벤치, 운동기구 등 다양한 종류의 객체를 촬영할 수 있다. 그러나, 개인정보보호 등과 관련하여, 마스킹이 필요한 객체는 사람이나 차량 번호판 등일 수 있으므로, 특징벡터 추출부(120)는 CCTV로 촬영한 대상 영상 중에서, 사람이나 차량 번호판 등을 추출하여 후보 객체로 설정할 수 있다.
여기서, 추출하고자 하는 후보 객체들의 형상이나 휘도 등의 특징은, 기계학습 알고리즘을 이용하여 미리 학습해 둘 수 있으며, 특징벡터 추출부(120)는 이를 활용하여 각각의 프레임 이미지로부터 후보 객체에 해당하는 영역을 검출할 수 있다. 예를들어, 다양한 사람들의 형상을 반복하여 학습하여, 프레임 이미지 내에 포함된 사람의 형상을 후보 객체로 추출하도록 할 수 있으며, 이때, 기계학습 알고리즘으로 CNN, RNN, PCA(Principal Component Analysis), Logistic Regression, Decision Tree 등을 활용할 수 있다.
한편, 특징벡터 추출부(120)는 추출한 후보 객체를 프레임 이미지 상에 경계 박스(bounding box) 또는 분할 마스크(segmentation mask) 등으로 특정하여 표시할 수 있다. 여기서, 경계 박스는 도4(a)에 도시한 바와 같이, 후보 객체인 보행자의 주위에 직사각형으로 표시되는 것일 수 있으며, 사용자는 경계 박스를 통하여 후보 객체들을 용이하게 구별할 수 있다. 실시예에 따라서는, 경계박스의 좌측 상단 꼭지점의 위치좌표(x,y)와, 경계박스의 너비와 높이(w,h)를 나타내는 4개의 숫자(x,y,w,h)를 이용하여, 각각의 경계박스들을 특정할 수 있다.
또한, 분할 마스크를 이용하는 경우에는, 프레임 이미지 중에서 후보객체에 해당하는 포어그라운드(foreground)를, 나머지 배경이 되는 백그라운드(background)와 픽셀단위로 분리하여 표시할 수 있다. 즉, 도4(b)에 도시한 바와 같이, 백그라운드에 해당하는 픽셀들의 픽셀값은 0으로 설정하고, 포어그라운드에 해당하는 후보 객체의 픽셀값은 1로 설정하는 방식으로 나타낼 수 있다.
후보객체를 검출한 이후에는, 특징벡터 추출부(120)가 후보객체에 대응하는 객체 특징벡터를 생성할 수 있다. 특징벡터 추출부(120)는 프레임 특징벡터 중에서 후보객체에 대응하는 영역을 특정할 수 있으며, 상기 특정된 영역에 해당하는 특징벡터 값을 추출하여 객체 특징벡터로 설정할 수 있다.
여기서, 객체 특징벡터는 각각의 후보 객체마다 상이하게 설정되므로, 객체 특징벡터를 이용하여 후보 객체들을 구별할 수 있다. 예를들어, 동일한 후보 객체 A가 복수의 프레임 이미지 상에 연속적으로 나타나는 경우, 동일한 후보 객체 A의 객체 특징벡터는 각각의 프레임 이미지 상에서 동일하거나 매우 유사하게 설정될 수 있다. 반면에, 상이한 후보 객체들의 경우, 객체 특징벡터가 적어도 설정값 이상의 오차값을 가지게 된다. 따라서, 객체 특징벡터가 동일한 후보 객체는 서로 동일한 객체에 해당하는 것으로 판단할 수 있으며, 객체 특징벡터가 상이한 후보 객체들은 서로 상이한 객체에 해당하는 것으로 판단할 수 있다.
한편, 후보객체의 크기는, 후보객체의 위치나 이동방향 등에 따라, 매 프레임 이미지마다 변화할 수 있으며, 그에 따라 객체 특징벡터의 크기도 각각의 프레임 이미지마다 상이하게 설정될 수 있다. 따라서, 특징벡터추출부(120)는 보간법(interpolation)을 이용하여 각각의 객체 특징벡터의 크기를 미리 정해진 크기로 일정하게 변형시킬 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 의한 특징벡터 추출부(120)는, 프레임 특징벡터를 이용하여, 후보 객체 검출 및 후보 객체의 객체 특징벡터 생성 등을 수행할 수 있다. 즉, 한번 추출한 프레임 특징벡터를 활용하여 후보 객체 검출과 객체 특징벡터 생성을 수행할 수 있으므로, 효율적인 연산이 가능하며, 연산속도를 향상시킬 수 있다.
식별정보 설정부(130)는 객체 특징벡터를 이용하여 후보 객체들에 대한 식별정보를 설정할 수 있다. 즉, 식별정보 설정부(130)는 후보 객체들의 객체 특징벡터를 이용하여 각각의 후보 객체들을 구별할 수 있으며, 구별된 각각의 후보 객체들에 대하여 식별정보를 부여하여 표시할 수 있다. 예를들어, 도4(a)에는 복수의 후보 객체들이 포함되어 있으며, 각각의 후보 객체들은 서로 상이한 객체에 해당한다. 따라서, 식별정보 설정부(130)는 각각의 후보 객체들을 구별하고, 구별된 후보객체에 대하여 식별정보로 "ID"를 각각 "138", "147", "128", "153"으로 설정할 수 있다. 이때, 식별정보 설정부(130)는 식별정보 데이터베이스(database)를 이용하여, 각각의 후보 객체들에 대한 식별정보를 설정할 수 있다.
구체적으로, 식별정보 설정부(130)는 각 프레임 이미지에서 추출한 후보 객체들의 객체 특징벡터에 대응하는 등록특징벡터를 식별정보 데이터베이스(d)에서 검색할 수 있다. 여기서, 식별정보 데이터베이스(d)에는 등록특징벡터와, 각각의 등록특징벡터에 대응하는 식별정보가 매칭되어 저장되어 있을 수 있다. 따라서, 식별정보 설정부(130)는 식별정보 데이터베이스(d)에서 해당 후보 객체의 객체 특징벡터에 대응하는 식별정보들을 검색할 수 있다.
여기서, 객체 특징벡터에 대응하는 등록특징벡터가 검색되는 경우에는, 식별정보 데이터베이스(d)에서 등록특징벡터와 매칭된 식별정보를 추출하여, 해당 후보 객체의 식별정보로 설정할 수 있다. 반면에, 객체 특징벡터에 대응하는 등록특징벡터가 검색되지 않는 경우가 있을 수 있으며, 이 경우는 해당 객체 특징벡터가 대상 동영상 내에서 최초로 등장한 경우에 해당한다. 따라서, 식별정보 설정부(130)는 객체 특징벡터에 대응하는 식별정보를 신규생성할 수 있으며, 식별정보 데이터베이스(d)에 신규생성한 식별정보와 객체 특징벡터를 등록하여, 식별정보 데이터베이스(d)를 업데이트할 수 있다.
여기서, 식별정보 설정부(130)는 객체 특징벡터가 등록특징벡터와 기 설정된 오차범위 내에서 일치하면, 객체 특징벡터가 등록특징벡터에 대응하는 것으로 판별할 수 있다. 즉, 동일한 후보 객체의 경우에도, 각각의 프레임 이미지마다 객체 특징벡터가 일부 오차를 포함할 수 있으므로, 오차범위를 고려하여 동일성을 판단하도록 할 수 있다.
식별정보 설정부(130)는 식별정보 데이터베이스(d)를 참조하여 각각의 후보 객체들의 식별정보를 설정하므로, 대상 동영상 내에 포함된 후보 객체 중에서 객체 특징벡터가 동일한 후보객체들은 모두 동일한 식별정보를 가지도록 설정할 수 있다. 예를들어, 객체 특징벡터 A를 가지는 후보 객체가 3-10번 프레임 이미지에 등장한 후, 다시 20-26번 프레임 이미지에 등장하는 경우, 해당 후보 객체는 3-10번 프레임 이미지와 20-26번 프레임 이미지에서 동일하게 식별정보 b을 가지도록 설정될 수 있다.
추가적으로, 식별정보 데이터베이스(d)는 각각의 대상 동영상별로 구비될 수 있으나, 실시예에 따라서는 영상 마스킹 장치(100)가 수신하는 전체 대상 동영상들에 대하여 하나의 식별정보 데이터베이스(d)를 구비하는 것도 가능하다. 이 경우, 새롭게 제공받은 대상 동영상에 포함된 객체 특징벡터가 이전의 대상 동영상에 포함된 객체 특징벡터와 동일하면, 이전의 동영상에서 설정한 식별정보와 동일한 식별정보로 설정할 수 있다. 즉, 서로 다른 대상 동영상에 대하여도 동일한 후보객체에 대하여는 동일한 식별정보를 설정할 수 있다.
추적정보 생성부(140)는 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 후보 객체들에 대한 추적정보를 생성할 수 있다. 즉, 각각의 프레임 이미지에서 추출된 후보 객체의 위치정보와 식별정보들을 결합하여 추적정보를 생성할 수 있으며, 추적정보를 이용하여 연속된 프레임 이미지에서 자연스럽게 이어지는 후보 객체의 위치변화 등을 추적할 수 있다. 여기서, 추적정보에는 후보 객체의 식별정보, 후보 객체가 등장하는 프레임 번호 등 프레임 정보, 프레임 이미지 내에 포함된 후보 객체의 위치정보 및 크기 정보 등을 포함할 수 있다. 또한, 실시예에 따라서는, 후보 객체의 포즈(pose)나, 얼굴 특징점, 의상 특징점 등에 대한 정보 등을 추적정보에 더 포함하는 것도 가능하다. 하나의 대상 동영상에는 복수의 추적정보들이 포함될 수 있으며, 각각의 추적정보는 후보객체의 식별정보별로 생성될 수 있다.
실시예에 따라서는, 추적정보 생성부(140)가 연속된 프레임 이미지 내에 포함된 각각의 후보 객체들의 객체 특징벡터의 차이값과, 후보객체들의 위치 및 크기 변화를 이용하여, 동일한 후보 객체를 추적하도록 하는 것도 가능하다. 예를들어, 제1 프레임 이미지에 포함된 제1 후보 객체를 추적하고자 하는 경우, 제1 프레임 이미지와 연속하는 제2 프레임 이미지에 포함된 복수의 후보 객체들에 대해, 제1 후보 객체와의 추적오차값을 연산할 수 있다. 이후, 추적오차값이 최소인 후보 객체를 제1 후보 객체와 동일한 후보 객체로 판별할 수 있다.
구체적으로, 추적오차값은 Error = (V1 - V2) + a × (d1-d2) + b × (s1-s2)를 이용하여 연산할 수 있다. 여기서, Error는 추적오차값, V1은 제1 프레임 이미지에 포함된 제1 후보객체의 객체 특징 백터, V2는 제2 프레임 이미지에 포함된 제2 후보객체의 객체 특징 백터, d1은 기준점으로부터 제1 후보객체의 중심점까지의 거리, d2는 기준점으로부터 제2 후보객체의 중심점까지의 거리, s1은 제1 후보객체의 면적, s2는 제2 후보객체의 면적, a, b는 가중치로 임의의 상수에 해당한다.
일반적으로, 연속하는 프레임 이미지 사이의 시간차는 매우 짧으므로, 동일한 후보 객체가 연속하는 프레임 이미지 사이에서 많은 거리를 이동하거나 면적이 급격히 증감하기는 어렵다. 따라서, 객체 특징 벡터 사이의 차이값이 작고, 거리와 면적의 변화가 작을수록 동일한 후보 객체에 해당할 가능성이 높다. 따라서, 상술한 추적오차값을 이용하여, 연속된 프레임 이미지 내에서 후보객체를 추적할 수 있다. 또한, 실시예에 따라서는, V1-V2가 설정된 한계오차 이상이면, 추적오차값을 계산하지 않고 해당 제2 후보 객체를 상이한 후보 객체로 판별하도록 할 수 있다. 즉, 객체 특징벡터가 설정된 오차 범위를 벗어나는 경우에 해당하므로, 해당 제2 후보 객체를 제1 후보 객체와 상이한 것으로 판별할 수 있다.
오류감지부(150)는 후보 객체에 대한 식별정보 설정오류를 감지할 수 있다. 예를들어, 동일한 식별정보를 가지는 후보 객체가, 연속하는 프레임 이미지 내에서 일부 누락되는 경우, 오류감지부(150)는 후보 객체에 대한 식별정보 설정에 오류가 발생한 것으로 판별할 수 있다.
일반적으로 대상 동영상의 프레임 이미지는 매우 짧은 시간 간격으로 촬영되므로, 인접하는 프레임 이미지에 동시에 존재하고, 각 프레임 이미지에서의 위치가 서로 근접한 후보객체들은 서로 동일한 식별정보를 가질 것으로 예상할 수 있다. 따라서, 기존에 존재했던 후보 객체가 인접하는 프레임 이미지 내에서 갑자기 사라지는 등의 경우에는, 실제로 후보 객체가 이동한 것이 아니라 후보 객체에 대한 식별정보 설정 등에 오류가 발생한 것으로 볼 수 있다.
예를들어, t-1 시점에서의 제1 프레임 이미지, t 시점에서의 제2 프레임 이미지, t+1 시점에서의 제3 프레임 이미지가 존재하고, 제1 프레임 이미지와 제3 프레임 이미지의 (x1, y1) 위치에 {id=0}인 후보 객체가 존재하는 경우가 있을 수 있다. 이때, 만약 제2 프레임 이미지의 (x1, y1)에 {id=0}인 후보 객체가 존재하지 않거나, 갑자기 {id=1}인 객체가 (x1, y1)에 위치하는 등의 경우에는, 식별정보 설정 등에 오류가 발생한 것으로 판별할 수 있다. 따라서, 오류감지부(150)는 오류발생을 표시하여 사용자 등에게 알릴 수 있다.
마스킹부(160)는 마스킹 입력을 수신하면, 추적정보를 이용하여 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 추출한 후보 객체들에 대한 마스킹을 수행할 수 있다. 즉, 마스킹부(160)는 선택된 후보 객체들에 대하여, 선별적으로 마스킹을 수행할 수 있으며, 이때 마스킹을 수행할 후보 객체들은 식별정보를 이용하여 특정할 수 있다.
여기서, 마스킹 입력은 사용자로부터 입력받은 식별정보를 이용하여 생성하거나, 미리 설정된 선택 알고리즘 등에 따라 추출한 식별정보를 이용하여 생성할 수 있다. 예를들어, 영상마스킹장치(100)는 사용자에게 별도의 마스킹 선택 인터페이스 등을 제공할 수 있으며, 사용자는 마스킹 선택 인터페이스를 이용하여 마스킹할 후보 객체에 대응하는 식별정보를 선택할 수 있다. 이 경우, 마스킹부(160)는 마스킹 선택 인터페이스를 통하여 마스킹 입력을 수신할 수 있으며, 수신한 마스킹 입력에 대응하는 후보객체들을 마스킹할 수 있다.
또한, 영상마스킹장치(100)에 설정된 별도의 선택 알고리즘 등을 이용하여 마스킹을 수행할 후보 객체들을 자동으로 추출하는 실시예의 경우, 대상 동영상 내의 특정 구간에 포함되는 전체 후보 객체에 대해 모두 마스킹하도록 식별정보들을 추출하거나, 대상 동영상 내에 포함된 특정의 후보 객체에 해당하는 식별정보를 추출하여 마스킹하도록 설정할 수 있다. 예를들어, 선택 알고리즘을 이용하여, 대상 동영상 내에 포함된 후보 객체들 중에서 특정 성별이나 연령대에 해당하는 식별정보를 추출할 수 있다.
한편, 마스킹부(160)는 추적정보를 이용하여, 선택된 식별정보에 대응하는 후보객체가 등장하는 프레임 이미지들을 추출할 수 있으며, 추출한 프레임 이미지에서 나타난 후보객체의 위치에 대응하여 마스킹 영역을 설정할 수 있다. 이후, 설정된 마스킹 영역을 마스킹하여 사용자들이 식별할 수 없도록 비식별화할 수 있다. 여기서, 마스킹 영역은 후보객체 중에서 얼굴에 해당하는 영역 등으로 한정하여 설정할 수 있다.
이때, 마스킹부(160)는 마스킹 영역을 블러링(blurring)하거나 모자이크(Mosaic) 처리하는 등의 방식으로 마스킹할 수 있다. 여기서, 블러링은 저역통과필터를 이용하여 구현할 수 있으며, 실시예에 따라서는 마스킹 영역을 단색이나 특정 패턴, 별도의 이미지나 애니메이션, 캐릭터 등으로 덮는 이미지 치환을 이용하여, 마스킹하는 것도 가능하다.
추가적으로, 마스킹부(160)는 마스킹이 합성된 영상을 인코딩할 수 있으며, 영상출력부(미도시) 등을 통하여 마스킹된 영상이 출력되도록 할 수 있다. 한편, 실시예에 따라서는, 마스킹부(160)가 대상 동영상에 설정된 마스킹 영역에 대한 마스킹 정보와, 대상 동영상을 각각 별도로 저장하는 것도 가능하다. 즉, 대상 동영상의 원본파일을 별도로 저장한 후, 대상 동영상의 재생시 마스킹 정보를 이용하여 대상 동영상을 마스킹하도록 할 수 있다.
또한, 실시예에 따라서는, 대상 동영상의 원본파일을 재생하고자 하는 경우 원본파일에 대한 접근권한을 요구할 수 있으며, 접근권한이 없는 경우에는 대상 동영상에 대한 마스킹을 적용하여 제공하도록 할 수 있다. 여기서, 접근권한은 비밀번호나 지문인식, 홍채 인식 등 다양한 종류의 인증을 통하여 접근권한을 확인하도록 할 수 있다.
추가적으로, 본 발명의 일 실시예에 의한 영상마스킹장치(100)는, 사용자가 마스킹할 후보 객체들을 선택하도록 할 수 있으며, 이 경우 사용자의 선택의 편의성을 높이기 위한 구성들을 더 포함할 수 있다.
구체적으로, 객체 추적 영상 생성부(170)는, 추적정보를 이용하여 후보 객체와 후보 객체별 식별정보를 대상 동영상에 오버레이(overlay)하여, 객체 추적영상을 생성할 수 있다. 즉, 도4(a)에 도시한 바와 같이, 후보 객체를 나타내는 경계 박스와 식별정보를 대상 동영상과 함께 표시하는 방식으로, 객체 추적영상을 생성할 수 있다.
이 경우, 사용자는 객체 추적영상을 확인하여, 추적 중인 후보 객체와 각각의 후보 객체들의 식별정보를 확인할 수 있다. 따라서, 사용자는 객체 추적영상을 참조하여, 복수의 후보 객체들 중에서 마스킹 처리를 수행할 대상 등을 선정할 수 있다.
또한, 마스킹 선택 인터페이스 표시부(160)는 사용자가 마스킹할 후보 객체들을 선택할 수 있도록 마스킹 선택 인터페이스를 제공할 수 있다. 구체적으로, 마스킹 선택 인터페이스는, 도5에 도시한 바와 같이 구현할 수 있다. 즉, 마스킹 선택 인터페이스에는 대상 동영상 내에 포함된 후보 객체들에 대응하는 식별정보를 정렬한 식별정보 리스트가 표시될 수 있으며, 동일한 식별정보를 가지는 후보 객체들이 대상 동영상 내에 등장하는 등장구간정보와 등장한 프레임 이미지의 개수 등이 표시될 수 있다. 또한, 사용자가 각각의 식별정보에 대응하는 후보 객체들을 확인할 수 있도록, 후보 객체가 나타난 프레임 이미지 등을 더 포함할 수 있다.
따라서, 사용자는 마스킹 선택 인터페이스를 통하여 대상 동영상 내에서 마스킹하고자 하는 후보 객체들을 선택할 수 있으며, 식별정보 리스트 옆에 표시된 체크박스에 체크하는 등의 방식으로, 마스킹하고자 하는 후보 객체들을 선택할 수 있다. 즉, 대상 동영상 내에 포함된 전체 객체들에 대하여 일괄적으로 마스킹을 수행하는 것이 아니라, 마스킹을 수행할 후보 객체들을 사용자가 선택적으로 설정하는 것이 가능하다.
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 영상 마스킹 장치(100)는, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함할 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 프레임 입력모듈, 특징벡터추출모듈, 식별정보 설정모듈, 추적정보 생성모듈, 오류감지 모듈, 마스킹 모듈, 객체추적영상 생성모듈 및 마스킹 선택 인터페이스 표시 모듈 등이 포함될 수 있다.
프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 영상 마스킹 장치(100)의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어기(20)는 프로세서(10)나 영상 마스킹 장치(100)의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어기(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다.
메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다.
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 영상 마스킹 장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 프레임 입력모듈, 특징벡터추출모듈, 식별정보 설정모듈, 추적정보 생성모듈, 오류감지 모듈, 마스킹 모듈, 객체추적영상 생성모듈 및 마스킹 선택 인터페이스 표시 모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다.
따라서, 본 발명의 일 실시예에 의한 영상 마스킹 장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 프레임 입력모듈, 특징벡터추출모듈, 식별정보 설정모듈, 추적정보 생성모듈, 오류감지 모듈, 마스킹 모듈, 객체추적영상 생성모듈 및 마스킹 선택 인터페이스 표시 모듈은 상술한 프레임 입력부, 특징벡터추출부, 식별정보 설정부, 추적정보 생성부, 오류감지부, 마스킹부, 객체추적영상생성부 및 마스킹 선택 인터페이스 표시부에 각각 대응하므로 여기서는 자세한 설명을 생략한다.
도6은 본 발명의 일 실시예에 의한 영상 마스킹 방법을 나타내는 순서도이다.
도6을 참조하면 본 발명의 일 실시예에 의한 영상 마스킹 방법은, 프레임 입력단계(S10), 후보객체검출단계(S20), 객체 특징벡터 추출단계(S30), 식별정보 설정단계(S40), 추적정보 생성단계(S50) 및 마스킹단계(S60)를 포함할 수 있다. 여기서, 각각의 단계들은 본 발명의 일 실시예에 의한 영상 마스킹 장치에 의하여 수행될 수 있다.
이하 도6을 참조하여 본 발명의 일 실시예에 의한 영상 마스킹 방법을 설명한다.
프레임 입력단계(S10)에서는, 입력받은 대상 동영상을 디코딩(decoding)하여 프레임 단위의 프레임 이미지를 생성할 수 있다. 구체적으로, 영상 마스킹 장치는 영상촬영장치로부터 MPEC 인코딩된 대상 동영상을 입력받을 수 있으며, 이 경우 압축된 MPEC 파일 형태의 대상 동영상을 디코딩한 후, 대상 동영상의 프레임을 각각 캡쳐하여 프레임 이미지를 생성할 수 있다.
후보객체검출단계(S20)에서는, 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 프레임 특징벡터로부터 후보 객체를 검출할 수 있다. 여기서, 영상마스킹 장치는 프레임 이미지에 포함된 각각의 픽셀들의 위치정보, 픽셀값 정보 등 프레임 이미지의 픽셀정보를 이용하여, 프레임 특징벡터를 생성할 수 있으며, 실시예에 따라서는, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등 기계학습 알고리즘이나, HOG(Histogram of Oriented Gradient), LBP(Local Binary Pattern) 등의 영상의 통계적 특성을 추출하는 방법 등을 활용할 수 있다.
이후, 영상 마스킹 장치는 생성한 프레임 특징벡터를 이용하여 각각의 프레임 이미지에 포함된 후보 객체들을 검출할 수 있다. 여기서, 후보 객체는 마스킹의 대상이 될 수 있는 객체로, 후보 객체들의 형상이나 휘도 등의 특징은, 미리 기계학습 알고리즘을 이용하여 학습해 둘 수 있다. 즉, CNN, RNN, PCA(Principal Component Analysis), Logistic Regression, Decision Tree 등의 기계학습 알고리즘을 이용하여 학습할 수 있으며, 이를 활용하여 각각의 프레임 이미지로부터 후보 객체에 해당하는 영역을 검출할 수 있다. 이때, 추출한 후보 객체들은 프레임 이미지 상에 경계 박스(bounding box) 또는 분할 마스크(segmentation mask) 등으로 특정하여 표시할 수 있다.
객체 특징벡터 추출단계(S30)에서는, 검출된 후보 객체들의 위치정보를 이용하여, 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출할 수 있다. 즉, 프레임 특징벡터 중에서 후보객체에 대응하는 영역을 특정할 수 있으며, 상기 특정된 영역에 해당하는 특징벡터 값을 추출하여 객체 특징벡터로 설정할 수 있다. 여기서, 객체 특징벡터는 각각의 후보 객체마다 상이하게 설정되므로, 객체 특징벡터를 이용하여 후보 객체들을 구별할 수 있다.
한편, 후보객체의 크기는, 후보객체의 위치나 이동방향 등에 따라, 매 프레임 이미지마다 변화할 수 있으며, 그에 따라 객체 특징벡터의 크기도 각각의 프레임 이미지마다 상이하게 설정될 수 있다. 따라서, 보간법(interpolation)을 이용하여 각각의 객체 특징벡터의 크기를 미리 정해진 크기로 일정하게 변형시킬 수 있다.
식별정보 설정단계(S40)에서는, 객체 특징벡터를 이용하여 후보 객체들에 대한 식별정보를 설정할 수 있다. 즉, 후보 객체들의 객체 특징벡터를 이용하여 각각의 후보 객체들을 구별할 수 있으며, 구별된 각각의 후보 객체들에 대하여 식별정보를 부여하여 표시할 수 있다. 이때, 식별정보 데이터베이스(database)를 이용하여, 각각의 후보 객체들에 대한 식별정보를 설정할 수 있다.
구체적으로, 각 프레임 이미지에서 추출한 후보 객체들의 객체 특징벡터에 대응하는 등록특징벡터를 식별정보 데이터베이스에서 검색할 수 있다. 여기서, 식별정보 데이터베이스에는 등록특징벡터와, 각각의 등록특징벡터에 대응하는 식별정보가 매칭되어 저장되어 있을 수 있다. 따라서, 식별정보 데이터베이스에서 해당 후보 객체의 객체 특징벡터에 대응하는 식별정보들을 검색할 수 있다.
여기서, 객체 특징벡터에 대응하는 등록특징벡터가 검색되는 경우에는, 식별정보 데이터베이스에서 등록특징벡터와 매칭된 식별정보를 추출하여, 해당 후보 객체의 식별정보로 설정할 수 있다. 반면에, 객체 특징벡터에 대응하는 등록특징벡터가 검색되지 않는 경우가 있을 수 있으며, 이 경우는 해당 객체 특징벡터가 대상 동영상 내에서 최초로 등장한 경우에 해당한다. 따라서, 객체 특징벡터에 대응하는 식별정보를 신규생성할 수 있으며, 식별정보 데이터베이스에 신규생성한 식별정보와 객체 특징벡터를 등록하여, 식별정보 데이터베이스를 업데이트할 수 있다.
여기서, 객체 특징벡터가 등록특징벡터와 기 설정된 오차범위 내에서 일치하면, 객체 특징벡터가 등록특징벡터에 대응하는 것으로 판별할 수 있다. 즉, 동일한 후보 객체의 경우에도, 각각의 프레임 이미지마다 객체 특징벡터가 일부 오차를 포함할 수 있으므로, 오차범위를 고려하여 동일성을 판단하도록 할 수 있다.
추적정보 생성단계(S50)에서는, 동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 후보 객체들에 대한 추적정보를 생성할 수 있다. 즉, 각각의 프레임 이미지에서 추출된 후보 객체의 위치정보와 식별정보들을 결합하여 추적정보를 생성할 수 있으며, 추적정보를 이용하여 연속된 프레임 이미지에서 자연스럽게 이어지는 후보 객체의 위치변화 등을 추적할 수 있다. 여기서, 추적정보에는 후보 객체의 식별정보, 후보 객체가 등장하는 프레임 번호 등 프레임 정보, 프레임 이미지 내에 포함된 후보 객체의 위치정보 및 크기 정보 등을 포함할 수 있다. 또한, 실시예에 따라서는, 후보 객체의 포즈(pose)나, 얼굴 특징점, 의상 특징점 등에 대한 정보 등을 추적정보에 더 포함하는 것도 가능하다. 하나의 대상 동영상에는 복수의 추적정보들이 포함될 수 있으며, 각각의 추적정보는 후보객체의 식별정보별로 생성될 수 있다.
실시예에 따라서는, 연속된 프레임 이미지 내에 포함된 각각의 후보 객체들의 객체 특징벡터의 차이값과, 후보객체들의 위치 및 크기 변화를 이용하여, 동일한 후보 객체를 추적하도록 하는 것도 가능하다. 구체적으로, 추적오차값을 Error = (V1 - V2) + a × (d1-d2) + b × (s1-s2)를 이용하여 연산할 수 있다. 여기서, Error는 추적오차값, V1은 제1 프레임 이미지에 포함된 제1 후보객체의 객체 특징 백터, V2는 제2 프레임 이미지에 포함된 제2 후보객체의 객체 특징 백터, d1은 기준점으로부터 제1 후보객체의 중심점까지의 거리, d2는 기준점으로부터 제2 후보객체의 중심점까지의 거리, s1은 제1 후보객체의 면적, s2는 제2 후보객체의 면적, a, b는 가중치로 임의의 상수에 해당한다.
한편, 도시하지 않았으나, 실시예에 따라서는, 오류감지단계를 더 포함할 수 있다. 즉, 오류감지단계에서는 후보 객체에 대한 식별정보 설정오류를 감지할 수 있으며, 식별정보 설정오류가 감지되면 사용자 등에게 오류발생을 알릴 수 있다. 예를들어 동일한 식별정보를 가지는 후보 객체가 연속하는 프레임 이미지 내에서 일부 누락되는 경우가 발생할 수 있으며, 이 경우 각각의 프레임 이미지 사이의 간격은 매우 짧기 때문에, 후보 객체에 대한 식별정보 설정에 오류가 발생한 것으로 판별할 수 있다.
마스킹 단계(S60)에서는, 마스킹 입력을 수신하면, 추적정보를 이용하여 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 추출한 후보 객체들에 대한 마스킹을 수행할 수 있다. 즉, 선택된 후보 객체들에 대하여, 선별적으로 마스킹을 수행할 수 있으며, 마스킹을 수행할 후보 객체들은 식별정보를 이용하여 특정할 수 있다. 여기서, 마스킹 입력은 사용자로부터 입력받은 식별정보를 이용하여 생성하거나, 미리 설정된 선택 알고리즘 등에 따라 추출한 식별정보를 이용하여 생성할 수 있다.
한편, 마스킹 단계(S60)에서는 추적정보를 이용하여, 선택된 식별정보에 대응하는 후보객체가 등장하는 프레임 이미지들을 추출할 수 있다. 이후, 추출한 프레임 이미지에서 나타난 후보객체의 위치에 대응하여 마스킹 영역을 설정할 수 있으며, 설정된 마스킹 영역을 마스킹하여 사용자들이 식별할 수 없도록 비식별화할 수 있다. 여기서, 마스킹 영역은 후보객체 중에서 얼굴에 해당하는 영역 등으로 한정하여 설정할 수 있다.
이때, 영상 마스킹 장치는 마스킹 영역을 블러링(blurring)하거나 모자이크(Mosaic) 처리하는 등의 방식으로 마스킹할 수 있다. 여기서, 블러링은 저역통과필터를 이용하여 구현할 수 있다. 또한, 실시예에 따라서는 마스킹 영역을 단색이나 특정 패턴, 별도의 이미지나 애니메이션, 캐릭터 등으로 덮는 이미지 치환을 이용하여, 마스킹하는 것도 가능하다.
추가적으로, 영상마스킹장치는 마스킹이 합성된 영상을 인코딩할 수 있으며, 영상출력부 등을 이용하여 마스킹된 영상이 출력되도록 할 수 있다. 한편, 실시예에 따라서는, 대상 동영상에 설정된 마스킹 영역에 대한 마스킹 정보와, 대상 동영상을 각각 별도로 저장하는 것도 가능하다. 즉, 대상 동영상의 원본파일을 별도로 저장한 후, 대상 동영상의 재생시 마스킹 정보를 이용하여 대상 동영상을 마스킹하도록 할 수 있다.
또한, 실시예에 따라서는, 대상 동영상의 원본파일을 재생하고자 하는 경우 원본파일에 대한 접근권한을 요구할 수 있으며, 접근권한이 없는 경우에는 대상 동영상에 대한 마스킹을 적용하여 제공하도록 할 수 있다. 여기서, 접근권한은 비밀번호나 지문인식, 홍채 인식 등 다양한 종류의 인증을 통하여 접근권한을 확인하도록 할 수 있다.
추가적으로, 본 발명의 일 실시예에 의한 영상마스킹방법은, 사용자가 마스킹할 후보 객체들을 선택하도록 할 수 있으며, 이 경우 사용자의 선택의 편의성을 높이기 위한 구성들을 더 포함할 수 있다.
구체적으로, 객체 추적 영상 생성단계(미도시)를 더 포함하여, 추적정보를 이용하여 후보 객체와 후보 객체별 식별정보를 대상 동영상에 오버레이(overlay)하여, 객체 추적영상을 생성할 수 있다. 즉, 후보 객체를 나타내는 경계 박스와 식별정보를 대상 동영상과 함께 표시하는 방식으로, 객체 추적영상을 생성할 수 있다.
이 경우, 사용자는 객체 추적영상을 확인하여, 추적 중인 후보 객체와 각각의 후보 객체들의 식별정보를 확인할 수 있다. 따라서, 사용자는 객체 추적영상을 참조하여, 복수의 후보 객체들 중에서 마스킹 처리를 수행할 대상 등을 선정할 수 있다.
또한, 마스킹 선택 인터페이스 표시단계(미도시)를 더 포함하여, 사용자가 마스킹할 후보 객체들을 선택할 수 있도록 마스킹 선택 인터페이스를 제공할 수 있다. 구체적으로, 마스킹 선택 인터페이스는, 대상 동영상 내에 포함된 후보 객체들에 대응하는 식별정보를 정렬한 식별정보 리스트가 표시될 수 있으며, 동일한 식별정보를 가지는 후보 객체들이 대상 동영상 내에 등장하는 등장구간정보와 등장한 프레임 이미지의 개수 등이 표시될 수 있다. 또한, 사용자가 각각의 식별정보에 대응하는 후보 객체들을 확인할 수 있도록, 후보 객체가 나타난 프레임 이미지의 이미지 등을 더 포함할 수 있다.
따라서, 사용자는 마스킹 선택 인터페이스를 통하여 대상 동영상 내에서 마스킹하고자 하는 후보 객체들을 선택할 수 있으며, 식별정보 리스트 옆에 표시된 체크박스에 체크하는 등의 방식으로, 마스킹하고자 하는 후보 객체들을 선택할 수 있다. 즉, 대상 동영상 내에 포함된 전체 객체들에 대하여 일괄적으로 마스킹을 수행하는 것이 아니라, 마스킹을 수행할 후보 객체들을 사용자가 선택적으로 설정하는 것이 가능하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
1: 영상촬영장치 100: 영상마스킹장치
110: 프레임 입력부 120: 특징벡터 추출부
130: 식별정보 설정부 140: 추적정보 생성부
150: 오류감지부 160: 마스킹부
170: 객체추적영상생성부 180: 마스킹 선택 인터페이스표시부
200: 식별정보 데이터베이스
S10: 프레임 입력단계 S20: 후보객체 검출단계
S30: 객체 특징벡터 추출단계 S40: 식별정보 설정단계
S50: 추적정보 생성단계 S60: 마스킹 단계
110: 프레임 입력부 120: 특징벡터 추출부
130: 식별정보 설정부 140: 추적정보 생성부
150: 오류감지부 160: 마스킹부
170: 객체추적영상생성부 180: 마스킹 선택 인터페이스표시부
200: 식별정보 데이터베이스
S10: 프레임 입력단계 S20: 후보객체 검출단계
S30: 객체 특징벡터 추출단계 S40: 식별정보 설정단계
S50: 추적정보 생성단계 S60: 마스킹 단계
Claims (17)
- 입력받은 대상 동영상을 디코딩(decoding)하여, 프레임 단위의 프레임 이미지를 생성하는 단계;
상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하는 단계;
상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출하는 단계;
상기 객체 특징벡터를 이용하여 상기 후보객체들에 대한 식별정보를 설정하는 단계;
동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하는 단계; 및
마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는 단계를 포함하며,
상기 추적정보를 생성하는 단계는
상기 연속된 프레임 이미지 내에 포함된 각각의 후보 객체들의 객체 특징벡터의 차이값과, 상기 후보객체들의 위치 및 크기 변화를 이용하여, 동일한 후보 객체를 추적하는 것으로,
Error = (V1 - V2) + a × (d1-d2) + b × (s1-s2)
여기서, Error는 추적오차값, V1은 제1 프레임 이미지에 포함된 제1 후보객체의 객체 특징 백터, V2는 제2 프레임 이미지에 포함된 제2 후보객체의 객체 특징 백터, d1은 기준점으로부터 제1 후보객체의 중심점까지의 거리, d2는 기준점으로부터 제2 후보객체의 중심점까지의 거리, s1은 제1 후보객체의 면적, s2는 제2 후보객체의 면적, a, b는 가중치이고,
상기 추적오차값이 최소값인 제2 후보객체를 상기 제1 후보객체와 동일한 식별정보를 가지는 후보 객체로 판별하는 것을 특징으로 하는 영상 마스킹 방법.
- 제1항에 있어서, 상기 식별정보를 설정하는 단계는
상기 객체 특징벡터에 대응하는 등록특징벡터를 식별정보 데이터베이스에서 검색하는 단계;
상기 객체 특징벡터에 대응하는 등록특징벡터가 검색되면, 상기 식별정보 데이터베이스에서 상기 등록특징벡터와 매칭된 식별정보를 추출하여, 상기 후보 객체의 식별정보로 설정하는 단계; 및
상기 객체 특징벡터에 대응하는 등록특징벡터가 검색되지 않으면, 상기 후보 객체의 식별정보를 신규생성하고, 상기 객체 특징벡터와 상기 식별정보를 상기 식별정보 데이터베이스에 신규 등록하는 단계를 포함하는 것을 특징으로 하는 영상 마스킹 방법.
- 제2항에 있어서, 상기 식별정보 데이터베이스에서 검색하는 단계는
상기 객체 특징벡터가 상기 등록특징벡터와 기 설정된 오차범위 내에서 일치하면, 상기 객체 특징벡터가 상기 등록특징벡터에 대응하는 것으로 판별하는 것을 특징으로 하는 영상 마스킹 방법.
- 삭제
- 삭제
- 제1항에 있어서,
동일한 식별정보를 가지는 후보 객체가, 연속하는 프레임 이미지 내에서 일부 누락되면, 상기 후보 객체에 대한 식별정보 설정에 오류가 발생한 것으로 판별하는 오류감지단계를 더 포함하는 것을 특징으로 하는 영상 마스킹 방법.
- 제1항에 있어서, 상기 추적정보는
상기 후보 객체의 식별정보, 상기 후보 객체가 등장하는 프레임 정보, 상기 프레임 이미지 내에 포함된 상기 후보 객체의 위치 정보 및 크기 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 영상 마스킹 방법.
- 제1항에 있어서,
상기 추적정보를 이용하여, 상기 후보 객체와 상기 후보 객체별 식별정보를 상기 대상 동영상에 오버레이(overlay)한 객체 추적 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 마스킹 방법.
- 제8항에 있어서,
상기 대상 동영상 내에 포함된 후보 객체들에 대응하는 식별정보를 정렬한 식별정보 리스트, 동일한 식별정보를 가지는 후보 객체들이 상기 대상 동영상 내에 등장하는 등장구간정보 및 상기 후보 객체가 나타난 프레임 이미지를 포함하는 마스킹 선택 인터페이스를 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상 마스킹 방법.
- 제1항에 있어서, 상기 마스킹 입력은
사용자로부터 입력받은 식별정보를 이용하여 생성하거나, 기 설정된 선택 알고리즘에 따라 상기 식별정보를 추출하여 생성하는 것을 특징으로 하는 영상 마스킹 방법.
- 제1항에 있어서, 상기 마스킹을 수행하는 단계는
상기 추적정보를 이용하여 상기 식별정보에 대응하는 후보객체가 등장하는 프레임 이미지들을 추출하고, 상기 추출된 프레임 이미지에서 상기 후보객체의 위치에 대응하는 마스킹 영역을 설정하는 것을 특징으로 하는 영상 마스킹 방법.
- 제11항에 있어서, 상기 마스킹을 수행하는 단계는
블러링(blurring), 모자이크 처리 또는 이미지 치환을 이용하여, 상기 마스킹 영역을 마스킹하는 것을 특징으로 하는 영상 마스킹 방법.
- 제12항에 있어서, 상기 마스킹을 수행하는 단계는
상기 대상 동영상에 설정된 마스킹 영역에 대한 마스킹 정보와, 상기 대상 동영상을 각각 저장하고, 상기 대상 동영상의 재생시 상기 마스킹 정보를 이용하여 상기 대상 동영상을 마스킹하여 재생하는 것을 특징으로 하는 영상 마스킹 방법.
- 제13항에 있어서, 상기 마스킹을 수행하는 단계는
상기 대상 동영상의 재생시 접근권한을 요구하고, 상기 접근권한이 없는 경우에는 상기 대상 동영상을 마스킹하여 재생하는 것을 특징으로 하는 영상 마스킹 방법.
- 하드웨어와 결합되어 청구항 제1항 내지 제3항, 제6항 내지 제14항 중 어느 한 항의 영상 마스킹 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
- 입력받은 대상 동영상을 디코딩(decoding)하여, 프레임 단위의 프레임 이미지를 생성하는 프레임 입력부;
상기 프레임 이미지로부터 각각의 프레임 이미지에 대응하는 프레임 특징벡터를 추출하고, 상기 프레임 특징벡터로부터 후보 객체를 검출하며, 상기 검출된 후보 객체들의 위치정보를 이용하여, 상기 프레임 특징벡터로부터 각각의 후보 객체에 대응하는 객체 특징벡터를 추출하는 특징벡터 추출부;
상기 객체 특징벡터를 이용하여 상기 후보 객체들에 대한 식별정보를 설정하는 식별정보 설정부;
동일한 식별정보를 가지는 후보 객체들을 연속된 프레임 이미지 내에서 추적하여, 각각의 식별정보 별로 상기 후보 객체들에 대한 추적정보를 생성하는 추적정보 생성부; 및
마스킹 입력을 수신하면, 상기 추적정보를 이용하여 상기 마스킹 입력에 포함된 식별정보와 동일한 후보 객체들을 추출하고, 상기 추출한 후보 객체들에 대한 마스킹을 수행하는 마스킹부를 포함하며,
상기 추적정보 생성부는
상기 연속된 프레임 이미지 내에 포함된 각각의 후보 객체들의 객체 특징벡터의 차이값과, 상기 후보객체들의 위치 및 크기 변화를 이용하여, 동일한 후보 객체를 추적하는 것으로서,
Error = (V1 - V2) + a × (d1-d2) + b × (s1-s2)
여기서, Error는 추적오차값, V1은 제1 프레임 이미지에 포함된 제1 후보객체의 객체 특징 백터, V2는 제2 프레임 이미지에 포함된 제2 후보객체의 객체 특징 백터, d1은 기준점으로부터 제1 후보객체의 중심점까지의 거리, d2는 기준점으로부터 제2 후보객체의 중심점까지의 거리, s1은 제1 후보객체의 면적, s2는 제2 후보객체의 면적, a, b는 가중치이고,
상기 추적오차값이 최소값인 제2 후보객체를 상기 제1 후보객체와 동일한 식별정보를 가지는 후보 객체로 판별하는 것인 영상 마스킹 장치. - 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180165833A KR101972918B1 (ko) | 2018-12-20 | 2018-12-20 | 영상 마스킹 장치 및 영상 마스킹 방법 |
| PCT/KR2019/013173 WO2020130309A1 (ko) | 2018-12-20 | 2019-10-08 | 영상 마스킹 장치 및 영상 마스킹 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180165833A KR101972918B1 (ko) | 2018-12-20 | 2018-12-20 | 영상 마스킹 장치 및 영상 마스킹 방법 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190046553A Division KR102167730B1 (ko) | 2019-04-22 | 2019-04-22 | 영상 마스킹 장치 및 영상 마스킹 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101972918B1 true KR101972918B1 (ko) | 2019-08-20 |
Family
ID=67807523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180165833A KR101972918B1 (ko) | 2018-12-20 | 2018-12-20 | 영상 마스킹 장치 및 영상 마스킹 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101972918B1 (ko) |
| WO (1) | WO2020130309A1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102123248B1 (ko) * | 2020-01-30 | 2020-06-16 | 김선진 | 프라이버시 보호를 위한 얼굴인식 기반 실시간 영상처리 시스템 |
| KR102147187B1 (ko) * | 2019-12-03 | 2020-08-24 | 네오컨버전스 주식회사 | 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 |
| KR102202577B1 (ko) * | 2019-12-09 | 2021-01-14 | 네오컨버전스 주식회사 | 딥러닝 기반 개인정보 비식별화 방법 및 장치 |
| KR20210150009A (ko) * | 2020-06-03 | 2021-12-10 | 서울대학교산학협력단 | 동영상으로부터 보행자의 영역을 검출하기 위한 방법 및 이를 수행하기 위한 장치 |
| KR20220042631A (ko) * | 2020-09-28 | 2022-04-05 | 경북대학교 산학협력단 | 보행 영상 기반의 보행 측정 방법 및 이의 장치 |
| WO2022098074A1 (ko) * | 2020-11-06 | 2022-05-12 | 카페24 주식회사 | 초상권 보호 방법, 장치 및 시스템 |
| KR102621196B1 (ko) * | 2023-07-10 | 2024-01-09 | 주식회사 웹게이트 | 개인 영상정보 보호 cctv 시스템 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111985419B (zh) * | 2020-08-25 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 视频处理方法及相关设备 |
| CN112153422B (zh) * | 2020-09-25 | 2023-03-31 | 连尚(北京)网络科技有限公司 | 视频融合方法和设备 |
| CN112381092B (zh) * | 2020-11-20 | 2024-06-18 | 深圳力维智联技术有限公司 | 跟踪方法、装置及计算机可读存储介质 |
| KR102629732B1 (ko) * | 2020-12-11 | 2024-01-29 | 한국전자통신연구원 | 외곽선 기반 프라이버시 마스킹 장치, 외곽선 기반 프라이버시 마스킹 복원 장치 및 프라이버시 마스킹 영역 디스크립터 공유 방법 |
| CN116664849B (zh) * | 2023-05-18 | 2024-01-16 | 中关村科学城城市大脑股份有限公司 | 数据处理方法、装置、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080045347A (ko) * | 2006-11-20 | 2008-05-23 | 포스데이타 주식회사 | 워터마크를 이용한 영상 생성, 모니터링 인증 및 관리 방법및 장치 |
| JP2013210845A (ja) * | 2012-03-30 | 2013-10-10 | Secom Co Ltd | 移動物体照合装置 |
| KR101523740B1 (ko) * | 2014-01-03 | 2015-05-28 | (주)유디피 | 공간 매핑을 이용한 객체 추적 장치 및 방법 |
| KR101517359B1 (ko) * | 2013-12-27 | 2015-06-05 | 전남대학교산학협력단 | 객체 추적 방법 및 이를 이용한 객체 추적 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4065184B2 (ja) * | 2002-11-25 | 2008-03-19 | 富士フイルム株式会社 | ディジタル・カメラおよびその制御方法 |
-
2018
- 2018-12-20 KR KR1020180165833A patent/KR101972918B1/ko active
-
2019
- 2019-10-08 WO PCT/KR2019/013173 patent/WO2020130309A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080045347A (ko) * | 2006-11-20 | 2008-05-23 | 포스데이타 주식회사 | 워터마크를 이용한 영상 생성, 모니터링 인증 및 관리 방법및 장치 |
| JP2013210845A (ja) * | 2012-03-30 | 2013-10-10 | Secom Co Ltd | 移動物体照合装置 |
| KR101517359B1 (ko) * | 2013-12-27 | 2015-06-05 | 전남대학교산학협력단 | 객체 추적 방법 및 이를 이용한 객체 추적 장치 |
| KR101523740B1 (ko) * | 2014-01-03 | 2015-05-28 | (주)유디피 | 공간 매핑을 이용한 객체 추적 장치 및 방법 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102147187B1 (ko) * | 2019-12-03 | 2020-08-24 | 네오컨버전스 주식회사 | 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 |
| WO2021112273A1 (ko) * | 2019-12-03 | 2021-06-10 | 네오컨버전스 주식회사 | 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 |
| KR102202577B1 (ko) * | 2019-12-09 | 2021-01-14 | 네오컨버전스 주식회사 | 딥러닝 기반 개인정보 비식별화 방법 및 장치 |
| KR102123248B1 (ko) * | 2020-01-30 | 2020-06-16 | 김선진 | 프라이버시 보호를 위한 얼굴인식 기반 실시간 영상처리 시스템 |
| KR20210150009A (ko) * | 2020-06-03 | 2021-12-10 | 서울대학교산학협력단 | 동영상으로부터 보행자의 영역을 검출하기 위한 방법 및 이를 수행하기 위한 장치 |
| KR102415223B1 (ko) * | 2020-06-03 | 2022-06-29 | 서울대학교산학협력단 | 동영상으로부터 보행자의 영역을 검출하기 위한 방법 및 이를 수행하기 위한 장치 |
| KR20220042631A (ko) * | 2020-09-28 | 2022-04-05 | 경북대학교 산학협력단 | 보행 영상 기반의 보행 측정 방법 및 이의 장치 |
| KR102570184B1 (ko) * | 2020-09-28 | 2023-08-25 | 경북대학교 산학협력단 | 보행 영상 기반의 보행 측정 방법 및 이의 장치 |
| WO2022098074A1 (ko) * | 2020-11-06 | 2022-05-12 | 카페24 주식회사 | 초상권 보호 방법, 장치 및 시스템 |
| KR102621196B1 (ko) * | 2023-07-10 | 2024-01-09 | 주식회사 웹게이트 | 개인 영상정보 보호 cctv 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020130309A1 (ko) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101972918B1 (ko) | 영상 마스킹 장치 및 영상 마스킹 방법 | |
| KR102167730B1 (ko) | 영상 마스킹 장치 및 영상 마스킹 방법 | |
| CA3077830C (en) | System and method for appearance search | |
| Portmann et al. | People detection and tracking from aerial thermal views | |
| CN116018616A (zh) | 保持帧中的目标对象的固定大小 | |
| US9412180B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5459674B2 (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
| CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
| CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| WO2007105768A1 (ja) | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 | |
| KR20170015639A (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| JP7484985B2 (ja) | 認証システム、認証方法、及び、プログラム | |
| CN111242077A (zh) | 一种人物追踪方法、系统及服务器 | |
| CN111291612A (zh) | 一种基于多人多摄像头跟踪的行人重识别方法及装置 | |
| JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
| JP2013232060A (ja) | 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
| JP2007179224A (ja) | 情報処理装置および方法、並びにプログラム | |
| CN113837006A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
| Jaiswal et al. | Survey paper on various techniques of recognition and tracking | |
| WO2020115910A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| Chen et al. | Player trajectory reconstruction for tactical analysis | |
| US20230386253A1 (en) | Image processing device, image processing method, and program | |
| CN113129227A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Molina-Giraldo et al. | Video segmentation framework by dynamic background modelling | |
| JP7098180B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |