KR101460552B1

KR101460552B1 - 프라이버시 영역의 마스킹 및 복원 방법

Info

Publication number: KR101460552B1
Application number: KR1020130106167A
Authority: KR
Inventors: 김성실
Original assignee: 엠엠피씨 주식회사
Priority date: 2013-09-04
Filing date: 2013-09-04
Publication date: 2014-11-11
Anticipated expiration: 2033-09-04
Also published as: KR20130114037A

Abstract

본 발명은 촬영된 동영상에서 프라이버시 부분에 해당하는 얼굴이나 차량번호 영역을 마스킹하고 원영상을 복원하는 방법에 관한 것이다.
본 발명은, 촬영 영상의 프라이버시 마스킹 및 복원 방법에 있어서,
촬영된 원영상에서 프라이버시 영역을 추출하고, 추출된 프라이버시 영역에 대한 정보를 생성하는 단계; 상기 추출된 프라이버시 영역에 대해, 미리 설정된 마스킹용 RGB값으로 채우고, 이 채워진 영상에 대해 압축 인코딩을 하여, 인코딩되고 마스킹된 영상 데이터(EMID)를 형성하는 단계; 상기 추출된 프라이버시 영역에 대해 키로 암호화하여, 암호화된 프라이버시 데이터(EPD)를 형성하는 단계; 상기 프라이버시 영역에 대한 정보와, 상기 인코딩되고 마스킹된 영상 데이터(EMID)와, 상기 암호화된 프라이버시 데이터(EPD)를 내장 저장장치에 저장하거나 네트워크를 통해 외부 장치로 전송하는 단계; 상기 인코딩되고 마스킹된 영상 데이터(EMID)를 디코딩하여 마스킹된 영상 데이터(MID)를 형성하는 단계; 상기 암호화된 프라이버시 데이터(EPD)를 상기 키를 이용하여 복호화하여 프라이버시 데이터(PD)를 형성하는 단계; 상기 키를 가지고 있지 않은 사용자인 경우에는 상기 마스킹된 영상 데이터(MID)를 이용하여 마스킹된 영상을 화면에 표시하고, 상기 키를 가지고 있는 사용자인 경우에는 상기 프라이버시 영역에 대한 정보와 상기 마스킹된 영상 데이터(MID)와 상기 프라이버시 데이터(PD)를 이용하여 프라이버시 영역이 복원된 원영상을 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명을 이용하면, 마스킹 및 복원시에 저장하거나 전송하는 데이터량을 최소화할 수 있어서, 장시간의 동영상 저장이 가능하거나 전송 네트워크의 부하를 상당히 줄일 수 있게 된다.

Description

프라이버시 영역의 마스킹 및 복원 방법{Masking and Recovering Method of Privacy Region}

본 발명은 촬영된 동영상에서 프라이버시 부분에 해당하는 얼굴이나 차량번호 영역을 마스킹하고 원영상을 복원하는 방법에 관한 것이다.

CCTV나 네트워크 카메라, 블랙박스(스마트폰의 블랙박스 기능 포함)와 같은 동영상촬영장치에서 촬영한 영상을 재생시에, 타인의 얼굴이나 차량번호와 같은 프라이버시 영역까지도 누구나 볼수 있게 되어 타인의 프라이버시가 침해되어 사회적인 이슈가 되고 있다.

이러한 문제를 해결하기 위하여, 촬영된 영상에서 얼굴이나 차량번호와 같은 프라이버시 영역은 재생시에 볼수 없도록 해당 부분을 마스킹 처리하여 재생하는 경우가 많다.

그런데, 사고 발생시 경찰이나 보안담당자와 같은 특정 사용자는 프라이버시 영역이 복원된 원영상을 통해 관련자의 얼굴이나 차량번호를 파악하여 신원을 확인해야 하는 필요성이 있는데, 종래기술에서는 이미 얼굴이나 차량 번호 영역을 마스킹 처리하여 뭉개져 버렸기 때문에 재생시에 프라이버시 영역의 복원이 불가능하여 원영상을 볼 수 없다.

이러한 종래기술의 문제점을 해결하기 위하여, 다른 종래기술에서는 동영상의 각 프레임에 대하여, 프라이버시 영역들 관련 QR코드들을 삽입하고(이 코드에 프라이버시 영역들의 위치, 크기, 시간 정보 등의 프라이버시 영역 관련 정보가 포함됨), 이 프라이버시 영역의 데이터를 스크램블링 처리를 하여, 프라이버시 영역이 스크램블링된 영상과 QR코드를 내장 메모리카드에 저장하거나 네트워크로 재생장치에 전송한다.

또한, 재생시에는 스크램블링된 프라이버시 데이터를 언스크램블링하여 프라이버시 데이터를 복원하고, 이 QR코드에 존재하는 프라이버시 영역 정보를 이용하여, 프라이버시 영역이 스크램블링된 영상의 프라이버시 영역을 프라이버시 데이터로 채워서 원영상을 복원하여, 이러한 특정 사용자에게는 복원된 원영상을 보여주고, 일반 사용자에게는 스크램블링된 프라이버시 영역이 포함된 영상을 보여주는 방법을 사용한다.

그런데, 이러한 다른 종래기술은 방법은 간단하지만, 스크램블링된 데이터와QR코드가 압축 인코딩하면 복원이 되지 않기 때문에, 압축을 할 수 없어서 데이터량이 커서, 내장 메모리카드에는 짧은 기간만의 동영상이 저장가능하고, 네트워크 전송시에는 네트워크에 큰 부하를 초래하게 된다.

따라서, 이러한 다른 종래기술에서는 데이터량을 줄이기 위하여, 저해상도와 낮은 프레임수로 촬영할 수 밖에 없는데, 이는 고해상도와 높은 프레임수를 요구하는 최근의 동영상 촬영장치에게는 치명적인 단점이 되고, 해상도나 프레임수를 낮춘 동영상으로는 신원확인도 어렵게 된다.

본 발명은 이상과 같은 종래기술의 문제점을 감안하여, 저장하거나 전송하는 데이터량을 최소화하는 프라이버시 마스킹 및 복원 방법을 제공한다.

이상과 같은 기술적 과제를 달성하기 위하여, 본 발명은,

촬영 영상의 프라이버시 마스킹 및 복원 방법에 있어서,

촬영된 원영상에서 프라이버시 영역을 추출하고, 추출된 프라이버시 영역에 대한 정보를 생성하는 단계;

상기 추출된 프라이버시 영역에 대해, 미리 설정된 마스킹용 RGB값으로 채우고, 이 채워진 영상에 대해 압축 인코딩을 하여, 인코딩되고 마스킹된 영상 데이터(EMID)를 형성하는 단계;

상기 추출된 프라이버시 영역에 대해 키로 암호화하여, 암호화된 프라이버시 데이터(EPD)를 형성하는 단계;

상기 프라이버시 영역에 대한 정보와, 상기 인코딩되고 마스킹된 영상 데이터(EMID)와, 상기 암호화된 프라이버시 데이터(EPD)를 내장 저장장치에 저장하거나 네트워크를 통해 외부 장치로 전송하는 단계;

상기 인코딩되고 마스킹된 영상 데이터(EMID)를 디코딩하여 마스킹된 영상 데이터(MID)를 형성하는 단계;

상기 암호화된 프라이버시 데이터(EPD)를 상기 키를 이용하여 복호화하여 프라이버시 데이터(PD)를 형성하는 단계;

상기 키를 가지고 있지 않은 사용자인 경우에는 상기 마스킹된 영상 데이터(MID)를 이용하여 마스킹된 영상을 화면에 표시하고, 상기 키를 가지고 있는 사용자인 경우에는 상기 프라이버시 영역에 대한 정보와 상기 마스킹된 영상 데이터(MID)와 상기 프라이버시 데이터(PD)를 이용하여 프라이버시 영역이 복원된 원영상을 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명을 이용하면, 마스킹 및 복원시에 저장하거나 전송하는 데이터량을 최소화할 수 있어서, 장시간의 동영상 저장이 가능하거나 전송 네트워크의 부하를 상당히 줄일 수 있게 된다.

도1은 본 발명의 전체적인 구성을 도시함.
도2는 본 발명에서 동영상 촬영장치의 구체적인 구성을 도시함.
도3은 본 발명에서 동영상 재생장치의 구체적인 구성을 도시함.
도4는 얼굴이나 차량번호판을 검출하는 일반적인 방법을 도시함.
도5는 본 발명의 마스킹 방법을 나타내는 순서도.
도6은 본 발명의 재생 방법을 나타내는 순서도.

먼저, 본 발명의 전체적인 구성을 도1을 참고로 하여 설명하기로 한다.

동영상촬영장치(1)에서는, 카메라에서 각 프레임 영상을 촬영하여(S1), 얼굴이나 차량 번호판과 같이 프라이버시 보호가 필요한 부분을 마스킹하고(S2) 압축 인코딩하여(S4)(예:H.264 인코더 사용), 인코딩되고 마스킹된 영상 데이터(EMID:Encoded Masked Image Data)을 형성한다.

그리고, 촬영된 영상에서 프라이버시 영역을 추출을 하여(S3), 이 추출된 프라이버시 부분을 키를 이용하여 암호화하여(S5), 암호화된 프라이버시 데이터(EPD:Encrypted Privacy Data)를 형성한다.

이제, 촬영장치(1)에서 형성된, 인코딩되고 마스킹된 영상 데이터(EMID)와 암호화된 프라이버시 데이터(EPD)은, 촬영장치(1)에 내장된 메모리카드(예:SD카드)에 저장되었다가 사용자에 의해 이 메모리카드가 재생장치(2)에 장착되거나, 도1처럼 인터넷과 같은 네트워크(16)에 의해 재생장치(2)로 전송된다.

그러면, 재생장치(2)에서는, 사용자가 키가 없는 일반 사용자인 경우에는 인코딩되고 마스킹된 영상 데이터(EMID)를 디코딩하여(S6)(예:H.264 디코더 사용) 마스크된 영상 데이터(MID)를 형성하여, 화면에 마스킹된 영상을 보여 준다.

또한, 사용자가 키를 가진 특정 사용자인 경우에는 암호화된 프라이버시 데이터(EPD)을 키로 복호화하여(S7) 프라이버시 데이터(PD)를 형성하여, 프라이버시 영상을 마스킹된 영상과 합성하여 원영상을 보여 주게 된다.

이때, 인코딩되고 마스킹된 영상 데이터(EMID)는 압축 인코딩되어 있으므로 데이터량을 대폭 줄일 수 있어서 메모리카드에 저장되는 데이터 용량을 대폭 줄일 수 있거나 네트워크를 통한 데이터 전송시 네크워크의 부하를 대폭 줄일 수 있다.

또한, 일반적으로 얼굴이나 차량 번호판과 같은 프라이버시 영역은 전체 화면에서 작은 일부분만을 차지하므로 프라이버시 영역의 데이터량이 작아서, 본 발명과 같이 프라이버시 영역에 대하여 압축 인코딩이 없이 암호화만을 하여 암호화된 프라이버시 데이터(EPD)를 형성하여 저장 또는 전송하더라도, 이 암호화된 프라이버시 데이터(EPD)에 따른 저장 용량의 증가나 네트워크 부하 증가는 매우 작게 된다.

그리고, 마스킹된 영상 데이터(MID)가 압축 인코딩되면 디코딩시에 약간의 데이터 손실이 존재하여 일반 사용자에게 제공되는 마스킹된 영상은 원영상에 비해 미약하게 흐려 보이지만, 이는 일반 사용자가 감지할 수 없는 수준이기에 문제가 되지 않는다.

반면에, 프라이버시 영역에 대해서는 압축 인코딩을 하지 않기 때문에, 재생시에 특정 사용자는 프라이버시 영역은 손실없는 원영상 그대로 보게 되고, 나머지 부분은 미약하게 흐려 보이는 상태이므로, 특정 사용자가 전체적인 영상을 보는데에 전혀 지장이 없고, 특히 프라이버시 영역에 대해서는 원영상 그대로 볼수 있어서 프라이버시 영역에 해당하는 얼굴이나 차량번호판을 정확하게 인식할 수 있게 된다.

한편, 도1의 실시예를 변형시켜서, 프라이버시 부분 추출 단계(S1)과 암호화 단계(S5) 사이에 압축 인코딩 단계를 추가하고, 프라이버시 부분 복호화 단계(S7) 직후에 디코딩 단계를 추가하면, 이 프라이버시 영역의 데이터량 자체는 대폭 줄일 수 있지만, 프라이버시 영역이 전체 화면에서 작은 일부분만을 차지하여 원래 데이터량이 작기 때문에 이렇게 프라이버시 영역의 데이터량 자체를 대폭 줄인다고 해도 전체적인 데이터량에는 큰 차이가 없고, 오히려 추가되는 단계에 의해 처리 부하가 증가하게 된다.

다음으로, 도1에 나타난 동영상촬영장치(1)의 구성을 도2를 참고로 하여 구체적으로 설명한다.

동영상촬영장치(1)의 영상 검출부(11)는 카메라에서 원영상을 검출한다.

또한, 마스킹 처리부(12)는 얼굴이나 차량 번호판과 같이 프라이버시 보호가 필요하여 마스킹을 해야 하는 영역(프라이버시 영역)을 공지의 다양한 알고리즘을 이용하여 추출하여, 원영상에서 마스킹 처리를 한다.

그리고, 인코더(13)은 마스킹 처리부(12)에서 마스킹 처리된 영상을 수신하여 H.264와 같은 방식으로 압축 인코딩하여, 인코딩되고 마스킹된 영상 데이터(EMID)를 형성한다.

또한, 암호화부(14)는 마스킹 처리부(12)에서 추출된 프라이버시 영역에 대해키를 이용하여 암호화하여, 암호화된 프라이버시 데이터(EPD)를 형성한다.

마지막으로, 이러한 인코딩되고 마스킹된 영상 데이터(EMID)와 암호화된 프라이버시 데이터(EPD)는 동영상찰영장치(1)에 내장된 메모리카드(15)(예:SD카드)에 저장되거나, 인터넷과 같은 네트워크(16)에 의해 외부 재생장치(2)(예:PC)에 전송되고 필요시 저장된다.

이제, 도1에 나타난 동영상 재생장치(2)의 구성을 도3을 참고로 하여 자세히 설명한다.

재생장치(2)(예:PC)는, 사용자가 동영상촬영장치(1) 내의 메모리 카드(15)를 분리하여 재생장치(2)에 장착시키거나 네트워크(16)를 통해 수신하여, 인코딩되고 마스킹된 영상 데이터(EMID)와 암호화된 프라이버시 데이터(EPD)를 획득하게 된다.

그래서, 디코더(21)은 H.264과 같은 방식으로 인코딩되고 마스킹된 영상 데이터(EMID)를 디코딩하여 마스킹된 영상 데이터(MID)를 형성하고, 복호기(22)는 영상촬영장치(1)의 암호화부(14)에서 암호화를 위해 사용된 키를 이용하여 암호화된 프라이버시 데이터(EPD)를 복호화하여 프라이버시 데이터(PD)를 형성한다.

또한, 마스킹 해제/유지 처리부(23)은 사용자가 키를 가지지 않은 일반 사용자인 경우에는 마스킹을 유지하도록 처리하여 마스킹된 영상 데이터(MID)를 출력하고, 사용자가 키를 가진 특정 사용자(예:경찰이나 보안담당자)인 경우에는 프라이버시 데이터(PD)와 마스킹된 영상 데이터(MID)를 합성하여 원영상 데이터를 출력한다.

그리고, 영상 출력부(24)는 마스킹 해제/유지 처리부(23)에서 출력되는 마스킹된 영상 데이터(MID) 또는 원영상 데이터를 통해 관련 영상을 화면에 출력하게 된다.

다음으로, 당업자에게 공지된 기술이지만, 본 발명에서 사용되는 프라이버시 영역 추출 방법을 도4를 참고로 하여 간단히 설명한다.

도4의 상단처럼, 얼굴검출을 위해서는 주어진 영상에서 주행환경요소를 제거하고, 얼굴영상 특징에 기반하여 패턴 매칭을 하면 된다.

그리고, 도4의 하단처럼, 번호판 검출을 위해서는 동작 객체 및 배경을 분류하고, 번호판 영상의 특징을 검출하여 번호판을 검출한다.

이때, 이러한 검출을 실시간으로 구현하기 위해서는 고해상도 영상을 얼굴과 번호판을 식별 할 수 있는 정도의 저해상도로 만드는 방법 등을 적용하여 계산량을 줄이는 것이 바람직하다.

이제, 본 발명의 영상촬영장치(1)에서 마스킹하는 방법을 도5의 순서도를 이용하여 구체적으로 설명한다.

1. 카메라에서 영상을 얻는다(S11).

2. 얻은 영상에서 도4와 같은 추출 방법을 이용하여, 얼굴이나 차량 번호판 영역(프라이버시 영역)을 추출해 낸다(S12).

3. 추출된 프라이버시 영역(ROI:Region Of Interest)에 대하여, 프라이버시 영역의 기준점의 좌표정보(x, y), 프라이버시 영역의 크기(size), 프레임 번호에 대응하는 시간 정보(t)를 포함하는 프라이버시 영역 정보를 SD카드(15)의 파일(File1)에 저장한다(S13). 이렇게 하면 프레임마다 프라이버시 영역들이 어디에 존재하고 각각의 프라이버시 영역의 크기는 어느 정도인지 알수 있게 된다.

4. 프라이버시 영역의 각 픽셀의 픽셀 값을 포화(saturation)값(예:255)으로 채우면, 프라이버시 영역은 밝은 흰색으로 마스킹 처리가 된다(S14). 물론, 다른 색깔(예: 도1의 밝은 파란색)로 마스킹되기를 원하면, 원하는 색깔 관련 RGB값을 파일(File1)에 저장하고, 원하는 색깔의 RGB값으로 프라이버시 영역의 픽셀값을 채우면 된다.

5. 이렇게 하여 마스킹된 영상을 H.264와 같은 방식으로 압축 인코딩하여, 인코딩되고 마스킹된 영상 데이터(EMID)를 형성하여 파일(File2)로 SD카드(15)에 저장한다(S15).

6. 프라이버시 영역에 대하여, 포화값 또는 원하는 색깔값에서 각 픽셀의 픽셀값들을 차감한다(S16). 즉 255-(ROI(x, y)의 RGB값) 또는 (마스킹 색깔의 RGB값)-(ROI(x, y)의 RGB값)을 한다.

7. 이렇게 차감된 값들에 대해 키를 사용하여 암호화하여, 암호화된 프라이버시 데이터(EPD)를 형성하여 SD카드(15)에 파일(File3)로 저장한다(S17).

물론, 상기에서는 SD카드(15)에 파일(File1, File2, File3)을 저장하는 경우에 대해 설명하였지만, 외부장치(예:PC)에 네트워크를 통해 전송하여 저장하게 하는 것도 가능하다.

다음으로, 본 발명의 동영상재생장치(2)에서 재생하는 방법을 도6의 순서도를 이용하여 구체적으로 설명한다.

1. 사용자가 동영상촬영장치(1)에서 SD카드(15)를 분리하여 동영상재생장치(2)에 장착하거나 네트워크(16)을 통해 동영상촬영장치(1)에서 수신한 데이터(상기 파일(File1, File2, File3))에서, 인코딩되고 마스킹된 영상 데이터(EMID)(파일(File2)에 저장됨)를 H.264방식으로 디코딩하여 마스킹된 영상 데이터(MID)을 형성한다(S21).

2. 프라이버시 영역에 대한 암호화된 프라이버시 데이터(EPD)(File3))를, 암호화시의 키를 사용하여 복호화하여 프라이버시 데이터(PD)를 형성한다(S22).

3. 프라이버시 영역에 대해, 상기 프라이버시 데이터(PD)를 포화값(255)에서 차감하거나(마스킹 색깔이 밝은 흰색인 경우) 원하는 다른 마스킹 색깔의 RGB값에서 차감하여, 프라이버시 영역의 원영상 데이터를 복원한다(S23). 즉, 255-(255-ROI(x, y))=ROI(x,y) 또는 (마스킹 색깔의 RGB값)-((마스킹 색깔의 RGB값)-(ROI(x, y)의 RGB값))=ROI(x, y) 가 된다.

4. 프라이버시 영역의 좌표정보(x, y), 마스킹 영역의 크기(size), 프레임 번호에 대응하는 시간 정보(t)를 포함하는 프라이버시 영역 정보를 SD카드(15)의 파일(File1)에서 도출하여 이들을 바탕으로, 마스킹된 영상 데이터(MID)의 마스킹 부분을 프라이버시 영역의 원영상 데이터로 대체하여 전체적인 원영상 데이터를 얻는다(S24).

5. 키가 있는 사용자의 경우에는 전체적인 원영상 데이터를 이용하여 화면에 출력하여 마스킹된 부분이 없는 원영상을 사용자가 볼수 있게 되고, 키가 없는 사용자의 경우에는 마스킹된 영상 데이터(MID)를 이용하여 화면에 출력하여 마스킹된 영상만을 보게 된다(S25).

이상에서는 본 발명의 바람직한 실시예를 설명하였지만, 당업자는 본 발명의 사상에서 벗어나지 않는 범위 내에서 다양하게 수정 및 변경시킬 수 있음에 유의해야 한다.

예를 들어, 상기에서는 재생장치(2)로써 외부의 PC를 사용하는 것에 대해 설명하였으나, 영상촬영장치(1)에 내장된 재생 모듈을 사용할 수도 있다.

또한, 이상에서는 프라이버시 영역에 대하여, 포화값 또는 원하는 색깔값에서 각 피셀의 픽셀값들을 차감하고 차감된 값들에 대해 키를 사용하여 암호화하여 암호화된 프라이버시 데이터(EPD)를 형성하고, 프라이버시 데이터(PD)를 포화값 또는 마스킹 색깔의 RGB값에서 차감하여, 마스킹 영역의 원영상 데이터를 복원하였지만, 프라이버시 영역에 대해 바로 암호화하여 암호화된 프라이버시 데이터(EPD)를 형성하고 복원단계에서 바로 암호화된 프라이버시 데이터(EPD)를 복호화하여 프라이버시 영역의 원영상 데이터를 복원하는 것도 가능하다.

Claims

촬영 영상의 프라이버시 마스킹 및 복원 방법에 있어서,
촬영된 원영상에서 프라이버시 영역을 추출하고, 추출된 프라이버시 영역에 대한 정보를 생성하는 단계;
상기 추출된 프라이버시 영역에 대해, 미리 설정된 마스킹용 RGB값으로 채우고, 이 채워진 영상에 대해 압축 인코딩을 하여, 인코딩되고 마스킹된 영상 데이터(EMID)를 형성하는 단계;
상기 추출된 프라이버시 영역에 대해 상기 마스킹용 RGB값에서 프라이버시 데이터(PD)를 차감한 것을 키로 암호화하여, 암호화된 프라이버시 데이터(EPD)를 형성하는 단계;
상기 프라이버시 영역에 대한 정보와, 상기 인코딩되고 마스킹된 영상 데이터(EMID)와, 상기 암호화된 프라이버시 데이터(EPD)를 내장 저장장치에 저장하거나 네트워크를 통해 외부 장치로 전송하는 단계;
상기 인코딩되고 마스킹된 영상 데이터(EMID)를 디코딩하여 마스킹된 영상 데이터(MID)를 형성하는 단계;
상기 암호화된 프라이버시 데이터(EPD)를 상기 키를 이용하여 복호화하여 프라이버시 데이터(PD)를 형성하는 단계;
상기 키를 가지고 있지 않은 사용자인 경우에는 상기 마스킹된 영상 데이터(MID)를 이용하여 마스킹된 영상을 화면에 표시하고, 상기 키를 가지고 있는 사용자인 경우에는 상기 프라이버시 영역에 대한 정보와 상기 마스킹된 영상 데이터(MID)와 상기 프라이버시 데이터(PD)를 이용하여 프라이버시 영역이 복원된 원영상을 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 촬영 영상의 프라이버시 마스킹 및 복원 방법.
삭제
제1항에 있어서, 상기 암호화와 복호화는 H.264 방식인 것을 특징으로 하는 촬영 영상의 프라이버시 마스킹 및 복원 방법.
제1항에 있어서, 상기 외부장치는 PC인 것을 특징으로 하는 촬영 영상의 프라이버시 마스킹 및 복원 방법.
제1항에 있어서, 상기 내장 저장장치는 SD카드인 것을 특징으로 하는 촬영 영상의 프라이버시 마스킹 및 복원 방법.